CN116801115A - 一种稀疏阵列相机部署方法 - Google Patents
一种稀疏阵列相机部署方法 Download PDFInfo
- Publication number
- CN116801115A CN116801115A CN202310434148.5A CN202310434148A CN116801115A CN 116801115 A CN116801115 A CN 116801115A CN 202310434148 A CN202310434148 A CN 202310434148A CN 116801115 A CN116801115 A CN 116801115A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- representing
- space
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 19
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种稀疏阵列相机部署方法，包括：通过求解相机内外参数，建立图像/视频空间和地理空间的映射关系；针对目标区域中的某一电网设备采集多角度实景图像，作为样本图像；根据所采集的所述样本图像及所建立的所述映射关系，执行基于光场重建的自由视角图像合成及基于深度信息的自由视角图像合成，获取多张自由视角合成图像；以使用最少数量的相机覆盖目标区域、并能合成任意所述自由视角合成图像为优化目标，求解环形相机阵列部署优化模型，获取环形相机阵列部署结果。本发明能够在提高图像采集精确度、保真度和实时性的同时，减少相机数量从而控制图像采集成本。
Description
技术领域
本发明涉及一种稀疏阵列相机部署方法，属于场景建模技术领域。
背景技术
近年来，随着国家电网数字化建设的不断提升，进一步缩短电网数据的感知、分析、应用、交互链路，实现数字孪生多维融合应用，已成为日益突出的工作重点。然而，传统的三维系统建设以三维模型构建和浏览交互为主的模式已经难以满足相关需求，三维模型与视频简单挂载，视频数据仅作为三维模型的属性信息，只能进行低水平的可视化应用，无法反映场景现实性。当前电网设备实景图像融合生成技术可以弥补传统技术的不足，有效应对当前挑战。
电网设备实景图像融合生成技术通过三维成像设备如激光三维扫描仪、相机阵列等进行视觉数据的捕获，从而保证数字孪生世界中的虚拟设备，与电网中的物理设备在几何结构和视觉外观上具有一致性，依赖于这个数据基础，物理设备在虚拟环境中有了操作上的对应物，形成图像空间-物理空间-虚拟空间的双向关联闭环，促进空间数据与实景数据相互补充，强化实体状态的实时感知和响应能力，为电网“人-机-物”智能感知交互和“孪生同步”提供有效的技术能力支撑，实现电网设备的可视化、远程监控、实时预警等功能。
然而，当前基于多视几何的场景建模方法在精确度、保真度和实时性方面难以满足要求，自由视角图像合成技术存在伪影、空洞等问题，虽然通过图像插值的方法可以修补，但需要采用密集部署的相机阵列方案，带来高成本、低效率和实施工作量大等问题。
例如专利CI203708345U,公开了一种基于相机阵列的瞬时三维照相系统，相机摆布较为密集。这样的系统能实现瞬间成像和良好的成像效果，但需要较多数量的相机，主要问题在于成本较高,设备移动较为困难。如果减少该种相机阵列的成像角度和相机数量,即稀疏相机阵列，则通常无法找到特征点，进而导致直接采用SFM方法建模失败。
专利CN105427302A，公开了一种基于移动稀疏相机采集阵列的三维采集及重建系统，可采用较少的相机,但是要求相机采集单位之间的位置相对固定，对于部件众多、造型各异和遮挡关系复杂的特点的电网主设备需要反复多次移动整个稀疏相机采集阵列进行多次采集，存在采集时间长，内外参引入误差等问题。
因此，尽可能进一步提高图像采集精确度、保真度和实时性的同时，减少相机数量从而控制图像采集成本成为当前亟待解决的技术问题。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种稀疏阵列相机部署方法，能够在提高图像采集精确度、保真度和实时性的同时，减少相机数量从而控制图像采集成本。
为达到上述目的，本发明是采用下述技术方案实现的：
本发明提供了一种稀疏阵列相机部署方法，包括：
通过求解相机内外参数，建立图像/视频空间和地理空间的映射关系；
针对目标区域中的某一电网设备采集多角度实景图像，作为样本图像；
根据所采集的所述样本图像及所建立的所述映射关系，执行基于光场重建的自由视角图像合成及基于深度信息的自由视角图像合成，获取多张自由视角合成图像；
以使用最少数量的相机覆盖目标区域、并能合成任意所述自由视角合成图像为优化目标，求解环形相机阵列部署优化模型，获取环形相机阵列部署结果。
所述通过求解相机内外参数，建立图像/视频空间和地理空间的映射关系，包括：
对于存在二维平面的三维场景，采用单应性矩阵H求解法对所述相机内外参数进行标定；
对于不存在二维平面的三维场景，通过场景中的特殊几何结构，利用透视投影中特定几何信息的不变性对相机内外参数建立约束条件，实现相机内外参数自标定；对于无法获取自标定所需的特殊几何结构的场景，首先利用棋盘格法进行内参数标定；再采用人工取点法或图像匹配法获得控制点对，以解算相机外参数。
当具有4个以上的对应控制点时，采用最小二乘法求解所述单应性矩阵H。
所述图像/视频空间和地理空间的映射关系采用下述表达式表示：
式中：λ1、λ2、λ3表示相机空间和地理空间坐标映射变换系数；fD表示像距；D表示物距；P表示相机水平方位角；T表示相机俯仰角；f表示相机焦距；
(XC,YC,HC)表示相机空间坐标；(XG,YG,HG)表示地理空间坐标；(x，y，z)表示像点坐标。
所述执行基于光场重建的自由视角图像合成，包括：
通过可微分体绘制公式对场景进行建模；
光线的颜色通过对沿光线采集的多个样本图像进行积分近似，计算过程如下式所示：
式中，C(r)表示光通量，通过各单色光求和获取；N代表采样光线样本数量；Ti表示光线样本i传输的光的数量；σi表示光线样本i的不透明度；ci表示光线样本i的颜色；δi代表采样光线距离。
在所述执行基于光场重建的自由视角图像合成后，对光场重建进行优化，具体包括：
重建一个稀疏的体素表格，每个被占用的体素都带有不透明度和球谐系数；
通过对渲染像素的平均平方误差MSE进行最小化，优化体素的不透明度和球谐系数，并使用TV正则化帮助消除噪声，其计算过程如下所示：
ζ＝ζrecon+λTVζTV
其中，ζrecon为MSE重建损失，ζTV为总变量正则化器；λTV是ζTV矩阵特征值，λTV -1是λTV的逆矩阵，R表示视频采集到的样本总量，v、d表示像素空间的不透明度和颜色，Δx、Δy、Δz是虚拟三维像素点坐标系中X、Y、Z方向上的值和平均值的偏差，V表示虚拟三维像素点中的观察样本。
执行基于深度信息的自由视角图像合成，包括：
从样本图像中选取参考视点；
对于参考视点上的每一个像素，利用其对应的深度信息以及参考相机的参数矩阵投影到三维空间中；
根据虚拟相机的参数矩阵，将三维空间中的点重投影到虚拟相机的近平面上，求解参考视点上任意像素到虚拟视图上的像素坐标，获取虚拟视点图像。
在执行基于深度信息的自由视角图像合成后，对所述虚拟视点图像进行优化处理，以消除空洞区域：所述优化处理包括：
对所述虚拟视点图像进行滤波平滑处理；
或，
将多个参考视点进行映射融合；
或，
采用像素插值算法对空洞区域进行修复；其中，所述像素插值算法包括领域像素插值算法和横向像素插值算法中的任一种或两种。
在执行基于深度信息的自由视角图像合成后，
通过直方图匹配及颜色空间变换进行色彩亮度矫正，以消除伪影区域；
采用Z-buffer消隐算法对虚拟视点图像进行处理，以消除重叠区域。
所述环形阵列相机部署优化模型的表达式如下：
式①为目标：从候选相机集合中选取一个子集合/>使得/>中元素数量最少；
式②为约束1：所有的空间点被至少中一个相机覆盖；
式③为约束2：同一个位置只能架设一个相机；
式④为约束3：相邻相机图像重叠率大于阈值；
式中，n表示可安置的相机数；/>表示目标函数，card(*)表示相机的个数；CS、Ct表示子集合/>中的两个相机；CS.location、Ct.location分别表示相机CS、Ct的架设位置；overlay(Ci,Cj)表示两相机Ci、Cj的重叠率；/>表示目标区域中任意空间点Gi被相机Cj覆盖；集合/>m为抽样空间点的数量。
与现有技术相比，本发明所达到的有益效果：
稀疏相机阵列能够有效减少相机数量，在进行三维采集时实现对目标瞬时捕捉，节约时间成本，确保相机成本可控；同时，通过基于光场重建及深度信息的自由视角图像合成，可以有效提升实景图像采集精确度、保真度，有助于消除视频与三维场景虚实融合时的变形问题。
附图说明
图1是本发明实施例提供的一种稀疏阵列相机部署方法的流程图；
图2是本发明实施例提供的虚拟视点的图像合成方法流程图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符"/"，一般表示前后关联对象是一种“或”的关系。
实施例一：
图1是本发明实施例一中的一种稀疏阵列相机部署方法的流程图。本流程图仅仅示出了本实施例所述方法的逻辑顺序，在互不冲突的前提下，在本发明其它可能的实施例中，可以以不同于图1所示的顺序完成所示出或描述的步骤。
本实施例提供的方法可应用于终端，可以由部署装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在终端中，例如：任一具备通信功能的智能手机，平板电脑或计算机设备。参见图1，本实施的方法具体包括如下步骤：
S1、通过求解相机参数，进而建立图像/视频空间和地理空间的映射关系；
S2、基于光场重建的自由视角图像合成；
S3、基于深度信息的自由视角图像合成；
S4、稀疏相机阵列构建。
所述S1中，包括如下步骤：
S1.1、建立图像/视频空间和地理空间的映射关系，其信息链为“空间场景-相机-图像/视频空间”，涉及参数如表1所示。基于上述参数，图像/视频空间和地理空间的关联可以通过表2进行转换。
表1图像/视频空间化参数
| 层面 | 参数 |
| 图像/视频 | 像点坐标(i，j)、像距fD |
| 相机 | 焦距f，水平方位角P，俯仰角T、相机位置(XC，YC，HC) |
| 空间对象 | 空间坐标(XG，YG，HG)、物距D |
表2图像/视频空间与地理空间的关联模型
在上述公式中，λ1、λ2、λ3为相机空间和地理空间坐标映射变换系数，(x，y，z)表示像点坐标，像点坐标和空间坐标是已知的，而相机焦距、位置和姿态参数，则需要在相机布置时根据具体情况进行实验标定，具体如下：
对于存在平面的三维场景，可采用单应性矩阵求解的方法对相机内外参数进行标定。在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射。因此一个二维平面上的点映射到相机成像仪上的映射就是平面单应性的例子。可将单应性矩阵H元素作为未知数，当具有4个以上的对应控制点时，采用最小二乘法便可以解算出H矩阵。基于H矩阵可以实现2D地理坐标系与图像/视频坐标系的相互转换，从而建立图像/视频空间和地理空间的映射关系；
对于不存在平面的三维场景，可以通过场景中的特殊几何结构，利用透视投影中特定几何信息的不变性对相机参数建立约束条件，实现相机自标定，主要有基于灭点的相机自标定、基于平面或立体模板的相机自标定以及基于天然场景的自标定。对于难以获取自标定所需的特殊几何结构的场景，可以采用两步法解算相机内外参数。首先用棋盘格法进行相机内参数标定，然后采用人工取点法或图像匹配法获得控制点对解算相机外参数。在获取一组三维-二维点对的情况下，相机的外参数标定即为相机位姿的透视n点定位问题(Perspective-n-Point，PnP)。
作为本发明的一种实施例，步骤S2的具体步骤包括：
S2.1、针对目标区域中的某一个电网输变配主设备采集多角度实景图像，作为样本图像。
S2.2、通过可微分体绘制公式对场景进行建模。光线的颜色通过对沿光线采集的多个样本进行积分来近似，计算过程如下式所示。
式中，C(r)表示光通量，通过各单色光求和获取；N代表采样光线样本数量；Ti表示光线样本i传输的光的数量；σi表示光线样本i的不透明度；ci表示光线样本i的颜色；δi代表采样光线距离。
S2.3、对光场重建进行优化，提高显示质效：
首先重建一个稀疏的体素表格，每个被占用的体素都带有不透明度和球谐系数。球谐函数是一组定义在球体上的正交基，低次谐波编码可表示平滑颜色变化，高次谐波编码可表示更高频的颜色变化，使用二次球面谐波函数进行表示。任意位置和观察方向上的不透明度和颜色可以通过三线性插值相邻体素上的值，并在适当的观察方向上计算球面谐波来确定。通过对渲染像素的平均平方误差(MSE)进行最小化，来优化体素的不透明度和球谐系数，并且使用TV(TotalVariationRegularization)正则化帮助消除噪声，其计算过程如下所示：
ζ＝ζrecon+λTVζTV
其中，ζrecon为MSE重建损失，ζTV为总变量正则化器；λTV是ζTV矩阵特征值，λTV -1是λTV的逆矩阵，R表示视频采集到的样本总量，v、d表示像素空间的不透明度和颜色，Δx、Δy、Δz是虚拟三维像素点坐标系中X、Y、Z方向上的值和平均值的偏差，V表示虚拟三维像素点中的观察样本。
作为本发明的一种实施例，步骤S3的具体包括如下步骤：
S3.1、对于参考视点上的每一个像素，利用其对应的深度信息以及参考相机的参数矩阵可以投影到三维空间中。
S3.2、根据虚拟相机的参数矩阵，将三维空间中的点重投影到虚拟相机的近平面上，该过程称为3D-Warping。
在3D-Warping过程中，主要涉及多个空间坐标系的转换。其中世界空间中的某一点P(Xw,Yw,Zw)利用相机的外参矩阵(R,T)能够转化到相机空间坐标系(Xc,Yc,Zc)中，再利用对应相机的内参矩阵投影至近平面上，进而转化到像素坐标系(u,v)中，分别用P1(u1,v1)，P2(u2,v2)表示。若已知参考视图上任意一点P1处的像素深度z1，则根据参考相机的内参矩阵A1和外参矩阵(R1,T1)可以求出P1的世界坐标pw：
S3.3、利用虚拟相机的内参矩阵A2与外参矩阵(R2,T2)，可以将pw点重新投影到虚拟相机的近平面上，结合上式可得3D Warping方程，求解参考视点上任意像素到虚拟视图上的像素坐标。
S3.4、投影后的虚拟视点在图像上由于采样率、精度误差等问题仍存在空洞、伪影、重叠等问题，需要进一步后处理。
针对空洞问题有三种解决思路。
一是深度图预处理，通过对深度图滤波平滑深度图，可以在一定程度上减少虚拟视点图像上的空洞，但是也会造成图像在一定程度上的失真。
二是合并多参考视点，为了补偿单参考视点不足的场景信息，可以考虑将多个参考视点进行映射融合，一般情况下是采用左右两个参考视点合并生成中间的虚拟视点图像。多参考视点结合不仅可以消除大部分由于物体遮挡造成的空洞，对于边界空洞也是非常有效的。
三是空洞后处理。对于参考视点前向映射后仍表现出的空洞区域，只能进行最后的空洞处理。对于面积比较小的空洞，常采用像素插值算法进行修复，比较常用的插值算法有邻域像素插值，横向插值等。伪影问题的解决方案主要通过直方图匹配、颜色空间变换等方法进行色彩亮度矫正。重叠问题大多情况下都是前景像素点与背景像素点映射在虚拟视点图像上的同一位置，可以采用Z-buffer算法解决。
作为本发明的一种实施例，步骤S4的具体包括如下步骤：
S4.1、明确目标为环形相机阵列构建策略的优化目标为使用最少数量的相机覆盖目标区域，并能合成任意自由视角图像。
S4.2、为简化起见，假设自由视角虚拟相机的位置也在环形空间，且当相邻相机图像重叠率超过一定的阈值即可合成自由视角图像。
S4.3、对于环形空间中所有可以安置的相机集合，n表示可安置的相机数量，其中任意相机/>都可用Cj[location(Xj,Yj,Hj),posture(Pj,Tj),inner(Size,fj)]表示，假设内参已知，则可由(Xj,Yj,Hj,Pj,Tj)五个参数确定，相机参数空间是一个连续的五维空间，将通过采样在这个五维空间中获取候选相机构成集合/>
S4.4、目标区域包含无数个空间点，为提高优化部署效率，将目标区域抽样为有限个空间点，构成集合其中，m为抽样空间点的数量。将目标区域中任意一点/>被相机Cj覆盖，记作/>而/>表示相机Cj覆盖的点集合。
S4.5、在可安置相机的环形空间中选取安置的相机集合的子集使中的相机能覆盖目标区域经过抽样后的空间点集合，在保证相邻相机图像的重叠率大于阈值γ的情况下，总相机数量最少。
S4.6、因此，环形阵列相机部署优化模型可以表达为下述表达式，其中，表示目标函数，card(*)表示相机的个数(下同)，CS、Ct表示子集合/>中的两个相机；CS.location、Ct.location分别表示相机CS、Ct的架设位置；overlay(Ci,Cj)表示两相机Ci、Cj的重叠率。
此式含义如下：
①目标：从候选相机集合中选取一个子集合/> 中元素数量尽可能少；
②约束1：所有的空间点被至少中一个相机覆盖；
③约束2：同一个位置只能架设一个相机；
④约束3：相邻相机图像重叠率大于阈值γ。
S4.7、根据优化模型，优化的过程即为从所有的候选相机集合中选取一个优化的子集，选用启发式搜索方法依次构建相机阵列部署优化的图结构、代价函数和启发函数，获得最优部署方案。
实施例二：
本发明实施例还提供了一种电子终端，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。
本发明实施例所提供的电子终端可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例三：
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述方法的步骤
本发明实施例所提供的计算机可读存储介质可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种稀疏阵列相机部署方法，其特征在于，包括：
通过求解相机内外参数，建立图像/视频空间和地理空间的映射关系；
针对目标区域中的某一电网设备采集多角度实景图像，作为样本图像；
根据所采集的所述样本图像及所建立的所述映射关系，执行基于光场重建的自由视角图像合成及基于深度信息的自由视角图像合成，获取多张自由视角合成图像；
以使用最少数量的相机覆盖目标区域、并能合成任意所述自由视角合成图像为优化目标，求解环形相机阵列部署优化模型，获取环形相机阵列部署结果。
2.根据权利要求1所述的稀疏阵列相机部署方法，其特征在于，所述通过求解相机内外参数，建立图像/视频空间和地理空间的映射关系，包括：
对于存在二维平面的三维场景，采用单应性矩阵H求解法对所述相机内外参数进行标定；
对于不存在二维平面的三维场景，通过场景中的特殊几何结构，利用透视投影中特定几何信息的不变性对相机内外参数建立约束条件，实现相机内外参数自标定；对于无法获取自标定所需的特殊几何结构的场景，首先利用棋盘格法进行内参数标定；再采用人工取点法或图像匹配法获得控制点对，以解算相机外参数。
3.根据权利要求2所述的稀疏阵列相机部署方法，其特征在于，当具有4个以上的对应控制点时，采用最小二乘法求解所述单应性矩阵H。
4.根据权利要求1所述的稀疏阵列相机部署方法，其特征在于，所述图像/视频空间和地理空间的映射关系采用下述表达式表示：
式中：λ1、λ2、λ3表示相机空间和地理空间坐标映射变换系数；fD表示像距；D表示物距；P表示相机水平方位角；T表示相机俯仰角；f表示相机焦距；(XC,YC,HC)表示相机空间坐标；(XG,YG,HG)表示地理空间坐标；(x，y，z)表示像点坐标。
5.根据权利要求1所述的稀疏阵列相机部署方法，其特征在于，所述执行基于光场重建的自由视角图像合成，包括：
通过可微分体绘制公式对场景进行建模；
光线的颜色通过对沿光线采集的多个样本图像进行积分近似，计算过程如下式所示：
式中，C(r)表示光通量，通过各单色光求和获取；N代表采样光线样本数量；Ti表示光线样本i传输的光的数量；σi表示光线样本i的不透明度；ci表示光线样本i的颜色；δi代表采样光线距离。
6.根据权利要求5所述的稀疏阵列相机部署方法，其特征在于，在所述执行基于光场重建的自由视角图像合成后，对光场重建进行优化，具体包括：
重建一个稀疏的体素表格，每个被占用的体素都带有不透明度和球谐系数；
通过对渲染像素的平均平方误差MSE进行最小化，优化体素的不透明度和球谐系数，并使用TV正则化帮助消除噪声，其计算过程如下所示：
ζ＝ζrecon+λTVζTV
其中，ζrecon为MSE重建损失，ζTV为总变量正则化器；λTV是ζTV矩阵特征值，λTV -1是λTV的逆矩阵，R表示视频采集到的样本总量，v、d表示像素空间的不透明度和颜色，Δx、Δy、Δz是虚拟三维像素点坐标系中X、Y、Z方向上的值和平均值的偏差，V表示虚拟三维像素点中的观察样本。
7.根据权利要求1所述的稀疏阵列相机部署方法，其特征在于，执行基于深度信息的自由视角图像合成，包括：
从样本图像中选取参考视点；
对于参考视点上的每一个像素，利用其对应的深度信息以及参考相机的参数矩阵投影到三维空间中；
根据虚拟相机的参数矩阵，将三维空间中的点重投影到虚拟相机的近平面上，求解参考视点上任意像素到虚拟视图上的像素坐标，获取虚拟视点图像。
8.根据权利要求7所述的稀疏阵列相机部署方法，其特征在于，在执行基于深度信息的自由视角图像合成后，对所述虚拟视点图像进行优化处理，以消除空洞区域：所述优化处理包括：
对所述虚拟视点图像进行滤波平滑处理；
或，
将多个参考视点进行映射融合；
或，
采用像素插值算法对空洞区域进行修复；其中，所述像素插值算法包括领域像素插值算法和横向像素插值算法中的任一种或两种。
9.根据权利要求7或8所述的稀疏阵列相机部署方法，其特征在于，在执行基于深度信息的自由视角图像合成后，
通过直方图匹配及颜色空间变换进行色彩亮度矫正，以消除伪影区域；
采用Z-buffer消隐算法对虚拟视点图像进行处理，以消除重叠区域。
10.根据权利要求1所述的稀疏阵列相机部署方法，其特征在于，所述环形阵列相机部署优化模型的表达式如下：
式①为目标：从候选相机集合中选取一个子集合/>使得/>中元素数量最少；
式②为约束1：所有的空间点被至少中一个相机覆盖；
式③为约束2：同一个位置只能架设一个相机；
式④为约束3：相邻相机图像重叠率大于阈值；
式中，n表示可安置的相机数；/>表示目标函数，card(*)表示相机的个数；Cs、Ct表示子集合/>中的两个相机；CS.location、Ct.location分别表示相机CS、Ct的架设位置；overlay(Ci，Cj)表示两相机Ci、Cj的重叠率；/>表示目标区域/>中任意空间点Gi被相机Cj覆盖；集合/>m为抽样空间点的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310434148.5A CN116801115A (zh) | 2023-04-21 | 2023-04-21 | 一种稀疏阵列相机部署方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310434148.5A CN116801115A (zh) | 2023-04-21 | 2023-04-21 | 一种稀疏阵列相机部署方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116801115A true CN116801115A (zh) | 2023-09-22 |
Family
ID=88042803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310434148.5A Pending CN116801115A (zh) | 2023-04-21 | 2023-04-21 | 一种稀疏阵列相机部署方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116801115A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883516A (zh) * | 2023-09-07 | 2023-10-13 | 西南科技大学 | 相机参数标定方法及装置 |
-
2023
- 2023-04-21 CN CN202310434148.5A patent/CN116801115A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883516A (zh) * | 2023-09-07 | 2023-10-13 | 西南科技大学 | 相机参数标定方法及装置 |
| CN116883516B (zh) * | 2023-09-07 | 2023-11-24 | 西南科技大学 | 相机参数标定方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363858B (zh) | 一种三维人脸重建方法及系统 | |
| US9317970B2 (en) | Coupled reconstruction of hair and skin | |
| Furukawa et al. | Accurate camera calibration from multi-view stereo and bundle adjustment | |
| CN111243071A (zh) | 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质 | |
| CN114399554B (zh) | 一种多相机系统的标定方法及系统 | |
| US20240169674A1 (en) | Indoor scene virtual roaming method based on reflection decomposition | |
| EP3186787A1 (en) | Method and device for registering an image to a model | |
| CN110349257B (zh) | 一种基于相位伪映射的双目测量缺失点云插补方法 | |
| CN111047709A (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| Liu et al. | Shape-optimizing and illumination-smoothing image stitching | |
| CN109064533B (zh) | 一种3d漫游方法及系统 | |
| CN113781621A (zh) | 三维重建处理的方法、装置、设备及存储介质 | |
| CN116801115A (zh) | 一种稀疏阵列相机部署方法 | |
| CN114049464A (zh) | 一种三维模型的重建方法及设备 | |
| CN111563961A (zh) | 一种变电站的三维建模方法和相关装置 | |
| CN108830921A (zh) | 基于入射角度的激光点云反射强度纠正方法 | |
| Liu et al. | Creating simplified 3D models with high quality textures | |
| CN112802186B (zh) | 基于二值化特征编码匹配的动态场景实时三维重建方法 | |
| CN113469886B (zh) | 一种基于三维重构的图像拼接方法 | |
| Park | Interactive 3D reconstruction from multiple images: A primitive-based approach | |
| CN116385577A (zh) | 虚拟视点图像生成方法及装置 | |
| da Silveira et al. | Omnidirectional visual computing: Foundations, challenges, and applications | |
| Bastanlar et al. | Effective structure-from-motion for hybrid camera systems | |
| Silva et al. | Real-time acquisition and super-resolution techniques on 3D reconstruction | |
| CN111899293B (zh) | Ar应用中的虚实遮挡处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |