CN117422650B - 全景影像畸变校正方法、装置、电子设备及介质 - Google Patents
全景影像畸变校正方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117422650B CN117422650B CN202311736358.6A CN202311736358A CN117422650B CN 117422650 B CN117422650 B CN 117422650B CN 202311736358 A CN202311736358 A CN 202311736358A CN 117422650 B CN117422650 B CN 117422650B
- Authority
- CN
- China
- Prior art keywords
- image
- fisheye
- calibration
- images
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012937 correction Methods 0.000 title claims abstract description 67
- 238000003384 imaging method Methods 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及全景影像畸变校正方法、装置、电子设备及介质，方法包括：采集目标场景的全景影像；将所述全景影像投影切分为多视角序列鱼眼影像；对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；根据各鱼眼影像的内部参数和畸变系数，对各鱼眼影像进行畸变矫正。本发明解决了全景各镜头影像拼接时产生拼接线造成标定板错位影响二维棋盘格标定法标定精度的问题，对任意场景的影像畸变矫正精度均较高，相比于通用的二维标定法有更强的适用性和准确性。
Description
技术领域
本发明涉及影像检校和纠正技术领域，尤其涉及全景影像畸变校正方法、装置、电子设备及介质。
背景技术
全景影像是实时拍摄并记录全景摄像机镜头周围360°~720°地物情况的影像，可以从视场角和连续场景两个维度增加对场景及场景中对象的多视覆盖。
全景影像在使用前，需对其检校获取内部参数和畸变系数，而全景数据由全景相机的多个鱼眼镜头拍摄并拼接而成，常用的全景相机镜头类型包括双镜头、4镜头、6镜头等，由于不同相机的投影模型和成像、拼接方式不尽相同，对研究普适的全景相机影像检校方法造成了困难。
近年来，图像标定大多使用基于单平面棋盘格相机标定方法，拍摄黑白标定板的方式标定，标定流程是当物方点处在同一平面上时，根据棋盘格上点与点之间距离统一且分布均匀的特点，为棋盘格上各点赋物方坐标，通过平面和平面间的单应性对像片进行运动估计，具有简单且实用性强的优点。
但是，由于各镜头参数、拍摄光线与角度等的少许差异，全景相机各镜头拼接时，影像和影像间会存在一定的拼接线，而这在使用全景相机拍摄标定板时尤为明显，造成标定板畸变错位，角点模糊，变形严重，极大地影响棋盘格成像和标定精度。
发明内容
有鉴于此，有必要提供全景影像畸变校正方法、装置、电子设备及介质，用以解决全景相机各镜头影像拼接时产生拼接线造成标定板畸变错位的问题。
为了解决上述问题，第一方面，本发明提供一种全景影像畸变校正方法，包括：
采集目标场景的全景影像；
将所述全景影像投影切分为多视角序列鱼眼影像；
对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；
基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；
根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正。
优选的，在采集目标场景的全景影像前，所述方法还包括：
在目标场景中布设多个标定点，获取标定点的物方坐标；其中，所述标定点的物方坐标表示标定点在世界坐标系中的坐标；
在采集目标场景的全景影像后，所述方法还包括：
确定标定点在全景影像内的像方坐标，所述标定点的像方坐标表示标定点在相机坐标系中的坐标。
优选的，将所述全景影像投影切分为多视角序列鱼眼影像，具体包括：
将所述全景影像切分为前后左右四个180°视角的经纬映射影像。
对切分后的各视角影像进行筛选，保留标定点数量多且分布均匀的经纬映射影像。
根据经纬映射影像和鱼眼图像的成像关系，将筛选后的各视角影像投影为鱼眼影像，得到多视角序列鱼眼影像。
优选的，所述对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数，具体包括：
根据鱼眼影像内平面二维像点与物方三维点之间的成像关系，建立鱼眼镜头成像模型；
根据鱼眼镜头成像模型中的观测值与未知数之间关系建立误差方程式，将非线性函数用泰勒公式线性化展开，得到线性化误差方程式。
遍历单张鱼眼影像上所有标定点，建立每个标定点的误差方程，将标定点的像方坐标和物方坐标带入标定点的误差方程中，利用最小二乘法迭代求解，得到单影像检校参数，其中，所述单影像检校参数包括当前影像的内部参数、外部参数和畸变系数。
优选的，基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各鱼眼影像的内部参数和畸变系数，具体包括：
对于多视角序列鱼眼影像中同一视角的多张鱼眼影像，基于所述单影像检校参数计算结果，建立每个标定点的误差方程。
对全景投影切分出的各视角影像分别进行多影像后方交会联合平差，迭代求解得到各视角影像的内部参数和畸变系数。
优选的，在根据各鱼眼影像的内部参数和畸变系数，对各鱼眼影像进行畸变矫正后，所述方法还包括：
遍历畸变矫正后影像，使用双线性插值法重采样填补空洞，并对畸变矫正后影像可视化。
优选的，所述鱼眼镜头成像模型的表达式为：
式中，表示物方坐标系下标定点/>在鱼眼影像上成像时对应的像点/>在像素坐标系下的坐标，/>分别表示鱼眼影像在像素坐标系下的内参，/>分别表示鱼眼影像的畸变系数，/>为标定点/>成像时的入射角，/>分别表示像方与物方的成像参数。
第二方面，本发明还提供一种全景影像畸变校正装置，包括：
全景影像采集模块，用于采集目标场景的全景影像；
投影切分模块，用于将所述全景影像投影切分为多视角序列鱼眼影像；
检校参数计算模块，用于对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；
联合平差模块，用于基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；
畸变矫正模块，用于根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正。
第三方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任意一种实现方式中所述的一种全景影像畸变校正方法中的步骤。
第三方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述任意一种实现方式中所述的一种全景影像畸变校正方法中的步骤。
采用上述实施例的有益效果是：本发明提供的全景影像畸变校正方法，采集目标场景的全景影像；将所述全景影像投影切分为多视角序列鱼眼影像；对全景投影切分出的单张鱼眼影像进行单影像检校参数计算；基于单影像检校参数，对全景投影切分出的各视角分别进行多影像后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正。本发明解决了全景各镜头影像拼接时产生拼接线造成标定板错位影响二维棋盘格标定法标定精度的问题，对任意场景的影像畸变矫正精度均较高，相比于通用的二维标定法有更强的适用性和准确性。
附图说明
图１为本发明提供的全景影像畸变校正系统一实施例的方法流程图；
图2为物方点在针孔影像与鱼眼影像上成像；
图3为本发明提供的全景影像畸变校正装置一实施例的结构框图；
图4为本发明提供的电子设备一实施例的结构框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
图１为本发明提供的全景影像畸变校正方法一实施例的方法流程图。如图1所示，全景影像畸变校正方法包括：
步骤110，采集目标场景的全景影像；
此处，目标场景可以选择含有大量标定点的三维控制场，三维控制场是指一组在三维空间中明确定义和测量的标定点，这些标定点的坐标已知并可用于空间定位和测量。本实施例中，采用全景相机在三维控制场中采集全景影像。可以在室内和/或室外场景采集全景影像，本发明实施例对此不作具体限定。
步骤120，将所述全景影像投影切分为多视角序列鱼眼影像。
本实施例中，将全景影像切分为多个不同视角的经纬映射影像，然后，将多个不同视角的经纬映射影像投影为多视角序列鱼眼影像，得到多视角序列鱼眼影像。
步骤130，对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数。
对多视角序列鱼眼影像中的单张鱼眼影像进行检校，计算单张鱼眼影像的检校参数，此处的检校参数包括内部参数、外部参数和畸变系数。
步骤140，基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数。
具体的，以全景投影切分出的同一视角对应的内部参数和畸变系数一致的原则出发，通过多影像后方交会联合平差对单影像检校结果进一步优化，以增强鱼眼影像检校结果的普适性和鲁棒性。
步骤150，根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正。
具体的，假设畸变矫正后影像尺寸与原鱼眼影像尺寸相同，遍历畸变矫正后影像上的每一个像素，根据鱼眼影像的内部参数和畸变系数/>，反算该像素块在原鱼眼影像上的位置。对畸变矫正后影像上任意位置的像素/>，其与鱼眼影像上对应像素位置/>之间的关系如下式：
得到后，可根据鱼眼影像周围像素值对其进行双线性内插得到/>处的像素值。
本实施例中，在采集得到全景影像后，根据步骤140得到各视角影像的内部参数和畸变系数，对全景切分出的多视角序列鱼眼影像进行畸变矫正。
本发明实施例提供的全景影像畸变校正方法，解决了全景各镜头影像拼接时产生拼接线造成标定板错位影响二维棋盘格标定法标定精度的问题，对任意场景的影像畸变矫正精度均较高，相比于现有的二维标定法有更强的适用性和准确性。
在上述实施例的基础上，作为一种优选的实施方式，在步骤110，采集目标场景的全景影像前，所述方法还包括：
在目标场景中布设多个标定点，获取标定点的物方坐标；其中，所述标定点的物方坐标表示标定点在世界坐标系中的坐标；
在步骤110采集目标场景的全景影像后，所述方法还包括：
确定标定点在全景影像内的像方坐标，所述标定点的像方坐标表示标定点在相机坐标系中的坐标。
具体的，在实际操作过程中，首先，准备6镜头的全景相机和云台360°旋转支持多角度切换的三脚架。目标场景选择含有大量标定点的三维控制场，在目标场景中布设含有大量分布均匀的标定点的三维控制场，使用三维扫描仪对标定场进行扫描，获取标志点物方坐标作为物方已知控制点坐标。最后，在三维控制场内使用手机软件操控全景相机采集影像，使用手机软件将各鱼眼镜头拍摄的影像通过新光流拼接算法拼接，得到目标场景的全景影像，确定标定点在全景影像内的像方坐标。
本实施例采集包含大量已知标定点的360度全景影像，为后续全景影像投影切分出的各视角影像对应的虚拟镜头畸变矫正提供数据基础。
在上述实施例的基础上，作为一种优选的实施方式，步骤120中，将所述全景影像投影切分为多视角序列鱼眼影像，具体包括：
首先，将360°×180°视场角的全景影像按180°×180°视场角切分为前后左右四个180°视角的经纬映射影像。确定全景影像中的前后左右四个方向，将其分为四个相等的部分。将全景影像分为前、后、左、右四个相等的180°视角部分。将全景影像从球面坐标系映射到经纬映射影像的平面坐标系，以获得经纬映射影像。
然后，对切分后的各视角影像进行筛选，保留标定点数量多，且标定点成像清晰、分布均匀的经纬映射影像。
最后，根据经纬映射影像和鱼眼图像的成像关系，通过等距离鱼眼投影方法，将筛选后的各视角影像投影为鱼眼影像，得到多视角序列鱼眼影像。
本实施例将360度全景影像投影切分为多视角的鱼眼影像，为后续影像畸变矫正研究提供数据基础。
在上述实施例的基础上，作为一种优选的实施方式，步骤130中，对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数，具体包括：
步骤131，根据鱼眼影像内平面二维像点与物方三维点之间的成像关系，建立鱼眼镜头成像模型。
具体的，图2为物方点在针孔影像与鱼眼影像上成像，根据图2所示的鱼眼影像和针孔影像的成像关系和针孔影像像方和物方的成像关系，建立鱼眼影像内平面二维像点与物方三维点之间的对应关系，进而建立鱼眼镜头成像模型如下式（1），鱼眼镜头成像模型选择等距投影模型。
（1）
式中，表示物方坐标系下标定点/>在鱼眼影像上成像时对应的像点/>在像素坐标系下的坐标，/>分别表示鱼眼影像在像素坐标系下的内参，/>分别表示鱼眼影像的畸变系数，/>为图2中点/>成像时的入射角，/>分别表示像方与物方的成像参数。
步骤132，根据鱼眼镜头成像模型中的观测值与未知数之间关系建立误差方程式，其中观测值为物方点在鱼眼影像上成像的像点坐标，未知数包括鱼眼影像的外部参数，内部参数/>，以及畸变系数/>。将非线性函数用泰勒公式线性化展开，得到线性化误差方程式如下式（2）：
（2）
式中，为像点坐标/>的观测值改正数，/>,,/>为未知数改正数，/>是用未知数的近似值带入式(1)求出的像点坐标计算值，各项系数为对应参数对未知数的求导。
将线性化误差方程式中的未知数和系数合并整理，并转化为法方程形式。
步骤133，遍历单张鱼眼影像上所有标定点，建立每个标定点的误差方程，并利用最小二乘法迭代求解，每次迭代利用求得的未知数改正数更新未知数和误差方程参数，直至收敛，得到单影像检校参数，其中，所述单影像检校参数包括当前影像的内部参数、外部参数和畸变系数。
在上述实施例的基础上，作为一种优选的实施方式，步骤140中，基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数，具体包括：
首先，对于多视角序列鱼眼影像中同一视角的多张鱼眼影像，将在步骤130中得到的单影像检校参数计算结果作为未知数初始值。遍历所述多张鱼眼影像上的标定点，根据全景投影切分出的同一视角对应的虚拟镜头内部参数和畸变系数一致的对应关系，建立每个标定点的误差方程，如下式：
（3）
式中，为标定的影像数，/>为参与平差的标定点组数，/>为像点坐标观测值改正数，/>为外方位元素系数，t为外方位元素改正数，/>为内方位元素系数，/>为内方位元素改正数，/>为畸变系数的系数，/>为畸变系数改正数，/>为像点坐标计算值与像点坐标观测值的差值，/>为改正数系数，/>为所有未知数改正数。
然后，对全景投影切分出的各视角鱼眼影像分别进行多影像后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数。其中，多影像后方交会联合平差是指根据全景投影切分出的同一视角对应的虚拟镜头内部参数和畸变系数一致的对应关系列误差方程联合平差求解。四个视角影像标定结果如表1所示。
表1四个视角影像标定结果（单位：像素）
进一步的，将得到的四个视角影像标定结果、标定点像方坐标和物方坐标代入误差方程式（3）中，计算得到各像点观测值残差，进而计算影像平均重投影误差和单位权中误差验证精度，得到全景四视角检校精度如表2所示。
表2全景四视角检校精度（单位：像素）
本发明实施例提供的全景影像畸变校正方法，首先，在室内和室外场景采集全景影像，然后，将全景影像投影切分得到不同视角的鱼眼影像，在实际操作过程中，可以选择包含特征较为明显，易于观察畸变的地物，如较为方正的建筑物等的影像作为待矫正的各视角影像。最后，根据步骤140中得到的内部参数和畸变系数对各视角影像进行畸变矫正，畸变矫正结果如图4所示。计算影像内每个像素点在畸变矫正后的坐标并记录，保留鱼眼影像像幅内的点。
本发明实施例基于摄影测量建立三维控制场中标定点的像方与物方的成像模型，采用多影像联合平差，最小二乘法迭代求解，实现全景影像投影切分出的任意视角影像标定。
在上述实施例的基础上，作为一种优选的实施方式，在步骤150根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正后，本发明实施例提供的全景影像畸变校正方法还包括：
遍历畸变矫正后影像，使用双线性插值法重采样填补空洞，并对畸变矫正后影像可视化。
具体的，如果畸变矫正导致了一些空洞，可以通过双线性插值法来估计空洞区域的像素值。遍历畸变矫正后的影像的每个像素，使用双线性插值法计算空洞位置的像素值，将计算得到的插值像素值赋给空洞位置，重复上述步骤，直到遍历完整个影像，所有的空洞都被填补。对畸变矫正后影像可视化。
图3为本发明提供的全景影像畸变校正装置一实施例的结构框图，如图3所示，全景影像畸变校正装置300包括：
全景影像采集模块301，用于采集目标场景的全景影像；
投影切分模块302，用于将所述全景影像投影切分为多视角序列鱼眼影像；
检校参数计算模块303，用于对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；
联合平差模块304，用于基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；
畸变矫正模块305，用于根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正。
本发明实施例提供的全景影像畸变校正装置，解决了全景各镜头影像拼接时产生拼接线造成标定板错位影响二维棋盘格标定法标定精度的问题，对任意场景的影像畸变矫正精度均较高，相比于现有的二维标定法有更强的适用性和准确性。
图4为本发明提供的电子设备一实施例的结构框图，如图4所示，本发明还提供了一种电子设备，电子设备400可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。电子设备400包括处理器401以及存储器402，其中，存储器402上存储有全景影像畸变校正程序403。
存储器402在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器402在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡，安全数字卡，闪存卡等。进一步地，存储器402还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器402用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，所述全景影像畸变校正程序403被处理器401所执行时，实现以下步骤：
采集目标场景的全景影像；
将所述全景影像投影切分为多视角序列鱼眼影像；
对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；
基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；
根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正。
处理器401在一些实施例中可以是一中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行存储器402中存储的程序代码或处理数据，例如执行全景影像畸变校正程序等。
本实施例还提供了一种计算机可读存储介质，其上存储有全景影像畸变校正程序，该全景影像畸变校正程序被处理器执行时，实现以下步骤：
采集目标场景的全景影像；
将所述全景影像投影切分为多视角序列鱼眼影像；
对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；
基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；
根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变矫正。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器、可编程ROM、电可编程ROM、电可擦除可编程ROM或闪存。易失性存储器可包括随机存取存储器或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM、动态RAM、同步DRAM、双数据率SDRAM、增强型SDRAM、同步链路 DRAM、存储器总线直接RAM、直接存储器总线动态RAM，以及存储器总线动态RAM等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种全景影像畸变校正方法，其特征在于，包括：
采集目标场景的全景影像；
将所述全景影像投影切分为多视角序列鱼眼影像；
对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；
基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；
根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变校正；
采集目标场景的全景影像前，所述方法还包括：
在目标场景中布设多个标定点，获取标定点的物方坐标；其中，所述标定点的物方坐标表示标定点在世界坐标系中的坐标；
在采集目标场景的全景影像后，所述方法还包括：
确定标定点在全景影像内的像方坐标，所述标定点的像方坐标表示标定点在相机坐标系中的坐标；
所述对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数，具体包括：
根据鱼眼影像内平面二维像点与物方三维点之间的成像关系，建立鱼眼镜头成像模型；
根据鱼眼镜头成像模型中的观测值与未知数之间关系建立误差方程式，将非线性函数用泰勒公式线性化展开，得到线性化误差方程式；
遍历单张鱼眼影像上所有标定点，建立每个标定点的误差方程，将标定点的像方坐标和物方坐标带入标定点的误差方程中，利用最小二乘法迭代求解，得到单影像检校参数，其中，所述单影像检校参数包括当前影像的内部参数、外部参数和畸变系数；
所述鱼眼镜头成像模型的表达式为：
式中，表示物方坐标系下标定点/>在鱼眼影像上成像时对应的像点/>在像素坐标系下的坐标，/>分别表示鱼眼影像在像素坐标系下的内参，/>分别表示鱼眼影像的畸变系数，/>为标定点/>成像时的入射角，/>分别表示像方与物方的成像参数。
2.根据权利要求1所述的全景影像畸变校正方法，其特征在于，将所述全景影像投影切分为多视角序列鱼眼影像，具体包括：
将所述全景影像切分为前后左右四个180°视角的经纬映射影像；
对切分后的各视角影像进行筛选，保留标定点数量多且分布均匀的经纬映射影像；
根据经纬映射影像和鱼眼图像的成像关系，将筛选后的各视角影像投影为鱼眼影像，得到多视角序列鱼眼影像。
3.根据权利要求1所述的全景影像畸变校正方法，其特征在于，基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数，具体包括：
对于多视角序列鱼眼影像中同一视角的多张鱼眼影像，基于所述单影像检校参数计算结果，建立每个标定点的误差方程；
对全景投影切分出的各视角影像分别进行多影像后方交会联合平差，迭代求解得到各视角影像的内部参数和畸变系数。
4.根据权利要求1所述的全景影像畸变校正方法，其特征在于，在根据各鱼眼影像的内部参数和畸变系数，对各鱼眼影像进行畸变校正后，所述方法还包括：
遍历畸变校正后影像，使用双线性插值法重采样填补空洞，并对畸变校正后影像可视化。
5.一种全景影像畸变校正装置，其特征在于，包括：
全景影像采集模块，用于采集目标场景的全景影像；
投影切分模块，用于将所述全景影像投影切分为多视角序列鱼眼影像；
检校参数计算模块，用于对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数；
联合平差模块，用于基于所述单影像检校参数和所述多视角序列鱼眼影像，对全景投影切分出的同一视角的多张鱼眼影像作后方交会联合平差，得到各视角鱼眼影像的内部参数和畸变系数；
畸变校正模块，用于根据各视角鱼眼影像的内部参数和畸变系数，对各视角鱼眼影像进行畸变校正；
采集目标场景的全景影像前，还包括：
在目标场景中布设多个标定点，获取标定点的物方坐标；其中，所述标定点的物方坐标表示标定点在世界坐标系中的坐标；
在采集目标场景的全景影像后，还包括：
确定标定点在全景影像内的像方坐标，所述标定点的像方坐标表示标定点在相机坐标系中的坐标；
所述对所述多视角序列鱼眼影像中的单张鱼眼影像进行单影像检校参数计算，得到单影像检校参数，具体包括：
根据鱼眼影像内平面二维像点与物方三维点之间的成像关系，建立鱼眼镜头成像模型；
根据鱼眼镜头成像模型中的观测值与未知数之间关系建立误差方程式，将非线性函数用泰勒公式线性化展开，得到线性化误差方程式；
遍历单张鱼眼影像上所有标定点，建立每个标定点的误差方程，将标定点的像方坐标和物方坐标带入标定点的误差方程中，利用最小二乘法迭代求解，得到单影像检校参数，其中，所述单影像检校参数包括当前影像的内部参数、外部参数和畸变系数；
所述鱼眼镜头成像模型的表达式为：
式中，表示物方坐标系下标定点/>在鱼眼影像上成像时对应的像点/>在像素坐标系下的坐标，/>分别表示鱼眼影像在像素坐标系下的内参，/>分别表示鱼眼影像的畸变系数，/>为标定点/>成像时的入射角，/>分别表示像方与物方的成像参数。
6.一种电子设备，
其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至4中任意一项所述的一种全景影像畸变校正方法中的步骤。
7.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述权利要求1至4中任意一项所述的一种全景影像畸变校正方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311736358.6A CN117422650B (zh) | 2023-12-18 | 2023-12-18 | 全景影像畸变校正方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311736358.6A CN117422650B (zh) | 2023-12-18 | 2023-12-18 | 全景影像畸变校正方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117422650A CN117422650A (zh) | 2024-01-19 |
| CN117422650B true CN117422650B (zh) | 2024-03-08 |
Family
ID=89528739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311736358.6A Active CN117422650B (zh) | 2023-12-18 | 2023-12-18 | 全景影像畸变校正方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422650B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113818A1 (zh) * | 2015-12-31 | 2017-07-06 | 深圳市道通智能航空技术有限公司 | 一种无人机及其全景拼接方法、装置和系统 |
| CN108364252A (zh) * | 2018-01-12 | 2018-08-03 | 深圳市粒视界科技有限公司 | 一种多鱼眼镜头全景相机的矫正和标定方法 |
| CN109246416A (zh) * | 2018-09-21 | 2019-01-18 | 福州大学 | 车载六路摄像头的全景拼接方法 |
| CN110298788A (zh) * | 2019-05-16 | 2019-10-01 | 武汉新瑞通达信息技术有限公司 | 一种基于车载鱼眼相机的全景影像拼接方法及系统 |
| CN115272477A (zh) * | 2022-06-28 | 2022-11-01 | 成都上富智感科技有限公司 | 应用于全景影像拼接的棋盘格编码角点检测算法 |
| CN117115267A (zh) * | 2023-08-21 | 2023-11-24 | 北京字跳网络技术有限公司 | 免标定的图像处理方法、装置、电子设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10127637B2 (en) * | 2016-08-30 | 2018-11-13 | Adobe Systems Incorporated | Automatic orientation adjustment of spherical panorama digital images |
-
2023
- 2023-12-18 CN CN202311736358.6A patent/CN117422650B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113818A1 (zh) * | 2015-12-31 | 2017-07-06 | 深圳市道通智能航空技术有限公司 | 一种无人机及其全景拼接方法、装置和系统 |
| CN108364252A (zh) * | 2018-01-12 | 2018-08-03 | 深圳市粒视界科技有限公司 | 一种多鱼眼镜头全景相机的矫正和标定方法 |
| CN109246416A (zh) * | 2018-09-21 | 2019-01-18 | 福州大学 | 车载六路摄像头的全景拼接方法 |
| CN110298788A (zh) * | 2019-05-16 | 2019-10-01 | 武汉新瑞通达信息技术有限公司 | 一种基于车载鱼眼相机的全景影像拼接方法及系统 |
| CN115272477A (zh) * | 2022-06-28 | 2022-11-01 | 成都上富智感科技有限公司 | 应用于全景影像拼接的棋盘格编码角点检测算法 |
| CN117115267A (zh) * | 2023-08-21 | 2023-11-24 | 北京字跳网络技术有限公司 | 免标定的图像处理方法、装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| An ORB-SLAM3 Autonomous Positioning and Orientation Approach using 360-degree Panoramic Video;Xinge Zhao.et.;《2022 29th International Conference on Geoinformatics》;20221202;第1-7页 * |
| 车载鱼眼相机的间接法全景影像拼接;曹君等;《地理空间信息》;20161031;第14卷(第10期);73-74+77+5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117422650A (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6859442B2 (ja) | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 | |
| CN111179358B (zh) | 标定方法、装置、设备及存储介质 | |
| CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110689581B (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
| CN110351494B (zh) | 一种全景视频合成方法、装置及电子设备 | |
| CN105379264B (zh) | 用于成像设备建模与校准的系统和方法 | |
| CN111583119B (zh) | 一种正射影像拼接方法、设备以及计算机可读介质 | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| JP2007183948A (ja) | 幾何情報を校正してパノラマ映像を提供する方法および装置 | |
| CN111784585B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| KR20160116075A (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
| EP2847741A1 (en) | Camera scene fitting of real world scenes for camera pose determination | |
| CN115830103A (zh) | 一种基于单目彩色的透明物体定位方法、装置及存储介质 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| KR102159134B1 (ko) | 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치 | |
| CN112288826A (zh) | 双目相机的标定方法、装置及终端 | |
| JP2024537798A (ja) | 撮影測定方法、装置、機器及び記憶媒体 | |
| CN117665841B (zh) | 一种地理空间信息采集测绘方法及装置 | |
| CN112348775A (zh) | 基于车载环视的路面坑塘检测系统及方法 | |
| DK3189493T3 (en) | PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP | |
| CN109389645B (zh) | 相机自校准方法、系统、相机、机器人及云端服务器 | |
| CN114445583A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| KR102076635B1 (ko) | 산재된 고정 카메라를 이용한 파노라마 영상 생성 장치 및 방법 | |
| CN117422650B (zh) | 全景影像畸变校正方法、装置、电子设备及介质 | |
| CN116563460A (zh) | 三维重建优化方法及装置、介质、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |