CN106447613A - 一种基于图像局部配准的全景去虚影方法及系统 - Google Patents
一种基于图像局部配准的全景去虚影方法及系统 Download PDFInfo
- Publication number
- CN106447613A CN106447613A CN201610854651.6A CN201610854651A CN106447613A CN 106447613 A CN106447613 A CN 106447613A CN 201610854651 A CN201610854651 A CN 201610854651A CN 106447613 A CN106447613 A CN 106447613A
- Authority
- CN
- China
- Prior art keywords
- image
- panorama
- local
- correction value
- diplopia
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 25
- 208000003164 Diplopia Diseases 0.000 claims description 14
- 230000004048 modification Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 238000004804 winding Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像局部配准的全景去虚影方法，其特征在于，包括以下步骤：对图像采集装置得到的姿态参数进行优化；计算3D空间点的原始特征位置；将3D空间点投影在每一帧图像得到每帧图像的目标位置；计算每帧图像的目标位置与原始特征位置之间的差别构成局部偏移估计；将局部偏移估计进行内插形成一个修正向量场；通过修正向量场计算修正值，并将修正值叠加到原始特征位置。本发明还公开了一种基于图像局部配准的全景去虚影系统。本发明利用图像全景预览方法，辅助定位各个摄像机的配准情况，防止个别相机的标定误差较大的情况。
Description
技术领域
本发明涉及人体扫描技术领域，具体涉及一种基于图像局部配准的全景去虚影方法。
背景技术
三维人体扫描技术通过人体扫描仪，对人体全身或局部进行扫描，形成人体的图像或记录，可以广泛应用于各种领域，通过对局部进行扫描，然后将扫描的图像进行拼接形成全景图像，因此图像拼接是全景图像合成中关键技术之一，拼接的结果影响全景预览的观感。目前，即便以最优化摄像机的全局方向和焦距进行全景合成，由于遮挡或者曝光的差异，最后的拼接图在某些地方仍旧有些模糊和重影。
发明内容
本发明根据上述现有技术中存在的问题，提供一种基于图像局部配准的全景去虚影方法。主要应用在人体扫描领域，利用图像全景预览方法，辅助定位各个摄像机的配准情况，防止个别相机的标定误差较大的情况。
为解决上述问题，本发明采用的技术方案是：一种基于图像局部配准的全景去虚影方法，其特征在于，包括以下步骤：
对图像采集装置得到的姿态参数进行优化；
计算3D空间点的原始特征位置；
将3D空间点投影在每一帧图像得到每帧图像的目标位置；
计算每帧图像的目标位置与原始特征位置之间的差别构成局部偏移估计；
将局部偏移估计进行内插形成一个修正向量场；
通过修正向量场计算修正值，并将修正值叠加到原始特征位置。
进一步地，所述优化对摄像机的姿态参数，具体包括：采用全局光束法平差对图像采集装置的姿态参数进行优化，光束法平差是以共线方程式作为数学模型，像点的像平面坐标观测值是未知数的分线性函数，经过线性化后按照最小二乘法原理进行计算。
进一步地，计算3D空间点的原始特征位置；具体包括，对扫描三维物体进行后投影并计算后投影的平均值，根据该平均值计算三维物体的3D空间点的原始特征位置。
进一步地，通过修正向量场计算修正值，并将修正值叠加到原始特征位置，具体包括：
对修正向量场执行逆卷绕算法计算修正值，即将稀疏的修正值uij置于投影位置上，用双线性核函数进行插值获取其他位置的修正值，从而得到局部配准的对应关系，根据修正值与原始视角对应的图像可以获取新图像所有位置的像素内容。
进一步地，所述优化对图像采集装置的姿态参数；具体包括：对图像采集装置采集的图像建立局部配准。
进一步地，所述局部配准采用分层修正场估计方法实现，包括以下步骤：在一定平移范围内做一个全搜索，采用分层修正估计：建立一个图像金字塔，使用金字塔当前处理层级的一些种子用来初始化下一层的搜索。
进一步地，所述使用金字塔当前处理层级的一些种子用来初始化下一层的搜索；具体为：在金字塔中尺寸最小的图像层上搜索对应的局部配准结果，获得离散像素；然后将该层估计的修正场结果作为初始值来对下一层做局部搜索；直至金字塔的最底层。
与现有技术相比，本发明具有以下优点：
本发明有以下优点：
1.针对全景图像拼接中较难处理的虚影现象进行分析，实现了图像内容一致性，通过本发明方法，可以有效消除两张拼接图中的虚影。
2.通过分析图像轮廓和特征点，实现图像局部匹配，合成后的全景图像轮廓清晰，保持真实的场景物体边界。
3.针对图像特征匹配，提供了一种基于金字塔的分层修正场估计方法，该方法速度较快，并且准确度很高。
附图说明
图1为本发明提出一种基于图像局部配准的全景去虚影方法流程图。
具体实施方式
以下结合附图对本发明进行进一步的说明。
参见图1，为本发明提出一种基于图像局部配准的全景去虚影方法流程图。
如图1所示，一种基于图像局部配准的全景去虚影方法，其特征在于，包括以下步骤：
步骤101，对图像采集装置得到的姿态参数进行优化；
步骤102，计算3D空间点的原始特征位置；
步骤103，将3D空间点投影在每一帧图像得到每帧图像的目标位置；
步骤104，计算每帧图像的目标位置与原始特征位置之间的差别构成局部偏移估计；
步骤105，将局部偏移估计进行内插形成一个修正向量场；
步骤106，通过修正向量场计算修正值，并将修正值叠加到原始特征位置。
本发明实施例中，为了确保轮廓边界的一致性，本发明对拼接图像的公共区域进行分析，得到每行像素的关键位置，对用于图像拼接的两张图进行特征点提取，并且利用颜色距离和领域梯度核距离对特征点进行匹配。由于拼接区域的图像内容存在一定的顺序约束，可通过分析特征点的视差来计算修正值，然后用于双线性插值。
在步骤101中，所述对图像采集装置得到的姿态参数进行优化，具体包括：采用全局光束法平差对图像采集装置的姿态参数进行优化，光束法平差是以共线方程式作为数学模型，像点的像平面坐标观测值是未知数的分线性函数，经过线性化后按照最小二乘法原理进行计算。
图像采集装置的姿态参数是对图像采集装置的定位，目的是使得图像采集装置能通过环境中的物体的图像来确定物体的位置、姿态等，通过图像采集装置采集的二维图像提取三维空间信息。图像采集装置为设置在三维物体周围的摄像机组。
在步骤102中，计算3D空间点的原始特征位置；具体包括，对扫描三维物体进行后投影并计算后投影的平均值，根据该平均值计算三维物体的3D空间点的原始特征位置。
在步骤106中，通过修正向量场计算修正值，并将修正值叠加到原始特征位置，具体包括：
对修正向量场执行逆卷绕算法计算修正值，即将稀疏的修正值置于投影位置上，用双线性核函数进行插值获取其他位置的修正值，从而得到局部配准的对应关系，根据修正值与原始视角对应的图像可以获取新图像所有位置的像素内容。
在估计完摄像机的参数之后，利用3D位置向后投影的平均值来计算3D空间点xi的位置：
其中表示第j个视角中与xi的对应投影点，其通过第j个视角的摄像机参数实现与后向投影实现对应，3D位置向后投影的平均值由多个视角对应的后向投影加权平均所得；Rj第j视角对应摄像机中的外参旋转矩阵、fj指第j个视角对应摄像机的焦距，cij指第j个视角对应的3D点xi的权重。
将3D空间点xi其投影到得到投影位置
其中，Kj指第j个视角对应摄像机中的内参矩阵；
由于3D空间点存在一组与视角对应的二维图像特征点间的位置匹配关系，因此投影位置和原始特征位置xij之间的差别构成一组局部偏移估计以此为基础，进行内插形成一个稠密的修正向量场uj(xi)。
在步骤101中，所述对图像采集装置得到的姿态参数进行优化；具体包括：对图像采集装置采集的图像建立局部配准。
进一步地，所述局部配准采用分层修正场估计方法实现，包括以下步骤：在一定平移范围内做一个全搜索，采用分层修正估计：建立一个图像金字塔，使用金字塔当前处理层级的一些种子用来初始化下一层的搜索。
进一步地，所述使用金字塔当前处理层级的一些种子用来初始化下一层的搜索；具体为：在金字塔中尺寸最小的图像层上搜索对应的局部配准结果，获得离散像素；然后将该层估计的修正场结果作为初始值来对下一层做局部搜索；直至金字塔的最底层。
本发明从运动估计入手，采用金字塔分层模块下亚像素级运动估计，大大降低了运算量，提高了运动估计的精度，有助于获取更好的超分辨率重建效果。
本发明采用光束平差法可以实现摄像机的姿态估计，但是在一些特定的情况下，如两张摄像机畸变矫正后图像的场景水平线重叠，这时采用光束平差法求解反而较为复杂。在两幅图像或者两个块之间建立配准，最简单的方法是相对一幅图平移另一幅图。本发明提出一种分层运动估计方法来实现局部配准，具体实施为：
在一定平移范围内做一个全搜索，整数或者亚像素级的步长都可以。为了加速搜索过程，我们通常采用分层运动估计：建立一个金字塔，首先在最粗糙的层上搜索数量较少的离散的像素。之后，将该层的运动估计结果作为初始值来对下一层做更小范围局部的搜索。
上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。
Claims (7)
1.一种基于图像局部配准的全景去虚影方法，其特征在于，包括以下步骤：
对图像采集装置得到的姿态参数进行优化；
计算3D空间点的原始特征位置；
将3D空间点投影在每一帧图像得到每帧图像的目标位置；
计算每帧图像的目标位置与原始特征位置之间的差别构成局部偏移估计；
将局部偏移估计进行内插形成一个修正向量场；
通过修正向量场计算修正值，并将修正值叠加到原始特征位置。
2.根据权利要求1所述的一种基于图像局部配准的全景去虚影方法，其特征在于，所述对图像采集装置得到的姿态参数进行优化，具体包括：采用全局光束法平差对图像采集装置的姿态参数进行优化，光束法平差是以共线方程式作为数学模型，像点的像平面坐标观测值是未知数的分线性函数，经过线性化后按照最小二乘法原理进行计算。
3.根据权利要求1所述的一种基于图像局部配准的全景去虚影方法，其特征在于，计算3D空间点的原始特征位置，具体包括：对扫描三维物体进行后投影并计算后投影的平均值，根据该平均值计算三维物体的3D空间点的原始特征位置。
4.根据权利要求1所述的一种基于图像局部配准的全景去虚影方法，其特征在于，所述通过修正向量场计算修正值，并将修正值叠加到原始特征位置，具体包括：
对修正向量场执行逆卷绕算法计算修正值，即将稀疏的修正值置于投影位置上，用双线性核函数进行插值获取其他位置的修正值，从而得到局部配准的对应关系，根据修正值与原始视角对应的图像可以获取新图像所有位置的像素内容。
5.根据权利要求1所述的一种基于图像局部配准的全景去虚影方法，其特征在于，所述对图像采集装置得到的姿态参数进行优化，具体包括：对图像采集装置采集的图像建立局部配准。
6.根据权利要求5所述的一种基于图像局部配准的全景去虚影方法，其特征在于，所述局部配准采用分层修正场估计方法实现，包括以下步骤：在一定平移范围内做一个全搜索，采用分层修正估计：建立一个图像金字塔，使用金字塔当前处理层级的一些种子用来初始化下一层的搜索。
7.根据权利要求6所述的一种基于图像局部配准的全景去虚影方法，其特征在于，所述使用金字塔当前处理层级的一些种子用来初始化下一层的搜索；具体为：在金字塔中尺寸最小的图像层上搜索对应的局部配准结果，获得离散像素；然后将该层估计的修正场结果作为初始值来对下一层做局部搜索；直至金字塔的最底层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610854651.6A CN106447613A (zh) | 2016-09-27 | 2016-09-27 | 一种基于图像局部配准的全景去虚影方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610854651.6A CN106447613A (zh) | 2016-09-27 | 2016-09-27 | 一种基于图像局部配准的全景去虚影方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106447613A true CN106447613A (zh) | 2017-02-22 |
Family
ID=58169528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610854651.6A Pending CN106447613A (zh) | 2016-09-27 | 2016-09-27 | 一种基于图像局部配准的全景去虚影方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106447613A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739359A (zh) * | 2020-06-30 | 2020-10-02 | 上海乂学教育科技有限公司 | 增强现实的课件生成系统 |
| CN114205525A (zh) * | 2021-12-02 | 2022-03-18 | 信利光电股份有限公司 | 一种卷帘曝光的图像修正方法、装置及可读存储介质 |
| CN114529695A (zh) * | 2021-12-30 | 2022-05-24 | 北京城市网邻信息技术有限公司 | 全景图像处理与生成方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1835021A (zh) * | 2006-04-14 | 2006-09-20 | 东南大学 | 三维扫描系统中三维散乱点集的曲面三角剖分构造方法 |
| CN102436652A (zh) * | 2011-08-31 | 2012-05-02 | 航天恒星科技有限公司 | 一种多源遥感图像自动配准方法 |
| CN103337065A (zh) * | 2013-05-22 | 2013-10-02 | 西安电子科技大学 | 小鼠三维ct图像的非刚性配准方法 |
| CN104884869A (zh) * | 2012-12-26 | 2015-09-02 | 大金工业株式会社 | 冷冻装置的热源单元 |
| CN105809701A (zh) * | 2016-03-25 | 2016-07-27 | 成都易瞳科技有限公司 | 全景视频姿态标定方法 |
-
2016
- 2016-09-27 CN CN201610854651.6A patent/CN106447613A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1835021A (zh) * | 2006-04-14 | 2006-09-20 | 东南大学 | 三维扫描系统中三维散乱点集的曲面三角剖分构造方法 |
| CN102436652A (zh) * | 2011-08-31 | 2012-05-02 | 航天恒星科技有限公司 | 一种多源遥感图像自动配准方法 |
| CN104884869A (zh) * | 2012-12-26 | 2015-09-02 | 大金工业株式会社 | 冷冻装置的热源单元 |
| CN103337065A (zh) * | 2013-05-22 | 2013-10-02 | 西安电子科技大学 | 小鼠三维ct图像的非刚性配准方法 |
| CN105809701A (zh) * | 2016-03-25 | 2016-07-27 | 成都易瞳科技有限公司 | 全景视频姿态标定方法 |
Non-Patent Citations (6)
| Title |
|---|
| JAEHYUN IM ET AL: "Improved Elastic Registration for Removing Ghost Artifacts in High Dynamic Imaging", 《 IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
| 张三喜: "《弹道特征参数摄像测量》", 31 March 2014, 北京：国防工业出版社 * |
| 张珍: "分层运动估计下图像配准算法的研究与应用", 《万方数据库》 * |
| 王雨曦 等: "画幅扫描红外成像实时拼接中的光束法平差", 《红外与激光工程》 * |
| 胡建才 等: "基于因子分解和光束法平差的摄像机自标定", 《光电工程》 * |
| 胡海: "基于双目立体视觉的相位匹配算法研究", 《中国优秀硕士学位论文全文数据看（电子期刊）信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739359A (zh) * | 2020-06-30 | 2020-10-02 | 上海乂学教育科技有限公司 | 增强现实的课件生成系统 |
| CN114205525A (zh) * | 2021-12-02 | 2022-03-18 | 信利光电股份有限公司 | 一种卷帘曝光的图像修正方法、装置及可读存储介质 |
| CN114205525B (zh) * | 2021-12-02 | 2024-05-31 | 信利光电股份有限公司 | 一种卷帘曝光的图像修正方法、装置及可读存储介质 |
| CN114529695A (zh) * | 2021-12-30 | 2022-05-24 | 北京城市网邻信息技术有限公司 | 全景图像处理与生成方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN112367514B (zh) | 三维场景构建方法、装置、系统和存储介质 | |
| CN110648398B (zh) | 基于无人机航摄数据的正射影像实时生成方法及系统 | |
| CN108470370B (zh) | 三维激光扫描仪外置相机联合获取三维彩色点云的方法 | |
| CN108182699B (zh) | 基于二维图像局部变形的三维配准方法 | |
| CN107274336B (zh) | 一种针对车载环境的全景图像拼接方法 | |
| Teller et al. | Calibrated, registered images of an extended urban area | |
| CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
| CN107909640B (zh) | 基于深度学习的人脸重光照方法及装置 | |
| CN104240289B (zh) | 一种基于单个相机的三维数字化重建方法及系统 | |
| CN106157246B (zh) | 一种全自动的快速柱面全景图像拼接方法 | |
| CN108074218A (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
| CN111127613B (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
| Taylor et al. | Reconstructing polyhedral models of architectural scenes from photographs | |
| CN113345084B (zh) | 三维建模系统及三维建模方法 | |
| CN112862683A (zh) | 一种基于弹性配准和网格优化的邻接图像拼接方法 | |
| CN115719320B (zh) | 基于遥感影像的倾斜校正稠密匹配方法 | |
| CN113450416B (zh) | 一种应用于三目相机立体标定的tcsc方法 | |
| CN112270698A (zh) | 基于最邻近曲面的非刚性几何配准方法 | |
| CN106447613A (zh) | 一种基于图像局部配准的全景去虚影方法及系统 | |
| CN116152068A (zh) | 一种可用于太阳能板图像的拼接方法 | |
| CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
| CN108776990A (zh) | 基于三阶球面谐波的动态场景高精度实时三维重建方法及系统 | |
| CN107330856B (zh) | 一种基于投影变换和薄板样条的全景成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170222 |