CN110264403A - 一种基于图像深度分层的去伪影图像拼接方法 - Google Patents

一种基于图像深度分层的去伪影图像拼接方法 Download PDF

Info

Publication number
CN110264403A
CN110264403A CN201910508472.0A CN201910508472A CN110264403A CN 110264403 A CN110264403 A CN 110264403A CN 201910508472 A CN201910508472 A CN 201910508472A CN 110264403 A CN110264403 A CN 110264403A
Authority
CN
China
Prior art keywords
depth
image
exposure mask
layer
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910508472.0A
Other languages
English (en)
Inventor
陈志波
张雯圆
陈晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910508472.0A priority Critical patent/CN110264403A/zh
Publication of CN110264403A publication Critical patent/CN110264403A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明涉及一种基于图像深度分层的去伪影图像拼接方法，包括以下步骤：根据深度图聚类结果，对未拼接图像的深度图量化处理，得到深度图掩膜；基于深度图掩膜，对sift算法匹配好的特征点进行分类，不同类别的特征点计算各自的变换矩阵；根据深度图掩膜，对拼接图像进行深度分层，得到不同深度层次的图像，对不同深度层次的图像用各自的变换矩阵做变换，将变换后的图像按照深度层次从深到浅叠加，得到最终的拼接图像。

Description

一种基于图像深度分层的去伪影图像拼接方法
技术领域
本发明涉及一种基于图像深度分层的去伪影图像拼接方法，属于虚拟现实，沉浸式媒体和光场图像技术领域。
背景技术
全景图像可为用户带来具有沉浸感的媒体体验，是虚拟现实(VR)媒体的重要表现形式之一。无论是普通图像还是光场图像，其单张图像的视角往往较窄，无法独自形成全景图像。在实际应用中，全景图像一般由多张图像经拼接算法拼接而成。光场图像可为用户提供更真实和更自然的6自由度(6DoF)媒体体验，从而可使用户获得更好的沉浸感(Immersion)。因此，6自由度光场图像是未来虚拟现实(VR)媒体技术发展的趋势。在VR应用中，多张光场图像需被拼接为一张全景光场图像。由于待拼接图像的重叠区域的景深动态范围往往较大，目前的图像拼接算法并不能取得很好的拼接效果，并经常会产生伪影现象(如图1所示)。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种基于图像深度分层的光场图像拼接方法，可有效去除伪影，获得明显改善的图像拼接效果。本发明所述方法不但适用于光场图像的拼接，同样适用于普通图像的拼接。
本发明技术解决方案：
一种基于图像深度分层的去伪影图像拼接方法，包括以下步骤：
第一步，根据深度图聚类结果，对未拼接图像的深度图量化处理，得到多个深度层次的二值的掩膜，即深度图的掩膜；
第二步，基于深度图的掩膜，对sift算法匹配好的特征点进行分类，不同类别的特征点计算各自的变换矩阵；
第三步，根据深度图的掩膜，对拼接图像进行深度分层，得到不同深度层次的图像，对不同深度层次的图像用各自的变换矩阵做变换，将变换后的图像按照深度层次从深到浅叠加，得到最终的拼接图像。
所述第一步具体实现如下：
(1)对深度图进行灰度值统计，使用聚类算法对统计结果聚类，得到一个合适的深度层次数layer；
(2)统计深度图最大灰度值max和最小灰度值min，按照如下公式对深度图分配标签，其中value(x,y)表示深度图中横坐标为x，纵坐标为y的灰度值，mask(x,y)表示掩膜图中坐标为(x,y)处的标签，代表从属的深度层次；
(3)根据mask(x,y)的值的不同，得到layer个二值掩膜，最终得到多个深度层次的二值的掩膜。比如，将mask(x,y)中值为0的位置的值置为1，其余位置置为0，这样就可以得到第1个深度层次的二值掩膜，同理，将mask(x,y)中值为1的位置的值置为1，其余位置置为0，这样就可以得到第2个深度层次的二值掩膜,以此类推，可以得到所有深度层次的二值掩膜。
所述第二步具体实现如下：
(1)对待拼接的图像用sift算法提取特征点，进行特征点匹配；
(2)遍历所有特征点，按照其所在的位置和layer个二值掩膜，从而判断特征点从属于哪个深度层；
(3)将分类好的匹配特征点按照类别分别用RANSAC算法计算出各自的变换矩阵。
所述第三步具体实现如下：
(1)让layer个二值掩膜分别与拼接图像做乘积，能得到layer个从属于不同深度层次的图像；
(2)将这layer个深度层次的图像分别用从属于各自深度层次的变换矩阵做变换，得到layer个经过变换后的图像；
(3)按照深度由深及浅将变换后的图像叠加起来，再和另一张拼接图像一起，得到最终的拼接图像。
本发明与现有技术相比的优点在于：
(1)去除光场图像拼接中出现的伪影现象，提升图像拼接的效果；
(2)本发明的技术可同时应用于普通图像(非光场图像)；
(3)本发明利用光场图像获得的深度图，将待拼接图像划分成若干个深度层，在各深度层上进行分别变换和分别拼接，以得到良好的去伪影效果和拼接效果。
附图说明
图1为图像拼接产生的伪影现象；
图2为光场相机成像基本原理；
图3为本发明的NGA(None Ghosting Artifact)拼接算法流程图；
图4为本发明的NGA算法中的分层转换和拼接；
图5为本发明的NGA算法与其它算法拼接效果对比，其中(a)GH算法(GlobalHomography无深度分层拼接)；(b)APAP算法(As-Projective-As-Possible算法)；(c)PATOIS算法(Parallax-Tolerant Image Stitching算法)；(d)NGA算法。
具体实施方式
与传统的2D图像采集相比，新兴的光场成像技术[1，Ng R,Levoy M,Brédif M,Duval G,Horowitz M,Hanrahan P(2005)Light field photography with a hand-heldplenoptic camera.Comput Sci Tech Rep CSTR 2(11):1]，不仅可获取图像的空间域信息(如图像的像素)，还可获取额外的角度域信息(即从不同角度观看图像得到的不同光线信息)。光场相机的基本成像原理如图2所示，在主透镜和光感器之间，有一组二维微透镜阵列，可采集从不同角度反射的光线。通过这种设计，光场相机能够从不同的视点，采集到多幅2D子图像(或称为2D子孔径图像)。因此，光场图像实际上是一组图像，它既包含空间域信息，即一张子图像的像素信息，也包含角度域信息，即同一像素在不同角度反射的光线信息。然而，在一张光场图像的拍摄过程中，光场相机的光感原件(image sensor)是被其拍摄的多张子图像所共享的，因此其单张子图像的视场往往较窄。
本发明提出一种可去除伪影的NGA拼接算法(None Ghosting Artifect算法)，其流程如图3所示。首先，通过对图像的深度进行聚类操作，将图像划分成若干个深度层。接下来，将待拼接的两张图像，在不同深度层上进行特征点匹配(如特征点数量不足则采用插值方法)。然后，在不同的深度层上，分别将一幅图像变换到另一幅图像的平面上，分层进行拼接操作。具体步骤如下所述：
(1)深度层聚类
由于光场图像由多张不同角度的子图像组成(具有多个视角)，可直接计算得到光场图像的深度图。利用光场图像的子图像视差，可通过多种方法计算得到深度图。例如，作为举例，可使用聚类的方法得到深度图。计算获得光场图像中央子图(central view)的深度图，利用K-means算法(也可使用其它聚类算法)聚类，将图像分成不同的深度层(K值由Calinski-Harabasz准则确定)。图像中的各像素均被划分为从属于这些深度层中的某一层。
(2)单应性(Homography)矩阵计算
对于输入的2幅待拼接图像I1和I2，对其提取并匹配特征点(例如可使用但不限于SIFT特征匹配)。对于每个深度层，分别计算隶属于此层的特征点。如特征点数量大于一个阈值Nfp，可直接计算其单应性(homography)变换矩阵(可采用但不局限于RANSAC算法)。如特征点数量小于阈值Nfp，则说明特征点的数量不够，无法直接计算其单应性矩阵。至少有两种情况会导致这种现象的发生：1)在1个输入图像I1中，存在一个深度层，但这个深度层在I1和I2重叠的区域并不存在；2)某深度层虽存在于I1和I2重叠的区域，但其特征点太少而无法计算。
在此情况下，采用插值法进行单应性矩阵计算。首先，试图使用所有已知的单应性矩阵来计算此未知的单应性矩阵。因此，可得到如下计算的多个候选单应性矩阵：
其中，下标k代表匹配特征点充足，能够计算出变换矩阵的那些深度层次。因此，代表第i个已知的单应性矩阵的深度值，s*代表未知单应性矩阵的深度值。代表第i个已知单应性矩阵，代表由第i个已知单应性矩阵计算得来的单应性矩阵，E代表单位矩阵。则未知的单应性矩阵H*，可由以下公式加权获得：
其中，权重由第i已知深度层的单应性矩阵和未知单应性矩阵深度层之间的距离而决定。例如，以下公式是进行权重计算的方式之一(但本方案不限于这种权重计算方式)：
其中，σ为尺度参数，s*是未知单应性矩阵深度层对应到深度图中的灰度值，是已知单应性矩阵的深度层对应到深度图中的灰度值。
(3)基于深度层的变换和拼接
首先，将图像I2转换到图像I1的平面上。利用聚类过的深度图，将一幅图像(如I2)分成若干深度层，然后对每个深度层执行相应变换映射到另一幅图像(如I1)的平面上。如图4所示例，图像I2被分为H1，H2，H3和H4等4个深度层，每个深度层由一个单独的单应性变换矩阵得来，显示出图像不同深度的区域。最后，在图像在这几个深度层上，分别进行图像的融合操作，最终得到整幅图像的拼接效果。在拼接操作中，可使用任意已有的图像融合算法，如线性融合、多通道融合等。
验证结果
图5所示为本发明的(d)NGA算法，对比(a)GH算法(Global Homography无深度分层拼接)[2，Brown,M.,Lowe,D.G.:Automatic panoramic image stitching usinginvariant features.International journal of computer vision 74(1),59{73(2007)]，(b)APAP算法[3，Zaragoza,J.,Chin,T.J.,Brown,M.S.,Suter,D.:As-projective-as-possible image stitching with moving dlt.In:Computer Vision andPattern Recognition(CVPR),2013IEEE Conference on.pp.2339{2346.IEEE(2013)]，以及(c)PATOIS算法[4，Zhang,F.,Liu,F.:Parallax-tolerant image stitching.In:Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.pp.3262{3269(2014)]。由图中结果可见，NGA算法可有效去除拼接产生的伪影，其拼接效果明显优于其它算法。
总之，本发明能去除光场图像拼接中出现的伪影现象，提升图像拼接的效果，同时也可应用于普通图像(非光场图像)。与传统方法普通图像拼接方法相比，不需要加入复杂的鬼影后处理步骤，就能实现快速拼接的同时避免传统拼接的鬼影效应。因此，本发明可以用于未来手机端图像的拼接，和全景图像的实时拼接，光场图像拼接。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种基于图像深度分层的去伪影图像拼接方法，其特征在于，包括以下步骤：
第一步，根据深度图聚类结果，对未拼接图像的深度图量化处理，得到多个深度层次的二值的掩膜，即深度图的掩膜；
第二步，基于深度图的掩膜，对sift算法匹配好的特征点进行分类，不同类别的特征点计算各自的变换矩阵；
第三步，根据深度图的掩膜，对拼接图像进行深度分层，得到不同深度层次的图像，对不同深度层次的图像用各自的变换矩阵做变换，将变换后的图像按照深度层次从深到浅叠加，得到最终的拼接图像。
2.根据权利要求1所述的基于图像深度分层的去伪影图像拼接方法，其特征在于：所述第一步具体实现如下：
(1)对深度图进行灰度值统计，使用聚类算法对统计结果聚类，得到一个合适的深度层次数layer；
(2)统计深度图最大灰度值max和最小灰度值min，按照如下公式对深度图分配标签，其中value(x,y)表示深度图中横坐标为x，纵坐标为y的灰度值，mask(x,y)表示掩膜图中坐标为(x,y)处的标签，代表从属的深度层次；
(3)根据mask(x,y)的值的不同，得到layer个二值掩膜，最终得到多个深度层次的二值的掩膜。
3.根据权利要求1所述的基于图像深度分层的去伪影图像拼接方法，其特征在于：所述第二步具体实现如下：
(1)对待拼接的图像用sift算法提取特征点，进行特征点匹配；
(2)遍历所有特征点，按照其所在的位置和layer个二值掩膜，从而判断特征点从属于哪个深度层；
(3)将分类好的匹配特征点按照类别分别用RANSAC算法计算出各自的变换矩阵。
4.根据权利要求1所述的基于图像深度分层的去伪影图像拼接方法，其特征在于：所述第三步具体实现如下：
(1)让layer个二值掩膜分别与拼接图像做乘积，能得到layer个从属于不同深度层次的图像；
(2)将这layer个深度层次的图像分别用从属于各自深度层次的变换矩阵做变换，得到layer个经过变换后的图像；
(3)按照深度由深及浅将变换后的图像叠加起来，再和另一张拼接图像一起，得到最终的拼接图像。
CN201910508472.0A 2019-06-13 2019-06-13 一种基于图像深度分层的去伪影图像拼接方法 Pending CN110264403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910508472.0A CN110264403A (zh) 2019-06-13 2019-06-13 一种基于图像深度分层的去伪影图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910508472.0A CN110264403A (zh) 2019-06-13 2019-06-13 一种基于图像深度分层的去伪影图像拼接方法

Publications (1)

Publication Number Publication Date
CN110264403A true CN110264403A (zh) 2019-09-20

Family

ID=67917873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910508472.0A Pending CN110264403A (zh) 2019-06-13 2019-06-13 一种基于图像深度分层的去伪影图像拼接方法

Country Status (1)

Country Link
CN (1) CN110264403A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110749308A (zh) * 2019-09-30 2020-02-04 浙江工业大学 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法
CN110930310A (zh) * 2019-12-09 2020-03-27 中国科学技术大学 全景图像拼接方法
CN110992359A (zh) * 2019-12-20 2020-04-10 姜通渊 一种混凝土裂缝检测方法、装置及电子设备
CN112381713A (zh) * 2020-10-30 2021-02-19 地平线征程(杭州)人工智能科技有限公司 图像拼接方法和装置、计算机可读存储介质、电子设备
CN112581371A (zh) * 2021-01-27 2021-03-30 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010028559A1 (zh) * 2008-09-10 2010-03-18 深圳华为通信技术有限公司 图像拼接方法及装置
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN108921781A (zh) * 2018-05-07 2018-11-30 清华大学深圳研究生院 一种基于深度的光场拼接方法
CN109255809A (zh) * 2018-09-26 2019-01-22 郑州云海信息技术有限公司 一种光场图像深度估计方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010028559A1 (zh) * 2008-09-10 2010-03-18 深圳华为通信技术有限公司 图像拼接方法及装置
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN108921781A (zh) * 2018-05-07 2018-11-30 清华大学深圳研究生院 一种基于深度的光场拼接方法
CN109255809A (zh) * 2018-09-26 2019-01-22 郑州云海信息技术有限公司 一种光场图像深度估计方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENYUAN ZHANG等: "None Ghosting Artifacts Stitching Based on Depth Map for Light Field Image", 《ADVANCES IN MULTIMEDIA INFORMATION PROCESSING – PCM 2018》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110749308A (zh) * 2019-09-30 2020-02-04 浙江工业大学 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法
CN110749308B (zh) * 2019-09-30 2021-10-29 浙江工业大学 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法
CN110930310A (zh) * 2019-12-09 2020-03-27 中国科学技术大学 全景图像拼接方法
CN110930310B (zh) * 2019-12-09 2023-04-07 中国科学技术大学 全景图像拼接方法
CN110992359A (zh) * 2019-12-20 2020-04-10 姜通渊 一种混凝土裂缝检测方法、装置及电子设备
CN110992359B (zh) * 2019-12-20 2020-12-08 泗县智来机械科技有限公司 一种基于深度图的混凝土裂缝检测方法、装置及电子设备
CN112381713A (zh) * 2020-10-30 2021-02-19 地平线征程(杭州)人工智能科技有限公司 图像拼接方法和装置、计算机可读存储介质、电子设备
CN112381713B (zh) * 2020-10-30 2024-01-26 地平线征程(杭州)人工智能科技有限公司 图像拼接方法和装置、计算机可读存储介质、电子设备
CN112581371A (zh) * 2021-01-27 2021-03-30 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法
CN112581371B (zh) * 2021-01-27 2022-03-22 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法

Similar Documents

Publication Publication Date Title
CN110264403A (zh) 一种基于图像深度分层的去伪影图像拼接方法
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
CN101322153B (zh) 调节数字图像的曝光和色标
Matsuyama et al. 3D video and its applications
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
CN108734657B (zh) 一种具有视差处理能力的图像拼接方法
CN110211043A (zh) 一种用于全景图像拼接的基于网格优化的配准方法
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
CN103345736A (zh) 一种虚拟视点绘制方法
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
JP2009116532A (ja) 仮想視点画像生成方法および仮想視点画像生成装置
CN106210465A (zh) 用于根据4d原始光场数据获得重聚焦图像的方法
US20180288241A1 (en) Digital multi-dimensional image photon platform system and methods of use
Vu et al. Efficient hybrid tree-based stereo matching with applications to postcapture image refocusing
CN116778288A (zh) 一种多模态融合目标检测系统及方法
Yan et al. Perceptual objective quality assessment of stereoscopic stitched images
CN116579962A (zh) 一种基于鱼眼相机的全景感知方法、装置、设备及介质
Tian et al. VSOIQE: A novel viewport-based stitched 360° omnidirectional image quality evaluator
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
Li et al. Mobilebrick: Building lego for 3d reconstruction on mobile devices
Chang et al. Panoramic human structure maintenance based on invariant features of video frames
CN108616746A (zh) 基于深度学习的2d全景图像转3d全景图像的方法
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
CN114596368B (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质
GB2585197A (en) Method and system for obtaining depth data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190920