CN110751615B - 基于环境感知的立体树木图像融合方法 - Google Patents

基于环境感知的立体树木图像融合方法 Download PDF

Info

Publication number
CN110751615B
CN110751615B CN201910806086.XA CN201910806086A CN110751615B CN 110751615 B CN110751615 B CN 110751615B CN 201910806086 A CN201910806086 A CN 201910806086A CN 110751615 B CN110751615 B CN 110751615B
Authority
CN
China
Prior art keywords
fusion
tree
color
image
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910806086.XA
Other languages
English (en)
Other versions
CN110751615A (zh
Inventor
董天阳
程银婷
杨丽锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910806086.XA priority Critical patent/CN110751615B/zh
Publication of CN110751615A publication Critical patent/CN110751615A/zh
Application granted granted Critical
Publication of CN110751615B publication Critical patent/CN110751615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Abstract

基于环境感知的立体树木图像融合方法，包括如下步骤：步骤1.获取树木对象；步骤2.深度一致性视差融合；步骤3.调整图像色差，处理遮挡。本发明构建的树木视差图能够体现树木的多层次特性，融合后的视差图，能保证融合树木与目标场景在深度域上的整体一致性，生成的图像树木融合效果相比泊松融合和透明度融合更加自然，能够有效处理融合前后景的遮挡关系。

Description

基于环境感知的立体树木图像融合方法
技术领域
本发明涉及构建立体树木图像无缝融合的方法。
背景技术
目前3D多媒体技术受到越来越多的关注，对立体图像及视频编辑技术的要求也越来越高。树木对象被广泛应用在虚拟城市建设、虚拟游戏等方面，因此，如果利用2D树木对象直观的融入到3D场景，将会大大的简化，加快立体场景的构建，故本发明主要目的是实现2D树木图像到3D目标立体场景的自然融合。
如何实现更加自然、无缝的融合是融合问题研究的关键。2D树木图像结构复杂，很难通过简单的用户交互将对象从背景图像中分离出来。并且2D图像融合于3D场景中易出现“纸片化”、遮挡、深度不一致等情况，从而无法实现自然融合。
发明内容
本发明要克服现有技术的上述缺点，提供一种基于环境感知的立体树木图像融合方法。
本发明设计了一种基于环境感知的立体树木图像融合方法，实现2D树木图像到3D场景的自然融合。首先通过用户交互绘制三色图，获取出树木对象粗略图；再采用K-Means聚类算法过滤掉树冠区域中夹杂的背景信息，得到树木对象精细图；接着对树木对象采用深度模板映射建立多层次深度图；根据指定融合位置，对树木对象视差进行自适应调整生成融合视差图；然后基于目标场景光照、颜色进行自适应调整，使之与目标场景实现无缝融合；根据融合后的视差图对场景的遮挡关系进行处理；最后通过立体图像构建技术生成3D图像。
基于环境感知的立体树木图像融合方法，包括如下步骤：
1.获取树木对象；
(11)获取三色图，具体如下；
自然图像的任意像素是对应前景和背景的线性组合：
Iz＝αzFz+(1-αz)Bz (1)
其中，z表示图像中任一像素点，Iz表示z的像素值，Fz表示z处的前景色，Bz表示z处的背景色，αz是z处前景色与背景色加权的比例，取值在[0，1]之间；αz为0时，z点为绝对背景，αz为1时，为绝对前景；三色图把图像分为绝对前景、绝对背景和未知区域三个区域；
(12)提取树木对象粗略的透明度，具体如下；
根据未知像素到已知前景和背景的距离动态变化采样范围，获取未知像素真实的前景、背景集；候选样本对表示为(Fj，Bj)即前景色、背景色对；然后，根据图像的色彩失真，空间和颜色统计选取最佳候选对Oz(Fj，Bj)，即：
Oz(Fj，Bj)＝Kz(Fj，Bj)×Sz(Fj，Bj)×CZ(Fj，Bj) (2)
其中，j为采样范围内任意像素点，Kz(Fj，Bj)颜色失真函数，Sz(Fj，Bj)图像空间统计函数，CZ(Fj，Bj)图像颜色统计函数；
任一样本对(Fj，Bj)与未知像素z之间的颜色差异Kz(Fj，Bj)为：
Kz(Fj，Bj)＝exp(-||Iz-(αFj+(1-α)Bj)||) (3)
其中，α是前景色与背景色的加权比例；
样本对(Fj，Bj)与未知像素z之间的空间距离Sz(Fj，Bj)为：
Figure GDA0002972461640000031
其中，
Figure GDA0002972461640000032
分别为未知像素z的已知前景和背景样本的集合；k为前景样本集合中的任意像素点，Fk为k处的前景色；n为背景样本集合的任意像素点，Bn为n处的背景色；
Figure GDA0002972461640000033
分别为前景和背景集合的大小，
Figure GDA0002972461640000034
为j处前景Fj的空间坐标，
Figure GDA0002972461640000035
为j处背景Bj的空间坐标，
Figure GDA0002972461640000036
分别为z与Fj和Bj的欧式距离；
图像颜色统计函数CZ(Fj，Bj)为：
Figure GDA0002972461640000037
其中，Mz为z处的尺度因子，d(Fj，Bj)表示Fj，Bj间的科恩颜色距离值；
根据最佳候选对(F，B)，估计αz值：
Figure GDA0002972461640000038
(13)输入原始树木图像与对应三色图结合，并根据前景色与背景色加权的比例α的值粗略地扣取树木，用K-Means聚类算法进行再次过滤，得到优化后的树木对象；
2.深度一致性视差融合；
为避免立体树木在3D场景中“纸片化”，采用基于深度模板的深度信息构建方法建立多层次结构树木结构，并采用基于融合点的深度一致性视差调整，使融合后树木对象的深度和融合场景保持一致；
首先实现实时的深度一致性融合；将泊松方程转换成拉普拉斯方程，再用加权MVC(Mean-Value coordinates，均值坐标)生成融合结果，在梯度域内重构2D树木对象的深度；
对于一个有m个顶点的闭合多边形区域(逆时针方向)
Figure GDA0002972461640000041
其内部的某点t坐标可以表示为：
Figure GDA0002972461640000042
其中，i表示多边形的第i个顶点，λi第i个顶点的加权均值，
Figure GDA0002972461640000043
pi表示第i个顶点的坐标；
目标是求解MVC的加权均值λ1，...，λm-1，其定义如下：
Figure GDA0002972461640000044
其中，βi是∠Pi，t，Pi+1即以t为顶点的角，融合区域处顶点的均值坐标
Figure GDA0002972461640000045
continuous代表融合边界和目标图像一致的区域，otherwise代表融合边界和目标图像不一致的区域；
定义在边界
Figure GDA0002972461640000046
上的函数为f，多边形内部点的值
Figure GDA0002972461640000047
可以通过边界平滑插值得到，即：
Figure GDA0002972461640000048
其中，λi(t)为以t为中心的边界中第i个顶点的加权均值；
泊松融合的目的就是要寻找未知函数f，使融合区域在边界上和目标图像保持一致的同时，梯度场尽可能接近源图像g的梯度场，泊松融合进一步可以表示为：
Figure GDA0002972461640000049
在融合边界
Figure GDA00029724616400000410
上设定
Figure GDA00029724616400000411
f*为作用在目标区域中融合区域之外的已知函数；以考虑边界
Figure GDA0002972461640000051
的点，则可以计算平滑膜f*-g在多边形区域内部点t的加权均值r(t)：
Figure GDA0002972461640000052
计算出平滑膜后，泊松融合的结果可以表示为：
f＝g+r(t) (12)
对于不同融合位置点，树木成像大小和视差之间有一定的关系，为符合双目视觉成像原理，采用平行摄像机模型；图像视差为Q＝ul-uR，ul和uR分别为物体在左右视图的横坐标；成像大小u与图像视差之间的关系为u＝LQ/b，u为成像大小，b是两个摄像机的基线距离，L为场景物体的实际大小；即成像大小与图像视差以及基线有关；由此可知，物体距离镜头越远，其对应物体的视差范围也越小，因此，如果融合位置较近，树木的层次感强，如果树木距离屏幕较远，树木层次感弱，树木的深度范围应该随着融合位置的远近变化；
3.改善图像失色，处理遮挡；
为使融合效果更加自然，采用透明度对立体图像的失色情况进行优化；同时，对融合后场景的前后景遮挡进行处理来避免视觉错误；具体步骤如下：
(31)颜色调整，具体步骤如下；
S1.在融合区域中引入自适应权重w来控制颜色变化；融合区域公式为：
Iz＝wzqz+(1-wz)ρz (13)
z表示图像中的任意像素点，ρz表示像素点z泊松融合结果，qz表示z处透明度融合结果，wz表示z处颜色自适应权值；
S2.通过对源图像和目标图像的亮度对比信息作为调节颜色权值依据；亮度对比系数的计算流程如下：
对两幅图像，对树木透明度在0和1之间的对应区域，各自计算亮度之和G1和G2；然后计算融合区域的平均亮度对比系数
Figure GDA0002972461640000061
Figure GDA0002972461640000062
计算自适应权值：
Figure GDA0002972461640000063
d为内部融合区域的方差，a为融合区域的均值，ε为亮度阈值；χ为常数0.8；
(32)3D融合由于融合位置不同，不同物体间可能存在遮挡，需对融合树木前后遮挡问题进行处理；采用基于深度计算的遮挡方法，具体步骤如下；
首先，计算真实场景的深度信息，再根据树木对象的融合位置，判断树木对象与真实场景的空间位置关系；融合后的视差图计算公式为：
Figure GDA0002972461640000064
(x，y)为像素点的坐标，Dfg表示前景中像素点的视差图，Dbg表示背景中像素点的视差图，blend是融合后的视差图；
基于融合后的视差图，判定树木遮挡，如果树木这一前景视差值大于等于背景视差值，说明树木更靠前；否则，树木在目标场景受到遮挡；重建3D树木的深度结构，将重建树木的深度与目标场景的深度信息进行比较，对未遮挡部分进行相应的渲染。
本发明的优点是：将基于采样抠图的方法和树木颜色特点进行有效结合，更加精确地提取出树木对象的透明度，既无需大量用户交互，又提高了抠图的准确性；采用基于透明度的融合和基于梯度域的融合相结合的方式，减少不同背景下的树木对象染色问题，使融合效果更加自然：融合过程能处理遮挡，避免融合异常。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
基于环境感知的立体树木图像融合方法，包括如下步骤：
1.获取树木对象；
(11)获取三色图，具体如下；
自然图像的任意像素是对应前景和背景的线性组合：
Iz＝αzFz+(1-αz)Bz (1)
其中，z表示图像中任一像素点，Iz表示z的像素值，Fz表示z处的前景色，Bz表示z处的背景色，αz是z处前景色与背景色加权的比例，取值在[0，1]之间；αz为0时，z点为绝对背景，αz为1时，为绝对前景；三色图把图像分为绝对前景、绝对背景和未知区域三个区域；
(12)提取树木对象粗略的透明度，具体如下；
根据未知像素到已知前景和背景的距离动态变化采样范围，获取未知像素真实的前景、背景集；候选样本对表示为(Fj，Bj)即前景色、背景色对；然后，根据图像的色彩失真，空间和颜色统计选取最佳候选对Oz(Fj，Bj)，即：
Oz(Fj，Bj)＝Kz(Fj，Bj)×Sz(Fj，Bj)×Cz(Fj，Bj) (2)
其中，j为采样范围内任意像素点，Kz(Fj，Bj)颜色失真函数，Sz(Fj，Bj)图像空间统计函数，Cz(Fj，Bj)图像颜色统计函数；
任一样本对(Fj，Bj)与未知像素z之间的颜色差异Kz(Fj，Bj)为：
Kz(Fj，Bj)＝exp(-||Iz-(αFj+(1-α)Bj)||) (3)
其中，α是前景色与背景色的加权比例；
样本对(Fj，Bj)与未知像素z之间的空间距离Sz(Fj，Bj)为：
Figure GDA0002972461640000081
其中，
Figure GDA0002972461640000082
分别为未知像素z的已知前景和背景样本的集合；k为前景样本集合中的任意像素点，Fk为k处的前景色；n为背景样本集合的任意像素点，Bn为n处的背景色；
Figure GDA0002972461640000083
分别为前景和背景集合的大小，
Figure GDA0002972461640000084
为j处前景Fj的空间坐标，
Figure GDA0002972461640000085
为j处背景Bj的空间坐标，
Figure GDA0002972461640000086
分别为z与Fj和Bj的欧式距离；
图像颜色统计函数Cz(Fj，Bj)为：
Figure GDA0002972461640000087
其中，Mz为z处的尺度因子，d(Fj，Bj)表示Fj，Bj间的科恩颜色距离值；
根据最佳候选对(F，B)，估计αz值：
Figure GDA0002972461640000091
(13)输入原始树木图像与对应三色图结合，并根据前景色与背景色加权的比例α的值粗略地扣取树木，用K-Means聚类算法进行再次过滤，得到优化后的树木对象；
2.深度一致性视差融合；
为避免立体树木在3D场景中“纸片化”，采用基于深度模板的深度信息构建方法建立多层次结构树木结构，并采用基于融合点的深度一致性视差调整，使融合后树木对象的深度和融合场景保持一致；
首先实现实时的深度一致性融合；将泊松方程转换成拉普拉斯方程，再用加权MVC(Mean-Value coordinates，均值坐标)生成融合结果，在梯度域内重构2D树木对象的深度；
对于一个有m个顶点的闭合多边形区域(逆时针方向)
Figure GDA0002972461640000092
其内部的某点坐标t可以表示为：
Figure GDA0002972461640000093
其中，i表示多边形的第i个顶点，λi第i个顶点的加权均值，
Figure GDA0002972461640000094
pi表示第i个顶点的坐标；
目标是求解MVC的加权均值λ1，...，λm-1，其定义如下：
Figure GDA0002972461640000095
其中，βi是∠Pi，t，Pi+1即以t为顶点的角，融合区域处的顶点均值坐标
Figure GDA0002972461640000096
continuous代表融合边界和目标图像一致的区域，otherwise代表融合边界和目标图像不一致的区域；
定义在边界
Figure GDA0002972461640000101
上的函数为f，多边形内部点的值
Figure GDA0002972461640000102
可以通过边界平滑插值得到，即：
Figure GDA0002972461640000103
其中，λi(t)为以t为中心的边界中第i个顶点的加权均值；
泊松融合的目的就是要寻找未知函数f，使融合区域在边界上和目标图像保持一致的同时，梯度场尽可能接近源图像g的梯度场，泊松融合进一步可以表示为：
Figure GDA0002972461640000104
在融合边界
Figure GDA0002972461640000105
上设定
Figure GDA0002972461640000106
f*为作用在目标区域中融合区域之外的已知函数；以考虑边界
Figure GDA0002972461640000107
的点，则可以计算平滑膜f*-g在多边形区域内部点t的加权均值r(t)：
Figure GDA0002972461640000108
计算出平滑膜后，泊松融合的结果可以表示为：
f＝g+r(t) (12)
对于不同融合位置点，树木成像大小和视差之间有一定的关系，为符合双目视觉成像原理，采用平行摄像机模型；图像视差为Q＝ul-uR，ul和uR分别为物体在左右视图的横坐标；成像大小u与图像视差之间的关系为u＝LQ/b，u为成像大小，b是两个摄像机的基线距离，L为场景物体的实际大小；即成像大小与图像视差以及基线有关；由此可知，物体距离镜头越远，其对应物体的视差范围也越小，因此，如果融合位置较近，树木的层次感强，如果树木距离屏幕较远，树木层次感弱，树木的深度范围应该随着融合位置的远近变化；3.改善图像失色，处理遮挡；
为使融合效果更加自然，采用透明度对立体图像的失色情况进行优化；同时，对融合后场景的前后景遮挡进行处理来避免视觉错误；具体步骤如下：
(31)颜色调整，具体步骤如下；
S1.在融合区域中引入自适应权重w来控制颜色变化；融合区域公式为：
Iz＝wzqz+(1-w)ρz (13)
z表示图像中的任意像素点，ρz表示像素点z泊松融合结果，qz表示z处透明度融合结果，wz表示z处颜色自适应权值；
S2.通过对源图像和目标图像的亮度对比信息作为调节颜色权值依据；亮度对比系数的计算流程如下：
对两幅图像，对树木透明度在0和1之间的对应区域，各自计算亮度之和G1和G2；然后计算融合区域的平均亮度对比系数
Figure GDA0002972461640000111
Figure GDA0002972461640000112
计算自适应权值：
Figure GDA0002972461640000113
d为内部融合区域的方差，a为融合区域的均值，ε为亮度阈值，χ为常数0.8；
(32)3D融合由于融合位置不同，不同物体间可能存在遮挡，需对融合树木前后遮挡问题进行处理；采用基于深度计算的遮挡方法，具体步骤如下；
首先，计算真实场景的深度信息，再根据树木对象的融合位置，判断树木对象与真实场景的空间位置关系；融合后的视差图计算公式为：
Figure GDA0002972461640000121
(x，y)为像素点的坐标，Dfg表示前景中像素点的视差图，Dbg表示背景中像素点的视差图，blend是融合后的视差图；
基于融合后的视差图，判定树木遮挡，如果树木这一前景视差值大于等于背景视差值，说明树木更靠前；否则，树木在目标场景受到遮挡；重建3D树木的深度结构，将重建树木的深度与目标场景的深度信息进行比较，对未遮挡部分进行相应的渲染。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于环境感知的立体树木图像融合方法，包括如下步骤：
步骤1.获取树木对象；
(11)获取三色图，具体如下；
自然图像的任意像素是对应前景和背景的线性组合：
Iz＝αzFz+(1-αz)Bz (1)
其中，z表示图像中任一像素点，Iz表示z的像素值，Fz表示z处的前景色，Bz表示z处的背景色，αz是z处前景色与背景色加权的比例，取值在[0,1]之间；αz为0时，z点为绝对背景，αz为1时，为绝对前景；三色图把图像分为绝对前景、绝对背景和未知区域三个区域；
(12)提取树木对象粗略的透明度，具体如下；
根据未知像素到已知前景和背景的距离动态变化采样范围，获取未知像素真实的前景、背景集；候选样本对表示为(Fj,Bj)即前景色、背景色对；然后，根据图像的色彩失真，空间和颜色统计选取最佳候选对Oz(Fj,Bj)，即:
Oz(Fj,Bj)＝Kz(Fj,Bj)×Sz(Fj,Bj)×CZ(Fj,Bj) (2)
其中,j为采样范围内任意像素点，Kz(Fj,Bj)颜色失真函数，Sz(Fj,Bj)图像空间统计函数，CZ(Fj,Bj)图像颜色统计函数；
任一样本对(Fj,Bj)与未知像素z之间的颜色差异Kz(Fj,Bj)为:
Kz(Fj,Bj)＝exp(-||Iz-(αFj+(1-α)Bj)||) (3)
其中，α是前景色与背景色的加权比例；
样本对(Fj,Bj)与未知像素z之间的空间距离Sz(Fj,Bj)为:
Figure FDA0002972461630000021
其中，
Figure FDA0002972461630000022
分别为未知像素z的已知前景和背景样本的集合，k为前景样本集合中的任意像素点，Fk为k处的前景色；n为背景样本集合的任意像素点，Bn为n处的背景色；
Figure FDA0002972461630000023
分别为前景和背景集合的大小，
Figure FDA0002972461630000024
为j处前景Fj的空间坐标，
Figure FDA0002972461630000025
为j处背景Bj的空间坐标，
Figure FDA0002972461630000026
分别为z与Fj和Bj的欧式距离；
图像颜色统计函数CZ(Fj,Bj)为:
Figure FDA0002972461630000027
其中，Mz为z处的尺度因子，d(Fj,Bj)表示Fj,Bj间的科恩颜色距离值；
根据最佳候选对(F,B)，估计αz值:
Figure FDA0002972461630000028
(13)输入原始树木图像与对应三色图结合，并根据前景色与背景色加权的比例α的值粗略地扣取树木，用K-Means聚类算法进行再次过滤，得到优化后的树木对象；
步骤2.深度一致性视差融合；
为避免立体树木在3D场景中“纸片化”，采用基于深度模板的深度信息构建方法建立多层次结构树木结构,并采用基于融合点的深度一致性视差调整，使融合后树木对象的深度和融合场景保持一致；
首先实现实时的深度一致性融合；将泊松方程转换成拉普拉斯方程，再用加权MVC，即Mean-Value coordinates，生成融合结果，在梯度域内重构2D树木对象的深度；
对于一个有m个顶点的闭合多边形区域，设定边界
Figure FDA0002972461630000031
Figure FDA0002972461630000032
其中p0到pm按逆时针方向为各个顶点命名；其内部的某点t坐标可以表示为：
Figure FDA0002972461630000033
其中，i表示多边形的第i个顶点，λi第i个顶点的加权均值，
Figure FDA0002972461630000034
pi表示第i个顶点的坐标；
目标是求解MVC的加权均值λ1,...,λm-1，其定义如下：
Figure FDA0002972461630000035
其中，βi是∠Pi,t,Pi+1，即以t为顶点的角，融合区域处的顶点均值坐标
Figure FDA0002972461630000036
continuous代表融合边界和目标图像一致的区域，otherwise代表融合边界和目标图像不一致的区域；
定义在边界
Figure FDA0002972461630000037
上的函数为f，多边形内部点的值
Figure FDA0002972461630000038
可以通过边界平滑插值得到，即：
Figure FDA0002972461630000039
其中，λi(t)为以t为中心的边界中第i个顶点的加权均值；
泊松融合的目的就是要寻找未知函数f，使融合区域在边界上和目标图像保持一致的同时，梯度场尽可能接近源图像g的梯度场，泊松融合进一步可以表示为：
Figure FDA00029724616300000310
在融合边界
Figure FDA00029724616300000311
上设定平滑膜
Figure FDA00029724616300000312
f*为作用在目标区域中融合区域之外的已知函数；以考虑边界
Figure FDA00029724616300000313
的点，则可以计算平滑膜
Figure FDA00029724616300000314
在多边形区域内部点t的加权均值r(t)：
Figure FDA0002972461630000041
计算出平滑膜后，泊松融合的结果可以表示为：
f＝g+r(t) (12)
对于不同融合位置点，树木成像大小和视差之间有一定的关系，为符合双目视觉成像原理，采用平行摄像机模型；图像视差为Q＝ul-uR，ul和uR分别为物体在左右视图的横坐标；成像大小u与图像视差之间的关系为u＝LQ/b，u为成像大小，b是两个摄像机的基线距离,L为场景物体的实际大小；即成像大小与图像视差以及基线有关；由此可知，物体距离镜头越远，其对应物体的视差范围也越小，因此，如果融合位置较近，树木的层次感强，如果树木距离屏幕较远，树木层次感弱，树木的深度范围应该随着融合位置的远近变化；
步骤3.改善图像失色，处理遮挡；
为使融合效果更加自然，采用透明度对立体图像的失色情况进行优化；同时，对融合后场景的前后景遮挡进行处理来避免视觉错误；具体步骤如下：
(31)颜色调整，具体步骤如下；
S1.在融合区域中引入自适应权重w来控制颜色变化；融合区域公式为：
Iz＝wzqz+(1-wz)ρz (13)
z表示图像中的任意像素点，ρz表示像素点z处泊松融合结果，qz表示z处透明度融合结果，wz表示z处颜色自适应权值；
S2.通过对源图像和目标图像的亮度对比信息作为调节颜色权值依据；亮度对比系数的计算流程如下：
对两幅图像，对树木透明度在0和1之间的对应区域，各自计算亮度之和G1和G2；然后计算融合区域的平均亮度对比系数
Figure FDA0002972461630000051
Figure FDA0002972461630000052
计算自适应权值：
Figure FDA0002972461630000053
d为内部融合区域的方差，a为融合区域的均值，ε为亮度阈值，χ为常数0.8；
(32)3D融合由于融合位置不同，不同物体间可能存在遮挡，需对融合树木前后遮挡问题进行处理；采用基于深度计算的遮挡方法，具体步骤如下；
首先，计算真实场景的深度信息，再根据树木对象的融合位置，判断树木对象与真实场景的空间位置关系；融合后的视差图计算公式为：
Figure FDA0002972461630000054
(x,y)为像素点的坐标，Dfg表示前景中像素点的视差图，Dbg表示背景中像素点的视差图，blend是融合后的视差图；
基于融合后的视差图，判定树木遮挡，如果树木这一前景视差值大于等于背景视差值，说明树木更靠前；否则，树木在目标场景受到遮挡；重建3D树木的深度结构，将重建树木的深度与目标场景的深度信息进行比较，对未遮挡部分进行相应的渲染。
CN201910806086.XA 2019-08-29 2019-08-29 基于环境感知的立体树木图像融合方法 Active CN110751615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910806086.XA CN110751615B (zh) 2019-08-29 2019-08-29 基于环境感知的立体树木图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910806086.XA CN110751615B (zh) 2019-08-29 2019-08-29 基于环境感知的立体树木图像融合方法

Publications (2)

Publication Number Publication Date
CN110751615A CN110751615A (zh) 2020-02-04
CN110751615B true CN110751615B (zh) 2021-06-08

Family

ID=69275895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910806086.XA Active CN110751615B (zh) 2019-08-29 2019-08-29 基于环境感知的立体树木图像融合方法

Country Status (1)

Country Link
CN (1) CN110751615B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462318B (zh) * 2020-05-26 2022-05-17 南京大学 一种基于视点互信息的三维树木模型实时简化方法
CN111860409A (zh) * 2020-07-29 2020-10-30 广东智媒云图科技股份有限公司 一种通过无人机对电缆线进行巡检的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003284002A8 (en) * 2002-10-08 2004-05-04 Univ Colorado Kinematic and deformation analysis of 4-d coronary arterial trees reconstructed from cine angiograms
CN103020963A (zh) * 2012-11-29 2013-04-03 北京航空航天大学 一种基于自适应分水岭的图割的多目立体匹配方法
CN108319973A (zh) * 2018-01-18 2018-07-24 仲恺农业工程学院 一种树上柑橘果实检测方法
US10140733B1 (en) * 2017-09-13 2018-11-27 Siemens Healthcare Gmbh 3-D vessel tree surface reconstruction
CN109345444A (zh) * 2018-08-30 2019-02-15 浙江工业大学 深度感知增强的超分辨率立体图像构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003284002A8 (en) * 2002-10-08 2004-05-04 Univ Colorado Kinematic and deformation analysis of 4-d coronary arterial trees reconstructed from cine angiograms
CN103020963A (zh) * 2012-11-29 2013-04-03 北京航空航天大学 一种基于自适应分水岭的图割的多目立体匹配方法
US10140733B1 (en) * 2017-09-13 2018-11-27 Siemens Healthcare Gmbh 3-D vessel tree surface reconstruction
CN108319973A (zh) * 2018-01-18 2018-07-24 仲恺农业工程学院 一种树上柑橘果实检测方法
CN109345444A (zh) * 2018-08-30 2019-02-15 浙江工业大学 深度感知增强的超分辨率立体图像构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
2D-to-3D method via semantic depth transfer;Yuan H X 等;《Journal of Computer-Aided Design ＆Computer Graphics》;20141231;第72-80页 *

Also Published As

Publication number Publication date
CN110751615A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
US10949978B2 (en) Automatic background replacement for single-image and multi-view captures
Chang et al. Content-aware display adaptation and interactive editing for stereoscopic images
US9445072B2 (en) Synthesizing views based on image domain warping
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
KR101342987B1 (ko) 3ｄ 이미지의 컬러 보정을 위한 방법 및 시스템
CN101287143B (zh) 基于实时人机对话的平面视频转立体视频的方法
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
JP4625805B2 (ja) ３次元モデルをスケーリングする方法及びスケーリングユニット
CN110381268B (zh) 生成视频的方法，装置，存储介质及电子设备
US20150379720A1 (en) Methods for converting two-dimensional images into three-dimensional images
US20200320727A1 (en) Method and apparatus for generating a three-dimensional model
JP2010154422A (ja) 画像処理装置
Maier et al. Super-resolution keyframe fusion for 3D modeling with high-quality textures
CN110751615B (zh) 基于环境感知的立体树木图像融合方法
Jung A modified model of the just noticeable depth difference and its application to depth sensation enhancement
CA3173542A1 (en) Techniques for re-aging faces in images and video frames
KR100335617B1 (ko) 3차원 입체영상 합성방법
Waschbüsch et al. 3d video billboard clouds
Sun et al. Seamless view synthesis through texture optimization
Kunert et al. An efficient diminished reality approach using real-time surface reconstruction
JP2019149112A (ja) 合成装置、方法及びプログラム
Gunnewiek et al. Coherent spatial and temporal occlusion generation
Cho et al. Depth image processing technique for representing human actors in 3DTV using single depth camera
Li et al. Tour into the picture revisited
Heindl et al. Capturing photorealistic and printable 3d models using low-cost hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant