CN112070672B - 一种图像合成方法及装置 - Google Patents
一种图像合成方法及装置 Download PDFInfo
- Publication number
- CN112070672B CN112070672B CN202010922283.0A CN202010922283A CN112070672B CN 112070672 B CN112070672 B CN 112070672B CN 202010922283 A CN202010922283 A CN 202010922283A CN 112070672 B CN112070672 B CN 112070672B
- Authority
- CN
- China
- Prior art keywords
- image
- synthesized
- detected
- region
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 16
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 40
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000005286 illumination Methods 0.000 claims abstract description 8
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 230000007704 transition Effects 0.000 claims abstract description 8
- 239000002131 composite material Substances 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 8
- 238000006748 scratching Methods 0.000 claims description 4
- 230000002393 scratching effect Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 11
- 238000013507 mapping Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Mathematical Optimization (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种图像合成方法及装置。所述方法包括：从多张待合成图像中分别抠取待检测区域；根据待检测区域的尺寸和位置进行待合成图像的旋转、缩放和平移；对每张待合成图像进行特征点提取，根据提取的特征点进行图像配准拼接；将拼接后的图像交界处进行光照过渡处理，得到最终合成图像。采用本申请的技术方案，在多张图像合成时将原始图像按照待检测区域的尺寸和位置进行预处理，并整理出多张图像的合成顺序，根据图像合成顺序进行图像的拼接合成，提高图像合成的准确率和速率。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种图像合成方法及装置。
背景技术
近年来，随着拍摄设备的不断发展和人们需求的不断提高，对图像进行特效合成的技术越来越普及。
然而在实际应用中，基于用户输入的图像进行特效合成后，图像中经常会有拼接的痕迹，很难做到自然，从而无法提供较好的用户体验。
因此，如何对图像进行拼接，从而实现自动合成且没有拼接痕迹的图像，是目前本领域技术人员急需解决的技术问题。
发明内容
基于此，本申请提供一种图像合成方法及装置，通过对待合成图像中待检测区域在图像中的位置确定图像的合成顺序，提取待合成图像的特征点然后根据图像的合成顺序进行图像拼接，由此提高图像合成的准确率和速率。
本申请提供了一种图像合成方法，包括：
从多张待合成图像中分别抠取待检测区域；
根据待检测区域的尺寸和位置进行待合成图像的旋转、缩放和平移；
对每张待合成图像进行特征点提取，根据提取的特征点进行图像配准拼接；
将拼接后的图像交界处进行光照过渡处理，得到最终合成图像。
如上所述的图像合成方法，其中，根据待检测区域的尺寸和位置进行待合成图像的旋转、缩放和平移，具体包括如下子步骤：
S1、根据每张待合成图像中待检测区域的边缘特征点判断是否需要对待合成图像进行旋转操作，如果是，则将每张待合成图像旋转为边缘特征点向量方向一致，然后执行步骤S2，否则直接执行步骤S2；
S2、计算每张待合成图像中中待检测区域的尺寸，将每张待合成图像在二维平面中的每一个像素点的矢量进行缩放；
S3、按照缩放后的待合成图像中的待检测区域的位置将各个缩放后的待合成图像平移至同一拼接方向。
如上所述的图像合成方法，其中，从每张待检测区域中获取到边缘特征点，然后每个待检测区域中的每个对应位置的边缘特征点的颜色像素是否全部一致，如果是，则不需要进行旋转操作，否则将颜色像素不一致的待检测区域的整体原始图像进行旋转，使边缘特征点颜色像素一致。
如上所述的图像合成方法，其中，获取每张待合成图像中的待检测区域最顶端特征点、最低端特征点，计算最顶端特征点和最低端特征点之间的第一差值，或者获取每张待合成图像中的待检测区域最左端特征点、最右端特征点，计算最左端特征点和最右端特征点之间的第二差值，根据每张待合成图像中待检测区域计算出的第一差值或第二差值确定图像是否需要缩放，其中缩放是将横向和纵向尺寸进行等比例缩放。
如上所述的图像合成方法，其中，平移缩放后的待合成图像具体为将缩放后的待合成图像所有像素坐标分别加上指定的水平偏移量和垂直偏移量，使得缩放后的待合成内的待检测区域在同一水平面，即只移动缩放后的待合成图像位置并不改变图像内的待检测区域在图像中的相对位置；以待检测区域在图像最靠近左上的图像作为基准图像，如果缩放后的某些待合成图像中的待检测区域和基准图像是需要延x轴方向拼接，则将这些待合成图像平移到基准图像的x轴方向，如果缩放后的某些待合成图像中的待检测区域和基准图像时需要延y轴方向拼接，则将这些待合成图像平移到基准图像的y轴方向。
本申请还提供一种图像合成装置，包括：图像分割模块、图像预处理模块、图像配准拼接模块和图像合成模块；
图像分割模块，用于从多张待合成图像中分别抠取待检测区域；
图像预处理模块，用于根据待检测区域的尺寸和位置进行待合成图像的旋转、缩放和平移；
图像配准拼接模块，用于对每张待合成图像进行特征点提取，根据提取的特征点进行图像配准拼接；
图像合成模块，用于将拼接后的图像交界处进行光照过渡处理，得到最终合成图像。
如上所述的图像合成装置，其中，图像预处理模块，具体包括旋转判定子模块、缩放子模块和平移子模块；
旋转判定子模块用于根据每张待合成图像中待检测区域的边缘特征点判断是否需要对待合成图像进行旋转操作，判断为是时，将每张待合成图像旋转为边缘特征点向量方向一致，触发缩放子模块，判断为否时，直接触发缩放子模块；
缩放子模块用于计算每张待合成图像中中待检测区域的尺寸，将每张待合成图像在二维平面中的每一个像素点的矢量进行缩放；
平移子模块用于按照缩放后的待合成图像中的待检测区域的位置将各个缩放后的待合成图像平移至同一拼接方向。
如上所述的图像合成装置，其中，旋转判定子模块具体用于从每张待检测区域中获取到边缘特征点，然后每个待检测区域中的每个对应位置的边缘特征点的颜色像素是否全部一致，如果是，则不需要进行旋转操作，否则将颜色像素不一致的待检测区域的整体原始图像进行旋转，使边缘特征点颜色像素一致。
如上所述的图像合成装置，其中，缩放子模块具体用于获取每张待合成图像中的待检测区域最顶端特征点、最低端特征点，计算最顶端特征点和最低端特征点之间的第一差值，或者获取每张待合成图像中的待检测区域最左端特征点、最右端特征点，计算最左端特征点和最右端特征点之间的第二差值，根据每张待合成图像中待检测区域计算出的第一差值或第二差值确定图像是否需要缩放，其中缩放是将横向和纵向尺寸进行等比例缩放。
如上所述的图像合成装置，其中，平移子模块具体用于将缩放后的待合成图像所有像素坐标分别加上指定的水平偏移量和垂直偏移量，使得缩放后的待合成内的待检测区域在同一水平面，即只移动缩放后的待合成图像位置并不改变图像内的待检测区域在图像中的相对位置；以待检测区域在图像最靠近左上的图像作为基准图像，如果缩放后的某些待合成图像中的待检测区域和基准图像是需要延x轴方向拼接，则将这些待合成图像平移到基准图像的x轴方向，如果缩放后的某些待合成图像中的待检测区域和基准图像时需要延y轴方向拼接，则将这些待合成图像平移到基准图像的y轴方向。
本申请实现的有益效果如下：采用本申请的技术方案，在多张图像合成时将原始图像按照待检测区域的尺寸和位置进行预处理，并整理出多张图像的合成顺序，根据图像合成顺序进行图像的拼接合成，提高图像合成的准确率和速率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种图像合成方法流程图；
图2是从待合成图像中抠取待检测区域的具体方法流程图；
图3是对待合成图像进行预处理的具体方法流程图；
图4是从每张待合成图像获取匹配特征点的具体方法流程图；
图5是根据提取的特征点按照图像合成顺序进行两两图像配准拼接的具体方法流程图；
图6是本申请实施例二提供的一种图像合成装置示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本申请实施例一提供一种图像合成方法，如图1所示，包括如下步骤：
步骤110、从多张待合成图像中分别抠取待检测区域；
本申请实施例中，对于多张同一场景下不同角度的拍摄图像进行合成处理时(例如拍摄某一风景下的一个建筑物，每张图像中都有该建筑物及其周围环境，将多张图像进行场景合成)，先从每一张待合成图像中提取出待检测区域，计算待检测区域的尺寸，然后将每张待合成图像均缩放到固定尺寸，方便图像的合成；
具体地，对于待检测区域的提取，可以从所有的待合成图像中提取每一张待合成图像中都具有的共同特征点的区域，将该区域作为待检测区域；也可以是以任意一个待合成图像为初始图像，然后获取其他待合成图像与初始图像具有最少共同特征点的区域，将该区域作为待检测区域；还可以是从每张待合成图像中获取同一物体，将该物体所在区域作为待检测区域。
请参阅图2，图2是本申请实施例提供的从待合成图像中抠取同一物体作为待检测区域的方法流程图；从待合成图像中抠取待检测区域，具体包括如下子步骤：
步骤210、获取待合成图像中的已知区域和未知区域，将未知区域中的每一个点作为中心点；
其中，已知区域包括能够清晰分离的前景区域和背景区域，对于介于前景区域和背景区域之间的区域定义为未知区域，抠取待检测区域也即抠取前景区域，将未知区域尽可能的分离到前景和背景区域中，实现对待检测区域的抠取。
步骤220、计算以每个中心点位置为中心，以预设长度为半径的邻域内的像素颜色与该中心点所处位置的像素颜色之间的距离，将该像素距离大于设定最大阈值和小于设定最小阈值的像素点划分至已知区域，以缩小未知区域的范围；
以未知区域中的某一像素点Ii(x,y)为中心，半径为预设长度(如r＝5mm)的邻域
内的像素Ii(x',y')，计算像素颜色距离为：
若像素颜色距离大于给定的最大阈值，则将该像素点划分至已知区域的前景区域，若像素颜色距离小于给定的最小阈值，则将该像素点划分至已知区域的背景区域。
步骤230、对于像素距离介于设定的最大阈值和最小阈值之间的像素点，计算像素点所属已知区域类型的概率分布，根据概率将未知区域划分至对应的已知区域类型中；
由于并不是所有的未知区域内的像素点都能够准确地划分至已知区域中，所以对每个未知区域的像素点计算其概率分布，根据概率值确定属于前景区域还是背景区域；
具体地，将待合成图像中的未知区域设定为前景和背景按照一定权重叠加组成，即未知区域Ii(x,y)＝αFi+(1-α)Bi，其中α表示透明度、F为前景像素，B为背景像素，若透明度α＝1，则未知区域全部属于前景，若透明度α＝0，则未知区域全部属于背景，若透明度α介于0与1之间，则为未知区域；
对未知区域表达式作求导运算，得到
假设
和
很小时，上式简化成如下的形式：
由此得到能量方程为(Ω为未知区域)：
将上述能量方程表示为贝叶斯形式，即：
argmaxF,B,α(F,B,α|C)＝argmaxF,B,αP(C|F,B,α)P(F)P(B)P(α)/P(C)
＝argmaxF,B,αL(C|F,B,α)+L(F)+L(B)+L(α)
L是取对数，由于概率都是[0,1]，如果大量概率连乘，且P(C)是常量，因此在计算机中的表示会变为0；对L(C|F,B,α),L(F),L(B),L(α)建模，对于L(F)，使用聚类算法建立前景颜色的概率分布，表示当前选定的F概率有多大，实现对前景的颜色分布建模；对于L(B)，同样用聚类算法建立背景颜色的概率分布，表示当前选定的B概率有多大，实现对背景的颜色分布建模；对于L(α)，假设α的分布是平均的，对于该凸优化问题，将导数置为0，固定F和B迭代求解α，直至结果稳定；
本申请实施例中，可以通过机器学习的方式建立α与颜色特征向量的关系模型，将求解得到的α输入关系模型，若得到α与像素点颜色的映射为线性组合关系，则设定该像素点属于前景F，否则设定该像素点属于背景B，由此准确地从待合成图像中抠取待检测区域。
返回参见图1，步骤120、根据待检测区域的尺寸和位置进行待合成图像的旋转、缩放和平移；
本申请实施例中，当从多张待合成图像中抠取出待检测区域之后，可能存在待检测区域尺寸或位置不匹配的问题，因此在进行图像拼接之前先对整个图像进行缩放和/或旋转，使得每张图像中的待检测区域的尺寸和位置匹配；
请参阅图3，对图像进行缩放，具体包括如下子步骤：
步骤310、根据每张待合成图像中待检测区域的边缘特征点判断是否需要对待合成图像进行旋转操作，如果是，则将每张待合成图像旋转为边缘特征点向量方向一致，然后执行步骤320，否则直接执行步骤320；
具体地，先从每张待检测区域中获取到边缘特征点，然后判断每个待检测区域中的每个对应位置的边缘特征点的颜色像素是否全部一致，如果是，则不需要进行图像旋转，否则将颜色像素不一致的待检测区域的整体原始图像进行旋转，使每张待合成图像中待检测区域的边缘特征点颜色像素一致。
步骤320、计算每张待合成图像中中待检测区域的尺寸，将每张待合成图像在二维平面中的每一个像素点的矢量进行缩放；
具体地，获取每张待合成图像中的待检测区域最顶端特征点、最低端特征点，计算最顶端特征点和最低端特征点之间的第一差值，或者获取每张待合成图像中的待检测区域最左端特征点、最右端特征点，计算最左端特征点和最右端特征点之间的第二差值，根据每张待合成图像中待检测区域计算出的第一差值或第二差值确定图像是否需要缩放，其中缩放是将横向和纵向尺寸进行等比例缩放；
对每张待合成图像进行缩放操作转换为对每张待合成图像中每个像素点的缩放，将图像看作是二维平面上的一个矢量，将每个像素点的矢量(包括矢量X方向和矢量Y方向的坐标值)进行缩放即为对图像进行缩放；具体地，先通过矩阵乘法将原始图像的每一个像素点
前向映射到新图像相应的像素点
上，然后将矩阵表达式两边乘以放大矩阵的逆矩阵
将缩放后的像素点后向映射到新图像相应的像素点上。
步骤330、按照缩放后的待合成图像中的待检测区域的位置将各个缩放后的待合成图像平移至同一拼接方向；
其中，平移缩放后的待合成图像具体为将缩放后的待合成图像所有像素坐标分别加上指定的水平偏移量和垂直偏移量，使得缩放后的待合成内的待检测区域在同一水平面，即只移动缩放后的待合成图像位置并不改变图像内的待检测区域在图像中的相对位置；
以待检测区域在图像最靠近左上的图像作为基准图像，如果缩放后的某些待合成图像中的待检测区域和基准图像是需要延x轴方向拼接，则将这些待合成图像平移到基准图像的x轴方向，如果缩放后的某些待合成图像中的待检测区域和基准图像时需要延y轴方向拼接，则将这些待合成图像平移到基准图像的y轴方向。
需要说明的是，步骤120中对待合成图像进行旋转、缩放和平移的预处理是基于多个待合成图像的尺寸位置等不同的情况下进行的，在检测待合成图像的待检测区域尺寸位置合适的情况下可以直接跳过此步骤。
返回参见图1，步骤130、获取每一张缩放后的待合成图像中待检测区域的边缘特征点，计算每一张缩放后的待合成图像中待检测区域的边缘特征点与该待合成图像边缘的距离，根据该距离确定缩放后的待合成图像的图像合成顺序；
本申请实施例中，由于多张缩放后的待合成图像的待检测区域所在的位置不同，因此将所有缩放后的待合成图像按照待检测区域所在的位置进行排序之后再拼接可以更方便进行图像拼接；具体地，获取每张缩放后的待合成图像中的待检测区域的边缘特征点，在每个缩放后的待合成图像中查找与步骤330中设定的基准图像左边缘和上边缘匹配的待合成图像左边缘和待合成图像上边缘：
对于基准图像x轴方向的其他缩放后的待合成图像，计算平移在基准图像的x轴方向上的其他缩放后的待合成图像中待检测区域的最左侧特征点与该图像上的图像左边缘的垂直距离，根据垂直距离由小到大排序；
对于基准图像y轴方向的其他缩放后的待合成图像，计算平移在基准图像的y轴方向上的其他缩放后的待合成图像中待检测区域的最上侧特征点与该图像上的图像上边缘的垂直距离，根据垂直距离由小到大排序。
步骤140、对每张缩放后的待合成图像进行特征点提取，根据提取的特征点按照图像合成顺序进行缩放后的待合成图像的图像配准拼接；
本申请实施例中，从每张缩放后的待合成图像获取匹配特征点，如图4所示，具体包括如下子步骤：
步骤410、将缩放后的待合成图像转换为灰度图像，利用非最大值抑制方法得到不同尺度的特征点位置；
步骤420、以缩放后的待合成图像中每个点为中心，以第一预定数量为半径的圆形区域内，计算每个特征点水平方向和垂直方向的小波响应；
步骤430、以每个特征点为中心，以第二预定数量为半径的扇形区域内，计算该扇形区域内的小波响应累加值，取最大累加值作为该特征点的主方向；
具体地，采用下式计算每个点L(x,y)的梯度的模m(x,y)以及方向θ(x,y)：
计算得到梯度方向后，使用直方图统计特征点邻域内像素对应的梯度方向和幅值，具体地，梯度方向的直方图横轴为梯度方向的角度，纵轴为梯度方向对应梯度幅值的累加，由此得到特征点的主方向；
步骤440、计算每个特征点主方向和垂直于主方向的响应值之和的绝对值，将其作为特征值，组成特征向量集。
其中，根据提取的特征点按照图像合成顺序进行缩放后的待合成图像的两两图像配准拼接，如图5所示，具体包括如下子步骤：
步骤510、从提取的特征点中获取不受尺度空间影响的多个最佳匹配点；
步骤520、获取两张缩放后的待合成图像的投影映射矩阵，从多个最佳匹配点中选取若干组最佳匹配点计算第一张缩放后的待合成图像和第二张缩放后的待合成图像的投影映射矩阵的自由度参数，将此作为初始值；
步骤530、重复迭代使用变换矩阵对极线附近的区域搜索确定特征点的对应，直至特征点对应数量稳定为止，得到拼接图像；
需要说明的是，步骤130中对待合成图像的图像合成顺序的操作是基于待合成图像的顺序不是按照步骤130中调整后的最优顺序排布的情况下进行的，在待合成图像的顺序为最优顺序的情况下可以直接跳过此步骤；另外也可以不对待合成图像的顺序进行调整直接执行步骤140；
对应地，步骤140即为对每张缩放后的待合成图像进行特征点提取，根据提取的特征点进行缩放后的待合成图像的图像配准拼接。
返回参见图1，步骤150、将拼接后的图像交界处进行光照过渡处理，得到最终合成图像。
本申请实施例中，在拼接得到拼接图像之后，计算拼接图像交界处各颜色像素的加权平均值，将该加权平均值作为融合重叠后的像素；假设图像中的每个像素点为：Ii(x,y)＝(αiR,αiG,αiB,αj,)，其中(R,G,B)是像素的颜色值，在缝合后的输出图像中计算(x,y)的像素值为：
(α1R,α1G,α1B,α1)+(α2R,α2G,α2B,α2)]/(α1+α2)。
实施例二
本申请实施例二提供一种图像合成装置，如图6所示，包括图像分割模块61、图像预处理模块62、图像合成顺序确认模块63、图像配准拼接模块64和图像合成模块65；
图像分割模块61从多张待合成图像中分别抠取待检测区域；图像预处理模块62根据待检测区域的尺寸和位置进行待合成图像的旋转、缩放和平移；图像合成顺序确认模块63获取每一张待合成图像中待检测区域的边缘特征点，计算每一张待合成图像中待检测区域的边缘特征点与所属的待合成图像边缘的距离，根据所述距离确定待合成图像的图像合成顺序；图像配准拼接模块64对每张待合成图像进行特征点提取，根据提取的特征点按照图像合成顺序进行图像配准拼接；图像合成模块65将拼接后的图像交界处进行光照过渡处理，得到最终合成图像。
具体地，图像分割模块61具体用于从多张待合成图像中分别抠取待检测区域，具体为从所有的待合成图像中提取每一张待合成图像中都具有的共同特征点的区域，将该区域作为待检测区域；或者是以任意一个待合成图像为初始图像，然后获取其他待合成图像与初始图像具有最少共同特征点的区域，将该区域作为待检测区域；或者是从每张待合成图像中获取同一物体，将该物体所在区域作为待检测区域。
其中，图像分割模块61具体包括选取子模块611、搜索子模块612和区域划分子模块613；
选取子模块611获取待合成图像中的已知区域和未知区域，将未知区域中的每一个点作为中心点；搜索子模块612计算以每个中心点位置为中心，以预设长度为半径的邻域内的像素颜色与该中心点所处位置的像素颜色之间的距离，将该像素距离大于设定最大阈值和小于设定最小阈值的像素点划分至已知区域，以缩小未知区域的范围；区域划分子模块613对于像素距离介于设定的最大阈值和最小阈值之间的像素点，计算像素点所属已知区域类型的概率分布，根据概率将未知区域划分至对应的已知区域类型中。
其中，区域划分子模块613，具体用于以未知区域中的某一像素点为中心，半径为预设长度的邻域内的像素，计算像素颜色距离，若像素颜色距离大于给定的最大阈值，则将该像素点划分至已知区域的前景区域，若像素颜色距离小于给定的最小阈值，则将该像素点划分至已知区域的背景区域。
另外，区域划分子模块613，还具体用于将图像中的未知区域设定为前景和背景按照权重叠加组成，未知区域Ii(x,y)＝αFi+(1-α)Bi，其中α表示透明度、F为前景像素，B为背景像素，若透明度α＝1，则未知区域全部属于前景，若透明度α＝0，则未知区域全部属于背景，若透明度α介于0与1之间，则为未知区域；通过机器学习的方式建立α与颜色特征向量的关系模型，将求解得到的α输入关系模型，若得到α与像素点颜色的映射为线性组合关系，则设定该像素点属于前景F，否则设定该像素点属于背景B，由此准确地从待合成图像中抠取待检测区域。
进一步地，所述图像合成装置还包括图像预处理模块62，用于根据待检测区域的尺寸和位置进行待合成图像的旋转、缩放和平移；所述图像预处理模块62具体包括旋转判定子模块621、缩放子模块622和平移子模块623；
旋转判定子模块621根据每张待合成图像中待检测区域的边缘特征点判断是否需要对待合成图像进行旋转操作，判断为是时，将每张待合成图像旋转为边缘特征点向量方向一致，触发缩放子模块622，判断为否时，直接触发缩放子模块622；缩放子模块622用于计算每张待合成图像中中待检测区域的尺寸，将每张待合成图像在二维平面中的每一个像素点的矢量进行缩放；平移子模块623用于按照缩放后的待合成图像中的待检测区域的位置将各个缩放后的待合成图像平移至同一拼接方向。
具体地，旋转判定子模块621具体用于从每张待检测区域中获取到边缘特征点，然后每个待检测区域中的每个对应位置的边缘特征点的颜色像素是否全部一致，如果是，则不需要进行旋转操作，否则将颜色像素不一致的待检测区域的整体原始图像进行旋转，使边缘特征点颜色像素一致。
缩放子模块622具体用于获取每张待合成图像中的待检测区域最顶端特征点、最低端特征点，计算最顶端特征点和最低端特征点之间的第一差值，或者获取每张待合成图像中的待检测区域最左端特征点、最右端特征点，计算最左端特征点和最右端特征点之间的第二差值，根据每张待合成图像中待检测区域计算出的第一差值或第二差值确定图像是否需要缩放，其中缩放是将横向和纵向尺寸进行等比例缩放。
平移子模块623具体用于将缩放后的待合成图像所有像素坐标分别加上指定的水平偏移量和垂直偏移量，使得缩放后的待合成内的待检测区域在同一水平面，即只移动缩放后的待合成图像位置并不改变图像内的待检测区域在图像中的相对位置；以待检测区域在图像最靠近左上的图像作为基准图像，如果缩放后的某些待合成图像中的待检测区域和基准图像是需要延x轴方向拼接，则将这些待合成图像平移到基准图像的x轴方向，如果缩放后的某些待合成图像中的待检测区域和基准图像时需要延y轴方向拼接，则将这些待合成图像平移到基准图像的y轴方向。
在图像预处理模块完成预处理操作之后，所述图像合成装置还包括图像合成顺序确定模块63，用于用于获取每一张缩放后的待合成图像中待检测区域的边缘特征点，计算每一张缩放后的待合成图像中待检测区域的边缘特征点与该待合成图像边缘的距离，根据该距离确定缩放后的待合成图像的图像合成顺序；
进一步地，图像合成顺序确认模块63具体用于获取每张缩放后的待合成图像中的待检测区域的边缘特征点，在每个缩放后的待合成图像中查找与待合成图像中待检测区域在图像最靠近左上的基准图像左边缘和上边缘匹配的待合成图像左边缘和待合成图像上边缘；对于基准图像x轴方向的其他缩放后的待合成图像，计算平移在基准图像的x轴方向上的其他缩放后的待合成图像中待检测区域的最左侧特征点与该图像上的图像左边缘的垂直距离，根据垂直距离由小到大排序；对于基准图像y轴方向的其他缩放后的待合成图像，计算平移在基准图像的y轴方向上的其他缩放后的待合成图像中待检测区域的最上侧特征点与该图像上的图像上边缘的垂直距离，根据垂直距离由小到大排序。
本申请实施例中，图像配准拼接模块64中，对每张待合成图像进行特征点提取，具体包括特征点位置确定子模块641、特征点计算子模块642、特征点主方向确定子模块643和特征向量集计算子模块644；
特征点位置确定子模块641将缩放后的待合成图像转换为灰度图像，利用非最大值抑制方法得到不同尺度的特征点位置；特征点计算子模块642以缩放后的待合成图像中每个点为中心，以第一预定数量为半径的圆形区域内，计算每个特征点水平方向和垂直方向的小波响应；特征点主方向确定子模块643以每个特征点为中心，以第二预定数量为半径的扇形区域内，计算该扇形区域内的小波响应累加值，取最大累加值作为该特征点的主方向；特征向量集计算子模块644计算每个特征点主方向和垂直于主方向的响应值之和的绝对值，将其作为特征值，组成特征向量集。
其中，特征点主方向确定子模块643，具体用于计算每个点的梯度的模以及方向；计算得到梯度方向后，使用直方图统计特征点邻域内像素对应的梯度方向和幅值，具体地，梯度方向的直方图横轴为梯度方向的角度，纵轴为梯度方向对应梯度幅值的累加，由此得到特征点的主方向。
另外，图像配准拼接模块64中，根据提取的特征点按照图像合成顺序进行缩放后的待合成图像的两两图像配准拼接，具体用于从提取的特征点中获取不受尺度空间影响的多个最佳匹配点；获取两张缩放后的待合成图像的投影映射矩阵，从多个最佳匹配点中选取若干组最佳匹配点计算第一张缩放后的待合成图像和第二张缩放后的待合成图像的投影映射矩阵的自由度参数，将此作为初始值；重复迭代使用变换矩阵对极线附近的区域搜索确定特征点的对应，直至特征点对应数量稳定为止，得到拼接图像。
图像合成模块65具体用于将拼接后的图像交界处进行光照过渡处理，得到最终合成图像，具体为：在拼接得到拼接图像之后，计算拼接图像交界处各颜色像素的加权平均值，将该加权平均值作为融合重叠后的像素。
以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种图像合成方法，其特征在于，包括：
从多张待合成图像中分别抠取待检测区域；
根据待检测区域的尺寸和位置进行待合成图像的旋转、缩放和平移；
对每张待合成图像进行特征点提取，根据提取的特征点进行图像配准拼接；
将拼接后的图像交界处进行光照过渡处理，得到最终合成图像；
根据待检测区域的尺寸和位置进行待合成图像的旋转、缩放和平移，具体包括如下子步骤：
S1、根据每张待合成图像中待检测区域的边缘特征点判断是否需要对待合成图像进行旋转操作，如果是，则将每张待合成图像旋转为边缘特征点向量方向一致，然后执行步骤S2，否则直接执行步骤S2；
S2、计算每张待合成图像中待检测区域的尺寸，将每张待合成图像在二维平面中的每一个像素点的矢量进行缩放；
S3、按照缩放后的待合成图像中的待检测区域的位置将各个缩放后的待合成图像平移至同一拼接方向。
2.如权利要求1所述的图像合成方法，其特征在于，从每张待检测区域中获取到边缘特征点，然后判断每个待检测区域中的每个对应位置的边缘特征点的颜色像素是否全部一致，如果是，则不需要进行旋转操作，否则将颜色像素不一致的待检测区域的整体原始图像进行旋转，使边缘特征点颜色像素一致。
3.如权利要求1所述的图像合成方法，其特征在于，获取每张待合成图像中的待检测区域最顶端特征点、最低端特征点，计算最顶端特征点和最低端特征点之间的第一差值，或者获取每张待合成图像中的待检测区域最左端特征点、最右端特征点，计算最左端特征点和最右端特征点之间的第二差值，根据每张待合成图像中待检测区域计算出的第一差值或第二差值确定图像是否需要缩放，其中缩放是将横向和纵向尺寸进行等比例缩放。
4.如权利要求1所述的图像合成方法，其特征在于，平移缩放后的待合成图像具体为将缩放后的待合成图像所有像素坐标分别加上指定的水平偏移量和垂直偏移量，使得缩放后的待合成图像内的待检测区域在同一水平面，即只移动缩放后的待合成图像位置并不改变图像内的待检测区域在图像中的相对位置；以待检测区域在图像最靠近左上的图像作为基准图像，如果缩放后的某些待合成图像中的待检测区域和基准图像是需要延x轴方向拼接，则将这些待合成图像平移到基准图像的x轴方向，如果缩放后的某些待合成图像中的待检测区域和基准图像是需要延y轴方向拼接，则将这些待合成图像平移到基准图像的y轴方向。
5.一种图像合成装置，其特征在于，包括：图像分割模块、图像预处理模块、图像配准拼接模块和图像合成模块；
图像分割模块，用于从多张待合成图像中分别抠取待检测区域；
图像预处理模块，用于根据待检测区域的尺寸和位置进行待合成图像的旋转、缩放和平移；
图像配准拼接模块，用于对每张待合成图像进行特征点提取，根据提取的特征点进行图像配准拼接；
图像合成模块，用于将拼接后的图像交界处进行光照过渡处理，得到最终合成图像；
图像预处理模块，具体包括旋转判定子模块、缩放子模块和平移子模块；
旋转判定子模块用于根据每张待合成图像中待检测区域的边缘特征点判断是否需要对待合成图像进行旋转操作，判断为是时，将每张待合成图像旋转为边缘特征点向量方向一致，触发缩放子模块，判断为否时，直接触发缩放子模块；
缩放子模块用于计算每张待合成图像中待检测区域的尺寸，将每张待合成图像在二维平面中的每一个像素点的矢量进行缩放；
平移子模块用于按照缩放后的待合成图像中的待检测区域的位置将各个缩放后的待合成图像平移至同一拼接方向。
6.如权利要求5所述的图像合成装置，其特征在于，旋转判定子模块具体用于从每张待检测区域中获取到边缘特征点，然后判断 每个待检测区域中的每个对应位置的边缘特征点的颜色像素是否全部一致，如果是，则不需要进行旋转操作，否则将颜色像素不一致的待检测区域的整体原始图像进行旋转，使边缘特征点颜色像素一致。
7.如权利要求5所述的图像合成装置，其特征在于，缩放子模块具体用于获取每张待合成图像中的待检测区域最顶端特征点、最低端特征点，计算最顶端特征点和最低端特征点之间的第一差值，或者获取每张待合成图像中的待检测区域最左端特征点、最右端特征点，计算最左端特征点和最右端特征点之间的第二差值，根据每张待合成图像中待检测区域计算出的第一差值或第二差值确定图像是否需要缩放，其中缩放是将横向和纵向尺寸进行等比例缩放。
8.如权利要求5所述的图像合成装置，其特征在于，平移子模块具体用于将缩放后的待合成图像所有像素坐标分别加上指定的水平偏移量和垂直偏移量，使得缩放后的待合成图像内的待检测区域在同一水平面，即只移动缩放后的待合成图像位置并不改变图像内的待检测区域在图像中的相对位置；以待检测区域在图像最靠近左上的图像作为基准图像，如果缩放后的某些待合成图像中的待检测区域和基准图像是需要延x轴方向拼接，则将这些待合成图像平移到基准图像的x轴方向，如果缩放后的某些待合成图像中的待检测区域和基准图像是需要延y轴方向拼接，则将这些待合成图像平移到基准图像的y轴方向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010922283.0A CN112070672B (zh) | 2020-09-04 | 2020-09-04 | 一种图像合成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010922283.0A CN112070672B (zh) | 2020-09-04 | 2020-09-04 | 一种图像合成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070672A CN112070672A (zh) | 2020-12-11 |
| CN112070672B true CN112070672B (zh) | 2021-09-10 |
Family
ID=73665605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010922283.0A Active CN112070672B (zh) | 2020-09-04 | 2020-09-04 | 一种图像合成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070672B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550104A (zh) * | 2018-02-28 | 2018-09-18 | 北京集光通达科技股份有限公司 | 图像配准方法、装置 |
-
2020
- 2020-09-04 CN CN202010922283.0A patent/CN112070672B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550104A (zh) * | 2018-02-28 | 2018-09-18 | 北京集光通达科技股份有限公司 | 图像配准方法、装置 |
Non-Patent Citations (4)
| Title |
|---|
| Natural Image Stitching with the Global Similarity Prior;Yu-Sheng Chen等;《ResearchGate》;20180219;全文 * |
| Poisson Matting;Jian Sun等;《ACM》;20041231;全文 * |
| 图像匹配技术的研究;殷伶;《中国优秀硕士学位论文全文数据库 信息科技辑》;20101015(第10期);全文 * |
| 基于图像的自适应图像拼接算法研究;顾费勇;《中国优秀硕士学位论文数据库 信息科技辑》;20080815(第8期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070672A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7149692B2 (ja) | 画像処理装置、画像処理方法 | |
| US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
| US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
| CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
| Mistry et al. | Image stitching using Harris feature detection | |
| JPH0935061A (ja) | 画像処理方法 | |
| CN106548494A (zh) | 一种基于场景样本库的影视图像深度提取方法 | |
| CN110909724B (zh) | 一种多目标图像的缩略图生成方法 | |
| EP3185212B1 (en) | Dynamic particle filter parameterization | |
| CN111553845A (zh) | 一种基于优化的三维重建的快速图像拼接方法 | |
| CN111709317B (zh) | 一种基于显著性模型下多尺度特征的行人重识别方法 | |
| CN115393519A (zh) | 一种基于红外可见光融合图像的三维重构方法 | |
| KR102464271B1 (ko) | 포즈 획득 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| JP2013101423A (ja) | 画像マッチング装置及び画像マッチングプログラム | |
| CN112102404B (zh) | 物体检测追踪方法、装置及头戴显示设备 | |
| CN112017120A (zh) | 一种图像合成方法及装置 | |
| CN112070672B (zh) | 一种图像合成方法及装置 | |
| JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| Ha et al. | Embedded panoramic mosaic system using auto-shot interface | |
| CN112070674B (zh) | 一种图像合成方法及装置 | |
| CN111783497A (zh) | 视频中目标的特征确定方法、装置和计算机可读存储介质 | |
| US10430971B2 (en) | Parallax calculating apparatus | |
| JP7482181B2 (ja) | 画像処理装置、画像処理方法 | |
| Yao et al. | Robust perspective invariant quasidense matching across large oblique images | |
| CN117372604B (zh) | 一种3d人脸模型生成方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210823 Address after: 510000 room 307, No. 5, jiantashan Road, Huangpu District, Guangzhou City, Guangdong Province Applicant after: Guangzhou XINGFEIDA Electronic Technology Co.,Ltd. Address before: 101300 room 3001, 3rd floor, 102 door, building 8, yard 12, Xinzhong street, Nanfaxin Town, Shunyi District, Beijing Applicant before: Beijing Weijie Dongbo Information Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |