CN103020938A - 一种基于加权平均法的空域图像缝合方法和系统 - Google Patents

一种基于加权平均法的空域图像缝合方法和系统 Download PDF

Info

Publication number
CN103020938A
CN103020938A CN2012105455589A CN201210545558A CN103020938A CN 103020938 A CN103020938 A CN 103020938A CN 2012105455589 A CN2012105455589 A CN 2012105455589A CN 201210545558 A CN201210545558 A CN 201210545558A CN 103020938 A CN103020938 A CN 103020938A
Authority
CN
China
Prior art keywords
image
pixel
stitching
weighted value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105455589A
Other languages
English (en)
Other versions
CN103020938B (zh
Inventor
刘巍
李晨
陈筱婧
王勇萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingwei Hirain Tech Co Ltd
Original Assignee
Beijing Jingwei Hirain Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingwei Hirain Tech Co Ltd filed Critical Beijing Jingwei Hirain Tech Co Ltd
Priority to CN201210545558.9A priority Critical patent/CN103020938B/zh
Publication of CN103020938A publication Critical patent/CN103020938A/zh
Application granted granted Critical
Publication of CN103020938B publication Critical patent/CN103020938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种基于加权平均法的空域图像缝合方法和系统。其中,空域图像缝合方法包括:预先设定的加权值规则获得加权值计算公式,依据所述加权值计算公式计算缝合区域内各个像素的第一加权值和第二加权值;将缝合区域内任意像素在不同图像中的像素值与所述像素值在不同图像中对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素对应的像素值;依据所述缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域。因此,本发明采用预先设定的加权值计算规则获得加权值计算公式,使该加权值计算公式通用于重叠区域任意缝合边界和任意缝合线,提高方法通用性。

Description

一种基于加权平均法的空域图像缝合方法和系统
技术领域
本发明涉及图像处理领域。尤其涉及一种基于加权平均法的空域图像缝合方法和系统。
背景技术
由于受到摄像机视场角的限制,传统的成像技术已经难以满足宽幅面、大视场、超广角甚至全景图像的需要。为了解决这一问题,采用图像拼接技术将两幅或两幅以上具有部分景物重合的图像缝合起来,生成一幅具有较宽视角图像或360°视角全景图像。其中,图像拼接技术使用的主要技术为图像缝合技术,图像缝合技术用于将待拼接图像的重合区域拼合起来,保证图像与图像的重叠区域能够连续变化,过渡自然并且没有可见的缝合线。
现有的图像缝合方法可以按照对图像处理的空间不同分为两种:频域图像缝合方法和空域图像缝合方法。其中,空域图像缝合方法中典型的算法包括:直接平均法、中值滤波法和加权平均法。
上述三种算法中最优算法为加权平均法,其中加权平均法对重叠区域中的像素进行加权后再叠加平均,每个像素按照自身在整个图像中的重要程度被赋予不同的权值,从而可以实现图像平滑过渡,有效消除图像中的缝合线。但是不同加权平均法对于不同图像中像素的加权值的计算方法各不相同,而且任一加权平均法仅适用重叠区域中一种缝合边界和缝合线。
发明内容
为解决上述技术问题,本申请实施例提供一种基于加权平均法的空域图像缝合方法和系统,以达到提高方法通用性且提升视觉效果的目的,技术方案如下:
一种基于加权平均法的空域图像缝合方法,包括:
获取第一图像和第二图像的相对位置关系;
确定第一图像和第二图像中的相同图像区域为缝合区域,并在所述缝合区域中获取第一图像的缝合边界、第一图像的缝合线、第二图像的缝合边界和第二图像的缝合线,所述第一图像的缝合线和所述第二图像的缝合线为一条缝合线,所述第一图像的缝合边界和所述第二图像的缝合边界为一个缝合边界;
获取第一图像的缝合边界的函数表达式以及第一图像的缝合线的函数表达式,并依据所述相对位置关系,获取第二图像的缝合边界的函数表达式以及第二图像的缝合线的函数表达式;
依据第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式、第二图像的缝合线的函数表达式以及预先设定的加权值规则获得加权值计算公式;
依据所述加权值计算公式,计算所述缝合区域内各个像素的第一加权值和第二加权值;
将缝合区域内任意像素在不同图像中的像素值与所述像素值在不同图像中对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素对应的像素值;
依据所述缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域。
优选的,所述预先设定的加权值规则包括:位于缝合区域内缝合线的像素的第一加权值为50%,第二加权值为50%;
位于第一图像的缝合边缘的像素的第一加权值为100%,第二加权值为0;
位于第二图像的缝合边缘的像素的第二加权值为100%,第一加权值为0;
位于所述第一图像的重叠区域和第二图像的重叠区域其他位置的像素第一加权值和第二加权值之和为100%;
其中,将第一图像的缝合边界中的一条缝合边作为第一图像的缝合边缘,将第一图像的缝合边界中其他缝合边作为第二图像的缝合边缘;
将第一图像的缝合线和第一图像的缝合边缘构成的区域作为第一图像重叠区域,将第二图像的缝合线和第二图像的缝合边缘构成的区域作为第二图像重叠区域。
优选的,所述加权值计算公式为:
W = 50 % × ( sign ( g ( i ) - f ( i ) ) · j - g ( i ) f ( i ) - g ( i ) + 1 ) ;
所述j为像素的列坐标,所述i为像素的行坐标,所述g(i)为所述缝合线的函数表达式,所述f(i)为所述缝合边界的函数表达式,50%为加权值,所述sign(g(i)-f(i))是符号函数,所述sign(g(i)-f(i))的值为+1、-1或0;
将缝合区域内各个像素的像素值与自身对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素的像素值包括:
依据像素计算公式PS=W·P(i,j)+(1-W)·P′(i′,j′)得到缝合像素值,其中,W为加权值,P(i,j)和P'(i',j')为缝合区域内任意像素在不同图像中的像素值。
优选的,所述加权值计算公式和像素计算公式仅使用第一图像和第二图像任意一幅图像所使用的坐标系;
或者,像素位于第一图像重叠区域时,所述加权值计算公式和像素计算公式使用第一图像所使用的坐标系,像素位于第二图像重叠区域时,所述加权值计算公式和像素计算公式使用第二图像所使用的坐标系。
优选的,在所述缝合区域中获取第一图像的缝合线和第二图像的缝合线包括:
在任一图像的缝合边界包括三个以上缝合边缘的情况下,获取人为设定的第一图像的缝合线和第二图像的缝合线,其中人为设定的第一图像的缝合线和第二图像的缝合线将所述缝合区域划分为相等区域,且第一图像的缝合线和第二图像的缝合线经过缝合区域中第一图像和第二图像的交点。
一种基于加权平均法的空域图像缝合系统,包括:
第一获取单元,用于获取第一图像和第二图像的相对位置关系;
第二获取单元,用于根据第一获取单元获取的结果确定第一图像和第二图像中的相同图像区域为缝合区域,并在所述缝合区域中获取第一图像的缝合边界、第一图像的缝合线、第二图像的缝合边界和第二图像的缝合线,所述第一图像的缝合线和所述第二图像的缝合线为一条缝合线;
第三获取单元,用于根据第二获取单元获取的结果获取第一图像的缝合边界的函数表达式以及第一图像的缝合线的函数表达式,并依据所述相对位置关系,获取第二图像的缝合边界的函数表达式以及第二图像的缝合线的函数表达式;
第四获取单元,用于依据第三单元获取的第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式、第二图像的缝合线的函数表达式以及预先设定的加权值规则获得加权值计算公式;
第一计算单元,用于依据第四获取单元获取的加权值计算公式,计算所述缝合区域内各个像素的第一加权值和第二加权值;
第二计算单元,用于将缝合区域内任意像素在不同图像中的像素值与所述像素值在不同图像中对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素对应的像素值;
拼接单元,用于依据第二计算单元计算得到的缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域。
优选的,第四获取单元获取加权值计算公式时依据的加权值规则包括:位于缝合区域内缝合线的像素的第一加权值为50%,第二加权值为50%;
位于第一图像的缝合边缘的像素的第一加权值为100%,第二加权值为0;
位于第二图像的缝合边缘的像素的第二加权值为100%,第一加权值为0;
位于所述第一图像的重叠区域和第二图像的重叠区域其他位置的像素第一加权值和第二加权值之和为100%;
其中,将第一图像的缝合边界中的一条缝合边作为第一图像的缝合边缘,将第一图像的缝合边界中其他缝合边作为第二图像的缝合边缘;将第一图像的缝合线和第一图像的缝合边缘构成的区域作为第一图像重叠区域,将第二图像的缝合线和第二图像的缝合边缘构成的区域作为第二图像重叠区域。
优选的,第四获取单元获取的加权值计算公式为:
W = 50 % × ( sign ( g ( i ) - f ( i ) ) · j - g ( i ) f ( i ) - g ( i ) + 1 ) ;
所述j为像素的列坐标,所述i为像素的行坐标,所述g(i)为所述缝合线的函数表达式,所述f(i)为所述缝合边界的函数表达式,50%为加权值,所述sign(g(i)-f(i))是符号函数,所述sign(g(i)-f(i))的值为+1、-1或0;
所述第二计算单元具体用于依据像素计算公式PS=W·P(i,j)+(1-W)·P′(i′,j′)得到缝合像素值,其中,W为加权值,P(i,j)和P'(i',j')为缝合区域内任意像素在不同图像中的像素值。
优选的,第一计算单元依据的加权值计算公式和第二计算单元使用的像素计算公式仅使用第一图像和第二图像任意一幅图像所使用的坐标系;
或者,像素位于第一图像重叠区域时,第一计算单元依据的加权值计算公式和第二计算单元使用的像素计算公式使用第一图像所使用的坐标系,像素位于第二图像重叠区域时,第一计算单元依据的加权值计算公式和第二计算单元使用的像素计算公式使用第二图像所使用的坐标系。
优选的,第二获取单元具体用于在任一图像的缝合边界包括三个以上缝合边缘的情况下,获取人为设定的第一图像的缝合线和第二图像的缝合线,其中人为设定的第一图像的缝合线和第二图像的缝合线将所述缝合区域划分为相等区域,且第一图像的缝合线和第二图像的缝合线经过缝合区域中第一图像和第二图像的交点。
与现有技术相比,本申请的有益效果是:
本申请首先获取第一图像和第二图像的相对位置关系,其次获取第一图像的缝合边界的函数表达式以及第一图像的缝合线的函数表达式,并依据所述相对位置关系,获取第二图像的缝合边界的函数表达式以及第二图像的缝合线的函数表达式,然后依据第一图像的缝合边界和缝合线的函数表达式和第二图像缝合边界和缝合线的函数表达式以及预先设定的加权值规则获得加权值计算公式,并依据所述加权值计算公式,计算所述缝合区域内各个像素的第一加权值和第二加权值,最后将缝合区域内各个像素的像素值与自身在不同图像中对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素的像素值,最终依据缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域。因此,本申请采用预先设定的加权值计算规则获得加权值计算公式,使该加权值计算公式通用于重叠区域任意缝合边界和任意缝合线,提高方法通用性。
进一步,加权值计算公式可以计算采用不规则边缘作为缝合线的重叠区域中的像素的加权值,相对于直线作为缝合线来说,使图像过渡更加自然,有益于提升视觉效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种基于加权平均法的空域图像缝合方法的一种流程图;
图2是本申请提供的缝合线和缝合边界的一种结构示意图;
图3是本申请提供的缝合线的一种结构示意图;
图4是本申请提供的缝合线的另一种结构示意图;
图5是本申请提供的缝合线和缝合边界的另一种结构示意图;
图6是本申请提供的一种基于加权平均法的空域图像缝合系统的一种结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供的一种基于加权平均法的空域图像缝合方法,首先获取第一图像和第二图像的相对位置关系,其次确定第一图像和第二图像中的相同图像区域为缝合区域,并在所述缝合区域中获取第一图像的缝合边界、第一图像的缝合线、第二图像的缝合边界和第二图像的缝合线,所述第一图像的缝合线和所述第二图像的缝合线为一条缝合线,然后获取第一图像的缝合边界的函数表达式以及第一图像的缝合线的函数表达式,并依据所述相对位置关系,获取第二图像的缝合边界的函数表达式以及第二图像的缝合线的函数表达式,并依据第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式、第二图像的缝合线的函数表达式以及预先设定的加权值规则获得加权值计算公式,再依据所述加权值计算公式,计算所述缝合区域内各个像素的第一加权值和第二加权值,最后将缝合区域内各个像素的像素值与自身对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素的像素值,最终依据所述缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域。以下将列举实施例对本申请提供的一种基于加权平均法的空域图像缝合方法进行详细说明。
一个实施例
请参阅图1,其示出了本申请提供的一种基于加权平均法的空域图像缝合方法的一种流程图,可以包括以下步骤:
步骤S11:获取第一图像和第二图像的相对位置关系。
在本实施例中,第一图像和第二图像的相对位置关系通过图像配准获取。由于图像间的相对位置关系包括旋转和平移,所以获取第一图像和第二图像的相对位置关系即获取第一图像和第二图像的旋转矩阵和平移矩阵。
其中,图像配准的目的为确定具有相同区域的图像间的相对位置关系并得到图像的旋转矩阵和平移矩阵。可以使用基于特征点的配准方法完成图像配准,具体的配准过程为:首先检测出第一图像和第二图像的特征点,其次将两幅图像的特征点进行一一对应匹配,剔除错误的配对,找出正确的匹配集,其中,特征点检测可以使用Harris法,然后根据匹配关系计算最佳的几何变换参数,最后通过所述几何变换参数利用平移缩放旋转等几何变换将两幅图像对应的特征点重叠起来即完成图像配准。从图像配准的具体过程可以看出,图像配准完成的工作其实就是对于具有相同区域的两幅图像,保持其中一幅图像的位置不变,然后让另外一幅图像通过旋转和平移变换与位置不变的图像的相同区域重合完成图像配准,并根据配准确定图像的旋转矩阵和平移矩阵。
在本实施例中,根据图像配准获取第一图像和第二图像的旋转矩阵和平移矩阵之后,可以结合第一图像和第二图像的旋转矩阵和平移矩阵计算出第一图像的任意一个像素在第二图像中的位置,其中位置可以以坐标表示。例如,像素i在第一图像中的坐标为(i,j),则该像素i在第二图像中的坐标为(i',j'),其中(i',j')坐标的获取可以但不局限于根据公式[i′,j′,1]=[i,j,1]*R+T,其中R为旋转矩阵,T为平移矩阵,[i′,j′,1]和[i,j,1]为齐次矩阵,在公式中使用齐次矩阵可以使运算更加简便。
步骤S12:确定第一图像和第二图像中的相同图像区域为缝合区域,并在所述缝合区域中获取第一图像的缝合边界、第一图像的缝合线、第二图像的缝合边界和第二图像的缝合线,所述第一图像的缝合线和所述第二图像的缝合线为一条缝合线。
在本实施例中,第一图像和第二图像具有相同的图像区域时,把所述相同图像区域作为缝合区域,所述缝合区域即第一图像和第二图像的重叠区域。第一图像和第二图像在构成该重叠区域时,第一图像和第二图像的边缘线上形成多个交点,则将多个交点中的一个作为起点,另一个交点作为终点得出重叠区域的缝合线,该缝合线贯穿重叠区域,如图2所示。其中图2是缝合线由一条直线构成且起止点位于交点的缝合图像的结构示意图。g所指的直线为缝合线,该直线g是第一图像的缝合线,同时也是第二图像的缝合线,直线g将两幅图像的缝合区域分成两部分。
在缝合区域内第一图像的缝合边界和第二图像的缝合边界重叠为一个相同的缝合边界,即第一图像的缝合边界和第二图像的缝合边界是形状和走向完全相同的边界,如图2中,曲线f1和曲线f2连接而成的曲线为第一图像的缝合边界,也是第二图像的缝合边界。
需要说明的是:由于第一图像和第二图像的坐标系不同,所以在缝合区域内的缝合边界上任意像素在第一图像和第二图像中的坐标是不同的,如图2所示,第一图像第i1行与缝合边界的一条缝合边缘f1的交点对应第一图像的像素的坐标为(i1,j1),对应第二图像的像素的坐标为(i'1,j'1)。
步骤S13:获取第一图像的缝合边界的函数表达式以及第一图像的缝合线的函数表达式,并依据所述相对位置关系,获取第二图像的缝合边界的函数表达式以及第二图像的缝合线的函数表达式。
在本实施例中,第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式以及第二图像的缝合线的函数表达式可以在获取任意一个图像的缝合边界和缝合线的函数表达式之后,依据图像配准结果获取另一个图像的缝合边界和缝合线的函数表达式,其中图像配准结果是旋转矩阵和平移矩阵。
在本实施例中,上述各个函数表达式的具体获取过程可以为:首先根据第一图像的缝合边界上的点坐标确定缝合边界的函数表达式,根据第一图像缝合线上点坐标确定缝合线的函数表达式,然后根据图像配准结果确定的旋转矩阵和平移矩阵,将确定第一图像缝合边界函数表达式的点坐标以及确定第一图像缝合线函数表达式的点坐标转换成在第二图像坐标系下的点坐标,再根据转换后的点坐标确定第二图像的缝合边界的函数表达式和第二图像的缝合线的函数表达式。
步骤S14:依据第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式、第二图像的缝合线的函数表达式以及预先设定的加权值规则获得加权值计算公式。
在本实施例中,所述预先设定的加权值规则包括:位于缝合区域内缝合线的像素的第一加权值和第二加权值分别为50%;位于第一图像的缝合边缘的像素的第一加权值和第二加权值分别为100%和0;位于第二图像的缝合边缘的像素的第二加权值和第一加权值分别为100%和0;位于所述第一图像的重叠区域和第二图像的重叠区域其他位置的像素的第一加权值和第二加权值之和为100%。像素的第一加权值即像素在第一图像中的加权值,像素的第二加权值即像素在第二图像中的加权值。
其中,将第一图像的缝合边界中的一条缝合边作为第一图像的缝合边缘,将第一图像的缝合边界中其他缝合边作为第二图像的缝合边缘;将第一图像的缝合线和第一图像的缝合边缘构成的区域作为第一图像重叠区域,将第二图像的缝合线和第二图像的缝合边缘构成的区域作为第二图像重叠区域;第一图像重叠区域和第二图像重叠区域构成的区域为第一图像和第二图像的缝合区域,以图2为例,图2所示的曲线f1作为第一图像的缝合边缘,曲线f2作为第二图像的缝合边缘,曲线f1和直线g构成的区域即第一图像重叠区域,曲线f2和直线g构成的区域即第二图像重叠区域。
从图2中可以看出,在选取第一图像的缝合边缘和第二图像的缝合边缘之后,在进行图像缝合时需要保证像素从一幅图像到另一幅图像的自然过渡,因此第一图像的缝合边缘是像素从第一图像过渡到第二图像的起始线,第二图像的缝合边缘是像素从第一图像过渡到第二图像的终止线。进而第一图像的缝合边缘可以是缝合边界中靠近第一图像的一条缝合边,保证像素从第一图像到第二图像的自然过渡,如图2所示的曲线f1。图2中像素从左至右变化为第一图像为主、第一图像和第二图像融合、第二图像为主,所以在第一图像和第二图像融合过程中该曲线f1是像素以第一图像为主转换为第一图像和第二图像融合的转折线,所以该曲线f1可以作为第一图像的缝合边缘,实现像素的自然过渡。
同理,如图2所示的曲线f2可以作为第二图像的缝合边缘,实现像素的自然过渡。
由第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式、第二图像的缝合线的函数表达式以及预先设定的加权值规则获得的加权值计算公式可以为 W = 50 % × ( sign ( g ( i ) - f ( i ) ) · j - g ( i ) f ( i ) - g ( i ) + 1 ) , 其中j为像素的列坐标,50%为加权值,g(i)为缝合线的函数表达式,f(i)为缝合边界的函数表达式,sign(g(i)-f(i))是符号函数,其值表示g(i)-f(i)的符号,sign(g(i)-f(i))只有三个值+1、-1或0。由于缝合区域内任意像素的坐标都可以通过计算获得,因此所述加权值计算公式适用于缝合区域内任意像素的加权值的计算。
由加权值计算公式 W = 50 % × ( sign ( g ( i ) - f ( i ) ) · j - g ( i ) f ( i ) - g ( i ) + 1 ) 可知,在缝合区域中任意行上的像素的第一加权值和第二加权值按照距离均匀变化,例如在缝合区域中第i行上相邻像素在第一图像中的列坐标分别为j1和j2,将代入加权值计算公式得到j1对应的像素的加权值记为 W 1 = 50 % × ( sign ( g ( i ) - f ( i ) ) · j 1 - g ( i ) f ( i ) - g ( i ) + 1 ) , 将代入加权值计算公式得到j2对应的像素的加权值记为 W 2 = 50 % × ( sign ( g ( i ) - f ( i ) ) · j 2 - g ( i ) f ( i ) - g ( i ) + 1 ) , W2-W1得到
Figure BDA00002591932200114
其中j2-j1是相邻像素列坐标之差,为固定的常量,在第i行上f(i)-g(i)和sign(g(i)-f(i))也是固定的常量,所以在任意一行如第i行上
Figure BDA00002591932200115
的值为列坐标变化的比例常量,由此可知
Figure BDA00002591932200116
的值仍为常量,因此任意像素的第一加权值是按照距离均匀变化的,同理可知任意像素的第二加权值也是按照距离均匀变化,在此不再赘述。
步骤S15:依据所述加权值计算公式,计算所述缝合区域内各个像素的第一加权值和第二加权值。
在本实施例中,将所述缝合区域内各个像素的行坐标和列坐标分别代入所述加权值计算公式 W = 50 % × ( sign ( g ( i ) - f ( i ) ) · j - g ( i ) f ( i ) - g ( i ) + 1 ) , 得到各个像素的加权值。具体可以为:以一幅图像的坐标系为准,计算缝合区域内不同像素在该幅图像中的加权值W1,像素在另一幅图像中的加权值W2则以W2=1-W1计算得出。
仍以图2为例,在计算第一图像重叠区域内像素的加权值时以第一图像的坐标系为准。假设第一图像缝合边界的一条缝合边即曲线f1的函数表达式为f1(i),第一图像缝合边界的另一条缝合边即曲线f2的函数表达式为f1′(i),第一图像的缝合线的函数表达式为g1(i),在第一图像重叠区域内计算加权值时,加权值公式为 W = 50 % × ( sign ( g 1 ( i ) - f 1 ( i ) ) · j - g 1 ( i ) f 1 ( i ) - g 1 ( i ) + 1 ) , 因为g1(i)>f1(i),所以g1(i)-f1(i)>0,所以sign(g1(i)-f1(i))的值为1,所以加权值计算公式可以简化为
Figure BDA00002591932200122
则在第一图像重叠区域内任意像素P在第一图像中的坐标为(i1,j1),像素值为P(i1,j1),则P像素在第一图像重叠区域内的第一加权值为 W 1 = 50 % × ( j 1 - g 1 ( i 1 ) f 1 ( i 1 ) - g 1 ( i 1 ) + 1 ) , 第二加权值为W2=1-W1
同理,在第二图像重叠区域内计算加权值时,加权值计算公式为 W = 50 % &times; ( sign ( g 1 ( i ) - f 1 &prime; ( i ) ) &CenterDot; j - g 1 ( i ) f 1 &prime; ( i ) - g 1 ( i ) + 1 ) , 因为g1(i)<f1'(i),所以g1(i)-f′1(i)<0,所以sign(g1(i)-f1'(i))的值为-1,所以加权值计算公式可以简化为
Figure BDA00002591932200125
则在第二图像重叠区域内任意像素P′在第一图像中的坐标为(i1,j1′),像素值为P'(i1,j1′),则P'像素在第二图像重叠区域内的第一加权值为
Figure BDA00002591932200126
第二加权值为W2=1-W1
当然,本实施例在计算第一图像重叠区域和第二图像重叠区域内像素的加权值时,还可以以第二图像的坐标系为准进行计算,假设第二图像缝合边界的一条缝合边即曲线f2的函数表达式为f2(i),第二图像缝合边界的另一条缝合边即曲线f1的函数表达式为f2'(i),第二图像的缝合线的函数表达式为g2(i),在第二图像重叠区域内计算加权值时,加权值计算公式为 W = 50 % &times; ( sign ( g 2 ( i ) - f 2 ( i ) ) &CenterDot; j - g 2 ( i ) f 2 ( i ) - g 2 ( i ) + 1 ) , 因为g2(i)>f2(i),所以g2(i)-f2(i)>0,所以sign(g2(i)-f2(i))的值为1,所以加权值计算公式可以简化为
Figure BDA00002591932200128
则在第二图像重叠区域内任意像素P在第二图像中的坐标为(i2,j2),像素值为P(i2,j2),则P像素在第二图像重叠区域内的第二加权值为 W 2 = 50 % &times; ( j 2 - g 2 ( i 2 ) f 2 ( i 2 ) - g 2 ( i 2 ) + 1 ) , 第一加权值为W1=1-W2
同理,在第一图像重叠区域内计算加权值时,加权值计算公式可以简化为
Figure BDA00002591932200132
则在第一图像重叠区域内任意像素P′在第二图像中的坐标为(i2,j2'),像素值为P'(i2,j2'),则像素在第一图像重叠区域内的第二加权值为 W 2 = 50 % &times; ( 1 - j 2 &prime; - g 2 ( i 2 ) f 2 &prime; ( i 2 ) - g 2 ( i 2 ) ) , 第一加权值为W1=1-W2
此外,本实施例在计算加权值时,还可以同时基于第一图像的坐标系和第二图像的坐标系,具体请参阅下述说明。
在基于第一图像的坐标系和第二图像的坐标系计算加权值时,仍以图2为例,图2所示的曲线f1作为第一图像的缝合边缘,曲线f2作为第二图像的缝合边缘,曲线f1和直线g构成的区域即第一图像重叠区域,曲线f2和直线g构成的区域即第二图像重叠区域。
选取图2所示的第一图像重叠区域内的任意像素P1,其中像素P1在第一图像中的坐标为(i1,j1),像素值为P(i1,j1);选取图2所示的第二图像重叠区域内任意像素P2,其中像素P2在第二图像中的坐标为(i2,j2),像素值为P(i2,j2)。
在第一图像重叠区域,加权值计算公式使用第一图像所使用的坐标系,计算第一图像重叠区域像素P1的加权值时,由上述内容可知,加权值计算公式 W = 50 % &times; ( sign ( g 1 ( i ) - f 1 ( i ) ) &CenterDot; j - g 1 ( i ) f 1 ( i ) - g 1 ( i ) + 1 ) 可以简化为: W = 50 % &times; ( j - g 1 ( i ) f 1 &prime; ( i ) - g 1 ( i ) + 1 ) , 其中f1(i)为第一图像的缝合边缘的函数表达式,g1(i)为第一图像的缝合线的函数表达式,将像素P1坐标代入所述加权值计算公式得到像素P1的第一加权值为
Figure BDA00002591932200136
计算在该像素P1的第二加权值W2时,使用公式W2=1-W1
根据加权值计算公式可知,像素在第一图像重叠区域的缝合边缘上时,第一加权值为100%,具体的计算过程为:参见图2所示,在第一图像中第i1行上,缝合边缘上某个像素的坐标为(i1,j),该像素的像素值为P1(i1,j),并且缝合边缘的函数表达式为f1(i),将(i1,j)中的行坐标代入缝合边缘函数表达式,得到j=f1(i1),然后将j代入加权值计算公式,得到W1=100%,因为W2=1-W1,所以W2=0,则在第一图像的缝合边缘的像素的第二加权值为0。
像素在第一图像重叠区域的缝合线上时,第一加权值为50%,具体的计算过程为:参见图2所示:在第一图像中第i1行上,缝合线上第一图像的某个像素的坐标为(i1,j),该像素的像素值为P1(i1,j),并且缝合线的函数表达式为g1(i),将(i1,j)中的行坐标代入缝合线函数表达式,得到j=g1(i1),然后把j代入加权值计算公式,得到W1=50%,因为W2=1-W1,所以W2=50%,则在第一图像的缝合线上的像素的第二加权值为50%。
像素在第一图像重叠区域缝合边缘和缝合线之间的区域时,第一加权值大于50%,小于100%,具体的计算过程为,参见图2所示:在第一图像中第i1行上,缝合边界和缝合线之间的区域中第一图像的某个像素的坐标为(i1,j),该像素的像素值为P1(i1,j),由于f1(i1)<j<g1(i1),所以将j代入加权值计算公式,得到的结果为50%<W1<100%,则在第一图像的缝合边界和缝合线之间的区域的像素的第二加权值为0<W2<50%。
在第二图像重叠区域,加权值计算公式使用第二图像所使用的坐标系,计算第二图像重叠区域像素P2的加权值时,由上述内容可知,加权值计算公式 W = 50 % &times; ( sign ( g 2 ( i ) - f 2 ( i ) ) &CenterDot; j - g 2 ( i ) f 2 ( i ) - g 2 ( i ) + 1 ) 可以简化为: W = 50 % &times; ( j - g 2 ( i ) f 2 ( i ) - g 2 ( i ) + 1 ) , 其中f2(i)为第二图像的缝合边缘的函数表达式,g2(i)为第二图像的缝合线的函数表达式,将像素P2坐标代入该加权值计算公式得到像素P2的第二加权值为
Figure BDA00002591932200143
计算在该像素P2的第一加权值W1时,使用公式W1=1-W2
根据加权值计算公式可知,像素P2在第二图像重叠区域的缝合边缘上,第二加权值为100%,具体的计算过程为:参见图2所示:在第二图像中第i2行上,缝合边缘上某个像素的坐标为(i2,j),该像素的像素值为P2(i2,j),并且缝合边缘的函数表达式为f2(i),将(i2,j)中的行坐标代入缝合边缘函数表达式,得到j=f2(i2),然后将j代入加权值计算公式,得到W2=100%,因为W1=1-W2,所以W1=0,则在第二图像的缝合边缘的像素的第一加权值为0。
像素在第二图像重叠区域的缝合线上时,第二加权值为50%,具体的计算过程为:参见图2所示:在第二图像中第i2行上,缝合线上第二图像的某个像素的坐标为(i2,j),该像素的像素值为P2(i2,j),并且缝合线的函数表达式为g2(i),将(i2,j)中的行坐标代入缝合线函数表达式,得到j=g2(i2),然后把j代入加权值计算公式,得到W2=50%,因为W1=1-W2,所以W1=50%,则在第二图像的缝合线上的像素的第一加权值为50%。
像素在第二图像重叠区域缝合边缘和缝合线之间的区域时,第二图像的像素的加权值大于50%,小于100%,具体的计算过程为,参见图2所示:在第二图像中第i2行上,缝合边界和缝合线之间的区域中第一图像的某个像素的坐标为(i2,j),该像素的像素值为P2(i2,j),由于f2(i2)<j<g2(i2),所以将j代入加权值计算公式,得到的结果为50%<W2<100%,则第二图像的缝合边界和缝合线之间的区域的像素的第二加权值为0<W1<50%。
由此可知,第一图像重叠区域内的任意像素的第一加权值大于该像素的第二加权值,第二图像重叠区域内的任意像素的第二加权值大于该像素的第一加权值,即在第一图像重叠区域内第一图像像素的重要程度大于第二图像像素的重要程度,在第二图像重叠区域内第二图像像素的重要程度大于第一图像像素的重要程度。可见,采用预先设定的加权值计算规则计算像素的加权值可以使缝合效果从缝合线开始向两侧均匀变化,在缝合边界处自然过渡到缝合后的图像,避免出现明显的缝合痕迹。
步骤S16:将缝合区域内任意像素在不同图像中的像素值与所述像素值在不同图像中对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素对应的像素值。
在进行图像缝合时,缝合区域任意像素对应的像素值为第一图像中该像素的像素值和第二图像中该像素的像素值叠加之后的结果,具体可以为:将缝合区域内任意像素在第一图像的像素值与该像素值对应的第一加权值相乘得到该像素在第一图像中的第一加权像素值。
同理,将该像素对应的第二图像的像素值与该像素对应的第二加权值相乘得到该像素在第二图像中的第二加权像素值;将第一加权像素值和第二加权像素值加和得到该位置对应的缝合像素值,将所述缝合像素值作为缝合区域中该像素对应的像素值,所述缝合像素值即为该位置最终加权平均结果。
其中,计算缝合像素值可以使用像素计算公式:Ps=W×P(i,j)+(1-W)×P'(i',j'),其中W和1-W的值是根据步骤S15获得的。
对于步骤S15中的P1像素,已知P1像素的第一加权值为W1,P1像素的第二加权值为1-W1,P1像素在第一图像的像素值为P(i1,j1),假设P1像素在第二图像的像素值为P'(i1',j1′),将W1、P(i1,j1)、1-W1、P′(i1′,j1′)代入像素计算公式得到P1像素的缝合像素值为:Ps=W1×P(i1,j1)+(1-W1)×P′(i1′,j′1)。
对于步骤S15中的P2像素,已知P2像素的第二加权值W1,P2像素的第一加权值为1-W2,P2像素在第二图像中的像素值为P(i2,j2),假设P2像素在第一图像的像素值为P(i2',j2'),将W2、P(i2,j2)、1-W2、P(i2′,j2′)代入像素计算公式得到P2点的缝合像素值为:Ps=W2×P(i2,j2)+(1-W2)×P′(i2′,j′2)。
其中,像素的加权值计算公式依据的预先设定的加权值规则是依据自然规律得到的,依据的自然规律具体为:具有相同部分的图像区域的图像在进行图像拼接时,待拼接图像之间的亮度差异导致拼接图像出现拼接痕迹。由于图像信息的最终接受者是人,而人眼对图像的认知是非均匀和非线性的,并不能感知到图像中的所有变化,当待拼接图像的缝合区域内相邻像素的亮度变化超过能被人眼感知到的最小亮度变化时,人眼就会分辨出待拼接图像的拼接痕迹,反之,人眼不会分辨出待拼接图像的拼接痕迹。
在图像拼接技术领域中,能被人眼感知到的最小亮度变化用临界可见偏差(Just Noticeable Difference,JND)表示。
依据步骤S15和步骤S16的结果可知,第一图像重叠区域的缝合边缘的任意像素的缝合像素值为第一图像在第一图像重叠区域的缝合边缘所处位置的像素的像素值,因此如图2所示,在靠近第一图像重叠区域的缝合边缘即曲线f1一侧的第一图像中的像素亮度过渡到曲线f1时没有发生变化,即靠近曲线f1一侧的第一图像中的像素亮度自然融入缝合区域。
在本实施例中第一图像重叠区域缝合边缘和缝合线之间的区域的任意像素P的缝合像素值为W1×P(i1,j1)+(1-W1)×P'(i1′,j'1),其中W1为P像素的第一加权值,1-W1为P像素的第二加权值,P(i1,j1)为P像素在第一图像的像素值,P'(i1',j1′)为P像素在第二图像的像素值,并且50%<W1<100%,0<W2<50%,因此在第一图像重叠区域缝合边缘和缝合线之间的区域的任意像素P的像素值接近于任意像素P在第一图像中的像素值,所以该区域的任意像素P的亮度更加接近该像素在第一图像中的亮度,由于该像素在第一图像中的亮度比率等于第一加权值,而第一加权值按照距离均匀变化,所以该像素在第一图像中的亮度比率的变化和第一加权值的变化一致,也是按照距离均匀变化,且保证均匀变化的值不超过JND,同样可知该像素在第二图像中的亮度比率等于1-该像素在第一图像中的亮度比率,同理该像素在第二图像中的亮度比率也按照距离均匀变化,且保证均匀变化的值不超过JND,由于该像素在第一图像中的亮度比率和在第二图像中的亮度比率都是按照距离均匀变化,所以根据该像素在第一图像中的亮度比率和在第二图像中的亮度比率得到的该像素的亮度的变化也是按照距离均匀变化,并且保证亮度均匀变化的值不超过JND。
缝合区域内的缝合线即曲线g的任意像素的缝合像素值为第一图像在曲线g位置的像素的像素值的50%和第二图像在曲线g位置的像素的像素值的50%之和,所以任意像素P的亮度为该像素在第一图像的亮度的50%与该像素在第二图像的亮度的50%之和,且保证缝合线的任意像素与相邻像素的亮度变化的值不超过JND。
在第二图像重叠区域缝合边缘和缝合线之间的区域的任意像素P的像素值接近于任意像素P在第二图像中的像素值,所以该区域的任意像素P的亮度更加接近该像素在第二图像中的亮度,由于该像素在第二图像中的亮度比率等于第二加权值,而第二加权值按照距离均匀变化,所以该像素在第二图像中的亮度比率的变化和第二加权值的变化一致,也是按照距离均匀变化,且保证均匀变化的值不超过JND,同样可知该像素在第一图像中的亮度比率等于1-该像素在第二图像中的亮度比率,同理该像素在第一图像中的亮度比率也按照距离均匀变化,且保证均匀变化的值不超过JND,由于该像素在第一图像中的亮度比率和在第二图像中的亮度比率都是按照距离均匀变化,所以根据该像素在第一图像中的亮度比率和在第二图像中的亮度比率得到的该像素的亮度的变化也是按照距离均匀变化,并且保证亮度均匀变化的值不超过JND。
同理,第二图像重叠区域的缝合边缘即曲线f2的任意像素的缝合像素值为第二图像在曲线f2的位置的像素的像素值,因此在靠近曲线f2一侧的第二图像中的像素亮度过渡到曲线f2时没有发生变化,即靠近曲线f2一侧的第二图像中的像素亮度自然融入缝合区域。
由此可知,缝合区域内像素亮度由缝合线均匀过渡到缝合边界,在缝合边界处自然融入到待拼接图像的除缝合区域之外的图像部分,在过渡过程中使得缝合区域内相邻像素间亮度变化都不超过JND,可见最后得到的缝合像素值保证了像素的自然过渡。进而本实施例在计算加权值过程中所依据的预先设定的加权值规则符合自然规律。
步骤S17:依据所述缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域。
在本实施例中,根据步骤S16得到的缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域,最后生成一幅具有较宽视角图像或360°视角全景图像。即将第一图像和第二图像的相同部分的图像区域拼接为一个区域,并最终将两幅图像拼接为一幅图像。
本实施例采用预先设定的加权值计算规则获得加权值计算公式,使该加权值计算公式通用于重叠区域任意缝合边界和任意缝合线,提高了方法的通用性,最终实现了将两幅图像缝合为一幅图像并保证了图像的过渡自然。
另一个实施例
在上述所有方法实施例中,第一图像和第二图像的缝合线也可以采用曲线,如图3所示,因为在待拼接图像的重叠区域中提取的缝合线极少出现绝对的直线,采用曲线能够很好的匹配提取的缝合线的形状,可以使图像拼接更加灵活,并且采用曲线有利于借助人眼的“纹理掩模效应”。所以缝合线采用曲线的技术方案相对于缝合线采用直线的技术方案,使拼接边缘过渡更加自然,有益于提升视觉效果。
其中,“纹理掩模效应”具体为人眼在亮度变化剧烈时对细节的感知能力会降低。采用曲线有利于借助人眼的“纹理掩模效应”是因为图像中提取的缝合线一般都处在重叠区域中不容易被人眼察觉到的位置,重叠区域的其它部分中相邻像素的亮度变化比提取的缝合线位置亮度变化剧烈,导致人眼在提取的缝合线位置感知能力降低,不容易感知到图像中提取的缝合线,而曲线又能够很好的匹配提取的缝合线的形状。由此也可知,采用曲线作为缝合线,可以使人眼不容易分辨出拼接痕迹。
当然,第一图像和第二图像的缝合线还可以将图像中的边缘作为缝合线的起止部分,如图4所示,图4中缝合线的起止点不在交点上,而是把图像的边缘作为缝合线的起止部分。g所指的曲线为缝合线,该曲线g是第一图像的缝合线,同时也是第二图像的缝合线,缝合线g将两幅图像的缝合区域分成两部分。需要说明的是,图4中并没有示出第一图像和第二图像的缝合边界,是为了更加清楚的示出缝合线g。其中,第一图像和第二图像参与形成的缝合边界的边仍为2条。
一般情况下,每幅图像参与形成的缝合边界的边为2条,此时把缝合边界的交点连接起来的线作为缝合线,如图2和图3所示,或者把图像的边缘作为缝合线的起止部分,如图4所示。所述缝合线可以为直线,可以为折线,也可以为曲线,当缝合线为曲线时,可以使图像过渡更加自然,有利于提高视觉效果。
而缝合线可以在图像配准后自动生成,也可以人为设定。其中,当图像间相对位置特殊,缝合区域内无法得到明确的缝合线时,可以人为设定一条缝合线。人为设定的缝合线可以是直线,可以是折线,也可以是曲线。
在相对位置特殊情况下,即如果两幅图像的大小相差较多或者成相角度相差较大造成其中一幅图像参与形成缝合边界的边多于2条,而另一幅图像参与形成缝合边界的少于2条,但参与形成的缝合边界至少为1条,此时如果把两幅图像重叠的交点连接起来的线作为缝合线,所述缝合线可能就会与其中一条缝合边界重合,所以就需要重新人为设定其它缝合线,以达到图像过渡自然的目的,如图5所示。图5示出的是缝合图像的缝合区域内的缝合边界为4条的情况,其中,g1所指的折线可以为缝合线,g2所指的曲线可以为缝合线,缝合边界由直线f1、直线f2、直线f3和直线f4组成。
如图5所示,第一图像和第二图像的缝合区域的交点有2个,分别是m1和m2,一般情况下,把交点m1和交点m2连接起来的线就为缝合线,但把交点m1和交点m2连接起来后的线和缝合边界的一条边重合,此时,缝合线需要重新人为设定。
人为设定的缝合线可以但不局限于采用形如折线g1和曲线g2的缝合线,在人为设定缝合线时,为了使最终缝合效果更加自然,尽量将缝合线设置在直线f2和直线f1距离相等的中间位置,这样可以保证加权值变化速度相同,但是由于实际应用中,很难达到将缝合线设置在中间位置的效果,但只要我们保证将缝合线最大限度设置在接近缝合边界距离相等的中间位置即可。其中,直线f2和折线g1或曲线g2构成的区域为第二图像重叠区域,直线f1、直线f2和直线f3与折线g1或曲线g2构成的区域为第一图像重叠区域。第一图像重叠区域和第二图像重叠区域中的加权值计算公式和像素计算公式和图2所示的第一图像重叠区域和第二图像重叠区域中的加权值计算公式和像素计算公式相同,在此不再赘述。
与上述实施例相对应,本申请还提供了的一种基于加权平均法的空域图像缝合系统的一种结构图,请参阅图6,基于加权平均法的空域图像缝合系统包括:第一获取单元61、第二获取单元62、第三获取单元63、第四获取单元64、第一计算单元65、第二计算单元66和拼接单元67。
其中,第一获取单元61用于获取第一图像和第二图像的相对位置关系。
在本实施例中,第一图像和第二图像的相对位置关系通过图像配准获取。由于图像间的相对位置关系包括旋转和平移,所以获取第一图像和第二图像的相对位置关系即获取第一图像和第二图像的旋转矩阵和平移矩阵。
其中,图像配准的目的为确定具有相同区域的图像间的相对位置关系并得到图像的旋转矩阵和平移矩阵。
第二获取单元62用于根据第一获取单元61获取的结果确定第一图像和第二图像中的相同图像区域为缝合区域,并在所述缝合区域中获取第一图像的缝合边界、第一图像的缝合线、第二图像的缝合边界和第二图像的缝合线,所述第一图像的缝合线和所述第二图像的缝合线为一条缝合线。
在本实施例中,在第一获取单元61确定图像的相对位置关系后,在第一图像和第二图像具有相同的图像区域时,把所述相同图像区域作为缝合区域,所述缝合区域即第一图像和第二图像的重叠区域。
第一图像和第二图像在构成该重叠区域时,第一图像和第二图像的边缘线上形成多个交点。
一般情况下,第二获取单元62获取的缝合边界为2条,缝合线是以多个交点中的一个作为起点,另一个交点作为终点的连线,该缝合线可以是直线,如图2所示,可以是曲线,如图3所示,也可以是折线。在本实施例中,缝合线的起止点也可以不在交点上,而是把图像的边缘作为缝合线的起止部分,如图4所示。
缝合线可以在图像配准后自动生成,也可以人为设定。其中,当图像间相对位置特殊,缝合区域内无法得到明确的缝合线时,可以人为设定一条缝合线。人为设定的缝合线可以是直线,可以是折线,也可以是曲线。
在相对位置特殊情况下,即如果两幅图像的大小相差较多或者成相角度相差较大造成其中一幅图像参与形成缝合边界的边多于2条,而另一幅图像参与形成缝合边界的少于2条,但参与形成的缝合边界至少为1条,此时如果把两幅图像重叠的交点连接起来的线作为缝合线,所述缝合线可能就会与其中一条缝合边界重合,所以就需要重新人为设定其它缝合线,以达到图像过渡自然的目的,如图5所示。图5示出的是缝合图像的缝合区域内的缝合边界为4条的情况,其中,g1所指的折线可以为缝合线,g2所指的曲线可以为缝合线,缝合边界由直线f1、直线f2、直线f3和直线f4组成。
如图5所示,第一图像和第二图像的缝合区域的交点有2个,分别是m1和m2,一般情况下,把交点m1和交点m2连接起来的线就为缝合线,但把交点m1和交点m2连接起来后的线和缝合边界的一条边重合,此时,缝合线需要重新人为设定。
人为设定的缝合线可以但不局限于采用形如折线g1和曲线g2的缝合线,在人为设定缝合线时,为了使最终缝合效果更加自然,尽量将缝合线设置在直线f2和直线f1距离相等的中间位置,这样可以保证加权值变化速度相同,但是由于实际应用中,很难达到将缝合线设置在中间位置的效果,但只要我们保证将缝合线最大限度设置在接近缝合边界距离相等的中间位置即可。
第三获取单元63,用于根据第二获取单元获取的结果获取第一图像的缝合边界的函数表达式以及第一图像的缝合线的函数表达式,并依据所述相对位置关系,获取第二图像的缝合边界的函数表达式以及第二图像的缝合线的函数表达式。
在本实施例中,第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式以及第二图像的缝合线的函数表达式可以在获取任意一个图像的缝合边界和缝合线的函数表达式之后,依据图像配准结果获取另一个图像的缝合边界和缝合线的函数表达式,其中图像配准结果是旋转矩阵和平移矩阵。
上述各个函数表达式的具体获取过程可以为:首先根据第一图像的缝合边界上的点坐标确定缝合边界的函数表达式,根据第一图像缝合线上点坐标确定缝合线的函数表达式,然后根据图像配准结果确定的旋转矩阵和平移矩阵,将确定第一图像缝合边界函数表达式的点坐标以及确定第一图像缝合线函数表达式的点坐标转换成在第二图像坐标系下的点坐标,再根据转换后的点坐标确定第二图像的缝合边界的函数表达式和第二图像的缝合线的函数表达式。
第四获取单元64,用于依据第三获取单元63获取的第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式、第二图像的缝合线的函数表达式以及预先设定的加权值规则获得加权值计算公式。
在本实施例中,预先设定的加权值规则包括:位于缝合区域内缝合线的像素的第一加权值为50%,第二加权值为50%;
位于第一图像的缝合边缘的像素的第一加权值为100%,第二加权值为0;
位于第二图像的缝合边缘的像素的第二加权值为100%,第一加权值为0;
位于所述第一图像的重叠区域和第二图像的重叠区域其他位置的像素第一加权值和第二加权值之和为100%;
其中,将第一图像的缝合边界中的一条缝合边作为第一图像的缝合边缘,将第一图像的缝合边界中其他缝合边作为第二图像的缝合边缘;
将第一图像的缝合线和第一图像的缝合边缘构成的区域作为第一图像重叠区域,将第二图像的缝合线和第二图像的缝合边缘构成的区域作为第二图像重叠区域。
假设第三获取单元63获取到的第一图像的缝合边界的函数表达式记为f1(i),第一图像的缝合线的函数表达式记为g1(i),第二图像的缝合边界的函数表达式记为f2(i),第二图像的缝合边界的函数表达式记为g2(i),由第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式、第二图像的缝合线的函数表达式以及预先设定的加权值规则获得的加权值计算公式可以为 W = 50 % &times; ( sign ( g ( i ) - f ( i ) ) &CenterDot; j - g ( i ) f ( i ) - g ( i ) + 1 ) , 其中j为像素的列坐标,50%为加权值,g(i)为缝合线的函数表达式,f(i)为缝合边界的函数表达式,sign(g(i)-f(i))是符号函数,其值表示g(i)-f(i)的符号,sign(g(i)-f(i))只有三个值+1、-1或0。
第一计算单元65,用于依据第四获取单元64获取的加权值计算公式,计算所述缝合区域内各个像素的第一加权值和第二加权值。
在本实施例中,将第二获取单元62确定的缝合区域内各个像素的行坐标和列坐标分别代入第四获取单元64获取的加权值计算公式 W = 50 % &times; ( sign ( g ( i ) - f ( i ) ) &CenterDot; j - g ( i ) f ( i ) - g ( i ) + 1 ) , 得到各个像素的第一加权值和第二加权值,即各个像素在第一图像中的加权值和在第二图像中的加权值。
第一计算单元65在计算缝合区域中各个像素的加权值时,可以以一幅图像的坐标系为准,计算缝合区域内不同像素在该幅图像中的加权值W1,像素在另一幅图像中的加权值W2则以W2=1-W1计算得出。在本实施例中,可以以第一图像的坐标系为准,也可以以第二图像的坐标系为准。
此外,第一计算单元65在计算加权值时,还可以同时基于第一图像的坐标系和第二图像的坐标系
第二计算单元66,用于将缝合区域内任意像素在不同图像中的像素值与所述像素值在不同图像中对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素对应的像素值。
在进行图像缝合时,第二获取单元62确定的缝合区域任意像素对应的像素值为第一图像中该像素的像素值和第二图像中该像素的像素值叠加之后的结果,具体可以为:
将第二获取单元62确定的缝合区域内任意像素在第一图像的像素值与该像素值对应的由第一计算单元65得到的第一加权值相乘得到该像素在第一图像中的第一加权像素值;同理,将该像素对应的第二图像的像素值与该像素值对应的由第一计算单元65得到的第二加权值相乘得到该像素在第二图像中的第二加权像素值;将第一加权像素值和第二加权像素值加和得到该位置对应的缝合像素值,将所述缝合像素值作为缝合区域中该像素对应的像素值,所述缝合像素值即为该位置最终加权平均结果。
其中,计算缝合像素值可以使用像素计算公式:Ps=W×P(i,j)+(1-W)×P'(i',j'),其中W和1-W的值是由第一计算单元65获得的,P(i,j)和P'(i',j')为缝合区域内任意像素在不同图像中的像素值。
其中,像素的加权值计算公式依据的预先设定的加权值规则是依据自然规律得到的,依据的自然规律具体可以参照图1所示的一种基于加权平均法的空域图像缝合方法中在步骤S16中描述的自然规律。
拼接单元67,用于依据第二计算单元66计算得到的缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域。
在本实施例中,根据第二计算单元66得到的缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域,最后生成一幅具有较宽视角图像或360°视角全景图像。即将第一图像和第二图像的相同部分的图像区域拼接为一个区域,并最终将两幅图像拼接为一幅图像。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽范围。

Claims (10)

1.一种基于加权平均法的空域图像缝合方法,其特征在于,包括:
获取第一图像和第二图像的相对位置关系;
确定第一图像和第二图像中的相同图像区域为缝合区域,并在所述缝合区域中获取第一图像的缝合边界、第一图像的缝合线、第二图像的缝合边界和第二图像的缝合线,所述第一图像的缝合线和所述第二图像的缝合线为一条缝合线,所述第一图像的缝合边界和所述第二图像的缝合边界为一个缝合边界;
获取第一图像的缝合边界的函数表达式以及第一图像的缝合线的函数表达式,并依据所述相对位置关系,获取第二图像的缝合边界的函数表达式以及第二图像的缝合线的函数表达式;
依据第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式、第二图像的缝合线的函数表达式以及预先设定的加权值规则获得加权值计算公式;
依据所述加权值计算公式,计算所述缝合区域内各个像素的第一加权值和第二加权值;
将缝合区域内任意像素在不同图像中的像素值与所述像素值在不同图像中对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素对应的像素值;
依据所述缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域。
2.根据权利要求1所述的方法,其特征在于,所述预先设定的加权值规则包括:位于缝合区域内缝合线的像素的第一加权值为50%,第二加权值为50%;
位于第一图像的缝合边缘的像素的第一加权值为100%,第二加权值为0;
位于第二图像的缝合边缘的像素的第二加权值为100%,第一加权值为0;
位于所述第一图像的重叠区域和第二图像的重叠区域其他位置的像素第一加权值和第二加权值之和为100%;
其中,将第一图像的缝合边界中的一条缝合边作为第一图像的缝合边缘,将第一图像的缝合边界中其他缝合边作为第二图像的缝合边缘;
将第一图像的缝合线和第一图像的缝合边缘构成的区域作为第一图像重叠区域,将第二图像的缝合线和第二图像的缝合边缘构成的区域作为第二图像重叠区域。
3.根据权利要求2所述的方法,其特征在于,所述加权值计算公式为:
W = 50 % &times; ( sign ( g ( i ) - f ( i ) ) &CenterDot; j - g ( i ) f ( i ) - g ( i ) + 1 ) ;
所述j为像素的列坐标,所述i为像素的行坐标,所述g(i)为所述缝合线的函数表达式,所述f(i)为所述缝合边界的函数表达式,50%为加权值,所述sign(g(i)-f(i))是符号函数,所述sign(g(i)-f(i))的值为+1、-1或0;
将缝合区域内各个像素的像素值与自身对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素的像素值包括:
依据像素计算公式PS=W·P(i,j)+(1-W)·P′(i′,j′)得到缝合像素值,其中,W为加权值,P(i,j)和P'(i',j')为缝合区域内任意像素在不同图像中的像素值。
4.根据权利要求3所述的方法,其特征在于,所述加权值计算公式和像素计算公式仅使用第一图像和第二图像任意一幅图像所使用的坐标系;
或者,像素位于第一图像重叠区域时,所述加权值计算公式和像素计算公式使用第一图像所使用的坐标系,像素位于第二图像重叠区域时,所述加权值计算公式和像素计算公式使用第二图像所使用的坐标系。
5.根据权利要求1至4任意一项所述的方法,其特征在于,在所述缝合区域中获取第一图像的缝合线和第二图像的缝合线包括:
在任一图像的缝合边界包括三个以上缝合边缘的情况下,获取人为设定的第一图像的缝合线和第二图像的缝合线,其中人为设定的第一图像的缝合线和第二图像的缝合线将所述缝合区域划分为相等区域,且第一图像的缝合线和第二图像的缝合线经过缝合区域中第一图像和第二图像的交点。
6.一种基于加权平均法的空域图像缝合系统,其特征在于,包括:
第一获取单元,用于获取第一图像和第二图像的相对位置关系;
第二获取单元,用于根据第一获取单元获取的结果确定第一图像和第二图像中的相同图像区域为缝合区域,并在所述缝合区域中获取第一图像的缝合边界、第一图像的缝合线、第二图像的缝合边界和第二图像的缝合线,所述第一图像的缝合线和所述第二图像的缝合线为一条缝合线;
第三获取单元,用于根据第二获取单元获取的结果获取第一图像的缝合边界的函数表达式以及第一图像的缝合线的函数表达式,并依据所述相对位置关系,获取第二图像的缝合边界的函数表达式以及第二图像的缝合线的函数表达式;
第四获取单元,用于依据第三单元获取的第一图像的缝合边界的函数表达式、第一图像的缝合线的函数表达式、第二图像的缝合边界的函数表达式、第二图像的缝合线的函数表达式以及预先设定的加权值规则获得加权值计算公式;
第一计算单元,用于依据第四获取单元获取的加权值计算公式,计算所述缝合区域内各个像素的第一加权值和第二加权值;
第二计算单元,用于将缝合区域内任意像素在不同图像中的像素值与所述像素值在不同图像中对应的加权值相乘得到加权像素值,并对所述加权像素值进行相加得到缝合像素值,将所述缝合像素值作为缝合区域中该像素对应的像素值;
拼接单元,用于依据第二计算单元计算得到的缝合像素值,将第一图像和第二图像的相同部分的图像区域拼接为一个区域。
7.根据权利要求6所述的系统,其特征在于,第四获取单元获取加权值计算公式时依据的加权值规则包括:位于缝合区域内缝合线的像素的第一加权值为50%,第二加权值为50%;
位于第一图像的缝合边缘的像素的第一加权值为100%,第二加权值为0;
位于第二图像的缝合边缘的像素的第二加权值为100%,第一加权值为0;
位于所述第一图像的重叠区域和第二图像的重叠区域其他位置的像素第一加权值和第二加权值之和为100%;
其中,将第一图像的缝合边界中的一条缝合边作为第一图像的缝合边缘,将第一图像的缝合边界中其他缝合边作为第二图像的缝合边缘;
将第一图像的缝合线和第一图像的缝合边缘构成的区域作为第一图像重叠区域,将第二图像的缝合线和第二图像的缝合边缘构成的区域作为第二图像重叠区域。
8.根据权利要求7所述的系统,其特征在于,第四获取单元获取的加权值计算公式为:
W = 50 % &times; ( sign ( g ( i ) - f ( i ) ) &CenterDot; j - g ( i ) f ( i ) - g ( i ) + 1 ) ;
所述j为像素的列坐标,所述i为像素的行坐标,所述g(i)为所述缝合线的函数表达式,所述f(i)为所述缝合边界的函数表达式,50%为加权值,所述sign(g(i)-f(i))是符号函数,所述sign(g(i)-f(i))的值为+1、-1或0;
所述第二计算单元具体用于依据像素计算公式PS=W·P(i,j)+(1-W)·P′(i′,j′)得到缝合像素值,其中,W为加权值,P(i,j)和P'(i',j')为缝合区域内任意像素在不同图像中的像素值。
9.根据权利要求8所述的系统,其特征在于,第一计算单元依据的加权值计算公式和第二计算单元使用的像素计算公式仅使用第一图像和第二图像任意一幅图像所使用的坐标系;
或者,像素位于第一图像重叠区域时,第一计算单元依据的加权值计算公式和第二计算单元使用的像素计算公式使用第一图像所使用的坐标系,像素位于第二图像重叠区域时,第一计算单元依据的加权值计算公式和第二计算单元使用的像素计算公式使用第二图像所使用的坐标系。
10.根据权利要求6至9任意一项所述的系统,其特征在于,第二获取单元具体用于在任一图像的缝合边界包括三个以上缝合边缘的情况下,获取人为设定的第一图像的缝合线和第二图像的缝合线,其中人为设定的第一图像的缝合线和第二图像的缝合线将所述缝合区域划分为相等区域,且第一图像的缝合线和第二图像的缝合线经过缝合区域中第一图像和第二图像的交点。
CN201210545558.9A 2012-12-14 2012-12-14 一种基于加权平均法的空域图像缝合方法和系统 Active CN103020938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210545558.9A CN103020938B (zh) 2012-12-14 2012-12-14 一种基于加权平均法的空域图像缝合方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210545558.9A CN103020938B (zh) 2012-12-14 2012-12-14 一种基于加权平均法的空域图像缝合方法和系统

Publications (2)

Publication Number Publication Date
CN103020938A true CN103020938A (zh) 2013-04-03
CN103020938B CN103020938B (zh) 2015-10-07

Family

ID=47969505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210545558.9A Active CN103020938B (zh) 2012-12-14 2012-12-14 一种基于加权平均法的空域图像缝合方法和系统

Country Status (1)

Country Link
CN (1) CN103020938B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258321A (zh) * 2013-05-14 2013-08-21 杭州海康希牧智能科技有限公司 一种图像拼接方法
CN103544696A (zh) * 2013-10-01 2014-01-29 中国人民解放军国防科学技术大学 一种用于fpga实现的缝合线实时查找方法
CN104363385A (zh) * 2014-10-29 2015-02-18 复旦大学 一种图像融合的基于行的硬件实现方法
CN104363384A (zh) * 2014-10-29 2015-02-18 复旦大学 一种视频融合中基于行的硬件缝合方法
CN104680501A (zh) * 2013-12-03 2015-06-03 华为技术有限公司 图像拼接的方法及装置
CN104730074A (zh) * 2015-03-05 2015-06-24 广州视源电子科技股份有限公司 一种金针类元件的引脚检测方法及装置
CN104933671A (zh) * 2015-05-25 2015-09-23 北京邮电大学 图像颜色融合方法
CN107480710A (zh) * 2017-08-01 2017-12-15 歌尔股份有限公司 特征点匹配结果处理方法和装置
CN108027967A (zh) * 2015-11-05 2018-05-11 华为技术有限公司 图像拼接的方法和电子设备
CN109547692A (zh) * 2018-10-26 2019-03-29 华为技术有限公司 图像姿态矫正方法、设备及终端
CN110021001A (zh) * 2018-01-08 2019-07-16 聚星电子股份有限公司 图像缝合方法及装置
CN110930303A (zh) * 2018-09-19 2020-03-27 宅妆股份有限公司 全景图形成方法及系统
CN112804505A (zh) * 2020-12-31 2021-05-14 上海丹诺西诚智能科技有限公司 一种投影图案拼接方法及系统
CN113808510A (zh) * 2020-06-15 2021-12-17 明基智能科技(上海)有限公司 影像调整方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GAO GUANDONG: "A New Image Mosaics Algorithm Based on Feature Points Matching", 《INNOVATIVE COMPUTING, INFORMATION AND CONTROL》 *
冯宇平: "图像快速配准与自动拼接技术研究", 《中国博士学位论文全文数据库信息科技辑》 *
周剑军: "图像拼接技术研究", 《中国博士学位论文全文数据库信息科技辑》 *
王超: "视频图像自动拼接的研究与实现", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258321A (zh) * 2013-05-14 2013-08-21 杭州海康希牧智能科技有限公司 一种图像拼接方法
CN103544696A (zh) * 2013-10-01 2014-01-29 中国人民解放军国防科学技术大学 一种用于fpga实现的缝合线实时查找方法
CN103544696B (zh) * 2013-10-01 2016-04-06 中国人民解放军国防科学技术大学 一种用于fpga实现的缝合线实时查找方法
CN104680501A (zh) * 2013-12-03 2015-06-03 华为技术有限公司 图像拼接的方法及装置
CN104680501B (zh) * 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
CN104363384B (zh) * 2014-10-29 2017-06-06 复旦大学 一种视频融合中基于行的硬件缝合方法
CN104363385A (zh) * 2014-10-29 2015-02-18 复旦大学 一种图像融合的基于行的硬件实现方法
CN104363384A (zh) * 2014-10-29 2015-02-18 复旦大学 一种视频融合中基于行的硬件缝合方法
CN104363385B (zh) * 2014-10-29 2017-05-10 复旦大学 一种图像融合的基于行的硬件实现方法
CN104730074B (zh) * 2015-03-05 2017-05-31 广州视源电子科技股份有限公司 一种金针类元件的引脚检测方法及装置
CN104730074A (zh) * 2015-03-05 2015-06-24 广州视源电子科技股份有限公司 一种金针类元件的引脚检测方法及装置
CN104933671B (zh) * 2015-05-25 2018-05-25 北京邮电大学 图像颜色融合方法
CN104933671A (zh) * 2015-05-25 2015-09-23 北京邮电大学 图像颜色融合方法
CN108027967A (zh) * 2015-11-05 2018-05-11 华为技术有限公司 图像拼接的方法和电子设备
US10719926B2 (en) 2015-11-05 2020-07-21 Huawei Technologies Co., Ltd. Image stitching method and electronic device
CN108027967B (zh) * 2015-11-05 2020-09-29 华为技术有限公司 图像拼接的方法和电子设备
CN107480710A (zh) * 2017-08-01 2017-12-15 歌尔股份有限公司 特征点匹配结果处理方法和装置
CN107480710B (zh) * 2017-08-01 2020-05-22 歌尔股份有限公司 特征点匹配结果处理方法和装置
CN110021001A (zh) * 2018-01-08 2019-07-16 聚星电子股份有限公司 图像缝合方法及装置
CN110930303A (zh) * 2018-09-19 2020-03-27 宅妆股份有限公司 全景图形成方法及系统
CN109547692A (zh) * 2018-10-26 2019-03-29 华为技术有限公司 图像姿态矫正方法、设备及终端
CN113808510A (zh) * 2020-06-15 2021-12-17 明基智能科技(上海)有限公司 影像调整方法
CN113808510B (zh) * 2020-06-15 2024-04-09 明基智能科技(上海)有限公司 影像调整方法
CN112804505A (zh) * 2020-12-31 2021-05-14 上海丹诺西诚智能科技有限公司 一种投影图案拼接方法及系统

Also Published As

Publication number Publication date
CN103020938B (zh) 2015-10-07

Similar Documents

Publication Publication Date Title
CN103020938A (zh) 一种基于加权平均法的空域图像缝合方法和系统
TW497366B (en) An apparatus and method for providing panoramic images
CN109064409B (zh) 一种移动机器人的视觉图像拼接系统及方法
CN105205781B (zh) 输电线路航拍图像拼接方法
CN103226822B (zh) 医疗影像拼接方法
CN103258321A (zh) 一种图像拼接方法
CN102542548B (zh) 一种图像间颜色校正方法和装置
CN105701764B (zh) 一种用于医学图像的拼接方法
CN109784281A (zh) 基于人脸特征的产品推荐方法、装置及计算机设备
CN104463899A (zh) 一种目标对象检测、监控方法及其装置
CN105913377B (zh) 一种保留图片相关性信息的图片拼接方法
CN100480730C (zh) 一种遥感影像镶嵌中的拼接缝消除方法
CN106875344A (zh) 一种视频图像的补光处理方法及装置
CN109523551A (zh) 一种获取机器人行走姿态的方法及系统
CN103295209A (zh) Dr图像的拼接方法及系统
CN104170371A (zh) 实现自助合影的方法和照相设备
CN103034330A (zh) 一种用于视频会议的眼神交互方法及系统
CN109300084A (zh) 一种图像拼接方法、装置、电子设备及存储介质
CN103679672A (zh) 基于边缘垂直距离匹配的全景图像拼接方法
CN105550981A (zh) 一种基于Lucas-Kanade算法的图像配准和拼接方法
CN106297492A (zh) 一种教育玩具套件及利用颜色和轮廓识别编程模块的方法
CN107452028A (zh) 一种确定目标图像位置信息的方法及装置
CN106683051A (zh) 一种图像拼接方法及装置
CN102012629A (zh) 用于文本图像拼接的拍摄方法
CN107292822B (zh) 一种图像的拼接方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: 4 / F, building 1, No.14 Jiuxianqiao Road, Chaoyang District, Beijing 100020

Patentee after: Beijing Jingwei Hengrun Technology Co., Ltd

Address before: 8 / F, block B, No. 11, Anxiang Beili, Chaoyang District, Beijing 100101

Patentee before: Beijing Jingwei HiRain Technologies Co.,Ltd.

CP03 Change of name, title or address