一种图像拼接方法和装置
技术领域
本发明涉及图像处理技术领域,更具体的说,涉及一种图像拼接方法和装置。
背景技术
随着科学技术的不断发展,智能电视的实现功能也得到飞速扩展。
在现有图像技术领域中,通过在智能电视上安装摄像头,智能电视也能实现基本的拍摄功能。然而,众所周知,智能电视拍摄出来的图像大小是一定的。例如,当待拍摄区域的面积较大时,智能电视每次只能拍摄待拍摄区域的一部分图像,而如果想要拍摄到待拍摄区域的所有图像,就需要智能电视进行多次拍摄,依次拍摄待拍摄区域的每一部分区域。同时,对应智能电视的每一次拍摄,用户每次得到的都是关于待拍摄区域的部分图像照片,因此用户只能通过查看多张部分图像照片才能浏览到待拍摄区域的全部区域。
因此,当用户想要拍摄面积较大的区域时,现有技术中智能电视只能进行多次拍摄,每次获取部分图像来实现拍摄全部区域的目的。然而,这就要求用户需要同时查看多张图像照片才能浏览到待拍摄区域的全部区域,这无疑降低了用户体验。
发明内容
针对上述问题,本发明提供了一种图像拼接方法和装置,以解决现有技术中用户需要同时查看多张图像照片才能浏览到待拍摄区域的全部区域,降低了用户体验的问题。技术方案如下:
基于本发明的一方面,本发明提供一种图像拼接方法,应用于智能电视,包括:
获取多个待配准图像,并确定其中一个待配准图像为基准配准图像;
分别提取每个所述待配准图像中的多个图像特征;其中,每相邻两个所述待配准图像之间至少存在一个相同的图像特征;
依据所述图像特征,分别计算每相邻两个所述待配准图像之间的位移量;
依据所述每相邻两个所述待配准图像之间的位移量,分别计算所述基准配准图像与其他所述待配准图像间的位移量,并将计算得到的位移量构成配准矩阵;
依据所述配准矩阵,利用图像融合算法融合所述待配准图像,以实现对所述待配准图像的图像拼接。
优选地,所述获取多个待配准图像包括:
获取通过摄像头旋转进行大视角扫描得到的多个图像;其中,所述多个图像按所述摄像头扫描先后顺序,依次顺序存储;
判断获取的相邻图像间是否均存在叠加区域;
若所述相邻图像间均存在叠加区域,确定所述多个图像为待配准图像。
优选地,所述判断相邻图像间是否存在叠加区域包括:
分别计算每相邻两个所述待配准图像之间的互功率谱;
对所述互功率谱进行傅里叶逆变换,求取冲击函数;
当判断所述冲击函数的峰值坐标大于或等于预设阈值时,确定相邻图像间存在叠加区域。
优选地,所述确定其中一个待配准图像为基准配准图像包括:
当所述多个待配准图像的个数为2n时,确定第n或第n+1个待配准图像为基准配准图像;
当所述多个待配准图像的个数为2n+1时,确定第n+1个待配准图像为基准配准图像;
其中,n为正整数。
优选地,所述分别提取每个所述待配准图像中的多个图像特征包括:
分别提取每个所述待配准图像中的多个角点特征;
其中,所述依据所述图像特征,分别计算每相邻两个所述待配准图像之间的位移量包括:
计算每相邻两个所述待配准图像之间存在的相同的图像特征间的位移量,从而获得每相邻两个所述待配准图像之间的位移量。
优选地,所述依据所述每相邻两个所述待配准图像之间的位移量,分别计算所述基准配准图像与其他所述待配准图像间的位移量,并将计算得到的位移量构成配准矩阵包括:
第一待配准图像与第二待配准图像相邻,所述第二待配准图像与第三待配准图像相邻,所述第三待配准图像与所述基准配准图像相邻;
获取所述第一待配准图像与所述第二待配准图像之间的第一位移量;
获取所述第二待配准图像与所述第三待配准图像之间的第二位移量;
获取所述第三待配准图像与所述基准配准图像之间的第三位移量;
依据所述第一位移量、所述第二位移量和所述第三位移量,获取所述第一待配准图像与所述基准配准图像之间的第四位移量;
依据所述第二位移量和所述第三位移量,获取所述第二待配准图像与所述基准配准图像之间的第五位移量;
根据所述第一待配准图像与所述基准配准图像之间的第四位移量,所述第二待配准图像与所述基准配准图像之间的第五位移量,以及所述第三待配准图像与所述基准配准图像之间的第三位移量构成配准矩阵。
基于本发明的另一方面,本发明提供一种图像拼接装置,应用于智能电视,包括:
图像获取模块,用于获取多个待配准图像;
第一确定模块,用于确定所述图像获取模块获取的多个待配准图像中的一个待配准图像为基准配准图像;
图像特征提取模块,用于分别提取每个所述待配准图像中的多个图像特征;其中,每相邻两个所述待配准图像之间至少存在一个相同的图像特征;
图像配准模块,用于依据所述图像特征,分别计算每相邻两个所述待配准图像之间的位移量;以及依据所述每相邻两个所述待配准图像之间的位移量,分别计算所述基准配准图像与其他所述待配准图像间的位移量,并将计算得到的位移量构成配准矩阵;
图像融合模块,用于依据所述配准矩阵,利用图像融合算法融合所述待配准图像,以实现对所述待配准图像的图像拼接。
优选的,所述图像获取模块包括:
存储模块,用于按照所述图像获取模块获取图像的先后顺序存储多个所述待配准图像;
获取模块,用于获取所述存储模块中存储的多个所述待配准图像;
判断模块,用于判断所述获取模块得到的相邻图像间是否均存在叠加区域;
第二确定模块,用于当所述判断模块判断存储的相邻图像间均存在叠加区域时,确定所述多个图像为待配准图像。
优选的,所述图像特征提取模块包括:第一图像特征提取模块,用于分别提取每个所述待配准图像的角点特征;
其中,所述图像配准模块包括:第一图像配准模块,用于依据所述角点特征,计算每相邻两个所述待配准图像之间存在的相同的角点特征间的位移量,从而获得每相邻两个所述待配准图像之间的位移量;并依据所述每相邻两个所述待配准图像之间的位移量,分别计算所述基准配准图像与其他所述待配准图像间的位移量,并将计算得到的位移量构成配准矩阵。
优选的,第一待配准图像与第二待配准图像相邻,所述第二待配准图像与第三待配准图像相邻,所述第三待配准图像与所述基准配准图像相邻,所述图像配准模块还包括:
位移量获取模块,用于获取所述第一待配准图像与所述第二待配准图像之间的第一位移量;获取所述第二待配准图像与所述第三待配准图像之间的第二位移量;以及获取所述第三待配准图像与所述基准配准图像之间的第三位移量;
并依据所述第一位移量、所述第二位移量和所述第三位移量,获取所述第一待配准图像与所述基准配准图像之间的第四位移量;
依据所述第二位移量和所述第三位移量,获取所述第二待配准图像与所述基准配准图像之间的第五位移量;
矩阵配准模块,用于根据所述第一待配准图像与所述基准配准图像之间的第四位移量,所述第二待配准图像与所述基准配准图像之间的第五位移量,以及所述第三待配准图像与所述基准配准图像之间的第三位移量构成配准矩阵。
应用上述技术方案,本发明在获取多个待配准图像后,确定其中一个待配准图像为基准配准图像;分别提取每个待配准图像中的多个图像特征,并依据图像特征,分别计算每相邻两个待配准图像之间的位移量,进而依据每相邻两个待配准图像之间的位移量,分别计算基准配准图像与其他待配准图像间的位移量,并将计算得到的位移量构成配准矩阵;最后依据配准矩阵,利用图像融合算法融合待配准图像,以实现对待配准图像的图像拼接。显然,本发明对多张待配准图像进行了融合处理,实现了待配准图像的图像拼接,最后输出给用户一张完整的拍摄区域的全部区域图像照片,相比于现有技术输出多张只包括部分拍摄区域的部分图像照片,用户需要同时查看多张图像照片才能浏览到拍摄区域的全部区域,提高了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种图像拼接方法的一种流程图;
图2为本发明提供的一种获取多个待配准图像的方法的流程图;
图3为本发明提供的一种扫描示意图;
图4为本发明提供的另一种扫描示意图;
图5为本发明提供的待配准图像的图像特征示意图;
图6为本发明提供的待配准图像的坐标转换示意图;
图7为本发明提供的一种图像拼接装置的结构示意图;
图8为本发明提供的一种图像拼接装置中图像获取模块的结构示意图;
图9为本发明提供的一种图像拼接装置中第一图像配准模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
请参见图1,其示出了本发明提供的一种图像拼接方法的一种流程图,包括:
步骤101,智能电视获取多个待配准图像,并确定其中一个待配准图像为基准配准图像。
其中,待配准图像为后续智能电视进行拼接的图像。智能电视首先获取多个待配准图像,进而将获取的多个待配准图像进行拼接。同时,智能电视在获取到多个待配准图像后,确定其中一个待配准图像为基准配准图像。优选地,当多个待配准图像的个数为2n时,确定第n或第n+1个待配准图像为基准配准图像;当多个待配准图像的个数为2n+1时,确定第n+1个待配准图像为基准配准图像;其中,n为正整数。
具体地,对于如何获取多个待配准图像可以包括,请参阅图2,本发明提供的一种获取多个待配准图像的方法的流程图,方法包括:
步骤1011,智能电视获取通过旋转摄像头进行大视角扫描得到的多个图像。其中,多个图像按摄像头扫描先后顺序,依次顺序存储。
在本实施例中,智能电视与摄像头建立通信连接,控制摄像头进行扫描拍摄,摄像头将扫描拍摄到的图像发送至智能电视存储。具体地,可参阅图3,例如欲拍摄区域面积为A,摄像头每次可扫描拍摄到的区域面积为A1。在实际工作过程中,智能电视发送扫描指令至摄像头,摄像头接收到扫描指令开始扫描欲拍摄区域的区域面积A1,并将扫描到的图像1进行拍摄,发送图像1至智能电视存储。智能电视在接收到图像1后,先发送旋转指令至摄像头,控制摄像头进行一定角度的旋转,如图4所示,进而再发送扫描指令至摄像头,控制摄像头继续扫描欲拍摄区域的区域面积A1,并将扫描到的图像2进行拍摄,发送图像2至智能电视存储。以此循环,每次摄像头发送一张图像至智能电视存储后,智能电视控制摄像头旋转一定角度后继续扫描。直至待拍摄区域的全部区域面积扫描完成,智能电视发送停止指令至摄像头,以控制摄像头停止扫描拍摄动作。
其中,智能电视将摄像头扫描得到的图像1、图像2等按摄像头扫描先后顺序,依次顺序存储。
需要说明的是,在本发明中为了实现多个图像的拼接,保证图像拼接的精度和准确度,应尽量保证图像的连续性,即相邻两图像间存在共同图像特征,具有叠加区域,以便于智能电视判断得知相邻图像是有关联的。然而,如果图像数据过多,会增加智能电视系统的处理负荷,因此,在实际工作过程中,可适当调整摄像头每次旋转角度,保证拍摄到的相邻图像间存在共同图像特征的基础上,尽量减少拍摄图像的张数,以减轻系统处理负荷。
步骤1012,智能电视判断存储的相邻图像间是否均存在叠加区域。如果存在,执行步骤1013。
步骤1013,智能电视确定多个图像为待配准图像。
在本实施例中,所谓相邻图像间是否存在叠加区域指的是相邻图像间是否存在共同图像特征。当相邻图像间存在叠加区域时,智能电视确定摄像机扫描到的多个图像为待配准图像。
具体地,判断相邻图像间是否均存在叠加区域还可以包括:
步骤1012a,分别计算每相邻两个待配准图像之间的互功率谱。
步骤1012b,对互功率谱进行傅里叶逆变换,求取冲击函数。
步骤1012c,当判断冲击函数的峰值坐标大于或等于预设阈值时,确定相邻图像间存在叠加区域。
在本实施例中,计算相邻两个待配准图像之间的位移量可以采用相位相关法。首先,利用傅立叶正变换,计算相邻两个待配准图像之间的互功率谱。进而对互功率谱进行傅立叶逆变换,通过互功率谱与冲击函数的关系,求得冲击函数。当冲击函数的峰值坐标大于或等于预设阈值时,确定相邻图像间存在叠加区域。
步骤102,智能电视分别提取每个待配准图像中的多个图像特征。其中,每相邻两个待配准图像之间至少存在一个相同的图像特征。
举例来说,智能电视分别提取三个待配准图像的图像特征,如图5所示,假如定义圆形特征为图像特征。此时智能电视分别提取三个待配准图像中的圆形特征。基于前文所述,优选设定图像2为基准配准图像。
步骤103,智能电视依据图像特征,分别计算每相邻两个待配准图像之间的位移量。
在实际应用过程中,摄像头不能保证扫描拍摄到的图像都在同一水平面上,尤其在摄像头扫描拍摄多张图像时,图像间产生的相对位移差会逐渐变大。因此,本发明通过分别提取三个待配准图像中的圆形特征,以图像2中的圆形特征为基准,分别计算图像1中的圆形特征与图像2中的圆形特征之间的位移量,图像3中的圆形特征与图像2中的圆形特征之间的位移量,进而通过圆形特征之间的位移量得知基准配准图像2与其他待配准图像1和3间的位移量,并将计算得到的位移量构成配准矩阵。
步骤104,智能电视依据每相邻两个待配准图像之间的位移量,分别计算基准配准图像与其他待配准图像间的位移量,并将计算得到的位移量构成配准矩阵。
步骤105,智能电视依据配准矩阵,利用图像融合算法融合待配准图像,以实现对待配准图像的图像拼接。
为了更好地说明本发明的技术方案,申请人继续对如何计算得到的位移量展现如下详细论述。
在本实施例中,优选地智能电视分别提取每个待配准图像中的多个角点特征,依据角点特征,分别计算每相邻两个待配准图像之间存在的相同的图像特征间的位移量,从而获得每相邻两个待配准图像之间的位移量。进而,依据每相邻两个待配准图像之间的位移量,分别计算基准配准图像与其他待配准图像间的位移量,并将计算得到的位移量构成配准矩阵。例如,第一待配准图像1与第二待配准图像2相邻,第二待配准图像2与第三待配准图像3相邻,第三待配准图像3与基准配准图像0相邻,此时,
获取第一待配准图像与第二待配准图像之间的第一位移量D12;
获取第二待配准图像与第三待配准图像之间的第二位移量D23;
获取第三待配准图像与基准配准图像之间的第三位移量D30;
依据第一位移量D12、第二位移量D23和第三位移量D30,获取第一待配准图像1与基准配准图像0之间的第四位移量D10;
依据第二位移量D23和第三位移量D30,获取第二待配准图像2与基准配准图像0之间的第五位移量D20;
根据第一待配准图像1与基准配准图像0之间的第四位移量D10,第二待配准图像2与基准配准图像0之间的第五位移量D20,以及第三待配准图像3与基准配准图像0之间的第三位移量D30构成配准矩阵。
更具体地,确定基准配准图像中的角点特征为坐标原点,并建立X-Y坐标系。此时基于该坐标系下,根据基准配准图像中的角点特征和坐标原点的对应关系,转换其他待配准图像上的角点特征,得到其他待配准图像上的角点特征值在X-Y坐标系上的坐标点。如图6所示,确定图像2为基准配准图像,并将图像2中圆形特征作为角点特征,确定该圆形特征的角点特征为坐标原点(0,0)。此时,进一步以该坐标系为基准,分别转换图像1和图像3上的圆形特征值在该坐标系中的坐标点,分别得到(x1,y1)和(x3,y3)。由图6可以很明显得知,图像1中的角点特征的坐标点与坐标原点的位移量即为(x1,y1),图像3中的角点特征的坐标点与坐标原点的位移量即为(x3,y3),其中,x1表示图像1与图像2的水平方向的位移量,x2表示图像3与图像2的水平方向的位移量,y1表示图像1与图像2的竖直方向的位移量,y3表示图像3与图像2的竖直方向的位移量。将计算得到的所有位移量构成配准矩阵,智能电视依据该配准矩阵利用图像融合算法融合待配准图像,以实现对待配准图像的图像拼接。
应用本发明的上述技术方案,本发明在获取多个待配准图像后,确定其中一个待配准图像为基准配准图像;分别提取每个待配准图像中的多个图像特征,并依据图像特征,分别计算每相邻两个待配准图像之间的位移量,进而依据每相邻两个待配准图像之间的位移量,分别计算基准配准图像与其他待配准图像间的位移量,并将计算得到的位移量构成配准矩阵;最后依据配准矩阵,利用图像融合算法融合待配准图像,以实现对待配准图像的图像拼接。显然,本发明对多张待配准图像进行了融合处理,实现了待配准图像的图像拼接,最后输出给用户一张完整的拍摄区域的全部区域图像照片,相比于现有技术输出多张只包括部分拍摄区域的部分图像照片,用户需要同时查看多张图像照片才能浏览到拍摄区域的全部区域,提高了用户体验。
实施例二
基于前文本发明保护的一种图像拼接方法的描述,本发明还保护一种图像拼接装置,请参阅图7,应用于智能电视,包括:图像获取模块100、第一确定模块200、图像特征提取模块300、图像配准模块400和图像融合模块500。其中,
图像获取模块100,用于获取多个待配准图像。优选的,图像获取模块100可以为摄像头。
第一确定模块200,用于从图像获取模块100获取的多个待配准图像中确定其中一个待配准图像为基准配准图像。
图像特征提取模块300,用于分别提取每个待配准图像中的多个图像特征。其中,每相邻两个待配准图像之间至少存在一个相同的图像特征。
图像配准模块400,用于依据图像特征,分别计算每相邻两个待配准图像之间的位移量;以及依据每相邻两个待配准图像之间的位移量,分别计算基准配准图像与其他待配准图像间的位移量,并将计算得到的位移量构成配准矩阵。
图像融合模块500,用于依据配准矩阵,利用图像融合算法融合待配准图像,以实现对待配准图像的图像拼接。
应用本发明的上述技术方案,本发明在图像获取模块100获取多个待配准图像后,第一确定模块200确定其中一个待配准图像为基准配准图像;图像特征提取模块300分别提取每个待配准图像的图像特征,图像配准模块400依据图像特征,分别计算每相邻两个待配准图像之间的位移量;以及依据每相邻两个待配准图像之间的位移量,分别计算基准配准图像与其他待配准图像间的位移量,并将计算得到的位移量构成配准矩阵;最后图像融合模块500依据配准矩阵,利用图像融合算法融合待配准图像,以实现对待配准图像的图像拼接。显然,本发明对多张待配准图像进行了融合处理,实现了待配准图像的图像拼接,最后输出给用户一张完整的拍摄区域的全部区域图像照片,相比于现有技术输出多张只包括部分拍摄区域的部分图像照片,用户需要同时查看多张图像照片才能浏览到拍摄区域的全部区域,提高了用户体验。
实施例三
在上述实施例的基础上,请参阅图8,本发明提供的一种图像拼接装置中的图像获取模块的结构示意图,可以包括:存储模块1001、获取模块1002、判断模块1003和第二确定模块1004。其中,
存储模块1001,用于按照图像获取模块100获取图像的先后顺序存储多个待配准图像。
获取模块1002,用于获取存储模块中存储的多个待配准图像。
判断模块1003,用于判断获取模块1002获取得到的相邻图像间是否均存在叠加区域。
第二确定模块1004,用于当判断模块1003判断存储的相邻图像间均存在叠加区域时,确定多个图像为待配准图像。
实施例四
在上述实施例的基础上,图像特征提取模块300还可以包括:第一图像特征提取模块3001,用于分别提取每个待配准图像的角点特征。
图像配准模块400还可以包括:第一图像配准模块4001,用于依据角点特征,计算每相邻两个待配准图像之间存在的相同的角点特征间的位移量,从而获得每相邻两个待配准图像之间的位移量;并依据每相邻两个待配准图像之间的位移量,分别计算基准配准图像与其他待配准图像间的位移量,并将计算得到的位移量构成配准矩阵。
具体地,请参阅图9,第一图像配准模块4001可以包括:坐标系建立模块4001a、转换模块4001b和计算模块4001c。其中,
坐标系建立模块4001a,用于确定基准配准图像中的角点特征为坐标原点,建立X-Y坐标系。
转换模块4001b,用于根据基准配准图像中的角点特征值和坐标原点的对应关系,转换其他待配准图像上的角点特征,得到其他待配准图像上的角点特征值在X-Y坐标系上的坐标点。
计算模块4001c,用于分别计算其他待配准图像上的角点特征的坐标点与坐标原点的位移量。
在本实施例中,例如第一待配准图像与第二待配准图像相邻,第二待配准图像与第三待配准图像相邻,第三待配准图像与基准配准图像相邻,此时图像配准模块400还可以包括:位移量获取模块4002和矩阵配准模块4003。其中,
位移量获取模块4002,用于获取第一待配准图像与第二待配准图像之间的第一位移量;获取第二待配准图像与第三待配准图像之间的第二位移量;以及获取第三待配准图像与基准配准图像之间的第三位移量;
并依据第一位移量、第二位移量和第三位移量,获取第一待配准图像与基准配准图像之间的第四位移量;
依据第二位移量和第三位移量,获取第二待配准图像与基准配准图像之间的第五位移量。
矩阵配准模块,用于根据第一待配准图像与基准配准图像之间的第四位移量,第二待配准图像与基准配准图像之间的第五位移量,以及第三待配准图像与基准配准图像之间的第三位移量构成配准矩阵。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种图像拼接方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。