CN114881863B - 一种图像拼接方法、电子设备及计算机可读存储介质 - Google Patents

一种图像拼接方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114881863B
CN114881863B CN202210755885.0A CN202210755885A CN114881863B CN 114881863 B CN114881863 B CN 114881863B CN 202210755885 A CN202210755885 A CN 202210755885A CN 114881863 B CN114881863 B CN 114881863B
Authority
CN
China
Prior art keywords
image
template
pixel
splicing
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210755885.0A
Other languages
English (en)
Other versions
CN114881863A (zh
Inventor
孟照南
张帆
郭清文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Xinqing Technology Co ltd
Original Assignee
Hubei Xinqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Xinqing Technology Co ltd filed Critical Hubei Xinqing Technology Co ltd
Priority to CN202210755885.0A priority Critical patent/CN114881863B/zh
Publication of CN114881863A publication Critical patent/CN114881863A/zh
Application granted granted Critical
Publication of CN114881863B publication Critical patent/CN114881863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像拼接方法、电子设备及计算机可读存储介质,该方法包括:获取至少四张原始图像,其中,相邻的原始图像的部分区域重合;根据拼接模板查询映射表得到所述原始图像的像素坐标,根据所述原始图像的像素坐标进行计算并获得转换图像;所述映射表包括原始图像与所述拼接模板上对应点之间的坐标映射关系;根据车辆模型、所述转换图像和预先创建的权重模板进行拼接生成全景环视图。本发明提升图像拼接效率,而且能够有效地解决了拼接结果中重影和缝隙的问题,使得相邻两幅图像在融合拼接时逐渐过渡。

Description

一种图像拼接方法、电子设备及计算机可读存储介质
技术领域
本发明涉及数据安全技术领域,尤其涉及一种图像拼接方法、电子设备及计算机可读存储介质。
背景技术
随着计算机视觉和图像处理领域的技术不断发展,如何应用相应方法改进车载辅助系统性能已成为研究热点。目前可以将四路超广角鱼眼相机分别安装在汽车前、后、左、右四个方向捕获车身周边信息,并经过车载环视图像自动拼接方法处理后在显示设备输出全景环视图像。这样形成的全景环视图像能有从高向下鸟瞰的效果,可以实现360度无死角显示车辆周边景象。
但是,传统的环视拼接方法往往会出现拼接不上,导致有明显拼接过渡带的现象,影响用户的体验,甚至造成错误的显示图像,带来安全隐患。
发明内容
本发明实施例的目的是提供一种图像拼接方法、电子设备及计算机可读存储介质,提升图像拼接效率,而且能够有效地解决了拼接结果中重影和缝隙的问题,使得相邻两幅图像在融合拼接时逐渐过渡。
在第一方面,为实现上述目的,本发明实施例提供了一种图像拼接方法,包括:
获取至少四张原始图像,其中,相邻的原始图像的部分区域重合;
根据拼接模板查询映射表得到所述原始图像的像素坐标,根据所述原始图像的像素坐标进行计算并获得转换图像;所述映射表包括原始图像与所述拼接模板上对应点之间的坐标映射关系;
根据车辆模型、所述转换图像和预先创建的权重模板进行拼接生成全景环视图。
在第二方面,为了解决相同的技术问题,本发明实施例提供了一种电子设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述存储器与所述处理器耦接,且所述处理器执行所述计算机程序时,实现上述任一项所述的图像拼接方法中的步骤。
在第三方面,为了解决相同的技术问题,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的图像拼接方法中的步骤。
本发明实施例提供了一种图像拼接方法、电子设备及计算机可读存储介质,直接通过查找映射表的方式获取原始图像对应的转换图像,大大降低时间复杂度的同时也节省了存储资源。此外,使用加权过渡的方式获得融合区域,设计创建专属的权重模板,通过权重模板实现全景拼接,能更好的实现多图像的拼接,有效地解决了拼接结果中重影和缝隙的问题,使得相邻两幅图像在融合拼接时逐渐过渡,且能够随着融合权重值变化而适应性调整,从而使得整个全景环视图衔接顺畅。
附图说明
图1为本发明实施例提供的图像拼接方法的一种流程示意图;
图2为本发明实施例提供的拼接模板的示意图;
图3为本发明实施例提供的图像拼接方法的另一种流程示意图;
图4为本发明实施例提供的从透视变换结果图进行逆透视变换得到畸变图的流程示意图;
图5为本发明实施例中的基础权重图的示意图;
图6为本发明实施例提供的图像拼接方法的另一种流程示意图;
图7为本发明实施例中的融合区域的场景示意图;
图8为本发明实施例中的权重区域图的示意图;
图9为本发明实施例中的权重模板的一个示意图;
图10为本发明实施例中的权重模板的另一个示意图;
图11为本发明实施例中的全景环视图的一个示意图;
图12为本发明实施例提供的图像拼接装置的结构示意图;
图13为本发明实施例提供的电子设备的一种结构示意图;
图14为本发明实施例提供的电子设备的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解的是,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
随着汽车工业的发展,为了提升行车安全,全景环视系统被越来越多地应用在车辆中。作为车载监控的一部分,环视系统通过在车体周部设置覆盖车辆周边视场范围的至少四个广角摄像头(通常优选超广或鱼眼摄像头),这些摄像头在同一时刻将采集到的多路视频影像发送给车辆的一系统中,经由该系统处理成一幅车辆周边360度的车身俯视图,最后在中控台的屏幕上显示,让驾驶员清楚地查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离,帮助驾驶员对其进行规避。由于环视系统非常直观,而且可以消除盲区,因此可以帮助驾驶员从容操控车辆进行诸如:倒车、泊车入位、通过复杂路面等操作,能够有效减少刮蹭、碰撞、陷落等事故的发生。
请参见图1,图1为本发明实施例提供的图像拼接方法的一种流程示意图,如图1所示,本发明实施例提供的图像拼接方法包括步骤S101至步骤S103。
S101获取至少四张原始图像,其中,相邻的原始图像的部分区域重合;
在一实施例中,为了给驾驶员提供更多信息避免交通事故的发生,汽车驾驶辅助系统的作用也越来越被重视,车载环视图像拼接技术便是其中核心。传统的汽车驾驶辅助系统大致使用三种手段帮助汽车司机观察汽车周边情况,即后视镜、倒车雷达和倒车摄像头。但是这些传统手段都只能给司机提供前后方向信息,存在视野盲区,而且不够直观、可视化程度不高。
因此,可在车辆上安装有至少四个广角摄像头,各鱼眼摄像头分别安装在车辆的前格栅、后尾灯或者后牌照灯装饰板以及左后视镜、右后视镜位置,以实现车辆四个方位周围环境的图像采集。
可选的,鱼眼摄像头是一种焦距为16mm或更短的并且视角接近或等于180°的摄像头,通过鱼眼摄像头拍摄的图像具有深度信息,图像呈圆形,视角可以达到180°甚至大于180°,例如使用视角为200°的鱼眼摄像头。因此,在前格栅、后尾灯或者后牌照灯装饰板以及左后视镜、右后视镜位置中所安装的待标定鱼眼摄像头拍摄的图像中存在重叠区域,即四个方位的至少四张原始图像中,相邻方位对应的两张原始图像存在部分区域重合。
本发明的车辆在出场或者在4S店进行标定之前,需要对车辆进行初始化设置,以创建拼接模板、基础权重图和权重模块,然后将创建的拼接模板、基础权重图和权重模块储存在车辆的硬件内存中。其中,创建拼接模板、基础权重图和权重模块的流程包括步骤:
根据预设环视距离和车辆的形状尺寸创建所述拼接模板;所述拼接模板包括中心区域和标定图形,所述中心区域用于显示所述车辆模型;
在一实施例中,需要先完成车辆的标定准备工作,其包括车辆建模、安装鱼眼摄像头和在地面上粘贴拼接模板。车辆建模:获取车辆的二维图纸,其中,二维图纸包括车辆的侧视图、俯视图、底部剖视图,以及车辆在长度方向上的多个位置的断面图,各位置的断面的剖切方向与长度方向垂直。然后,识别二维图纸其并将二维图纸中的所有线条合成一个图形块,以此类推分别得到各二维图纸对应的图形块,并且图形块与二维图纸一一对应,最后根据多个图形块建立车辆模型。
安装鱼眼摄像头:包括分别设置于车身前后左右的四个鱼眼摄像头,安装的鱼眼摄像头高度最好在一个水平面上,与水平面的夹角尽量保持一致,与水平面夹角及安装位置确定之后,后期不能移动,这样做的目的是为了拼接效果更好,且防止因为镜头位置的改变而引起的俯视变换参数发生变化导致后期不能形成较好的俯视图。其次需保证每路鱼眼摄像头都与相邻的两个鱼眼摄像头所拍摄的画面有重叠区域。
粘贴地面拼接模板:为了能提供丰富的特征进行图像配准及后期建立以车身中心为坐标原点的坐标系,需要在地面粘贴专门的拼接模板。当然,拼接模板粘贴位置应使得安装在车上的鱼眼摄像头能清晰观察到下方的拼接模板。
另外,识别二维图纸可以得到车辆的形状尺寸,基于车辆的形状尺寸和预设环视距离创建如图2所示的包括中心区域12和标定图形11的拼接模板1。图2中的中心区域12用来显示上述流程创建的车辆模型,而在中心区域12周围的四个方位处均分别设置有一个标定图形11,标定图形11能够便于车辆后续进行标定后生成映射表以及权重模板。
根据标定结果和所述原始图像生成映射表;所述标定结果为车辆根据建立的拼接模板1进行标定后产生。
参照图2和图3,图3为本申请实施例提供的生成映射表的步骤的一流程示意图。其中,该步骤包括步骤S201至步骤S204。
S201根据所述拼接模板1对所述车辆进行标定,根据拼接模板1图像和标定时获取的原始图像,依次先后进行畸变矫正和逆透视变换获取变换矩阵;所述变换矩阵为从所述拼接模板1图像进行逆透视变换处理得到所述非畸变图的矩阵;
具体的,先对标定时获取的原始图像(即相当于标定时获取的畸变图像)进行畸变矫正获得非畸变图,再获取非畸变图上便于定位的4个角点坐标,结合拼接模板1上的对应位置的4个角点坐标,通过拼接模板1上的4个角点坐标映射到非畸变图上的4个角点坐标,计算得到逆透视变换的变换矩阵。
S202根据所述变换矩阵和所述拼接模板1上一目标点的第二像素值,计算得到所述目标点在所述非畸变图的中间坐标;
S203通过畸变矫正算法对所述中间坐标计算得到目标点在原始图像的像素坐标,基于预设图像算法对像素坐标进行计算得到所述目标点在所述原始图像的第一像素值;
S204将各目标点的第二像素值分别与对应的第一像素值关联得到所述映射表。
在一实施例中,获取鱼眼摄像头的内参矩阵和外参矩阵,并获取鱼眼摄像头采集的车身周围的原始图像;对四个鱼眼摄像头使用张正友标定法以得到四个鱼眼摄像头的内参矩阵和外参矩阵,这样,便于后续根据内参矩阵和外参矩阵计算得到变换矩阵。如图4所示,在根据拼接模板1对车辆进行标定获取到原始图像(即图4中的畸变图)、非畸变图、拼接模板1图像(拼接模板1在摄像头成像拍摄后,经过畸变处理和透视变换处理后的图像,即图4中的透视变换结果图后,可以直接根据拼接模板1图像进行逆透视变换处理得到非畸变图,从而能够得到拼接模板1图像上的一个目标点在非畸变图上的中间坐标,对非畸变图上的中间坐标在经过畸变矫正运算可以得到拼接模板1图像上该目标点在原始图像上的像素坐标,由于畸变矫正算法得到的是一个带小数的像素坐标,因此,再通过预设图像算法(例如双线性差值算法、最邻近差值算法等)对目标点在原始图像上的像素坐标进行计算得到目标点在原始图像的第一像素值。最后,将各目标点的第二像素值分别与对应的第一像素值关联得到映射表。
根据创建的基础权重图和所述拼接模板1生成所述权重模板。
所述根据创建的基础权重图和所述拼接模板1生成所述权重模板包括:
创建一基础权重图;所述基础权重图用于显示不同像素点的权重值的分布状态,且所述分布状态为递进式变化的;
在一实施例中,基础权重图如图5所示,图5中基础权重图的各像素点的权重值从左到右逐渐变大。当然,基础权重图的各像素点的权重值也可以是从左到右逐渐变小,还可以是从上到下逐渐变小或者从下到上逐渐变小。基础权重图可根据需求自行设置不同像素点的权重值的分布状态。
将目标图像宽度和预设坐标值范围内各像素点的坐标值,分别代入下列公式计算各像素点对应的权重值;所述预设坐标值范围包括不同像素点的X、Y轴坐标值;
Figure 667534DEST_PATH_IMAGE001
其中,Alpha(xi,yi)为X、Y轴坐标值为(xi,yi)的当前像素点的权重值,w为所述目标图像宽度,xi为所述当前像素点在水平方向上的坐标值,所述预设坐标值范围的X、Y轴坐标值的最小值为零,最大值为所述目标图像宽度;
根据所有像素点的权重值,生成权重值按照预设方向递进变换的基础权重图。
将所述基础权重图投影到所述拼接模板上生成所述权重模板;
其中,所述权重模板包括用于将相邻方位的转换图像进行融合的融合区域。
参照图2和图6,图6为本申请实施例提供的确定是否对目标资源具有访问权限的步骤的一流程示意图。其中,该步骤包括步骤S301至步骤S304。
S301获取所述中心区域12在不同方位的边界角点的角点坐标,并获取与所述边界角点相邻的辅助点的空间坐标;
S302从所述拼接模板1上获取在不同方位的两个临界点的位置坐标;所述临界点在最大坐标值的范围内;所述最大坐标值为所述角点坐标和空间坐标中的最大X、Y轴值;
S303根据所述角点坐标、空间坐标、位置坐标,以及所述基础权重图的四个顶点坐标,通过几何变换计算得到所述基础权重图投影到所述拼接模板1的透视变化矩阵;
S304根据所述透视变化矩阵将所述基础权重图上所有像素点,投影到所述拼接模板1生成所述权重模板。
在一实施例中,根据第一方位的基础权重图上的四个点,拼接模板1选择的四个点,计算第一方位的基础权重图与拼接模板之间的透视变化矩阵,再根据透视变化矩阵将第一方位的基础权重图的所有点计算其投射在拼接模板1上的像素值,就完成了透视变换得到第一方位的权重区域图如图8所示。同理,可以计算得到剩下三个方位的权重区域图。
如图5中虚线分界线左侧的基础权重图举例,假设选取其基础权重图中“左上、右上、左下、右下四个点坐标分别为:第一点,左上(0,0);第二点,右上(499,0);第三点,左下(0,549);第四点,右下(499,549)。再选择拼接模板1上的四个点坐标分别为:第一点,(0,349);第二点,(0,232);第三点,(465,518);第四点,(466,517)。其中,拼接模板1上选取的第一点和第二点为尝试值,而第三点和第四点根据生成的权重模板的方位确定,例如,生成车左上角的权重模板时,第三点和第四点就是权重模板上中心区域12的左上角顶点,以及与中心区域12的左上角顶点相邻的任意点。以此类推,生成车左下角的权重模板时,第三点和第四点就是权重模板上中心区域12的左下角顶点,以及与中心区域12的左下角顶点相邻的任意点。
如图7所示,将拼接模板1上的第二点与拼接模板1上的第四点连接生成实线L1,将拼接模板1上的第一点与拼接模板1上的第三点连接生成实线L2,两条实线L1和L2之间所包括的区域就是图像重叠区域。然后,通过几何变换(透视变换)能够生成如图8所示的车辆在一个方位的权重区域图。以此类推,可以生成在剩下三个方位的权重区域图,将四个方位分别对应的权重区域图合成在一起得到如图9所示的权重模板。
S102根据拼接模板1查询映射表得到所述原始图像的像素坐标,根据所述原始图像的像素坐标进行计算并获得转换图像;所述映射表包括原始图像与所述拼接模板1上对应点之间的坐标映射关系;
具体的,根据拼接模板1上所有点的坐标值,遍历查询所述映射表得到所述原始图像上各点的像素坐标;对所述原始图像上各点的像素坐标,根据预设图像算法进行计算得到对应点的像素值,从而根据所述像素值获得所述转换图像。
在一实施例中,区别于普通摄像头,鱼眼摄像头为了获得超广视角故而拥有较短的焦距,而这会对鱼眼摄像头拍摄的图像造成严重畸变。故对每个鱼眼摄像头所拍摄的原始图像进行去除畸变的操作,获得理想摄像头下的转换图像,现有技术中往往是根据鱼眼摄像头的畸变系数,通过图像畸变处理技术从畸变图获得非畸变图,然后再通过透视变换从非畸变图获得转换图像。
本发明预先创建有包括原始图像与拼接模板1上相同点之间的像素映射关系的映射表,这样,在车辆上安装的至少四个广角摄像头分别拍摄到四个方位分别对应的原始图像后,直接根据各原始图像上的像素坐标遍历查找映射表,就能够查找到当前原始图像上的当前第一像素值对应的当前第二像素值,遍历式查找出当前原始图像中所有第一像素值分别对应的第二像素值,就可以直接根据所有第二像素值组成其对应的转换图像。
优选的,车辆可以储存一个映射表(即车辆的一个映射表同时有四个方位上原始图像与转换图像上相同点之间的像素映射关系)。当然,车辆还可以储存四个映射表即车辆四个方位分别对应有各自的映射表,这样,可以根据原始图像的拍摄设备ID直接确定其拍摄方位,进而根据原始图像的拍摄方位查找对应方位的映射表,再根据拼接模板1查询映射表得到原始图像的像素坐标,根据原始图像的像素坐标进行计算并获得转换图像,这样能够大大降低表格遍历式查找的时间,提升从原始图像获得对应转换图像的转换效率,进而提高图像拼接效率。
本发明通过预先创建的映射表进行查表直接获取对应的转换图像,无需像现有技术那样经过繁琐、复杂的图像畸变处理,降低时间复杂度也减少系统资源(例如内存资源、CPU资源和GPU资源)的消耗。
对车辆的鱼眼摄像头采集的原始图像进行查表得到转换图像,将转换图像和车辆模型按照权重模块的拼接区域进行拼接渲染,显示出环视全景视图。采用该方案可以将车辆周围立体环境清晰的显示出来,扩大了车载环视系统的显示范围,不需要生成非畸变图再进行透视变换得到转换图像(即转换图像),直接通过查找映射表的方式获取原始图像对应的转换图像,大大降低时间复杂度的同时也节省了存储资源。
S103根据车辆模型、所述转换图像和预先创建的权重模板进行拼接生成全景环视图。
在一实施例中,拼接生成全景环视图具体包括步骤:
根据所述拼接模板1将两个相邻的转换图像上对应的待融合点的像素值,代入下列公式计算得到在第n颜色通道上的融合像素值;
Figure 853795DEST_PATH_IMAGE002
其中,Gn为在第n颜色通道上的融合像素值,fn0为第一转换图像上待融合点在第n颜色通道上的像素值,fn1为第二转换图像上待融合点在第n颜色通道上的像素值,Alpha为所述待融合点的权重值。
具体的,在彩色图像(或者说是RGB图像)中有三种基本颜色(红R,绿G,蓝B)的通道,每一个颜色通道都储存了其对应的值,通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来进行融合。
例如,假设n=1表明第一颜色通道的序号,且第一颜色通道为红色通道,那么转换图像中所有待融合点在第一颜色通道上的融合像素值为:
Figure DEST_PATH_IMAGE003
其中,G1为在第一颜色通道上的融合像素值,f10为第一转换图像上待融合点在第一颜色通道上的像素值,f11为第二转换图像上待融合点在第一颜色通道上的像素值,Alpha为所述待融合点的权重值。
同理,n=2表明第二颜色通道的序号,且第二颜色通道为绿色通道,n=3表明第三颜色通道的序号,且第三颜色通道为蓝色通道。通过上述公式可以计算得到转换图像中所有待融合点在第二颜色通道(例如绿色通道)和第三颜色通道(例如蓝色通道)上的融合像素值分别为:
Figure 170376DEST_PATH_IMAGE004
当然,第一至第三颜色通道的颜色类型、以及颜色通道的序号之间的关系可任意设置,例如,n=1表明第一颜色通道的序号,且第一颜色通道为蓝色通道。或者n=1表明第一颜色通道的序号,且第一颜色通道为绿色通道。任意组合均在本发明的保护范围之内。
例如,前图和左图在融合区,前图和左图上相同的点需要融合,具体参照上述方式计算前图和左图上对应待融合点的融合像素值即可。总之,第一转换图像与第二转换图像相邻,其他相邻组合的第一、第二转换图像的融合计算均在本发明的保护范围之内。
根据所述转换图像中所有待融合点的融合像素值、所述转换图像中非重叠区域内像素点投影到拼接模板1上,并将投影得到的投影权重图和所述车辆模型叠加在所述拼接模板1中生成所述全景环视图。
在一实施例中,如图9所示,从上图可以看出,越往”前图“或”后图“方向权重越大,越往”左图“或”右图“方向权重越小。当然,调整透视变换的坐标还可以生成其它权重模板如图10所示。拼接效果图即本发明的全景环视图如图11所示。
本发明通过预先生成原始图像到转换图像的映射表,该过程中繁杂的矩阵运算可只进行一次即可将生成的映射表存储至硬件中重复调用,然后将获取的原始图像基于映射表直接进行重映射得到转换图像,然后结合车辆模型按照权重模块的融合区域就可直接生成全景环视图。本发明可大大的降低硬件处理计算能力的要求,易于硬件的实现,有效降低行车环视系统的实现成本。
本发明实施例中采用拼接模板1对重叠区域中不同像素点进行拼接,保证了拼接的准确性,生成的全景图像更加准确真实,具有更佳的视觉效果以及更高的研究应用价值,避免了图像拼接错误、重影等的问题。
本发明预先得到对应的拼接模板1。通过创建映射表可以将耗时的、含有复杂矩阵运算、迭代运算的图像拼接算法转化为可直接调用的参数,只需进行简单的基本运算便可以实现全景环视图像拼接。简化运算的结果可以提高实时拼接的速度,并降低了硬件资源,简化了实际工作的复杂度,提高了图像拼接的速度及效率。此外,本发明使用加权过渡的方式找到最佳的融合区域,设计创建专属的权重模板,通过权重模板实现全景拼接,能更好的实现多图像的拼接,有效地解决了拼接结果中重影和缝隙的问题,使得相邻两幅图像在融合拼接时逐渐过渡,且能够随着融合权重值变化而适应性调整,从而使得整个全景环视图衔接顺畅。
请参见图2和图12,图12为本申请实施例提供的图像拼接装置的一种结构示意图,如图12所示,本申请实施例提供的图像拼接装置400,包括:
图像获取模块401,用于获取至少四张原始图像,其中,相邻的原始图像的部分区域重合;
图像转换模块402,用于根据拼接模板1查询映射表得到所述原始图像的像素坐标,根据所述原始图像的像素坐标进行计算并获得转换图像;所述映射表包括原始图像与所述拼接模板1上对应点之间的坐标映射关系;
图像拼接模块403,用于根据车辆模型、所述转换图像和预先创建的权重模板进行拼接生成全景环视图。
具体实施时,以上各个模块和/或单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块和/或单元的具体实施可参见前面的方法实施例,具体可以达到的有益效果也请参看前面的方法实施例中的有益效果,在此不再赘述。
另外,请参见图13,图13为本发明实施例提供的电子设备的一种结构示意图,该电子设备可以是移动终端如智能手机、平板电脑等设备。如图13所示,电子设备800包括处理器801、存储器802。其中,处理器801与存储器802电性连接。
处理器801是电子设备800的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器802内的应用程序,以及调用存储在存储器802内的数据,执行电子设备800的各种功能和处理数据,从而对电子设备800进行整体监控。
在本实施例中,电子设备800中的处理器801会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器802中,并由处理器801来运行存储在存储器802中的应用程序,从而实现各种功能:
获取至少四张原始图像,其中,相邻的原始图像的部分区域重合;
根据拼接模板1查询映射表得到所述原始图像的像素坐标,根据所述原始图像的像素坐标进行计算并获得转换图像;所述映射表包括原始图像与所述拼接模板1上对应点之间的坐标映射关系;
根据车辆模型、所述转换图像和预先创建的权重模板进行拼接生成全景环视图。
该电子设备800可以实现本发明实施例所提供的图像拼接方法任一实施例中的步骤,因此,可以实现本发明实施例所提供的任一图像拼接方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
请参见图14,图14为本发明实施例提供的电子设备的另一种结构示意图,如图14所示,图14示出了本发明实施例提供的电子设备的具体结构框图,该电子设备可以用于实施上述实施例中提供的图像拼接方法。该电子设备900可以为移动终端如智能手机或笔记本电脑等设备。
RF电路910用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯。RF电路910可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路910可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术,包括但并不限于全球移动通信系统(Global System for Mobile Communication, GSM)、增强型移动通信技术(EnhancedData GSM Environment, EDGE),宽带码分多址技术(Wideband Code Division MultipleAccess, WCDMA),码分多址技术(Code Division Access, CDMA)、时分多址技术(TimeDivision Multiple Access, TDMA),无线保真技术(Wireless Fidelity, Wi-Fi)(如美国电气和电子工程师协会标准 IEEE 802.11a, IEEE 802.11b, IEEE802.11g 和/或 IEEE802.11n)、网络电话(Voice over Internet Protocol, VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access, Wi-Max)、其他用于邮件、即时通讯及短消息的协议,以及任何其他合适的通讯协议,甚至可包括那些当前仍未被开发出来的协议。
存储器920可用于存储软件程序以及模块,如上述实施例中图像拼接方法对应的程序指令/模块,处理器980通过运行存储在存储器920内的软件程序以及模块,从而执行各种功能应用以及资源访问,即实现如下功能:
存储器920可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器920可进一步包括相对于处理器980远程设置的存储器,这些远程存储器可以通过网络连接至电子设备900。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入单元930可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元930可包括触敏表面931以及其他输入设备932。触敏表面931,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面931上或在触敏表面931附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面931可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器980,并能接收处理器980发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面931。除了触敏表面931,输入单元930还可以包括其他输入设备932。具体地,其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元940可用于显示由用户输入的信息或提供给用户的信息以及电子设备900的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元940可包括显示面板941,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板941。进一步的,触敏表面931可覆盖显示面板941,当触敏表面931检测到在其上或附近的触摸操作后,传送给处理器980以确定触摸事件的类型,随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图中,触敏表面931与显示面板941是作为两个独立的部件来实现输入和输出功能,但是在某些实施例中,可以将触敏表面931与显示面板941集成而实现输入和输出功能。
电子设备900还可包括至少一种传感器950,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板941的亮度,接近传感器可在翻盖合上或者关闭时产生中断。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备900还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路960、扬声器961,传声器962可提供用户与电子设备900之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号,传输到扬声器961,由扬声器961转换为声音信号输出;另一方面,传声器962将收集的声音信号转换为电信号,由音频电路960接收后转换为音频数据,再将音频数据输出处理器980处理后,经RF电路910以发送给比如另一终端,或者将音频数据输出至存储器920以便进一步处理。音频电路960还可能包括耳塞插孔,以提供外设耳机与电子设备900的通信。
电子设备900通过传输模块970(例如Wi-Fi模块)可以帮助用户接收请求、发送信息等,它为用户提供了无线的宽带互联网访问。虽然图中示出了传输模块970,但是可以理解的是,其并不属于电子设备900的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器980是电子设备900的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器920内的软件程序和/或模块,以及调用存储在存储器920内的数据,执行电子设备900的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器980可包括一个或多个处理核心;在一些实施例中,处理器980可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解地,上述调制解调处理器也可以不集成到处理器980中。
电子设备900还包括给各个部件供电的电源990(比如电池),在一些实施例中,电源可以通过电源管理系统与处理器980逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源990还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,电子设备900还包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备的显示单元是触摸屏显示器,移动终端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令:
获取至少四张原始图像,其中,相邻的原始图像的部分区域重合;
根据拼接模板1查询映射表得到所述原始图像的像素坐标,根据所述原始图像的像素坐标进行计算并获得转换图像;所述映射表包括原始图像与所述拼接模板1上对应点之间的坐标映射关系;
根据车辆模型、所述转换图像和预先创建的权重模板进行拼接生成全景环视图。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的图像拼接方法中任一实施例的步骤。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的图像拼接方法任一实施例中的步骤,因此,可以实现本发明实施例所提供的任一图像拼接方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种图像拼接、装置、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。并且,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种图像拼接方法,其特征在于,包括:
获取至少四张原始图像,其中,相邻的原始图像的部分区域重合;
根据拼接模板查询映射表得到所述原始图像的像素坐标,根据所述原始图像的像素坐标进行计算并获得转换图像;所述映射表包括原始图像与所述拼接模板上对应点之间的坐标映射关系;所述拼接模板包括中心区域和标定图形,所述中心区域用于显示车辆模型;
根据车辆模型、所述转换图像和预先创建的权重模板进行拼接生成全景环视图;
其中,所述权重模板根据创建的基础权重图和所述拼接模板生成,具体为将所述基础权重图投影到所述拼接模板上生成所述权重模板;所述基础权重图用于显示不同像素点的权重值的分布状态,且所述分布状态为递进式变化的;
所述将所述基础权重图投影到所述拼接模板上生成所述权重模板包括:
获取所述中心区域在不同方位的边界角点的角点坐标,并获取与所述边界角点相邻的辅助点的空间坐标;
从所述拼接模板上获取在不同方位的两个临界点的位置坐标;所述临界点在最大坐标值的范围内;所述最大坐标值为所述角点坐标和空间坐标中的最大X、Y轴值;
根据所述角点坐标、空间坐标、位置坐标,以及所述基础权重图的四个顶点坐标,通过几何变换计算得到所述基础权重图投影到所述拼接模板的透视变化矩阵;
根据所述透视变化矩阵将所述基础权重图上所有像素点,投影到所述拼接模板生成所述权重模板。
2.根据权利要求1所述的方法,其特征在于,所述获取至少四张原始图像之前包括:
根据预设环视距离和车辆的形状尺寸创建所述拼接模板;所述拼接模板包括中心区域和标定图形,所述中心区域用于显示所述车辆模型;
根据标定结果和所述原始图像生成映射表;所述标定结果为车辆根据建立的拼接模板进行标定后产生;
根据创建的基础权重图和所述拼接模板生成所述权重模板。
3.根据权利要求2所述的方法,其特征在于,所述根据标定结果和所述原始图像生成映射表包括:
根据所述拼接模板对所述车辆进行标定,根据拼接模板图像和标定时获取的原始图像,依次先后进行畸变矫正和逆透视变换获取变换矩阵;所述变换矩阵为从所述拼接模板图像进行逆透视变换处理得到非畸变图的矩阵;
根据所述变换矩阵和所述拼接模板上一目标点的第二像素值,计算得到所述目标点在所述非畸变图的中间坐标;
通过畸变矫正算法对所述中间坐标计算得到目标点在原始图像的像素坐标,基于预设图像算法对像素坐标进行计算得到所述目标点在所述原始图像的第一像素值;
将各目标点的第二像素值分别与对应的第一像素值关联得到所述映射表。
4.根据权利要求2所述的方法,其特征在于,包括:
将目标图像宽度和预设坐标值范围内各像素点的坐标值,分别代入下列公式计算各像素点对应的权重值;所述预设坐标值范围包括不同像素点的X、Y轴坐标值;
Alpha(xi,yi)=255/w·xi;
其中,Alpha(xi,yi)为X、Y轴坐标值为(xi,yi)的当前像素点的权重值,w为所述目标图像宽度,xi为所述当前像素点在水平方向上的坐标值,所述预设坐标值范围的X、Y轴坐标值的最小值为零,最大值为所述目标图像宽度;
根据所有像素点的权重值,生成权重值按照预设方向递进变换的基础权重图。
5.根据权利要求1所述的方法,其特征在于,所述根据车辆模型、所述转换图像和预先创建的权重模板进行拼接生成全景环视图包括:
根据所述拼接模板将两个相邻的转换图像上对应的待融合点的像素值,代入下列公式计算得到在第n颜色通道上的融合像素值;
Gn=fn0*(1.0-Alpha/255.0)+(Alpha/255.0)*fn1;
其中,n为颜色通道的序号,Gn为在第n颜色通道上的融合像素值,fn0为第一转换图像上待融合点在第n颜色通道上的像素值,fn1为第二转换图像上待融合点在第n颜色通道上的像素值,Alpha为所述待融合点的权重值;
根据所述转换图像中所有待融合点的融合像素值、所述转换图像中非重叠区域内像素点投影到拼接模板上,并将投影得到的投影权重图和所述车辆模型叠加在所述拼接模板中生成所述全景环视图。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述根据拼接模板查询映射表得到所述原始图像的像素坐标,根据所述原始图像的像素坐标进行计算并获得转换图像包括:
根据拼接模板上所有点的坐标值,遍历查询所述映射表得到所述原始图像上各点的像素坐标;
对所述原始图像上各点的像素坐标,根据预设图像算法进行计算得到对应点的像素值,从而根据所述像素值获得所述转换图像。
7.一种电子设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述存储器与所述处理器耦接,且所述处理器执行所述计算机程序时,实现如权利要求1至6任一项所述的图像拼接方法中的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至6任一项所述的图像拼接方法中的步骤。
CN202210755885.0A 2022-06-30 2022-06-30 一种图像拼接方法、电子设备及计算机可读存储介质 Active CN114881863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210755885.0A CN114881863B (zh) 2022-06-30 2022-06-30 一种图像拼接方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210755885.0A CN114881863B (zh) 2022-06-30 2022-06-30 一种图像拼接方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114881863A CN114881863A (zh) 2022-08-09
CN114881863B true CN114881863B (zh) 2022-09-30

Family

ID=82682910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210755885.0A Active CN114881863B (zh) 2022-06-30 2022-06-30 一种图像拼接方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114881863B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660959B (zh) * 2022-12-27 2023-03-21 摩尔线程智能科技(北京)有限责任公司 图像的生成方法、装置、电子设备及存储介质
CN116029900A (zh) * 2022-12-30 2023-04-28 小米汽车科技有限公司 图像处理方法、装置、存储介质以及车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056536A (zh) * 2016-05-19 2016-10-26 温州大学城市学院 一种车载全景图像无缝拼接处理方法
CN106373091A (zh) * 2016-09-05 2017-02-01 山东省科学院自动化研究所 全景泊车中鸟瞰图像的自动拼接方法、系统及车辆
CN106952311A (zh) * 2017-03-02 2017-07-14 山东省科学院自动化研究所 基于全景拼接数据映射表的辅助泊车系统及方法
CN108200360A (zh) * 2018-01-12 2018-06-22 深圳市粒视界科技有限公司 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN111275621A (zh) * 2020-01-17 2020-06-12 中南大学 一种行车环视系统中全景图生成方法、系统及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911213B2 (en) * 2015-12-18 2018-03-06 Ricoh Co., Ltd. Panoramic image stitching using objects
CN107666606B (zh) * 2016-07-29 2019-07-12 东南大学 双目全景图像获取方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056536A (zh) * 2016-05-19 2016-10-26 温州大学城市学院 一种车载全景图像无缝拼接处理方法
CN106373091A (zh) * 2016-09-05 2017-02-01 山东省科学院自动化研究所 全景泊车中鸟瞰图像的自动拼接方法、系统及车辆
CN106952311A (zh) * 2017-03-02 2017-07-14 山东省科学院自动化研究所 基于全景拼接数据映射表的辅助泊车系统及方法
CN108200360A (zh) * 2018-01-12 2018-06-22 深圳市粒视界科技有限公司 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN111275621A (zh) * 2020-01-17 2020-06-12 中南大学 一种行车环视系统中全景图生成方法、系统及存储介质

Also Published As

Publication number Publication date
CN114881863A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN114881863B (zh) 一种图像拼接方法、电子设备及计算机可读存储介质
CN111257866B (zh) 车载摄像头和车载雷达联动的目标检测方法、装置及系统
CN106846410B (zh) 基于三维的行车环境成像方法及装置
CN110967024A (zh) 可行驶区域的检测方法、装置、设备及存储介质
CN108156374B (zh) 一种图像处理方法、终端及可读存储介质
CN110865388B (zh) 摄像机与激光雷达的联合标定方法、装置及存储介质
CN104599247B (zh) 图像校正方法及装置
CN111126182A (zh) 车道线检测方法、装置、电子设备及存储介质
EP3748533B1 (en) Method, apparatus, and storage medium for obtaining object information
US11902662B2 (en) Image stabilization method and apparatus, terminal and storage medium
CN111104893B (zh) 目标检测方法、装置、计算机设备及存储介质
CN110599593A (zh) 数据合成的方法、装置、设备及存储介质
CN112017133B (zh) 一种图像展示方法、装置及电子设备
CN113888452A (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
CN111553050A (zh) 汽车转向系统的结构校核方法、装置及存储介质
CN111565309B (zh) 显示设备及其畸变参数确定方法、装置、系统及存储介质
CN111126276A (zh) 车道线检测方法、装置、计算机设备及存储介质
CN114117789A (zh) 汽车的换挡策略优化方法、装置及计算机存储介质
CN110717964B (zh) 场景建模方法、终端及可读存储介质
US11425355B2 (en) Depth image obtaining method, image capture device, and terminal
CN110942023A (zh) 车辆视觉盲区的指示方法、装置、设备及存储介质
CN113379705A (zh) 图像处理方法、装置、计算机设备及存储介质
CN112116530B (zh) 鱼眼图像畸变矫正方法、装置和虚拟显示系统
CN111179628A (zh) 自动驾驶车辆的定位方法、装置、电子设备及存储介质
CN111538009A (zh) 雷达点的标记方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant