CN109300085A - 一种图像拼接方法、装置、电子设备及存储介质 - Google Patents

一种图像拼接方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109300085A
CN109300085A CN201710614062.5A CN201710614062A CN109300085A CN 109300085 A CN109300085 A CN 109300085A CN 201710614062 A CN201710614062 A CN 201710614062A CN 109300085 A CN109300085 A CN 109300085A
Authority
CN
China
Prior art keywords
image
compensated
splicing
compensation
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710614062.5A
Other languages
English (en)
Other versions
CN109300085B (zh
Inventor
王明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Haikang Automobile Technology Co Ltd
Original Assignee
Hangzhou Haikang Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Haikang Automobile Technology Co Ltd filed Critical Hangzhou Haikang Automobile Technology Co Ltd
Priority to CN201710614062.5A priority Critical patent/CN109300085B/zh
Publication of CN109300085A publication Critical patent/CN109300085A/zh
Application granted granted Critical
Publication of CN109300085B publication Critical patent/CN109300085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图像拼接方法、装置、电子设备及存储介质,该方法中,获取多张待拼接图像,多张待拼接图像中包括待补偿图像和标准图像,一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域;确定待补偿图像的两个拼接重叠区域中待补偿图像与对应的标准图像之间的图像特征差;根据图像特征差对待补偿图像进行图像特征补偿得到补偿后图像;将补偿后图像与对应的两张标准图像拼接得到拼接图。本发明中,通过确定的两个拼接重叠区域的图像特征差,对待补偿图像进行图像特征补偿,使得补偿后图像的图像特征靠近标准图像,减小了图像特征的差异,使得在生成拼接图像时,淡化了拼接线,提高了拼接质量。

Description

一种图像拼接方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像拼接方法、装置、电子设备及存储介质。
背景技术
目前,存在这样一种需求,将有拼接需求的多张图片拼接为一个拼接图片,例如:如图1所示,将车辆的四周环视全景系统中的4个摄像头所采集的4张图像拼接为一个拼接图片,然后将该拼接图片输出至安装于汽车内部的车载显示器上,由此,给汽车驾驶提供更为直观的辅助驾驶图像信息。
继续参见图1,由于在拼接图像时,位置相邻的2个图像会存在一拼接重叠区域,在拼接重叠区域中存在一条拼接线,如图1中的左俯视图与前俯视图之间存在拼接重叠区域1,拼接重叠区域1的对角线即为拼接线,为了实现无缝拼接,一般通过对拼接重叠区域中的像素点进行线性加权融合的方式,将多个图像拼接成拼接图像。
由于需要进行拼接的多个图像在对应的拼接重叠区域的图像特征一般存在差别,例如亮度或/和色彩存在差别。以亮度存在差别为例,在相邻2个图像在拼接重叠区域存在轻微的亮度不均衡的情况下,通过对拼接重叠区域进行线性加权融合的方式进行拼接时,拼接后的拼接图像中的拼接线并不明显,几乎不可见。但是如果相邻2个图像在拼接重叠区域存在严重的亮度不一致,则采用线性加权融合的方式进行拼接,使得该2个图像无法通过拼接重叠区域平滑过渡,造成拼接图像中存在明显的拼接线,严重影响拼接质量,因此,如何淡化拼接线是亟需解决的问题。
发明内容
本发明实施例的目的在于提供一种图像拼接方法、装置、电子设备及存储介质,以淡化拼接线,提高拼接质量。具体技术方案如下:
一种图像拼接方法,所述方法包括:
获取多张待拼接图像,所述多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域;
确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差;
根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像。
可选的,所述多张待拼接图像为用于进行环形拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多张待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行环形拼接,得到拼接图像。
可选的,所述待拼接图像的张数为偶数张,且标准图像与待补偿图像环形间隔分布;
所述确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差,包括:
针对每张待补偿图像,确定该待补偿图像的两个拼接重叠区域中该待补偿图像与对应的标准图像之间的图像特征差;
所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像,包括:
针对每张待补偿图像,根据该待补偿图像的两个拼接重叠区域的图像特征差,对该待补偿图像进行图像特征补偿,得到补偿后图像。
可选的,应用于车辆的四周环视全景拼接中,所述车辆的前视图像和后视图像为标准图像,所述车辆的左视图像和右视图像为待补偿图像。
可选的,所述多张待拼接图像为用于进行平铺拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多个待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行平铺拼接,得到拼接图像。
可选的,所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像的步骤,包括:
针对所述待补偿图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征补偿值,其中,所述预设公式为:
其中,comp_value1(x1,y1)为所述待补偿图像的任意一个像素点的图像特征补偿值,x1为所述待补偿图像的任意一个像素点的横坐标,y1为所述待补偿图像的任意一个像素点的纵坐标,diff1为所确定的所述两个拼接重叠区域的图像特征差中的一个,diff2为所确定的所述两个拼接重叠区域的图像特征差中的另一个,|d|为所述待补偿图像的任意一个像素点距离所述待补偿图像的上边缘的垂直距离,H为所述待补偿图像的高度;
将所述待补偿图像每个像素点的图像特征值与对应的图像特征补偿值相加,得到补偿后图像中每个像素点的图像特征值。
一种图像拼接装置,所述装置包括:
获取模块,用于获取多张待拼接图像,所述多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域;
图像特征差确定模块,用于确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差;
补偿后图像确定模块,用于根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像;
拼接图像确定模块,用于将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像。
可选的,所述多张待拼接图像为用于进行环形拼接的图像;
所述拼接图像确定模块,具体用于:
将所述多张待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行环形拼接,得到拼接图像。
可选的,所述待拼接图像的张数为偶数张,且标准图像与待补偿图像环形间隔分布;
所述图像特征差确定模块,具体用于:
针对每张待补偿图像,确定该待补偿图像的两个拼接重叠区域中该待补偿图像与对应的标准图像之间的图像特征差;
所述补偿后图像确定模块,具体用于:
针对每张待补偿图像,根据该待补偿图像的两个拼接重叠区域的图像特征差,对该待补偿图像进行图像特征补偿,得到补偿后图像。
可选的,应用于车辆的四周环视全景拼接中,所述车辆的前视图像和后视图像为标准图像,所述车辆的左视图像和右视图像为待补偿图像。
可选的,所述多张待拼接图像为用于进行平铺拼接的图像;
所述拼接图像确定模块,具体用于:
将所述多个待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行平铺拼接,得到拼接图像。
可选的,所述补偿后图像确定模块,包括:
图像特征补偿值确定单元,用于针对所述待补偿图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征补偿值,其中,所述预设公式为:
其中,comp_value1(x1,y1)为所述待补偿图像的任意一个像素点的图像特征补偿值,x1为所述待补偿图像的任意一个像素点的横坐标,y1为所述待补偿图像的任意一个像素点的纵坐标,diff1为所确定的所述两个拼接重叠区域的图像特征差中的一个,diff2为所确定的所述两个拼接重叠区域的图像特征差中的另一个,|d|为所述待补偿图像的任意一个像素点距离所述待补偿图像的上边缘的垂直距离,H为所述待补偿图像的高度;
图像特征值确定单元,用于将所述待补偿图像每个像素点的图像特征值与对应的图像特征补偿值相加,得到补偿后图像中每个像素点的图像特征值。
一种电子设备,包括处理器和存储器,其中,所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序,实现如下步骤:
获取多张待拼接图像,所述多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域;
确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差;
根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像。
可选的,所述多张待拼接图像为用于进行环形拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多张待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行环形拼接,得到拼接图像。
可选的,所述待拼接图像的张数为偶数张,且标准图像与待补偿图像环形间隔分布;
所述确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差,包括:
针对每张待补偿图像,确定该待补偿图像的两个拼接重叠区域中该待补偿图像与对应的标准图像之间的图像特征差;
所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像,包括:
针对每张待补偿图像,根据该待补偿图像的两个拼接重叠区域的图像特征差,对该待补偿图像进行图像特征补偿,得到补偿后图像。
可选的,应用于车辆的四周环视全景拼接中,所述车辆的前视图像和后视图像为标准图像,所述车辆的左视图像和右视图像为待补偿图像。
可选的,所述多张待拼接图像为用于进行平铺拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多个待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行平铺拼接,得到拼接图像。
可选的,所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像的步骤,包括:
针对所述待补偿图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征补偿值,其中,所述预设公式为:
其中,comp_value1(x1,y1)为所述待补偿图像的任意一个像素点的图像特征补偿值,x1为所述待补偿图像的任意一个像素点的横坐标,y1为所述待补偿图像的任意一个像素点的纵坐标,diff1为所确定的所述两个拼接重叠区域的图像特征差中的一个,diff2为所确定的所述两个拼接重叠区域的图像特征差中的另一个,|d|为所述待补偿图像的任意一个像素点距离所述待补偿图像的上边缘的垂直距离,H为所述待补偿图像的高度;
将所述待补偿图像每个像素点的图像特征值与对应的图像特征补偿值相加,得到补偿后图像中每个像素点的图像特征值。
一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取多张待拼接图像,所述多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域;
确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差;
根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像。
可选的,所述多张待拼接图像为用于进行环形拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多张待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行环形拼接,得到拼接图像。
可选的,所述待拼接图像的张数为偶数张,且标准图像与待补偿图像环形间隔分布;
所述确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差,包括:
针对每张待补偿图像,确定该待补偿图像的两个拼接重叠区域中该待补偿图像与对应的标准图像之间的图像特征差;
所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像,包括:
针对每张待补偿图像,根据该待补偿图像的两个拼接重叠区域的图像特征差,对该待补偿图像进行图像特征补偿,得到补偿后图像。
可选的,应用于车辆的四周环视全景拼接中,所述车辆的前视图像和后视图像为标准图像,所述车辆的左视图像和右视图像为待补偿图像。
可选的,所述多张待拼接图像为用于进行平铺拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多个待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行平铺拼接,得到拼接图像。
可选的,所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像的步骤,包括:
针对所述待补偿图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征补偿值,其中,所述预设公式为:
其中,comp_value1(x1,y1)为所述待补偿图像的任意一个像素点的图像特征补偿值,x1为所述待补偿图像的任意一个像素点的横坐标,y1为所述待补偿图像的任意一个像素点的纵坐标,diff1为所确定的所述两个拼接重叠区域的图像特征差中的一个,diff2为所确定的所述两个拼接重叠区域的图像特征差中的另一个,|d|为所述待补偿图像的任意一个像素点距离所述待补偿图像的上边缘的垂直距离,H为所述待补偿图像的高度;
将所述待补偿图像每个像素点的图像特征值与对应的图像特征补偿值相加,得到补偿后图像中每个像素点的图像特征值。
本发明实施例中,确定待补偿图像的两个拼接重叠区域中待补偿图像与对应的标准图像之间的图像特征差,然后通过确定的两个拼接重叠区域的图像特征差,对待补偿图像进行图像特征补偿,得到补偿后图像,使得补偿后图像的图像特征靠近标准图像,从而减小了标准图像与补偿后图像之间的图像特征的差异,使得在生成拼接图像时,淡化了拼接线,提高了拼接质量。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为相关技术中车辆的四周环视全景拼接图像的示意图;
图2为本发明实施提供的图像拼接方法的流程示意图;
图3为3张待拼接图像的拼接示意图;
图4为拼接重叠区域的结构示意图;
图5为将拼接重叠区域划分为第一子拼接重叠区域和第二子拼接重叠区域的结构示意图;
图6为环形拼接方式的结构示意图;
图7为待拼接图像的张数为偶数张时的环形拼接方式的结构示意图;
图8为平铺拼接方式的结构示意图;
图9为进行二次补偿的结构示意图;
图10为本发明实施提供的图像拼接装置的结构示意图;
图11为本发明实施提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决相关技术问题,本发明实施例提供了一种图像拼接方法、装置、电子设备及存储介质。
下面首先对本发明实施例所提供的一种图像拼接方法进行介绍。
如图2所示,本发明实施例提供的一种图像拼接方法,可以包括:
S101:获得多张待拼接图像,多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域。
为了将有拼接需求的图像拼接为一个拼接图像,需要获得多张待拼接图像,其中,所获得的多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域,即在一张待补偿图像中存在两个拼接重叠区域。
S102:确定待补偿图像的两个拼接重叠区域中待补偿图像与对应的标准图像之间的图像特征差。
由于在拼接时,一个标准图像与一个待补偿图像之间存在一个拼接重叠区域,在拼接重叠区域中存在一条拼接线,该拼接线的位置是预设的,如果在拼接时,标准图像与待补偿图像在拼接重叠区域存在严重的图像特征差异,则该拼接线将非常明显。
例如:图像特征为亮度,标准图像在拼接重叠区域的亮度为100,待补偿图像在拼接重叠区域的亮度为10,由于100与10的亮度差异较大,则在标准图像与待补偿图像的拼接重叠区域中的拼接线非常明显。
为了淡化拼接重叠区域中的拼接线,需要减小拼接线两边的图像特征差异,因此,需要确定待补偿图像的两个拼接重叠区域中待补偿图像与对应的标准图像之间的图像特征差,其中,图像特征包括亮度和色彩中的至少一个。
具体的,确定待补偿图像的两个拼接重叠区域中待补偿图像与对应的标准图像之间的图像特征差,可以为:
针对每个拼接重叠区域,确定该拼接重叠区域中待补偿图像所包含的所有像素点的第一图像特征值平均值;
确定该拼接重叠区域中标准图像所包含的所有像素点的第二图像特征值平均值;
将第二图像特征值平均值与第一图像特征值平均值之差,确定为该拼接重叠区域中待补偿图像与标准图像之间的图像特征差。
由于本实施例中的图像特征包括亮度和色彩中的至少一个,因此,本实施例需要在YcbCr色彩空间中对各个图像进行处理,如果在处理之前,各个图像为其它色彩空间如RGB色彩空间,则需要转换到YcbCr色彩空间进行处理,本实施例中针对Y(亮度分量)、Cb(蓝色色度分类)和Cr(红色色度分量)的处理方式是一样的,为了简单起见,下面均以Y(亮度分量)为例进行描述,Cb(蓝色色度分类)和Cr(红色色度分量)的处理方式不再赘述。
例如:以图像特征为亮度为例,参见图3,假设A和C为标准图像,B为待补偿图像,待补偿图像B与标准图像A之间的拼接重叠区域为1,待补偿图像B与标准图像C之间的拼接重叠区域为2;
针对拼接重叠区域1,确定拼接重叠区域1中待补偿图像B所包含的所有像素点的亮度平均值I;
确定该拼接重叠区域1中标准图像A所包含的所有像素点的亮度平均值H;
将亮度平均值H与亮度平均值I之差,确定为该拼接重叠区域1中待补偿图像B与标准图像A之间的图像特征差;
针对拼接重叠区域2,确定拼接重叠区域2中待补偿图像B所包含的所有像素点的亮度平均值J;
确定该拼接重叠区域2中标准图像C所包含的所有像素点的亮度平均值K;
将亮度平均值K与亮度平均值J之差,确定为该拼接重叠区域2中待补偿图像B与标准图像C之间的图像特征差。
S103:根据确定的两个拼接重叠区域的图像特征差,对待补偿图像进行图像特征补偿,得到补偿后图像。
在确定了图像特征差后,可以通过图像特征补偿的方式对待补偿图像的全部像素进行图像特征补偿,得到补偿后图像。
详细的,上述根据确定的两个拼接重叠区域的图像特征差,对待补偿图像进行图像特征补偿,得到补偿后图像,可以包括:
针对待补偿图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征补偿值,其中,预设公式为:
其中,comp_value1(x1,y1)为待补偿图像的任意一个像素点的图像特征补偿值,x1为待补偿图像的任意一个像素点的横坐标,y1为待补偿图像的任意一个像素点的纵坐标,diff1为所确定的两个拼接重叠区域的图像特征差中的一个,diff2为所确定的两个拼接重叠区域的图像特征差中的另一个,|d|为待补偿图像的任意一个像素点距离待补偿图像的上边缘的垂直距离,H为待补偿图像的高度;
将待补偿图像每个像素点的图像特征值与对应的图像特征补偿值相加,得到补偿后图像中每个像素点的图像特征值。
例如:假设图像特征为亮度,待补偿图像中的像素点1的亮度值为10,计算得到的像素点1对应的亮度补偿值为4,则补偿后图像中像素点1的图像特征值为10+4=14。
需要说明的是,这种基于两个拼接重叠区域中的图像特征对待补偿图像进行整体图像特征补偿的方式,综合考虑了与待拼接图像存在对应关系的两个标准图像在两个拼接重叠区域的图像特征,可以使得补偿后图像的图像特征均衡的靠近与其有对应关系的两个标准图像的图像特征。
S104:将补偿后图像与对应的两张标准图像拼接,得到拼接图像。
在得到补偿后图像后,即可通过对补偿后图像在两个拼接重叠区域中的每个像素点进行细化补偿的方式,将补偿后图像与对应的两张标准图像拼接,得到拼接图像。
上述通过细化补偿将补偿后图像与对应的两张标准图像拼接,得到拼接图像,可以包括:
针对每个拼接重叠区域,计算拼接重叠区域中补偿后图像的每个像素点对应的参考图像特征补偿值;
根据拼接重叠区域中补偿后图像的每个像素点与拼接线之间的距离,计算出拼接重叠区域中补偿后图像的每个像素点对应的补偿值控制系数,其中,拼接重叠区域中预先设置有一条拼接线;
将拼接重叠区域中补偿后图像的每个像素点对应的参考图像特征补偿值与对应的补偿值控制系数相乘,得到拼接重叠区域中补偿后图像的每个像素点对应的图像特征补偿值;
沿拼接线将拼接重叠区域划分为第一子拼接重叠区域与第二子拼接重叠区域,其中,第一子拼接重叠区域为靠近标准图像的拼接重叠区域,第二子拼接重叠区域为靠近补偿后图像的拼接重叠区域;
将第二子拼接重叠区域中补偿后图像的每个像素点的图像特征值与对应的图像特征补偿值相加,得到第二子拼接重叠区域中拼接图像的每个像素点的图像特征值;
将第一子拼接重叠区域中标准图像的每个像素点的图像特征值,作为第一子拼接重叠区域中拼接图像的每个像素点的图像特征值;
将补偿后图像中除拼接重叠区域以外的第一非拼接重叠区域中补偿后图像的每个像素点的图像特征值,作为第一非拼接重叠区域中拼接图像的每个像素点的图像特征值;
将标准图像中除拼接重叠区域以外的第二非拼接重叠区域中标准图像的每个像素点的图像特征值,作为第二非拼接重叠区域中拼接图像的每个像素点的图像特征值。
上述针对每个拼接重叠区域,计算拼接重叠区域中拼接后图像的每个像素点对应的参考图像特征补偿值,可以包括:
针对每个拼接重叠区域,将拼接重叠区域划分为预设数量个分区;
根据拼接重叠区域中标准图像以及补偿后图像的每个像素点的图像特征值,计算各个分区对应的分区图像特征补偿值;
根据各个分区对应的分区图像特征补偿值,计算拼接重叠区域中拼接后图像的每个像素点对应的参考图像特征补偿值。
针对每个拼接重叠区域,为了确定拼接重叠区域中拼接后图像的每个像素点对应的参考图像特征补偿值,可以对拼接重叠区域进行分区操作,将拼接重叠区域划分为预设数量个分区,该预设数量可以为4、6或8等,每个分区的大小可以为8*8个像素,16*16个像素等。
在将拼接重叠区域划分为预设数量个分区后,针对每个分区,分别计算该分区中标准图像所有像素点的第三图像特征值平均值,以及,补偿后图像所有像素点的第四图像特征值平均值,将第三图像特征值平均值与第四图像特征值平均值的差值,作为该分区的分区图像特征补偿值,由此,计算出各个分区对应的分区图像特征补偿值。
在计算出各个分区对应的分区图像特征补偿值后,通过对各个分区的分区图像特征补偿值进行插值操作,得到拼接重叠区域中补偿后图像的每个像素点对应的参考图像特征补偿值,其中,插值操作可以为双线性插值操作或三次多项式插值操作等。
由于各个拼接重叠区域中均预先设置有一条拼接线,在拼接时,拼接线的一侧为标准图像,一侧为补偿后图像,为了淡化拼接线,需要使得标准图像与补偿后图像在拼接重叠区域中平滑过渡。
因此,在计算出拼接重叠区域中补偿后图像的每个像素点对应的参考图像特征补偿值后,需要根据拼接重叠区域中补偿后图像的每个像素点与拼接线之间的距离,计算出拼接重叠区域中补偿后图像的每个像素点对应的补偿值控制系数,使得距离拼接线越近的像素点,补偿值控制系数越大,距离拼接线越远的像素点,补偿值控制系数越小。
如图4所示的拼接重叠区域,对角线为拼接线,拼接线两侧的线为距离该拼接线预设垂直距离L的线,其中,该预设垂直距离L可以根据拼接重叠区域的大小确定,通过以下公式计算拼接重叠区域中补偿后图像的每个像素点对应的补偿值控制系数:
Alpha=0;|h|>L
其中,Alpha为拼接重叠区域中补偿后图像的某个像素点的补偿值控制系数,取值范围为[0,1],|h|为该像素点到拼接线的垂直距离,L为预设垂直距离。
另外,为了方便计算,可以将|h|设定为该像素点到拼接线的竖直距离,将L也设定为竖直距离。
在计算出拼接重叠区域中补偿后图像的的每个像素点对应的参考图像特征补偿值与对应的补偿值控制系数之后,将拼接重叠区域中补偿后图像的每个像素点对应的参考图像特征补偿值与对应的补偿值控制系数相乘,即可得到拼接重叠区域中补偿后图像的每个像素点对应的图像特征补偿值。
在计算出拼接重叠区域中补偿后图像的每个像素点对应的图像特征补偿值后,为了将各个图像进行拼接,需要沿拼接线将拼接重叠区域划分为第一子拼接重叠区域和第二子拼接重叠区域,其中,第一子拼接重叠区域为靠近标准图像的拼接重叠区域区域,第二子拼接重叠区域为靠近补偿后图像的拼接重叠区域。
例如:如图5所示,O为标准图片,P为补偿后图像,O与P之间的拼接重叠区域中的对角线为拼接线,当然,并不只限于此,根据实际拼接情况,拼接线可以绕着拼接重叠区域右下角的点H旋转,基于拼接线将拼接重叠区域划分为两个子拼接重叠区域,一为第一子拼接重叠区域,二为第二子拼接重叠区域,第一子拼接重叠区域一靠近标准图像O,第二子拼接重叠区域二靠近补偿后图像P。
在将拼接重叠区域划分出两个子拼接重叠区域后,将第二子拼接重叠区域中补偿后图像的每个像素点的图像特征值与对应的图像特征补偿值相加,得到第二子拼接重叠区域中拼接图像的每个像素点的图像特征值。
将第一子拼接重叠区域中标准图像的每个像素点的图像特征值,作为第一子拼接重叠区域中拼接图像的每个像素点的图像特征值。
将补偿后图像中除拼接重叠区域以外的第一非拼接重叠区域中补偿后图像的每个像素点的图像特征值,作为第一非拼接重叠区域中拼接图像的每个像素点的图像特征值。
将标准图像中除拼接重叠区域以外的第二非拼接重叠区域中标准图像的每个像素点的图像特征值,作为第二非拼接重叠区域中拼接图像的每个像素点的图像特征值。
由此,得到了拼接图像中每个像素点的像素值,完成了图像拼接。由于对待补偿图像进行了图像特征补偿,得到了补偿后图像,减少了图像特征差异,然后又对补偿后图像在两个拼接重叠区域中的每个像素点进行了细化补偿,达到了从标准图像到补偿后图像的平滑过渡。
本发明实施例中,确定待补偿图像的两个拼接重叠区域中待补偿图像与对应的标准图像之间的图像特征差,然后通过确定的两个拼接重叠区域的图像特征差,对待补偿图像进行图像特征补偿,得到补偿后图像,使得补偿后图像的图像特征靠近标准图像,从而减小了标准图像与补偿后图像之间的图像特征的差异,使得在生成拼接图像时,淡化了拼接线,提高了拼接质量。
由于在进行图像拼接时,存在多种拼接方式,针对不同的拼接方式,生成拼接图像的方式也不相同,下面进行详细介绍:
第一种:拼接之后形成密闭环形的环形拼接方式
在拼接方式为环形拼接方式时,多张待拼接图像为用于进行环形拼接的图像,上述将补偿后图像与对应的两张标准图像拼接,得到拼接图像,可以包括:
将多张待拼接图像中待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行环形拼接,得到拼接图像。
其中,预设顺序可以为顺时针顺序,也可以为逆时针顺序。
例如:如图6所示,待拼接图像包括:A、B、C和D,假设A和C为标准图像,B和D为待补偿图像;
则将待补偿图像B的补偿后图像B1、待补偿图像D的补偿后图像D1、标准图像A和标准图像C,按照A、B1、C、D1的顺序进行环形拼接,得到如图6所示的拼接图像。
在待拼接图像的张数为偶数张时,标准图像与待补偿图像环形间隔分布,上述确定待补偿图像的两个拼接重叠区域中待补偿图像与对应的标准图像之间的图像特征差,可以包括:
针对每张待补偿图像,确定该待补偿图像的两个拼接重叠区域中该待补偿图像与对应的标准图像之间的图像特征差;
上述根据确定的两个拼接重叠区域的图像特征差,对待补偿图像进行图像特征补偿,得到补偿后图像,可以包括:
针对每张待补偿图像,根据该待补偿图像的两个拼接重叠区域的图像特征差,对该待补偿图像进行图像特征补偿,得到补偿后图像。
当待拼接图像的张数为偶数张时,待补偿图像的张数也为偶数张,此时,需要针对每张待补偿图像进行图像特征补偿,得到补偿后图像,其中,图像补偿的方式与图1的方式相同,在此不再赘述。
例如:如图7所示,待拼接图像包括:A、B、C和D,图像特征为亮度,假设A和C为标准图像,B和D为待补偿图像,标准图像与待补偿图像环形间隔分布,待补偿图像B与标准图像A之间的拼接重叠区域为1,待补偿图像B与标准图像C之间的拼接重叠区域为2,待补偿图像D与标准图像A之间的拼接重叠区域为4,待补偿图像D与标准图像C之间的拼接重叠区域为3;
针对待补偿图像B,确定该待补偿图像B的拼接重叠区域1中该待补偿图像B与标准图像A之间的图像特征差M,确定该待补偿图像B的拼接重叠区域2中该待补偿图像B与标准图像C之间的图像特征差N;
根据该待补偿图像B的图像特征差M和图像特征差N,对该待补偿图像B进行图像特征补偿,得到补偿后图像B2
针对待补偿图像D,确定该待补偿图像D的拼接重叠区域3中该待补偿图像D与标准图像C之间的图像特征差E,确定该待补偿图像D的拼接重叠区域4中该待补偿图像D与标准图像A之间的图像特征差F;
根据该待补偿图像D的图像特征差E和图像特征差F,对该待补偿图像D进行图像特征补偿,得到补偿后图像D2
另外,需要说明的是,本发明实施例可以应用于车辆的四周环视全景拼接中,由于一般对于车辆来说,前视图像与后视图像相比于左视图像和右视图像更为重要,因此,可以将车辆的前视图像和后视图像作为标准图像,将车辆的左视图像和右视图像作为待补偿图像,通过前视图像和后视图像对左视图像和右视图像进行图像特征补偿。
第二种:图像之间水平拼接的平铺拼接方式
当拼接方式为平铺拼接方式时,多张待拼接图像为用于进行平铺拼接的图像,上述将补偿后图像与对应的两张标准图像拼接,得到拼接图像,可以包括:
将多个待拼接图像中待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行平铺拼接,得到拼接图像。
其中,预设顺序可以为从左至右的顺序,也可以为从右至左的顺序。
例如:如图8所示,待拼接图像包括:A、B和C,假设A和C标准图像,B为待补偿图像,预设顺序为从左至右的顺序;
则将待补偿图像B的补偿后图像B3、标准图像A和标准图像B,按照A、B3、C的顺序进行平铺拼接,得到如图8所示的拼接图像。
另外,需要说明的是,参见图9,该图像中的上部分为拼接重叠区域,下部分为补偿后图像中的非重叠区域,上部分中的对角线为拼接线,拼接线下方的虚线为与拼接线距离预设竖直距离L的线。
由于图1的步骤S104中的细化补偿操作只针对于拼接重叠区域,因此,由图9中可以看出,双箭头所表示的区域S为细化补偿时可完全覆盖到L的距离,而单箭头所表示的区域T,在细化补偿时不可覆盖到L的距离,即单箭头所表示的区域T进行了细化补偿,而下部分中的三角形区域R未进行细化补偿。从而导致在细化补偿后,有可能在补偿后图像中的拼接重叠区域与非拼接重叠区域中形成新的分界线,如图9中上部分与下部分之间的虚线,因此,为了淡化该分界线,在本发明的一种实现方式中,在图1的步骤S104中的细化补偿步骤中将补偿后图像中除拼接重叠区域以外的第一非拼接重叠区域中补偿后图像的每个像素点的图像特征值,作为第一非拼接重叠区域中拼接图像的每个像素点的图像特征值之前,该方法还可以包括:
针对每个拼接重叠区域,基于拼接线的位置,在补偿后图像中确定一待补偿区域,确定拼接重叠区域中的像素点的图像特征补偿值,根据图像特征补偿值,以分界线所在行为起点,逐行对待补偿区域进行图像特征补偿,其中,待补偿区域包括补偿后图像的拼接重叠区域与非拼接重叠区域之间的分界线;
将补偿后图像中除拼接重叠区域以外的第一非拼接重叠区域中补偿后图像的每个像素点的图像特征值,作为第一非拼接重叠区域中拼接图像的每个像素点的图像特征值,包括:
将补偿后图像中除拼接重叠区域以及待补偿区域以外的第一非拼接重叠区域中补偿后图像的每个像素点的图像特征值,作为第一非拼接重叠区域中拼接图像的每个像素点的图像特征值;
将进行图像特征补偿后的待补偿区域中的每个像素点的图像特征值,作为待补偿区域中拼接图像的每个像素点的图像特征值。
针对每个拼接重叠区域中,在进行细化补偿后,基于拼接线的位置,确定补偿后图像中距离该拼接线预设竖直距离L的目标线的位置。然后确定补偿后图像中拼接重叠区域与非重叠区域的分界线的位置,以及与目标线以及分界线均存在交点的补偿后图像的边线的位置,将由目标线、分界线以及边线所围成的三角形区域确定为待补偿区域,即图9中的三角形区域R。
在确定了待补偿区域后,为了淡化待补偿区域中的拼接重叠区域与非拼接重叠区域之间的分界线,需要对该待补偿区域进行二次补偿操作。
由于该待补偿区域与拼接重叠区域相邻,因此,为了淡化该分界线,需要确定拼接重叠区域中的像素点的图像特征补偿值,然后根据拼接重叠区域中的像素点的图像特征补偿值,以分界线所在行为起点,逐行对待补偿区域进行图像特征补偿,其中,确定拼接重叠区域中的像素点的图像特征补偿值的过程可以参见图1的步骤S104,在此不再赘述。
上述根据拼接重叠区域中的像素点的图像特征补偿值,以分界线所在行为起点,逐行对待补偿区域进行图像特征补偿,可以包括:
根据拼接重叠区域中的像素点的图像特征补偿值,确定分界线所在行的图像特征补偿值;
将分界线所在行作为目标行,根据目标行的图像特征补偿值,确定待补偿区域中目标行的下一行的图像特征补偿值;
将目标行的下一行作为目标行,返回执行根据目标行的图像特征补偿值,确定待补偿区域中目标行的下一行的图像特征补偿值的步骤;
将待补偿区域中的补偿后图像各行的图像特征值与对应的图像特征补偿值相加,得到待补偿区域的图像特征值。
为了对待补偿区域进行二次补偿,针对待补偿区域中的每个像素点,需要基于该像素点周围已经进行过细化补偿的像素点的图像特征补偿值,来预估该像素点对应的图像特征补偿值。
参见图9,对于图9中的分界线即目标行上的每个像素点,可以基于该像素点上方与该像素点紧邻的位于拼接重叠区域中的像素点的图像特征补偿值,来预估该像素点对应的图像特征补偿值。
由于这种通过一个像素点来预估另一个像素点的方式,稳定性较差,因此,本发明实施例中可以通过该像素点上方,与该像素点紧邻的位于拼接重叠区域中的一个预设面积的矩形区域中的所有像素点的图像特征补偿值,来预估该像素点对应的图像特征补偿值。
详细的,上述根据拼接重叠区域中的像素点的图像特征补偿值,确定分界线所在行的图像特征补偿值,可以包括:
针对分界线所在行中的每个像素点,根据该像素点的位置,从拼接重叠区域中确定与该像素点紧邻的预设面积的第一参考矩形区域;
根据第一参考矩形区域中拼接图像的图像特征补偿值,计算第一参考矩形区域的第一图像特征补偿值;
根据第一图像特征补偿值计算该像素点对应的图像特征补偿值。
在预估出分界线所在行中的每个像素点对应的图像特征补偿值后,将分界线所在行作为目标行,针对待补偿区域中目标行的下一行中的每个像素点,基于与该像素点紧邻的预设面积的,且,包括目标行的第二参考矩形区域所包含的所有像素点的图像特征补偿值,预估该像素点对应的图像特征补偿值,由此,预估出下一行的每个像素点对应的图像特征补偿值。
详细的,上述根据目标行的图像特征补偿值,确定待补偿区域中目标行的下一行的图像特征补偿值,可以包括:
针对待补偿区域中目标行的下一行中的每个像素点,根据该像素点的位置,从拼接图像中确定与该像素点紧邻的预设面积的第二参考矩形区域,其中,第二参考矩形区域包括目标行;
根据第二参考矩形区域中拼接图像以及目标行的图像特征补偿值,计算第二参考矩形区域的第二图像特征补偿值;
根据第二图像特征补偿值计算该像素点对应的图像特征补偿值。
其中,上述根据第二图像特征补偿值计算该像素点对应的图像特征补偿值,可以包括:
通过预设公式计算该像素点对应的图像特征补偿值,其中,预设公式为:
其中,comp_value3(x3,y3)为该像素点对应的图像特征补偿值,x3为该素点的横坐标,y3为该像素点的纵坐标,N为预设系数,comp_avg为位于对角线两端的像素点的坐标分别为所构成的第二参考矩形区域的第二图像特征补偿值,y1为过像素点(x3,y3)的竖直线与目标线交点的纵坐标。
由此,确定目标行的下一行的图像特征补偿值,然后一行一行的计算,直至计算出待补偿区域中的每个像素点对应的图像特征补偿值。
在预估出待补偿区域中的每个像素点对应的图像特征补偿值后,为了得到拼接图像,将待补偿区域中补偿后图像的每个像素点的图像特征值与对应的图像特征补偿值相加,得到待补偿区域中拼接图像的每个像素点的图像特征值。
为了得到拼接图像,将补偿后图像中除拼接重叠区域以及待补偿区域以外的第一非拼接重叠区域中补偿后图像的每个像素点的图像特征值,作为第一非拼接重叠区域中拼接图像的每个像素点的图像特征值;
将进行图像特征补偿后的待补偿区域中的每个像素点的图像特征值,作为待补偿区域中拼接图像的每个像素点的图像特征值。
由此,完成了图像拼接,并通过对补偿后图像中的待补偿区域进行二次补偿的方式,避免了由于细化补偿所出现的分界线,提高了拼接质量。
相对于上述方法实施例,如图10所示,本发明实施例还提供了一种图像拼接装置,所述装置可以包括:
获取模块201,用于获取多张待拼接图像,所述多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域;
图像特征差确定模块202,用于确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差;
补偿后图像确定模块203,用于根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像;
拼接图像确定模块204,用于将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像。
本发明实施例中,确定待补偿图像的两个拼接重叠区域中待补偿图像与对应的标准图像之间的图像特征差,然后通过确定的两个拼接重叠区域的图像特征差,对待补偿图像进行图像特征补偿,得到补偿后图像,使得补偿后图像的图像特征靠近标准图像,从而减小了标准图像与补偿后图像之间的图像特征的差异,使得在生成拼接图像时,淡化了拼接线,提高了拼接质量。
在本发明的一种实现方式中,所述多张待拼接图像为用于进行环形拼接的图像;
所述拼接图像确定模块204,可以具体用于:
将所述多张待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行环形拼接,得到拼接图像。
在本发明的一种实现方式中,所述待拼接图像的张数为偶数张,且标准图像与待补偿图像环形间隔分布;
所述图像特征差确定模块202,可以具体用于:
针对每张待补偿图像,确定该待补偿图像的两个拼接重叠区域中该待补偿图像与对应的标准图像之间的图像特征差;
所述补偿后图像确定模块203,可以具体用于:
针对每张待补偿图像,根据该待补偿图像的两个拼接重叠区域的图像特征差,对该待补偿图像进行图像特征补偿,得到补偿后图像。
在本发明的一种实现方式中,应用于车辆的四周环视全景拼接中,所述车辆的前视图像和后视图像为标准图像,所述车辆的左视图像和右视图像为待补偿图像。
在本发明的一种实现方式中,所述多张待拼接图像为用于进行平铺拼接的图像;
所述拼接图像确定模块204,可以具体用于:
将所述多个待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行平铺拼接,得到拼接图像。
在本发明的一种实现方式中,所述补偿后图像确定模块203,可以包括:
图像特征补偿值确定单元,用于针对所述待补偿图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征补偿值,其中,所述预设公式为:
其中,comp_value1(x1,y1)为所述待补偿图像的任意一个像素点的图像特征补偿值,x1为所述待补偿图像的任意一个像素点的横坐标,y1为所述待补偿图像的任意一个像素点的纵坐标,diff1为所确定的所述两个拼接重叠区域的图像特征差中的一个,diff2为所确定的所述两个拼接重叠区域的图像特征差中的另一个,|d|为所述待补偿图像的任意一个像素点距离所述待补偿图像的上边缘的垂直距离,H为所述待补偿图像的高度;
图像特征值确定单元,用于将所述待补偿图像每个像素点的图像特征值与对应的图像特征补偿值相加,得到补偿后图像中每个像素点的图像特征值。
本发明实施例还提供了一种电子设备,如图11所示,所述电子设备包括处理器1101和存储器1102,其中,所述存储器1102,用于存放计算机程序;所述处理器1101,用于执行所述存储器1102上所存放的程序,实现如下步骤:
获取多张待拼接图像,所述多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域;
确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差;
根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像。
本发明实施例中,确定待补偿图像的两个拼接重叠区域中待补偿图像与对应的标准图像之间的图像特征差,然后通过确定的两个拼接重叠区域的图像特征差,对待补偿图像进行图像特征补偿,得到补偿后图像,使得补偿后图像的图像特征靠近标准图像,从而减小了标准图像与补偿后图像之间的图像特征的差异,使得在生成拼接图像时,淡化了拼接线,提高了拼接质量。
在本发明的一种实现方式中,所述多张待拼接图像为用于进行环形拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多张待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行环形拼接,得到拼接图像。
在本发明的一种实现方式中,所述待拼接图像的张数为偶数张,且标准图像与待补偿图像环形间隔分布;
所述确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差,包括:
针对每张待补偿图像,确定该待补偿图像的两个拼接重叠区域中该待补偿图像与对应的标准图像之间的图像特征差;
所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像,包括:
针对每张待补偿图像,根据该待补偿图像的两个拼接重叠区域的图像特征差,对该待补偿图像进行图像特征补偿,得到补偿后图像。
在本发明的一种实现方式中,应用于车辆的四周环视全景拼接中,所述车辆的前视图像和后视图像为标准图像,所述车辆的左视图像和右视图像为待补偿图像。
在本发明的一种实现方式中,所述多张待拼接图像为用于进行平铺拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多个待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行平铺拼接,得到拼接图像。
在本发明的一种实现方式中,所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像的步骤,包括:
针对所述待补偿图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征补偿值,其中,所述预设公式为:
其中,comp_value1(x1,y1)为所述待补偿图像的任意一个像素点的图像特征补偿值,x1为所述待补偿图像的任意一个像素点的横坐标,y1为所述待补偿图像的任意一个像素点的纵坐标,diff1为所确定的所述两个拼接重叠区域的图像特征差中的一个,diff2为所确定的所述两个拼接重叠区域的图像特征差中的另一个,|d|为所述待补偿图像的任意一个像素点距离所述待补偿图像的上边缘的垂直距离,H为所述待补偿图像的高度;
将所述待补偿图像每个像素点的图像特征值与对应的图像特征补偿值相加,得到补偿后图像中每个像素点的图像特征值。
一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取多张待拼接图像,所述多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域;
确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差;
根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像。
本发明实施例中,确定待补偿图像的两个拼接重叠区域中待补偿图像与对应的标准图像之间的图像特征差,然后通过确定的两个拼接重叠区域的图像特征差,对待补偿图像进行图像特征补偿,得到补偿后图像,使得补偿后图像的图像特征靠近标准图像,从而减小了标准图像与补偿后图像之间的图像特征的差异,使得在生成拼接图像时,淡化了拼接线,提高了拼接质量。
在本发明的一种实现方式中,所述多张待拼接图像为用于进行环形拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多张待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行环形拼接,得到拼接图像。
在本发明的一种实现方式中,所述待拼接图像的张数为偶数张,且标准图像与待补偿图像环形间隔分布;
所述确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差,包括:
针对每张待补偿图像,确定该待补偿图像的两个拼接重叠区域中该待补偿图像与对应的标准图像之间的图像特征差;
所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像,包括:
针对每张待补偿图像,根据该待补偿图像的两个拼接重叠区域的图像特征差,对该待补偿图像进行图像特征补偿,得到补偿后图像。
在本发明的一种实现方式中,应用于车辆的四周环视全景拼接中,所述车辆的前视图像和后视图像为标准图像,所述车辆的左视图像和右视图像为待补偿图像。
在本发明的一种实现方式中,所述多张待拼接图像为用于进行平铺拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多个待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行平铺拼接,得到拼接图像。
在本发明的一种实现方式中,所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像的步骤,包括:
针对所述待补偿图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征补偿值,其中,所述预设公式为:
其中,comp_value1(x1,y1)为所述待补偿图像的任意一个像素点的图像特征补偿值,x1为所述待补偿图像的任意一个像素点的横坐标,y1为所述待补偿图像的任意一个像素点的纵坐标,diff1为所确定的所述两个拼接重叠区域的图像特征差中的一个,diff2为所确定的所述两个拼接重叠区域的图像特征差中的另一个,|d|为所述待补偿图像的任意一个像素点距离所述待补偿图像的上边缘的垂直距离,H为所述待补偿图像的高度;
将所述待补偿图像每个像素点的图像特征值与对应的图像特征补偿值相加,得到补偿后图像中每个像素点的图像特征值。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图10所示的图像拼接装置实施例、图11所示的电子设备实施例以及计算机可读存储介质而言,由于其基本相似于图2所示的图像拼接方法实施例,所以描述的比较简单,相关之处参见图2所示的图像拼接方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (14)

1.一种图像拼接方法,其特征在于,所述方法包括:
获取多张待拼接图像,所述多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域;
确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差;
根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像。
2.根据权利要求1所述的图像拼接方法,其特征在于,所述多张待拼接图像为用于进行环形拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多张待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行环形拼接,得到拼接图像。
3.根据权利要求2所述的图像拼接方法,其特征在于,所述待拼接图像的张数为偶数张,且标准图像与待补偿图像环形间隔分布;
所述确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差,包括:
针对每张待补偿图像,确定该待补偿图像的两个拼接重叠区域中该待补偿图像与对应的标准图像之间的图像特征差;
所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像,包括:
针对每张待补偿图像,根据该待补偿图像的两个拼接重叠区域的图像特征差,对该待补偿图像进行图像特征补偿,得到补偿后图像。
4.根据权利要求3所述的图像拼接方法,其特征在于,应用于车辆的四周环视全景拼接中,所述车辆的前视图像和后视图像为标准图像,所述车辆的左视图像和右视图像为待补偿图像。
5.根据权利要求1所述的方法,其特征在于,所述多张待拼接图像为用于进行平铺拼接的图像;
将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像,包括:
将所述多个待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行平铺拼接,得到拼接图像。
6.根据权利要求1所述的方法,其特征在于,所述根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像的步骤,包括:
针对所述待补偿图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征补偿值,其中,所述预设公式为:
其中,comp_value1(x1,y1)为所述待补偿图像的任意一个像素点的图像特征补偿值,x1为所述待补偿图像的任意一个像素点的横坐标,y1为所述待补偿图像的任意一个像素点的纵坐标,diff1为所确定的所述两个拼接重叠区域的图像特征差中的一个,diff2为所确定的所述两个拼接重叠区域的图像特征差中的另一个,|d|为所述待补偿图像的任意一个像素点距离所述待补偿图像的上边缘的垂直距离,H为所述待补偿图像的高度;
将所述待补偿图像每个像素点的图像特征值与对应的图像特征补偿值相加,得到补偿后图像中每个像素点的图像特征值。
7.一种图像拼接装置,其特征在于,所述装置包括:
获取模块,用于获取多张待拼接图像,所述多张待拼接图像中包括待补偿图像和标准图像,且一张待补偿图像对应两张标准图像,存在对应关系的待补偿图像与标准图像之间存在拼接重叠区域;
图像特征差确定模块,用于确定所述待补偿图像的两个拼接重叠区域中所述待补偿图像与对应的标准图像之间的图像特征差;
补偿后图像确定模块,用于根据确定的所述两个拼接重叠区域的图像特征差,对所述待补偿图像进行图像特征补偿,得到补偿后图像;
拼接图像确定模块,用于将所述补偿后图像与对应的两张标准图像拼接,得到拼接图像。
8.根据权利要求7所述的图像拼接装置,其特征在于,所述多张待拼接图像为用于进行环形拼接的图像;
所述拼接图像确定模块,具体用于:
将所述多张待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行环形拼接,得到拼接图像。
9.根据权利要求8所述的图像拼接装置,其特征在于,所述待拼接图像的张数为偶数张,且标准图像与待补偿图像环形间隔分布;
所述图像特征差确定模块,具体用于:
针对每张待补偿图像,确定该待补偿图像的两个拼接重叠区域中该待补偿图像与对应的标准图像之间的图像特征差;
所述补偿后图像确定模块,具体用于:
针对每张待补偿图像,根据该待补偿图像的两个拼接重叠区域的图像特征差,对该待补偿图像进行图像特征补偿,得到补偿后图像。
10.根据权利要求9所述的图像拼接装置,其特征在于,应用于车辆的四周环视全景拼接中,所述车辆的前视图像和后视图像为标准图像,所述车辆的左视图像和右视图像为待补偿图像。
11.根据权利要求7所述的图像拼接装置,其特征在于,所述多张待拼接图像为用于进行平铺拼接的图像;
所述拼接图像确定模块,具体用于:
将所述多个待拼接图像中所述待补偿图像的补偿后图像,以及标准图像,按照预设顺序进行平铺拼接,得到拼接图像。
12.根据权利要求7所述的图像拼接装置,其特征在于,所述补偿后图像确定模块,包括:
图像特征补偿值确定单元,用于针对所述待补偿图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征补偿值,其中,所述预设公式为:
其中,comp_value1(x1,y1)为所述待补偿图像的任意一个像素点的图像特征补偿值,x1为所述待补偿图像的任意一个像素点的横坐标,y1为所述待补偿图像的任意一个像素点的纵坐标,diff1为所确定的所述两个拼接重叠区域的图像特征差中的一个,diff2为所确定的所述两个拼接重叠区域的图像特征差中的另一个,|d|为所述待补偿图像的任意一个像素点距离所述待补偿图像的上边缘的垂直距离,H为所述待补偿图像的高度;
图像特征值确定单元,用于将所述待补偿图像每个像素点的图像特征值与对应的图像特征补偿值相加,得到补偿后图像中每个像素点的图像特征值。
13.一种电子设备,其特征在于,包括处理器和存储器,其中,所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序,实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN201710614062.5A 2017-07-25 2017-07-25 一种图像拼接方法、装置、电子设备及存储介质 Active CN109300085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710614062.5A CN109300085B (zh) 2017-07-25 2017-07-25 一种图像拼接方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710614062.5A CN109300085B (zh) 2017-07-25 2017-07-25 一种图像拼接方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109300085A true CN109300085A (zh) 2019-02-01
CN109300085B CN109300085B (zh) 2023-06-02

Family

ID=65167976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710614062.5A Active CN109300085B (zh) 2017-07-25 2017-07-25 一种图像拼接方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109300085B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277764A (zh) * 2020-03-10 2020-06-12 北京卓视科技有限公司 基于gpu加速的4k实时视频全景拼接方法
CN111429354A (zh) * 2020-03-27 2020-07-17 贝壳技术有限公司 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN111738925A (zh) * 2020-08-04 2020-10-02 四川智盛芯源科技有限公司 一种阵列相机中田字形全景图像拼接方法
CN113163136A (zh) * 2021-04-27 2021-07-23 苏州视之芯信息科技有限公司 实时监控画面的拼接方法、系统及计算机可读存储介质
CN114079768A (zh) * 2020-08-18 2022-02-22 杭州海康汽车软件有限公司 图像的清晰度测试方法及装置
CN114972019A (zh) * 2021-04-14 2022-08-30 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006080739A1 (en) * 2004-10-12 2006-08-03 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
US20110158509A1 (en) * 2008-09-10 2011-06-30 Huawei Device Co., Ltd. Image stitching method and apparatus
CN104240211A (zh) * 2014-08-06 2014-12-24 中国船舶重工集团公司第七0九研究所 用于视频拼接的图像亮度与色彩均衡方法及系统
CN104680501A (zh) * 2013-12-03 2015-06-03 华为技术有限公司 图像拼接的方法及装置
CN106341617A (zh) * 2016-11-16 2017-01-18 信利光电股份有限公司 一种摄像头串扰补偿的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006080739A1 (en) * 2004-10-12 2006-08-03 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
US20110158509A1 (en) * 2008-09-10 2011-06-30 Huawei Device Co., Ltd. Image stitching method and apparatus
CN104680501A (zh) * 2013-12-03 2015-06-03 华为技术有限公司 图像拼接的方法及装置
CN104240211A (zh) * 2014-08-06 2014-12-24 中国船舶重工集团公司第七0九研究所 用于视频拼接的图像亮度与色彩均衡方法及系统
CN106341617A (zh) * 2016-11-16 2017-01-18 信利光电股份有限公司 一种摄像头串扰补偿的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吕国相等: "基于估计补偿的医学显微图像拼接技术", 《生物医学工程学杂志》 *
张永梅等: "基于SIFT特征的彩色图像拼接方法研究", 《计算机测量与控制》 *
曹慧: "一种CCD图像拼接方法", 《工具技术》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277764A (zh) * 2020-03-10 2020-06-12 北京卓视科技有限公司 基于gpu加速的4k实时视频全景拼接方法
CN111277764B (zh) * 2020-03-10 2021-06-01 西安卓越视讯科技有限公司 基于gpu加速的4k实时视频全景拼接方法
CN111429354A (zh) * 2020-03-27 2020-07-17 贝壳技术有限公司 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN111738925A (zh) * 2020-08-04 2020-10-02 四川智盛芯源科技有限公司 一种阵列相机中田字形全景图像拼接方法
CN114079768A (zh) * 2020-08-18 2022-02-22 杭州海康汽车软件有限公司 图像的清晰度测试方法及装置
CN114079768B (zh) * 2020-08-18 2023-12-05 杭州海康汽车软件有限公司 图像的清晰度测试方法及装置
CN114972019A (zh) * 2021-04-14 2022-08-30 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN114972019B (zh) * 2021-04-14 2024-05-24 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN113163136A (zh) * 2021-04-27 2021-07-23 苏州视之芯信息科技有限公司 实时监控画面的拼接方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN109300085B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN109300085A (zh) 一种图像拼接方法、装置、电子设备及存储介质
US9533618B2 (en) Method, apparatus and system for processing a display from a surround view camera solution
CN109300084A (zh) 一种图像拼接方法、装置、电子设备及存储介质
US8948505B2 (en) Image processing apparatus, image processing method, program and imaging apparatus
US20170230585A1 (en) Systems and methods for implementing seamless zoom function using multiple cameras
CN101646022B (zh) 一种图像拼接的方法、系统
JP4976685B2 (ja) 画像処理装置
US7565075B2 (en) System and method for exhibiting image focus information on a viewfinder
CN106856000B (zh) 一种车载全景图像无缝拼接处理方法及系统
US8228414B2 (en) Real-size preview system in terminal having digital camera function and control method thereof
CN104811677A (zh) 移动终端的显示控制方法及装置
US20160379601A1 (en) Image displaying method and system
EP2884741A1 (en) Image processing device, display device, image processing method, display method, and image processing program
US20110084966A1 (en) Method for forming three-dimension images and related display module
CN112700753A (zh) 拼接屏幕显示方法、装置、电子设备及存储介质
US8929605B2 (en) Image processing method and image processing apparatus for generating vehicular image
EP3143610A1 (en) Generation of drive values for a display
US9251564B2 (en) Method for processing a stereoscopic image comprising a black band and corresponding device
CN109840897A (zh) 车辆全景图像校正方法和车辆全景系统
CN113658559A (zh) 显示器驱动装置及驱动方法
US20110187835A1 (en) Apparatus for compensating 3d image in projector and method thereof
CN106023074A (zh) 一种分区获取的视频图像拼接方法
CN109285113A (zh) 一种基于梯度的改进彩色图像插值方法
MX2013007623A (es) Metodo de procesamiento de un contenido de video que permite la adaptacion a varios tipos de dispositivos de visualizacion.
CN103366351B (zh) 产生全景图像的方法及其图像获取装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant