CN110807733B - 拼接补偿方法、装置及存储介质 - Google Patents

拼接补偿方法、装置及存储介质 Download PDF

Info

Publication number
CN110807733B
CN110807733B CN201910989628.1A CN201910989628A CN110807733B CN 110807733 B CN110807733 B CN 110807733B CN 201910989628 A CN201910989628 A CN 201910989628A CN 110807733 B CN110807733 B CN 110807733B
Authority
CN
China
Prior art keywords
compensation
coefficient
color component
splicing
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910989628.1A
Other languages
English (en)
Other versions
CN110807733A (zh
Inventor
李乾坤
卢维
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910989628.1A priority Critical patent/CN110807733B/zh
Publication of CN110807733A publication Critical patent/CN110807733A/zh
Application granted granted Critical
Publication of CN110807733B publication Critical patent/CN110807733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种拼接补偿方法、装置及存储介质。该拼接补偿方法包括：获取待拼接的部分重叠的第一图像和第二图像；确定第一图像的第一拼接区域以及第二图像的第二拼接区域；分别利用对应的第一拼接块和第二拼接块的至少一个颜色分量的统计值获取第一补偿系数和/或第二补偿系数；分别利用第一补偿系数对第一拼接块对应的第一补偿块的颜色分量进行补偿和/或利用第二补偿系数对第二拼接块对应的第二补偿块的颜色分量进行补偿。通过上述方式，本发明能够改善亮度补偿效果。

Description

拼接补偿方法、装置及存储介质
技术领域
本申请涉及图像处理领域，特别是涉及一种拼接补偿方法、装置及存储介质。
背景技术
图像拼接是指将至少两张有部分重叠的图像拼成一张全景图像，广泛应用于空间探测、遥感图像处理、虚拟现实等技术领域。图像拼接过程中，由于相邻图像拍摄的时间、视角、传感器不一定相同，相邻图像重叠区域的亮度可能不同，直接拼接的话在拼缝两侧会出现亮度差。
为解决这一问题，可以对拼接图像进行亮度补偿。具体的，可以根据相邻图像重叠区域的指定颜色分量的统计值计算补偿系数，然后将补偿系数应用到至少一幅图像以实现亮度补偿。
由于补偿系数是整体应用，只适用于图像亮度差异均匀分布的情况，但实际应用中由于光源的直射，图像的亮度差异往往不是均匀分布的，亮度补偿的效果有限。
发明内容
本申请提供一种拼接补偿方法、装置及存储介质，能够解决现有技术中亮度补偿效果有限的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种拼接补偿方法，该方法包括：获取待拼接的部分重叠的第一图像和第二图像；确定第一图像的第一拼接区域以及第二图像的第二拼接区域，第一拼接区域与第二拼接区域重叠，第一拼接区域被划分为多个第一拼接块，第二拼接区域以与第一拼接区域相同的方式被划分为多个第二拼接块，第一拼接区域和第二拼接区域均包括第一图像和第二图像的拼缝；利用第一拼接块的至少一个颜色分量的统计值获取第一补偿系数，和/或利用第二拼接块的至少一个颜色分量的统计值获取第二补偿系数，第一补偿系数代表第一拼接块的颜色分量的补偿系数，第二补偿系数代表第二拼接块的颜色分量的补偿系数；利用第一补偿系数对颜色分量进行补偿，其中颜色分量是第一拼接块对应的第一补偿块的，第一补偿块包括第一拼接块的可视区域的部分或全部，和/或利用第二补偿系数对颜色分量进行补偿，其中颜色分量第二拼接块对应的第二补偿块的，第二补偿块包括第二拼接块的可视区域的部分或全部。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种拼接补偿装置，该拼接补偿装置包括处理器，处理器用于执行指令以实现前述的拼接补偿方法。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有指令，指令被执行时实现前述的拼接补偿方法。
本申请的有益效果是：第一拼接区域和第二拼接区域以相同的方式被划分为多个第一拼接块和第二拼接块，分别获取多个第一补偿系数和/或第二补偿系数，分别利用所述第一补偿系数对所述第一拼接块对应的第一补偿块的所述颜色分量进行补偿和/或利用所述第二补偿系数对所述第二拼接块对应的第二补偿块的所述颜色分量进行补偿，第一和/或第二补偿系数独立计算和应用，在图像亮度差异分布不均匀的情况下能够更准确的反映对应拼接块的亮度差异，从而改善亮度补偿效果。
附图说明
图1是本发明拼接补偿方法第一实施例的流程示意图；
图2是本发明拼接补偿方法第二实施例的流程示意图；
图3是本发明拼接补偿方法第三实施例的流程示意图；
图4是本发明拼接补偿方法第四实施例的流程示意图；
图5是本发明拼接补偿方法第五实施例的流程示意图；
图6是本发明拼接补偿方法第六实施例的流程示意图；
图7是本发明拼接补偿方法第七实施例的流程示意图；
图8是本发明拼接补偿装置一实施例的结构示意图；
图9是本发明存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
图1是本发明拼接补偿方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：
S1：获取待拼接的部分重叠的第一图像和第二图像。
可以获取相邻两个图像及对应的拼接参数，并使用拼接参数将图像按照球面、柱面或其它投影模型进行展开得到第一图像和第二图像。第一图像和第二图像在重叠区域均存在拼缝，拼缝为拼接之后第一图像/第二图像的边缘。一般来说在重叠区域内第一图像的拼缝和第二图像的拼缝是相邻的。
S2：确定第一图像的第一拼接区域以及第二图像的第二拼接区域。
第一拼接区域与第二拼接区域重叠。第一拼接区域和第二拼接区域均包括第一图像和第二图像的拼缝。第一拼接区域被划分为多个第一拼接块，第二拼接区域以与第一拼接区域相同的方式被划分为多个第二拼接块。意味着第一图像和第二图像的重叠区域重叠摆放的情况下，每个第一拼接块都有一个形状大小位置完全一致的第二拼接块，即对应的第二拼接块。
可选的，每个第一拼接块和每个第二拼接块包括至少一条贯通线，贯通线与拼缝不平行且与拼缝有交点。
第一图像和第二图像横向拼接时，拼缝为垂直方向，贯通线可以为第一/第二拼接区域的一整行；第一图像和第二图像纵向拼接时，拼缝为水平方向，贯通线可以为第一/第二拼接区域的一整列。
第一图像在左(简称为左图)，第二图像在右(简称为右图)，左图拼缝的x坐标为seamleft，右图拼缝的x坐标为seamright，在左图的重叠区域内将左图拼缝的右侧外扩M列，右图拼缝的左侧外扩M列，则可以得到具有2M列像素的第一拼接区域img_left；类似的，在右图的重叠区域内将左图拼缝的右侧外扩M列，右图拼缝的左侧外扩M列，则可以得到具有2M列像素的第二拼接区域img_right。图像的纵向分辨率为H，第一拼接区域img_left被分为H个第一拼接块，每个第一拼接块为第一拼接区域img_left中的一行；第二拼接区域img_right被分为H个第二拼接块，每个第二拼接块为第二拼接区域img_right中的一行。
S3：利用第一拼接块的至少一个颜色分量的统计值获取第一补偿系数，和/或利用第二拼接块的至少一个颜色分量的统计值获取第二补偿系数。
由于补偿的目的是减少拼接之后的亮度差异，计算补偿系数的颜色分量可以包括亮度信息。例如，采用RGB颜色空间时，可以计算R、G、B三个颜色分量的补偿系数；采用YUV颜色空间时，可以计算Y颜色分量的补偿系数，U和V颜色分量的补偿系数可以计算也可以不计算。
第一补偿系数代表第一拼接块的颜色分量的补偿系数，第二补偿系数代表第二拼接块的颜色分量的补偿系数。具体到具有对应关系的一对第一拼接块和第二拼接块的某一颜色分量，可以计算该对第一拼接块和第二拼接块的该颜色分量的统计值的比值/差值，然后可以直接将该比值/差值或其倒数/相反数作为第一/第二补偿系数，或者对该比值/差值进行进一步处理(例如平滑滤波，拆分等)后作为第一/第二补偿系数。统计值可以为总和或平均值。
不同的拼接块的不同颜色分量的补偿系数获取方式可以相同，也可以不同。
S4：利用第一补偿系数对颜色分量进行补偿，其中颜色分量是第一拼接块对应的第一补偿块的，第一补偿块包括第一拼接块的可视区域的部分或全部，和/或利用第二补偿系数对颜色分量进行补偿，其中颜色分量第二拼接块对应的第二补偿块的，第二补偿块包括第二拼接块的可视区域的部分或全部。
一般而言，第一拼接块与第一补偿块一一对应，第二拼接块与第二补偿块一一对应，即第一补偿块、第一拼接块、第二拼接块、第二补偿块一一对应。在所有的第一拼接块中，每个第一补偿块只与对应的第一拼接块有重叠，在所有的第一补偿块中，每个第一拼接块只与对应的第一补偿块有重叠；在所有的第二拼接块中，每个第二补偿块只与对应的第二拼接块有重叠，在所有的第二补偿块中，每个第二拼接块只与对应的第二补偿块有重叠。
第一补偿块可以包括第一拼接块的可视区域的部分或全部。第一拼接块的可视区域为第一拼接块在拼接之后的图像中的可视部分，具体的，第一拼接块的可视区域为第一拼接块中以第一图像的拼缝为边界，位于远离第二图像的一侧的部分。类似的，第二补偿块可以包括第二拼接块的可视区域的部分或全部。第二拼接块的可视区域为第二拼接块在拼接之后的图像中的可视部分，具体的，第二拼接块的可视区域为第二拼接块中以第二图像的拼缝为边界，位于远离第一图像的一侧的部分。仍旧以前面第一拼接区域img_left和第二拼接区域img_right的例子来说明可视区域，第一拼接块的可视区域为第一拼接块中以seamleft为边界的左侧M个像素，第二拼接块的可视区域为第二拼接块中以seamright为边界的右侧M个像素。
具体的，可以利用第一和/或第二补偿系数确定对应的第一和/或第二补偿块的颜色分量的补偿系数，再进行补偿。补偿的方式与补偿系数的获取方式是相对应的。若补偿系数是基于比值，则补偿的方式是将第一和/或第二补偿块的颜色分量与对应的补偿系数相乘；若补偿系数是基于差值，则补偿的方式是第一和/或第二补偿块的颜色分量与对应的补偿系数相加。
可选的，第一补偿块包括第一固定补偿块和/或第一过渡补偿块。当第一补偿块包括第一固定补偿块和第一过渡补偿块时，第一固定补偿块可以比第一过渡补偿块更靠近第二图像，例如第一固定补偿块为第一拼接块的可视区域，第一过渡补偿块位于第一过渡区域中，与第一拼接区域相邻，且比第一拼接区域离第二图像更远，第一过渡区域为沿第一图像的拼缝朝远离第二图像方向上延续的预设区域。第一固定补偿块的颜色分量的补偿系数为第一补偿系数，第一固定补偿块的颜色分量的补偿系数沿着远离第二图像的方向从第一补偿系数平滑过渡至基础系数。
第二补偿块包括第二固定补偿块和/或第二过渡补偿块。当第二补偿块包括第二固定补偿块和第二过渡补偿块时，第二固定补偿块可以比第二过渡补偿块更靠近第一图像，例如第二固定补偿块为第二拼接块的可视区域，第二过渡补偿块位于第二过渡区域中，与第二拼接区域相邻，且比第二拼接区域离第一图像更远，第二过渡区域为沿第二图像的拼缝朝远离第一图像方向上延续的预设区域。第二固定补偿块的颜色分量的补偿系数为第二补偿系数，第二固定补偿块的颜色分量的补偿系数沿着远离第一图像的方向从第二补偿系数平滑过渡至基础系数。
可以根据第一/第二过渡补偿块的尺寸，采用预设的函数对第二补偿系数和基础系数进行插值求出第二过渡补偿块中每个像素的补偿系数。
基础系数为不补偿的系数，即使用基础系数进行补偿之后，补偿对象的值与补偿之前无变化。基础系数的具体数值与补偿的方式相关。例如，当补偿方式为相乘时，基础系数为1；当补偿方式为相加时，基础系数为0。
通过本实施例的实施，第一拼接区域和第二拼接区域以相同的方式被划分为多个第一拼接块和第二拼接块，分别获取多个第一补偿系数和/或第二补偿系数，分别利用第一补偿系数对第一拼接块对应的第一补偿块的颜色分量进行补偿和/或利用第二补偿系数对第二拼接块对应的第二补偿块的颜色分量进行补偿，第一和/或第二补偿系数独立计算和应用，在图像亮度差异分布不均匀的情况下能够更准确的反映对应拼接块的亮度差异，从而改善亮度补偿效果。
图2是本发明拼接补偿方法第二实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。本发明拼接补偿方法第二实施例是对本发明拼接补偿方法第一实施例的进一步扩展，与其相同的部分不再赘述。如图2所示，本实施例包括：
S11：获取待拼接的部分重叠的第一图像和第二图像。
S12：确定第一图像的第一拼接区域以及第二图像的第二拼接区域。
S13：将第一拼接区域划分为多个第一拼接块，并将第二拼接区域按照与第一拼接区域相同的方式划分为多个第二拼接块。
对于每组对应的第一拼接块和第二拼接块的每个颜色分量，执行S14-S16。
S14：计算第一拼接块的颜色分量的统计值与对应的第二拼接块的颜色分量的统计值的比值。
S15：对比值进行平滑滤波。
S16：将平滑滤波后的比值作为第二补偿系数。
平滑滤波可以改善可能出现的条纹情况，平滑滤波可以为均值平滑或中值平滑。在其他实施例中，可以选择不进行平滑滤波，而直接将比值作为第二补偿系数。
仍旧以前面第一拼接区域img_left和第二拼接区域img_right的例子来说明具体的第二补偿系数计算过程。
第一图像和第二图像均为RGB图像。第一拼接区域img_left每行(即每个第一拼接块)R分量的和SLeftR，其中
Figure BDA0002237821460000081
第一拼接区域img_left每行G分量的和SLeftG，其中
Figure BDA0002237821460000082
第一拼接区域img_left每行B分量的和SLeftB，其中
Figure BDA0002237821460000083
同样，可以得到第二拼接区域img_right每行(即每个第二拼接块)R分量的和SRightR，其中
Figure BDA0002237821460000084
第二拼接区域img_right每行G分量的和SRightG，其中
Figure BDA0002237821460000085
第二拼接区域img_right每行B分量的和SRightB，其中
Figure BDA0002237821460000086
其中，i为像素的列坐标，j为像素的行坐标，j＝0,1,…H-1。
计算第一拼接块与对应的第二拼接块的R，G，B各颜色分量的统计值的比值为：
Figure BDA0002237821460000091
Figure BDA0002237821460000092
Figure BDA0002237821460000093
然后对比值进行平滑滤波，以均值平滑为例，平滑窗口大小为2N+1，可以得到：
Figure BDA0002237821460000094
Figure BDA0002237821460000095
Figure BDA0002237821460000096
若滤波过程需要用到上/下端之外超界的行的比值，可以使用镜像翻转的方法，将边界内与超界的行以边界为轴对称的行的比值赋值给该超界的行。
当然也可以采用中值平滑，即将该行的平滑窗口内所有比值中取值最中间的一个作为该行的平滑滤波后的比值。
可以将Gainj,Rf作为第二拼接区域img_right的第j行的R分量的第二补偿系数；并将Gainj,Gf作为第二拼接区域img_right的第j行的G分量的第二补偿系数；并将Gainj,Bf作为第二拼接区域img_right的第j行的B分量的第二补偿系数。
S17：利用第二补偿系数确定第二补偿块的颜色分量的补偿系数。
第二补偿块可以包括第二固定补偿块和/或第二过渡补偿块。仍旧以前面第一拼接区域img_left和第二拼接区域img_right的例子来说明，假设第二过渡补偿块的宽度为Q，第二固定补偿块为第二拼接块的可视区域，第二过渡补偿块中像素(i,j)的R分量的补偿系数可以为Gainj,Rf-(i-seamright-M)(Gainj,Rf-1)/Q；第二过渡补偿块中像素(i,j)的G分量的补偿系数可以为Gainj,Gf-(i-seamright-M)(Gainj,Gf-1)/Q；第二过渡补偿块中像素(i,j)的B分量的补偿系数可以为Gainj,Bf-(i-seamright-M)(Gainj,Bf-1)/Q。
S18：将第二补偿块的颜色分量的补偿系数与对应的第二补偿块的颜色分量相乘。
相乘的结果即为补偿之后的第二补偿块的颜色分量。
本实施例中仅对第二补偿块进行补偿，在其他实施例中，可以在多组对应的第一补偿块和第二补偿块中，部分对第一补偿块进行补偿，部分对第二补偿块进行补偿，在此不做限制。
S17和S18可以在每次计算出一个第二补偿系数后都执行一次，也可以在计算出多个第二补偿系数后统一执行，例如计算出一个第二拼接块的所有颜色分量的第二补偿系数后统一执行，或者计算出所有第二拼接块的所有颜色分量的第二补偿系数后统一执行等。
图3是本发明拼接补偿方法第三实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。本发明拼接补偿方法第三实施例是对本发明拼接补偿方法第一实施例的进一步扩展，与其相同的部分不再赘述。如图3所示，本实施例包括：
S21：获取待拼接的部分重叠的第一图像和第二图像。
S22：确定第一图像的第一拼接区域以及第二图像的第二拼接区域。
S23：将第一拼接区域划分为多个第一拼接块，并将第二拼接区域按照与第一拼接区域相同的方式划分为多个第二拼接块。
对于每组对应的第一拼接块和第二拼接块的每个颜色分量，执行S24-S26。
S24：计算第一拼接块的颜色分量的统计值与对应的第二拼接块的颜色分量的统计值的比值。
S25：对比值进行平滑滤波。
S26：将平滑滤波后的比值的倒数作为第一补偿系数。
本实施例与本发明拼接补偿方法第二实施例的区别在于对第一补偿块而不是第二补偿块进行补偿，其余相同或相似的部分不再重复。
仍旧以前面第一拼接区域img_left和第二拼接区域img_right的例子，经过计算之后，可以将1/Gainj，Rf作为第一拼接区域img_left的第j行的R分量的第一补偿系数；并将1/Gainj，Gf作为第一拼接区域img_left的第j行的G分量的第一补偿系数；并将1/Gainj，Bf作为第一拼接区域img_left的第j行的B分量的第一补偿系数。
S27：利用第一补偿系数确定第一补偿块的颜色分量的补偿系数。
第一补偿块可以包括第一固定补偿块和/或第一过渡补偿块。仍旧以前面第一拼接区域img_left和第二拼接区域img_right的例子来说明，假设第一过渡补偿块的宽度为Q，第一固定补偿块为第一拼接块的可视区域，第一过渡补偿块中像素(i，j)的R分量的补偿系数可以为1/Gainj，Rf-(i-seamright-M)(1/Gainj，Rf-1)/Q；第一过渡补偿块中像素(i，j)的G分量的补偿系数可以为1/Gainj，Gf-(i-seamright-M)(1/Gainj，Gf-1)/Q；第一过渡补偿块中像素(i，j)的B分量的补偿系数可以为1/Gainj，Bf-(i-seamright-M)(1/Gainj，Bf-1)/Q。
S28：将第一补偿块的颜色分量的补偿系数与对应的第一补偿块的颜色分量相乘。
相乘的结果即为补偿之后的第一补偿块的颜色分量。
S27和S28可以在每次计算出一个第一补偿系数后都执行一次，也可以在计算出多个第一补偿系数后统一执行，例如计算出一个第一拼接块的所有颜色分量的第一补偿系数后统一执行，或者计算出所有第一拼接块的所有颜色分量的第一补偿系数后统一执行等。
图4是本发明拼接补偿方法第四实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。本发明拼接补偿方法第四实施例是对本发明拼接补偿方法第一实施例的进一步扩展，与其相同的部分不再赘述。如图4所示，本实施例包括：
S31：获取待拼接的部分重叠的第一图像和第二图像。
S32：确定第一图像的第一拼接区域以及第二图像的第二拼接区域。
S33：将第一拼接区域划分为多个第一拼接块，并将第二拼接区域按照与第一拼接区域相同的方式划分为多个第二拼接块。
对于每组对应的第一拼接块和第二拼接块的每个颜色分量，执行S34-S36。
S34：计算第一拼接块的颜色分量的统计值与对应的第二拼接块的颜色分量的统计值的比值。
S35：对比值进行平滑滤波。
S36：利用平滑滤波后的比值计算第一系数和第二系数。
这一操作可以被称为对平滑滤波后的比值的拆分。平滑滤波可以改善可能出现的条纹情况，平滑滤波可以为均值平滑或中值平滑。在其他实施例中，可以选择不进行平滑滤波，而直接对比值进行拆分。
平滑滤波后的比值为第一系数与第二系数的乘积，且第一系数和第二系数均比平滑滤波后的比值更接近1。第一系数的倒数作为第一补偿系数，第二系数作为第二补偿系数。拆分之后的补偿系数更接近1，即基础系数，从而减少补偿对颜色分量造成的影响，进一步改善补偿效果。
S37：利用第一补偿系数确定第一补偿块的颜色分量的补偿系数，将第一补偿块的颜色分量的补偿系数与对应的第一补偿块的颜色分量相乘。
相乘的结果即为补偿之后的第一补偿块的颜色分量。
S38：利用第二补偿系数确定第二补偿块的颜色分量的补偿系数，将第二补偿块的颜色分量的补偿系数与对应的第二补偿块的颜色分量相乘。
相乘的结果即为补偿之后的第二补偿块的颜色分量。
S37和S38的执行顺序仅为示意，实际可以调换或者同时执行。S37和S38可以在每次计算出一个第一和第二补偿系数后都执行一次，也可以在计算出多个第一和第二补偿系数后统一执行，例如计算出一个第一拼接块的所有颜色分量的第一和第二补偿系数后统一执行，或者计算出所有第一拼接块的所有颜色分量的第一和第二补偿系数后统一执行等。
图5是本发明拼接补偿方法第五实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。本发明拼接补偿方法第五实施例是对本发明拼接补偿方法第一实施例的进一步扩展，与其相同的部分不再赘述。如图5所示，本实施例包括：
S41：获取待拼接的部分重叠的第一图像和第二图像。
S42：确定第一图像的第一拼接区域以及第二图像的第二拼接区域。
S43：将第一拼接区域划分为多个第一拼接块，并将第二拼接区域按照与第一拼接区域相同的方式划分为多个第二拼接块。
对于每组对应的第一拼接块和第二拼接块的每个颜色分量，执行S44-S46。
S44：计算第一拼接块的颜色分量的统计值与对应的第二拼接块的颜色分量的统计值的差值。
S45：对差值进行平滑滤波。
S46：将平滑滤波后的差值作为第二补偿系数。
平滑滤波可以改善可能出现的条纹情况，平滑滤波可以为均值平滑或中值平滑。在其他实施例中，可以选择不进行平滑滤波，而直接将差值作为第二补偿系数。
S47：利用第二补偿系数确定第二补偿块的颜色分量的补偿系数。
S48：将第二补偿块的颜色分量的补偿系数与对应的第二补偿块的颜色分量相加。
相加的结果即为补偿之后的第二补偿块的颜色分量。
本实施例中仅对第二补偿块进行补偿，在其他实施例中，可以在多组对应的第一补偿块和第二补偿块中，部分对第一补偿块进行补偿，部分对第二补偿块进行补偿，在此不做限制。
S47和S48可以在每次计算出一个第二补偿系数后都执行一次，也可以在计算出多个第二补偿系数后统一执行，例如计算出一个第二拼接块的所有颜色分量的第二补偿系数后统一执行，或者计算出所有第二拼接块的所有颜色分量的第二补偿系数后统一执行等。
图6是本发明拼接补偿方法第六实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。本发明拼接补偿方法第六实施例是对本发明拼接补偿方法第一实施例的进一步扩展，与其相同的部分不再赘述。如图6所示，本实施例包括：
S51：获取待拼接的部分重叠的第一图像和第二图像。
S52：确定第一图像的第一拼接区域以及第二图像的第二拼接区域。
S53：将第一拼接区域划分为多个第一拼接块，并将第二拼接区域按照与第一拼接区域相同的方式划分为多个第二拼接块。
对于每组对应的第一拼接块和第二拼接块的每个颜色分量，执行S54-S56。
S54：计算第一拼接块的颜色分量的统计值与对应的第二拼接块的颜色分量的统计值的差值。
S55：对差值进行平滑滤波。
S56：将平滑滤波后的差值的相反数作为第一补偿系数。
本实施例与本发明拼接补偿方法第五实施例的区别在于对第一补偿块而不是第二补偿块进行补偿，其余相同或相似的部分不再重复。
S57：利用第一补偿系数确定第一补偿块的颜色分量的补偿系数。
S58：将第一补偿块的颜色分量的补偿系数与对应的第一补偿块的颜色分量相加。
相加的结果即为补偿之后的第一补偿块的颜色分量。
S57和S58可以在每次计算出一个第一补偿系数后都执行一次，也可以在计算出多个第一补偿系数后统一执行，例如计算出一个第一拼接块的所有颜色分量的第一补偿系数后统一执行，或者计算出所有第一拼接块的所有颜色分量的第一补偿系数后统一执行等。
图7是本发明拼接补偿方法第七实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图7所示的流程顺序为限。本发明拼接补偿方法第七实施例是对本发明拼接补偿方法第一实施例的进一步扩展，与其相同的部分不再赘述。如图7所示，本实施例包括：
S61：获取待拼接的部分重叠的第一图像和第二图像。
S62：确定第一图像的第一拼接区域以及第二图像的第二拼接区域。
S63：将第一拼接区域划分为多个第一拼接块，并将第二拼接区域按照与第一拼接区域相同的方式划分为多个第二拼接块。
对于每组对应的第一拼接块和第二拼接块的每个颜色分量，执行S64-S66。
S64：计算第一拼接块的颜色分量的统计值与对应的第二拼接块的颜色分量的统计值的差值。
S65：对差值进行平滑滤波。
S66：利用平滑滤波后的差值计算第三系数和第四系数。
这一操作可以被称为对平滑滤波后的差值的拆分。平滑滤波可以改善可能出现的条纹情况，平滑滤波可以为均值平滑或中值平滑。在其他实施例中，可以选择不进行平滑滤波，而直接对差值进行拆分。
平滑滤波后的差值为第三系数与第四系数的和，第三系数、第四系数以及平滑滤波后的差值的符号相同，且第三系数的绝对值和第四系数的绝对值均小于平滑滤波后的差值的绝对值，第三系数的相反数作为第一补偿系数，第四系数作为第二补偿系数。拆分之后的补偿系数更接近0，即基础系数，从而减少补偿对颜色分量造成的影响，进一步改善补偿效果。
S67：利用第一补偿系数确定第一补偿块的颜色分量的补偿系数，将第一补偿块的颜色分量的补偿系数与对应的第一补偿块的颜色分量相加。
相加的结果即为补偿之后的第一补偿块的颜色分量。
S68：利用第二补偿系数确定第二补偿块的颜色分量的补偿系数，将第二补偿块的颜色分量的补偿系数与对应的第二补偿块的颜色分量相加。
相加的结果即为补偿之后的第二补偿块的颜色分量。
S67和S68的执行顺序仅为示意，实际可以调换或者同时执行。S67和S68可以在每次计算出一个第一和第二补偿系数后都执行一次，也可以在计算出多个第一和第二补偿系数后统一执行，例如计算出一个第一拼接块的所有颜色分量的第一和第二补偿系数后统一执行，或者计算出所有第一拼接块的所有颜色分量的第一和第二补偿系数后统一执行等。
请参阅图8，图8为本发明拼接补偿装置一实施例的结构示意图。如图8所示，该拼接补偿装置30包括处理器31。
处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
拼接补偿装置30可以进一步包括存储器(图中未示出)，用于存储处理器31运行所需的指令和数据。
处理器31用于执行指令以实现上述本发明拼接补偿方法任一实施例及任意不冲突的组合所提供的方法。
参阅图9，图9为本发明存储介质一实施例的结构示意图。本发明实施例的存储介质40存储有指令，该指令被执行时实现本发明拼接补偿方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令可以形成程序文件以软件产品的形式存储在上述存储介质中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种拼接补偿方法，其特征在于，包括：
获取待拼接的部分重叠的第一图像和第二图像；
确定所述第一图像的第一拼接区域以及所述第二图像的第二拼接区域，所述第一拼接区域与所述第二拼接区域重叠，所述第一拼接区域被划分为多个第一拼接块，所述第二拼接区域以与所述第一拼接区域相同的方式被划分为多个第二拼接块，所述第一拼接区域和所述第二拼接区域均包括所述第一图像和所述第二图像的拼缝；
利用所述第一拼接块的至少一个颜色分量的统计值获取第一补偿系数，和/或利用所述第二拼接块的至少一个颜色分量的统计值获取第二补偿系数，所述第一补偿系数代表所述第一拼接块的所述颜色分量的补偿系数，所述第二补偿系数代表所述第二拼接块的所述颜色分量的补偿系数；
利用所述第一补偿系数对所述颜色分量进行补偿，其中所述颜色分量是所述第一拼接块对应的第一补偿块的，所述第一补偿块包括所述第一拼接块的可视区域的部分或全部，和/或利用所述第二补偿系数对所述颜色分量进行补偿，其中所述颜色分量所述第二拼接块对应的第二补偿块的，所述第二补偿块包括所述第二拼接块的可视区域的部分或全部。
2.根据权利要求1所述的方法，其特征在于，
每个所述第一拼接块和每个所述第二拼接块包括至少一条贯通线，所述贯通线与所述拼缝不平行且与所述拼缝有交点。
3.根据权利要求2所述的方法，其特征在于，
所述第一图像和所述第二图像横向拼接，所述贯通线为所述第一/第二拼接区域的一整行；或
所述第一图像和所述第二图像纵向拼接，所述贯通线为所述第一/第二拼接区域的一整列。
4.根据权利要求1所述的方法，其特征在于，
所述利用所述第一拼接块的至少一个颜色分量的统计值获取第一补偿系数，和/或利用所述第二拼接块的至少一个颜色分量的统计值获取第二补偿系数，包括：
分别计算所述第一拼接块的所述颜色分量的统计值与对应的所述第二拼接块的所述颜色分量的统计值的比值；
对所述比值进行平滑滤波；
将平滑滤波后的比值作为所述第二补偿系数，或将所述平滑滤波后的比值的倒数作为所述第一补偿系数；
所述利用所述第一补偿系数对所述颜色分量进行补偿，其中所述颜色分量是所述第一拼接块对应的第一补偿块的，所述第一补偿块包括第一拼接块的可视区域的部分或全部，和/或利用所述第二补偿系数对所述颜色分量进行补偿，其中所述颜色分量所述第二拼接块对应的第二补偿块的，所述第二补偿块包括第二拼接块的可视区域的部分或全部包括：
利用所述第一补偿系数确定所述第一补偿块的所述颜色分量的补偿系数，将所述第一补偿块的所述颜色分量的补偿系数与对应的所述第一补偿块的所述颜色分量相乘；或
利用所述第二补偿系数确定所述第二补偿块的所述颜色分量的补偿系数，将所述第二补偿块的所述颜色分量的补偿系数与对应的所述第二补偿块的所述颜色分量相乘。
5.根据权利要求1所述的方法，其特征在于，
所述利用所述第一拼接块的至少一个颜色分量的统计值获取第一补偿系数，和/或利用所述第二拼接块的至少一个颜色分量的统计值获取第二补偿系数包括：
分别计算所述第一拼接块的所述颜色分量的统计值与对应的所述第二拼接块的所述颜色分量的统计值的比值；
对所述比值进行平滑滤波；
利用平滑滤波后的比值计算第一系数和第二系数，所述平滑滤波后的比值为所述第一系数与所述第二系数的乘积，且所述第一系数和所述第二系数均比所述平滑滤波后的比值更接近1，所述第一系数的倒数作为所述第一补偿系数，所述第二系数作为所述第二补偿系数；
所述利用所述第一补偿系数对所述颜色分量进行补偿，其中所述颜色分量是所述第一拼接块对应的第一补偿块的，所述第一补偿块包括第一拼接块的可视区域的部分或全部，和/或利用所述第二补偿系数对所述颜色分量进行补偿，其中所述颜色分量所述第二拼接块对应的第二补偿块的，所述第二补偿块包括第二拼接块的可视区域的部分或全部包括：
利用所述第一补偿系数确定所述第一补偿块的所述颜色分量的补偿系数，将所述第一补偿块的所述颜色分量的补偿系数与对应的所述第一补偿块的所述颜色分量相乘；并
利用所述第二补偿系数确定所述第二补偿块的所述颜色分量的补偿系数，将所述第二补偿块的所述颜色分量的补偿系数与对应的所述第二补偿块的所述颜色分量相乘。
6.根据权利要求1所述的方法，其特征在于，
所述利用所述第一拼接块的至少一个颜色分量的统计值获取第一补偿系数，和/或利用所述第二拼接块的至少一个颜色分量的统计值获取第二补偿系数包括：
计算所述第一拼接块的所述颜色分量的统计值与对应的所述第二拼接块的所述颜色分量的统计值的差值；
对所述差值进行平滑滤波；
将平滑滤波后的差值作为所述第二补偿系数，或将所述平滑滤波后的差值的相反数作为所述第一补偿系数；
所述利用所述第一补偿系数对所述颜色分量进行补偿，其中所述颜色分量是所述第一拼接块对应的第一补偿块的，所述第一补偿块包括第一拼接块的可视区域的部分或全部，和/或利用所述第二补偿系数对所述颜色分量进行补偿，其中所述颜色分量所述第二拼接块对应的第二补偿块的，所述第二补偿块包括第二拼接块的可视区域的部分或全部包括：
利用所述第一补偿系数确定所述第一补偿块的所述颜色分量的补偿系数，将所述第一补偿块的所述颜色分量的补偿系数与对应的所述第一补偿块的所述颜色分量相加；或
利用所述第二补偿系数确定所述第二补偿块的所述颜色分量的补偿系数，将所述第二补偿块的所述颜色分量的补偿系数与对应的所述第二补偿块的所述颜色分量相加。
7.根据权利要求1所述的方法，其特征在于，
所述利用所述第一拼接块的至少一个颜色分量的统计值获取第一补偿系数，和/或利用所述第二拼接块的至少一个颜色分量的统计值获取第二补偿系数包括：
计算所述第一拼接块的所述颜色分量的统计值与对应的所述第二拼接块的所述颜色分量的统计值的差值；
对所述差值进行平滑滤波；
利用平滑滤波后的差值计算第三系数和第四系数，所述平滑滤波后的差值为所述第三系数与所述第四系数的和，所述第三系数、所述第四系数以及所述平滑滤波后的差值的符号相同，且所述第三系数的绝对值和所述第四系数的绝对值均小于所述平滑滤波后的差值的绝对值，所述第三系数的相反数作为所述第一补偿系数，所述第四系数作为所述第二补偿系数；
所述利用所述第一补偿系数对所述颜色分量进行补偿，其中所述颜色分量是所述第一拼接块对应的第一补偿块的，所述第一补偿块包括第一拼接块的可视区域的部分或全部，和/或利用所述第二补偿系数对所述颜色分量进行补偿，其中所述颜色分量所述第二拼接块对应的第二补偿块的，所述第二补偿块包括第二拼接块的可视区域的部分或全部包括：
利用所述第一补偿系数确定所述第一补偿块的所述颜色分量的补偿系数，将所述第一补偿块的所述颜色分量的补偿系数与对应的所述第一补偿块的所述颜色分量相加；并
利用所述第二补偿系数确定所述第二补偿块的所述颜色分量的补偿系数，将所述第二补偿块的所述颜色分量的补偿系数与对应的所述第二补偿块的所述颜色分量相加。
8.根据权利要求4-7中任一项所述的方法，其特征在于，
所述第一补偿块包括第一固定补偿块和/或第一过渡补偿块，所述第一固定补偿块为第一拼接块的可视区域，所述第一过渡补偿块位于第一过渡区域中，与所述第一拼接区域相邻，且比所述第一拼接区域离所述第二图像更远，所述第一过渡区域为沿所述第一图像的拼缝朝远离所述第二图像方向上延续的预设区域，所述第一固定补偿块的所述颜色分量的补偿系数为所述第一补偿系数，所述第一固定补偿块的所述颜色分量的补偿系数沿着远离所述第二图像的方向从所述第一补偿系数平滑过渡至基础系数，所述基础系数为不补偿的系数；
所述第二补偿块包括第二固定补偿块和/或第二过渡补偿块，所述第二固定补偿块为第二拼接块的可视区域，所述第二过渡补偿块位于第二过渡区域中，与所述第二拼接区域相邻，且比所述第二拼接区域离所述第一图像更远，所述第二过渡区域为沿所述第二图像的拼缝朝远离所述第一图像方向上延续的预设区域，所述第二固定补偿块的所述颜色分量的补偿系数为所述第二补偿系数，所述第二固定补偿块的所述颜色分量的补偿系数沿着远离所述第一图像的方向从所述第二补偿系数平滑过渡至所述基础系数。
9.根据权利要求4-7中任一项所述的方法，其特征在于，
所述统计值为总和或平均值。
10.根据权利要求4-7中任一项所述的方法，其特征在于，
所述平滑滤波为均值平滑或中值平滑。
11.一种拼接补偿装置，其特征在于，所述拼接补偿装置包括处理器，
所述处理器用于执行指令以实现如权利要求1-10中任一项所述的方法。
12.一种存储介质，存储有指令，其特征在于，所述指令被执行时实现如权利要求1-10中任一项所述的方法。
CN201910989628.1A 2019-10-17 2019-10-17 拼接补偿方法、装置及存储介质 Active CN110807733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910989628.1A CN110807733B (zh) 2019-10-17 2019-10-17 拼接补偿方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910989628.1A CN110807733B (zh) 2019-10-17 2019-10-17 拼接补偿方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110807733A CN110807733A (zh) 2020-02-18
CN110807733B true CN110807733B (zh) 2023-04-07

Family

ID=69488550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910989628.1A Active CN110807733B (zh) 2019-10-17 2019-10-17 拼接补偿方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110807733B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125410A (zh) * 2014-07-02 2014-10-29 深圳英飞拓科技股份有限公司 一种全景视频多镜头曝光补偿方法及其装置
CN107424179A (zh) * 2017-04-18 2017-12-01 微鲸科技有限公司 一种图像均衡方法及装置
CN108734651A (zh) * 2017-04-19 2018-11-02 睿致科技股份有限公司 图像拼接方法及其图像拼接装置
CN109300084A (zh) * 2017-07-25 2019-02-01 杭州海康汽车技术有限公司 一种图像拼接方法、装置、电子设备及存储介质
CN109920360A (zh) * 2019-04-11 2019-06-21 深圳市华星光电技术有限公司 一种拼接屏的显示亮度补偿方法及补偿系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150048967A (ko) * 2013-10-28 2015-05-11 삼성디스플레이 주식회사 표시 장치 및 이의 광학 보상 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125410A (zh) * 2014-07-02 2014-10-29 深圳英飞拓科技股份有限公司 一种全景视频多镜头曝光补偿方法及其装置
CN107424179A (zh) * 2017-04-18 2017-12-01 微鲸科技有限公司 一种图像均衡方法及装置
CN108734651A (zh) * 2017-04-19 2018-11-02 睿致科技股份有限公司 图像拼接方法及其图像拼接装置
CN109300084A (zh) * 2017-07-25 2019-02-01 杭州海康汽车技术有限公司 一种图像拼接方法、装置、电子设备及存储介质
CN109920360A (zh) * 2019-04-11 2019-06-21 深圳市华星光电技术有限公司 一种拼接屏的显示亮度补偿方法及补偿系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏子凡.多摄像头视频实时拼接技术研究.《中国优秀硕士学问论文电子期刊》.2018,全文. *

Also Published As

Publication number Publication date
CN110807733A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110622497B (zh) 具备具有不同焦距的相机的设备及实现相机的方法
CN101646022B (zh) 一种图像拼接的方法、系统
US7424218B2 (en) Real-time preview for panoramic images
US7548659B2 (en) Video enhancement
US7839422B2 (en) Gradient-domain compositing
EP3929867A2 (en) Image fusion method and portable terminal
US8754961B2 (en) Apparatus and method for generating image data from overlapping regions of images
CN109992226A (zh) 图像显示方法、装置及拼接显示屏
DE102014014944A1 (de) Füllen eines Zielbereichs unter Verwendung von Transformationen
CN111459430A (zh) 一种视频图像拼接方法、存储介质及显示设备
NL2016660B1 (en) Image stitching method and device.
CN113269697B (zh) 一种曲面屏图像的生成方法及装置
CN109300084B (zh) 一种图像拼接方法、装置、电子设备及存储介质
US20110141348A1 (en) Parallel processor for providing high resolution frames from low resolution frames
CN109685721B (zh) 全景画面拼接方法、装置、终端及对应的存储介质
US11250643B2 (en) Method of providing virtual exhibition space using 2.5-dimensionalization
TW200822719A (en) Image processing device, image processing method, and program
CN114390262A (zh) 用于拼接三维球面全景影像的方法及电子装置
CN109600667B (zh) 一种基于网格与帧分组的视频重定向的方法
CN110807733B (zh) 拼接补偿方法、装置及存储介质
Pan et al. Color adjustment in image-based texture maps
CN106127744B (zh) 图像前景和背景边界显著性评估方法及系统
WO2022247394A1 (zh) 图像拼接方法及装置、存储介质及电子设备
JPWO2019049457A1 (ja) 画像生成装置および画像生成方法
US20170206637A1 (en) Image correction apparatus and image correction method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant