CN116485645A - 图像拼接方法、装置、设备及存储介质 - Google Patents

图像拼接方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116485645A
CN116485645A CN202310400213.2A CN202310400213A CN116485645A CN 116485645 A CN116485645 A CN 116485645A CN 202310400213 A CN202310400213 A CN 202310400213A CN 116485645 A CN116485645 A CN 116485645A
Authority
CN
China
Prior art keywords
images
gain
image
adjacent
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310400213.2A
Other languages
English (en)
Inventor
王香伟
孟庆月
宋春雨
刘星
李志男
赵晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202310400213.2A priority Critical patent/CN116485645A/zh
Publication of CN116485645A publication Critical patent/CN116485645A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了图像拼接方法、装置、设备及存储介质。本公开涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域。具体方案为：获取待拼接的多个图像以及多个图像中相邻图像之间的特征匹配关系；根据多个图像中相邻图像之间的特征匹配关系，确定多个图像中相邻图像之间的第一增益映射矩阵；根据多个图像中相邻图像之间的第一增益映射矩阵，确定多个图像中相邻图像之间的第二增益映射矩阵；根据第二增益映射矩阵，对多个图像进行图像色彩映射，得到多个图像分别对应的目标图像；基于多个图像分别对应的目标图像进行拼接，得到全景图像。根据本公开的方案，能够减小相邻图像的明暗差异，提高拼接得到的全景图像的质量。

Description

图像拼接方法、装置、设备及存储介质
技术领域
本公开涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于图像拼接等场景。
背景技术
全景图像拼接是一种图像拼接算法，输入为环绕拍摄一圈的针孔相机得到的图像，输出为全景图像。该图像拼接过程分为三步：第一步，图像特征提取和图像间特征匹配；第二步，根据第一步得到的图像进行相对位姿计算；第三步，将针孔图像投影到全景球上，并融合边界。但是，在图像拼接过程中，由于相邻图像拍摄时曝光参数不同，因此，导致相邻图像存在明暗差异问题，得到的全景图像的质量较低。
发明内容
本公开提供了一种图像拼接方法、装置、设备及存储介质。
根据本公开的第一方面，提供了一种图像拼接方法，包括：
获取待拼接的多个图像以及多个图像中相邻图像之间的特征匹配关系；
根据多个图像中相邻图像之间的特征匹配关系，确定多个图像中相邻图像之间的第一增益映射矩阵；
根据多个图像中相邻图像之间的第一增益映射矩阵，确定多个图像中相邻图像之间的第二增益映射矩阵；
根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像进行图像色彩映射，得到多个图像分别对应的目标图像；
基于多个图像分别对应的目标图像进行拼接，得到全景图像。
根据本公开的第二方面，提供了一种图像拼接装置，包括：
获取模块，用于获取待拼接的多个图像以及多个图像中相邻图像之间的特征匹配关系；
第一确定模块，用于根据多个图像中相邻图像之间的特征匹配关系，确定多个图像中相邻图像之间的第一增益映射矩阵；
第二确定模块，用于根据多个图像中相邻图像之间的第一增益映射矩阵，确定多个图像中相邻图像之间的第二增益映射矩阵；
图像色彩映射模块，用于根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像进行图像色彩映射，得到多个图像分别对应的目标图像；
拼接模块，用于基于多个图像分别对应的目标图像进行拼接，得到全景图像。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；
与至少一个处理器通信连接的存储器；
存储器存储有可以被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行本公开中任一实施例的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行根据本公开中任一实施例的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括存储在存储介质上的计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
根据本公开的方案，能够减小相邻图像的明暗差异，提高拼接得到的全景图像的质量。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1是根据本公开实施例的图像拼接方法的流程示意图；
图2是根据本公开实施例的全景图像拼接的整体流程示意图；
图3是根据本公开实施例的计算第一增益映射矩阵的流程示意图；
图4是根据本公开实施例的确定相邻图像量化增益值之间的映射关系的流程示意图；
图5是根据本公开实施例的增益映射表的获取示意图；
图6是根据本公开实施例的融合处理示意图；
图7是根据本公开实施例的色彩映射处理示意图；
图8是根据本公开实施例的图像拼接装置的结构示意图；
图9是根据本公开实施例的图像拼接的场景示意图；
图10是用来实现本公开实施例的图像拼接方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开的说明书实施例和权利要求书及上述附图中的术语“第一”“第二”和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相关技术中，为了解决图像拼接过程中相邻图像出现的明暗差异问题，通常通过增益补偿来解决该问题。
第一种增益补偿方法是通过锁曝光来实现增益补偿，具体为：在拍摄时进行曝光锁定，保障用于拼接的不同图像的曝光系数一致，从源头上解决明暗问题。该方法通常在端上进行曝光锁定。但是，在拍摄时进行曝光锁定的方法可能不适用于所有拍摄图像，导致图像可能会出现过曝或欠曝的问题。其中，过曝是指曝光系数过大，图像太亮；欠曝是指曝光系数过小，图像太暗。由于图像过曝或欠曝都会损失图像信息，从而造成不好的拼接效果。更重要的是，一般手机的拍摄应用编程接口(Application Programming Interface，API)不提供完整的相机控制权限。一般情况下，仅能控制部分参数，其余参数仍为自动设置。因此，无法保障任意两张图像的拍摄参数相同。
第二种增益补偿方法是通过算法计算曝光系数来实现增益补偿，具体为：端上不锁曝光，通过算法计算出图像的曝光系数比例，根据曝光比例进行增益补偿，从而解决明暗问题。算法计算曝光系数是一种相对可控的方案。但是，目前算法通过假设两张图像之前的增益是线性的，整体使用一个参数或者图像的每个通道使用一个参数来进行增益补偿。然而，在实际情况中，图像的增益并不是线性的，这个参数量无法准确表征图像的增益变化，导致拼接出的全景图像质量较差。
需要说明的是，在说明书中，可将图像i记为Ii，可将图像j记为Ij。
本公开为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，提出了一种用于全景拼接的图像拼接方法。通过计算待拼接图像的完整增益映射矩阵，对待拼接图像进行图像色彩映射，能够减小相邻图像的明暗差异，进而提高拼接得到的全景图像的质量。
本公开实施例提供了一种图像拼接方法，图1是根据本公开实施例的图像拼接方法的流程示意图，该图像拼接方法可以应用于图像拼接装置。该图像拼接装置位于电子设备上。该电子设备包括但不限于固定设备和/或移动设备。例如，固定设备包括但不限于服务器，服务器可以是云服务器或普通服务器。例如，移动设备包括但不限于：手机、平板电脑、车载终端。在一些可能的实现方式中，该图像拼接方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，该图像拼接方法包括：
S101：获取待拼接的多个图像以及多个图像中相邻图像之间的特征匹配关系；
S102：根据多个图像中相邻图像之间的特征匹配关系，确定多个图像中相邻图像之间的第一增益映射矩阵；
S103：根据多个图像中相邻图像之间的第一增益映射矩阵，确定多个图像中相邻图像之间的第二增益映射矩阵；
S104：根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像进行图像色彩映射，得到多个图像分别对应的目标图像；
S105：基于多个图像分别对应的目标图像进行拼接，得到全景图像。
本公开实施例中，该待拼接的多个图像可以通过针孔相机环绕拍摄得到；也可以通过其他电子设备如手机、相机以及广角摄像机获得；还可以是在网络上随机抓取的一组连续图像。以上仅为示例性说明，不作为对待拼接的多个图像的全部可能的获取方式的限定，只是这里不做穷举。
本公开实施例中，采集该待拼接的多个图像的设备可以是普通摄像设备，例如相机、手机以及摄像头；也可以是无人机航拍设备；还可以是卫星拍摄设备。以上仅为示例性说明，不作为对获取待拼接的多个图像的全部可能的设备的限定，只是这里不做穷举。
本公开实施例中，该待拼接的多个图像可以涉及多个场景的图像。例如，一栋别墅的多个图像。又例如，一所大学的多个图像。再例如，一座工程的多个图像。以上仅为示例性说明，不作为对待拼接的多个图像包括的全部可能的应用场景的限定，只是这里不做穷举。
本公开实施例中，该目标图像为经过亮度校正后的图像。根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像进行图像色彩映射，得到多个图像分别对应的目标图像。
本公开实施例中，将待拼接的多个图像，组成的集合记为{Ii}，i的取值为从1到N。将多个目标图像组成的集合记为i的取值为从1到N。对输入的图像集合{Ii}进行增益补偿，得到增益补偿后的图像集合/>
本公开实施例中，特征匹配关系是指相邻图像之间相同特征点的对应关系。即：第一张图像和第二张图像上同一个目标对象特征点的匹配关系；例如，左图横轴x＝10与纵轴y＝15的第一交叉点，与右图中横轴x＝20与纵轴y＝15的第二交叉点，是同一个目标对象的同一个特征点。实际应用中，可采用特征匹配算法来确定多个图像中相邻图像之间的特征匹配关系。本公开实施例不对特征匹配算法的具体类型进行限定。
本公开实施例中，任意两张相邻图像Ii和Ij的特征匹配关系可用M{ij}表示。M{ij}具体表示任意两张相邻图像Ii和Ij的特征匹配关系的集合。该任意两张相邻图像Ii和Ij的特征匹配关系的集合通过公式(1)进行求解：
其中，k从1到K，K为相邻图像Ii和Ij的特征匹配数量，表示图像Ii中第k个匹配点的位置，/>表示图像Ij中第k个匹配点的位置。
示例性地，表示图像Ii中第一个匹配点与图像Ij中第一个匹配点的特征匹配关系；/>表示图像Ii中第二个匹配点与图像Ij中第二个匹配点的特征匹配关系。
图2示出了全景图像拼接的整体流程示意图，如图2所示，该流程包括：S201，初始增益系数计算。这里，初始增益系数可以理解为初始增益映射矩阵，也即第一增益映射矩阵。具体地，根据多个图像中相邻图像之间的特征匹配关系，确定多个图像中相邻图像之间第一增益映射矩阵。其中，该第一增益映射矩阵用于表征相邻图像之间的像素的亮度值的增益映射关系，该增益映射关系具体可以表征为{Aj:Bi}，其中，在图像Ij中的像素，即亮度值A，等价于图像Ii中的像素即亮度值B。由于特征点像素不能覆盖全部的像素亮度值，故此时的映射是稀疏的。S202，对初始增益系数进行优化，得到完整增益系数。这里，完整增益系数可以理解为完整增益映射矩阵，也即第二增益映射矩阵。具体地，根据多个图像中相邻图像之间的第一增益映射矩阵，确定多个图像中相邻图像之间的第二增益映射矩阵。S203，基于完整增益系数对图像进行增益补偿，得到目标图像。
举例来说，获取一组待拼接的大学校门的10张图像以及该组图像相邻图像之间的特征匹配关系；根据该组图像中相邻图像之间的特征匹配关系，确定该组图像中相邻图像之间的第一增益映射矩阵；根据该组图像中相邻图像之间的第一增益映射矩阵，确定该组图像中相邻图像之间的第二增益映射矩阵；根据该组图像中相邻图像之间的第二增益映射矩阵，对该组图像进行图像色彩映射，得到该组图像分别对应的目标图像；基于该组图像分别对应的目标图像进行拼接，得到该大学校门的全景图像。
本公开实施例的技术方案，获取待拼接的多个图像以及多个图像中相邻图像之间的特征匹配关系；根据多个图像中相邻图像之间的特征匹配关系，确定多个图像中相邻图像之间的第一增益映射矩阵；根据多个图像中相邻图像之间的第一增益映射矩阵，确定多个图像中相邻图像之间的第二增益映射矩阵；根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像进行图像色彩映射，得到多个图像分别对应的目标图像；基于多个图像分别对应的目标图像进行拼接，得到全景图像，能够减小相邻图像的明暗差异，提高拼接得到的全景图像的质量。
图3示出了计算第一增益映射矩阵的流程示意图，如图3所示，该流程可包括：
S301：根据相邻图像之间的特征匹配关系，确定相邻图像之间的所有匹配点的像素增益值；
S302：将所有匹配点的像素增益值分配至各像素所属像素区间，将各像素所属像素区间的标识，作为像素增益值的量化增益值；
S303：确定相邻图像量化增益值之间的映射关系；
S304：基于相邻图像量化增益值之间的映射关系，确定相邻图像之间的第一增益映射矩阵。
这里，若任意两张相邻图像i和j的特征匹配数量为K，则所有匹配点的像素增益值，即K个匹配点的像素增益值。
本公开实施例中，图像的像素增益值相当于图像的亮度值。具体地，曝光是通过三个参数决定的，第一个参数是光圈大小，当光圈越大，图像亮度越高；第二个参数是曝光时间，曝光时间越长，图像亮度越高；第三个参数是传感器的增益系数，增益系数越大，图像亮度越高。相关技术中，拍照设备仅能控制其中的一个或两个参数，不能完全控制三个参数。因此，无法保障任意两张图像的拍摄参数相同。
本公开实施例中，若图像j和图像i中的第一组匹配点，该第一组匹配点在图像j中的像素值，即增益值为20，该第一组匹配点在图像i中的像素值，即增益值为30，则第一组匹配点的增益映射表示为{20：30}。在图像j中的像素，即亮度值20，等价于图像i中的像素即亮度值30。其中，由于特征点像素不能覆盖全部的像素亮度值，故此时的映射是稀疏的。
本公开实施例中，将所有匹配点的像素增益值分配至各像素所属像素区间，将各像素所属像素区间的标识，作为像素增益值的量化增益值。具体地，将像素区间0～255划分为N个区域，将像素根据增益值分配到各个区间，并将区间标识号(Identity Document，ID)作为像素的量化之后的像素增益值，其中，每个区域的区间长度D＝256/N。示例性地，若N＝16，则256/16＝16，像素0～15被划分至第一区间，像素16～31被划分至第二区间，像素32～47被划分至第三区间，以此类推，直至像素240～255被划分至第十六区间。
本公开实施例中，将所有匹配点的像素增益值分配至各像素所属像素区间，等价于进行了一次量化操作，把其中的一个区间内的全部数值，用一个数来表征的操作，叫做量化。示例性地，像素0～16的量化增益值＝1，像素16～32的量化增益值＝2。其中，对像素增益值的值做量化，可以理解为将像素增益值划分到横轴总长度为16、纵轴总长度为16组成的坐标系中，横、纵轴的单位长度均为1，横轴形成表示图像j的16个格子，纵轴形成表示图像i的16个格子。例如，像素点1在图像j中的像素值为20，像素点1在图像i中的像素值为30，则将图像j中的像素点1划分放到横轴第2个格子中，将图像i中的像素点1也划分到纵轴第2个格子中，即(20，30)经过量化之后为(2，2)。示例性地，(23，31)可量化成(2，2)；(33，35)可量化成(3，3)；(13，31)可量化成(1，2)。实际应用中，可以将像素增益值分配到各个格子里，求均值，再对均值做量化；也可以将像素增益值分配到各个格子里，直接做量化。
如此，根据多个图像中相邻图像之间的特征匹配关系，确定多个图像中相邻图像之间的第一增益映射矩阵，为曝光补偿提供了数据支持，从而有助于减小相邻图像的明暗差异，提高全景拼接的准确性。
图4示出了确定相邻图像量化增益值之间的映射关系的流程示意图，若第一图像(记为图像j)与第二图像(记为图像i)为相邻图像，第一像素值(记为像素值a)为第一图像包括的一个像素值，第一图像中第一像素值在第二图像中对应的像素值为第二像素值(记为像素值a’)，如图4所示，该流程包括：
S401：确定图像j中像素值a在图像i中对应的全部像素值a’；
S402：统计图像j中像素值a的出现次数；
S403：确定图像j中像素值a在图像i中对应的所有像素值a’的方差；
S404：响应于检测到出现次数大于第一阈值且方差小于第二阈值，建立图像j中像素值a与图像i中全部像素值a’的中值之间的第一增益映射关系。
以此类推，得到多个第一增益映射关系。
其中，图像j与图像i为相邻图像，像素值a为图像j包括的一个像素值，相邻图像量化增益值之间的映射关系，包括多个第一增益映射关系。
本公开实施例中，若图像j中有两个匹配点的像素值相同。示例性的，在图像j中，第一个匹配点，即像素值为a，在图像i中对应的像素值为a’记为a1’；在图像j中第二个匹配点，即像素值为a，在图像i中对应的像素值为a’记为a2’，图像j中像素值a的出现次数为2。其中，a1’，a2’的值可能相同，也可能不同。
图5示出了增益映射表的获取示意图，如图5所示，该流程包括：
S501：初始化映射表G{i，j}；
S502：初始化i＝0；
S503：获取第i对匹配的增益{Ii，Ji}，
S504：判断是否在初始化增益表中，如果在，执行S505，如果不在，执行S506；
S505：G[Ji]＝[Ii]，然后进入S507；
S506：G[Ji]＝append(Ii)，然后进入S507；其中，append(Ii)表示使用append()函数在指定元素的结尾插入内容；
S507：执行i＝i+1，然后进入S508：
S508：判断i是否小于N，如果是，返回S503；如果否，执行S509；
S509：遍历映射表，如果映射值数量大于第一阈值且方差小于第二阈值，则修改映射值为该组数据中值，否则删除该映射值。
通过上述流程，可以得到第一增益映射矩阵。
如此，通过确定图像j中像素值a出现次数以及图像j中的像素值a在图像i中对应的所有像素值的方差，得到相邻图像量化增益值之间的映射关系，能够得到较为准确的第一增益映射矩阵，从而有助于提高第二增益映射矩阵的准确度，能够减小相邻图像的明暗差异，提高全景拼接的准确性。
在一些实施例中，根据多个图像中相邻图像之间的第一增益映射矩阵，确定多个图像中相邻图像之间的第二增益映射矩阵，包括：基于多个图像中相邻图像之间的第一增益映射矩阵，对多个图像中相邻图像之间的第一类增益值进行融合处理，得到多个图像中相邻图像之间的第三增益映射矩阵；基于多个图像中相邻图像之间的第三增益映射矩阵，对多个图像中相邻图像之间的第二类增益值进行补全处理，得到多个图像中相邻图像之间的第二增益映射矩阵。
这里，该第三增益映射矩阵，可以理解为更新后的第一增益映射矩阵。
本公开实施例中，该第一类增益值是不符合映射曲线规律的增益值。该第二类增益值是符合映射曲线规律的增益值。示例性地，若相邻两增益值之间的连线的斜率值与已知增益值之间的连线的斜率值相乘为负数，则判定不满足映射曲线规律，将相邻两增益值确定为第一类增益值，否则，判定满足映射曲线规律，将相邻两增益值确定为第二类增益值。
本公开实施例中，该融合处理具体是指对多个图像中相邻图像之间的第一类增益值进行滤波。一般来说，增益映射曲线是单调递增或是单调递减。图6示出了融合处理示意图，如图6所示，该增益映射曲线总体呈递增趋势。但是，存在折线，折线的两端有两个点C和D，C点坐标为(x1,y1)，D点坐标为(x2,y2)，将C点和D点的横坐标值和纵坐标值分别取平均值，即横坐标为(x1+x2)/2，纵坐标为(x1+x2)/2，得到新的点E，将C点和D点从该折线中去除，将E点作为折线的节点，得到新的曲线。从而，实现了在增益映射时，在保持顺序不变的前提下，即原来增益值高的像素映射之后依然是高的，原来增益值低的像素映射之后依然是低的。这里，该滤波的含义实际上是指融合处理。
本公开实施例中，遍历第一增益映射矩阵，若检测到增益值不满足映射曲线变化规律，则将不满足映射曲线变化规律的映射前的增益值与映射后的增益值进行融合处理，基于融合处理后的增益值，得到第三增益映射矩阵。其中，融合方式可以是指对映射前的增益值与映射后的增益值取平均值；遍历第一增益映射矩阵，可以按照像素值从低到高的顺序，或像素值从高到低的顺序进行遍历。这里，不对遍历的顺序进行具体限定。
如此，根据多个图像中相邻图像之间的第一增益映射矩阵，确定多个图像中相邻图像之间的第二增益映射矩阵，实现了对增益映射的优化，能够提高增益补偿的准确度，从而提高全景拼接的图像的质量。
在一些实施例中，对多个图像中相邻图像之间的第一类增益值进行融合处理，包括：对相邻两增益值中映射前的第一类增益值与映射后的第一类增益值取平均值，得到第二类增益值；在相邻两增益值之间添加第二类增益值，并去除相邻两增益值，第一类增益值是不符合映射曲线规律的增益值，第二类增益值是符合映射曲线规律的增益值。
本公开实施例中，对相邻两增益值中映射前的第一类增益值与映射后的第一类增益值取平均值，得到第二类增益值；在相邻两增益值之间添加第二类增益值，并去除相邻两增益值，第一类增益值是不符合映射曲线规律的增益值，第二类增益值是符合映射曲线规律的增益值。其中，第二类增益值是符合映射曲线规律的增益值，第一类映射值是不符合映射曲线规律的增益值。第二类增益值用于替换第一类增益值，第二类增益值不等于映射前的第一类增益值，第三类增益值不等于映射后的第二类增益值。
如此，通过在相邻两增益值之间添加第二类增益值，并去除相邻两增益值的融合处理方法，能提高多个图像中相邻图像之间的第一增益映射矩阵的准确度，进而有助于能提高多个图像中相邻图像之间的第二增益映射矩阵的准确度，可以有效减小相邻图像的明暗差异，提高全景拼接的图像的质量。
在一些实施例中，基于多个图像中相邻图像之间的第三增益映射矩阵，对多个图像中相邻图像之间的第二类增益值进行补全处理，包括：基于多个图像中相邻图像之间的第三增益映射矩阵进行反量化处理；基于反量化处理后的第三增益映射矩阵，针对0～255之间的像素值，利用相邻的两个增益映射进行插值处理，得到相邻图像之间每个像素值的增益映射关系；基于相邻图像之间每个像素值的增益映射关系，得到相邻图像之间的第二增益映射矩阵。
本公开的实施例中，表示图像像素明暗程度的参数的数值范围一般为0～255。其中，参数的数值为255表示纯白色，参数的数值为0表示纯黑色。其余的参数数值表示从纯白色到纯黑色之间不同级别的灰度。具体的，在0～255参数范围内，用于表示灰度级别的有256个。
在一些实施例中，该第三增益映射矩阵包括T个像素值的映射关系。根据T个像素值的映射关系，补全256个像素值的映射关系。其中，T<<256。具体地，将像素值0映射为像素值0，像素值255映射为像素值255，上述映射是由增益映射特性决定的。由于第一增益映射矩阵对0～255进行了量化，量化成了1～16；所以在生成第二增益映射之前，需要先将第三增益映射矩阵进行反量化处理，再反量化成0～255。具体地，将0～15映射成8或7.5，将16～31映射成24或23.5，将0～255中尚缺少的值进行插值。其中，插值是利用已知邻近像素点的灰度值来产生未知像素点的灰度值，便于原始图像再生出具有更高分辨率的图像。
为了解决第一增益映射矩阵中的映射关系数量较少的问题，基于多个图像中相邻图像之间的优化之后的第一增益映射矩阵(即第三增益映射矩阵)，对多个图像中相邻图像之间的第二类增益值进行补全处理，得到多个图像中相邻图像之间的第二增益映射矩阵。其中，第一映射矩阵只包含0～255中部分像素值量化之后的对应关系；第二映射矩阵包括0～255所有像素值的对应关系。
如此，基于相邻图像之间每个像素值的增益映射关系，得到相邻图像之间的第二增益映射矩阵，能够基于第二增益映射矩阵得到更为准确的目标图像，从而减小相邻图像的明暗差异，实现高质量的全景图像拼接。
图7示出了色彩映射处理示意图，如图7所示，该处理流程包括：
S701：确定多个图像分别对应的第一区域和第二区域；
S702：根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像的第一区域和第二区域进行色彩映射处理。
本公开的实施例中，图像i和图像j是两张相邻的图像。该第一区域为图像j距离图像i较近的区域。该第二区域为图像j距离图像i较远的区域。
本公开的实施例中，确定多个图像分别对应的第一区域和第二区域；根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像的第一区域和第二区域进行色彩映射处理。具体地，按照该多个图像中相邻图像之间的第二增益映射矩阵，将图像Ij映射到使得/>与Ii具备相同的色彩增益。
如此，根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像的第一区域和第二区域进行色彩映射处理。通过渐进改变的方式，减小相邻图像的明暗差异，提高全景拼接图像的质量。
在一些实施例中，根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像的第一区域和第二区域进行色彩映射处理，包括：根据多个图像中相邻图像之间的第二增益映射矩阵，获取第一图像与第二图像的第二增益映射关系；按照第二增益映射关系在第二图像的第一区域进行色彩映射处理在第一图像的第二区域不执行色彩映射处理；其中，第二图像中第一区域距离第一图像的距离小于第二图像中第二区域距离第一图像的距离。
其中，不执行色彩映射处理，即保持第二图像的第二区域的色彩不变。
在一些实施例中，若第一图像(记为图像j)与第二图像(记为图像i)为相邻图像，根据多个图像中相邻图像之间的第二增益映射矩阵，获取图像j与图像i的第二增益映射关系；按照第二增益映射关系在图像i的第一区域进行色彩映射处理；在图像i的第二区域不执行色彩映射处理；其中，图像i中第一区域距离图像j的距离小于图像i中第二区域距离图像j的距离。其中，由于会同时与两张图像相邻，故此处通过渐进改变的方式，距离图像j较远的区域保持不变。
示例性地，在第二增益映射矩阵中，像素值1映射为像素值2。因此在图像j的像素值1，在图像i距离图像j较近的第一区域；映射为像素值2，在图像i中距离图像j较远的第二区域，像素值1仍然为像素值1。其中，像素值是表示图像像素明暗程度的数值，具体为0～255。
本公开的实施例中，增益值可等同于像素值，也可等同于亮度值。
如此，根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像进行图像色彩映射，得到多个图像分别对应的目标图像；基于多个图像分别对应的目标图像进行拼接，得到全景图像，从而克服了由于相邻图像拍摄时曝光参数不同，导致的全景图像出现明暗差异的问题，进而提高全景拼接图像的质量。
应理解，图2、图3、图4、图5、图6和图7所示的示意图仅仅是示例性而不是限制性的，并且其是可扩展的，本领域技术人员可以基于图2、图3、图4、图5、图6和图7的例子进行各种显而易见的变化和/或替换，得到的技术方案仍属于本公开实施例的公开范围。
本公开实施例提供了一种图像拼接装置，如图8所示，该图像拼接装置可以包括：获取模块801，用于获取待拼接的多个图像以及多个图像中相邻图像之间的特征匹配关系；第一确定模块802，用于根据多个图像中相邻图像之间的特征匹配关系，确定多个图像中相邻图像之间的第一增益映射矩阵；第二确定模块803，用于根据多个图像中相邻图像之间的第一增益映射矩阵，确定多个图像中相邻图像之间的第二增益映射矩阵；图像色彩映射模块804，用于根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像进行图像色彩映射，得到多个图像分别对应的目标图像；拼接模块805，用于基于多个图像分别对应的目标图像进行拼接，得到全景图像。
在一些实施例中，该第一确定模块802，包括：第一确定子模块，用于根据相邻图像之间的特征匹配关系，确定相邻图像之间的所有匹配点的像素增益值；分配子模块，用于将所有匹配点的像素增益值分配至各像素所属像素区间，将各像素所属像素区间的标识，作为像素增益值的量化增益值；第二确定子模块，用于确定相邻图像量化增益值之间的映射关系；第三确定子模块，用于基于相邻图像量化增益值之间的映射关系，确定相邻图像之间的第一增益映射矩阵。
在一些实施例中，该第二确定子模块，用于：确定第一图像中第一像素值在第二图像中对应的第二像素值；统计第一图像中第一像素值的出现次数；确定第一图像中第一像素值在第二图像中对应的所有第二像素值的方差；响应于检测到出现次数大于第一阈值且方差小于第二阈值，建立第一图像中第一像素值与第二图像中全部第二像素值的中值之间的第一增益映射关系，以此类推，得到多个第一增益映射关系；其中，第一图像与第二图像为相邻图像，第一像素值为第一图像包括的一个像素值，相邻图像量化增益值之间的映射关系，包括多个第一增益映射关系。
在一些实施例中，该第二确定模块803，包括：第一处理子模块，用于基于多个图像中相邻图像之间的第一增益映射矩阵，对多个图像中相邻图像之间的第一类增益值进行融合处理，得到多个图像中相邻图像之间的第三增益映射矩阵；第二处理子模块，用于基于多个图像中相邻图像之间的第三增益映射矩阵，对多个图像中相邻图像之间的第二类增益值进行补全处理，得到多个图像中相邻图像之间的第二增益映射矩阵。
在一些实施例中，该第一处理子模块，用于：对相邻两增益值中映射前的第一类增益值与映射后的第一类增益值取平均值，得到第二类增益值；在相邻两增益值之间添加第二类增益值，并去除相邻两增益值，第一类增益值是不符合映射曲线规律的增益值，第二类增益值是符合映射曲线规律的增益值。
在一些实施例中，该第二处理子模块，用于：基于多个图像中相邻图像之间的第三增益映射矩阵进行反量化处理；基于反量化处理后的第三增益映射矩阵，针对0～255之间的像素值，利用相邻的两个增益映射进行插值处理，得到相邻图像之间每个像素值的增益映射关系；基于相邻图像之间每个像素值的增益映射关系，得到相邻图像之间的第二增益映射矩阵。
在一些实施例中，该图像色彩映射模块804，包括：第四确定子模块，用于确定多个图像分别对应的第一区域和第二区域；第三处理子模块，用于根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像的第一区域和第二区域进行色彩映射处理。
在一些实施例中，该第三处理子模块，具体用于：根据多个图像中相邻图像之间的第二增益映射矩阵，获取第一图像与第二图像的第二增益映射关系；按照第二增益映射关系在第二图像的第一区域进行色彩映射处理；在第二图像的第二区域不执行色彩映射处理；其中，第二图像中第一区域距离第一图像的距离小于第二图像中第二区域距离第一图像的距离。
本领域技术人员应当理解，本公开实施例的图像拼接装置中各处理模块的功能，可参照前述的图像拼接方法的相关描述而理解，本公开实施例的图像拼接装置中各处理模块，可通过实现本公开实施例该的功能的模拟电路而实现，也可以通过执行本公开实施例该的功能的软件在电子设备上的运行而实现。
本公开实施例的图像拼接装置，能够减小相邻图像的明暗差异，提高拼接得到的全景图像的质量。
本公开实施例提供了一种图像拼接的场景示意图，如图9所示。
如前所述的，本公开实施例提供的图像拼接方法应用于电子设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。
具体地，电子设备可具体执行以下操作：
获取待拼接的多个图像以及多个图像中相邻图像之间的特征匹配关系；
根据多个图像中相邻图像之间的特征匹配关系，确定多个图像中相邻图像之间的第一增益映射矩阵；
根据多个图像中相邻图像之间的第一增益映射矩阵，确定多个图像中相邻图像之间的第二增益映射矩阵；
根据多个图像中相邻图像之间的第二增益映射矩阵，对多个图像进行图像色彩映射，得到多个图像分别对应的目标图像；
基于多个图像分别对应的目标图像进行拼接，得到全景图像。
其中，待拼接的多个图像以及多个图像中相邻图像之间的特征匹配关系，可以从图像数据源获取。图像数据源可以是各种形式的数据存储设备，例如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。图像数据源还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。此外，图像数据源与用户终端可以是同一设备。
应理解，图9所示的场景图仅仅是示意性而非限制性的，本领域技术人员可以基于图9的例子进行各种显而易见的变化和/或替换，得到的技术方案仍属于本公开实施例的公开范围。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系，以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RandomAccess Memory，RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元CPU、图形处理单元(GraphicsProcessing Unit，GPU)、各种专用的人工智能(Artificial Intelligence，AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(Digital Signal Processor，DSP)，以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如图像拼接方法。例如，在一些实施例中，图像拼接方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的图像拼接方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像拼接方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用标准产品(Application-Specific Standard Products，ASSP)、芯片上系统的系统(System on Chip，SOC)、复杂可编程逻辑设备(Complex Programmable Logic Device，CPLD)、计算机硬件、固件、软件和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的，或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、快闪存储器、光纤、便捷式紧凑盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光学储存设备、磁储存设备，或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，阴极射线管(Cathode Ray Tube，CRT)或者液晶显示器(Liquid Crystal Display，LCD)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈，或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入，或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)，或者包括中间件部件的计算系统(例如，应用服务器)，或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)，或者包括这种后台部件、中间件部件，或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端和服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种图像拼接方法，包括：
获取待拼接的多个图像以及所述多个图像中相邻图像之间的特征匹配关系；
根据所述多个图像中相邻图像之间的特征匹配关系，确定所述多个图像中相邻图像之间的第一增益映射矩阵；
根据所述多个图像中相邻图像之间的所述第一增益映射矩阵，确定所述多个图像中相邻图像之间的第二增益映射矩阵；
根据所述多个图像中相邻图像之间的所述第二增益映射矩阵，对所述多个图像进行图像色彩映射，得到所述多个图像分别对应的目标图像；
基于所述多个图像分别对应的所述目标图像进行拼接，得到全景图像。
2.根据权利要求1所述的方法，其中，所述根据所述多个图像中相邻图像之间的特征匹配关系，确定所述多个图像中相邻图像之间的第一增益映射矩阵，包括：
根据相邻图像之间的特征匹配关系，确定相邻图像之间的匹配点的像素增益值；
将匹配点的像素增益值分配至各像素所属像素区间，将各像素所属像素区间的标识，作为所述像素增益值的量化增益值；
确定相邻图像所述量化增益值之间的映射关系；
基于相邻图像所述量化增益值之间的映射关系，确定相邻图像之间的第一增益映射矩阵。
3.根据权利要求2所述的方法，其中，所述确定相邻图像所述量化增益值之间的映射关系，包括：
确定第一图像中第一像素值在第二图像中对应的第二像素值；
统计第一图像中第一像素值的出现次数；
确定第一图像中第一像素值在第二图像中对应的第二像素值的方差；
响应于检测到所述出现次数大于第一阈值且所述方差小于第二阈值，建立所述第一图像中所述第一像素值与所述第二图像中所述第二像素值a的中值之间的第一增益映射关系。
4.根据权利要求3所述的方法，其中，所述第一图像与所述第二图像为相邻图像，所述第一像素值为所述第一图像包括的一个像素值，所述第一图像与所述第二图像的所述量化增益值之间的映射关系，包括多个所述第一增益映射关系。
5.根据权利要求1所述的方法，其中，所述根据所述多个图像中相邻图像之间的第一增益映射矩阵，确定所述多个图像中相邻图像之间的第二增益映射矩阵，包括：
基于所述多个图像中相邻图像之间的第一增益映射矩阵，对所述多个图像中相邻图像之间的第一类增益值进行融合处理，得到所述多个图像中相邻图像之间的第三增益映射矩阵；
基于所述多个图像中相邻图像之间的所述第三增益映射矩阵，对所述多个图像中相邻图像之间的第二类增益值进行补全处理，得到所述多个图像中相邻图像之间的第二增益映射矩阵。
6.根据权利要求5所述的方法，其中，所述对所述多个图像中相邻图像之间的第一类增益值进行融合处理，包括：
对相邻两增益值中映射前的第一类增益值与映射后的第一类增益值取平均值，得到第二类增益值；
在所述相邻两增益值之间添加所述第二类增益值，并去除所述相邻两增益值，所述第一类增益值是不符合映射曲线规律的增益值，所述第二类增益值是符合所述映射曲线规律的增益值。
7.根据权利要求5所述的方法，其中，所述基于所述多个图像中相邻图像之间的所述第三增益映射矩阵，对所述多个图像中相邻图像之间的第二类增益值进行补全处理，包括：
基于所述多个图像中相邻图像之间的所述第三增益映射矩阵进行反量化处理；
基于反量化处理后的所述第三增益映射矩阵，针对0～255之间的像素值，利用相邻的两个增益映射进行插值处理，得到相邻图像之间每个像素值的增益映射关系；
基于相邻图像之间每个像素值的增益映射关系，得到相邻图像之间的第二增益映射矩阵。
8.根据权利要求1所述的方法，其中，所述根据所述多个图像中相邻图像之间的第二增益映射矩阵，对所述多个图像进行图像色彩映射，包括：
确定所述多个图像分别对应的第一区域和第二区域；
根据所述多个图像中相邻图像之间的第二增益映射矩阵，对所述多个图像的所述第一区域和所述第二区域进行色彩映射处理。
9.根据权利要求8所述的方法，其中，所述根据所述多个图像中相邻图像之间的第二增益映射矩阵，对所述多个图像的所述第一区域和所述第二区域进行色彩映射处理，包括：
根据所述多个图像中相邻图像之间的第二增益映射矩阵，获取第一图像与第二图像的第二增益映射关系；
按照所述第二增益映射关系在所述第二图像的所述第一区域进行色彩映射处理；
在所述第二图像的所述第二区域不执行色彩映射处理；其中，所述第二图像中所述第一区域距离所述第一图像的距离小于所述第二图像中所述第二区域距离所述第一图像的距离。
10.一种图像拼接装置，包括：
获取模块，用于获取待拼接的多个图像以及所述多个图像中相邻图像之间的特征匹配关系；
第一确定模块，用于根据所述多个图像中相邻图像之间的特征匹配关系，确定所述多个图像中相邻图像之间的第一增益映射矩阵；
第二确定模块，用于根据所述多个图像中相邻图像之间的所述第一增益映射矩阵，确定所述多个图像中相邻图像之间的第二增益映射矩阵；
图像色彩映射模块，用于根据所述多个图像中相邻图像之间的所述第二增益映射矩阵，对所述多个图像进行图像色彩映射，得到所述多个图像分别对应的目标图像；
拼接模块，用于基于所述多个图像分别对应的所述目标图像进行拼接，得到全景图像。
11.根据权利要求10所述的装置，其中，所述第一确定模块，包括：
第一确定子模块，用于根据相邻图像之间的特征匹配关系，确定相邻图像之间的匹配点的像素增益值；
分配子模块，用于将匹配点的像素增益值分配至各像素所属像素区间，将各像素所属像素区间的标识，作为所述像素增益值的量化增益值；
第二确定子模块，用于确定相邻图像所述量化增益值之间的映射关系；
第三确定子模块，用于基于相邻图像所述量化增益值之间的映射关系，确定相邻图像之间的第一增益映射矩阵。
12.根据权利要求11所述的装置，其中，所述第二确定子模块，用于：
确定第一图像中第一像素值在第二图像中对应的第二像素值；
统计第一图像中第一像素值的出现次数；
确定第一图像中第一像素值在第二图像中对应的第二像素值的方差；
响应于检测到所述出现次数大于第一阈值且所述方差小于第二阈值，建立所述第一图像中所述第一像素值与所述第二图像中所述第二像素值的中值之间的第一增益映射关系。
13.根据权利要求12所述的装置，其中，所述第一图像与所述第二图像为相邻图像，所述第一像素值为所述第一图像包括的一个像素值，所述第一图像与所述第二图像的所述量化增益值之间的映射关系，包括多个所述第一增益映射关系。
14.根据权利要求10所述的装置，其中，所述第二确定模块，包括：
第一处理子模块，用于基于所述多个图像中相邻图像之间的第一增益映射矩阵，对所述多个图像中相邻图像之间的第一类增益值进行融合处理，得到所述多个图像中相邻图像之间的第三增益映射矩阵；
第二处理子模块，用于基于所述多个图像中相邻图像之间的所述第三增益映射矩阵，对所述多个图像中相邻图像之间的第二类增益值进行补全处理，得到所述多个图像中相邻图像之间的第二增益映射矩阵。
15.根据权利要求14所述的装置，其中，所述第一处理子模块，用于：
对相邻两增益值中映射前的第一类增益值与映射后的第一类增益值取平均值，得到第二类增益值；
在所述相邻两增益值之间添加所述第二类增益值，并去除所述相邻两增益值，所述第一类增益值是不符合映射曲线规律的增益值，所述第二类增益值是符合映射曲线规律的增益值。
16.根据权利要求14所述的装置，其中，所述第二处理子模块，用于：
基于所述多个图像中相邻图像之间的所述第三增益映射矩阵进行反量化处理；
基于反量化处理后的所述第三增益映射矩阵，针对0～255之间的像素值，利用相邻的两个增益映射进行插值处理，得到相邻图像之间每个像素值的增益映射关系；
基于相邻图像之间每个像素值的增益映射关系，得到相邻图像之间的第二增益映射矩阵。
17.根据权利要求10所述的装置，其中，所述图像色彩映射模块，包括：
第四确定子模块，用于确定所述多个图像分别对应的第一区域和第二区域；
第三处理子模块，用于根据所述多个图像中相邻图像之间的第二增益映射矩阵，对所述多个图像的所述第一区域和所述第二区域进行色彩映射处理。
18.根据权利要求17所述的装置，其中，所述第三处理子模块，用于：
根据所述多个图像中相邻图像之间的第二增益映射矩阵，获取第一图像与第二图像的第二增益映射关系；
按照所述第二增益映射关系在所述第二图像的所述第一区域进行色彩映射处理；
在所述第二图像的所述第二区域不执行色彩映射处理；其中，所述第二图像中所述第一区域距离第一图像的距离小于所述第二图像中所述第二区域距离第一图像的距离。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
21.一种计算机程序产品，包括存储在存储介质上的计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
CN202310400213.2A 2023-04-13 2023-04-13 图像拼接方法、装置、设备及存储介质 Pending CN116485645A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310400213.2A CN116485645A (zh) 2023-04-13 2023-04-13 图像拼接方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310400213.2A CN116485645A (zh) 2023-04-13 2023-04-13 图像拼接方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116485645A true CN116485645A (zh) 2023-07-25

Family

ID=87213121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310400213.2A Pending CN116485645A (zh) 2023-04-13 2023-04-13 图像拼接方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116485645A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094895A (zh) * 2023-09-05 2023-11-21 杭州一隅千象科技有限公司 图像全景拼接方法及其系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180332222A1 (en) * 2016-07-29 2018-11-15 Tencent Technology (Shenzhen) Company Limited Method and apparatus for obtaining binocular panoramic image, and storage medium
CN109493826A (zh) * 2017-09-11 2019-03-19 苹果公司 电子显示器边界增益系统和方法
US20190114750A1 (en) * 2017-10-18 2019-04-18 Gopro, Inc. Color Correction Integrations for Global Tone Mapping
CN109741281A (zh) * 2019-01-04 2019-05-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及终端
JP2019096049A (ja) * 2017-11-22 2019-06-20 富士通株式会社 画像生成装置及び方法
CN111429354A (zh) * 2020-03-27 2020-07-17 贝壳技术有限公司 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN113301274A (zh) * 2021-07-28 2021-08-24 北京海兰信数据科技股份有限公司 一种船舶实时视频全景拼接方法及系统
CN114022562A (zh) * 2021-10-25 2022-02-08 同济大学 一种保持行人完整性的全景视频拼接方法和装置
CN114494013A (zh) * 2022-01-18 2022-05-13 杭州海康威视数字技术股份有限公司 一种图像拼接方法、装置、设备及介质
US20220215507A1 (en) * 2021-03-24 2022-07-07 Beijing Baidu Netcom Science Technology Co., Ltd. Image stitching
US20220237736A1 (en) * 2019-05-30 2022-07-28 Arashi Vision Inc. Panoramic image and video splicing method, computer-readable storage medium, and panoramic camera
CN115619986A (zh) * 2022-09-30 2023-01-17 北京百度网讯科技有限公司 场景漫游方法、装置、设备和介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180332222A1 (en) * 2016-07-29 2018-11-15 Tencent Technology (Shenzhen) Company Limited Method and apparatus for obtaining binocular panoramic image, and storage medium
CN109493826A (zh) * 2017-09-11 2019-03-19 苹果公司 电子显示器边界增益系统和方法
US20190114750A1 (en) * 2017-10-18 2019-04-18 Gopro, Inc. Color Correction Integrations for Global Tone Mapping
JP2019096049A (ja) * 2017-11-22 2019-06-20 富士通株式会社 画像生成装置及び方法
CN109741281A (zh) * 2019-01-04 2019-05-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及终端
US20220237736A1 (en) * 2019-05-30 2022-07-28 Arashi Vision Inc. Panoramic image and video splicing method, computer-readable storage medium, and panoramic camera
CN111429354A (zh) * 2020-03-27 2020-07-17 贝壳技术有限公司 图像拼接及全景图拼接方法和装置、存储介质、电子设备
US20220215507A1 (en) * 2021-03-24 2022-07-07 Beijing Baidu Netcom Science Technology Co., Ltd. Image stitching
CN113301274A (zh) * 2021-07-28 2021-08-24 北京海兰信数据科技股份有限公司 一种船舶实时视频全景拼接方法及系统
CN114022562A (zh) * 2021-10-25 2022-02-08 同济大学 一种保持行人完整性的全景视频拼接方法和装置
CN114494013A (zh) * 2022-01-18 2022-05-13 杭州海康威视数字技术股份有限公司 一种图像拼接方法、装置、设备及介质
CN115619986A (zh) * 2022-09-30 2023-01-17 北京百度网讯科技有限公司 场景漫游方法、装置、设备和介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WANG XIAOCHEN 等: "Single low-light image brightening using learning-based intensity mapping", 《NEUROCOMPUTING》, vol. 508 *
张永梅 等: "基于SIFT特征的彩色图像拼接方法研究", 《计算机测量与控制》, no. 08 *
杨蕊 等: "基于显著特性的红外全景图像拼接", 《激光杂志》, no. 06 *
袁媛 等: "岩石薄片图像拼接中的色差校正算法", 《计算机技术与发展》, no. 07 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094895A (zh) * 2023-09-05 2023-11-21 杭州一隅千象科技有限公司 图像全景拼接方法及其系统
CN117094895B (zh) * 2023-09-05 2024-03-26 杭州一隅千象科技有限公司 图像全景拼接方法及其系统

Similar Documents

Publication Publication Date Title
CN108174118B (zh) 图像处理方法、装置和电子设备
CN107403421B (zh) 一种图像去雾方法、存储介质及终端设备
CN111311482B (zh) 背景虚化方法、装置、终端设备及存储介质
JP6615917B2 (ja) 実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体
CN108234858B (zh) 图像虚化处理方法、装置、存储介质及电子设备
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
CN103778900B (zh) 一种图像处理方法及系统
US11190707B2 (en) Motion ghost resistant HDR image generation method and portable terminal
CN111368587B (zh) 场景检测方法、装置、终端设备及计算机可读存储介质
CN113222866B (zh) 灰度图像增强方法、计算机可读介质及计算机系统
CN111368717A (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
CN115496668A (zh) 图像处理方法、装置、电子设备及存储介质
CN113962859B (zh) 一种全景图生成方法、装置、设备及介质
CN116485645A (zh) 图像拼接方法、装置、设备及存储介质
CN111311481A (zh) 背景虚化方法、装置、终端设备及存储介质
CN111563517B (zh) 图像处理方法、装置、电子设备及存储介质
CN112070682B (zh) 图像亮度补偿的方法和装置
CN110175967B (zh) 图像去雾处理方法、系统、计算机设备和存储介质
CN113888438A (zh) 图像处理方法、装置及存储介质
CN111340722B (zh) 图像处理方法、处理装置、终端设备及可读存储介质
CN110097520B (zh) 图像处理方法和装置
CN111539975A (zh) 一种运动目标的检测方法、装置、设备及存储介质
CN116708756A (zh) 传感器的精度检测方法、检测装置、电子设备和存储介质
CN109308690B (zh) 一种图像亮度均衡方法及终端
CN112215237B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination