CN112102171A - 图像处理方法、装置、计算机可读存储介质及电子设备 - Google Patents

图像处理方法、装置、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
CN112102171A
CN112102171A CN202010991778.9A CN202010991778A CN112102171A CN 112102171 A CN112102171 A CN 112102171A CN 202010991778 A CN202010991778 A CN 202010991778A CN 112102171 A CN112102171 A CN 112102171A
Authority
CN
China
Prior art keywords
image
images
gaussian
pyramids
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010991778.9A
Other languages
English (en)
Other versions
CN112102171B (zh
Inventor
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202010991778.9A priority Critical patent/CN112102171B/zh
Publication of CN112102171A publication Critical patent/CN112102171A/zh
Application granted granted Critical
Publication of CN112102171B publication Critical patent/CN112102171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开的实施例公开了一种图像处理方法、装置、计算机可读存储介质及电子设备。该方法包括：获取多张彩色图像；根据多张彩色图像，生成多个高斯图像金字塔，并根据多个高斯图像金字塔，生成多个拉普拉斯图像金字塔；生成多个拉普拉斯图像金字塔的多张顶层图像的融合图像；根据融合图像、多个高斯图像金字塔，以及多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像；对多张处理图像进行拼接，得到彩色全景图像。本公开的实施例中，通过基于高斯图像金字塔和拉普拉斯图像金字塔的图像色差融合，能够较好地解决彩色全景图像的色差问题，使彩色全景图像满足实际需求。

Description

图像处理方法、装置、计算机可读存储介质及电子设备
技术领域
本公开涉及图像技术领域，尤其涉及一种图像处理方法、装置、计算机可读存储介质及电子设备。
背景技术
在一些情况下，需要进行彩色全景图像的生成，彩色全景图像可以基于若干摄像头拍摄的多张彩色图像拼接而成，由于不同图像的曝光一般是存在区别的，彩色全景图像常常存在色差问题，难以满足实际需求。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像处理方法、装置、计算机可读存储介质及电子设备。
根据本公开实施例的一个方面，提供了一种图像处理方法，包括：
获取多张彩色图像；
根据所述多张彩色图像，生成多个高斯图像金字塔，并根据所述多个高斯图像金字塔，生成多个拉普拉斯图像金字塔；
生成所述多个拉普拉斯图像金字塔的多张顶层图像的融合图像；
根据所述融合图像、所述多个高斯图像金字塔，以及所述多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像；
对所述多张处理图像进行拼接，得到彩色全景图像。
在一个可选示例中，所述根据所述融合图像、所述多个高斯图像金字塔，以及所述多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像，包括：
根据所述融合图像、所述多个高斯图像金字塔中的各个高斯图像金字塔的各层图像，以及所述多个拉普拉斯图像金字塔中的各个拉普拉斯图像金字塔除了底层图像之外的图像，生成所述多个高斯图像金字塔的多张底层图像的多张还原图像；
将所述多张还原图像作为经色差融合处理得到的多张处理图像。
在一个可选示例中，所述根据所述融合图像、所述多个高斯图像金字塔中的各个高斯图像金字塔的各层图像，以及所述多个拉普拉斯图像金字塔中的各个拉普拉斯图像金字塔除了底层图像之外的图像，生成所述多个高斯图像金字塔的多张底层图像的多张还原图像，包括：
根据所述融合图像和所述多个高斯图像金字塔中的第一高斯图像金字塔的顶层图像，生成所述第一高斯图像金字塔的第2层图像的还原图像；
根据所述第一高斯图像金字塔的第K层图像的还原图像，以及所述多个拉普拉斯图像金字塔中，所述第一高斯图像金字塔对应的第一拉普拉斯图像金字塔的第K层图像，生成所述第一高斯图像金字塔的第K+1层图像的还原图像；其中，K的初始值为2；
在所述第一高斯图像金字塔的第K+1层图像不为所述第一高斯图像金字塔的底层图像的情况下，计算K与1的和值，将K更新为所计算的和值，并返回执行所述根据所述第一高斯图像金字塔的第K层图像的还原图像，以及所述多个拉普拉斯图像金字塔中，所述第一高斯图像金字塔对应的第一拉普拉斯图像金字塔的第K层图像，生成所述第一高斯图像金字塔的第K+1层图像的还原图像的步骤，直至得到所述第一高斯图像金字塔的底层图像的还原图像。
在一个可选示例中，所述对所述多张处理图像进行拼接，包括：
确定所述多张处理图像中具有拼接重叠关系的第一处理图像和第二处理图像；
生成所述第一处理图像和所述第二处理图像的拼接重叠区域对应的差分图像；
在所述差分图像上确定拼接分割线；
根据所述拼接分割线，对所述第一处理图像和所述第二处理图像进行拼接。
在一个可选示例中，所述在所述差分图像上确定拼接分割线，包括：
选择所述差分图像中的首行像素点中的一个像素点作为所述首行像素点中的目标像素点；
确定所述差分图像中的每个非首行像素点中的目标像素点；其中，任一非首行像素点中的目标像素点为：本非首行像素点包括的各像素点中，与上一行像素点中的目标像素点的像素值最接近的像素点；
确定由各行像素点中的目标像素点顺次连接形成的拼接分割线。
在一个可选示例中，所述根据所述多张彩色图像，生成多个高斯图像金字塔，包括：
获取所述多张彩色图像对应的多张深度图像；
对所述多张深度图像进行拼接，得到深度全景图像；
根据所述深度全景图像，对所述多张彩色图像进行投影，以得到多张投影图像；其中，所述多张投影图像均位于所述深度全景图像所在的坐标系；
生成所述多张投影图像对应的多个高斯图像金字塔。
在一个可选示例中，所述根据所述深度全景图像，对所述多张彩色图像进行投影，包括：
对所述深度全景图像进行M次高斯滤波处理和/或P次空洞边缘深度值生长处理，得到每个像素点均具有深度值的所述深度全景图像；其中，M和P均为大于或等于1的整数，在M大于或等于2的情况下，后一次高斯滤波处理使用的卷积核大于前一次高斯滤波处理使用的卷积核；
根据每个像素点均具有深度值的所述深度全景图像，对所述多张彩色图像进行投影。
在一个可选示例中，所述根据每个像素点均具有深度值的所述深度全景图像，对所述多张彩色图像进行投影，包括：
对每个像素点均具有深度值的所述深度全景图像进行引导滤波处理；
根据每个像素点均具有深度值，且进行了引导滤波处理后的所述深度全景图像，对所述多张彩色图像进行投影。
根据本公开实施例的另一个方面，提供了一种图像处理装置，包括：
第一获取模块，用于获取多张彩色图像；
第一生成模块，用于根据所述多张彩色图像，生成多个高斯图像金字塔，并根据所述多个高斯图像金字塔，生成多个拉普拉斯图像金字塔；
第二生成模块，用于生成所述多个拉普拉斯图像金字塔的多张顶层图像的融合图像；
第二获取模块，用于根据所述融合图像、所述多个高斯图像金字塔，以及所述多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像；
第三获取模块，用于对所述多张处理图像进行拼接，得到彩色全景图像。
在一个可选示例中，所述第二获取模块，包括：
第一生成子模块，用于根据所述融合图像、所述多个高斯图像金字塔中的各个高斯图像金字塔的各层图像，以及所述多个拉普拉斯图像金字塔中的各个拉普拉斯图像金字塔除了底层图像之外的图像，生成所述多个高斯图像金字塔的多张底层图像的多张还原图像；
第一确定子模块，用于将所述多张还原图像作为经色差融合处理得到的多张处理图像。
在一个可选示例中，所述第一生成子模块，包括：
第一生成单元，用于根据所述融合图像和所述多个高斯图像金字塔中的第一高斯图像金字塔的顶层图像，生成所述第一高斯图像金字塔的第2层图像的还原图像；
第二生成单元，用于根据所述第一高斯图像金字塔的第K层图像的还原图像，以及所述多个拉普拉斯图像金字塔中，所述第一高斯图像金字塔对应的第一拉普拉斯图像金字塔的第K层图像，生成所述第一高斯图像金字塔的第K+1层图像的还原图像；其中，K的初始值为2；
处理单元，用于在所述第一高斯图像金字塔的第K+1层图像不为所述第一高斯图像金字塔的底层图像的情况下，计算K与1的和值，将K更新为所计算的和值，并触发所述第二生成单元，直至得到所述第一高斯图像金字塔的底层图像的还原图像。
在一个可选示例中，所述第三获取模块，包括：
第二确定子模块，用于确定所述多张处理图像中具有拼接重叠关系的第一处理图像和第二处理图像；
第二生成子模块，用于生成所述第一处理图像和所述第二处理图像的拼接重叠区域对应的差分图像；
第三确定子模块，用于在所述差分图像上确定拼接分割线；
拼接子模块，用于根据所述拼接分割线，对所述第一处理图像和所述第二处理图像进行拼接。
在一个可选示例中，所述第三确定子模块，包括：
选择单元，用于选择所述差分图像中的首行像素点中的一个像素点作为所述首行像素点中的目标像素点；
第一确定单元，用于确定所述差分图像中的每个非首行像素点中的目标像素点；其中，任一非首行像素点中的目标像素点为：本非首行像素点包括的各像素点中，与上一行像素点中的目标像素点的像素值最接近的像素点；
第二确定单元，用于确定由各行像素点中的目标像素点顺次连接形成的拼接分割线。
在一个可选示例中，所述第一生成模块，包括：
第一获取子模块，用于获取所述多张彩色图像对应的多张深度图像；
第二获取子模块，用于对所述多张深度图像进行拼接，得到深度全景图像；
第三获取子模块，用于根据所述深度全景图像，对所述多张彩色图像进行投影，以得到多张投影图像；其中，所述多张投影图像均位于所述深度全景图像所在的坐标系；
第二生成子模块，用于生成所述多张投影图像对应的多个高斯图像金字塔。
在一个可选示例中，所述第三获取子模块，包括：
获取单元，用于对所述深度全景图像进行M次高斯滤波处理和/或P次空洞边缘深度值生长处理，得到每个像素点均具有深度值的所述深度全景图像；其中，M和P均为大于或等于1的整数，在M大于或等于2的情况下，后一次高斯滤波处理使用的卷积核大于前一次高斯滤波处理使用的卷积核；
投影单元，用于根据每个像素点均具有深度值的所述深度全景图像，对所述多张彩色图像进行投影。
在一个可选示例中，所述投影单元，包括：
滤波子单元，用于对每个像素点均具有深度值的所述深度全景图像进行引导滤波处理；
投影子单元，用于根据每个像素点均具有深度值，且进行了引导滤波处理后的所述深度全景图像，对所述多张彩色图像进行投影。
根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述图像处理方法法。
根据本公开实施例的又一个方面，提供了一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述图像处理方法。
本公开的实施例中，在获取多张彩色图像之后，可以不直接进行图像拼接，而是先根据多张彩色图像，生成多个高斯图像金字塔，并根据多个高斯图像金字塔，生成多个拉普拉斯图像金字塔，然后根据多个拉普拉斯图像金字塔的多张顶层图像的融合图像、多个高斯图像金字塔，以及多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像，以解决不同图像曝光不同所造成的色彩亮度差异，这样，在利用多张处理图像拼接得到彩色全景图像时，彩色全景图像中各区域的色彩亮度将会较为均匀，不易出现色差问题，因此，与相关技术相比，本公开的实施例中，通过基于高斯图像金字塔和拉普拉斯图像金字塔的图像色差融合，能够较好地解决彩色全景图像的色差问题，使彩色全景图像满足实际需求。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开一示例性实施例提供的图像处理方法的流程示意图。
图2-1是本公开的实施例中一彩色图像的示意图。
图2-2是本公开的实施例中另一张彩色图像的示意图。
图2-3是本公开的实施例中再一张彩色图像的示意图。
图2-4是本公开的实施例中又一张彩色图像的示意图。
图3是本公开的实施例中一高斯图像金字塔和一拉普拉斯图像金字塔的示意图。
图4是本公开的实施例中第一处理图像和第二处理图像的重叠示意图。
图5-1是本公开的实施例中一投影图像在相应空白图像中的示意图。
图5-2是本公开的实施例中另一投影图像在相应空白图像中的示意图。
图5-3是本公开的实施例中再一投影图像在相应空白图像中的示意图。
图5-4是本公开的实施例中又一投影图像在相应空白图像中的示意图。
图6-1是采用本公开的实施例中的方式得到的彩色全景图像的示意图。
图6-2是采用相关技术中的方式得到的彩色全景图像的示意图。
图7-1是采用本公开的实施例中的方式得到的另一彩色全景图像的示意图。
图7-2是采用相关技术中的方式得到的另一彩色全景图像的示意图。
图8是本公开一示例性实施例提供的图像处理装置的结构示意图。
图9是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性方法
图1是本公开一示例性实施例提供的图像处理方法的流程示意图。图1所示的方法可以包括步骤101、步骤102、步骤103、步骤104和步骤105，下面对各步骤分别进行说明。
步骤101，获取多张彩色图像。
这里，彩色图像可以为RGB图像；其中，R的全称是Red且表示红色，G的全称是Green且表示绿色，B的全称是Blue且表示蓝色。
为了获取多张彩色图像，可以预先设置3个彩色摄像头，3个彩色摄像头可以沿同一根轴的轴向固定设置，3个彩色摄像头所在的轴和3个彩色摄像头可以均位于同一虚拟现实(Virtual Reality，VR)设备。
具体实施时，可以在初始情况下，控制3个彩色摄像头进行图像拍摄，以得到由3个彩色摄像头拍摄的3张彩色图像构成的第1组彩色图像；接下来，可以在将3个彩色摄像头所在的轴相对于初始情况，沿周向旋转60度后，控制3个彩色摄像头进行图像拍摄，以得到由3个彩色摄像头拍摄的3张彩色图像构成的第2组彩色图像；之后，可以在将3个彩色摄像头所在的轴相对于初始情况，沿周向旋转120度后，控制3个彩色摄像头进行图像拍摄，以得到由3个彩色摄像头拍摄的3张彩色图像构成的第3组彩色图像；3个彩色摄像头所在的轴总共可以旋转5次，这样总共可以得到6组共18张彩色图像，这18张彩色图像中的4张彩色图像可以如图2-1至图2-4所示。
当然，彩色摄像头的数量也可以为4个或者4个以上，为了便于理解，本公开的实施例中均以彩色摄像头的数量为3个的情况为例进行说明。
步骤102，根据多张彩色图像，生成多个高斯图像金字塔，并根据多个高斯图像金字塔，生成多个拉普拉斯图像金字塔。
这里，可以先根据多张彩色图像，得到用于作为多个高斯图像金字塔的多张底层图像的多张中间图像，多张中间图像与多张彩色图像之间可以为一一对应的关系。接下来，可以根据多张中间图像，进行高斯图像金字塔的构建，以得到多个高斯图像金字塔，多个高斯图像金字塔与多张中间图像之间可以为一一对应的关系。之后，可以根据多个高斯图像金字塔，进行拉普拉斯图像金字塔的构建，以得到多个拉普拉斯图像金字塔，多个拉普拉斯图像金字塔与多个高斯图像金字塔之间也可以为一一对应的关系。
由于各个高斯图像金字塔的生成方式可以是类似的，各个拉普拉斯图像金字塔的生成方式可以是类似的，下面仅针对一个高斯图像金字塔和一个拉普拉斯图像金字塔的生成方式进行举例介绍。
假设多张彩色图像中的某一彩色图像为图像A1，根据图像A1得到的中间图像为图像B1，则可以对图像B1进行下采样处理，然后再用高斯卷积核对图像B1的下采样处理结果做卷积处理，以得到图像B2，图像B2的图像大小可以为图像B1的1/4。接下来，可以对图像B2进行下采样处理，然后再用高斯卷积核对图像B2的下采样处理结果做卷积处理，以得到图像B3，图像B3的图像大小可以为图像B2的1/4。按照类似的方式，还可以得到图像B4、图像B5、……、图像Bn。
在得到图像B1至图像Bn之后，可以构建以图像B1作为底层图像的高斯图像金字塔，该高斯图像金字塔记为金字塔GT1，如图3所示，金字塔GT1的顶层图像为图像Bn，金字塔GT1的第2层图像为图像Bn-1，金字塔GT1的第3层图像为图像Bn-2，……，金字塔GT1的倒数第2层图像为图像B2。
再之后，可以构建与金字塔GT1对应的拉普拉斯图像金字塔，该拉普拉斯图像金字塔可以记为金字塔LT1，如图3所示，金字塔LT1的顶层图像为图像Cn-1，金字塔LT1的第二层图像为图像Cn-2，……，金字塔LT1的倒数第2层图像为图像C2，金字塔LT1的底层图像为图像C1；其中，图像Cn-1的获得过程是：将图像Bn上采样到图像Bn-1的大小，以得到图像Bn′，然后将图像Bn-1与图像Bn′做差(相当于图像Bn-1-图像Bn′，这里的做差是指对应像素点的颜色值相减)，以得到图像Cn-1；图像Cn-2的获得过程是：将图像Bn-1上采样到图像Bn-2的大小，以得到图像Bn-1′，然后将图像Bn-2与图像Bn-1′做差，以得到图像Cn-2；金字塔LT1其他层图像的获得过程依此类推，在此不再赘述。
步骤103，生成多个拉普拉斯图像金字塔的多张顶层图像的融合图像。
这里，可以分别获取每个拉普拉斯图像金字塔的顶层图像，以得到多张顶层图像，之后可以利用图像融合算法，对多张顶层图像进行融合，以得到融合图像。
步骤104，根据融合图像、多个高斯图像金字塔，以及多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像。
这里，经色差融合处理得到的多张处理图像与多张中间处理之间可以为一一对应的关系，多张处理图像的色彩亮度可以较为统一。
步骤105，对多张处理图像进行拼接，得到彩色全景图像。
由于多张中间图像与多张彩色图像之间为一一对应的关系，多张处理图像与多张中间图像之间为一一对应的关系，多张处理图像与多张彩色图像之间也可以认为是一一对应的关系，又由于步骤101中获取的多张彩色图像具体可以划分为6组彩色图像，这里的多张处理图像也可以对应划分为6组处理图像。在步骤105中，可以先采用彩色图像拼接算法，分别对每组处理图像进行拼接，以得到每组处理图像的拼接结果，从而得到6个拼接结果，之后可以采用彩色图像拼接算法，对这6个拼接结果进行拼接，以得到彩色全景图像。
本公开的实施例中，在获取多张彩色图像之后，可以不直接进行图像拼接，而是先根据多张彩色图像，生成多个高斯图像金字塔，并根据多个高斯图像金字塔，生成多个拉普拉斯图像金字塔，然后根据多个拉普拉斯图像金字塔的多张顶层图像的融合图像、多个高斯图像金字塔，以及多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像，以解决不同图像曝光不同所造成的色彩亮度差异，这样，在利用多张处理图像拼接得到彩色全景图像时，彩色全景图像中各区域的色彩亮度将会较为均匀，不易出现色差问题，因此，与相关技术相比，本公开的实施例中，通过基于高斯图像金字塔和拉普拉斯图像金字塔的图像色差融合，能够较好地解决彩色全景图像的色差问题，使彩色全景图像满足实际需求。
在一个可选示例中，根据融合图像、多个高斯图像金字塔，以及多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像，包括：
根据融合图像、多个高斯图像金字塔中的各个高斯图像金字塔的各层图像，以及多个拉普拉斯图像金字塔中的各个拉普拉斯图像金字塔除了底层图像之外的图像，生成多个高斯图像金字塔的多张底层图像的多张还原图像；
将多张还原图像作为经色差融合处理得到的多张处理图像。
在一种具体实施方式中，根据融合图像、多个高斯图像金字塔中的各个高斯图像金字塔的各层图像，以及多个拉普拉斯图像金字塔中的各个拉普拉斯图像金字塔除了底层图像之外的图像，生成多个高斯图像金字塔的多张底层图像的多张还原图像，包括：
根据融合图像和多个高斯图像金字塔中的第一高斯图像金字塔的顶层图像，生成第一高斯图像金字塔的第2层图像的还原图像；
根据第一高斯图像金字塔的第K层图像的还原图像，以及多个拉普拉斯图像金字塔中，第一高斯图像金字塔对应的第一拉普拉斯图像金字塔的第K层图像，生成第一高斯图像金字塔的第K+1层图像的还原图像；其中，K的初始值为2；
在第一高斯图像金字塔的第K+1层图像不为第一高斯图像金字塔的底层图像的情况下，计算K与1的和值，将K更新为所计算的和值，并返回执行根据第一高斯图像金字塔的第K层图像的还原图像，以及多个拉普拉斯图像金字塔中，第一高斯图像金字塔对应的第一拉普拉斯图像金字塔的第K层图像，生成第一高斯图像金字塔的第K+1层图像的还原图像的步骤，直至得到第一高斯图像金字塔的底层图像的还原图像。
这里，第一高斯图像金字塔可以为多个高斯图像金字塔中的任一高斯图像金字塔。需要说明的是，第一拉普拉斯图像金字塔中的任一层图像可以认为是基于第一高斯图像金字塔中的相邻两层图像，进行目标处理得到的，目标处理包括上采样处理和做差。本公开的实施例中，为了得到第一高斯图像金字塔的任一层图像的还原图像，可以进行目标处理的逆向处理。
假设第一高斯图像金字塔为图3中的金字塔GT1，第一拉普拉斯图像金字塔为图3中的金字塔LT1，融合图像为图像R1，由于金字塔GT1的顶层图像为图像Bn，金字塔GT1的第2层图像为图像Bn-1，可以先将Bn上采样到图像Bn-1的大小，以得到图像Bn′，然后将图像Bn′与图像R1进行做差运算的逆运算(相当于图像Bn’+图像R1，这里做差运算的逆运算是指对应像素点的颜色值相加)，以得到金字塔GT1的第2层图像的还原图像，该还原图像可以记为图像Bn-1″。
针对K为2的情况，由于金字塔GT1的第2层图像的还原图像为图像Bn-1″，金字塔LT1的第2层图像为图像Cn-2，可以先将图像Bn-1″上采样到图像Bn-2的大小，以得到图像Bn-1″′，然后将图像Bn-1″′与图像Cn-2进行做差运算的逆运算，以得到金字塔GT1的第3层图像的还原图像，该还原图像可以记为图像Bn-2″。
由于金字塔GT1的第3层图像的还原图像为图像Bn-2″，金字塔LT1的第3层图像为Cn-3，金字塔GT1的第3层图像显然不是金字塔GT1的底层图像，故可将K更新为3，后续过程参照K为2的情况的说明即可，在此不再赘述。当K值经过若干次更新后，金字塔GT1的第K+1层图像正好是金字塔GT1的底层图像，此时金字塔GT1的底层图像的还原图像已经得到了，因此可以停止K值的更新。按照类似的方式，可以得到每个高斯图像金字塔各自的底层图像的还原图像，以得到多张底层图像的多张还原图像，多张底层图像的多张还原图像可以直接作为经色差融合处理得到的多张处理图像。
当然，在得到多张底层图像的多张还原图像之后，还可以对多张底层图像的多张还原图像进行进一步的图像优化处理，并将经图像优化处理后的多张还原图像作为经色差融合处理得到的多张处理图像，这也是可行的。
可见，本公开的实施例中，在得到多个高斯图像金字塔和多个拉普拉斯图像金字塔之后，可以先对多个拉普拉斯图像金字塔的多张顶层图像做融合，再利用高斯图像金字塔，不断地融合图像的色差，从而能够得到用于作为处理图像的还原图像，这样，在利用处理图像进行拼接时，能够较好地保证拼接得到的彩色全景图像的色彩亮度的均匀性，以尽量避免彩色全景图像出现色差问题。
在一个可选示例中，对多张处理图像进行拼接，包括：
确定多张处理图像中具有拼接重叠关系的第一处理图像和第二处理图像；
生成第一处理图像和第二处理图像的拼接重叠区域对应的差分图像；
在差分图像上确定拼接分割线；
根据拼接分割线，对第一处理图像和第二处理图像进行拼接。
本公开的实施例中，可以先确定多张处理图像中具有拼接重叠关系的多对处理图像；其中，每对处理图像中的两张处理图像在拼接时会具有重叠部分。针对任一对处理图像而言，可以将其中的一张处理图像作为第一处理图像，并将其中的另一张图像作为第二处理图像。
接下来，可以生成第一处理图像和第二处理图像的拼接重叠区域对应的差分图像，差分图像可以通过将第一处理图像中，位于拼接重叠区域的各像素点的像素值，以及第二处理图像中，拼接重叠区域的各像素点的像素值分别做差得到。
之后，可以在差分图像上确定拼接分割线，例如按照图割(graph cut)最大流-最小流思想确定拼接分割线。在一种具体实施方式中，在差分图像上确定拼接分割线，包括：
选择差分图像中的首行像素点中的一个像素点作为首行像素点中的目标像素点；
确定差分图像中的每个非首行像素点中的目标像素点；其中，任一非首行像素点中的目标像素点为：本非首行像素点包括的各像素点中，与上一行像素点中的目标像素点的像素值最接近的像素点；
确定由各行像素点中的目标像素点顺次连接形成的拼接分割线。
具体地，第一处理图像可以如图4中的图像D1所示，第二处理图像可以如图4中的图像D2所示，第一处理图像和第二处理图像的拼接重叠区域可以为图3中的区域P1，区域P1对应的差分图像可以正好覆盖于区域P1，区域P1对应的差分图像中总共可以包括512行像素点。
针对512行像素点中的首行像素点，可以选择其中的一个像素点作为首行像素点中的目标像素点，例如，可以选择位于首行像素点中心的像素点作为首行像素点中的目标像素点，首行像素点中的目标像素点可以记为像素点S1。
针对512行像素点中的第2行像素点，可以选择其中与首行像素点中的目标像素点(即像素点S1)的像素值最接近的像素点，并将所选择的像素点作为第2行像素点中的目标像素点，第2行像素点中的目标像素点可以记为像素点S2。
针对512行像素点中的第3行像素点，可以选择其中与第2行像素点中的目标像素点(即像素点S2)的像素值最接近的像素点，并将所选择的像素点作为第3行像素点中的目标像素点，第3行像素点中的目标像素点可以记为像素点S3。
按照类似的方式，可以依次确定出第4行像素点中的目标像素点(其可以记为像素点S4)，第5行像素点中的目标像素点(其可以记为像素点S5)，……，第512行像素点中的目标像素点(其可以记为像素点S512)。之后，可以将像素点S1、像素点S2、像素点S3、……、像素点S512顺次连接起来，以形成拼接分割线。
在得到拼接分割线之后，可以根据拼接分割线，确定在图像D1和图像D2进行拼接时，图像D1中的哪些部分需要保留，哪些部分需要丢弃，以及图像D2中的哪些部分需要保留，哪些部分需要丢弃，并据此进行图像D1和图像D2的拼接。假设拼接分割线如图4中的曲线Q1所示，那么，在对图像D1和图像D2进行拼接时，图像D1中位于曲线Q1左侧的部分为需要保留的部分，图像D2中位于曲线Q1右侧的部分为需要保留的部分。
这种实施方式中，通过在每行像素点中分别找目标像素点，并进行目标像素点的顺次连接，能够得到最佳的拼接分割线，拼接分割线非常平滑，从而能够降低后续经拼接得到的彩色全景图像出现重影和拼缝问题的可能性。
需要指出的是，在差分图像上确定拼接分割线之前，也可以先对差分图像进行卷积处理，然后在经卷积处理后的差分图像上确定拼接分割线，这也是可行的。
本公开的实施例中，对于多张处理图像中具有拼接重叠关系的任意两张处理图像，通过差分图像的生成操作以及拼接分割线的确定操作，能够便捷可靠地实现这两张处理图像的拼接。
在一个可选示例中，根据多张彩色图像，生成多个高斯图像金字塔，包括：
获取多张彩色图像对应的多张深度图像；
对多张深度图像进行拼接，得到深度全景图像；
根据深度全景图像，对多张彩色图像进行投影，以得到多张投影图像；其中，多张投影图像均位于深度全景图像所在的坐标系；
生成多张投影图像对应的多个高斯图像金字塔。
这里，多张彩色图像与多张深度图像之间可以为一一对应的关系。具体实施时，可以针对步骤101中提及的3个彩色摄像头，设置一一对应的3个深度摄像头，在某一彩色摄像头拍摄一彩色图像时，该彩色摄像头对应的深度摄像头可以同步采集一深度图像，该深度图像即可作为该彩色图像对应的深度图像。
在获取多张彩色图像对应的多张深度图像之后，可以采用深度图像拼接算法，对多张深度图像进行拼接，以得到深度全景图像。接下来，可以根据深度全景图像，对多张彩色图像进行投影，以得到多张投影图像，多张投影图像可以均位于深度全景图像所在的坐标系，下面对投影过程进行说明。
首先，可以准备与多张彩色图像一一对应的多张空白图像，多张空白图像可以与深度全景图像位于相同坐标系中且具有相同大小。
对于深度全景图像中的某一像素点(x，y)，基于深度全景图像中记录的该像素点的深度值，可以确定该像素点在世界坐标系中的坐标(X，Y，Z)。假设多张彩色图像中的某一彩色图像为图像A2，图像A2对应的空白图像为图像J2，则可以利用采集图像A2的彩色摄像头的外参矩阵和内参矩阵，确定图像A2中，与世界坐标系中的坐标为(X，Y，Z)的点具有映射关系的像素点S′，并将图像A2中像素点S′的像素值赋予给图像J2上，坐标为(x，y)的像素点。按照类似的方式，可以将图像A2中的至少部分像素点的像素值赋予给图像J2上的相应像素点，这样，图像J2中被赋予了像素值的各像素点可以构成图像A2对应的投影图像，该投影图像可以记为图像T1。
按照上段中的方式，可以得到与多张彩色图像对应的多张投影图像，在彩色图像为18张的情况下，投影图像也为18张，这18张投影图像中的4张投影图像在相应空白图像中的示意图可以如图5-1至图5-4所示。
在得到多张彩色图像对应的多张投影图像之后，可以生成多张投影图像对应的多个高斯图像金字塔，多张投影图像与多个高斯图像金字塔之间可以为一一对应的关系。具体地，对于图像T1，可以先对其进行下采样处理，然后再用高斯卷积核对图像T1的下采样处理结果做卷积处理，以得到一中间图像，之后可以基于该中间图像，构建相应的高斯图像金字塔，具体构建过程参照步骤102中的相应部分的说明即可，在此不再赘述。
本公开的实施例中，基于多张彩色图像对应的多张深度图像，可以进行深度全景图像的生成，之后可以基于深度全景图像，将多张彩色图像投影至相同坐标系，以便于进行后续拼接，这样能够保证拼接效果。
在一个可选示例中，根据深度全景图像，对多张彩色图像进行投影，包括：
对深度全景图像进行M次高斯滤波处理和/或P次空洞边缘深度值生长处理，得到每个像素点均具有深度值的深度全景图像；其中，M和P均为大于或等于1的整数，在M大于或者等于2的情况下，后一次高斯滤波处理使用的卷积核大于前一次高斯滤波处理使用的卷积核；
根据每个像素点均具有深度值的深度全景图像，对多张彩色图像进行投影。
这里，M的取值可以1、2、3或者其他数值，P的取值也可以为1、2、3或者其他数值，在此不再一一列举。可选地，M与P的取值可以相同，也可以不同。
这里，在M大于或等于2的情况下，第一次高斯滤波处理使用的卷积核的卷积核大小可以为3×3，第二次高斯滤波处理使用的卷积核的卷积核大小可以为5×5，第三次高斯滤波处理使用的卷积核的卷积核大小可以为7×7，……。
本公开的实施例中，可以交替地对深度全景图像进行高斯滤波处理和空洞边缘深度值生长处理。具体地，可以先对深度全景图像做卷积核大小为3×3的高斯滤波处理，以将深度全景图像中空洞较小的区域做填充(即为该区域中的像素点添加深度值)；接下来，可以逐行扫描经过1次高斯滤波处理后的深度全景图像，以找到仍然存在的空洞的左右两端，将空洞边缘深度值向空洞内生长若干个像素，以缩小较大的空洞；之后，可以继续对经过1次高斯滤波处理和1次空洞边缘深度值生长处理的深度全景图像做卷积核大小为5×5的高斯滤波处理；再之后，可以逐行扫描经过2次高斯滤波处理和1次空洞边缘深度值生长处理的深度全景图像，以找到仍然存在的空洞的左右两端，将空洞边缘深度值向空洞内生长若干个像素，以缩小较大的空洞；后续过程依此类推，在此不再赘述。
通过交替地对深度全景图像进行高斯滤波处理和空洞边缘深度值生长处理，最终能够得到每个像素点均具有深度值的深度全景图像(即深度值完整的深度全景图像)。之后，可以根据每个像素点均具有深度值的深度全景图像，对多张彩色图像进行投影。在一种具体实施方式中，根据每个像素点均具有深度值的深度全景图像，对多张彩色图像进行投影，包括：
对每个像素点均具有深度值的深度全景图像进行引导滤波处理；
根据每个像素点均具有深度值，且进行了引导滤波处理后的深度全景图像，对多张彩色图像进行投影。
可以理解的是，引导滤波是需要引导图的滤波，其和双边滤波一样，是一种保边滤波算法。
这种实施方式中，通过引入引导滤波处理这种滤波后处理方式，能够提升深度全景图像的图像效果，以减小后续得到的彩色全景图像发生扭曲变形的可能性。
当然，滤波后处理方式的类型并不局限于引导滤波处理，其他滤波处理也是可行的。
本公开的实施例中，通过对深度全景图像进行M次高斯滤波处理和/或P次空洞边缘深度值生长处理，能够实现深度全景图像的深度补全，以便基于经深度补全后的深度全景图像执行后续处理，从而能够避免由于深度全景图像中的深度值不全、不准确，深度值过度不平滑而造成彩色全景图像的扭曲变形问题。
综上，本公开的实施例中，通过基于高斯图像金字塔和拉普拉斯图像金字塔的图像色差融合，能够较好地避免彩色全景图像可能存在的色差问题，通过在差分图像的每行像素点中分别找目标像素点，进行目标像素点的顺次连接，以得到最佳的拼接分割线，能够较好地避免彩色全景图像可能存在的拼缝问题，具体地，按照本公开的实施例中的方式得到的彩色全景图像可以如图6-1所示，按照相关技术中的方式得到的彩色全景图像可以如图6-2所示，容易看出，图6-1中的彩色全景图像无色差无拼缝，图6-2中的彩色全景图像有色差有拼缝。
另外，本公开的实施例中，通过对深度全景图像进行高斯滤波处理、空洞边缘深度值，以及引导滤波处理，可以在补全深度的同时平滑图像，从而能够较好地避免彩色全景图像可能出现的扭曲变形问题，具体地，按照本公开的实施例中的方式得到的彩色全景图像可以如图7-1所示，按照相关技术中的方式得到的彩色全景图像可以如图7-2所示，容易看出，图7-1中的彩色全景图像无扭曲变形，图7-2中的彩色全景图像有扭曲变形。
本公开的实施例提供的任一种图像处理方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种图像处理方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种图像处理方法。下文不再赘述。
示例性装置
图8是本公开一示例性实施例提供的图像处理装置的结构示意图，图8所示的装置包括第一获取模块801、第一生成模块802、第二生成模块803、第二获取模块804和第三获取模块805。
第一获取模块801，用于获取多张彩色图像；
第一生成模块802，用于根据多张彩色图像，生成多个高斯图像金字塔，并根据多个高斯图像金字塔，生成多个拉普拉斯图像金字塔；
第二生成模块803，用于生成多个拉普拉斯图像金字塔的多张顶层图像的融合图像；
第二获取模块804，用于根据融合图像、多个高斯图像金字塔，以及多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像；
第三获取模块805，用于对多张处理图像进行拼接，得到彩色全景图像。
在一个可选示例中，第二获取模块804，包括：
第一生成子模块，用于根据融合图像、多个高斯图像金字塔中的各个高斯图像金字塔的各层图像，以及多个拉普拉斯图像金字塔中的各个拉普拉斯图像金字塔除了底层图像之外的图像，生成多个高斯图像金字塔的多张底层图像的多张还原图像；
第一确定子模块，用于将多张还原图像作为经色差融合处理得到的多张处理图像。
在一个可选示例中，第一生成子模块，包括：
第一生成单元，用于根据融合图像和多个高斯图像金字塔中的第一高斯图像金字塔的顶层图像，生成第一高斯图像金字塔的第2层图像的还原图像；
第二生成单元，用于根据第一高斯图像金字塔的第K层图像的还原图像，以及多个拉普拉斯图像金字塔中，第一高斯图像金字塔对应的第一拉普拉斯图像金字塔的第K层图像，生成第一高斯图像金字塔的第K+1层图像的还原图像；其中，K的初始值为2；
处理单元，用于在第一高斯图像金字塔的第K+1层图像不为第一高斯图像金字塔的底层图像的情况下，计算K与1的和值，将K更新为所计算的和值，并触发第二生成单元，直至得到第一高斯图像金字塔的底层图像的还原图像。
在一个可选示例中，第三获取模块805，包括：
第二确定子模块，用于确定多张处理图像中具有拼接重叠关系的第一处理图像和第二处理图像；
第二生成子模块，用于生成第一处理图像和第二处理图像的拼接重叠区域对应的差分图像；
第三确定子模块，用于在差分图像上确定拼接分割线；
拼接子模块，用于根据拼接分割线，对第一处理图像和第二处理图像进行拼接。
在一个可选示例中，第三确定子模块，包括：
选择单元，用于选择差分图像中的首行像素点中的一个像素点作为首行像素点中的目标像素点；
第一确定单元，用于确定差分图像中的每个非首行像素点中的目标像素点；其中，任一非首行像素点中的目标像素点为：本非首行像素点包括的各像素点中，与上一行像素点中的目标像素点的像素值最接近的像素点；
第二确定单元，用于确定由各行像素点中的目标像素点顺次连接形成的拼接分割线。
在一个可选示例中，第一生成模块802，包括：
第一获取子模块，用于获取多张彩色图像对应的多张深度图像；
第二获取子模块，用于对多张深度图像进行拼接，得到深度全景图像；
第三获取子模块，用于根据深度全景图像，对多张彩色图像进行投影，以得到多张投影图像；其中，多张投影图像均位于深度全景图像所在的坐标系；
第二生成子模块，用于生成多张投影图像对应的多个高斯图像金字塔。
在一个可选示例中，第三获取子模块，包括：
获取单元，用于对深度全景图像进行M次高斯滤波处理和/或P次空洞边缘深度值生长处理，得到每个像素点均具有深度值的深度全景图像；其中，M和P均为大于或等于1的整数，在M大于或等于2的情况下，后一次高斯滤波处理使用的卷积核大于前一次高斯滤波处理使用的卷积核；
投影单元，用于根据每个像素点均具有深度值的深度全景图像，对多张彩色图像进行投影。
在一个可选示例中，投影单元，包括：
滤波子单元，用于对每个像素点均具有深度值的深度全景图像进行引导滤波处理；
投影子单元，用于根据每个像素点均具有深度值，且进行了引导滤波处理后的深度全景图像，对多张彩色图像进行投影。
示例性电子设备
下面，参考图9来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图9图示了根据本公开实施例的电子设备900的框图。
如图9所示，电子设备900包括一个或多个处理器901和存储器902。
处理器901可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备900中的其他组件以执行期望的功能。
存储器902可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器901可以运行所述程序指令，以实现上文所述的本公开的各个实施例的图像处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备900还可以包括：输入装置903和输出装置904，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在电子设备900是第一设备或第二设备时，该输入装置903可以是麦克风或麦克风阵列。在电子设备900是单机设备时，该输入装置903可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
此外，该输入装置903还可以包括例如键盘、鼠标等等。
该输出装置904可以向外部输出各种信息。该输出装置904可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
当然，为了简化，图9中仅示出了该电子设备900中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备900还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像处理方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像处理方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取多张彩色图像；
根据所述多张彩色图像，生成多个高斯图像金字塔，并根据所述多个高斯图像金字塔，生成多个拉普拉斯图像金字塔；
生成所述多个拉普拉斯图像金字塔的多张顶层图像的融合图像；
根据所述融合图像、所述多个高斯图像金字塔，以及所述多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像；
对所述多张处理图像进行拼接，得到彩色全景图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述融合图像、所述多个高斯图像金字塔，以及所述多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像，包括：
根据所述融合图像、所述多个高斯图像金字塔中的各个高斯图像金字塔的各层图像，以及所述多个拉普拉斯图像金字塔中的各个拉普拉斯图像金字塔除了底层图像之外的图像，生成所述多个高斯图像金字塔的多张底层图像的多张还原图像；
将所述多张还原图像作为经色差融合处理得到的多张处理图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述融合图像、所述多个高斯图像金字塔中的各个高斯图像金字塔的各层图像，以及所述多个拉普拉斯图像金字塔中的各个拉普拉斯图像金字塔除了底层图像之外的图像，生成所述多个高斯图像金字塔的多张底层图像的多张还原图像，包括：
根据所述融合图像和所述多个高斯图像金字塔中的第一高斯图像金字塔的顶层图像，生成所述第一高斯图像金字塔的第2层图像的还原图像；
根据所述第一高斯图像金字塔的第K层图像的还原图像，以及所述多个拉普拉斯图像金字塔中，所述第一高斯图像金字塔对应的第一拉普拉斯图像金字塔的第K层图像，生成所述第一高斯图像金字塔的第K+1层图像的还原图像；其中，K的初始值为2；
在所述第一高斯图像金字塔的第K+1层图像不为所述第一高斯图像金字塔的底层图像的情况下，计算K与1的和值，将K更新为所计算的和值，并返回执行所述根据所述第一高斯图像金字塔的第K层图像的还原图像，以及所述多个拉普拉斯图像金字塔中，所述第一高斯图像金字塔对应的第一拉普拉斯图像金字塔的第K层图像，生成所述第一高斯图像金字塔的第K+1层图像的还原图像的步骤，直至得到所述第一高斯图像金字塔的底层图像的还原图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述多张处理图像进行拼接，包括：
确定所述多张处理图像中具有拼接重叠关系的第一处理图像和第二处理图像；
生成所述第一处理图像和所述第二处理图像的拼接重叠区域对应的差分图像；
在所述差分图像上确定拼接分割线；
根据所述拼接分割线，对所述第一处理图像和所述第二处理图像进行拼接。
5.根据权利要求4所述的方法，其特征在于，所述在所述差分图像上确定拼接分割线，包括：
选择所述差分图像中的首行像素点中的一个像素点作为所述首行像素点中的目标像素点；
确定所述差分图像中的每个非首行像素点中的目标像素点；其中，任一非首行像素点中的目标像素点为：本非首行像素点包括的各像素点中，与上一行像素点中的目标像素点的像素值最接近的像素点；
确定由各行像素点中的目标像素点顺次连接形成的拼接分割线。
6.根据权利要求1所述的方法，其特征在于，所述根据所述多张彩色图像，生成多个高斯图像金字塔，包括：
获取所述多张彩色图像对应的多张深度图像；
对所述多张深度图像进行拼接，得到深度全景图像；
根据所述深度全景图像，对所述多张彩色图像进行投影，以得到多张投影图像；其中，所述多张投影图像均位于所述深度全景图像所在的坐标系；
生成所述多张投影图像对应的多个高斯图像金字塔。
7.根据权利要求6所述的方法，其特征在于，所述根据所述深度全景图像，对所述多张彩色图像进行投影，包括：
对所述深度全景图像进行M次高斯滤波处理和/或P次空洞边缘深度值生长处理，得到每个像素点均具有深度值的所述深度全景图像；其中，M和P均为大于或等于1的整数，在M大于或等于2的情况下，后一次高斯滤波处理使用的卷积核大于前一次高斯滤波处理使用的卷积核；
根据每个像素点均具有深度值的所述深度全景图像，对所述多张彩色图像进行投影。
8.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取多张彩色图像；
第一生成模块，用于根据所述多张彩色图像，生成多个高斯图像金字塔，并根据所述多个高斯图像金字塔，生成多个拉普拉斯图像金字塔；
第二生成模块，用于生成所述多个拉普拉斯图像金字塔的多张顶层图像的融合图像；
第二获取模块，用于根据所述融合图像、所述多个高斯图像金字塔，以及所述多个拉普拉斯图像金字塔，进行色差融合处理，得到多张处理图像；
第三获取模块，用于对所述多张处理图像进行拼接，得到彩色全景图像。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序用于执行上述权利要求1至7中任一项所述的图像处理方法。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1至7中任一项所述的图像处理方法。
CN202010991778.9A 2020-09-18 2020-09-18 图像处理方法、装置、计算机可读存储介质及电子设备 Active CN112102171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010991778.9A CN112102171B (zh) 2020-09-18 2020-09-18 图像处理方法、装置、计算机可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010991778.9A CN112102171B (zh) 2020-09-18 2020-09-18 图像处理方法、装置、计算机可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112102171A true CN112102171A (zh) 2020-12-18
CN112102171B CN112102171B (zh) 2021-10-08

Family

ID=73760087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010991778.9A Active CN112102171B (zh) 2020-09-18 2020-09-18 图像处理方法、装置、计算机可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112102171B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022619A (zh) * 2021-11-26 2022-02-08 贝壳找房(北京)科技有限公司 图像位姿优化方法和装置、设备、存储介质和程序产品
CN115277591A (zh) * 2022-08-04 2022-11-01 深圳云豹智能有限公司 报文处理电路、方法、芯片和计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793895A (zh) * 2014-01-10 2014-05-14 中国农业大学 一种果树冠层器官图像拼接方法
US8885976B1 (en) * 2013-06-20 2014-11-11 Cyberlink Corp. Systems and methods for performing image fusion
CN105631811A (zh) * 2016-02-25 2016-06-01 科盾科技股份有限公司 一种用于图像拼接的方法及装置
CN107194866A (zh) * 2017-04-29 2017-09-22 天津大学 减少拼接图像错位的图像融合方法
CN108040243A (zh) * 2017-12-04 2018-05-15 南京航空航天大学 多光谱立体视觉内窥镜装置及图像融合方法
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法
CN110428367A (zh) * 2019-07-26 2019-11-08 北京小龙潜行科技有限公司 一种图像拼接方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885976B1 (en) * 2013-06-20 2014-11-11 Cyberlink Corp. Systems and methods for performing image fusion
CN103793895A (zh) * 2014-01-10 2014-05-14 中国农业大学 一种果树冠层器官图像拼接方法
CN105631811A (zh) * 2016-02-25 2016-06-01 科盾科技股份有限公司 一种用于图像拼接的方法及装置
CN107194866A (zh) * 2017-04-29 2017-09-22 天津大学 减少拼接图像错位的图像融合方法
CN108040243A (zh) * 2017-12-04 2018-05-15 南京航空航天大学 多光谱立体视觉内窥镜装置及图像融合方法
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法
CN110428367A (zh) * 2019-07-26 2019-11-08 北京小龙潜行科技有限公司 一种图像拼接方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHIV KUMAR VERMA 等: "Hybrid Image Fusion Algorithm Using Laplacian Pyramid and PCA Method", 《INTERNATIONAL CONFERENCE ON INFORMATION & COMMUNICATION TECHNOLOGY FOR COMPETITIVE STRAGIES》 *
刘跃 等: "基于多分辨率图像融合算法的岩心图像拼接", 《太赫兹科学与电子信息学报》 *
王茜等: "基于SIFT算法的无人机遥感图像拼接技术", 《吉林大学学报(信息科学版)》 *
马先喜 等: "基于PCA的拉普拉斯金字塔变换融合算法研究", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022619A (zh) * 2021-11-26 2022-02-08 贝壳找房(北京)科技有限公司 图像位姿优化方法和装置、设备、存储介质和程序产品
CN115277591A (zh) * 2022-08-04 2022-11-01 深圳云豹智能有限公司 报文处理电路、方法、芯片和计算机设备
CN115277591B (zh) * 2022-08-04 2023-11-07 深圳云豹智能有限公司 报文处理电路、方法、芯片和计算机设备

Also Published As

Publication number Publication date
CN112102171B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
JP6563609B2 (ja) 中間ビューからの効率的なキャンバスビューの生成
US11055826B2 (en) Method and apparatus for image processing
US10970821B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
CN108939556B (zh) 一种基于游戏平台的截图方法及装置
CN112102171B (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
US20180350043A1 (en) Shallow Depth Of Field Rendering
CN111429354B (zh) 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN109509146A (zh) 图像拼接方法及装置、存储介质
CN108322722B (zh) 基于增强现实的图像处理方法、装置及电子设备
US20210166352A1 (en) Method and apparatus for restoring image
CN114399597A (zh) 场景空间模型的构建方法、装置以及存储介质
TW202137133A (zh) 圖像處理方法、電子設備及電腦可讀儲存介質
CN111402404A (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
CN112241934B (zh) 一种图像处理方法以及相关设备
US11715218B2 (en) Information processing apparatus and information processing method
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
US9361674B2 (en) Image processing apparatus, image processing method, and storage medium
CN114004890A (zh) 姿态确定方法、装置、电子设备和存储介质
CN116129049B (zh) 图像处理方法、设备、存储介质及程序产品
CN111429353A (zh) 图像拼接及全景图拼接方法和装置、存储介质、电子设备
US9723216B2 (en) Method and system for generating an image including optically zoomed and digitally zoomed regions
CN114429430A (zh) 图像处理方法、电子设备和非瞬态计算机可读介质
CN110545375B (zh) 图像处理方法、装置、存储介质及电子设备
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111383171B (zh) 一种图片处理方法、系统及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210415

Address after: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: Unit 05, room 112, 1st floor, office building, Nangang Industrial Zone, economic and Technological Development Zone, Binhai New Area, Tianjin 300457

Applicant before: BEIKE TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant