CN110349077A - 一种全景图像合成方法、装置及电子设备 - Google Patents

一种全景图像合成方法、装置及电子设备 Download PDF

Info

Publication number
CN110349077A
CN110349077A CN201810284392.7A CN201810284392A CN110349077A CN 110349077 A CN110349077 A CN 110349077A CN 201810284392 A CN201810284392 A CN 201810284392A CN 110349077 A CN110349077 A CN 110349077A
Authority
CN
China
Prior art keywords
image
flake
pixel
default
unfolded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810284392.7A
Other languages
English (en)
Other versions
CN110349077B (zh
Inventor
冉盛辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810284392.7A priority Critical patent/CN110349077B/zh
Publication of CN110349077A publication Critical patent/CN110349077A/zh
Application granted granted Critical
Publication of CN110349077B publication Critical patent/CN110349077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种全景图像合成方法、装置及电子设备，其中，全景图像合成方法包括：获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；若不一致，则根据预设展开参数调整策略，调整预设展开参数，并基于调整后的展开参数得到新的鱼眼展开图像，再进行重叠区域图像是否一致的判断，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。通过本方案，可以提高全景图像的成像效果。

Description

一种全景图像合成方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种全景图像合成方法、装置及电子设备。
背景技术
鱼眼摄像头是模拟鱼类仰视水面效果的一种超广角摄像头，鱼眼摄像头的视场角大于或等于180度。鱼眼摄像头具有视场角大、可容纳场景多、可适应狭小空间拍摄等优点，因此，在虚实景技术、机器人导航、视觉监控、智能辅助驾驶等领域中被广泛应用。
由于鱼眼摄像头的视场角大于或等于180度，多将两个鱼眼摄像头背靠背设置，组成一个双鱼眼设备，这样，通过将两个鱼眼摄像头分别拍摄的鱼眼图像进行拼接，即可得到360度的全景图像。
相应的全景图像合成方法中，分别将各鱼眼图像沿圆心展开，得到两个展开图，对两个展开图进行特征提取，基于提取的特征点进行图像匹配，根据匹配结果将两个展开图的边缘区域进行融合，通过对两个展开图的融合、拼接，合成全景图像。但是，由于两个鱼眼摄像头的参数不完全一致，导致两个展开图的边缘区域存在不同变形，进而使得合成的全景图像与实际存在偏差、成像效果差。
发明内容
本发明实施例的目的在于提供一种全景图像合成方法、装置及电子设备，以避免出现各鱼眼展开图像的边缘区域存在不同变形的现象，减少合成的全景图像与实际的偏差，提高全景图像的成像效果。具体技术方案如下：
第一方面，本发明实施例提供了一种全景图像合成方法，所述方法包括：
获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；
基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；
从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；
若不一致，则根据预设展开参数调整策略，调整所述预设展开参数，并返回执行所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。
可选的，所述预设展开参数，包括：鱼眼图像的中心坐标参数及视场角参数；
所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，包括：
获取目标鱼眼展开图像上第一像素点的坐标、所述目标鱼眼展开图像的预设宽度及预设高度，所述第一像素点为所述目标鱼眼展开图像上的任一像素点；
根据所述第一像素点的坐标、所述预设宽度及所述预设高度，通过预设转换关系，计算得到所述第一像素点的极坐标；
根据所述第一像素点的极坐标，通过第一预设映射关系，计算得到将所述第一像素点映射至预设单位球面上的第二像素点的坐标；
针对各鱼眼图像，获取该鱼眼图像中有效区域的直径、该鱼眼图像的中心坐标参数及视场角参数；
根据所述第二像素点的坐标、所述直径、所述中心坐标参数及所述视场角参数，通过第二预设映射关系，计算得到该鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标；
根据计算得到的目标鱼眼展开图像上各像素点与该鱼眼图像上各像素点的映射关系，将映射得到的目标鱼眼展开图像作为该鱼眼图像的鱼眼展开图像。
可选的，所述预设转换关系，为：
其中，所述(x,y)为目标鱼眼展开图像上第一像素点的坐标，所述width为所述目标鱼眼展开图像的预设宽度，所述height为所述目标鱼眼展开图像的预设高度，所述为所述第一像素点的极坐标；
所述第一预设映射关系，为：
其中，所述(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点的坐标；
所述第二预设映射关系，为：
θnew＝atan2(Z,X)
u＝center_x+r*cos(θnew)
v＝center_y+r*sin(θnew)
其中，所述θnew为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述r为所述第二像素点至所述球心的距离，所述Lfisheye为鱼眼图像中有效区域的直径，所述FOV为鱼眼图像的视场角参数，所述(u,v)为鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标，所述(center_x,center_y)为鱼眼图像的中心坐标参数。
可选的，所述预设展开参数包括：鱼眼图像的视场角参数；
所述根据预设展开参数调整策略，调整所述预设展开参数，包括：
检测各鱼眼展开图像中的线条方向；
根据线条方向与视场角参数的预设对应关系，调整各鱼眼图像的视场角参数。
可选的，所述预设展开参数包括：鱼眼图像的中心坐标参数；
所述根据预设展开参数调整策略，调整所述预设展开参数，包括：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与中心坐标参数的预设对应关系，调整各鱼眼图像的中心坐标参数。
可选的，所述预设展开参数包括：鱼眼图像的旋转角度参数；
所述根据预设展开参数调整策略，调整所述预设展开参数，包括：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与图像旋转角度参数的预设对应关系，增加各鱼眼图像的旋转角度参数。
可选的，所述将各鱼眼展开图像进行拼接，合成全景图像，包括：
按照预设裁剪策略，对各鱼眼展开图像进行裁剪，得到各裁剪图像；
将第一裁剪图像平分为左半侧图像及右半侧图像，所述第一裁剪图像为任一裁剪图像；
将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，所述第二裁剪图像为除所述第一裁剪图像以外的另一裁剪图像。
可选的，所述将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，包括：
基于第一预设权重，将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，得到第一重叠区域图像；
基于第二预设权重，将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，得到第二重叠区域图像；
通过对所述左半侧图像的右边缘区域图像、所述第一重叠区域图像、所述第二裁剪图像的中间区域图像、所述第二重叠区域图像及所述右半侧图像的左边缘区域图像进行拼接，合成全景图像。
可选的，在所述将各鱼眼展开图像进行拼接，合成全景图像之后，所述方法还包括：
根据预设投影策略，将所述全景图像投影至三维立体表面，得到三维全景图像。
第二方面，本发明实施例提供了一种全景图像合成装置，所述装置包括：
获取模块，用于获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；
展开模块，用于基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；
判断模块，用于从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；
调整模块，用于若所述判断模块的判断结果为不一致，则根据预设展开参数调整策略，调整所述预设展开参数，并执行所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。
可选的，所述预设展开参数，包括：鱼眼图像的中心坐标参数及视场角参数；
所述展开模块，具体用于：
获取目标鱼眼展开图像上第一像素点的坐标、所述目标鱼眼展开图像的预设宽度及预设高度，所述第一像素点为所述目标鱼眼展开图像上的任一像素点；
根据所述第一像素点的坐标、所述预设宽度及所述预设高度，通过预设转换关系，计算得到所述第一像素点的极坐标；
根据所述第一像素点的极坐标，通过第一预设映射关系，计算得到将所述第一像素点映射至预设单位球面上的第二像素点的坐标；
针对各鱼眼图像，获取该鱼眼图像中有效区域的直径、该鱼眼图像的中心坐标参数及视场角参数；
根据所述第二像素点的坐标、所述直径、所述中心坐标参数及所述视场角参数，通过第二预设映射关系，计算得到该鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标；
根据计算得到的目标鱼眼展开图像上各像素点与该鱼眼图像上各像素点的映射关系，将映射得到的目标鱼眼展开图像作为该鱼眼图像的鱼眼展开图像。
可选的，所述预设转换关系，为：
其中，所述(x,y)为目标鱼眼展开图像上第一像素点的坐标，所述width为所述目标鱼眼展开图像的预设宽度，所述height为所述目标鱼眼展开图像的预设高度，所述为所述第一像素点的极坐标；
所述第一预设映射关系，为：
其中，所述(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点的坐标；
所述第二预设映射关系，为：
θnew＝atan2(Z,X)
u＝center_x+r*cos(θnew)
v＝center_y+r*sin(θnew)
其中，所述θnew为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述r为所述第二像素点至所述球心的距离，所述Lfisheye为鱼眼图像中有效区域的直径，所述FOV为鱼眼图像的视场角参数，所述(u,v)为鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标，所述(center_x,center_y)为鱼眼图像的中心坐标参数。
可选的，所述预设展开参数包括：鱼眼图像的视场角参数；
所述调整模块，具体用于：
检测各鱼眼展开图像中的线条方向；
根据线条方向与视场角参数的预设对应关系，调整各鱼眼图像的视场角参数。
可选的，所述预设展开参数包括：鱼眼图像的中心坐标参数；
所述调整模块，具体用于：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与中心坐标参数的预设对应关系，调整各鱼眼图像的中心坐标参数。
可选的，所述预设展开参数包括：鱼眼图像的旋转角度参数；
所述调整模块，具体用于：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与图像旋转角度参数的预设对应关系，增加各鱼眼图像的旋转角度参数。
可选的，所述调整模块，具体用于：
按照预设裁剪策略，对各鱼眼展开图像进行裁剪，得到各裁剪图像；
将第一裁剪图像平分为左半侧图像及右半侧图像，所述第一裁剪图像为任一裁剪图像；
将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，所述第二裁剪图像为除所述第一裁剪图像以外的另一裁剪图像。
可选的，所述调整模块，具体用于：
基于第一预设权重，将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，得到第一重叠区域图像；
基于第二预设权重，将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，得到第二重叠区域图像；
通过对所述左半侧图像的右边缘区域图像、所述第一重叠区域图像、所述第二裁剪图像的中间区域图像、所述第二重叠区域图像及所述右半侧图像的左边缘区域图像进行拼接，合成全景图像。
可选的，所述装置还包括：
投影模块，用于根据预设投影策略，将所述全景图像投影至三维立体表面，得到三维全景图像。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本发明实施例所提供的全景图像合成的所有步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所提供的全景图像合成的所有步骤。
本发明实施例提供的一种全景图像合成方法、装置及电子设备，基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别对获取到的两个鱼眼摄像头采集的鱼眼图像展开，得到各鱼眼图像的鱼眼展开图像，从各鱼眼展开图像中提取重叠区域图像，并在各鱼眼展开图像中相应的重叠区域图像不一致时，根据预设展开参数调整策略，调整预设展开参数，直至各鱼眼展开图像中相应的重叠区域图像一致时，将各鱼眼展开图像进行拼接，合成全景图像。通过对各鱼眼展开图像中相应的重叠区域图像进行一致性判断，在各鱼眼展开图像中相应的重叠区域图像不一致时，根据预设展开参数调整策略，调整预设展开参数，将各鱼眼展开图像中相应的重叠区域图像调整为一致，则保证了在进行各鱼眼展开图像的拼接时，各鱼眼展开图像中相应的重叠区域图像相同，有效避免了各鱼眼展开图像的边缘区域存在不同变形的现象，进而减少了合成的全景图像与实际的偏差，提高了全景图像的成像效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的全景图像合成方法的流程示意图；
图2a为本发明实施例的双鱼眼设备中第一鱼眼摄像头采集的鱼眼图像；
图2b为本发明实施例的双鱼眼设备中第二鱼眼摄像头采集的鱼眼图像；
图3为本发明实施例的鱼眼图像中有效区域的示意图；
图4为现有技术的各鱼眼展开图像拼接的示意图；
图5a为本发明实施例的在鱼眼摄像头的视场角为160度时的鱼眼展开图像；
图5b为本发明实施例的在鱼眼摄像头的视场角为180度时的鱼眼展开图像；
图5c为本发明实施例的在鱼眼摄像头的视场角为200度时的鱼眼展开图像；
图6a为本发明实施例的在鱼眼摄像头的视场角为180度中心坐标左移20时的鱼眼展开图；
图6b为本发明实施例的在鱼眼摄像头的视场角为180度中心坐标右移20时的鱼眼展开图；
图7a为本发明实施例的在鱼眼摄像头的视场角为180度旋转10度时的鱼眼展开图；
图7b为本发明实施例的在鱼眼摄像头的视场角为180度旋转-10度时的鱼眼展开图；
图8a为本发明实施例的第一鱼眼摄像头经展开参数调整后得到的鱼眼展开图像；
图8b为本发明实施例的第二鱼眼摄像头经展开参数调整后得到的鱼眼展开图像；
图9为本发明实施例的对各鱼眼展开图像进行拼接，合成全景图像的示意图；
图10为本发明实施例的在进行重叠区域图像融合时的权重分配示意图；
图11为本发明实施例的全景图像；
图12为本发明实施例的全景图像合成装置的结构示意图；
图13为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高全景图像的成像效果，本发明实施例提供了一种全景图像合成方法、装置及电子设备。
下面，首先对本发明实施例所提供的全景图像合成方法进行介绍。
本发明实施例所提供的全景图像合成方法的执行主体可以为包含有核心处理芯片的双鱼眼设备，也可以为具有图像处理合成功能的电子设备，实现本发明实施例所提供的全景图像合成方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路中的至少一种。如图1所示，本发明实施例所提供的一种全景图像合成方法，可以包括如下步骤：
S101，获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像。
双鱼眼设备包括两个鱼眼摄像头，每个鱼眼摄像头的视场角大于或等于180度，因此双鱼眼设备的总视场角大于或等于360度。双鱼眼设备既可以包含核心处理芯片，也可以不包含核心处理芯片。如果双鱼眼设备包含核心处理芯片，则可以由双鱼眼设备中的核心处理芯片获取各鱼眼摄像头分别采集的鱼眼图像；如果双鱼眼设备不包含核心处理芯片，则需要由具有图像处理合成功能的电子设备获取双鱼眼设备中各鱼眼摄像头分别采集的鱼眼图像。鱼眼图像即为鱼眼摄像头对场景进行拍摄，所采集到的图像。
两个双鱼眼摄像头可以不具有一致的关键参数和安装参数，其中，关键参数包括但不限于摄像头内参、视场角、畸变量、焦距等；安装参数包括但不限于安装位置、安装角度等。
S102，基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像。
由于鱼眼摄像头的视场角大于或等于180度，所采集的鱼眼图像并不是一个完整的平面图像，而是实际场景发生了变形的图像，而对于变形的图像直接进行拼接是难以实现的，因此，在进行全景图像的生成之前，需要将各鱼眼图像展开。如图2a及图2b所示，为两个鱼眼摄像头分别采集的鱼眼图像，两个鱼眼摄像头的视场角均超过了180度，因此，会产生第一重叠区域201和第二重叠区域202两个重叠区域，对于如图2a及图2b所示的变形的鱼眼图像，由于重叠区域的方向、变形程度存在差别，无法直接进行拼接，需要对各鱼眼图像展开，再进行拼接，才可得到全景图像。
对各鱼眼图像的展开方式，可以是以鱼眼图像的中心点为基准点，以此将鱼眼图像上的像素点排开，从而得到预设尺寸的鱼眼展开图像；对各鱼眼图像的展开方式，也可以是像素点映射的方式，即预先建立目标鱼眼展开图像，利用像素点的映射关系，对应从鱼眼图像中查找到目标鱼眼展开图像各像素点对应的像素点，进而得到该鱼眼图像的鱼眼展开图像；对各鱼眼图像的展开方式，还可以是正向映射的方式，即利用像素点的坐标映射关系，直接对鱼眼图像上的各像素点进行映射，得到该鱼眼图像的鱼眼展开图像。由于在正向映射时，会因为总像素点数不匹配的原因产生映射错误的现象，因此可以采用反向映射的方式对鱼眼图像进行展开。
可选的，预设展开参数，包括：鱼眼图像的中心坐标参数及视场角参数；
则S102具体可以包括如下步骤：
第一步，获取目标鱼眼展开图像上第一像素点的坐标、目标鱼眼展开图像的预设宽度及预设高度，其中，第一像素点为目标鱼眼展开图像上的任一像素点。
目标鱼眼展开图像的尺寸往往是基于需求预先设置好的，可以根据全景图像的期望成像效果决定，例如，目标鱼眼展开图像可以为640*480、1024*768、1600*1200等，目标鱼眼展开图像的预设宽度和预设高度可以是图像分辨率。目标鱼眼展开图像相当于一个空白图，待填充各像素点，通过像素点的映射、填充之后可以得到鱼眼图像的鱼眼展开图像。
第二步，根据第一像素点的坐标、预设宽度及预设高度，通过预设转换关系，计算得到第一像素点的极坐标。
由于全景图像实际是一个360度的球面图像的展开图，即目标鱼眼展开图像实际也是一个球面展开图像，因此，在换算第一像素点在预设单位球面上的坐标之前，可以计算得到第一像素点的极坐标。
具体的，预设转换关系，可以为：
其中，(x,y)为目标鱼眼展开图像上第一像素点的坐标，width为目标鱼眼展开图像的预设宽度，height为目标鱼眼展开图像的预设高度，为第一像素点的极坐标，且θ的范围为(-π,π)，的范围为(-π/2,π/2)。
第三步，根据第一像素点的极坐标，通过第一预设映射关系，计算得到将第一像素点映射至预设单位球面上的第二像素点的坐标。
在计算得到第一像素点的极坐标之后，利用极坐标与三维坐标的映射关系(即第一预设映射关系)，即可得到将第一像素点进行球面映射时，对应在预设单位球面上第二像素点的坐标。
具体的，第一预设映射关系，可以为：
其中，(X,Y,Z)为将第一像素点映射至预设单位球面上的第二像素点的坐标。
第四步，针对各鱼眼图像，获取该鱼眼图像中有效区域的直径、该鱼眼图像的中心坐标参数及视场角参数
鱼眼摄像头在采集鱼眼图像时，在鱼眼图像中存在一个圆形区域，该区域内的图像即为实际场景的图像，因此，通常将该圆形区域称之为有效区域，如图3所示；鱼眼图像的中心坐标参数为中心点的实际坐标，该参数由鱼眼摄像头的中心点决定；鱼眼图像的视场角参数为鱼眼图像的实际视场角大小，该参数由鱼眼摄像头的视场角决定。通过对鱼眼图像的检测识别，可以获取到有效区域的直径、中心坐标参数。每个鱼眼摄像机出厂时会有一个固化的鱼眼摄像机视场角，可以将该视场角作为该鱼眼摄像头采集的鱼眼图像的视场角参数。
第五步，根据第二像素点的坐标、该鱼眼图像中有效区域的直径、中心坐标参数及视场角参数，通过第二预设映射关系，计算得到该鱼眼图像上与第一像素点具有映射关系的第三像素点的坐标。
具体的，第二预设映射关系，具体可以为：
其中，θnew为第一连线与预设单位球面所处坐标轴中横轴的夹角，第一连线为第二像素点与预设单位球面的球心的连线，为第一连线与预设单位球面所处坐标轴中纵轴的夹角，r为第二像素点至球心的距离，Lfisheye为鱼眼图像中有效区域的直径，FOV为鱼眼图像的视场角参数，(u,v)为鱼眼图像上与第一像素点具有映射关系的第三像素点的坐标，(center_x,center_y)为鱼眼图像的中心坐标参数。
第六步，根据计算得到的目标鱼眼展开图像上各像素点与该鱼眼图像上各像素点的映射关系，将映射得到的目标鱼眼展开图像作为该鱼眼图像的鱼眼展开图像。
基于上述步骤可以得到目标鱼眼展开图像上各像素点与该鱼眼图像上各像素点的映射关系，基于该映射关系，反向映射得到目标鱼眼展开图像上的各像素点，这样即可将映射得到的目标鱼眼展开图像作为该鱼眼图像的鱼眼展开图像。
S103，从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致，若不一致，则根据预设展开参数调整策略，调整所述预设展开参数，并返回执行S102，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。
经过S102，可以完成各鱼眼图像的展开，但是，直接进行鱼眼展开图像的拼接，往往会因为重叠区域不一致而出现错位。因为鱼眼摄像头的视场角、中心坐标等参数均会影响图像的展开效果，而在实际应用中，无法保证鱼眼摄像头的这些参数完全一致，如果两个鱼眼摄像头的参数不一致，所得到的鱼眼展开图像如图4所示，虚线区域为两个鱼眼摄像头采集的重叠区域图像，可以看到，其中一个鱼眼展开图像的左侧重叠区域图像与另一个鱼眼展开图像的右侧重叠区域图像的变形程度不一致，不论使用何种特征匹配策略均无法完成无缝拼接。
为了应对上述问题，首先对各鱼眼展开图像中相应的重叠区域图像进行判断，如果重叠区域图像一致，则说明两个鱼眼展开图像中重叠区域图像的变形程度完全一致，进而可以完成无缝拼接，无需进行展开参数的调整；而如果重叠区域图像不一致，则说明两个鱼眼摄像头的展开参数需要进行调整，基于调整后的展开参数重新进行展开，保证重新展开后的鱼眼展开图像可以完成无缝拼接。
在各鱼眼展开图像中相应的重叠区域图像不一致时，需要通过调整预设展开参数来调整鱼眼展开图像，以使得各鱼眼展开图像中重叠区域图像一致。预设展开参数可以为两个鱼眼图像的属性参数，这些预设展开参数由鱼眼摄像头的内参和/或外参决定。
可选的，预设展开参数可以包括：鱼眼图像的视场角参数；
则，S103中，根据预设展开参数调整策略，调整所述预设展开参数，具体可以为：
检测各鱼眼展开图像中的线条方向；
根据线条方向与视场角参数的预设对应关系，调整各鱼眼图像的视场角参数。
鱼眼图像的视场角参数决定了鱼眼展开图像的缩放和边缘线条的变形程度及变形方向。例如对如图3所示的鱼眼图像进行展开，在视场角参数为160度时，可以得到如图5a所示的鱼眼展开图像；在视场角参数为180度时，可以得到如图5b所示的鱼眼展开图像；在视场角参数为200度时，可以得到如图5c所示的鱼眼展开图像。通过对各鱼眼展开图像中的线条方向的检测，可以根据线条方向与视场角参数的预设对应关系，调整各鱼眼图像的视场角参数，使得两个鱼眼展开图像的重叠区域图像的线条方向一致。
对视场角参数的调整，可以是基于期望达到的效果，分别调整两个鱼眼图像的视场角参数，即基于线条方向与视场角的预设对应关系，如图5a、图5b及图5c所示，对两个鱼眼图像的视场角参数进行调整。
可选的，预设展开参数还可以包括：鱼眼图像的中心坐标参数；
则，S103中，根据预设展开参数调整策略，调整所述预设展开参数，具体可以为：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与中心坐标参数的预设对应关系，调整各鱼眼图像的中心坐标参数。
鱼眼图像的中心坐标参数决定了鱼眼展开图像的位置及弯曲趋势。例如对如图3所示的鱼眼图像进行展开，在视场角参数为180度时，中心坐标左移20(center_x+20，center_x为中心坐标参数的横坐标)的鱼眼展开图像如图6a所示；在视场角参数为180度时，中心坐标右移20(center_x-20)的鱼眼展开图像如图6b所示。通过对各鱼眼展开图像中的重叠区域图像变形趋势的检测，可以根据图像变形趋势与中心坐标参数的预设对应关系，调整各鱼眼图像的中心坐标参数，使得两个鱼眼展开图像的重叠区域图像变形趋势一致。
对中心坐标参数的调整，可以是基于期望达到的效果，分别调整两个鱼眼图像的中心坐标参数，即基于图像变形趋势与中心坐标参数的预设对应关系，如图6a、图6b所示，对两个鱼眼图像的中心坐标参数进行调整。除了上述对中心坐标进行左、右移动以外，还可以对中心坐标进行上、下移动(通过center_y加/减移动量得到，center_y为中心坐标参数的纵坐标)。
可选的，预设展开参数还可以包括：鱼眼图像的旋转角度参数；
则，S103中，根据预设展开参数调整策略，调整所述预设展开参数，具体可以为：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与图像旋转角度参数的预设对应关系，增加各鱼眼图像的旋转角度参数。
由于两个鱼眼摄像头的安装角度不同，导致各鱼眼摄像头生成的鱼眼展开图像的重叠区域图像变形趋势不一致。例如对如图3所示的鱼眼图像进行展开，在视场角为180度时，旋转10度的鱼眼展开图像如图7a所示；在视场角为180度时，旋转-10度的鱼眼展开图像如图7b所示。这样，基于图像变形趋势与图像旋转角度参数的预设对应关系，可以给鱼眼展开图像加一个旋转效果，间接影响图像边缘重叠区域图像的变形程度，通过给鱼眼展开图像添加一个旋转角度参数，有利于使两个鱼眼展开图像的重叠区域图像调整为一致。具体的，所添加的旋转角度可以通过公式(4)计算得到，公式(4)可以为：
其中，(u,v)为鱼眼图像上任一像素点的坐标，(u′,v′)为添加旋转角度α之后鱼眼图像上像素点的坐标，(center_x,center_y)为鱼眼图像的中心坐标参数。
调整预设展开参数的方式，可以是同时进行上述三种调整方式；也可以是分别进行检测判断，依次进行上述三种调整方式；还可以是根据展开效果的需求，从上述三种调整方式中选择适当的调整方式进行调整。通过预设展开参数的调整，可以得到调整之后的预设展开参数，则利用S102所示步骤，基于调整之后的预设展开参数对鱼眼图像进行展开，得到新的鱼眼展开图像。
在经过展开参数的调整之后，得到的鱼眼展开图像中重叠区域图像一致，因此，无需进行重叠区域特征点匹配，只需简单的裁剪并确定重叠区域图像，即可合成全景图像。如图8a所示，为第一鱼眼摄像头经展开参数调整后得到的鱼眼展开图像，图8b所示，为第二鱼眼摄像头经展开参数调整后得到的鱼眼展开图像。在得到各鱼眼展开图像后，可以通过重叠区域图像融合的方式，对各鱼眼展开图像进行拼接，合成全景图像。
可选的，S103中，将各鱼眼展开图像进行拼接，合成全景图像，具体可以为：
按照预设裁剪策略，对各鱼眼展开图像进行裁剪，得到各裁剪图像；
将第一裁剪图像平分为左半侧图像及右半侧图像，其中，第一裁剪图像为任一裁剪图像；
将左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将右半侧图像的右边缘区域与第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，其中，第二裁剪图像为除所述第一裁剪图像以外的另一裁剪图像。
对各鱼眼展开图像进行拼接，合成全景图像的示意图如图9所示，左右两个重叠区域的宽度可以预先设置，也可以通过各鱼眼摄像头的内参及外参确定。对图8a及图8b的两个鱼眼展开图像裁剪掉两边曲线部分，只保留中间区域，得到第一鱼眼展开图像对应的第一裁剪图像及第二鱼眼展开图像对应的第二裁剪图像；将第一裁剪图像平分为左右两半侧；将左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，将右半侧图像的右边缘区域与第二裁剪图像的左边缘区域进行重叠区域融合。这样，生成的全景图像，其左右两侧是完全重合的，从而生成了360度无死角的平面全景图像。
可选的，上述将左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将右半侧图像的右边缘区域与第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像的步骤，具体可以为：
基于第一预设权重，将左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，得到第一重叠区域图像；
基于第二预设权重，将右半侧图像的右边缘区域与第二裁剪图像的左边缘区域进行重叠区域融合，得到第二重叠区域图像；
通过对左半侧图像的右边缘区域图像、第一重叠区域图像、第二裁剪图像的中间区域图像、第二重叠区域图像及右半侧图像的左边缘区域图像进行拼接，合成全景图像。
在进行重叠区域融合时，由于各鱼眼展开图像中灰度值或者亮度值等参数不同，为了保证成像的效果，可以对重叠区域中的参数进行加权处理，具体的融合权重分配如图10所。针对靠近第一鱼眼展开图像的重叠区域图像，第一鱼眼展开图像中参数的权值分配较大；针对靠近第二鱼眼展开图像的重叠区域图像，第二鱼眼展开图像中参数的权值分配较大。则通过对如图8a及图8b所示的鱼眼展开图像进行拼接，可以得到如图11所示的全景图像。上述预设拼接策略，还可以是：选择两个鱼眼展开图像中任一鱼眼展开图像的重叠区域图像作为全景图像中重叠区域图像，再分别将上述各鱼眼展开图像的各区域进行拼接得到全景图像。
各鱼眼展开图像的拼接方式，除了上述拼接方式以外，还可以通过特征识别的方式，从各鱼眼展开图像中识别各像素点的特征，将具有相同特征的区域进行融合，经过拼接后得到全景图像。当然，可以实现图像拼接的方式均可以运用到本实施例，这里不做具体限定，不再一一赘述。由于在进行特征点匹配时，需要逐个特征点进行匹配，运算复杂，而上述通过改善鱼眼展开图像的效果的角度来改善图像拼接的质量的方式可以有效减少特征点匹配所带来的运算复杂的问题，大大降低了拼接难度。
在合成全景图像之后，由于全景图像为平面的二维图像，而往往期望以三维立体的方式呈现给用户，以使用户可以更立体的观察双鱼眼设备拍摄的场景。因此，可选的，在S103的将各鱼眼展开图像进行拼接，合成全景图像之后，还可以包括：
根据预设投影策略，将全景图像投影至三维立体表面，得到三维全景图像。
预设投影策略，可以是将全景图像投影至球面、柱面、立方体面等投影策略，可以得到不同效果的三维全景图像。
应用本实施例，基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别对获取到的两个鱼眼摄像头采集的鱼眼图像展开，得到各鱼眼图像的鱼眼展开图像，从各鱼眼展开图像中提取重叠区域图像，并在各鱼眼展开图像中相应的重叠区域图像不一致时，根据预设展开参数调整策略，调整预设展开参数，直至各鱼眼展开图像中相应的重叠区域图像一致时，将各鱼眼展开图像进行拼接，合成全景图像。通过对各鱼眼展开图像中相应的重叠区域图像进行一致性判断，在各鱼眼展开图像中相应的重叠区域图像不一致时，根据预设展开参数调整策略，调整预设展开参数，将各鱼眼展开图像中相应的重叠区域图像调整为一致，则保证了在进行各鱼眼展开图像的拼接时，各鱼眼展开图像中相应的重叠区域图像相同，有效避免了各鱼眼展开图像的边缘区域存在不同变形的现象，进而减少了合成的全景图像与实际的偏差，提高了全景图像的成像效果。
相应于上述方法实施例，本发明实施例还提供了一种全景图像合成装置，如图12所示，该全景图像合成装置包括：
获取模块1210，用于获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；
展开模块1220，用于基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；
判断模块1230，用于从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；
调整模块1240，用于若所述判断模块1230的判断结果为不一致，则根据预设展开参数调整策略，调整所述预设展开参数，并执行所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。
可选的，所述预设展开参数，包括：鱼眼图像的中心坐标参数及视场角参数；
所述展开模块1220，具体可以用于：
获取目标鱼眼展开图像上第一像素点的坐标、所述目标鱼眼展开图像的预设宽度及预设高度，所述第一像素点为所述目标鱼眼展开图像上的任一像素点；
根据所述第一像素点的坐标、所述预设宽度及所述预设高度，通过预设转换关系，计算得到所述第一像素点的极坐标；
根据所述第一像素点的极坐标，通过第一预设映射关系，计算得到将所述第一像素点映射至预设单位球面上的第二像素点的坐标；
针对各鱼眼图像，获取该鱼眼图像中有效区域的直径、该鱼眼图像的中心坐标参数及视场角参数；
根据所述第二像素点的坐标、所述直径、所述中心坐标参数及所述视场角参数，通过第二预设映射关系，计算得到该鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标；
根据计算得到的目标鱼眼展开图像上各像素点与该鱼眼图像上各像素点的映射关系，将映射得到的目标鱼眼展开图像作为该鱼眼图像的鱼眼展开图像。
可选的，所述预设转换关系，为：
其中，所述(x,y)为目标鱼眼展开图像上第一像素点的坐标，所述width为所述目标鱼眼展开图像的预设宽度，所述height为所述目标鱼眼展开图像的预设高度，所述为所述第一像素点的极坐标；
所述第一预设映射关系，为：
其中，所述(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点的坐标；
所述第二预设映射关系，为：
θnew＝atan2(Z,X)
u＝center_x+r*cos(θnew)
v＝center_y+r*sin(θnew)
其中，所述θnew为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述r为所述第二像素点至所述球心的距离，所述Lfisheye为鱼眼图像中有效区域的直径，所述FOV为鱼眼图像的视场角参数，所述(u,v)为鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标，所述(center_x,center_y)为鱼眼图像的中心坐标参数。
可选的，所述预设展开参数包括：鱼眼图像的视场角参数；
所述调整模块1240，具体可以用于：
检测各鱼眼展开图像中的线条方向；
根据线条方向与视场角参数的预设对应关系，调整各鱼眼图像的视场角参数。
可选的，所述预设展开参数包括：鱼眼图像的中心坐标参数；
所述调整模块1240，具体可以用于：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与中心坐标参数的预设对应关系，调整各鱼眼图像的中心坐标参数。
可选的，所述预设展开参数包括：鱼眼图像的旋转角度参数；
所述调整模块1240，具体可以用于：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与图像旋转角度参数的预设对应关系，增加各鱼眼图像的旋转角度参数。
可选的，所述调整模块1240，具体可以用于：
按照预设裁剪策略，对各鱼眼展开图像进行裁剪，得到各裁剪图像；
将第一裁剪图像平分为左半侧图像及右半侧图像，所述第一裁剪图像为任一裁剪图像；
将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，所述第二裁剪图像为除所述第一裁剪图像以外的另一裁剪图像。
可选的，所述调整模块1240，具体可以用于：
基于第一预设权重，将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，得到第一重叠区域图像；
基于第二预设权重，将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，得到第二重叠区域图像；
通过对所述左半侧图像的右边缘区域图像、所述第一重叠区域图像、所述第二裁剪图像的中间区域图像、所述第二重叠区域图像及所述右半侧图像的左边缘区域图像进行拼接，合成全景图像。
可选的，所述装置还可以包括：
投影模块，用于根据预设投影策略，将所述全景图像投影至三维立体表面，得到三维全景图像。
应用本实施例，基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别对获取到的两个鱼眼摄像头采集的鱼眼图像展开，得到各鱼眼图像的鱼眼展开图像，从各鱼眼展开图像中提取重叠区域图像，并在各鱼眼展开图像中相应的重叠区域图像不一致时，根据预设展开参数调整策略，调整预设展开参数，直至各鱼眼展开图像中相应的重叠区域图像一致时，将各鱼眼展开图像进行拼接，合成全景图像。通过对各鱼眼展开图像中相应的重叠区域图像进行一致性判断，在各鱼眼展开图像中相应的重叠区域图像不一致时，根据预设展开参数调整策略，调整预设展开参数，将各鱼眼展开图像中相应的重叠区域图像调整为一致，则保证了在进行各鱼眼展开图像的拼接时，各鱼眼展开图像中相应的重叠区域图像相同，有效避免了各鱼眼展开图像的边缘区域存在不同变形的现象，进而减少了合成的全景图像与实际的偏差，提高了全景图像的成像效果。
本发明实施例还提供了一种电子设备，如图13所示，可以包括处理器1301和存储器1302，其中，
所述存储器1302，用于存放计算机程序；
所述处理器1301，用于执行所述存储器1302上所存放的程序时，实现本发明实施例所提供的全景图像合成方法的所有步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述电子设备，能够实现：基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别对获取到的两个鱼眼摄像头采集的鱼眼图像展开，得到各鱼眼图像的鱼眼展开图像，从各鱼眼展开图像中提取重叠区域图像，并在各鱼眼展开图像中相应的重叠区域图像不一致时，根据预设展开参数调整策略，调整预设展开参数，直至各鱼眼展开图像中相应的重叠区域图像一致时，将各鱼眼展开图像进行拼接，合成全景图像。通过对各鱼眼展开图像中相应的重叠区域图像进行一致性判断，在各鱼眼展开图像中相应的重叠区域图像不一致时，根据预设展开参数调整策略，调整预设展开参数，将各鱼眼展开图像中相应的重叠区域图像调整为一致，则保证了在进行各鱼眼展开图像的拼接时，各鱼眼展开图像中相应的重叠区域图像相同，有效避免了各鱼眼展开图像的边缘区域存在不同变形的现象，进而减少了合成的全景图像与实际的偏差，提高了全景图像的成像效果。
另外，相应于上述实施例所提供的全景图像合成方法，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本发明实施例所提供的全景图像合成方法的所有步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的全景图像合成方法的应用程序，因此能够实现：基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别对获取到的两个鱼眼摄像头采集的鱼眼图像展开，得到各鱼眼图像的鱼眼展开图像，从各鱼眼展开图像中提取重叠区域图像，并在各鱼眼展开图像中相应的重叠区域图像不一致时，根据预设展开参数调整策略，调整预设展开参数，直至各鱼眼展开图像中相应的重叠区域图像一致时，将各鱼眼展开图像进行拼接，合成全景图像。通过对各鱼眼展开图像中相应的重叠区域图像进行一致性判断，在各鱼眼展开图像中相应的重叠区域图像不一致时，根据预设展开参数调整策略，调整预设展开参数，将各鱼眼展开图像中相应的重叠区域图像调整为一致，则保证了在进行各鱼眼展开图像的拼接时，各鱼眼展开图像中相应的重叠区域图像相同，有效避免了各鱼眼展开图像的边缘区域存在不同变形的现象，进而减少了合成的全景图像与实际的偏差，提高了全景图像的成像效果。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (20)

1.一种全景图像合成方法，其特征在于，所述方法包括：
获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；
基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；
从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；
若不一致，则根据预设展开参数调整策略，调整所述预设展开参数，并返回执行所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。
2.根据权利要求1所述的方法，其特征在于，所述预设展开参数，包括：鱼眼图像的中心坐标参数及视场角参数；
所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，包括：
获取目标鱼眼展开图像上第一像素点的坐标、所述目标鱼眼展开图像的预设宽度及预设高度，所述第一像素点为所述目标鱼眼展开图像上的任一像素点；
根据所述第一像素点的坐标、所述预设宽度及所述预设高度，通过预设转换关系，计算得到所述第一像素点的极坐标；
根据所述第一像素点的极坐标，通过第一预设映射关系，计算得到将所述第一像素点映射至预设单位球面上的第二像素点的坐标；
针对各鱼眼图像，获取该鱼眼图像中有效区域的直径、该鱼眼图像的中心坐标参数及视场角参数；
根据所述第二像素点的坐标、所述直径、所述中心坐标参数及所述视场角参数，通过第二预设映射关系，计算得到该鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标；
根据计算得到的目标鱼眼展开图像上各像素点与该鱼眼图像上各像素点的映射关系，将映射得到的目标鱼眼展开图像作为该鱼眼图像的鱼眼展开图像。
3.根据权利要求2所述的方法，其特征在于，所述预设转换关系，为：
其中，所述(x,y)为目标鱼眼展开图像上第一像素点的坐标，所述width为所述目标鱼眼展开图像的预设宽度，所述height为所述目标鱼眼展开图像的预设高度，所述为所述第一像素点的极坐标；
所述第一预设映射关系，为：
其中，所述(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点的坐标；
所述第二预设映射关系，为：
θnew＝atan2(Z,X)
u＝center_x+r*cos(θnew)
v＝center_y+r*sin(θnew)
其中，所述θnew为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述r为所述第二像素点至所述球心的距离，所述Lfisheye为鱼眼图像中有效区域的直径，所述FOV为鱼眼图像的视场角参数，所述(u,v)为鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标，所述(center_x,center_y)为鱼眼图像的中心坐标参数。
4.根据权利要求1所述的方法，其特征在于，所述预设展开参数包括：鱼眼图像的视场角参数；
所述根据预设展开参数调整策略，调整所述预设展开参数，包括：
检测各鱼眼展开图像中的线条方向；
根据线条方向与视场角参数的预设对应关系，调整各鱼眼图像的视场角参数。
5.根据权利要求1所述的方法，其特征在于，所述预设展开参数包括：鱼眼图像的中心坐标参数；
所述根据预设展开参数调整策略，调整所述预设展开参数，包括：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与中心坐标参数的预设对应关系，调整各鱼眼图像的中心坐标参数。
6.根据权利要求1所述的方法，其特征在于，所述预设展开参数包括：鱼眼图像的旋转角度参数；
所述根据预设展开参数调整策略，调整所述预设展开参数，包括：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与图像旋转角度参数的预设对应关系，增加各鱼眼图像的旋转角度参数。
7.根据权利要求1所述的方法，其特征在于，所述将各鱼眼展开图像进行拼接，合成全景图像，包括：
按照预设裁剪策略，对各鱼眼展开图像进行裁剪，得到各裁剪图像；
将第一裁剪图像平分为左半侧图像及右半侧图像，所述第一裁剪图像为任一裁剪图像；
将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，所述第二裁剪图像为除所述第一裁剪图像以外的另一裁剪图像。
8.根据权利要求7所述的方法，其特征在于，所述将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，包括：
基于第一预设权重，将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，得到第一重叠区域图像；
基于第二预设权重，将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，得到第二重叠区域图像；
通过对所述左半侧图像的右边缘区域图像、所述第一重叠区域图像、所述第二裁剪图像的中间区域图像、所述第二重叠区域图像及所述右半侧图像的左边缘区域图像进行拼接，合成全景图像。
9.根据权利要求1所述的方法，其特征在于，在所述将各鱼眼展开图像进行拼接，合成全景图像之后，所述方法还包括：
根据预设投影策略，将所述全景图像投影至三维立体表面，得到三维全景图像。
10.一种全景图像合成装置，其特征在于，所述装置包括：
获取模块，用于获取双鱼眼设备的两个鱼眼摄像头分别采集的鱼眼图像；
展开模块，用于基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像；
判断模块，用于从各鱼眼展开图像中提取重叠区域图像，并判断各鱼眼展开图像中相应的重叠区域图像是否一致；
调整模块，用于若所述判断模块的判断结果为不一致，则根据预设展开参数调整策略，调整所述预设展开参数，并执行所述基于预设展开参数，通过鱼眼图像上各像素点与目标鱼眼展开图像上各像素点的映射关系，分别展开各鱼眼图像，得到各鱼眼图像的鱼眼展开图像，直至一致时，将各鱼眼展开图像进行拼接，合成全景图像。
11.根据权利要求10所述的装置，其特征在于，所述预设展开参数，包括：鱼眼图像的中心坐标参数及视场角参数；
所述展开模块，具体用于：
获取目标鱼眼展开图像上第一像素点的坐标、所述目标鱼眼展开图像的预设宽度及预设高度，所述第一像素点为所述目标鱼眼展开图像上的任一像素点；
根据所述第一像素点的坐标、所述预设宽度及所述预设高度，通过预设转换关系，计算得到所述第一像素点的极坐标；
根据所述第一像素点的极坐标，通过第一预设映射关系，计算得到将所述第一像素点映射至预设单位球面上的第二像素点的坐标；
针对各鱼眼图像，获取该鱼眼图像中有效区域的直径、该鱼眼图像的中心坐标参数及视场角参数；
根据所述第二像素点的坐标、所述直径、所述中心坐标参数及所述视场角参数，通过第二预设映射关系，计算得到该鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标；
根据计算得到的目标鱼眼展开图像上各像素点与该鱼眼图像上各像素点的映射关系，将映射得到的目标鱼眼展开图像作为该鱼眼图像的鱼眼展开图像。
12.根据权利要求11所述的装置，其特征在于，所述预设转换关系，为：
其中，所述(x,y)为目标鱼眼展开图像上第一像素点的坐标，所述width为所述目标鱼眼展开图像的预设宽度，所述height为所述目标鱼眼展开图像的预设高度，所述为所述第一像素点的极坐标；
所述第一预设映射关系，为：
其中，所述(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点的坐标；
所述第二预设映射关系，为：
θnew＝atan2(Z,X)
u＝center_x+r*cos(θnew)
v＝center_y+r*sin(θnew)
其中，所述θnew为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述r为所述第二像素点至所述球心的距离，所述Lfisheye为鱼眼图像中有效区域的直径，所述FOV为鱼眼图像的视场角参数，所述(u,v)为鱼眼图像上与所述第一像素点具有映射关系的第三像素点的坐标，所述(center_x,center_y)为鱼眼图像的中心坐标参数。
13.根据权利要求10所述的装置，其特征在于，所述预设展开参数包括：鱼眼图像的视场角参数；
所述调整模块，具体用于：
检测各鱼眼展开图像中的线条方向；
根据线条方向与视场角参数的预设对应关系，调整各鱼眼图像的视场角参数。
14.根据权利要求10所述的装置，其特征在于，所述预设展开参数包括：鱼眼图像的中心坐标参数；
所述调整模块，具体用于：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与中心坐标参数的预设对应关系，调整各鱼眼图像的中心坐标参数。
15.根据权利要求10所述的装置，其特征在于，所述预设展开参数包括：鱼眼图像的旋转角度参数；
所述调整模块，具体用于：
检测各鱼眼展开图像的重叠区域图像变形趋势；
根据图像变形趋势与图像旋转角度参数的预设对应关系，增加各鱼眼图像的旋转角度参数。
16.根据权利要求10所述的装置，其特征在于，所述调整模块，具体用于：
按照预设裁剪策略，对各鱼眼展开图像进行裁剪，得到各裁剪图像；
将第一裁剪图像平分为左半侧图像及右半侧图像，所述第一裁剪图像为任一裁剪图像；
将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，并将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，通过预设拼接策略，合成全景图像，所述第二裁剪图像为除所述第一裁剪图像以外的另一裁剪图像。
17.根据权利要求16所述的装置，其特征在于，所述调整模块，具体用于：
基于第一预设权重，将所述左半侧图像的左边缘区域与第二裁剪图像的右边缘区域进行重叠区域融合，得到第一重叠区域图像；
基于第二预设权重，将所述右半侧图像的右边缘区域与所述第二裁剪图像的左边缘区域进行重叠区域融合，得到第二重叠区域图像；
通过对所述左半侧图像的右边缘区域图像、所述第一重叠区域图像、所述第二裁剪图像的中间区域图像、所述第二重叠区域图像及所述右半侧图像的左边缘区域图像进行拼接，合成全景图像。
18.根据权利要求10所述的装置，其特征在于，所述装置还包括：
投影模块，用于根据预设投影策略，将所述全景图像投影至三维立体表面，得到三维全景图像。
19.一种电子设备，其特征在于，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。
CN201810284392.7A 2018-04-02 2018-04-02 一种全景图像合成方法、装置及电子设备 Active CN110349077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810284392.7A CN110349077B (zh) 2018-04-02 2018-04-02 一种全景图像合成方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810284392.7A CN110349077B (zh) 2018-04-02 2018-04-02 一种全景图像合成方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110349077A true CN110349077A (zh) 2019-10-18
CN110349077B CN110349077B (zh) 2023-04-07

Family

ID=68173507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810284392.7A Active CN110349077B (zh) 2018-04-02 2018-04-02 一种全景图像合成方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110349077B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933295A (zh) * 2019-11-11 2020-03-27 北京三快在线科技有限公司 拍摄方法、装置、电子设备及可读存储介质
CN111754394A (zh) * 2020-06-29 2020-10-09 苏州科达科技股份有限公司 鱼眼图像中的对象检测方法、装置及存储介质
CN112017111A (zh) * 2020-08-28 2020-12-01 杭州海康威视数字技术股份有限公司 一种全景图的合成方法、装置及电子设备
CN114004840A (zh) * 2021-10-29 2022-02-01 北京百度网讯科技有限公司 图像处理方法、训练方法、检测方法、装置、设备及介质
CN114066731A (zh) * 2021-11-11 2022-02-18 百度在线网络技术（北京）有限公司 生成全景图的方法、装置、电子设备及存储介质
WO2024002023A1 (zh) * 2022-06-27 2024-01-04 影石创新科技股份有限公司 全景立体图像的生成方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295231A (zh) * 2013-05-14 2013-09-11 杭州海康希牧智能科技有限公司 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN105516569A (zh) * 2016-01-20 2016-04-20 北京疯景科技有限公司 一种获得全景图像的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295231A (zh) * 2013-05-14 2013-09-11 杭州海康希牧智能科技有限公司 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN105516569A (zh) * 2016-01-20 2016-04-20 北京疯景科技有限公司 一种获得全景图像的方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933295A (zh) * 2019-11-11 2020-03-27 北京三快在线科技有限公司 拍摄方法、装置、电子设备及可读存储介质
CN111754394A (zh) * 2020-06-29 2020-10-09 苏州科达科技股份有限公司 鱼眼图像中的对象检测方法、装置及存储介质
CN111754394B (zh) * 2020-06-29 2022-06-10 苏州科达科技股份有限公司 鱼眼图像中的对象检测方法、装置及存储介质
CN112017111A (zh) * 2020-08-28 2020-12-01 杭州海康威视数字技术股份有限公司 一种全景图的合成方法、装置及电子设备
CN112017111B (zh) * 2020-08-28 2023-08-04 杭州海康威视数字技术股份有限公司 一种全景图的合成方法、装置及电子设备
CN114004840A (zh) * 2021-10-29 2022-02-01 北京百度网讯科技有限公司 图像处理方法、训练方法、检测方法、装置、设备及介质
CN114066731A (zh) * 2021-11-11 2022-02-18 百度在线网络技术（北京）有限公司 生成全景图的方法、装置、电子设备及存储介质
WO2024002023A1 (zh) * 2022-06-27 2024-01-04 影石创新科技股份有限公司 全景立体图像的生成方法、装置和电子设备

Also Published As

Publication number Publication date
CN110349077B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110349077A (zh) 一种全景图像合成方法、装置及电子设备
CN110351494B (zh) 一种全景视频合成方法、装置及电子设备
CN109313346B (zh) 双目视图和单目视图之间的转换
CN106462944B (zh) 高分辨率全景vr生成器及方法
US20160295108A1 (en) System and method for panoramic imaging
CN104246795B (zh) 用于超广角透镜图像的自适应透视修正的方法和系统
US6486908B1 (en) Image-based method and system for building spherical panoramas
EP2328125B1 (en) Image splicing method and device
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
CN103763479B (zh) 实时高速高清全景视频的拼接装置及其方法
US9451236B2 (en) Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
US8390617B1 (en) Visualizing oblique images
CN105894451B (zh) 全景图像拼接方法和装置
CN110519528A (zh) 一种全景视频合成方法、装置及电子设备
WO2016000527A1 (zh) 广域图像获取方法和装置
JP5676092B2 (ja) パノラマ画像生成方法及びパノラマ画像生成プログラム
CN106534670A (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN110689476A (zh) 全景图像拼接方法及其装置、可读存储介质和电子设备
US11995793B2 (en) Generation method for 3D asteroid dynamic map and portable terminal
CN103295231A (zh) 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN109754363A (zh) 基于鱼眼相机的环视图像合成方法和装置
CN108447042B (zh) 城市景观影像数据的融合方法及系统
CN106023073A (zh) 一种图像拼接系统
Lin et al. A low-cost portable polycamera for stereoscopic 360 imaging
CN114757834A (zh) 一种全景图像处理方法和全景图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant