CN110519528A - 一种全景视频合成方法、装置及电子设备 - Google Patents

一种全景视频合成方法、装置及电子设备 Download PDF

Info

Publication number
CN110519528A
CN110519528A CN201810496114.8A CN201810496114A CN110519528A CN 110519528 A CN110519528 A CN 110519528A CN 201810496114 A CN201810496114 A CN 201810496114A CN 110519528 A CN110519528 A CN 110519528A
Authority
CN
China
Prior art keywords
fish
video
image
eye camera
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810496114.8A
Other languages
English (en)
Other versions
CN110519528B (zh
Inventor
王泽文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd, Hangzhou Hikvision Digital Technology Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN201810496114.8A priority Critical patent/CN110519528B/zh
Publication of CN110519528A publication Critical patent/CN110519528A/zh
Application granted granted Critical
Publication of CN110519528B publication Critical patent/CN110519528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种全景视频合成方法、装置及电子设备，其中，全景视频合成方法包括：获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，全景合成映射表基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到；根据拼接关系，将各待拼接视频进行拼接，合成全景视频。通过本方案，可以避免在对鱼眼设备拍摄的视频进行拼接时发生拼接错误。

Description

一种全景视频合成方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种全景视频合成方法、装置及电子设备。
背景技术
鱼眼摄像头是模拟鱼类仰视水面效果的一种超广角摄像头，鱼眼摄像头的视场角大于或等于180度。鱼眼摄像头具有视场角大、可容纳场景多、可适应狭小空间拍摄等优点，因此，在虚实景技术、机器人导航、视觉监控、智能辅助驾驶等领域中被广泛应用。
由于鱼眼摄像头的视场角大于或等于180度，多将两个鱼眼摄像头背靠背设置，组成一个双鱼眼设备，这样，通过将两个鱼眼摄像头拍摄的鱼眼图像进行拼接，即可得到360度的全景图像。但是，采用鱼眼摄像头拍摄的鱼眼图像由于视角超广，所拍摄的鱼眼图像的弯形畸变非常大。因此，在对两个鱼眼摄像头所拍摄的鱼眼图像进行拼接时，需要进行畸变校正处理。
相应的全景图像合成方法中，通过种子生长法对鱼眼摄像头拍摄的鱼眼图像进行扫描，确定鱼眼图像的有效圆区域，在有效圆区域中检测得到鱼眼图像的主点坐标和焦距，利用主点坐标和焦距进行球面投影，得到球面投影图，再通过特征匹配方法对球面投影图像进行图像配准、拼接，得到全景图像。
但是，由于鱼眼图像的有效区域不完全是圆形的，或者有效圆区域可能被裁剪，由于无法获取有效圆区域，会使得鱼眼图像的主点坐标发生偏移或者焦距会发生变化，这样，会影响球面投影的精度，导致鱼眼图像拼接时发生错位或者重影等拼接错误。
发明内容
本发明实施例的目的在于提供一种全景视频合成方法、装置及电子设备，以避免在对鱼眼设备拍摄的视频进行拼接时发生拼接错误。具体技术方案如下：
第一方面，本发明实施例提供了一种全景视频合成方法，所述方法包括：
获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；
通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，其中，所述全景合成映射表基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到；
根据所述拼接关系，将各待拼接视频进行拼接，合成全景视频。
可选的，所述全景合成映射表的建立方式包括：
获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
根据各鱼眼摄像头的外参，获得各球面展开图像之间的相对位置关系；
根据所述相对位置关系，对各球面展开图像进行处理，得到全景合成映射表。
可选的，所述全景合成映射表的建立方式包括：
获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
建立第一全景映射表，所述第一全景映射表的内容为空；
根据各鱼眼摄像头的外参，获得所述第一全景映射表中各预设区域之间的相对位置关系；
根据所述相对位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
根据各球面展开图像与各逆变换区域之间的对应关系，确定全景合成映射表。
可选的，所述鱼眼摄像头的内参包括：鱼眼摄像头的主点坐标及焦距；
所述根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像，包括：
获取目标球面展开图像上第一像素点坐标、所述目标球面展开图像的预设宽度及预设高度，其中，所述第一像素点为所述目标球面展开图像上的任一像素点；
根据该鱼眼摄像头的焦距、所述第一像素点坐标、所述预设宽度及所述预设高度，通过预设极坐标转换关系，得到所述第一像素点的极坐标；
根据所述第一像素点的极坐标，通过极坐标与预设单位球面上像素点坐标的第一预设映射关系，得到将所述第一像素点映射至所述预设单位球面上的第二像素点坐标；
根据所述第二像素点坐标、该鱼眼摄像头的主点坐标、该鱼眼摄像头的焦距以及该鱼眼摄像头采集的标定图像的视场角，通过预设单位球面上像素点坐标与标定图像上像素点坐标的第二预设映射关系，得到该标定图像上与所述第一像素点具有映射关系的第三像素点坐标；
根据计算得到的目标球面展开图像上各像素点与该标定图像上各像素点的映射关系，将映射得到的目标球面展开图像作为该标定图像的球面展开图像。
可选的，所述预设极坐标转换关系，为：
其中，(x,y)为目标球面展开图像上第一像素点坐标，(fx,fy)为鱼眼摄像头的焦距，所述fx为鱼眼摄像头的水平方向焦距，所述fy为鱼眼摄像头的竖直方向焦距，所述W为所述目标球面展开图像的预设宽度，所述H为所述目标球面展开图像的预设高度，为所述第一像素点的极坐标；
所述第一预设映射关系，为：
Z＝sin(θ)
其中，(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点坐标；
所述第二预设映射关系，为：
α＝atan2(Z,X)
u＝Cx+Rx*cos(α)
v＝Cy+Ry*sin(α)
其中，所述α为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述β为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述fovw为鱼眼摄像头采集的标定图像的宽度方向的视场角，所述fovh为鱼眼摄像头采集的标定图像的高度方向的视场角，所述Rx为所述第二像素点至所述球心的水平距离，所述Ry为所述第二像素点至所述球心的竖直距离，(Cx,Cy)为鱼眼摄像头的主点坐标，(u,v)为标定图像上与所述第一像素点具有映射关系的第三像素点坐标。
可选的，所述全景合成映射表包括所述两个鱼眼摄像头各自的映射表，所述两个鱼眼摄像头的映射表之间存在内容相同的重叠区域。
可选的，所述通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，包括：
通过查找预先建立的全景合成映射表，针对各原始视频中的各视频帧，生成该视频帧对应的待拼接视频帧及各待拼接视频帧之间的拼接关系；
针对同一原始视频生成的各待拼接视频帧，通过预设视频生成技术，生成待拼接视频；
所述根据所述拼接关系，将各待拼接视频进行拼接，合成全景视频，包括：
根据所述各待拼接视频帧之间的拼接关系，分别将各待拼接视频中对应的待拼接视频帧进行拼接，得到多个拼接图像；
根据预设三维投影策略，分别对各拼接图像进行三维投影，得到该拼接图像对应的三维全景图；
基于各三维全景图，通过预设视频生成技术，生成全景视频。
可选的，所述根据所述拼接关系，将各待拼接视频进行拼接，合成全景视频，包括：
根据所述拼接关系，将各待拼接视频进行拼接，生成二维视频；
根据预设三维投影策略，将所述二维视频进行三维投影，得到全景视频。
第二方面，本发明实施例提供了一种全景视频合成装置，所述装置包括：
获取模块，用于获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；
查找模块，用于通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，其中，所述全景合成映射表基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到；
拼接模块，用于根据所述拼接关系，将各待拼接视频进行拼接，合成全景视频。
可选的，所述获取模块，还用于：
获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
所述装置还包括：
投影展开模块，用于根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
获得模块，用于根据各鱼眼摄像头的外参，获得各球面展开图像之间的相对位置关系；
处理模块，用于根据所述相对位置关系，对各球面展开图像进行处理，得到全景合成映射表。
可选的，所述获取模块，还用于：
获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
所述装置还包括：
建立模块，用于建立第一全景映射表，所述第一全景映射表的内容为空；
获得模块，用于根据各鱼眼摄像头的外参，获得所述第一全景映射表中各预设区域之间的相对位置关系；
逆变换模块，用于根据所述相对位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
投影展开模块，用于根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
确定模块，用于根据各球面展开图像与各逆变换区域之间的对应关系，确定全景合成映射表。
可选的，所述鱼眼摄像头的内参包括：鱼眼摄像头的主点坐标及焦距；
所述投影展开模块，具体用于：
获取目标球面展开图像上第一像素点坐标、所述目标球面展开图像的预设宽度及预设高度，其中，所述第一像素点为所述目标球面展开图像上的任一像素点；
根据该鱼眼摄像头的焦距、所述第一像素点坐标、所述预设宽度及所述预设高度，通过预设极坐标转换关系，得到所述第一像素点的极坐标；
根据所述第一像素点的极坐标，通过极坐标与预设单位球面上像素点坐标的第一预设映射关系，得到将所述第一像素点映射至所述预设单位球面上的第二像素点坐标；
根据所述第二像素点坐标、该鱼眼摄像头的主点坐标、该鱼眼摄像头的焦距以及该鱼眼摄像头采集的标定图像的视场角，通过预设单位球面上像素点坐标与标定图像上像素点坐标的第二预设映射关系，得到该标定图像上与所述第一像素点具有映射关系的第三像素点坐标；
根据计算得到的目标球面展开图像上各像素点与该标定图像上各像素点的映射关系，将映射得到的目标球面展开图像作为该标定图像的球面展开图像。
可选的，所述预设极坐标转换关系，为：
其中，(x,y)为目标球面展开图像上第一像素点坐标，(fx,fy)为鱼眼摄像头的焦距，所述fx为鱼眼摄像头的水平方向焦距，所述fy为鱼眼摄像头的竖直方向焦距，所述W为所述目标球面展开图像的预设宽度，所述H为所述目标球面展开图像的预设高度，为所述第一像素点的极坐标；
所述第一预设映射关系，为：
Z＝sin(θ)
其中，(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点坐标；
所述第二预设映射关系，为：
α＝atan2(Z,X)
u＝Cx+Rx*cos(α)
v＝Cy+Ry*sin(α)
其中，所述α为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述β为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述fovw为鱼眼摄像头采集的标定图像的宽度方向的视场角，所述fovh为鱼眼摄像头采集的标定图像的高度方向的视场角，所述Rx为所述第二像素点至所述球心的水平距离，所述Ry为所述第二像素点至所述球心的竖直距离，(Cx,Cy)为鱼眼摄像头的主点坐标，(u,v)为标定图像上与所述第一像素点具有映射关系的第三像素点坐标。
可选的，所述全景合成映射表包括所述两个鱼眼摄像头各自的映射表，所述两个鱼眼摄像头的映射表之间存在内容相同的重叠区域。
可选的，所述查找模块，具体用于：
通过查找预先建立的全景合成映射表，针对各原始视频中的各视频帧，生成该视频帧对应的待拼接视频帧及各待拼接视频帧之间的拼接关系；
针对同一原始视频生成的各待拼接视频帧，通过预设视频生成技术，生成待拼接视频；
所述拼接模块，具体用于：
根据所述各待拼接视频帧之间的拼接关系，分别将各待拼接视频中对应的待拼接视频帧进行拼接，得到多个拼接图像；
根据预设三维投影策略，分别对各拼接图像进行三维投影，得到该拼接图像对应的三维全景图；
基于各三维全景图，通过预设视频生成技术，生成全景视频。
可选的，所述拼接模块，具体用于：
根据所述拼接关系，将各待拼接视频进行拼接，生成二维视频；
根据预设三维投影策略，将所述二维视频进行三维投影，得到全景视频。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本发明实施例第一方面所述的任一方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面所述的任一方法步骤。
本发明实施例提供的一种全景视频合成方法、装置及电子设备，通过获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系；根据拼接关系，将各待拼接视频进行拼接，合成全景视频。全景合成映射表是基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到的；在进行全景视频合成时，根据全景合成映射表即可完成视频拼接；各鱼眼摄像头的外参、内参和视场角作为各鱼眼摄像头的固定参数，能够唯一反映相机的主点偏移和焦距变化等，这样，不论鱼眼设备所拍摄的视频被裁剪或者不是标准圆形，均可以根据对全景合成映射表的查表操作，合成全景视频，有效避免了所拍摄的视频被裁剪或者不是标准圆形时所发生的拼接错误。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的全景视频合成方法的流程示意图；
图2a为现有技术的无裁剪无偏移的鱼眼图像；
图2b为现有技术的无裁剪有偏移的鱼眼图像；
图2c为现有技术的有裁剪无偏移的鱼眼图像；
图2d为现有技术的有裁剪有偏移的鱼眼图像；
图3为本发明实施例的全景合成映射表生成过程的流程示意图；
图4为本发明实施例的全景合成映射表的结构示意图；
图5为本发明实施例的全景视频生成过程的流程示意图；
图6为本发明实施例的全景视频合成装置的结构示意图；
图7为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了避免在对鱼眼设备拍摄的视频进行拼接时发生拼接错误，本发明实施例提供了一种全景视频合成方法、装置及电子设备。
下面，首先对本发明实施例所提供的全景视频合成方法进行介绍。
本发明实施例所提供的全景视频合成方法的执行主体可以为包含有核心处理芯片的双鱼眼设备，也可以为具有视频处理合成功能的电子设备，实现本发明实施例所提供的全景视频合成方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路中的至少一种。如图1所示本发明实施例所提供的一种全景视频合成方法，可以包括如下步骤：
S101，获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频。
双鱼眼设备包括两个鱼眼摄像头，每个鱼眼摄像头的视场角大于或等于180度，因此双鱼眼设备的总视场角大于或等于360度。双鱼眼设备即可以包含核心处理芯片，也可以不包含核心处理芯片。如果双鱼眼设备包含核心处理芯片，则可以由双鱼眼设备中的核心处理芯片获取各鱼眼摄像头分别拍摄的原始视频；如果双鱼眼设备不包含核心处理芯片，则需要由具有视频处理合成功能的电子设备获取双鱼眼设备中各鱼眼摄像头分别拍摄的原始视频。
两个双鱼眼摄像头可以不具有一致的关键参数和安装参数，其中，关键参数包括但不限于摄像头内参、视场角、畸变量、焦距等；安装参数包括但不限于安装位置、安装角度等。双鱼眼设备的总视场角大于或等于360度即可。
S102，通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，全景合成映射表基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到。
全景合成映射表预先建立、并且已存储在执行主体中，全景合成映射表用于合成全景视频。预先建立的指定标定场地为：标定场地的面积范围大于3m*3m；在标定场地内，光照均衡、且无其他干扰物。
传统的全景图像合成方法中，假设鱼眼设备采集的鱼眼图像有个圆形有效区域，如图2a所示，针对鱼眼设备采集的各鱼眼图像，该鱼眼图像的宽度和高度的一半为该鱼眼图像的水平方向和竖直方向焦距，即如公式(1)所示：
其中，Rx为鱼眼摄像头采集的鱼眼图像的水平方向焦距，Ry为鱼眼摄像头采集的鱼眼图像的竖直方向焦距，width为鱼眼摄像头采集的鱼眼图像的宽度，height为鱼眼摄像头采集的鱼眼图像的高度。
可求得投影半径如公式(2)所示：
其中，R为鱼眼摄像头采集的鱼眼图像的有效区域半径。
在传统的全景图像合成方法中，以鱼眼图像有效区域的中心为投影中心，进行鱼眼图像的投影展开，则球面展开图像上的点(x,y)与极坐标之间的转换关系如下：
其中，π为圆周率，θ的范围为(-π，π)，的范围为(-π/2，π/2)。
极坐标与单位球面上的点(X,Y,Z)之间的映射关系如下：
由于以鱼眼图像有效区域的中心为投影中心，单位球面上的点与鱼眼图像之间的映射关系为：
α＝atan2(Z,X)
u＝width/2+R*cos(α)
v＝height/2+R*sin(α)
其中，α为单位球面上的点与球心的连续与单位球面所处坐标轴中横轴的夹角，β为单位球面上的点与球心的连续与单位球面所处坐标轴中纵轴的夹角，fov为鱼眼图像的视场角，Rx为鱼眼图像上的点距离鱼眼图像中心的水平距离，Ry为鱼眼图像上的点距离鱼眼图像中心的竖直距离，(u,v)为鱼眼图像上的像素点坐标。
从而建立了球面展开图像与鱼眼图像之间的映射关系。
鱼眼摄像头存在两个普遍问题，即鱼眼图像被裁剪和主点偏移。如图2b所示，当鱼眼图像的主点发生偏移时，鱼眼图像的主点不再是鱼眼图像有效区域的中心，鱼眼图像的焦距无法通过上述传统方法计算得到；如图2c所示，当鱼眼图像被裁剪时，鱼眼图像有效区域不再是一个完整的圆形，采用传统方法进行圆检测将失效，无法获取准确的鱼眼图像有效区域半径。如图2d所示，还存在一种鱼眼图像即被裁剪又发生主点偏移的情况，这种情况下，更不可能获取到准确的有效区域半径和焦距。
为了应对上述问题，本发明实施例中，使用鱼眼摄像头的内参来进行球面投影展开，精度更高，适应性更好。相应的，通过对鱼眼摄像头采集的标定图像进行球面投影展开，建立全景合成映射表，这样，在采集到原始视频时，可以直接利用全景合成映射表对原始视频进行拼接，提高了视频拼接的效率。
可选的，全景合成映射表的建立方式可以包括如下步骤：
第一步，获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
第二步，在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
第三步，根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
第四步，根据各鱼眼摄像头的外参，获得各球面展开图像之间的相对位置关系；
第五步，根据相对位置关系，对各球面展开图像进行处理，得到全景合成映射表。
如图3所示，提供了全景合成映射表的生成过程。通过球面投影展开将两个鱼眼摄像头分别采集的标定图像进行投影、展开，生成对应的球面展开图像，该球面展开图像为无畸变的图像，然后根据鱼眼摄像头的外参，获得两个球面展开图像之间的相对位置关系，根据该相对位置关系，对两个球面展开图像进行处理，即可得到全景合成映射表，对球面展开图的处理可以包括对两个球面展开图像进行变换、裁剪；对两个球面展开图像进行变换可以是：以其中一幅球面展开图像为基准，对另外一幅球面展开图像进行变换，以达到全景无缝拼接的目的。
由于双鱼眼设备中两个鱼眼摄像头的相对位置关系固定，两个鱼眼摄像头的内参、外参和视场角也是固定的，因此，本实施例中，鱼眼摄像头的内参、外参和视场角均可以为预先标定的，鱼眼摄像头的外参和标定图像的视场角可以是在采集标定图像时，在标定图像中预先标定的，鱼眼摄像头的内参可以是在预先建立的指定标定场地中利用预设张正友标定法标定得到的，各鱼眼摄像头的内参和外参均可以是离线标定的，在标定之后鱼眼摄像头的内参和外参基本不会变化，采用这种离线标定的方式，对于一台双鱼眼设备只标定一次，通过查表的方式合成全景视频，可以有效节约计算开销。其中，预设张正友标定法为传统的进行摄像头内参标定的方法，这里不再详细赘述。
全景合成映射表的建立过程还可以是按照逆过程来建立，即建立空的全景映射表，通过逆变换、拟投影展开，建立全集合成映射表与标定图像之间的对应关系。
可选的，全景合成映射表的建立方式，可以包括如下步骤：
第一步，获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
第二步，在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
第三步，建立第一全景映射表，其中，第一全景映射表的内容为空；
第四步，根据各鱼眼摄像头的外参，获得第一全景映射表中各预设区域之间的相对位置关系；
第五步，根据相对位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
第六步，根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
第七步，根据各球面展开图像与各逆变换区域之间的对应关系，确定全景合成映射表。
通过上述正过程或者逆过程可以建立全景合成映射表，相比之下，正过程建立全景合成映射表的耗时更短，而逆过程建立全景合成映射表的准确度更高。
标定图像为在建立全景合成映射表时，双鱼眼设备中各鱼眼摄像头基于各自的外参预先采集的图像，该标定图像可以是预先拍摄的图片，也可以是预先基于各鱼眼摄像头各自的外参采集的视频样本中的任一视频帧，或多个视频帧；当然，标定图像还可以是在对各鱼眼摄像头采集的原始视频进行全景视频生成之前，从原始视频中提取的任一视频帧或者多个视频帧。标定图像中预先标定了鱼眼摄像头的外参，因此，可以直接通过各标定图像获取到标定的各鱼眼摄像头的外参；并且基于标定图像，可以直接获得该标定图像的视场角。
可选的，全景合成映射表包括两个鱼眼摄像头各自的映射表，两个鱼眼摄像头的映射表之间存在内容相同的重叠区域。
如图4所示的全景合成映射表结构，全景合成映射表分为两个部分，第一鱼眼摄像头映射表401和第二鱼眼摄像头映射表402，分别代表两个鱼眼摄像头所采集标定图像在平面全景图中的映射关系。其中，第一鱼眼摄像头映射表401和第二鱼眼摄像头映射表402都存在一个重叠区域，代表了两个鱼眼摄像头在视场上的重叠区域，在视场上的重叠区域两个鱼眼摄像头的内容相同。通过查找预先建立的全景合成映射表，针对各原始视频，可以生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系。
可选的，鱼眼摄像头的内参可以包括：鱼眼摄像头的主点坐标及焦距。
则在上述建立全景合成映射表的方法中，根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像的步骤，具体可以为：
获取目标球面展开图像上第一像素点坐标、目标球面展开图像的预设宽度及预设高度，其中，第一像素点为目标球面展开图像上的任一像素点；
根据该鱼眼摄像头的焦距、第一像素点坐标、预设宽度及所述预设高度，通过预设极坐标转换关系，得到第一像素点的极坐标；
根据第一像素点的极坐标，通过极坐标与预设单位球面上像素点坐标的第一预设映射关系，得到将第一像素点映射至预设单位球面上的第二像素点坐标；
根据第二像素点坐标、该鱼眼摄像头的主点坐标、该鱼眼摄像头的焦距以及该鱼眼摄像头采集的标定图像的视场角，通过预设单位球面上像素点坐标与标定图像上像素点坐标的第二预设映射关系，得到该标定图像上与第一像素点具有映射关系的第三像素点坐标；
根据计算得到的目标球面展开图像上各像素点与该标定图像上各像素点的映射关系，将映射得到的目标球面展开图像作为该标定图像的球面展开图像。
使用鱼眼摄像头的内参和标定图像的视场角来进行球面投影展开，上述的预设极坐标转换关系如公式(6)所示：
其中，(x,y)为目标球面展开图像上第一像素点坐标，(fx,fy)为鱼眼摄像头的焦距，fx为鱼眼摄像头的水平方向焦距，fy为鱼眼摄像头的竖直方向焦距，W为目标球面展开图像的预设宽度，H为目标球面展开图像的预设高度，为第一像素点的极坐标。
第一预设映射关系如公式(7)所示：
其中，(X,Y,Z)为将第一像素点映射至预设单位球面上的第二像素点坐标。
第二预设映射关系如公式(8)所示：
α＝atan2(Z,X)
u＝Cx+Rx*cos(α)
v＝Cy+Ry*sin(α)
其中，α为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，第一连线为第二像素点与预设单位球面的球心的连线，β为第一连线与预设单位球面所处坐标轴中纵轴的夹角，fovw为鱼眼摄像头采集的标定图像的宽度方向的视场角，fovh为鱼眼摄像头采集的标定图像的高度方向的视场角，Rx为第二像素点至球心的水平距离，Ry为第二像素点至球心的竖直距离，(Cx,Cy)为鱼眼摄像头的主点坐标，(u,v)为标定图像上与所述第一像素点具有映射关系的第三像素点坐标。
显然，无论是采集的视频被裁剪还是采集的视频不是标准圆形，亦或是主点发生偏移，内参是唯一能够真实反映主点偏移及焦距变化的参数，将鱼眼摄像头的内参使用在建立全景合成映射表的过程中的球面投影环节，会显著改善球面投影效果，保证球面展开后图像的校正效果。
S103，根据拼接关系，将各待拼接视频进行拼接，合成全景视频。
通过离线标定，对于一台两个鱼眼摄像头相对位置固定不变的双鱼眼设备，只需要将全景合成映射表进行存储，当双鱼眼设备采集到视频时，两个鱼眼摄像头拍摄到的原始视频利用全景合成映射表进行查表，得到待拼接视频，通过对待拼接视频进行拼接，即可生成全景视频。拼接关系中给出了各待拼接视频的拼接方式，例如，第二个待拼接视频的第一列像素与第一个待拼接视频的第二十列像素重叠、第二个待拼接视频翻转45度后与第一个待拼接视频重叠等等。
由于全景合成映射表是基于标定图像建立的，因此，在进行视频拼接时，可以是对视频帧进行拼接，再对拼接后的视频帧进行视频合成，得到全景视频。
可选的，S102可以包括：
通过查找预先建立的全景合成映射表，针对各原始视频中的各视频帧，生成该视频帧对应的待拼接视频帧及各待拼接视频帧之间的拼接关系；
针对同一原始视频生成的各待拼接视频帧，通过预设视频生成技术，生成待拼接视频；
S103可以包括：
根据各待拼接视频帧之间的拼接关系，分别将各待拼接视频中对应的待拼接视频帧进行拼接，得到多个拼接图像；
根据预设三维投影策略，分别对各拼接图像进行三维投影，得到该拼接图像对应的三维全景图；
基于各三维全景图，通过预设视频生成技术，生成全景视频。
基于全景合成映射表，可以得到原始视频中各视频帧对应的待拼接视频帧以及各待拼接视频帧之间的拼接关系，由于视频是由视频帧生成的，通过预设视频生成技术，即可生成待拼接视频，预设视频生成技术中规定了视频生成时，各视频帧在视频中的顺序以及播放速度。基于待拼接视频帧之间的拼接关系，可以将对应的待拼接视频帧进行拼接，得到多个拼接图像，再通过三维投影策略，对拼接图像进行三维投影，然后利用预设视频生成技术，对三维投影后得到的三维全景图进行视频转换，即可生成全景视频。当然，全景视频的生成，还可以是先通过拼接技术生成二维视频，再对该二维视频进行三维投影，得到全景视频。
可选的，S103具体可以为：
根据拼接关系，将各待拼接视频进行拼接，生成二维视频；
根据预设三维投影策略，将二维视频进行三维投影，得到全景视频。
当双鱼眼设备拍摄到原始视频时，针对两个鱼眼摄像头拍摄的原始视频，利用全景合成映射表进行查表，得到两个待拼接视频，根据拼接关系，拼接两个待拼接视频，生成二维视频，然后，通过对二维视频进行球面渲染，可以生成三维球面全景视频。采用先拼接成二维视频，再根据预设三维投影策略，投影到相应的三维模型上，可以支持多种三维全景展示形式，扩展了双鱼眼设备的展示方式。
如图5所示，当双鱼眼设备拍摄到原始视频时，还可以从中提取两个鱼眼摄像头拍摄的视频帧，利用全景合成映射表进行查表，得到两幅待拼接子图，两个待拼接子图经过图像拼接，得到一副二维全景图像，经过视频生成技术，生成二维全景视频，二维全景视频经过球面渲染，可以生成三维球面全景视频。二维全景视频可以经过柱面投影、立方体投影等投影方式生成相应的三维球面全景视频。当然，也可以是先对二维全景图像进行球面投影，得到三维全景图像，在通过视频生成技术，生成三维球面全景视频，这里不做具体限定。
应用本实施例，通过获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系；根据拼接关系，将各待拼接视频进行拼接，合成全景视频。全景合成映射表是基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到的；在进行全景视频合成时，根据全景合成映射表即可完成视频拼接；各鱼眼摄像头的外参、内参和视场角作为各鱼眼摄像头的固定参数，能够唯一反映相机的主点偏移和焦距变化等，这样，不论鱼眼设备所拍摄的视频是被裁剪或者不是标准圆形，均可以根据对全景合成映射表的查表操作，合成全景视频，有效避免了所拍摄的视频被裁剪或者不是标准圆形时所发生的拼接错误。并且，采用离线标定的方式，对于一台双鱼眼设备只标定一次，通过对全景合成映射表进行查表获取全景视频，节约了计算开销。
相应于上述方法实施例，本发明实施例还提供了一种全景视频合成装置，如图6所示，该全景视频合成装置包括：
获取模块610，用于获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；
查找模块620，用于通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，其中，所述全景合成映射表基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到；
拼接模块630，用于根据所述拼接关系，将各待拼接视频进行拼接，合成全景视频。
可选的，所述获取模块610，还可以用于：
获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
所述装置还可以包括：
投影展开模块，用于根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
获得模块，用于根据各鱼眼摄像头的外参，获得各球面展开图像之间的相对位置关系；
处理模块，用于根据所述相对位置关系，对各球面展开图像进行处理，得到全景合成映射表。
可选的，所述获取模块610，还可以用于：
获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
所述装置还可以包括：
建立模块，用于建立第一全景映射表，所述第一全景映射表的内容为空；
获得模块，用于根据各鱼眼摄像头的外参，获得所述第一全景映射表中各预设区域之间的相对位置关系；
逆变换模块，用于根据所述相对位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
投影展开模块，用于根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
确定模块，用于根据各球面展开图像与各逆变换区域之间的对应关系，确定全景合成映射表。
可选的，所述鱼眼摄像头的内参包括：鱼眼摄像头的主点坐标及焦距；
所述投影展开模块，具体可以用于：
获取目标球面展开图像上第一像素点坐标、所述目标球面展开图像的预设宽度及预设高度，其中，所述第一像素点为所述目标球面展开图像上的任一像素点；
根据该鱼眼摄像头的焦距、所述第一像素点坐标、所述预设宽度及所述预设高度，通过预设极坐标转换关系，得到所述第一像素点的极坐标；
根据所述第一像素点的极坐标，通过极坐标与预设单位球面上像素点坐标的第一预设映射关系，得到将所述第一像素点映射至所述预设单位球面上的第二像素点坐标；
根据所述第二像素点坐标、该鱼眼摄像头的主点坐标、该鱼眼摄像头的焦距以及该鱼眼摄像头采集的标定图像的视场角，通过预设单位球面上像素点坐标与标定图像上像素点坐标的第二预设映射关系，得到该标定图像上与所述第一像素点具有映射关系的第三像素点坐标；
根据计算得到的目标球面展开图像上各像素点与该标定图像上各像素点的映射关系，将映射得到的目标球面展开图像作为该标定图像的球面展开图像。
可选的，所述预设极坐标转换关系，可以为：
其中，(x,y)为目标球面展开图像上第一像素点坐标，(fx,fy)为鱼眼摄像头的焦距，所述fx为鱼眼摄像头的水平方向焦距，所述fy为鱼眼摄像头的竖直方向焦距，所述W为所述目标球面展开图像的预设宽度，所述H为所述目标球面展开图像的预设高度，为所述第一像素点的极坐标；
所述第一预设映射关系，可以为：
Z＝sin(θ)
其中，(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点坐标；
所述第二预设映射关系，可以为：
α＝atan2(Z,X)
u＝Cx+Rx*cos(α)
v＝Cy+Ry*sin(α)
其中，所述α为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述β为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述fovw为鱼眼摄像头采集的标定图像的宽度方向的视场角，所述fovh为鱼眼摄像头采集的标定图像的高度方向的视场角，所述Rx为所述第二像素点至所述球心的水平距离，所述Ry为所述第二像素点至所述球心的竖直距离，(Cx,Cy)为鱼眼摄像头的主点坐标，(u,v)为标定图像上与所述第一像素点具有映射关系的第三像素点坐标。
可选的，所述全景合成映射表包括所述两个鱼眼摄像头各自的映射表，所述两个鱼眼摄像头的映射表之间存在内容相同的重叠区域。
可选的，所述查找模块620，具体可以用于：
通过查找预先建立的全景合成映射表，针对各原始视频中的各视频帧，生成该视频帧对应的待拼接视频帧及各待拼接视频帧之间的拼接关系；
针对同一原始视频生成的各待拼接视频帧，通过预设视频生成技术，生成待拼接视频；
所述拼接模块630，具体可以用于：
根据所述各待拼接视频帧之间的拼接关系，分别将各待拼接视频中对应的待拼接视频帧进行拼接，得到多个拼接图像；
根据预设三维投影策略，分别对各拼接图像进行三维投影，得到该拼接图像对应的三维全景图；
基于各三维全景图，通过预设视频生成技术，生成全景视频。
可选的，所述拼接模块630，具体可以用于：
根据所述拼接关系，将各待拼接视频进行拼接，生成二维视频；
根据预设三维投影策略，将所述二维视频进行三维投影，得到全景视频。
应用本实施例，通过获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系；根据拼接关系，将各待拼接视频进行拼接，合成全景视频。全景合成映射表是基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到的；在进行全景视频合成时，根据全景合成映射表即可完成视频拼接；各鱼眼摄像头的外参、内参和视场角作为各鱼眼摄像头的固定参数，能够唯一反映相机的主点偏移和焦距变化等，这样，不论鱼眼设备所拍摄的视频是被裁剪或者不是标准圆形，均可以根据对全景合成映射表的查表操作，合成全景视频，有效避免了所拍摄的视频被裁剪或者不是标准圆形时所发生的拼接错误。
本发明实施例还提供了一种电子设备，如图7所示，可以包括处理器701和存储器702，其中，
所述存储器702，用于存放计算机程序；
所述处理器701，用于执行所述存储器702上所存放的程序时，实现本发明实施例所提供的全景视频合成方法的所有步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述电子设备，能够实现：通过获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系；根据拼接关系，将各待拼接视频进行拼接，合成全景视频。全景合成映射表是基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到的；在进行全景视频合成时，根据全景合成映射表即可完成视频拼接；各鱼眼摄像头的外参、内参和视场角作为各鱼眼摄像头的固定参数，能够唯一反映相机的主点偏移和焦距变化等，这样，不论鱼眼设备所拍摄的视频是被裁剪或者不是标准圆形，均可以根据对全景合成映射表的查表操作，合成全景视频，有效避免了所拍摄的视频被裁剪或者不是标准圆形时所发生的拼接错误。
另外，相应于上述实施例所提供的全景视频合成方法，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序在被处理器执行时实现本发明实施例所提供的全景视频合成方法的所有步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的全景视频合成方法的应用程序，因此能够实现：通过获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系；根据拼接关系，将各待拼接视频进行拼接，合成全景视频。全景合成映射表是基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到的；在进行全景视频合成时，根据全景合成映射表即可完成视频拼接；各鱼眼摄像头的外参、内参和视场角作为各鱼眼摄像头的固定参数，能够唯一反映相机的主点偏移和焦距变化等，这样，不论鱼眼设备所拍摄的视频被裁剪或者不是标准圆形，均可以根据对全景合成映射表的查表操作，合成全景视频，有效避免了所拍摄的视频是被裁剪或者不是标准圆形时所发生的拼接错误。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (18)

1.一种全景视频合成方法，其特征在于，所述方法包括：
获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；
通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，其中，所述全景合成映射表基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到；
根据所述拼接关系，将各待拼接视频进行拼接，合成全景视频。
2.根据权利要求1所述的方法，其特征在于，所述全景合成映射表的建立方式包括：
获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
根据各鱼眼摄像头的外参，获得各球面展开图像之间的相对位置关系；
根据所述相对位置关系，对各球面展开图像进行处理，得到全景合成映射表。
3.根据权利要求1所述的方法，其特征在于，所述全景合成映射表的建立方式包括：
获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
建立第一全景映射表，所述第一全景映射表的内容为空；
根据各鱼眼摄像头的外参，获得所述第一全景映射表中各预设区域之间的相对位置关系；
根据所述相对位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
根据各球面展开图像与各逆变换区域之间的对应关系，确定全景合成映射表。
4.根据权利要求2或3所述的方法，其特征在于，所述鱼眼摄像头的内参包括：鱼眼摄像头的主点坐标及焦距；
所述根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像，包括：
获取目标球面展开图像上第一像素点坐标、所述目标球面展开图像的预设宽度及预设高度，其中，所述第一像素点为所述目标球面展开图像上的任一像素点；
根据该鱼眼摄像头的焦距、所述第一像素点坐标、所述预设宽度及所述预设高度，通过预设极坐标转换关系，得到所述第一像素点的极坐标；
根据所述第一像素点的极坐标，通过极坐标与预设单位球面上像素点坐标的第一预设映射关系，得到将所述第一像素点映射至所述预设单位球面上的第二像素点坐标；
根据所述第二像素点坐标、该鱼眼摄像头的主点坐标、该鱼眼摄像头的焦距以及该鱼眼摄像头采集的标定图像的视场角，通过预设单位球面上像素点坐标与标定图像上像素点坐标的第二预设映射关系，得到该标定图像上与所述第一像素点具有映射关系的第三像素点坐标；
根据计算得到的目标球面展开图像上各像素点与该标定图像上各像素点的映射关系，将映射得到的目标球面展开图像作为该标定图像的球面展开图像。
5.根据权利要求4所述的方法，其特征在于，所述预设极坐标转换关系，为：
其中，(x,y)为目标球面展开图像上第一像素点坐标，(fx,fy)为鱼眼摄像头的焦距，所述fx为鱼眼摄像头的水平方向焦距，所述fy为鱼眼摄像头的竖直方向焦距，所述W为所述目标球面展开图像的预设宽度，所述H为所述目标球面展开图像的预设高度，为所述第一像素点的极坐标；
所述第一预设映射关系，为：
Z＝sin(θ)
其中，(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点坐标；
所述第二预设映射关系，为：
α＝atan2(Z,X)
u＝Cx+Rx*cos(α)
v＝Cy+Ry*sin(α)
其中，所述α为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述β为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述fovw为鱼眼摄像头采集的标定图像的宽度方向的视场角，所述fovh为鱼眼摄像头采集的标定图像的高度方向的视场角，所述Rx为所述第二像素点至所述球心的水平距离，所述Ry为所述第二像素点至所述球心的竖直距离，(Cx,Cy)为鱼眼摄像头的主点坐标，(u,v)为标定图像上与所述第一像素点具有映射关系的第三像素点坐标。
6.根据权利要求2或3所述的方法，其特征在于，所述全景合成映射表包括所述两个鱼眼摄像头各自的映射表，所述两个鱼眼摄像头的映射表之间存在内容相同的重叠区域。
7.根据权利要求1所述的方法，其特征在于，所述通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，包括：
通过查找预先建立的全景合成映射表，针对各原始视频中的各视频帧，生成该视频帧对应的待拼接视频帧及各待拼接视频帧之间的拼接关系；
针对同一原始视频生成的各待拼接视频帧，通过预设视频生成技术，生成待拼接视频；
所述根据所述拼接关系，将各待拼接视频进行拼接，合成全景视频，包括：
根据所述各待拼接视频帧之间的拼接关系，分别将各待拼接视频中对应的待拼接视频帧进行拼接，得到多个拼接图像；
根据预设三维投影策略，分别对各拼接图像进行三维投影，得到该拼接图像对应的三维全景图；
基于各三维全景图，通过预设视频生成技术，生成全景视频。
8.根据权利要求1所述的方法，其特征在于，所述根据所述拼接关系，将各待拼接视频进行拼接，合成全景视频，包括：
根据所述拼接关系，将各待拼接视频进行拼接，生成二维视频；
根据预设三维投影策略，将所述二维视频进行三维投影，得到全景视频。
9.一种全景视频合成装置，其特征在于，所述装置包括：
获取模块，用于获取双鱼眼设备中两个鱼眼摄像头分别拍摄的原始视频；
查找模块，用于通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，其中，所述全景合成映射表基于各鱼眼摄像头采集的标定图像中标定的鱼眼摄像头的外参、在预先建立的指定标定场地中利用预设张正友标定法标定的各鱼眼摄像头的内参、及各鱼眼摄像头采集的标定图像的视场角，分别对各标定图像进行处理得到；
拼接模块，用于根据所述拼接关系，将各待拼接视频进行拼接，合成全景视频。
10.根据权利要求9所述的装置，其特征在于，所述获取模块，还用于：
获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
所述装置还包括：
投影展开模块，用于根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
获得模块，用于根据各鱼眼摄像头的外参，获得各球面展开图像之间的相对位置关系；
处理模块，用于根据所述相对位置关系，对各球面展开图像进行处理，得到全景合成映射表。
11.根据权利要求9所述的装置，其特征在于，所述获取模块，还用于：
获取两个鱼眼摄像头分别采集的标定图像、各标定图像中标定的鱼眼摄像头的外参，以及各标定图像的视场角；
在预先建立的指定标定场地中利用预设张正友标定法，获得各鱼眼摄像头的内参；
所述装置还包括：
建立模块，用于建立第一全景映射表，所述第一全景映射表的内容为空；
获得模块，用于根据各鱼眼摄像头的外参，获得所述第一全景映射表中各预设区域之间的相对位置关系；
逆变换模块，用于根据所述相对位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；
投影展开模块，用于根据各鱼眼摄像头的内参以及各鱼眼摄像头采集的标定图像的视场角，对各标定图像分别进行球面投影展开，生成该标定图像对应的球面展开图像；
确定模块，用于根据各球面展开图像与各逆变换区域之间的对应关系，确定全景合成映射表。
12.根据权利要求10或11所述的装置，其特征在于，所述鱼眼摄像头的内参包括：鱼眼摄像头的主点坐标及焦距；
所述投影展开模块，具体用于：
获取目标球面展开图像上第一像素点坐标、所述目标球面展开图像的预设宽度及预设高度，其中，所述第一像素点为所述目标球面展开图像上的任一像素点；
根据该鱼眼摄像头的焦距、所述第一像素点坐标、所述预设宽度及所述预设高度，通过预设极坐标转换关系，得到所述第一像素点的极坐标；
根据所述第一像素点的极坐标，通过极坐标与预设单位球面上像素点坐标的第一预设映射关系，得到将所述第一像素点映射至所述预设单位球面上的第二像素点坐标；
根据所述第二像素点坐标、该鱼眼摄像头的主点坐标、该鱼眼摄像头的焦距以及该鱼眼摄像头采集的标定图像的视场角，通过预设单位球面上像素点坐标与标定图像上像素点坐标的第二预设映射关系，得到该标定图像上与所述第一像素点具有映射关系的第三像素点坐标；
根据计算得到的目标球面展开图像上各像素点与该标定图像上各像素点的映射关系，将映射得到的目标球面展开图像作为该标定图像的球面展开图像。
13.根据权利要求12所述的装置，其特征在于，所述预设极坐标转换关系，为：
其中，(x,y)为目标球面展开图像上第一像素点坐标，(fx,fy)为鱼眼摄像头的焦距，所述fx为鱼眼摄像头的水平方向焦距，所述fy为鱼眼摄像头的竖直方向焦距，所述W为所述目标球面展开图像的预设宽度，所述H为所述目标球面展开图像的预设高度，为所述第一像素点的极坐标；
所述第一预设映射关系，为：
Z＝sin(θ)
其中，(X,Y,Z)为将所述第一像素点映射至预设单位球面上的第二像素点坐标；
所述第二预设映射关系，为：
α＝atan2(Z,X)
u＝Cx+Rx*cos(α)
v＝Cy+Ry*sin(α)
其中，所述α为第一连线与所述预设单位球面所处坐标轴中横轴的夹角，所述第一连线为所述第二像素点与所述预设单位球面的球心的连线，所述β为所述第一连线与所述预设单位球面所处坐标轴中纵轴的夹角，所述fovw为鱼眼摄像头采集的标定图像的宽度方向的视场角，所述fovh为鱼眼摄像头采集的标定图像的高度方向的视场角，所述Rx为所述第二像素点至所述球心的水平距离，所述Ry为所述第二像素点至所述球心的竖直距离，(Cx,Cy)为鱼眼摄像头的主点坐标，(u,v)为标定图像上与所述第一像素点具有映射关系的第三像素点坐标。
14.根据权利要求10或11所述的装置，其特征在于，所述全景合成映射表包括所述两个鱼眼摄像头各自的映射表，所述两个鱼眼摄像头的映射表之间存在内容相同的重叠区域。
15.根据权利要求9所述的装置，其特征在于，所述查找模块，具体用于：
通过查找预先建立的全景合成映射表，针对各原始视频中的各视频帧，生成该视频帧对应的待拼接视频帧及各待拼接视频帧之间的拼接关系；
针对同一原始视频生成的各待拼接视频帧，通过预设视频生成技术，生成待拼接视频；
所述拼接模块，具体用于：
根据所述各待拼接视频帧之间的拼接关系，分别将各待拼接视频中对应的待拼接视频帧进行拼接，得到多个拼接图像；
根据预设三维投影策略，分别对各拼接图像进行三维投影，得到该拼接图像对应的三维全景图；
基于各三维全景图，通过预设视频生成技术，生成全景视频。
16.根据权利要求9所述的装置，其特征在于，所述拼接模块，具体用于：
根据所述拼接关系，将各待拼接视频进行拼接，生成二维视频；
根据预设三维投影策略，将所述二维视频进行三维投影，得到全景视频。
17.一种电子设备，其特征在于，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
CN201810496114.8A 2018-05-22 2018-05-22 一种全景视频合成方法、装置及电子设备 Active CN110519528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810496114.8A CN110519528B (zh) 2018-05-22 2018-05-22 一种全景视频合成方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810496114.8A CN110519528B (zh) 2018-05-22 2018-05-22 一种全景视频合成方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110519528A true CN110519528A (zh) 2019-11-29
CN110519528B CN110519528B (zh) 2021-09-24

Family

ID=68622080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810496114.8A Active CN110519528B (zh) 2018-05-22 2018-05-22 一种全景视频合成方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110519528B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738909A (zh) * 2020-06-11 2020-10-02 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN111862240A (zh) * 2020-07-28 2020-10-30 展讯通信（上海）有限公司 全景相机及其标定方法、全景图像的拼接方法及存储介质
CN112770095A (zh) * 2021-01-28 2021-05-07 广州方硅信息技术有限公司 全景投影方法、装置及电子设备
CN112907447A (zh) * 2021-02-08 2021-06-04 杭州海康威视数字技术股份有限公司 天空云图的拼接及用于确定多摄像机安装位置的方法
CN113132708A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
CN113793382A (zh) * 2021-08-04 2021-12-14 北京旷视科技有限公司 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
CN116503492A (zh) * 2023-06-27 2023-07-28 北京鉴智机器人科技有限公司 自动驾驶系统中双目相机模组标定方法及标定装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222337A (zh) * 2011-06-14 2011-10-19 重庆大学 用于图像拼接的鱼眼图像校正方法
CN102298771A (zh) * 2011-08-16 2011-12-28 淮安盈科伟力科技有限公司 全景泊车辅助系统的鱼眼图像快速校正方法
CN102509261A (zh) * 2011-10-10 2012-06-20 宁波大学 一种鱼眼镜头的畸变校正方法
US20150160539A1 (en) * 2013-12-09 2015-06-11 Geo Semiconductor Inc. System and method for automated test-pattern-free projection calibration
CN104835117A (zh) * 2015-05-11 2015-08-12 合肥工业大学 基于重叠方式的球面全景图生成方法
CN106327478A (zh) * 2016-08-31 2017-01-11 北京的卢深视科技有限公司 一种鱼眼全景图像合成处理方法及装置
CN106791578A (zh) * 2016-12-26 2017-05-31 西安电子科技大学 基于鱼眼全景摄像机的视频会议实现方法
TW201741759A (zh) * 2016-05-18 2017-12-01 Ulsee Inc 車輛之三維環景系統及其方法
CN107958440A (zh) * 2017-12-08 2018-04-24 合肥工业大学 在gpu上实现双鱼眼图像实时全景图像拼接方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222337A (zh) * 2011-06-14 2011-10-19 重庆大学 用于图像拼接的鱼眼图像校正方法
CN102298771A (zh) * 2011-08-16 2011-12-28 淮安盈科伟力科技有限公司 全景泊车辅助系统的鱼眼图像快速校正方法
CN102509261A (zh) * 2011-10-10 2012-06-20 宁波大学 一种鱼眼镜头的畸变校正方法
US20150160539A1 (en) * 2013-12-09 2015-06-11 Geo Semiconductor Inc. System and method for automated test-pattern-free projection calibration
CN104835117A (zh) * 2015-05-11 2015-08-12 合肥工业大学 基于重叠方式的球面全景图生成方法
TW201741759A (zh) * 2016-05-18 2017-12-01 Ulsee Inc 車輛之三維環景系統及其方法
CN106327478A (zh) * 2016-08-31 2017-01-11 北京的卢深视科技有限公司 一种鱼眼全景图像合成处理方法及装置
CN106791578A (zh) * 2016-12-26 2017-05-31 西安电子科技大学 基于鱼眼全景摄像机的视频会议实现方法
CN107958440A (zh) * 2017-12-08 2018-04-24 合肥工业大学 在gpu上实现双鱼眼图像实时全景图像拼接方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王向军 等: "《基于改进球面透视投影的鱼眼图像畸变校正方法》", 《计算机视觉》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738909A (zh) * 2020-06-11 2020-10-02 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN111738909B (zh) * 2020-06-11 2023-09-26 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN111862240A (zh) * 2020-07-28 2020-10-30 展讯通信（上海）有限公司 全景相机及其标定方法、全景图像的拼接方法及存储介质
CN111862240B (zh) * 2020-07-28 2022-10-04 展讯通信（上海）有限公司 全景相机及其标定方法、全景图像的拼接方法及存储介质
CN112770095A (zh) * 2021-01-28 2021-05-07 广州方硅信息技术有限公司 全景投影方法、装置及电子设备
CN112907447A (zh) * 2021-02-08 2021-06-04 杭州海康威视数字技术股份有限公司 天空云图的拼接及用于确定多摄像机安装位置的方法
CN113132708A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
CN113132708B (zh) * 2021-04-22 2022-02-22 贝壳找房(北京)科技有限公司 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
CN113793382A (zh) * 2021-08-04 2021-12-14 北京旷视科技有限公司 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
CN116503492A (zh) * 2023-06-27 2023-07-28 北京鉴智机器人科技有限公司 自动驾驶系统中双目相机模组标定方法及标定装置

Also Published As

Publication number Publication date
CN110519528B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN110351494B (zh) 一种全景视频合成方法、装置及电子设备
CN110519528A (zh) 一种全景视频合成方法、装置及电子设备
US6778207B1 (en) Fast digital pan tilt zoom video
CN105118055B (zh) 摄影机定位修正标定方法及系统
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
CN110782394A (zh) 全景视频快速拼接方法及系统
CN109547766A (zh) 一种全景图像生成方法及装置
CN103971375B (zh) 一种基于图像拼接的全景凝视相机空间标定方法
KR101915729B1 (ko) 360도 전방향 뷰 영상 생성 장치 및 방법
CN107395985B (zh) 一种移动终端图像合成方法、装置及移动终端
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
CN106357976A (zh) 一种全方位全景图像生成的方法和装置
CN105447850A (zh) 一种基于多视点图像的全景图拼接合成方法
CN108122191A (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN108200360A (zh) 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN113301274B (zh) 一种船舶实时视频全景拼接方法及系统
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
CN110349077A (zh) 一种全景图像合成方法、装置及电子设备
CN105488766B (zh) 鱼眼镜头图像校正方法及装置
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN103295231A (zh) 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
Lo et al. Image stitching for dual fisheye cameras
CN107967666B (zh) 一种全景图像生成方法及装置
CN113286064B (zh) 环视图像采集方法、装置、移动终端及存储介质
CN106023073A (zh) 一种图像拼接系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant