CN111161148B - 一种全景图像生成方法、装置、设备和存储介质 - Google Patents

一种全景图像生成方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111161148B
CN111161148B CN201911389978.0A CN201911389978A CN111161148B CN 111161148 B CN111161148 B CN 111161148B CN 201911389978 A CN201911389978 A CN 201911389978A CN 111161148 B CN111161148 B CN 111161148B
Authority
CN
China
Prior art keywords
image
fisheye
rectangular
rectangular image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911389978.0A
Other languages
English (en)
Other versions
CN111161148A (zh
Inventor
王增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wingtech Electronic Technology Co Ltd
Original Assignee
Shanghai Wingtech Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wingtech Electronic Technology Co Ltd filed Critical Shanghai Wingtech Electronic Technology Co Ltd
Priority to CN201911389978.0A priority Critical patent/CN111161148B/zh
Publication of CN111161148A publication Critical patent/CN111161148A/zh
Application granted granted Critical
Publication of CN111161148B publication Critical patent/CN111161148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明实施例公开了一种全景图像生成方法、装置、设备和存储介质。该全景图像生成方法包括：获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像；对所述第一鱼眼图像进行投影矫正以得到第一矩形图像，对所述第二鱼眼图像进行投影矫正以得到第二矩形图像；计算所述第一矩形图像和第二矩形图像的重叠区域；对所述重叠区域进行Alpha融合以得到全景图像。本发明实施例实现了简单方便地拼接生成全景图像。

Description

一种全景图像生成方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种全景图像生成方法、装置、设备和存储介质。
背景技术
随着信息时代的飞速发展，全景图像在安防监控、视觉导航、特效制作、增强现实和网络直播等领域中的应用越来越广泛。
因单个摄像头的视场角有限，不能覆盖全部视场，目前全景图像都是通过多个相机列阵拍摄得到的，其中每个相机只负责一部分场景，然后进行局部拼接以生成全景图像。但是相机数量越多，全景拍摄就会越复杂，因为多个相机成像很难保证一致性，同一场景在不同的相机中成像存在差异，其次也很难做到无缝拼接，此外，当相机数目较多时，其数据量也会急剧增加。
目前较为折中的方案是使用两个鱼眼相机，通过拼接两个鱼眼相机拍摄的图像来生成全景图像，鱼眼相机和普通相机的相比，最大的特点就是视角大，视角往往大于180度，使用前后两幅图像即可拼接成全景图像，凭借其独特的性质，在实际的生活中拥有的广泛的应用。
但鱼眼图像也存在严重的畸变，离鱼眼图像中心越远畸变就越严重，因此无法直接使用原始鱼眼图像进行拼接而得到全景图像，从而增加了全景图像的拼接难度。
发明内容
本发明实施例提供一种全景图像生成方法、装置、设备和存储介质，以实现简单方便地拼接生成全景图像。
为达此目的，本发明实施例提供了一种全景图像生成方法，该方法包括：
获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像；
对所述第一鱼眼图像进行投影矫正以得到第一矩形图像，对所述第二鱼眼图像进行投影矫正以得到第二矩形图像；
计算所述第一矩形图像和第二矩形图像的重叠区域；
对所述重叠区域进行Alpha融合以得到全景图像。
进一步的，所述获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像之前包括：
对所述第一鱼眼相机和第二鱼眼相机进行同步。
进一步的，所述对所述第一鱼眼相机和第二鱼眼相机进行同步包括：
对所述第一鱼眼相机和第二鱼眼相机进行帧同步、曝光同步和白平衡同步。
进一步的，所述对所述第一鱼眼图像进行投影矫正以得到第一矩形图像，对所述第二鱼眼图像进行投影矫正以得到第二矩形图像包括：
对所述第一鱼眼图像进行单位球面透视投影映射以将位于鱼眼图像坐标系的第一鱼眼图像转换为位于三维球面坐标系的第一球面图像，对所述第二鱼眼图像进行单位球面透视投影映射以将位于鱼眼图像坐标系的第二鱼眼图像转换为位于三维球面坐标系的第二球面图像；
对所述第一球面图像进行三维的经纬转换以得到第一经纬图像，对所述第二球面图像进行三维的经纬转换以得到第二经纬图像；
将位于所述三维球面坐标系的第一经纬图像转换为位于二维平面坐标系的第一矩形图像，将位于所述三维球面坐标系的第二经纬图像转换为位于二维平面坐标系的第二矩形图像。
进一步的，所述计算所述第一矩形图像和第二矩形图像的重叠区域包括：
将所述第一矩形图像和第二矩形图像的像素值转换为亮度信息；
获取预先定义的亮度差函数；
根据所述亮度信息和亮度差函数计算出所述亮度差函数的拐点；
根据所述拐点得到所述第一矩形图像和第二矩形图像的重叠区域。
进一步的，所述第一鱼眼相机和第二鱼眼相机的视角范围在180度-200度之间。
进一步的，所述计算所述第一矩形图像和第二矩形图像的重叠区域包括：
获取所述第一鱼眼相机的视角范围大于180度的部分所拍摄到的第一部分图像和获取所述第二鱼眼相机的视角范围大于180度的部分所拍摄到的第二部分图像；
将所述第一部分图像和第二部分图像视为重叠区域。
一方面，本发明实施例还提供了一种全景图像生成装置，该装置包括：
图像获取模块，用于获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像；
图像矫正模块，用于对所述第一鱼眼图像和第二鱼眼图像进行投影矫正以得到第一矩形图像和第二矩形图像；
区域计算模块，用于计算所述第一矩形图像和第二矩形图像的重叠区域；
图像融合模块，用于对所述重叠区域进行Alpha融合以得到全景图像。
另一方面，本发明实施例还提供了一种全景图像生成设备，该设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例提供的方法。
又一方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的方法。
本发明实施例通过获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像；对所述第一鱼眼图像进行投影矫正以得到第一矩形图像，对所述第二鱼眼图像进行投影矫正以得到第二矩形图像；计算所述第一矩形图像和第二矩形图像的重叠区域；对所述重叠区域进行Alpha融合以得到全景图像，解决了通过鱼眼相机得到的全景图像的拼接难度大的问题，实现了简单方便地拼接生成全景图像的效果。
附图说明
图1是本发明实施例一提供的一种全景图像生成方法的流程示意图；
图2是本发明实施例二提供的一种全景图像生成方法的流程示意图；
图3是本发明实施例三提供的一种全景图像生成装置的结构示意图；
图4为本发明实施例四提供的一种全景图像生成设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一鱼眼图像称为第二鱼眼图像，且类似地，可将第二鱼眼图像称为第一鱼眼图像。第一鱼眼图像和第二鱼眼图像两者都是鱼眼图像，但其不是同一鱼眼图像。术语“第一”、“第二”等不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明实施例的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
如图1所示，本发明实施例一提供了一种全景图像生成方法，该方法包括：
S110、获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像。
本实施例中，第一鱼眼相机和第二鱼眼相机相背设置，即第一鱼眼相机拍摄任一场景中的一侧得到第一鱼眼图像，第二鱼眼相机拍摄该场景中的相背的另一侧得到第二鱼眼图像，第一鱼眼图像和第二鱼眼图像加起来至少包括了当前场景的360度的全部景象。一实施例中，所述第一鱼眼相机可以设置在正对汽车头部方向的左边一侧，第二鱼眼相机相背设置在正对汽车头部方向的右边一侧。
S120、对所述第一鱼眼图像进行投影矫正以得到第一矩形图像，对所述第二鱼眼图像进行投影矫正以得到第二矩形图像。
本实施例中，可以对第一鱼眼图像进行投影矫正，矫正其边缘畸形，得到更符合人类视觉的第一矩形图像，同时也对第二鱼眼图像进行投影矫正，矫正其边缘畸形，得到更符合人类视觉的第二矩形图像。
S130、计算所述第一矩形图像和第二矩形图像的重叠区域。
本实施例中，所述第一鱼眼相机和第二鱼眼相机的视角范围在180度-200度之间。作为优选的，第一鱼眼相机和第二鱼眼相机都采用15mm焦距的全画幅对角线鱼眼镜头，其视角在垂直方向和水平方向都大于180度，拍摄出的图像完全覆盖了一侧的全部景象，因此第一矩形图像和第二矩形图像存在同一场景的重叠区域。
可选的，先获取所述第一鱼眼相机的视角范围大于180度的部分所拍摄到的第一部分图像和获取所述第二鱼眼相机的视角范围大于180度的部分所拍摄到的第二部分图像，即通过预设识别算法计算得到第一矩形图像中大于180度的部分图像，第一部分图像为第一矩形图像中四周的边缘部分，同理计算得到第二矩形图像中大于180度的部分图像，第二部分图像为第二矩形图像中四周的边缘部分，然后将所述第一部分图像和第二部分图像视为重叠区域。
S140、对所述重叠区域进行Alpha融合以得到全景图像。
本实施例中，Alpha融合(英语：alpha compositing)是一种将图像与背景融合的过程，融合后可以产生部分透明或全透明的视觉效果。将第一矩形图像和第二矩形图像的重叠区域进行Alpha融合，即将第一矩形图像的第一部分图像融合至第二矩形图像中对应的区域，将第二矩形图像的第二部分图像融合至第一矩形图像中对应的区域，第一矩形图像和第二矩形图像的边缘部分经过Alpha融合后边缘畸形会进一步得到矫正，然后将Alpha融合后的第一矩形图像和第二矩形图像拼接在一起，就得到了当前场景的全景图像。
本发明实施例通过获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像；对所述第一鱼眼图像进行投影矫正以得到第一矩形图像，对所述第二鱼眼图像进行投影矫正以得到第二矩形图像；计算所述第一矩形图像和第二矩形图像的重叠区域；对所述重叠区域进行Alpha融合以得到全景图像，解决了通过鱼眼相机得到的全景图像的拼接难度大的问题，实现了简单方便地拼接生成全景图像的效果。
实施例二
如图2所示，本发明实施例二提供了一种全景图像生成方法，本发明实施例二是在本发明实施例一的基础上进一步的说明解释，该方法包括：
S210、对所述第一鱼眼相机和第二鱼眼相机进行帧同步、曝光同步和白平衡同步。
S220、获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像。
本实施例中，为保证全景图像的一致性，在拍摄前要确保第一鱼眼相机和第二鱼眼相机在水平方向上和垂直方向上完全位于同一位置且相背设置，然后还需要对第一鱼眼相机和第二鱼眼相机进行帧同步、曝光同步和白平衡同步，如此才能确保之后重叠区域的计算不会出现错误。
S230、对所述第一鱼眼图像进行单位球面透视投影映射以将位于鱼眼图像坐标系的第一鱼眼图像转换为位于三维球面坐标系的第一球面图像，对所述第二鱼眼图像进行单位球面透视投影映射以将位于鱼眼图像坐标系的第二鱼眼图像转换为位于三维球面坐标系的第二球面图像。
S240、对所述第一球面图像进行三维的经纬转换以得到第一经纬图像，对所述第二球面图像进行三维的经纬转换以得到第二经纬图像。
S250、将位于所述三维球面坐标系的第一经纬图像转换为位于二维平面坐标系的第一矩形图像，将位于所述三维球面坐标系的第二经纬图像转换为位于二维平面坐标系的第二矩形图像。
本实施例中，第一鱼眼图像和第二鱼眼图像都位于鱼眼坐标系，即圆形坐标系，可以通过角度映射转换将第一鱼眼图像和第二鱼眼图像从鱼眼图像坐标系转换到三维球面坐标系上，具体的转换公式可以为Py＝r×aperture/2，Px＝atan2(y，x)，其中(y，x)为鱼眼坐标系中的任意一点，(Py，Px)为三维球面坐标系中与(y，x)对应的点。
进一步的，得到第一球面图像和第二球面图像之后，还需要对所述第一球面图像进行三维的经纬转换以得到第一经纬图像，对所述第二球面图像进行三维的经纬转换以得到第二经纬图像，具体的转换公式可以longitude＝atan2(Py，Px)，latiitude＝atan2(Pz，sprt(Px 2，Py 2))。
最后，得到第一经纬图像和第二经纬图像之后，需要将位于所述三维球面坐标系的第一经纬图像转换为位于二维平面坐标系的第一矩形图像，将位于所述三维球面坐标系的第二经纬图像转换为位于二维平面坐标系的第二矩形图像，具体的转换公式可以为x＝longitude/π，y＝2×longitude/π，(x，y)为二维平面坐标系中对应的点。
S260、将所述第一矩形图像和第二矩形图像的像素值转换为亮度信息。
S270、获取预先定义的亮度差函数。
S280、根据所述亮度信息和亮度差函数计算出所述亮度差函数的拐点。
S290、根据所述拐点得到所述第一矩形图像和第二矩形图像的重叠区域。
S300、对所述重叠区域进行Alpha融合以得到全景图像。
本实施例中，在理想的状态下，同一场景下的亮度信息差为零，但是在实际中可能有噪点干扰，亮度差不为零，但应该是接近零的一个区域，基于上述原理，首先将第一矩形图像和第二矩形图像的RGB像素值转换为亮度信息I，其中I＝0.30R+0.59G+0.11B，第一矩形图像的亮度信息为I1，第二矩形图像的亮度信息为I2。预先假设重叠区域为S，并定义一个亮度差函数diff，其中diff＝sigma(abs(I1-I2))/S，计算出这个亮度差函数diff的拐点即可找到重叠区域。最后可以根据公式g(x，y)＝(1-alpha)f1(x，y)+alpha×f2(x，y)对重叠区域进行Alpha融合拼接得到全景图像，并将该全景图像输出。
实施例三
如图3所示，本发明实施例三提供了一种全景图像生成装置100，本发明实施例三所提供的全景图像生成装置100可执行本发明任意实施例所提供的全景图像生成方法，具备执行方法相应的功能模块和有益效果。该装置包括图像获取模块200、图像矫正模块300、区域计算模块400和图像融合模块500。
具体的，图像获取模块200用于获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像；图像矫正模块300用于对所述第一鱼眼图像和第二鱼眼图像进行投影矫正以得到第一矩形图像和第二矩形图像；区域计算模块400用于计算所述第一矩形图像和第二矩形图像的重叠区域；图像融合模块500用于对所述重叠区域进行Alpha融合以得到全景图像。
本实施例中，该全景图像生成装置100还包括相机同步模块600，该相机同步模块600用于对所述第一鱼眼相机和第二鱼眼相机进行同步。
进一步的，该相机同步模块600具体用于对所述第一鱼眼相机和第二鱼眼相机进行帧同步、曝光同步和白平衡同步。图像矫正模块300具体用于对所述第一鱼眼图像进行单位球面透视投影映射以将位于鱼眼图像坐标系的第一鱼眼图像转换为位于三维球面坐标系的第一球面图像，对所述第二鱼眼图像进行单位球面透视投影映射以将位于鱼眼图像坐标系的第二鱼眼图像转换为位于三维球面坐标系的第二球面图像；对所述第一球面图像进行三维的经纬转换以得到第一经纬图像，对所述第二球面图像进行三维的经纬转换以得到第二经纬图像；将位于所述三维球面坐标系的第一经纬图像转换为位于二维平面坐标系的第一矩形图像，将位于所述三维球面坐标系的第二经纬图像转换为位于二维平面坐标系的第二矩形图像。区域计算模块400具体用于将所述第一矩形图像和第二矩形图像的像素值转换为亮度信息；获取预先定义的亮度差函数；根据所述亮度信息和亮度差函数计算出所述亮度差函数的拐点；根据所述拐点得到所述第一矩形图像和第二矩形图像的重叠区域。
作为优选的，所述第一鱼眼相机和第二鱼眼相机的视角范围在180度-200度之间。在一替代实施例中，区域计算模块400具体用于获取所述第一鱼眼相机的视角范围大于180度的部分所拍摄到的第一部分图像和获取所述第二鱼眼相机的视角范围大于180度的部分所拍摄到的第二部分图像；将所述第一部分图像和第二部分图像视为重叠区域。
实施例四
图4为本发明实施例四提供的一种全景图像生成设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的方法：
获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像；
对所述第一鱼眼图像进行投影矫正以得到第一矩形图像，对所述第二鱼眼图像进行投影矫正以得到第二矩形图像；
计算所述第一矩形图像和第二矩形图像的重叠区域；
对所述重叠区域进行Alpha融合以得到全景图像。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的方法：
获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像；
对所述第一鱼眼图像进行投影矫正以得到第一矩形图像，对所述第二鱼眼图像进行投影矫正以得到第二矩形图像；
计算所述第一矩形图像和第二矩形图像的重叠区域；
对所述重叠区域进行Alpha融合以得到全景图像。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种全景图像生成方法，其特征在于，包括：
获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像；
对所述第一鱼眼图像进行投影矫正以得到第一矩形图像，对所述第二鱼眼图像进行投影矫正以得到第二矩形图像；
根据所述第一矩形图像和第二矩形图像的亮度信息以及预先定义的亮度差函数计算所述第一矩形图像和第二矩形图像的重叠区域；
对所述重叠区域进行Alpha融合以得到全景图像；
所述根据所述第一矩形图像和第二矩形图像的亮度信息以及预先定义的亮度差函数计算所述第一矩形图像和第二矩形图像的重叠区域，包括：
将所述第一矩形图像和第二矩形图像的像素值转换为亮度信息；
获取预先定义的亮度差函数；
根据所述亮度信息和亮度差函数计算出所述亮度差函数的拐点；
根据所述拐点得到所述第一矩形图像和第二矩形图像的重叠区域。
2.根据权利要求1所述的方法，其特征在于，所述获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像之前包括：
对所述第一鱼眼相机和第二鱼眼相机进行同步。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一鱼眼相机和第二鱼眼相机进行同步包括：
对所述第一鱼眼相机和第二鱼眼相机进行帧同步、曝光同步和白平衡同步。
4.根据权利要求1所述的方法，其特征在于，所述对所述第一鱼眼图像进行投影矫正以得到第一矩形图像，对所述第二鱼眼图像进行投影矫正以得到第二矩形图像包括：
对所述第一鱼眼图像进行单位球面透视投影映射以将位于鱼眼图像坐标系的第一鱼眼图像转换为位于三维球面坐标系的第一球面图像，对所述第二鱼眼图像进行单位球面透视投影映射以将位于鱼眼图像坐标系的第二鱼眼图像转换为位于三维球面坐标系的第二球面图像；
对所述第一球面图像进行三维的经纬转换以得到第一经纬图像，对所述第二球面图像进行三维的经纬转换以得到第二经纬图像；
将位于所述三维球面坐标系的第一经纬图像转换为位于二维平面坐标系的第一矩形图像，将位于所述三维球面坐标系的第二经纬图像转换为位于二维平面坐标系的第二矩形图像。
5.根据权利要求1-4任一所述的方法，其特征在于，所述第一鱼眼相机和第二鱼眼相机的视角范围在180度-200度之间。
6.根据权利要求5所述的方法，其特征在于，所述计算所述第一矩形图像和第二矩形图像的重叠区域包括：
获取所述第一鱼眼相机的视角范围大于180度的部分所拍摄到的第一部分图像和获取所述第二鱼眼相机的视角范围大于180度的部分所拍摄到的第二部分图像；
将所述第一部分图像和第二部分图像视为重叠区域。
7.一种全景图像生成装置，其特征在于，包括：
图像获取模块，用于获取第一鱼眼相机拍摄的第一鱼眼图像和与所述第一鱼眼相机相背设置的第二鱼眼相机拍摄的第二鱼眼图像；
图像矫正模块，用于对所述第一鱼眼图像和第二鱼眼图像进行投影矫正以得到第一矩形图像和第二矩形图像；
区域计算模块，用于根据所述第一矩形图像和第二矩形图像的亮度信息以及预先定义的亮度差函数计算所述第一矩形图像和第二矩形图像的重叠区域；
图像融合模块，用于对所述重叠区域进行Alpha融合以得到全景图像；
所述区域计算模块具体用于将所述第一矩形图像和第二矩形图像的像素值转换为亮度信息；获取预先定义的亮度差函数；根据所述亮度信息和亮度差函数计算出所述亮度差函数的拐点；根据所述拐点得到所述第一矩形图像和第二矩形图像的重叠区域。
8.一种全景图像生成设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201911389978.0A 2019-12-30 2019-12-30 一种全景图像生成方法、装置、设备和存储介质 Active CN111161148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911389978.0A CN111161148B (zh) 2019-12-30 2019-12-30 一种全景图像生成方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911389978.0A CN111161148B (zh) 2019-12-30 2019-12-30 一种全景图像生成方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111161148A CN111161148A (zh) 2020-05-15
CN111161148B true CN111161148B (zh) 2024-01-30

Family

ID=70559222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911389978.0A Active CN111161148B (zh) 2019-12-30 2019-12-30 一种全景图像生成方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111161148B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860632B (zh) * 2020-07-13 2022-07-22 上海航天测控通信研究所 多路图像一致性融合方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060056050A (ko) * 2004-11-19 2006-05-24 주식회사 일리시스 자동화된 360°파노라마 이미지 생성 방법
CN103163146A (zh) * 2011-12-13 2013-06-19 东友精细化工有限公司 振动噪声校正用缺陷检查装置
CN106303283A (zh) * 2016-08-15 2017-01-04 Tcl集团股份有限公司 一种基于鱼眼摄像头的全景图像合成方法及系统
CN106373091A (zh) * 2016-09-05 2017-02-01 山东省科学院自动化研究所 全景泊车中鸟瞰图像的自动拼接方法、系统及车辆
CN106815805A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 基于Bayer图像的快速畸变校正方法
CN107203965A (zh) * 2016-03-18 2017-09-26 中国科学院宁波材料技术与工程研究所 一种基于多通道图像融合的全景图像拼接方法
CN107403408A (zh) * 2016-05-18 2017-11-28 苏州灵目电子科技有限公司 一种双鱼眼图像拼接全景图像接缝融合方法
CN108734651A (zh) * 2017-04-19 2018-11-02 睿致科技股份有限公司 图像拼接方法及其图像拼接装置
CN109361855A (zh) * 2018-10-24 2019-02-19 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质
CN110276714A (zh) * 2018-03-16 2019-09-24 虹软科技股份有限公司 快速扫描式全景图图像合成方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW583600B (en) * 2002-12-31 2004-04-11 Ind Tech Res Inst Method of seamless processing for merging 3D color images
US10665181B2 (en) * 2017-06-28 2020-05-26 Apple Inc. Backlights with dynamic dimming ranges
JP6146143B2 (ja) * 2013-05-31 2017-06-14 株式会社Ｊｖｃケンウッド マルチプロジェクタシステム、投射装置、調整装置および画像調整方法、ならびに、画像調整プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060056050A (ko) * 2004-11-19 2006-05-24 주식회사 일리시스 자동화된 360°파노라마 이미지 생성 방법
CN103163146A (zh) * 2011-12-13 2013-06-19 东友精细化工有限公司 振动噪声校正用缺陷检查装置
CN107203965A (zh) * 2016-03-18 2017-09-26 中国科学院宁波材料技术与工程研究所 一种基于多通道图像融合的全景图像拼接方法
CN107403408A (zh) * 2016-05-18 2017-11-28 苏州灵目电子科技有限公司 一种双鱼眼图像拼接全景图像接缝融合方法
CN106303283A (zh) * 2016-08-15 2017-01-04 Tcl集团股份有限公司 一种基于鱼眼摄像头的全景图像合成方法及系统
CN106373091A (zh) * 2016-09-05 2017-02-01 山东省科学院自动化研究所 全景泊车中鸟瞰图像的自动拼接方法、系统及车辆
CN106815805A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 基于Bayer图像的快速畸变校正方法
CN108734651A (zh) * 2017-04-19 2018-11-02 睿致科技股份有限公司 图像拼接方法及其图像拼接装置
CN110276714A (zh) * 2018-03-16 2019-09-24 虹软科技股份有限公司 快速扫描式全景图图像合成方法及装置
CN109361855A (zh) * 2018-10-24 2019-02-19 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪丹.《鱼眼图像全景拼接技术的研究与实现》.《信息科技》.2018,(第第06期期),全文. *

Also Published As

Publication number Publication date
CN111161148A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
WO2021227359A1 (zh) 一种无人机投影方法、装置、设备及存储介质
WO2021227360A1 (zh) 一种交互式视频投影方法、装置、设备及存储介质
US11663733B2 (en) Depth determination for images captured with a moving camera and representing moving features
CN109167924B (zh) 基于混合相机的视频成像方法、系统、设备及存储介质
CN112311965B (zh) 虚拟拍摄方法、装置、系统及存储介质
US20160301868A1 (en) Automated generation of panning shots
US11282232B2 (en) Camera calibration using depth data
US9892488B1 (en) Multi-camera frame stitching
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US10013761B2 (en) Automatic orientation estimation of camera system relative to vehicle
WO2010028559A1 (zh) 图像拼接方法及装置
CN111105367B (zh) 人脸畸变校正方法、装置、电子设备及存储介质
CN110099220B (zh) 一种全景拼接方法及装置
US11812154B2 (en) Method, apparatus and system for video processing
CN111432119A (zh) 图像拍摄方法、装置、计算机可读存储介质及电子设备
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN111294580B (zh) 基于gpu的摄像头视频投影方法、装置、设备及存储介质
CN111325792A (zh) 用于确定相机位姿的方法、装置、设备和介质
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
US20220405968A1 (en) Method, apparatus and system for image processing
WO2022166868A1 (zh) 漫游视图的生成方法、装置、设备和存储介质
CN111161148B (zh) 一种全景图像生成方法、装置、设备和存储介质
CN113132708B (zh) 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
CN107993253B (zh) 目标跟踪方法及装置
CN115170395A (zh) 全景图像拼接方法、装置、电子设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant