CN107967666B - 一种全景图像生成方法及装置 - Google Patents

一种全景图像生成方法及装置 Download PDF

Info

Publication number
CN107967666B
CN107967666B CN201711098923.5A CN201711098923A CN107967666B CN 107967666 B CN107967666 B CN 107967666B CN 201711098923 A CN201711098923 A CN 201711098923A CN 107967666 B CN107967666 B CN 107967666B
Authority
CN
China
Prior art keywords
image
plane
images
central point
spherical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711098923.5A
Other languages
English (en)
Other versions
CN107967666A (zh
Inventor
秦川
蒙诚哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201711098923.5A priority Critical patent/CN107967666B/zh
Publication of CN107967666A publication Critical patent/CN107967666A/zh
Priority to EP18876495.5A priority patent/EP3692495B1/en
Priority to PCT/CN2018/114297 priority patent/WO2019091391A1/en
Priority to US16/870,945 priority patent/US11551330B2/en
Application granted granted Critical
Publication of CN107967666B publication Critical patent/CN107967666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明公开一种全景图像生成方法及装置，该方法包括：获取两幅平面图像，所述两幅平面图像是由双目全景设备的两个成像装置分别对目标物体进行拍摄得到的；以每个平面图像的中心点进行插值变形，得到变形后的两幅平面矩形图像；将变形后的两幅平面矩形图像的两个第一长边进行拼接融合，其中，所述两个第一长边的方向相同；将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像。该方法用以解决现有图像拼接技术得到全景图像存在明显的拼缝的问题。

Description

一种全景图像生成方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种全景图像生成方法及装置。
背景技术
目前双目全景摄影设备如图1所示，是由前后组装的两个成像装置组成的。每个成像装置至少包括感光板和镜头。双目全景摄影设备经过成像之后，会输出采集图像。图像一般是黑色背景下呈现两个圆形图像，圆形图像即摄像内容。双目全景摄影设备对圆形图像进行处理之前，先对圆形图像进行空间位置标定，一般第一成像装置的第一方向标记为F，把上、下、左、右分别标记为(N、S、W、E)，相反方向标记为B，B也就是第二成像装置所朝向的方向，如图2所示。
目前双目全景摄影设备对圆形图像的拼接处理方法是差值展开为两个长宽比例为1：1的正方形。然后，将两个正方形并排拼接融合得到拼接后图像，如图3所示。原有技术的拼缝是竖型的，在由平面图合成球面图时候，平面图的上下两个地方像素会被压缩，这样会导致前面的融合区域宽度压缩。因此合成球面图压缩的地方附近融合区域依旧留有一条明显的拼缝。
发明内容
本发明实施例提供一种全景图像生成方法及装置，用以解决现有图像拼接技术得到全景图像存在明显的拼缝的问题。
本发明方法包括一种全景图像生成方法，该方法包括：获取两幅平面图像，所述两幅平面图像是由双目全景设备的两个成像装置分别对目标物体进行拍摄得到的；
以每个平面图像的中心点进行插值变形，得到变形后的两幅平面矩形图像；
将变形后的两幅平面矩形图像的两个第一长边进行拼接融合，其中，所述两个第一长边的方向相同；
将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像。
基于同样的发明构思，本发明实施例还提供一种全景图像生成装置，该装置包括：
获取单元，用于获取两幅平面图像，所述两幅平面图像是由双目全景设备的两个成像装置分别对目标物体进行拍摄得到的；
插值单元，用于以每个平面图像的中心点进行插值变形，得到变形后的两幅平面矩形图像；
拼接单元，用于将变形后的两幅平面矩形图像的两个第一长边进行拼接融合，其中，所述两个第一长边的方向相同；
生成单元，用于将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像。
本发明实施例中双目全景设备拍摄得到圆形图像插值展开为上下两个矩形图像部分。因为上下两个矩形图像的像素比较接近所以可以融合，原先的圆形图像的画面中心作为拼接后矩形图像的顶部和底部，拼接区域为原先的圆形图像西、北、东、南四个方向，与现有技术相比，本发明实施例调整了拼缝在合成平面图的位置(由两个竖带变为一个中间的横带)，这样做的好处是，拼缝所处的位置都在球面图中间区域(类似于赤道附近)，合成球面图时候不会受到像素压缩，故按照这样图像处理后生成的球面全景图像拼接处的拼缝并不明显，保持平面图的融合效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中的一种双目全景摄影设备结构示意图；
图2为现有技术中的一种标定图像空间位置的方法示意图；
图3为现有技术中的一种图像拼接效果示意图；
图4为本发明实施例的提供一种全景图像生成方法流程示意图；
图5为本发明实施例的提供一种图像插值方法示意图；
图6为本发明实施例的提供一种图像拼接方法示意图；
图7和图8为本发明实施例的提供一种全景图像生成方法示意图；
图9为本发明实施例的提供一种拼接效果对比示意图；
图10为本发明实施例提供的一种全景图像生成装置示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
从背景技术可知，现有的图像拼接技术会存在明显的缝隙，之所以产生缝隙，原因是将两个正方形并排拼接融合得到一个矩形，再将这个矩形映射到球面坐标系中，得到球面全景图像，由于N端，S端附近矩形图像的像素点将受到压缩，所以N端，S端附近的融合宽度逐渐收窄为零。由于融合效果受到融合宽度的影响，导致现有技术在球面的N端，S端附近融合宽度不够，生成的球面全景图像在极点附近缝隙会变的很锐利。
为了解决这一问题，本发明实施例提供一种全景图像生成方法，参见图4所示的流程示意图，具体地实现方法包括：
步骤S101，获取两幅平面图像，所述两幅平面图像是由双目全景设备的两个成像装置分别对目标物体进行拍摄得到的。
步骤S102，以每个平面图像的中心点进行插值变形，得到变形后的两幅平面矩形图像。
步骤S103，将变形后的两幅平面矩形图像的两个第一长边进行拼接融合，其中，所述两个第一长边的方向相同。
步骤S104，将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像。
其中，双目全景设备如图1所示，两个成像装置前后设置，且镜面背对背设置，所述第一成像装置和第二成像装置的视野范围均大于180度，这样第一成像装置和第二成像装置生成的在各自的图像范围内尚有冗余，更加有利于图像拼接时的处理。其中，每个成像装置至少包括感光板、镜头等硬件结构。通过图像拼接的方式可以将两个成像装置所拍摄的图像进行拼接，使两个成像装置视野范围内的所有景象被融合成一个全景图像。
优选地，所述第一成像装置和第二成像装置的视野范围均大于180度小于等于220度。因为当视野范围大于220度时，就会存在较大的浪费现象，所以一般控制在这一范围。
在执行步骤102之前，需要对获取的两幅平面图像进行方向标定。具体地标定方法一般是，如图1所示，找一个带坐标架的物体，用陀螺仪定垂线(也就是南北方向)和水平面。同时在水平面上定出互相垂直的两个方向，即东西方向和前后方向。然后，利用陀螺仪，确定目标物体相对于双目全景设备的方向。接着，a)根据坐标架，标定前相机所拍摄的目标物体的平面图像正中心为正方向，也就是F方向，其次确定平面图像的上下左右分别是N、S、W、E；b)标定前相机所拍摄的目标物体的平面图像正中心为反方向，也就是B方向，其次确定平面图像的上下左右分别是N、S、E、W。
进一步地，确定出两幅平面图像的空间位置关系之后，就可以对这两幅图像进行插值变形，插值变形方法主要是以每个平面图像的中心点进行插值变形，将变形后的各个部分扩展成矩形图像。例如，假设第一成像装置和第二成像装置拍摄得到的两幅图像为圆形图像，则以圆心为中心点进行插值变形，如图5所示，将插值之后的各个扇形图像并行排列，最终扩展成一个比例为2:0.5的平面矩形图像。两幅平面图像插值得到两幅平面矩形图像，其中第一平面矩形图像的第一长边对应方向F，第二长边对应方向西、北、东、南四个方向，同样的，第二平面矩形图像的第一长边对应方向B，第二长边对应方向北、西、东、南四个方向。
接着，如图6所示，将插值变形得到的两个矩形上下放置组成待拼接图像，其中待拼接图像的顶边对应方向F，底边对应方向B，待拼接图像中间分别为第一矩形图像的第二长边和第二矩形图像的第二长边，两个第二长边的西、北、东、南四个方向对齐。然后对两个第二长边进行融合，这样融合区域就处在图像的中部，而不是图像上部和下部两个拉伸的区域。
进一步地，确定平面坐标系与球面坐标系之间的映射关系；将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像；其中，拼接融合后的平面矩形图像的两个第一长边对应的拼缝处的像素点被贴在球面坐标系的XY平面所在的圆弧表面；将贴在球面的全景图像旋转90度，生成所述目标物体的球面全景图像。
也就是说，将融合后的平面矩形图像贴在球面上，具体的方法如图7所示，将融合区域(其中A，B，C三个圆圈之间的部分表示图像的拼接融合区域)，即西、北、东、南四个方向对应的融合区域，横方向按照在球的xy平面沿着球面圆弧贴；竖方向沿着z轴方向贴到球面上，呈现出球面全景图像。
进一步地，将球绕东西方向所在的轴旋转90度，如图8所示，这样得到球面图像F，B，W，N，S，E六个方向与成像装置拍摄定标方向相同，因此不会对用户观看图片造成影响。
因为上下两个矩形图像的像素比较接近所以可以融合，原先的圆形图像的画面中心作为拼接后矩形图像的顶部和底部，拼接区域为原先的圆形图像西、北、东、南四个方向，拼接融合区域只有一个，且本发明实施例调整了拼缝在合成平面图的位置(由两个竖带变为一个中间的横带)，这样做的好处是，拼缝所处的位置都在球面图中间区域(类似于赤道附近)，合成球面图时候不会受到像素压缩。
如图9所示，左侧是按照现有技术生成的全景图像，右侧是按照本发明实施例提供的拼接方法得到的全景图像，明显可以看出，本发明实施例提供的拼接方法得到的全景图像的接缝处变得不那么锐利。
基于相同的技术构思，本发明实施例还提供一种全景图像生成装置，该装置可执行上述方法实施例。本发明实施例提供的装置如图10所示，包括：获取单元201、插值单元202、拼接融合单元203、生成单元204，其中：
获取单元201，用于获取两幅平面图像，所述两幅平面图像是由双目全景设备的两个成像装置分别对目标物体进行拍摄得到的；
插值单元202，用于以每个平面图像的中心点进行插值变形，得到变形后的两幅平面矩形图像；
拼接单元203，用于将变形后的两幅平面矩形图像的两个第一长边进行拼接融合，其中，所述两个第一长边的方向相同；
生成单元204，用于将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像。
进一步，该装置还包括：标定单元205，用于根据目标物体相对于所述双目全景设备的方向，在平面坐标系中标定第一平面图像和第二平面图像的空间位置参数；其中，所述第一平面图像的中心点对应正方向，所述正方向指的靠近所述目标物体的所述第一成像装置的镜面朝向，所述第一平面图像的上下左右分别对应北、南、西、东，所述第二圆形图像的中心点对应反方向，所述反方向指的远离所述目标物体的所述第二成像装置的镜面朝向，所述第二圆形图像的上下左右分别对应北、南、东、西，所述第一成像装置的镜面与所述第二成像装置的镜面背对背设置；
所述插值单元202具体用于：以第一平面图像的中心点进行插值变形，得到变形后的第一平面矩形图像，所述第一平面矩形图像的第一长边对应正方向，第二长边对应西、北、东、南四个方向；以第二平面图像的中心点进行插值变形，得到变形后的第二平面矩形图像，所述第二平面矩形图像的第一长边对应反方向，第二长边对应北、西、东、南四个方向。
进一步地，所述生成单元203具体用于：确定平面坐标系与球面坐标系之间的映射关系；
将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像；其中，拼接融合后的平面矩形图像的两个第一长边对应的拼缝处的像素点被贴在球面坐标系的XY平面所在的圆弧表面；
将贴在球面的全景图像旋转90度，生成所述目标物体的球面全景图像。
进一步地，所述两幅平面矩形图像的长宽比例为2:0.5。
进一步地，所述第一成像装置和第二成像装置的视野范围均大于180度。
综上所述，本发明实施例中双目全景设备拍摄得到圆形图像插值展开为上下两个矩形图像部分。因为上下两个矩形图像的像素比较接近所以可以融合，原先的圆形图像的画面中心作为拼接后矩形图像的顶部和底部，拼接区域为原先的圆形图像西、北、东、南四个方向，因此拼接融合区域只有一个，与现有技术相比，本发明实施例调整了拼缝在合成平面图的位置(由两个竖带变为一个中间的横带)，这样做的好处是，拼缝所处的位置都在球面图中间区域(类似于赤道附近)，合成球面图时候不会受到像素压缩，故按照这样图像处理后生成的球面全景图像拼接处的拼缝并不明显，保持平面图的融合效果。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种全景图像生成方法，其特征在于，该方法包括：
获取两幅平面图像，所述两幅平面图像是由双目全景设备的两个成像装置分别对目标物体进行拍摄得到的；
以每个平面图像的中心点进行插值变形，得到变形后的两幅平面矩形图像；
将变形后的两幅平面矩形图像的两个第一长边进行拼接融合，其中，所述两个第一长边的方向相同；
将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像；
所述以平面图像的中心点进行插值变形，得到变形后的平面矩形图像，包括：以所述平面图像的中心点进行插值变形，得到所述插值变形后的各个扇形图像，将所述各个扇形图像并行排列后扩展成所述平面矩形图像；
所述以每个平面图像的中心点进行插值变形之前，还包括：
根据目标物体相对于所述双目全景设备的方向，在平面坐标系中标定第一平面图像和第二平面图像的空间位置参数；其中，所述第一平面图像的中心点对应正方向，所述正方向指的靠近所述目标物体的所述第一成像装置的镜面朝向，所述第一平面图像的上下左右分别对应北、南、西、东，所述第二圆形图像的中心点对应反方向，所述反方向指的远离所述目标物体的所述第二成像装置的镜面朝向，所述第二圆形图像的上下左右分别对应北、南、东、西，所述第一成像装置的镜面与所述第二成像装置的镜面背对背设置；
所述以每个平面图像的中心点进行插值变形，得到变形后的两幅平面矩形图像，包括：
以第一平面图像的中心点进行插值变形，得到变形后的第一平面矩形图像，所述第一平面矩形图像的第一长边对应正方向，第二长边对应西、北、东、南四个方向；
以第二平面图像的中心点进行插值变形，得到变形后的第二平面矩形图像，所述第二平面矩形图像的第一长边对应反方向，第二长边对应西、北、东、南四个方向；
所述两幅平面矩形图像的长宽比例为2:0.5。
2.如权利要求1所述的方法，其特征在于，所述将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像，包括：
确定平面坐标系与球面坐标系之间的映射关系；
将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像；其中，拼接融合后的平面矩形图像的两个第一长边对应的拼缝处的像素点被贴在球心附近的圆弧上，所述圆弧的水平投影为直径最大的圆；
将贴在球面的全景图像旋转90度，生成所述目标物体的球面全景图像。
3.如权利要求1所述的方法，其特征在于，所述第一成像装置和第二成像装置的视野范围均大于180度。
4.一种全景图像生成装置，其特征在于，该装置包括：获取单元，用于获取两幅平面图像，所述两幅平面图像是由双目全景设备的两个成像装置分别对目标物体进行拍摄得到的；
插值单元，用于以每个平面图像的中心点进行插值变形，得到变形后的两幅平面矩形图像；
拼接融合单元，用于将变形后的两幅平面矩形图像的两个第一长边进行拼接融合，其中，所述两个第一长边的方向相同；
生成单元，用于将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像；
所述插值单元，具体用于：以所述平面图像的中心点进行插值变形，得到所述插值变形后的各个扇形图像，将所述各个扇形图像并行排列后扩展成所述平面矩形图像；
还包括：
标定单元，用于根据目标物体相对于所述双目全景设备的方向，在平面坐标系中标定第一平面图像和第二平面图像的空间位置参数；其中，所述第一平面图像的中心点对应正方向，所述正方向指的靠近所述目标物体的所述第一成像装置的镜面朝向，所述第一平面图像的上下左右分别对应北、南、西、东，所述第二圆形图像的中心点对应反方向，所述反方向指的远离所述目标物体的所述第二成像装置的镜面朝向，所述第二圆形图像的上下左右分别对应北、南、东、西，所述第一成像装置的镜面与所述第二成像装置的镜面背对背设置；
所述插值单元具体用于：以第一平面图像的中心点进行插值变形，得到变形后的第一平面矩形图像，所述第一平面矩形图像的第一长边对应正方向，第二长边对应西、北、东、南四个方向；以第二平面图像的中心点进行插值变形，得到变形后的第二平面矩形图像，所述第二平面矩形图像的第一长边对应反方向，第二长边对应西、北、东、南四个方向；
所述两幅平面矩形图像的长宽比例为2:0.5。
5.如权利要求4所述的装置，其特征在于，所述生成单元具体用于：
确定平面坐标系与球面坐标系之间的映射关系；
将拼接融合后的平面矩形图像映射到球面坐标系中，生成球面全景图像；其中，拼接融合后的平面矩形图像的两个第一长边对应的拼缝处的像素点被贴在球心附近的圆弧上，所述圆弧的水平投影为直径最大的圆；
将贴在球面的全景图像旋转90度，生成所述目标物体的球面全景图像。
6.如权利要求4所述的装置，其特征在于，所述第一成像装置和第二成像装置的视野范围均大于180度。
7.一种终端设备，其特征在于，所述终端设备包括存储器和处理器，其中：
所述存储器用于存储指令；
所述处理器用于根据执行所述存储器存储的指令，当所述处理器执行所述存储器存储的指令时，所述终端设备用于执行权利要求1～3任一项所述的方法。
8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1～3任一项所述的方法。
CN201711098923.5A 2017-11-09 2017-11-09 一种全景图像生成方法及装置 Active CN107967666B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711098923.5A CN107967666B (zh) 2017-11-09 2017-11-09 一种全景图像生成方法及装置
EP18876495.5A EP3692495B1 (en) 2017-11-09 2018-11-07 Systems and methods for generating panorama image
PCT/CN2018/114297 WO2019091391A1 (en) 2017-11-09 2018-11-07 Systems and methods for generating panorama image
US16/870,945 US11551330B2 (en) 2017-11-09 2020-05-09 Systems and methods for generating panorama image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711098923.5A CN107967666B (zh) 2017-11-09 2017-11-09 一种全景图像生成方法及装置

Publications (2)

Publication Number Publication Date
CN107967666A CN107967666A (zh) 2018-04-27
CN107967666B true CN107967666B (zh) 2020-12-08

Family

ID=62000028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711098923.5A Active CN107967666B (zh) 2017-11-09 2017-11-09 一种全景图像生成方法及装置

Country Status (4)

Country Link
US (1) US11551330B2 (zh)
EP (1) EP3692495B1 (zh)
CN (1) CN107967666B (zh)
WO (1) WO2019091391A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967666B (zh) * 2017-11-09 2020-12-08 浙江大华技术股份有限公司 一种全景图像生成方法及装置
US10999527B1 (en) 2020-02-14 2021-05-04 Gopro, Inc. Generation of enhanced panoramic visual content
CN111798374A (zh) * 2020-06-24 2020-10-20 浙江大华技术股份有限公司 一种图像拼接方法、装置、设备及介质
CN111813361A (zh) * 2020-07-06 2020-10-23 广东智芯光电科技有限公司 一种立体图像呈现方法及系统
CN114268783A (zh) * 2022-01-04 2022-04-01 深圳星月辰网络科技有限公司 一种基于云服务的3d图像处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050049788A1 (en) * 2003-08-28 2005-03-03 Siemens Aktiengesellschaft Moving vehicle in cuboidal panorama
CN106357976A (zh) * 2016-08-30 2017-01-25 深圳市保千里电子有限公司 一种全方位全景图像生成的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710932B (zh) 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置
CN103247020A (zh) * 2012-02-03 2013-08-14 苏州科泽数字技术有限公司 一种基于径向特征的鱼眼图像展开方法
JP2014225108A (ja) 2013-05-16 2014-12-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
GB2524249B (en) * 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
JP5920507B1 (ja) * 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
CN106303283A (zh) * 2016-08-15 2017-01-04 Tcl集团股份有限公司 一种基于鱼眼摄像头的全景图像合成方法及系统
CN107169926A (zh) * 2017-04-26 2017-09-15 腾讯科技（深圳）有限公司 图像处理方法和装置
CN107967666B (zh) 2017-11-09 2020-12-08 浙江大华技术股份有限公司 一种全景图像生成方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050049788A1 (en) * 2003-08-28 2005-03-03 Siemens Aktiengesellschaft Moving vehicle in cuboidal panorama
CN106357976A (zh) * 2016-08-30 2017-01-25 深圳市保千里电子有限公司 一种全方位全景图像生成的方法和装置

Also Published As

Publication number Publication date
EP3692495A4 (en) 2020-11-04
EP3692495A1 (en) 2020-08-12
US20200273149A1 (en) 2020-08-27
US11551330B2 (en) 2023-01-10
CN107967666A (zh) 2018-04-27
WO2019091391A1 (en) 2019-05-16
EP3692495B1 (en) 2023-07-19

Similar Documents

Publication Publication Date Title
CN107967666B (zh) 一种全景图像生成方法及装置
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
CN109547766B (zh) 一种全景图像生成方法及装置
CN109272478B (zh) 一种荧幕投影方法和装置及相关设备
JP6515985B2 (ja) 三次元画像結合方法及び三次元画像結合装置
CN106934772B (zh) 一种全景图像或视频的水平校准方法、系统及便携式终端
KR102096730B1 (ko) 이미지 디스플레이 방법, 곡면을 가지는 불규칙 스크린을 제조하기 위한 방법 및 헤드-장착 디스플레이 장치
JP6263623B2 (ja) 画像生成方法及びデュアルレンズ装置
CN107993276B (zh) 一种全景图像的生成方法及装置
CN110191326B (zh) 一种投影系统分辨率扩展方法、装置和投影系统
US20160117820A1 (en) Image registration method
KR101912396B1 (ko) 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법
CN108846796B (zh) 图像拼接方法及电子设备
EP2820593A1 (en) Method and system for adaptive perspective correction of ultra wide-angle lens images
CN108200360A (zh) 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN107563959B (zh) 全景图生成方法及装置
EP3606059B1 (en) Projector calibration method and projection system using the same
CN113808220A (zh) 双目摄像机的标定方法、系统、电子设备和存储介质
KR20140090775A (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
CN103065318A (zh) 多摄像机全景系统的曲面投影方法及装置
CN110782507A (zh) 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备
TWI443604B (zh) 影像校正方法及影像校正裝置
CN111866523A (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN108765582B (zh) 一种全景图片显示方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant