CN114390262A - 用于拼接三维球面全景影像的方法及电子装置 - Google Patents

用于拼接三维球面全景影像的方法及电子装置 Download PDF

Info

Publication number
CN114390262A
CN114390262A CN202011129639.1A CN202011129639A CN114390262A CN 114390262 A CN114390262 A CN 114390262A CN 202011129639 A CN202011129639 A CN 202011129639A CN 114390262 A CN114390262 A CN 114390262A
Authority
CN
China
Prior art keywords
image
cylindrical projection
equidistant
enhanced
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011129639.1A
Other languages
English (en)
Inventor
陈晏谊
吴怀恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coretronic Corp
Original Assignee
Coretronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coretronic Corp filed Critical Coretronic Corp
Priority to CN202011129639.1A priority Critical patent/CN114390262A/zh
Priority to US17/493,846 priority patent/US11665328B2/en
Publication of CN114390262A publication Critical patent/CN114390262A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明提出一种拼接三维球面全景影像的方法及电子装置。方法包含：取得第一影像及第二影像；将第一影像及第二影像投影至虚拟球平面以形成第一等距圆柱投影图及第二等距圆柱投影图；复制第一等距圆柱投影图以产生第三等距圆柱投影图，复制第二等距圆柱投影图以产生第四等距圆柱投影图；对第三等距圆柱投影图及第四等距圆柱投影图进行影像增强以产生第一增强等距圆柱投影图及第二增强等距圆柱投影图；对第一增强等距圆柱投影图及第二增强等距圆柱投影图计算光流；根据第一等距圆柱投影图、第二等距圆柱投影图及光流产生三维球面全景影像。本发明的拼接三维球面全景影像的方法及电子装置可将由径向设计的全景相机输出的影像拼接成三维球面全景影像。

Description

用于拼接三维球面全景影像的方法及电子装置
技术领域
本发明是有关于一种影像处理技术，且特别是有关于一种用于拼接三维球面全景影像的方法及电子装置。
背景技术
球面全景影像(spherical panorama)拼接技术可通过结合多张对应于相同区域的影像而产生全视野影像(具有360度的水平视角以及180度的垂直视角的影像)的方法。二维球面全景影像技术被应用于诸如摄影、驾驶辅助系统、监控系统、地图街景检视以及线上赏屋系统等领域。近年来，由于图形处理器(graphic processing unit，GPU)的进步以及虚拟实境技术(virtual reality)与头戴式显示器的推广，三维球面全景影像技术也快速地发展。
当使用者想产生特定区域的三维球面全景影像时，使用者需通过多个镜头以同时撷取不同视角的多张影像，再利用影像处理技术以将所述多张影像拼接为三维球面全景影像。
图1绘示目前在三维球面全景影像技术上会采用的基于切向设计(tangentialdesign)的全景相机(panoramic camera)的镜头排列的示意图。基于切向设计的全景相机可包含多对镜头。每对镜头可包含设置在同一平面的两个镜头。举例来说，基于切向设计的全景相机可包含设置在虚拟多边形的其中一边的镜头11和镜头12，镜头11和镜头12可分别用于撷取对应于左眼的影像以及对应于右眼的影像。进一步而言，基于切向设计的全景相机还可包含设置在虚拟多边形的其中另一边的镜头11’和镜头12’，而镜头11’和镜头12’可分别用于撷取对应于左眼的影像以及对应于右眼的影像。当基于切向设计的全景相机在制作三维球面全景影像时，所述基于切向设计的全景相机可通过特征匹配的方式，例如针对左眼影像，找出由镜头11撷取的影像以及由镜头11’撷取的影像之间的重复区域的特征点以进行匹配，以及例如针对右眼影像，找出由镜头12撷取的影像以及由镜头12’撷取的影像之间的重复区域的特征点以进行匹配，并且根据匹配好的特征点以分别将扭曲后的两个影像拼接成三维球面全景影像。
“背景技术”段落只是用来帮助了解本发明内容，因此在“背景技术”段落所揭露的内容可能包含一些没有构成所属技术领域中的技术人员所知道的已知技术。在“背景技术”段落所揭露的内容，不代表该内容或者本发明一个或多个实施例所要解决的问题，在本发明申请前已被所属技术领域中的技术人员所知晓或认知。
发明内容
本发明提供一种用于拼接三维球面全景影像的方法及电子装置，可将由径向设计的全景相机所输出的影像拼接成三维球面全景影像。
本发明的其他目的和优点可以从本发明所揭露的技术特征中得到进一步的了解。
为达上述的一或部分或全部目的或是其他目的，本发明的一实施例提出一种用于拼接三维球面全景影像的电子装置，包括处理器、储存媒体以及收发器。储存媒体储存多个模块。处理器耦接储存媒体以及收发器，并且存取和执行多个模块，其中多个模块包括资料收集模块、校正模块、影像前处理模块、光流计算模块以及影像后处理模块。资料收集模块通过收发器以取得第一影像以及第二影像。校正模块将第一影像及第二影像投影至虚拟球平面，以分别形成第一等距圆柱投影图及第二等距圆柱投影图。影像前处理模块复制第一等距圆柱投影图以产生第三等距圆柱投影图，复制第二等距圆柱投影图以产生第四等距圆柱投影图，并且对第三等距圆柱投影图以及第四等距圆柱投影图进行影像增强以分别产生第一增强等距圆柱投影图以及第二增强等距圆柱投影图。光流计算模块针对第一增强等距圆柱投影图以及第二增强等距圆柱投影图计算光流。影像后处理模块根据第一等距圆柱投影图、第二等距圆柱投影图以及光流来产生三维球面全景影像。
为达上述的一或部分或全部目的或是其他目的，本发明的一实施例提出一种用于拼接三维球面全景影像的方法，包括：取得第一影像以及第二影像；将第一影像及第二影像投影至虚拟球平面，以分别形成第一等距圆柱投影图及第二等距圆柱投影图；复制第一等距圆柱投影图以产生第三等距圆柱投影图，并且复制第二等距圆柱投影图以产生第四等距圆柱投影图；对第三等距圆柱投影图以及第四等距圆柱投影图进行影像增强以分别产生第一增强等距圆柱投影图以及第二增强等距圆柱投影图；针对第一增强等距圆柱投影图以及第二增强等距圆柱投影图计算光流；以及根据第一等距圆柱投影图、第二等距圆柱投影图以及光流来产生三维球面全景影像。
基于上述，本发明可用于拼接基于径向设计的全景相机的三维球面全景影像，减少拼接影像发生鬼影或物体扭曲的问题。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1绘示基于切向设计的全景相机的镜头排列的示意图。
图2绘示基于径向设计的全景相机的镜头排列的示意图。
图3根据本发明的一实施例绘示一种用于拼接三维球面全景影像的电子装置的示意图。
图4根据本发明的一实施例绘示三维球面全景影像的比较的示意图。
图5根据本发明的一实施例绘示一种用于拼接三维球面全景影像的方法的流程图。
具体实施方式
有关本发明的前述及其他技术内容、特点与功效，在以下配合参考附图的一较佳实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本发明。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件/步骤，代表相同或类似部件。
图2绘示基于径向设计(radial design)的全景相机的镜头排列的示意图。基于径向设计的全景相机可包含多个镜头，并且所述多个镜头可均匀地设置在虚拟圆形上，并且每一个镜头的方向正交于虚拟圆形的切线。举例来说，基于径向设计的全景相机可包含镜头21以及与镜头21相邻的镜头22。镜头21的方向25可正交于虚拟圆形的切线24，并且镜头22的方向27可正交于所述虚拟圆形的切线26，其中镜头21可用以撷取方向25的影像，并且镜头22可用以撷取方向27的影像。相较于基于切向设计的全景相机，基于径向设计的全景相机拥有较短的盲区(dead zone)，因此，基于径向设计的全景相机可用以撷取较近的物体的影像。
基于径向设计的全景相机20的每一个镜头仅能用以撷取对应方向的影像。举例来说，镜头21仅能用以撷取方向25的影像，并且镜头22仅能用以撷取方向27的影像。当需要各个镜头均无法撷取的特定方向的影像进行三维球面全景影像的拼接时，全景相机20需利用内插的方式取得对应于所述特定方向的内插影像(或虚拟影像)。举例来说，当需要取得方向28的影像以进行三维球面全景影像的拼接时，全景相机20需取得方向25的影像的光流(optical flow)以及方向27的影像的光流。接着，全景相机20可对方向25的影像的光流以及方向27的影像的光流进行内插运算以产生方向28的内插影像，并使用所产生的内插影像进行三维球面全景影像的拼接。因此，为了更加准确地产生所述内插影像，全景相机20需准确地估计由镜头撷取的影像的光流。
进一步而言，影像中的前景与背景的视差变化或相邻影像无法满足亮度恒定假设等因素都会影响光流的估计结果，从而导致内插影像出现鬼影(ghosting)或物体扭曲的现象。为了更加准确地产生内插影像以拼接出三维球面全景影像，本发明提出一种电子装置。图3根据本发明的一实施例绘示一种用于拼接三维球面全景影像的电子装置100的示意图。电子装置100例如是全景相机(panoramic camera)。电子装置100可用于处理基于径向设计的全景相机所撷取的影像以产生三维球面全景影像。电子装置100可包含处理器110、储存媒体120以及收发器130。
处理器110例如是中央处理单元(central processing unit，CPU)，或是其他可编程的一般用途或特殊用途的微控制单元(micro control unit，MCU)、微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可编程控制器、特殊应用集成电路(application specific integrated circuit，ASIC)、图形处理器(graphics processing unit，GPU)、影像信号处理器(image signal processor，ISP)、影像处理单元(image processing unit，IPU)、算数逻辑单元(arithmetic logic unit，ALU)、复杂可编程逻辑装置(complex programmable logic device，CPLD)、现场可编程逻辑闸阵列(field programmable gate array，FPGA)或其他类似元件或上述元件的组合。处理器110可耦接至储存媒体120以及收发器130，并且存取和执行储存于储存媒体120中的多个模块和各种应用程序。
储存媒体120例如是任何型态的固定式或可移动式的随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬碟(hard disk drive，HDD)、固态硬碟(solid state drive，SSD)或类似元件或上述元件的组合，而用于储存可由处理器110执行的多个模块或各种应用程序。在本实施例中，储存媒体120可储存包括资料收集模块121、校正模块122、影像前处理模块123、光流计算模块124以及影像后处理模块125等多个模块，其功能将于后续说明。
收发器130以无线或有线的方式传送及接收信号。收发器130还可以执行例如低噪声放大、阻抗匹配、混频、向上或向下频率转换、滤波、放大以及类似的操作。
在一实施例中，电子装置100可以是全景相机。电子装置100可进一步包含第一镜头141以及第二镜头142。第一镜头141可通讯连接至收发器130，以将第一镜头141撷取的影像传送至收发器130。第二镜头142可通讯连接至收发器130，以将第二镜头142撷取的影像传送至收发器130。第一镜头141可被设置在虚拟圆形的弧上，并且第一镜头141的第一方向可正交于虚拟圆形的第一切线。第二镜头142可被设置在虚拟圆形的弧上，并且第二镜头142的第二方向可正交于虚拟圆形的第二切线。第一镜头141、第二镜头142以及虚拟圆形之间的位置关系可被配置为相似于镜头21、镜头22以及虚拟圆形之间的位置关系，如图2所示。
资料收集模块121可通过收发器130取得第一影像以及第二影像。在一实施例中，第一影像以及第二影像可分别来自于第一镜头141以及第二镜头142。
校正模块122可将第一影像以及第二影像投影至虚拟球平面，以分别形成第一等距圆柱投影图(equirectangular panorama)(例如是等距长方圆柱图)以及第二等距圆柱投影图(例如是等距长方圆柱图)。相较于第一影像或第二影像，第一等距圆柱投影图或第二等距圆柱投影图更符合人眼观看实际场景的视觉体验。
在一实施例中，校正模块122可基于内部参数或外部参数来产生对应于第一影像的第一等距圆柱投影图以及对应于第二影像的第二等距圆柱投影图。不同的影像撷取装置的镜头焦距、镜心位置、镜头间的相对位置等参数可能不相同。为了消除影像撷取装置对影像造成的影响，校正模块122可通过收发器130取得用以撷取第一影像或第二影像的影像撷取装置的内部参数和外部参数，并将内部参数和外部参数预存于储存媒体120中。而后，校正模块122可基于内部参数和外部参数来校正对应于第一影像的第一等距圆柱投影图及对应于第二影像的第二等距圆柱投影图，其中所述内部参数可包含透过相机校正程序后所获得的镜头焦距、镜心位置等，并且所述外部参数可包含镜头间的相对位置等，但本发明不限于此。
影像前处理模块123可对第一等距圆柱投影图及第二等距圆柱投影图进行曝光校正和色彩校正，以消除第一等距圆柱投影图或第二等距圆柱投影图的相邻像素之间的亮度差异和色彩差异。在完成曝光校正和色彩校正后，影像前处理模块123可复制第一等距圆柱投影图以产生第三等距圆柱投影图，并可复制第二等距圆柱投影图以产生第四等距圆柱投影图。
影像前处理模块123还可进一步对第三等距圆柱投影图以及第四等距圆柱投影图进行影像增强(image enhancement)以分别产生第一增强等距圆柱投影图以及第二增强等距圆柱投影图。影像增强可增强等距圆柱投影图中的特征点之间的差异，借以使特征点更加明显。
光流计算模块124可针对第一增强等距圆柱投影图以及第二增强等距圆柱投影图计算光流。光流计算模块124可通过例如深度学习演算法计算对应于第一增强等距圆柱投影图以及第二增强等距圆柱投影图的光流，但本发明不限于此。
在取得光流后，影像后处理模块125可平滑化(smoothen)所述光流。具体来说，影像后处理模块125可将第一增强等距圆柱投影图以及第二增强等距圆柱投影图在二维平面上进行分割，以产生多个分割投影图。影像后处理模块125可借由随机抽样一致法(RANdomSAmple Consensus，RANSAC)，针对所述多个分割投影图产生多个线性转换参数，其中所述多个线性转换参数分别对应于所述多个分割投影图。接着，影像后处理模块125可根据所述多个线性转换参数平滑化光流。影像后处理模块125可将光流分割为多个分割光流，亦即，光流包含多个分割光流，其中所述多个分割光流可分别对应于所述多个分割投影图(或所述多个线性转换参数)。影像后处理模块125可将多个分割光流的每一者与对应的线性转换参数相乘，以取得经平滑化的分割光流。在取得分别对应于多个分割光流的多个经平滑化的分割光流后，影像后处理模块125可将多个经平滑化的分割光流组合成经平滑化的光流。
在完成光流的平滑化后，影像后处理模块125可根据第一等距圆柱投影图、第二等距圆柱投影图以及光流产生三维球面全景影像。影像后处理模块125可对光流进行细化(refining)。具体来说，影像后处理模块125可对光流进行透明混合(alpha blending)以产生细化光流。进一步而言，影像后处理模块125可对未经平滑化的光流以及经平滑化的光流进行透明混合以产生细化光流。
影像后处理模块125可根据第一等距圆柱投影图、第二等距圆柱投影图以及细化光流产生内插影像，并且根据内插影像来产生三维球面全景影像。具体来说，在产生内插影像后，影像后处理模块125可拼接第一等距圆柱投影图(例如：经过曝光校正以及色彩较正后的第一等距圆柱投影图)、第二等距圆柱投影图(例如：经过曝光校正以及色彩较正后的第二等距圆柱投影图)以及内插影像以产生三维球面全景影像。
图4根据本发明的一实施例绘示三维球面全景影像的比较的示意图。影像41与影像42为同一瓷砖地板的三维球面全景影像，其中影像41为根据传统的拼接技术而产生的三维球面全景影像，并且影像42为根据本发明的实施例而产生的三维球面全景影像。相较于影像41，影像42出现较少的鬼影以及物体扭曲现象。
图5根据本发明的一实施例绘示一种用于拼接三维球面全景影像的方法的流程图，其中方法可由如图3所示的电子装置100实施。在步骤S501中，取得第一影像以及第二影像。在步骤S502中，将第一影像及第二影像投影至虚拟球平面，以分别形成第一等距圆柱投影图及第二等距圆柱投影图。在步骤S503中，复制第一等距圆柱投影图以产生第三等距圆柱投影图，并且复制第二等距圆柱投影图以产生第四等距圆柱投影图。在步骤S504中，对第三等距圆柱投影图以及第四等距圆柱投影图进行影像增强以分别产生第一增强等距圆柱投影图以及第二增强等距圆柱投影图。在步骤S505中，针对第一增强等距圆柱投影图以及第二增强等距圆柱投影图计算光流。在步骤S506中，根据第一等距圆柱投影图、第二等距圆柱投影图以及光流来产生三维球面全景影像。
综上所述，本发明可用于拼接基于径向设计的全景相机的三维球面全景影像。本发明可在撷取影像前预先校正内部参数以及外部参数，以更加准确地将影像投影至球平面，产生等距长方圆柱图，并且能够透过影像前处理以使撷取的影像满足色彩和亮度的恒定。根据校正过的影像所计算的光流将更加准确。本发明可对用来产生三维球面全景影像的等距长方圆柱图进行曝光校正和色彩校正，以消除相邻像素之间的亮度和色彩差异。本发明还可利用影像增强的方式突显等距长方圆柱图的特征。根据增强过的影像所计算的光流将更加准确。本发明还可对光流进行平滑化以及细化，以减少根据光流产生的内插影像发生鬼影或物体扭曲的问题。
惟以上所述者，仅为本发明的较佳实施例而已，当不能以此限定本发明实施的范围，即凡依本发明权利要求书及发明内容所作的简单的等效变化与修改，皆仍属本发明专利涵盖的范围内。另外本发明的任一实施例或权利要求不须达成本发明所揭露的全部目的或优点或特点。此外，摘要和发明名称仅是用来辅助专利文件检索之用，并非用来限制本发明的权利范围。此外，本说明书或权利要求书中提及的“第一”、“第二”等用语仅用以命名元件(element)的名称或区别不同实施例或范围，而并非用来限制元件数量上的上限或下限。
附图标记说明：
11、11’、12、12’、21、22:镜头
100:电子装置
110:处理器
120:储存媒体
121:资料收集模块
122:校正模块
123:影像前处理模块
124:光流计算模块
125:影像后处理模块
130:收发器
141:第一镜头
142:第二镜头
24、26:切线
25、27、28:方向
41、42:影像
S501、S502、S503、S504、S505、S506:步骤。

Claims (16)

1.一种用于拼接三维球面全景影像的电子装置，其特征在于，所述电子装置包括收发器、储存媒体以及处理器，其中：
所述储存媒体储存多个模块；以及
所述处理器耦接所述储存媒体以及所述收发器，并且存取和执行所述多个模块，其中所述多个模块包括资料收集模块、校正模块、影像前处理模块、光流计算模块以及影像后处理模块，其中：
所述资料收集模块通过所述收发器以取得第一影像以及第二影像；
所述校正模块将所述第一影像及所述第二影像投影至虚拟球平面，以分别形成第一等距圆柱投影图及第二等距圆柱投影图；
所述影像前处理模块复制所述第一等距圆柱投影图以产生第三等距圆柱投影图，复制所述第二等距圆柱投影图以产生第四等距圆柱投影图，并且对所述第三等距圆柱投影图以及所述第四等距圆柱投影图进行影像增强以分别产生第一增强等距圆柱投影图以及第二增强等距圆柱投影图；
所述光流计算模块针对所述第一增强等距圆柱投影图以及所述第二增强等距圆柱投影图计算光流；以及
所述影像后处理模块根据所述第一等距圆柱投影图、所述第二等距圆柱投影图以及所述光流来产生所述三维球面全景影像。
2.根据权利要求1所述的电子装置，其特征在于，所述影像后处理模块还将所述第一增强等距圆柱投影图以及所述第二增强等距圆柱投影图在二维平面上进行分割，以产生多个分割投影图，借由随机抽样一致法，针对所述多个分割投影图产生多个线性转换参数，并且根据所述多个线性转换参数平滑化所述光流，其中所述光流包含多个分割光流，且所述多个分割光流分别对应于所述多个分割投影图。
3.根据权利要求1所述的电子装置，其特征在于，所述影像后处理模块对所述光流进行透明混合以产生细化光流，并且根据所述第一等距圆柱投影图、所述第二等距圆柱投影图以及所述细化光流来产生所述三维球面全景影像。
4.根据权利要求1所述的电子装置，其特征在于，所述校正模块基于内部参数及外部参数来产生对应于所述第一影像的所述第一等距圆柱投影图及对应于所述第二影像的所述第二等距圆柱投影图，其中所述内部参数以及所述外部参数预存于所述储存媒体中。
5.根据权利要求1所述的电子装置，其特征在于，所述影像前处理模块还针对所述第一等距圆柱投影图及所述第二等距圆柱投影图进行曝光校正以及色彩校正。
6.根据权利要求1所述的电子装置，其特征在于，所述光流计算模块根据深度学习演算法来计算所述光流。
7.根据权利要求1所述的电子装置，其特征在于，所述影像后处理模块根据所述第一等距圆柱投影图、所述第二等距圆柱投影图以及所述光流来产生内插影像，并且根据所述内插影像来产生所述三维球面全景影像。
8.根据权利要求1所述的电子装置，其特征在于，还包括：
第一镜头，其通讯连接至所述收发器，并且用以获取所述第一影像，其中所述第一镜头的第一方向正交于虚拟圆形的第一切线；以及
第二镜头，其通讯连接至所述收发器，并且用以获取所述第二影像，其中所述第二镜头的第二方向正交于所述虚拟圆形的第二切线。
9.一种用于拼接三维球面全景影像的方法，其特征在于，所述方法包括：
取得第一影像以及第二影像；
将所述第一影像及所述第二影像投影至虚拟球平面，以分别形成第一等距圆柱投影图及第二等距圆柱投影图；
复制所述第一等距圆柱投影图以产生第三等距圆柱投影图，并且复制所述第二等距圆柱投影图以产生第四等距圆柱投影图；
对所述第三等距圆柱投影图以及所述第四等距圆柱投影图进行影像增强以分别产生第一增强等距圆柱投影图以及第二增强等距圆柱投影图；
针对所述第一增强等距圆柱投影图以及所述第二增强等距圆柱投影图计算光流；以及
根据所述第一等距圆柱投影图、所述第二等距圆柱投影图以及所述光流来产生所述三维球面全景影像。
10.根据权利要求9所述的方法，其特征在于，产生所述三维球面全景影像的步骤包括：
将所述第一增强等距圆柱投影图以及所述第二增强等距圆柱投影图在二维平面上进行分割，以产生多个分割投影图；
借由随机抽样一致法，针对所述多个分割投影图产生多个线性转换参数；以及
根据所述多个线性转换参数平滑化所述光流，其中所述光流包含多个分割光流，且所述多个分割光流分别对应于所述多个分割投影图。
11.根据权利要求9所述的方法，其特征在于，产生所述三维球面全景影像的步骤还包括：
对所述光流进行透明混合以产生细化光流；以及
根据所述第一等距圆柱投影图、所述第二等距圆柱投影图以及所述细化光流来产生所述三维球面全景影像。
12.根据权利要求9所述的方法，其特征在于，所述方法还包括：
基于内部参数以及外部参数来产生应于所述第一影像的所述第一等距圆柱投影图及对应于所述第二影像的所述第二等距圆柱投影图。
13.根据权利要求9所述的方法，其特征在于，所述方法还包括：
针对所述第一等距圆柱投影图及所述第二等距圆柱投影图进行曝光校正以及色彩校正。
14.根据权利要求9所述的方法，其特征在于，计算所述光流的步骤包括：
根据深度学习演算法来计算所述光流。
15.根据权利要求9所述的方法，其特征在于，产生所述三维球面全景影像的步骤还包括：
根据所述第一等距圆柱投影图、所述第二等距圆柱投影图以及所述光流来产生内插影像；以及
根据所述内插影像来产生所述三维球面全景影像。
16.根据权利要求9所述的方法，其特征在于，所述方法用于具有第一镜头以及第二镜头的全景相机，其中所述第一镜头用以获取所述第一影像，并且所述第二镜头用以获取所述第二影像，其中所述第一镜头的第一方向正交于虚拟圆形的第一切线，并且所述第二镜头的第二方向正交于所述虚拟圆形的第二切线。
CN202011129639.1A 2020-10-21 2020-10-21 用于拼接三维球面全景影像的方法及电子装置 Pending CN114390262A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011129639.1A CN114390262A (zh) 2020-10-21 2020-10-21 用于拼接三维球面全景影像的方法及电子装置
US17/493,846 US11665328B2 (en) 2020-10-21 2021-10-05 Method and electronic apparatus for stitching three-dimensional spherical panorama

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011129639.1A CN114390262A (zh) 2020-10-21 2020-10-21 用于拼接三维球面全景影像的方法及电子装置

Publications (1)

Publication Number Publication Date
CN114390262A true CN114390262A (zh) 2022-04-22

Family

ID=81185241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011129639.1A Pending CN114390262A (zh) 2020-10-21 2020-10-21 用于拼接三维球面全景影像的方法及电子装置

Country Status (2)

Country Link
US (1) US11665328B2 (zh)
CN (1) CN114390262A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757834A (zh) * 2022-06-16 2022-07-15 北京建筑大学 一种全景图像处理方法和全景图像处理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699001B2 (en) * 2020-10-13 2023-07-11 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
CN112669199B (zh) * 2020-12-16 2022-06-21 影石创新科技股份有限公司 图像拼接方法、计算机可读存储介质及计算机设备
US20210103764A1 (en) * 2020-12-17 2021-04-08 Intel Corporation Accurate optical flow estimation in stereo pairs of equirectangular images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
US20160352982A1 (en) * 2015-05-27 2016-12-01 Google Inc. Camera rig and stereoscopic image capture
CN107431803A (zh) * 2015-05-27 2017-12-01 谷歌公司 全景虚拟现实内容的捕捉和渲染
CN107945104A (zh) * 2017-11-17 2018-04-20 常州光电技术研究所 一种基于太空虚拟现实相机的全景成像方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938605A (zh) 2009-06-30 2011-01-05 爱国者全景(北京)网络科技发展有限公司 生成全景视频的方法
US10313656B2 (en) 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
CN107925722B (zh) 2015-11-16 2020-05-12 谷歌有限责任公司 用于补偿相机运动的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
US20160352982A1 (en) * 2015-05-27 2016-12-01 Google Inc. Camera rig and stereoscopic image capture
CN107431803A (zh) * 2015-05-27 2017-12-01 谷歌公司 全景虚拟现实内容的捕捉和渲染
CN107945104A (zh) * 2017-11-17 2018-04-20 常州光电技术研究所 一种基于太空虚拟现实相机的全景成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
路秋瑞: "360度虚拟视点视频生成技术研究", 《中国优秀硕士学位论文全文数据库》, no. 6, pages 2 - 4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757834A (zh) * 2022-06-16 2022-07-15 北京建筑大学 一种全景图像处理方法和全景图像处理装置

Also Published As

Publication number Publication date
US20220124298A1 (en) 2022-04-21
US11665328B2 (en) 2023-05-30

Similar Documents

Publication Publication Date Title
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
WO2019105262A1 (zh) 背景虚化处理方法、装置及设备
WO2020259271A1 (zh) 图像畸变校正方法和装置
CN108600576B (zh) 图像处理装置、方法和系统以及计算机可读记录介质
CN114390262A (zh) 用于拼接三维球面全景影像的方法及电子装置
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
JP5969992B2 (ja) 携帯型装置でのステレオスコピック（３ｄ）のパノラマ生成
US9591237B2 (en) Automated generation of panning shots
WO2017016050A1 (zh) 一种图像的预览方法、装置及终端
US8941750B2 (en) Image processing device for generating reconstruction image, image generating method, and storage medium
WO2017000484A1 (zh) 用于用户终端的全景图像生成方法和装置
US8306360B2 (en) Device and method for obtaining clear image
EP2881913A1 (en) Image splicing method and apparatus
WO2015146230A1 (ja) 映像表示装置および映像表示システム
WO2019105261A1 (zh) 背景虚化处理方法、装置及设备
EP2328125A1 (en) Image splicing method and device
US20120019614A1 (en) Variable Stereo Base for (3D) Panorama Creation on Handheld Device
JP6452360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7123736B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20110078175A (ko) 영상 데이터 생성 방법 및 장치
WO2020250175A1 (en) Method for optimal body or face protection with adaptive dewarping based on context segmentation layers
WO2019105254A1 (zh) 背景虚化处理方法、装置及设备
WO2018129692A1 (en) Image refocusing
WO2017190415A1 (zh) 一种图像优化方法、装置及终端
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination