CN110278366A - 一种全景图像虚化方法、终端及计算机可读存储介质 - Google Patents

一种全景图像虚化方法、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN110278366A
CN110278366A CN201810209447.8A CN201810209447A CN110278366A CN 110278366 A CN110278366 A CN 110278366A CN 201810209447 A CN201810209447 A CN 201810209447A CN 110278366 A CN110278366 A CN 110278366A
Authority
CN
China
Prior art keywords
scene
master image
depth
image
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810209447.8A
Other languages
English (en)
Other versions
CN110278366B (zh
Inventor
陈凯
雷华
王隶桢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongsoft Technology Co Ltd
ArcSoft Corp Ltd
Original Assignee
Hongsoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongsoft Technology Co Ltd filed Critical Hongsoft Technology Co Ltd
Priority to CN201810209447.8A priority Critical patent/CN110278366B/zh
Priority to US16/289,684 priority patent/US11393076B2/en
Publication of CN110278366A publication Critical patent/CN110278366A/zh
Application granted granted Critical
Publication of CN110278366B publication Critical patent/CN110278366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明实施例公开了一种全景图像虚化方法、终端及计算机可读存储介质，该方法包括：根据双摄像头在多个视角下拍摄的多个主图像和多个副图像，计算得到多个主图像的场景深度信息；根据该多个主图像计算得到图像配准数据，并获取每个主图像的场景深度信息；根据图像配准数据对多个主图像进行拼接获取全场景主图像；并根据图像配准数据和每个主图像的场景深度信息，确定全场景主图像的场景深度信息；根据全场景主图像的场景深度信息和选定的对焦点对全场景主图像进行虚化处理，得到具有虚化效果的全景图像。通过该实施例方案，获得了具有虚化效果的全景图像，使得全景拍摄达到了模拟专业相机大光圈成像的效果，带来了更佳的照片观感。

Description

一种全景图像虚化方法、终端及计算机可读存储介质
技术领域
本发明实施例涉及图像处理技术，尤指一种全景图像虚化方法、终端及计算机可读存储介质。
背景技术
近年来，智能终端(如智能手机)在摄像方面的功能越来越强大，其拍摄效果在不断地向专业摄影器材靠近。例如，智能手机中的双摄像头设计是最近几年智能手机拍照技术的一个重要发展，其中，虚化效果是手机双摄的一个主要应用。目前的终端中基于双摄像头仅仅是合成单张较窄视角下的虚化图像，尚未实现全景图像的虚化。
发明内容
为了解决上述技术问题，本发明实施例提供了一种全景图像虚化方法、终端及计算机可读存储介质，能够获得具有虚化效果的全景图像，使得全景拍摄达到了模拟专业相机大光圈成像的效果，带来了更佳的照片观感。
为了达到本发明实施例目的，本发明实施例提供了一种全景图像虚化方法，包括：
根据双摄像头在多个视角下拍摄的多个主图像和多个副图像，计算得到多个主图像的场景深度信息；
根据该多个主图像计算得到图像配准数据，并获取每个主图像的场景深度信息；
根据图像配准数据对多个主图像进行拼接获取全场景主图像；并根据图像配准数据和每个主图像的场景深度信息，确定全场景主图像的场景深度信息；
根据全场景主图像的场景深度信息和选定的对焦点对全场景主图像进行虚化处理，得到具有虚化效果的全景图像。
可选地，多个主图像的场景深度信息采用多个场景深度图表示；
根据图像配准数据和每个主图像的场景深度信息，确定全场景主图像的场景深度信息，包括：
根据图像配准数据，对多个主图像的场景深度图进行拼接或者对主图像的场景深度图的梯度图进行拼接，获取全场景深度图，将全场景深度图作为全场景主图像的场景深度信息。
可选地，对主图像的场景深度图的梯度图进行拼接，获取全场景深度图，包括：
根据图像配准数据对多个视角下的主图像的场景深度图的梯度图进行拼接，获取全场景深度梯度图，并根据全场景深度梯度图获取全场景深度图；其中，每个视角下的主图像的场景深度图的梯度图是根据相应的主图像的场景深度图计算获得的。
可选地，根据全场景深度梯度图获取全场景深度图包括：通过预设的Poisson融合约束方程获得全场景深度图。
可选地，根据多个主图像计算得到图像配准数据包括：
提取各个视角下的主图像的不变特征点；
对不同视角下的主图像的不变特征点进行匹配；
利用相互匹配的不变特征点计算各个视角下的主图像的几何变换矩阵；
将几何变化矩阵作为图像配准数据。
可选地，根据全场景主图像的场景深度信息和选定的对焦点对全场景主图像进行虚化处理，得到具有虚化效果的全景图像包括：
根据全场景深度图计算全场景主图像上除所述对焦点以外区域中各个像素的深度值与对焦点的深度值的差异值；
根据差异值计算全场景主图像上各个区域的模糊程度；
根据各个区域的模糊程度对全场景主图像上的相应区域进行虚化处理，生成具有虚化效果的全景图像。
可选地，该方法还包括：通过以下任意一种方式在全场景主图像上选定对焦点：
通过用户的手动选择操作确定对焦点；
利用人脸检测技术检测出人脸，将人脸所在位置作为对焦点；以及，
利用视觉显著性检测算法计算出人眼感兴趣的目标，并将人眼感兴趣的目标所在位置作为对焦点。
可选地，双摄像头包括主摄像头和副摄像头；
该方法还包括：在每个视角下，主摄像头拍摄主图像，副摄像头拍摄副图像。
一种终端，包括处理器和计算机可读存储介质，计算机可读存储介质中存储有指令，当该指令被处理器执行时，实现上述的全景图像虚化方法。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述的全景图像虚化方法。
本发明实施例包括：根据双摄像头在多个视角下拍摄的多个主图像和多个副图像，计算得到多个主图像的场景深度信息；根据该多个主图像计算得到图像配准数据，并获取每个主图像的场景深度信息；根据图像配准数据对多个主图像进行拼接获取全场景主图像；并根据图像配准数据和每个主图像的场景深度信息，确定全场景主图像的场景深度信息；根据全场景主图像的场景深度信息和选定的对焦点对全场景主图像进行虚化处理，得到具有虚化效果的全景图像。通过该实施例方案，获得了具有虚化效果的全景图像，使得全景拍摄达到了模拟专业相机大光圈成像的效果，带来了更佳的照片观感。
本发明实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例而了解。本发明实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明实施例的技术方案，并不构成对本发明实施例技术方案的限制。
图1为本发明实施例的全景图像虚化方法流程图；
图2为本发明实施例的拍摄设备绕设备中心旋转示意图；
图3为本发明实施例的直接对多个主图像的场景深度图进行拼接得到一张全景深度图的方法示意图；
图4为本发明实施例的对主图像的场景深度图的梯度图进行拼接，获取重叠区域深度值一致的全场景深度图的方法示意图；
图5为本发明实施例的全景图像虚化方法的第一个完整实施例方案流程图；
图6为本发明实施例的全景图像虚化方法的第二个完整实施例方案流程图；
图7为本发明实施例的终端结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
一种全景图像虚化方法，如图1所示，包括步骤S101-S104：
S101、根据双摄像头在多个视角下拍摄的多个主图像和多个副图像，计算得到多个主图像的场景深度信息。
在本发明实施例中，主要技术方案是结合全景拼接技术及双摄像头配置来合成具有虚化效果的全景图像。本发明实施例利用双摄像头组件拍摄场景的多个视角下的图像，各视角下图像具有一定的重叠。随后利用全景拼接技术对这些视角下场景图像和场景深度图像进行拼接，得到宽视角的全场景图像和全场景深度图像，从而随后渲染出有虚化效果的全景场景图像。
可选地，双摄像头可以包括主摄像头和副摄像头；
该方法还包括：在每个视角下，主摄像头拍摄主图像，副摄像头拍摄副图像。
在本发明实施例中，将双摄像头中的两个摄像头分为主摄像头和副摄像头。其中主镜头拍摄所得图像为场景的主图像，副镜头拍摄所得图像为场景的副图像。该方案中对双摄像头的配置没有限制，可以根据不同的应用场景或需求自行定义，例如，可以是彩色摄像头加彩色摄像头的配置，或者彩色摄像头加黑白摄像头的配置，或者广角摄像头加长焦摄像头等配置。
在本发明实施例中，拍摄者在拍摄过程中可以将拍摄设备绕设备中心旋转，如图2所示，拍摄当前场景在多个镜头视角下的图像，既各个视角下的主图像和副图像，其中要求相邻视角下拍摄的图像具有一定的重叠区域。另外，拍摄设备的旋转可由拍摄者手持控制，也可以由电机控制，例如，将拍摄设备(如手机)固定于可旋转的平台上，利用电机控制该平台转动，从而带动拍摄设备一起旋转。
可选地，该方法还包括：在通过双摄像头拍摄多个视角下的多个主图像和多个副图像时，保持拍摄设备在两个相邻视角间的旋转角度小于摄像头水平方向的视场角。
在本发明实施例中，为了保证相邻视角下拍摄的图像具有一定的重叠区域，拍摄控制单元应该满足下面的操作：设摄像头的水平方向上的视场角FOV大小为θ，则相邻两个视角间相机的转动角度θp应该小于θ，以保证各视角下的图像有一定的重叠。其中拍摄设备的转动角度可以由设备的陀螺仪记录，事先根据拍摄设备的视场角θ以及所需的镜头重叠区域的大小，预设需要各视角间的间隔角度θp。在拍摄过程中，当陀螺仪记录的拍摄视角相对于上一个拍摄视角变化了θp时，拍摄设备将拍摄当前的场景的主图像和副图像。或可将拍摄设备旋转过程中所有时刻的场景图像记录下来，然后采用特征点跟踪的方式，计算拍摄设备的旋转运动路径，然后根据可视角间隔θp的要求从中挑选出合适的图像。
S102、根据该多个主图像计算得到图像配准数据，并获取每个主图像的场景深度信息。
在本发明实施例中，在获得场景的主图像和副图像以后，可以对多个视角下的主图像进行图像配准，从而根据该多个主图像计算得到图像配准数据。
在本发明实施例中，根据该多个主图像计算得到图像配准数据可以包括以下步骤：
提取各个视角下的主图像的不变特征点；
对不同视角下的主图像的不变特征点进行匹配；
利用相互匹配的不变特征点计算各个视角下的主图像的几何变换矩阵；
将几何变化矩阵作为图像配准数据。
在本发明实施例中，在获得场景的主图像和副图像以后，还可以根据每个视角下的主图像和副图像计算每个视角下主图像的场景深度信息，该场景深度信息可以是场景深度图、场景深度数组或者自定义的结构，只要能记录下每个视角下主图像的深度值的信息表现形式均可。在本发明实施例中，每个视角下主图像的场景深度信息可以采用场景深度图表示。
在本发明实施例中，场景深度图中各像素的灰度值记录了主图像上对应各像素所代表的场景离摄像头的远近信息。
S103、根据图像配准数据对多个主图像进行拼接获取全场景主图像；并根据图像配准数据和每个主图像的场景深度信息，确定全场景主图像的场景深度信息。
在本发明实施例中，利用上述步骤中计算得到的各个视角场景图像之间的图像配准关系(即图像配准数据)，可以对主摄像头在各个视角下所拍摄到的多张主图像进行投影变换和无缝融合等操作，以实现图像拼接，得到全场景主图像。
可选地，多个主图像的场景深度信息采用多个场景深度图表示；
根据图像配准数据和每个主图像的场景深度信息，确定全场景主图像的场景深度信息，可以包括：
根据图像配准数据，对多个主图像的场景深度图进行拼接或者对主图像的场景深度图的梯度图进行拼接，获取全场景深度图，将全场景深度图作为全场景主图像的场景深度信息。
在本发明实施例中，可以直接对多个主图像的场景深度图进行拼接得到一张全景深度图，如图3所示，然而由于在拍摄时，摄像头在各个视角之间会存在着一定的位移，这使得相邻两镜头视角下重叠区域的深度值不相等，既同一空间点在两张不同视角下所计算的深度值大小不相等，因此直接对多个主图像的场景深度图进行拼接得到一张全景深度图的方案会使得最终的虚化效果不好，为了解决这一问题，本发明实施例对主图像的场景深度图的梯度图进行拼接，获取重叠区域深度值一致的全场景深度图，如图4所示。
在本发明实施例中，深度图的梯度图表示的是深度图的变化信息，梯度值越大，说明这个地方的深度变化越大。
可选地，对主图像的场景深度图的梯度图进行拼接，获取全场景深度图，可以包括：
根据图像配准数据对多个视角下的主图像的场景深度图的梯度图进行拼接，获取全场景深度梯度图，并根据全场景深度梯度图获取全场景深度图；其中，每个视角下的主图像的场景深度图的梯度图是根据相应的主图像的场景深度图计算获得的。
在本发明实施例中，可以首先根据每个视角下的主图像的场景深度图计算相应的梯度图，并根据图像配准数据对每个视角下的梯度图进行拼接，获取全场景深度梯度图，并根据全场景深度梯度图获取该全场景深度图。
可选地，根据全场景深度梯度图获取全场景深度图包括：通过预设的泊松Poisson融合约束方程获得全场景深度图。
在本发明实施例中，在获取该全场景深度图后，可以通过求解如下的Poisson融合约束方程获得重叠区域深度值一致的全场景深度图：
其中，“||||”表示L2-norm，用于度量两个变量间的差异；f为待求解的全场景深度图，为该待求解的全场景深度图的梯度图，v是上述拼接所得的全场景深度梯度图，Ω为图像的拼接区域，为图像的拼接区域的边缘。
在本发明实施例中，该方程表示在保留图像边缘的像素值不变的情况下，求解图像的其余部分，使得整副图像的梯度图与原图像的梯度图尽可能接近，即拼接得到了v(全场景深度梯度图)，希望从这个v中求解出f(全场景深度图)，并希望这个f能够满足下述性质:f的梯度图能和v尽量接近。
在本发明实施例中，获取该全场景深度图的方式包括但不限于前述的对多个主图像的场景深度图进行拼接以及对主图像的场景深度图的梯度图进行拼接的方案，还可以采用其他方式实现，例如：采用拼接好的全场景主图像，通过深度学习等方法恢复出该全场景主图像的深度图，即全场景深度图。
S104、根据全场景主图像的场景深度信息和选定的对焦点对全场景主图像进行虚化处理，得到具有虚化效果的全景图像。
在本发明实施例中，根据拼接后得到的全场景主图像和全场景主图像的场景深度信息，如上述的全场景深度图，选择对焦点，根据全场景主图像中各像素的深度值，计算图像不同区域的模糊程度，获得具有虚化效果的全景图像。
在本发明实施例中，首先必须在需要进行虚化的全场景主图像中指定对焦点的位置。可选地，该方法还包括：通过以下任意一种方式在全场景主图像上选定对焦点：
通过用户的手动选择操作确定对焦点；
利用人脸检测技术检测出人脸，将人脸所在位置作为对焦点；以及，
利用视觉显著性检测算法计算出人眼感兴趣的目标，并将人眼感兴趣的目标所在位置作为对焦点。
可选地，根据全场景主图像的场景深度信息和选定的对焦点对全场景主图像进行虚化处理，得到具有虚化效果的全景图像可以包括：
根据全场景深度图计算全场景主图像上除所述对焦点以外区域中各个像素的深度值与对焦点的深度值的差异值；
根据该差异值计算全场景主图像上各个区域的模糊程度；
根据各个区域的模糊程度对全场景主图像上的相应区域进行虚化处理，生成具有虚化效果的全景图像。
在本发明实施例中，下面给出上述全景图像虚化方法的第一个完整实施例方案，如图5所示，其步骤包括：S201-S206：
S201、在拍摄过程中，拍摄者手持拍摄设备进行旋转，在拍摄设备处于旋转过程中，通过双摄像头在多个视角下拍摄多个主图像和多个副图像；其中，主摄像头拍摄主图像，副摄像头拍摄副图像；
S202、根据每个视角下的主图像和副图像计算每个视角下主图像的场景深度图；
S203、对多个视角下的主图像进行图像配准，计算各视角下主图像之间的几何变换关系，从而获取图像配准数据；
S204、根据该图像配准数据对多个主图像进行拼接，获得全场景主图像；
S205、根据每个视角下的主图像的场景深度图计算相应的梯度图，并根据图像配准数据对多个视角下的主图像的场景深度图进行拼接，获取全场景深度梯度图，并根据Poisson融合约束方程从该全场景深度梯度图中恢复出重叠区域深度值一致的全场景深度图；
S206、根据拼接后得到的全场景主图像和Poisson融合后得到的全场景深度图，选择对焦点，根据全场景深度图计算全场景主图像上除所述对焦点以外区域中各个像素的深度值与对焦点的深度值的差异值，根据该差异值计算全场景主图像上各个区域的模糊程度，根据各个区域的模糊程度对全场景主图像上的相应区域进行虚化处理，生成具有虚化效果的全景图像。
在本发明实施例中，下面给出上述全景图像虚化方法的第二个完整实施例方案，如图6所示，其步骤包括：S301-S306：
S301、在拍摄过程中，拍摄者手持拍摄设备进行旋转，在拍摄设备处于旋转过程中，通过双摄像头在多个视角下拍摄多个主图像和多个副图像；其中，主摄像头拍摄主图像，副摄像头拍摄副图像；
S302、根据每个视角下的主图像和副图像计算每个视角下主图像的场景深度图；
S303、对多个视角下的主图像进行图像配准，计算各视角下主图像之间的几何变换关系，从而获取图像配准数据；
S304、根据该图像配准数据对多个主图像进行拼接，获得全场景主图像；
S305、根据该图像配准数据对多个主图像的场景深度图进行拼接，获得全场景深度图；
S306、根据拼接后得到的全场景主图像和全场景深度图，选择对焦点，根据全场景深度图计算全场景主图像上除所述对焦点以外区域中各个像素的深度值与对焦点的深度值的差异值，根据该差异值计算全场景主图像上各个区域的模糊程度，根据各个区域的模糊程度对全场景主图像上的相应区域进行虚化处理，生成具有虚化效果的全景图像。
在本发明实施例中，通过双摄像头获取当前场景中多角度下的多张主图像和多张幅图像，并根据该多张主图像、多张幅图像和全景拼接技术拼接出宽可视角的全场景主图像和全场景深度图，从而生成了具有宽可视角、具有主体画面清晰背景画面模糊的虚化效果的全景图像，达到了模拟专业相机大光圈成像的效果，带来了更佳的照片观感。
一种终端，如图7所示，包括处理器和计算机可读存储介质，计算机可读存储介质中存储有指令，当该指令被处理器执行时，实现上述的全景图像虚化方法。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述的全景图像虚化方法。
本发明实施例包括：根据双摄像头在多个视角下拍摄的多个主图像和多个副图像，计算得到多个主图像的场景深度信息；根据该多个主图像计算得到图像配准数据，并获取每个主图像的场景深度信息；根据图像配准数据对多个主图像进行拼接获取全场景主图像；并根据图像配准数据和每个主图像的场景深度信息，确定全场景主图像的场景深度信息；根据全场景主图像的场景深度信息和选定的对焦点对全场景主图像进行虚化处理，得到具有虚化效果的全景图像。通过该实施例方案，获得了具有虚化效果的全景图像。
虽然本发明实施例所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明实施例。任何本发明实施例所属领域内的技术人员，在不脱离本发明实施例所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明实施例的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种全景图像虚化方法，包括：
根据双摄像头在多个视角下拍摄的多个主图像和多个副图像，计算得到所述多个主图像的场景深度信息；
根据所述多个主图像计算得到图像配准数据，并获取每个所述主图像的场景深度信息；
根据所述图像配准数据对多个所述主图像进行拼接获取全场景主图像；并根据所述图像配准数据和每个所述主图像的场景深度信息，确定所述全场景主图像的场景深度信息；
根据所述全场景主图像的场景深度信息和选定的对焦点对所述全场景主图像进行虚化处理，得到具有虚化效果的全景图像。
2.根据权利要求1所述的全景图像虚化方法，其特征在于，所述多个主图像的场景深度信息采用多个场景深度图表示；
所述根据所述图像配准数据和每个所述主图像的场景深度信息，确定所述全场景主图像的场景深度信息，包括：
根据所述图像配准数据，对多个所述主图像的场景深度图进行拼接或者对所述主图像的场景深度图的梯度图进行拼接，获取全场景深度图，将所述全场景深度图作为所述全场景主图像的场景深度信息。
3.根据权利要求2所述的全景图像虚化方法，其特征在于，所述对所述主图像的场景深度图的梯度图进行拼接，获取全场景深度图，包括：
根据所述图像配准数据对多个视角下的所述主图像的场景深度图的梯度图进行拼接，获取全场景深度梯度图，并根据所述全场景深度梯度图获取所述全场景深度图；其中，每个视角下的所述主图像的场景深度图的梯度图是根据相应的主图像的场景深度图计算获得的。
4.根据权利要求3所述的全景图像虚化方法，其特征在于，所述根据所述全场景深度梯度图获取全场景深度图包括：通过预设的Poisson融合约束方程获得所述全场景深度图。
5.根据权利要求1所述的全景图像虚化方法，其特征在于，所述根据所述多个主图像计算得到图像配准数据包括：
提取各个视角下的所述主图像的不变特征点；
对不同视角下的所述主图像的不变特征点进行匹配；
利用相互匹配的所述不变特征点计算各个视角下的所述主图像的几何变换矩阵；
将所述几何变化矩阵作为所述图像配准数据。
6.根据权利要求2-4任意一项所述的全景图像虚化方法，其特征在于，所述根据所述全场景主图像的场景深度信息和选定的对焦点对所述全场景主图像进行虚化处理，得到具有虚化效果的全景图像包括：
根据所述全场景深度图计算所述全场景主图像上除所述对焦点以外区域中各个像素的深度值与所述对焦点的深度值的差异值；
根据所述差异值计算所述全场景主图像上各个区域的模糊程度；
根据所述各个区域的模糊程度对所述全场景主图像上的相应区域进行虚化处理，生成所述具有虚化效果的全景图像。
7.根据权利要求6所述的全景图像虚化方法，其特征在于，所述方法还包括：通过以下任意一种方式在所述全场景主图像上选定所述对焦点：
通过用户的手动选择操作确定所述对焦点；
利用人脸检测技术检测出人脸，将所述人脸所在位置作为所述对焦点；以及，
利用视觉显著性检测算法计算出人眼感兴趣的目标，并将所述人眼感兴趣的目标所在位置作为所述对焦点。
8.根据权利要求1-5任意一项所述的全景图像虚化方法，其特征在于，所述双摄像头包括主摄像头和副摄像头；
所述方法还包括：在每个视角下，所述主摄像头拍摄所述主图像，所述副摄像头拍摄所述副图像。
9.一种终端，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令被所述处理器执行时，实现如权利要求1所述的全景图像虚化方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1所述的全景图像虚化方法。
CN201810209447.8A 2018-03-14 2018-03-14 一种全景图像虚化方法、终端及计算机可读存储介质 Active CN110278366B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810209447.8A CN110278366B (zh) 2018-03-14 2018-03-14 一种全景图像虚化方法、终端及计算机可读存储介质
US16/289,684 US11393076B2 (en) 2018-03-14 2019-03-01 Blurring panoramic image blurring method, terminal and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810209447.8A CN110278366B (zh) 2018-03-14 2018-03-14 一种全景图像虚化方法、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110278366A true CN110278366A (zh) 2019-09-24
CN110278366B CN110278366B (zh) 2020-12-01

Family

ID=67904108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810209447.8A Active CN110278366B (zh) 2018-03-14 2018-03-14 一种全景图像虚化方法、终端及计算机可读存储介质

Country Status (2)

Country Link
US (1) US11393076B2 (zh)
CN (1) CN110278366B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110740260A (zh) * 2019-10-24 2020-01-31 深圳传音控股股份有限公司 一种拍摄方法、装置以及计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278366B (zh) * 2018-03-14 2020-12-01 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
CN109769110B (zh) * 2019-01-22 2020-07-14 影石创新科技股份有限公司 一种3d小行星动态图的生成方法、装置及便携式终端
CN110830715B (zh) * 2019-10-31 2021-06-25 维沃移动通信（杭州）有限公司 一种拍照方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102729902A (zh) * 2012-07-19 2012-10-17 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法
US20140184640A1 (en) * 2011-05-31 2014-07-03 Nokia Corporation Methods, Apparatuses and Computer Program Products for Generating Panoramic Images Using Depth Map Data
CN105100615A (zh) * 2015-07-24 2015-11-25 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
CN106651755A (zh) * 2016-11-17 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种终端全景图像处理方法、装置及终端
CN107230187A (zh) * 2016-03-25 2017-10-03 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
CN107635093A (zh) * 2017-09-18 2018-01-26 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN107644392A (zh) * 2017-10-06 2018-01-30 湖北聚注通用技术研究有限公司 一种基于多视角的三维成像装置

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090245696A1 (en) * 2008-03-31 2009-10-01 Sharp Laboratories Of America, Inc. Method and apparatus for building compound-eye seeing displays
US8547421B2 (en) * 2010-08-13 2013-10-01 Sharp Laboratories Of America, Inc. System for adaptive displays
JP5822613B2 (ja) * 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US9117277B2 (en) * 2012-04-04 2015-08-25 Canon Kabushiki Kaisha Determining a depth map from images of a scene
EP2675173A1 (en) * 2012-06-15 2013-12-18 Thomson Licensing Method and apparatus for fusion of images
US10237528B2 (en) * 2013-03-14 2019-03-19 Qualcomm Incorporated System and method for real time 2D to 3D conversion of a video in a digital camera
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
AU2013273843A1 (en) * 2013-12-23 2015-07-09 Canon Kabushiki Kaisha Motion blur compensation for depth from defocus
JP6362068B2 (ja) * 2014-02-17 2018-07-25 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム
KR102220443B1 (ko) * 2014-06-09 2021-02-25 삼성전자주식회사 깊이 정보를 활용하는 전자 장치 및 방법
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
US10008027B1 (en) * 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
US9292926B1 (en) * 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
US9846934B2 (en) * 2015-04-13 2017-12-19 Anchor Semiconductor Inc. Pattern weakness and strength detection and tracking during a semiconductor device fabrication process
US9998666B2 (en) * 2015-08-26 2018-06-12 Duke University Systems and methods for burst image deblurring
US10430994B1 (en) * 2016-11-07 2019-10-01 Henry Harlyn Baker Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats
US10194097B2 (en) * 2017-01-13 2019-01-29 Gopro, Inc. Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
US10296702B2 (en) * 2017-03-15 2019-05-21 Applied Materials Israel Ltd. Method of performing metrology operations and system thereof
US20180343431A1 (en) * 2017-05-24 2018-11-29 Nokia Technologies Oy Method and apparatus for disparity-based image adjustment of a seam in an image derived from multiple cameras
CN107105172B (zh) * 2017-06-27 2021-01-29 虹软科技股份有限公司 一种用于对焦的方法和装置
US10620505B2 (en) * 2017-06-27 2020-04-14 Arcsoft Corporation Limited Method and apparatus for focusing
US10360669B2 (en) * 2017-08-24 2019-07-23 Applied Materials Israel Ltd. System, method and computer program product for generating a training set for a classifier
CN109474780B (zh) * 2017-09-07 2023-07-25 虹软科技股份有限公司 一种用于图像处理的方法和装置
KR102117050B1 (ko) * 2017-09-08 2020-05-29 삼성전자주식회사 이미지 내 휴먼 분리를 위한 전자 장치 및 방법
US10408764B2 (en) * 2017-09-13 2019-09-10 Applied Materials Israel Ltd. System, method and computer program product for object examination
CN116721203A (zh) * 2017-09-27 2023-09-08 虹软科技股份有限公司 一种用于测量三维模型的方法、装置和存储介质
CN109559349B (zh) * 2017-09-27 2021-11-09 虹软科技股份有限公司 一种用于标定的方法和装置
US11037286B2 (en) * 2017-09-28 2021-06-15 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
US11210799B2 (en) * 2017-10-04 2021-12-28 Google Llc Estimating depth using a single camera
US10664953B1 (en) * 2018-01-23 2020-05-26 Facebook Technologies, Llc Systems and methods for generating defocus blur effects
CN110278366B (zh) * 2018-03-14 2020-12-01 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
US10764496B2 (en) * 2018-03-16 2020-09-01 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
US10748271B2 (en) * 2018-04-25 2020-08-18 Applied Materials Israel Ltd. Method of defect classification and system thereof
CN112470188B (zh) * 2018-05-25 2024-07-30 派克赛斯有限责任公司 用于多相机放置的系统和方法
US10970816B2 (en) * 2018-08-13 2021-04-06 Nvidia Corporation Motion blur and depth of field reconstruction through temporally stable neural networks
US10674072B1 (en) * 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11151706B2 (en) * 2019-01-16 2021-10-19 Applied Material Israel, Ltd. Method of classifying defects in a semiconductor specimen and system thereof
US10853932B2 (en) * 2019-01-16 2020-12-01 Applied Material Israel, Ltd. Method of defect detection on a specimen and system thereof
US10957034B2 (en) * 2019-01-17 2021-03-23 Applied Materials Israel Ltd. Method of examination of a specimen and system thereof
US20210004962A1 (en) * 2019-07-02 2021-01-07 Qualcomm Incorporated Generating effects on images using disparity guided salient object detection
US11575865B2 (en) * 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
US11270415B2 (en) * 2019-08-22 2022-03-08 Adobe Inc. Image inpainting with geometric and photometric transformations
CN110740260B (zh) * 2019-10-24 2023-04-07 深圳传音控股股份有限公司 一种拍摄方法、装置以及计算机可读存储介质
US11127119B1 (en) * 2020-03-17 2021-09-21 GM Global Technology Operations LLC Systems and methods for image deblurring in a vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184640A1 (en) * 2011-05-31 2014-07-03 Nokia Corporation Methods, Apparatuses and Computer Program Products for Generating Panoramic Images Using Depth Map Data
CN102729902A (zh) * 2012-07-19 2012-10-17 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法
CN105100615A (zh) * 2015-07-24 2015-11-25 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
CN107230187A (zh) * 2016-03-25 2017-10-03 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
CN106651755A (zh) * 2016-11-17 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种终端全景图像处理方法、装置及终端
CN107635093A (zh) * 2017-09-18 2018-01-26 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN107644392A (zh) * 2017-10-06 2018-01-30 湖北聚注通用技术研究有限公司 一种基于多视角的三维成像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110740260A (zh) * 2019-10-24 2020-01-31 深圳传音控股股份有限公司 一种拍摄方法、装置以及计算机可读存储介质
WO2021077650A1 (zh) * 2019-10-24 2021-04-29 深圳传音控股股份有限公司 一种拍摄方法、装置以及计算机可读存储介质
US11297230B2 (en) 2019-10-24 2022-04-05 Shenzhen Transsion Holdings Co., Ltd. Shooting method, device and computer-readable storage medium
CN110740260B (zh) * 2019-10-24 2023-04-07 深圳传音控股股份有限公司 一种拍摄方法、装置以及计算机可读存储介质

Also Published As

Publication number Publication date
CN110278366B (zh) 2020-12-01
US20190287223A1 (en) 2019-09-19
US11393076B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
CN101673395B (zh) 图像拼接方法及装置
CN100485720C (zh) 一种基于序列静态图像的360°环视全景生成方法
CN114095662B (zh) 拍摄指引方法及电子设备
US11393076B2 (en) Blurring panoramic image blurring method, terminal and computer readable storage medium
US20170293997A1 (en) Efficient canvas view generation from intermediate views
CN105530431A (zh) 一种反射式全景成像系统及方法
US20150147000A1 (en) Method and apparatus for fusion of images
CN109167924A (zh) 基于混合相机的视频成像方法、系统、设备及存储介质
KR20170135855A (ko) 패닝 샷들의 자동 생성
JP2002503893A (ja) 仮想現実カメラ
CN110536057A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN106296589B (zh) 全景图像的处理方法及装置
CN113273172A (zh) 全景拍摄方法、装置、系统及计算机可读存储介质
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN110771140A (zh) 云台系统及其图像处理方法、无人机
WO2013120308A1 (zh) 一种三维显示方法及系统
CN109819169A (zh) 全景拍摄方法、装置、设备和介质
CN109360150A (zh) 一种基于深度相机的全景深度图的拼接方法及装置
US20230328400A1 (en) Auxiliary focusing method, apparatus, and system
CN108282650B (zh) 一种裸眼立体显示方法、装置、系统及存储介质
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
US20090059018A1 (en) Navigation assisted mosaic photography
Baker et al. CasualStereo: Casual capture of stereo panoramas with spherical structure-from-motion
CN108510537B (zh) 3d建模方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant