CN106373153A - 一种基于阵列镜头的3d图像替换技术 - Google Patents

一种基于阵列镜头的3d图像替换技术 Download PDF

Info

Publication number
CN106373153A
CN106373153A CN201610842417.1A CN201610842417A CN106373153A CN 106373153 A CN106373153 A CN 106373153A CN 201610842417 A CN201610842417 A CN 201610842417A CN 106373153 A CN106373153 A CN 106373153A
Authority
CN
China
Prior art keywords
image
depth
array lens
lens
replacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610842417.1A
Other languages
English (en)
Inventor
邹建成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610842417.1A priority Critical patent/CN106373153A/zh
Publication of CN106373153A publication Critical patent/CN106373153A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

本发明公开了一种基于阵列镜头的3D图像替换技术。该替换算法首先对3*3阵列镜头进行标定，然后根据图像灰度一致性约束和相邻像素深度光滑性约束条件，建立能量函数。采用图割算法求解，确定像素的深度，实现场景的深度划分。然后点击图片获取该像素的深度范围，将目标图像插入到相应深度范围来实现图像替换。本发明基于阵列图像实现图像替换，在3*3阵列镜头上得到有效验证，可望在手持平板摄像设备中得到实际应用。

Description

一种基于阵列镜头的3D图像替换技术
技术领域
本发明属于数字图像处理技术领域，涉及一种基于阵列镜头的3D图像替换技术，可用于多媒体领域或者手持平板设备中。
背景技术
3D场景摄像已成为近年图像处理上的新技术热点，且随着3D手机的发展，手机摄像更加普遍，我国手机使用率已超过90％。随着手机使用人数的增加，手机功能的强大，人们对手机摄像的要求也越来越高(三维重建，重聚焦，全景深等等)，单镜头已经无法满足人们的需求，阵列式镜头即微阵列相机应运而生。
阵列式相机，就是用多个小镜头来代替一个大镜头的拍摄效果，其原理和阵列式天文望远镜及昆虫的复眼类似。相比于传统的相机来说，阵列式相机的视野更广，拍出的照片也更大，同时其体积更小。阵列图像和大多数手持单镜头相机所拍摄的图像不同，其是由多个按矩阵形式排列的镜头拍摄而成。因此，每行图像间具有横向位移，每列图像间具有纵向位移，每幅图像中均含有相异的信息。仅仅由单张图片不能得到物体的深度信息，但是通过一个场景的多张图像就可以通过图像间的差异得出视差图和深度图。
图像替换一般分为抠图和图像合成两部分，抠图是指把任意形状的前景物体从图像中抽取出来的一种技术，图像合成则是把抽取出来的前景物体和一幅新的背景图像合成为新的图像。抠图主要分为蓝屏抠图和自然图像图像抠图；图像合成按所使用的关键技术分类，现有的数字图像合成技术可分为基于α分量的图像合成，基于梯度场的图像合成和基于多分辨率模型的图像合成。这些合成算法都是在二维图像上合成，当替换被部分遮挡的物体时，目标物体将不能很好的完成替换，有可能对其他物体造成遮挡。获取了图像的深度信息，然后基于深度图完成替换。将场景划分为若干深度层，将目标物体插入到替换物体的深度范围，就可以有效地解决遮挡问题。
发明内容
本发明的目的在于提供一种基于阵列镜头的3D图像替换技术。相对于一般
的图像替换，只是实现了二维平面上的图像替换，特别是对于存在遮挡的物体，不能完全替换因而效果不太好。本发明涉及的方法很好地解决了遮挡问题，且基于深度图的替换能够显得更自然。
为了实现本发明，公开了一种3D图像替换技术，包括以下几个步骤：
步骤1：对阵列镜头进行标定，得到镜头的参数和畸变系数；
步骤2：阵列图像获取，对一场景拍摄9张图像，依据MRF模型，构造能量函数。构造如下的能量函数：
其中fx∈L，N是中心参考图像相邻像素集合，其中Dx(fx)表示中心参考图像像素点X在深度fx处的灰度一致性。表示中心参考图像两相邻像素点x1，x2分别取深度对应的光滑能量项。
步骤3：选择中心图像作为参考图像，每个像素点作为网格点，建立空间曲面网。初始深度设为0，将场景空间沿中心图像主轴方向划分成若干深度层，建立深度集合L，来确定每个网格点的深度，得到深度图。
步骤4：点击需要替换的图像，根据深度图，获取所点击像素的深度范围；
步骤5：将目标图像放入相应的深度范围，覆盖原有的图像，从而实现图像的替换。
附图说明
图1本发明流程图
图2本发明使用的阵列镜头
图3一组阵列图像
图4原始图像
图5目标图像
图6深度计算结果图
图7口香糖瓶替换图
图8订书针盒替换图
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明的3D图像替换技术进一步详细说明。
本发明首先采用张正友标定法，标定出每个相机的内外参数和畸变系数。然后拍摄同一场景，得到9张阵列图像。以中心图像为参考图像进行立体匹配，构造能量函数，根据能量函数构建空间曲网。利用图割算法求解，得到深度图。最后实现目标图像对原图部分物体的3D替换。本发明流程图如图1所示。
步骤1：阵列镜头标定，使用阵列相机拍摄20组不同角度的标定板图像。然后采用经典的张正友标定法，使用matlab标定工具箱对相机进行标定，得到相机的参数和畸变系数。
步骤2：图像获取，本发明所使用的阵列镜头如图2所示，阵列镜头由3*3排列的子镜头组成，每个镜头都是独立的个体，可拍摄彩色图像，一次可由9个摄像头产生9张图片，图3为其拍摄得到的一组图像。依据MRF模型，构造能量函数。
步骤3：选择中心图像作为参考图像，每个像素点作为网格点，建立空间曲面网。初始深度设为0，将场景空间沿中心图像主轴方向划分成若干深度层，建立深度集合L，来确定每个网格点的深度，得到深度图，如图6所示。
步骤4：点击需要替换的图像，根据深度图，获取所点击像素的深度范围；
步骤5：将目标图像放入相应的深度范围，覆盖原有的图像，从而实现图像的替换。将目标物体插入到相应的深度范围，就完成了图像的替换。为了使图像替换效果更为明显，我们选取了图4作为图像替换原图像，分别将口香糖瓶和订书钉盒替换成目标物体，目标物体如图5所示。实验结果如图7、图8所示。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，都应涵盖在本发明的权利要求书的保护范围之内。

Claims (4)

1.一种基于阵列镜头的3D图像替换技术，利用阵列镜头拍摄的图像，实现了目标图像对原图中图像的替换，其特征在于，包括以下步骤：
(1)阵列镜头组为3*3排列，分别将每个镜头与中间镜头进行两两标定，求得镜头的内外参数和畸变系数；
(2)对一场景拍摄9张图像，根据9张图像的灰度一致性和相邻像素深度光滑性的约束，建立能量函数；
(3)根据能量函数，构造网格图，采用图割法求解，得到匹配结果，进而得到深度图；
(4)点击需要替换的图像，根据深度图，获取所点击像素的深度范围；
(5)将目标图像放入相应的深度范围，覆盖原有的图像，从而实现图像的替换。
2.根据权利要求1所述一种基于阵列镜头的3D图像替换技术，其特征在于：步骤(1)中所使用的9个镜头平行放置，各个镜头的光轴平行，与步骤(2)中拍摄图像所使用的为同一阵列镜头组。
3.根据权利要求1所述一种基于阵列镜头的3D图像替换技术，其特征在于：步骤(2)和步骤(3)中为立体匹配求得深度图的过程，求得深度图除了图割法还有很多其他算法，所得深度图供替换物体时使用。
4.根据权利要求1所述一种基于阵列镜头的3D图像替换技术，其特征在于：步骤(4)和(5)中将目标图像放入具有深度信息的场景中，也就是放入选中的深度范围中，从而实现3D图像置换。
CN201610842417.1A 2016-09-23 2016-09-23 一种基于阵列镜头的3d图像替换技术 Pending CN106373153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610842417.1A CN106373153A (zh) 2016-09-23 2016-09-23 一种基于阵列镜头的3d图像替换技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610842417.1A CN106373153A (zh) 2016-09-23 2016-09-23 一种基于阵列镜头的3d图像替换技术

Publications (1)

Publication Number Publication Date
CN106373153A true CN106373153A (zh) 2017-02-01

Family

ID=57898180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610842417.1A Pending CN106373153A (zh) 2016-09-23 2016-09-23 一种基于阵列镜头的3d图像替换技术

Country Status (1)

Country Link
CN (1) CN106373153A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194958A (zh) * 2017-05-25 2017-09-22 深圳市金立通信设备有限公司 一种图像处理的方法、终端及计算机可读存储介质
CN107358645A (zh) * 2017-06-08 2017-11-17 上海交通大学 产品三维模型重建方法及其系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136746A (zh) * 2011-12-02 2013-06-05 索尼公司 图像处理装置和图像处理方法
US20150138346A1 (en) * 2013-11-18 2015-05-21 Pelican Imaging Corporation Systems and Methods for Estimating Depth from Projected Texture using Camera Arrays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136746A (zh) * 2011-12-02 2013-06-05 索尼公司 图像处理装置和图像处理方法
US20150138346A1 (en) * 2013-11-18 2015-05-21 Pelican Imaging Corporation Systems and Methods for Estimating Depth from Projected Texture using Camera Arrays

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹建成等: "基于阵列图像立体匹配的深度信息获取方法", 《北方工业大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194958A (zh) * 2017-05-25 2017-09-22 深圳市金立通信设备有限公司 一种图像处理的方法、终端及计算机可读存储介质
CN107358645A (zh) * 2017-06-08 2017-11-17 上海交通大学 产品三维模型重建方法及其系统

Similar Documents

Publication Publication Date Title
Wadhwa et al. Synthetic depth-of-field with a single-camera mobile phone
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
US8928734B2 (en) Method and system for free-view relighting of dynamic scene based on photometric stereo
US20190088004A1 (en) Method and system of 3d reconstruction with volume-based filtering for image processing
CN101689292B (zh) Banana多媒体数字信号编解码器
CN103366352B (zh) 用于产生背景被虚化的图像的设备和方法
JP6021541B2 (ja) 画像処理装置及び方法
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
TWI555378B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
Matsuyama et al. 3D video and its applications
CN114245905A (zh) 深度感知照片编辑
TW201915944A (zh) 圖像處理方法、裝置、系統和儲存介質
WO2011052064A1 (ja) 情報処理装置および方法
CN106600686A (zh) 一种基于多幅未标定图像的三维点云重建方法
CN107409166A (zh) 摇摄镜头的自动生成
CN108154514A (zh) 图像处理方法、装置及设备
WO2015192547A1 (zh) 一种基于移动终端的三维照片拍摄方法及移动终端
CN106355621A (zh) 基于阵列图像的深度信息获取方法
JP2016537901A (ja) ライトフィールド処理方法
CN104853080B (zh) 图像处理装置
CN105488771B (zh) 光场图像编辑方法及装置
WO2011099896A1 (ru) Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты)
CN109147036A (zh) 一种基于深度学习的集成成像微图像阵列快速生成方法
CN103177432A (zh) 一种用编码孔径相机获取全景图方法
CN106657809B (zh) 一种全景3d视频拼接系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190716

Address after: 100144 Beijing City, Shijingshan District Jin Yuan Zhuang Road No. 5

Applicant after: NORTH CHINA University OF TECHNOLOGY

Address before: 100144 Beijing City, Shijingshan District Jin Yuan Zhuang Road No. 5 Science College of North China University of Technology

Applicant before: Zou Jiancheng

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170201