CN106651870A - 多视角三维重建中图像失焦模糊区域的分割方法 - Google Patents

多视角三维重建中图像失焦模糊区域的分割方法 Download PDF

Info

Publication number
CN106651870A
CN106651870A CN201611020280.8A CN201611020280A CN106651870A CN 106651870 A CN106651870 A CN 106651870A CN 201611020280 A CN201611020280 A CN 201611020280A CN 106651870 A CN106651870 A CN 106651870A
Authority
CN
China
Prior art keywords
camera
dimensional
focus
depth
fuzzy region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611020280.8A
Other languages
English (en)
Other versions
CN106651870B (zh
Inventor
潘荣江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201611020280.8A priority Critical patent/CN106651870B/zh
Publication of CN106651870A publication Critical patent/CN106651870A/zh
Application granted granted Critical
Publication of CN106651870B publication Critical patent/CN106651870B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了多视角三维重建中图像失焦模糊区域的分割方法,包括以下步骤:标定相机、建立三维数字模型;读取保存在照片中的焦距、光圈值、弥散圆直径、对焦点坐标;计算相机的对焦距离;计算相机的前景深、后景深;对每个像素,寻找物体表面上的对应点,如果对应点的深度值位于相机的景深范围之外,则认为这个像素位于失焦模糊区域。利用分割后的图像对三维模型进行纹理映射,可以得到清晰的纹理。

Description

多视角三维重建中图像失焦模糊区域的分割方法
技术领域
本发明涉及多视角三维重建领域,具体涉及多视角三维重建中图像失焦模糊区域的分割方法。
背景技术
物体的三维数字模型广泛应用于动漫、游戏、影视、考古、建筑等领域。基于多视角立体技术的三维重建方法利用从不同角度用数码相机拍摄的照片,在计算机中通过软件标定相机、生成点云、网格化模型、纹理映射,计算得到物体表面的三维数字模型。目前,多视角三维重建技术逐渐成熟,出现了多款免费和商品化软件,由于价格低、操作简单、适用范围广,在很多领域得到了广泛应用。
受数码相机景深的影响,照片中普遍存在一定的失焦模糊区域,特别是使用大光圈、长焦镜头和近距摄影时,失焦模糊现象尤为严重。如果使用照片中的失焦模糊区域对三维数字模型进行纹理映射,就会导致三维数字模型的纹理不清晰,影响三维数字模型的质量和效果。
发明内容
为解决现有技术存在的不足,本发明公开了多视角三维重建中图像失焦模糊区域的分割方法,本发明的目的是:利用多视角立体技术标定的相机参数和保存在数码照片中的EXIF信息,计算相机的前、后景深;对于图像中的每个像素,寻找物体表面上的对应点;如果对应点位于景深之外,则认为这个像素位于失焦模糊区域。这样,在对三维数字模型进行纹理映射时,就可以排除失焦模糊区域,得到清晰的纹理。
为实现上述目的,本发明的具体方案如下:
多视角三维重建中图像失焦模糊区域的分割方法,包括以下步骤:
标定相机、建立三维数字模型;
读取保存在照片中的焦距、光圈值、弥散圆直径、对焦点坐标;
计算相机的对焦距离;
计算相机的前景深、后景深;
对每个像素,寻找物体表面上的对应点,如果对应点的深度值位于相机的景深范围之外,则认为这个像素位于失焦模糊区域。
进一步的,标定相机、建立三维数字模型的方法为用多视角三维重建软件进行处理。
进一步的,读取照片中的焦距f、光圈值N、弥散圆直径c、对焦点坐标的方法为用EXIF信息查看软件。
进一步的,计算相机的对焦距离时,采用的方法如下:
从相机的中心o出发,通过图像中的对焦点像素,发一条射线,求其与物体表面的第一个交点p,这个交点p到相机中心o的距离就是相机的对焦距离s。
进一步的,计算相机的前景深、后景深时,采用的公式如下:
超焦距H=f2/(Nc)+f
前景深dn=s(H-f)/(H+s-2f)
后景深df=s(H-f)/(H-s)
进一步的,判断像素位于失焦模糊区域的方法如下:
对照片中的每个像素,从相机的中心o出发,发一条射线,寻找与物体表面的第一个交点,如果交点的深度值d>df或d<dn,则认为这个像素位于失焦模糊区域。
进一步的,将位于失焦模糊区域分割后的图像对三维模型进行纹理映射。
本发明的有益效果:
本发明在基于多视角立体技术的三维重建中,利用多视角立体技术标定的相机参数和保存在数码照片中的EXIF信息,判断图像中的每个像素是否位于失焦模糊区域。利用分割后的图像对三维模型进行纹理映射,可以得到清晰的纹理。
附图说明
图1为本发明的实施的流程图;
图2为拍摄的一张照片;
图3为把失焦模糊区域(黑色)分割后的结果。
具体实施方式:
下面结合附图对本发明进行详细说明:
图1为本发明的实施流程图,如图1所示,本发明的实现过程如下:
(1)该方法需要用多视角立体重建软件标定相机、建立物体的三维数字模型。标定得到照相机的内外参数。
(2)用EXIF信息查看软件读取保存在照片中的焦距f、光圈值N、弥散圆直径c、对焦点坐标;
(3)从相机的中心o出发,通过图像中的对焦点像素,发一条射线,求其与物体表面的第一个交点p,这个交点p到相机中心o的距离就是相机的对焦距离s。计算相机的超焦距H=f2/(Nc)+f,前景深dn=s(H-f)/(H+s-2f),后景深df=s(H-f)/(H-s);
(4)对图像中的每个像素,从相机的中心o出发,发一条射线,寻找与物体表面的第一个交点,如果交点的深度值d>df或d<dn,则认为这个像素位于失焦模糊区域。
从图2、图3的对比,可以看出原始图像中处于失焦模糊的区域被分割出来。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.多视角三维重建中图像失焦模糊区域的分割方法,其特征是,包括以下步骤:
标定相机、建立三维数字模型;
读取保存在照片中的焦距、光圈值、弥散圆直径、对焦点坐标;
计算相机的对焦距离;
计算相机的前景深、后景深;
对每个像素,寻找物体表面上的对应点,如果对应点的深度值位于相机的景深范围之外,则认为这个像素位于失焦模糊区域。
2.如权利要求1所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,标定相机、建立三维数字模型的方法为用多视角三维重建软件进行处理。
3.如权利要求1所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,读取照片中的焦距f、光圈值N、弥散圆直径c、对焦点坐标的方法为用EXIF信息查看软件。
4.如权利要求3所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,计算相机的对焦距离时,采用的方法如下:
从相机的中心o出发,通过图像中的对焦点像素,发一条射线,求其与物体表面的第一个交点p,这个交点p到相机中心o的距离就是相机的对焦距离s。
5.如权利要求4所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,计算相机的前景深、后景深时,采用的公式如下:
超焦距H=f2/(Nc)+f
前景深dn=s(H-f)/(H+s-2f)
后景深df=s(H-f)/(H-s)。
6.如权利要求1所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,判断像素位于失焦模糊区域的方法如下:
对照片中的每个像素,从相机的中心o出发,发一条射线,寻找与物体表面的第一个交点,如果交点的深度值d>df或d<dn,则认为这个像素位于失焦模糊区域。
7.如权利要求1或6所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,将位于失焦模糊区域分割后的图像对三维模型进行纹理映射。
CN201611020280.8A 2016-11-17 2016-11-17 多视角三维重建中图像失焦模糊区域的分割方法 Expired - Fee Related CN106651870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611020280.8A CN106651870B (zh) 2016-11-17 2016-11-17 多视角三维重建中图像失焦模糊区域的分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611020280.8A CN106651870B (zh) 2016-11-17 2016-11-17 多视角三维重建中图像失焦模糊区域的分割方法

Publications (2)

Publication Number Publication Date
CN106651870A true CN106651870A (zh) 2017-05-10
CN106651870B CN106651870B (zh) 2020-03-24

Family

ID=58807728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611020280.8A Expired - Fee Related CN106651870B (zh) 2016-11-17 2016-11-17 多视角三维重建中图像失焦模糊区域的分割方法

Country Status (1)

Country Link
CN (1) CN106651870B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918948A (zh) * 2017-11-02 2018-04-17 深圳市自由视像科技有限公司 4d视频渲染方法
CN108550182A (zh) * 2018-03-15 2018-09-18 维沃移动通信有限公司 一种三维建模方法和终端
CN109685853A (zh) * 2018-11-30 2019-04-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110136237A (zh) * 2019-05-21 2019-08-16 武汉珞图数字科技有限公司 图像处理方法、装置、存储介质及电子设备
CN110807745A (zh) * 2019-10-25 2020-02-18 北京小米智能科技有限公司 图像处理方法及装置、电子设备
CN110889410A (zh) * 2018-09-11 2020-03-17 苹果公司 浅景深渲染中语义分割的稳健用途
CN110929756A (zh) * 2019-10-23 2020-03-27 广物智钢数据服务(广州)有限公司 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质
WO2021120120A1 (en) * 2019-12-19 2021-06-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, method of controlling electric device, and computer readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497494A (zh) * 2002-10-17 2004-05-19 精工爱普生株式会社 用于低景深图像分割的方法和装置
CN1652010A (zh) * 2004-02-02 2005-08-10 光宝科技股份有限公司 撷取不失焦影像的影像撷取装置与方法
US20150215615A1 (en) * 2014-01-28 2015-07-30 Altek Semiconductor Corp. Image capturing device and method for calibrating image defection thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497494A (zh) * 2002-10-17 2004-05-19 精工爱普生株式会社 用于低景深图像分割的方法和装置
CN1652010A (zh) * 2004-02-02 2005-08-10 光宝科技股份有限公司 撷取不失焦影像的影像撷取装置与方法
US20150215615A1 (en) * 2014-01-28 2015-07-30 Altek Semiconductor Corp. Image capturing device and method for calibrating image defection thereof

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918948A (zh) * 2017-11-02 2018-04-17 深圳市自由视像科技有限公司 4d视频渲染方法
CN108550182A (zh) * 2018-03-15 2018-09-18 维沃移动通信有限公司 一种三维建模方法和终端
CN110889410B (zh) * 2018-09-11 2023-10-03 苹果公司 浅景深渲染中语义分割的稳健用途
CN110889410A (zh) * 2018-09-11 2020-03-17 苹果公司 浅景深渲染中语义分割的稳健用途
CN109685853A (zh) * 2018-11-30 2019-04-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110136237A (zh) * 2019-05-21 2019-08-16 武汉珞图数字科技有限公司 图像处理方法、装置、存储介质及电子设备
CN110929756A (zh) * 2019-10-23 2020-03-27 广物智钢数据服务(广州)有限公司 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质
CN110929756B (zh) * 2019-10-23 2022-09-06 广物智钢数据服务(广州)有限公司 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质
CN110807745B (zh) * 2019-10-25 2022-09-16 北京小米智能科技有限公司 图像处理方法及装置、电子设备
CN110807745A (zh) * 2019-10-25 2020-02-18 北京小米智能科技有限公司 图像处理方法及装置、电子设备
WO2021120120A1 (en) * 2019-12-19 2021-06-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, method of controlling electric device, and computer readable storage medium
CN114902646A (zh) * 2019-12-19 2022-08-12 Oppo广东移动通信有限公司 电子设备、控制电子设备的方法以及计算机可读存储介质
CN114902646B (zh) * 2019-12-19 2024-04-19 Oppo广东移动通信有限公司 电子设备、控制电子设备的方法以及计算机可读存储介质

Also Published As

Publication number Publication date
CN106651870B (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN106651870A (zh) 多视角三维重建中图像失焦模糊区域的分割方法
US10867430B2 (en) Method and system of 3D reconstruction with volume-based filtering for image processing
CN106600686B (zh) 一种基于多幅未标定图像的三维点云重建方法
EP3134868B1 (en) Generation and use of a 3d radon image
CN104778656B (zh) 基于球面透视投影的鱼眼图像校正方法
JP2020535758A (ja) 画像処理方法、装置、及び、デバイス
US20150146032A1 (en) Light field processing method
WO2019105261A1 (zh) 背景虚化处理方法、装置及设备
CN105282421B (zh) 一种去雾图像获取方法、装置及终端
CN106447602A (zh) 一种图像拼接方法及装置
JP2016537901A (ja) ライトフィールド処理方法
CN110176032A (zh) 一种三维重建方法及装置
CN109769110B (zh) 一种3d小行星动态图的生成方法、装置及便携式终端
US20230328400A1 (en) Auxiliary focusing method, apparatus, and system
CN105139336B (zh) 一种多通道全景影像转换球幕鱼眼影片的方法
CN111311481A (zh) 背景虚化方法、装置、终端设备及存储介质
US20200202495A1 (en) Apparatus and method for dynamically adjusting depth resolution
CN108564654B (zh) 三维大场景的画面进入方式
Liu et al. Stereo-based bokeh effects for photography
US11551368B2 (en) Electronic devices, methods, and computer program products for controlling 3D modeling operations based on pose metrics
Liu et al. Fog effect for photography using stereo vision
CN107845108A (zh) 一种光流值计算方法、装置及电子设备
CN112150621A (zh) 基于正射投影的鸟瞰图生成方法、系统及存储介质
EP3671624A1 (en) Target object elimination method based on panoramic camera
CN111369612A (zh) 一种三维点云图像生成方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200324

Termination date: 20211117

CF01 Termination of patent right due to non-payment of annual fee