CN106651870A - 多视角三维重建中图像失焦模糊区域的分割方法 - Google Patents
多视角三维重建中图像失焦模糊区域的分割方法 Download PDFInfo
- Publication number
- CN106651870A CN106651870A CN201611020280.8A CN201611020280A CN106651870A CN 106651870 A CN106651870 A CN 106651870A CN 201611020280 A CN201611020280 A CN 201611020280A CN 106651870 A CN106651870 A CN 106651870A
- Authority
- CN
- China
- Prior art keywords
- camera
- dimensional
- focus
- depth
- fuzzy region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了多视角三维重建中图像失焦模糊区域的分割方法,包括以下步骤:标定相机、建立三维数字模型;读取保存在照片中的焦距、光圈值、弥散圆直径、对焦点坐标;计算相机的对焦距离;计算相机的前景深、后景深;对每个像素,寻找物体表面上的对应点,如果对应点的深度值位于相机的景深范围之外,则认为这个像素位于失焦模糊区域。利用分割后的图像对三维模型进行纹理映射,可以得到清晰的纹理。
Description
技术领域
本发明涉及多视角三维重建领域,具体涉及多视角三维重建中图像失焦模糊区域的分割方法。
背景技术
物体的三维数字模型广泛应用于动漫、游戏、影视、考古、建筑等领域。基于多视角立体技术的三维重建方法利用从不同角度用数码相机拍摄的照片,在计算机中通过软件标定相机、生成点云、网格化模型、纹理映射,计算得到物体表面的三维数字模型。目前,多视角三维重建技术逐渐成熟,出现了多款免费和商品化软件,由于价格低、操作简单、适用范围广,在很多领域得到了广泛应用。
受数码相机景深的影响,照片中普遍存在一定的失焦模糊区域,特别是使用大光圈、长焦镜头和近距摄影时,失焦模糊现象尤为严重。如果使用照片中的失焦模糊区域对三维数字模型进行纹理映射,就会导致三维数字模型的纹理不清晰,影响三维数字模型的质量和效果。
发明内容
为解决现有技术存在的不足,本发明公开了多视角三维重建中图像失焦模糊区域的分割方法,本发明的目的是:利用多视角立体技术标定的相机参数和保存在数码照片中的EXIF信息,计算相机的前、后景深;对于图像中的每个像素,寻找物体表面上的对应点;如果对应点位于景深之外,则认为这个像素位于失焦模糊区域。这样,在对三维数字模型进行纹理映射时,就可以排除失焦模糊区域,得到清晰的纹理。
为实现上述目的,本发明的具体方案如下:
多视角三维重建中图像失焦模糊区域的分割方法,包括以下步骤:
标定相机、建立三维数字模型;
读取保存在照片中的焦距、光圈值、弥散圆直径、对焦点坐标;
计算相机的对焦距离;
计算相机的前景深、后景深;
对每个像素,寻找物体表面上的对应点,如果对应点的深度值位于相机的景深范围之外,则认为这个像素位于失焦模糊区域。
进一步的,标定相机、建立三维数字模型的方法为用多视角三维重建软件进行处理。
进一步的,读取照片中的焦距f、光圈值N、弥散圆直径c、对焦点坐标的方法为用EXIF信息查看软件。
进一步的,计算相机的对焦距离时,采用的方法如下:
从相机的中心o出发,通过图像中的对焦点像素,发一条射线,求其与物体表面的第一个交点p,这个交点p到相机中心o的距离就是相机的对焦距离s。
进一步的,计算相机的前景深、后景深时,采用的公式如下:
超焦距H=f2/(Nc)+f
前景深dn=s(H-f)/(H+s-2f)
后景深df=s(H-f)/(H-s)
进一步的,判断像素位于失焦模糊区域的方法如下:
对照片中的每个像素,从相机的中心o出发,发一条射线,寻找与物体表面的第一个交点,如果交点的深度值d>df或d<dn,则认为这个像素位于失焦模糊区域。
进一步的,将位于失焦模糊区域分割后的图像对三维模型进行纹理映射。
本发明的有益效果:
本发明在基于多视角立体技术的三维重建中,利用多视角立体技术标定的相机参数和保存在数码照片中的EXIF信息,判断图像中的每个像素是否位于失焦模糊区域。利用分割后的图像对三维模型进行纹理映射,可以得到清晰的纹理。
附图说明
图1为本发明的实施的流程图;
图2为拍摄的一张照片;
图3为把失焦模糊区域(黑色)分割后的结果。
具体实施方式:
下面结合附图对本发明进行详细说明:
图1为本发明的实施流程图,如图1所示,本发明的实现过程如下:
(1)该方法需要用多视角立体重建软件标定相机、建立物体的三维数字模型。标定得到照相机的内外参数。
(2)用EXIF信息查看软件读取保存在照片中的焦距f、光圈值N、弥散圆直径c、对焦点坐标;
(3)从相机的中心o出发,通过图像中的对焦点像素,发一条射线,求其与物体表面的第一个交点p,这个交点p到相机中心o的距离就是相机的对焦距离s。计算相机的超焦距H=f2/(Nc)+f,前景深dn=s(H-f)/(H+s-2f),后景深df=s(H-f)/(H-s);
(4)对图像中的每个像素,从相机的中心o出发,发一条射线,寻找与物体表面的第一个交点,如果交点的深度值d>df或d<dn,则认为这个像素位于失焦模糊区域。
从图2、图3的对比,可以看出原始图像中处于失焦模糊的区域被分割出来。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.多视角三维重建中图像失焦模糊区域的分割方法,其特征是,包括以下步骤:
标定相机、建立三维数字模型;
读取保存在照片中的焦距、光圈值、弥散圆直径、对焦点坐标;
计算相机的对焦距离;
计算相机的前景深、后景深;
对每个像素,寻找物体表面上的对应点,如果对应点的深度值位于相机的景深范围之外,则认为这个像素位于失焦模糊区域。
2.如权利要求1所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,标定相机、建立三维数字模型的方法为用多视角三维重建软件进行处理。
3.如权利要求1所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,读取照片中的焦距f、光圈值N、弥散圆直径c、对焦点坐标的方法为用EXIF信息查看软件。
4.如权利要求3所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,计算相机的对焦距离时,采用的方法如下:
从相机的中心o出发,通过图像中的对焦点像素,发一条射线,求其与物体表面的第一个交点p,这个交点p到相机中心o的距离就是相机的对焦距离s。
5.如权利要求4所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,计算相机的前景深、后景深时,采用的公式如下:
超焦距H=f2/(Nc)+f
前景深dn=s(H-f)/(H+s-2f)
后景深df=s(H-f)/(H-s)。
6.如权利要求1所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,判断像素位于失焦模糊区域的方法如下:
对照片中的每个像素,从相机的中心o出发,发一条射线,寻找与物体表面的第一个交点,如果交点的深度值d>df或d<dn,则认为这个像素位于失焦模糊区域。
7.如权利要求1或6所述的多视角三维重建中图像失焦模糊区域的分割方法,其特征是,将位于失焦模糊区域分割后的图像对三维模型进行纹理映射。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611020280.8A CN106651870B (zh) | 2016-11-17 | 2016-11-17 | 多视角三维重建中图像失焦模糊区域的分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611020280.8A CN106651870B (zh) | 2016-11-17 | 2016-11-17 | 多视角三维重建中图像失焦模糊区域的分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106651870A true CN106651870A (zh) | 2017-05-10 |
CN106651870B CN106651870B (zh) | 2020-03-24 |
Family
ID=58807728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611020280.8A Expired - Fee Related CN106651870B (zh) | 2016-11-17 | 2016-11-17 | 多视角三维重建中图像失焦模糊区域的分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106651870B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107918948A (zh) * | 2017-11-02 | 2018-04-17 | 深圳市自由视像科技有限公司 | 4d视频渲染方法 |
CN108550182A (zh) * | 2018-03-15 | 2018-09-18 | 维沃移动通信有限公司 | 一种三维建模方法和终端 |
CN109685853A (zh) * | 2018-11-30 | 2019-04-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN110136237A (zh) * | 2019-05-21 | 2019-08-16 | 武汉珞图数字科技有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110807745A (zh) * | 2019-10-25 | 2020-02-18 | 北京小米智能科技有限公司 | 图像处理方法及装置、电子设备 |
CN110889410A (zh) * | 2018-09-11 | 2020-03-17 | 苹果公司 | 浅景深渲染中语义分割的稳健用途 |
CN110929756A (zh) * | 2019-10-23 | 2020-03-27 | 广物智钢数据服务(广州)有限公司 | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 |
WO2021120120A1 (en) * | 2019-12-19 | 2021-06-24 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Electric device, method of controlling electric device, and computer readable storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1497494A (zh) * | 2002-10-17 | 2004-05-19 | 精工爱普生株式会社 | 用于低景深图像分割的方法和装置 |
CN1652010A (zh) * | 2004-02-02 | 2005-08-10 | 光宝科技股份有限公司 | 撷取不失焦影像的影像撷取装置与方法 |
US20150215615A1 (en) * | 2014-01-28 | 2015-07-30 | Altek Semiconductor Corp. | Image capturing device and method for calibrating image defection thereof |
-
2016
- 2016-11-17 CN CN201611020280.8A patent/CN106651870B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1497494A (zh) * | 2002-10-17 | 2004-05-19 | 精工爱普生株式会社 | 用于低景深图像分割的方法和装置 |
CN1652010A (zh) * | 2004-02-02 | 2005-08-10 | 光宝科技股份有限公司 | 撷取不失焦影像的影像撷取装置与方法 |
US20150215615A1 (en) * | 2014-01-28 | 2015-07-30 | Altek Semiconductor Corp. | Image capturing device and method for calibrating image defection thereof |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107918948A (zh) * | 2017-11-02 | 2018-04-17 | 深圳市自由视像科技有限公司 | 4d视频渲染方法 |
CN108550182A (zh) * | 2018-03-15 | 2018-09-18 | 维沃移动通信有限公司 | 一种三维建模方法和终端 |
CN110889410B (zh) * | 2018-09-11 | 2023-10-03 | 苹果公司 | 浅景深渲染中语义分割的稳健用途 |
CN110889410A (zh) * | 2018-09-11 | 2020-03-17 | 苹果公司 | 浅景深渲染中语义分割的稳健用途 |
CN109685853A (zh) * | 2018-11-30 | 2019-04-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN110136237A (zh) * | 2019-05-21 | 2019-08-16 | 武汉珞图数字科技有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110929756A (zh) * | 2019-10-23 | 2020-03-27 | 广物智钢数据服务(广州)有限公司 | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 |
CN110929756B (zh) * | 2019-10-23 | 2022-09-06 | 广物智钢数据服务(广州)有限公司 | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 |
CN110807745B (zh) * | 2019-10-25 | 2022-09-16 | 北京小米智能科技有限公司 | 图像处理方法及装置、电子设备 |
CN110807745A (zh) * | 2019-10-25 | 2020-02-18 | 北京小米智能科技有限公司 | 图像处理方法及装置、电子设备 |
WO2021120120A1 (en) * | 2019-12-19 | 2021-06-24 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Electric device, method of controlling electric device, and computer readable storage medium |
CN114902646A (zh) * | 2019-12-19 | 2022-08-12 | Oppo广东移动通信有限公司 | 电子设备、控制电子设备的方法以及计算机可读存储介质 |
CN114902646B (zh) * | 2019-12-19 | 2024-04-19 | Oppo广东移动通信有限公司 | 电子设备、控制电子设备的方法以及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106651870B (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106651870A (zh) | 多视角三维重建中图像失焦模糊区域的分割方法 | |
US10867430B2 (en) | Method and system of 3D reconstruction with volume-based filtering for image processing | |
CN106600686B (zh) | 一种基于多幅未标定图像的三维点云重建方法 | |
EP3134868B1 (en) | Generation and use of a 3d radon image | |
CN104778656B (zh) | 基于球面透视投影的鱼眼图像校正方法 | |
JP2020535758A (ja) | 画像処理方法、装置、及び、デバイス | |
US20150146032A1 (en) | Light field processing method | |
WO2019105261A1 (zh) | 背景虚化处理方法、装置及设备 | |
CN105282421B (zh) | 一种去雾图像获取方法、装置及终端 | |
CN106447602A (zh) | 一种图像拼接方法及装置 | |
JP2016537901A (ja) | ライトフィールド処理方法 | |
CN110176032A (zh) | 一种三维重建方法及装置 | |
CN109769110B (zh) | 一种3d小行星动态图的生成方法、装置及便携式终端 | |
US20230328400A1 (en) | Auxiliary focusing method, apparatus, and system | |
CN105139336B (zh) | 一种多通道全景影像转换球幕鱼眼影片的方法 | |
CN111311481A (zh) | 背景虚化方法、装置、终端设备及存储介质 | |
US20200202495A1 (en) | Apparatus and method for dynamically adjusting depth resolution | |
CN108564654B (zh) | 三维大场景的画面进入方式 | |
Liu et al. | Stereo-based bokeh effects for photography | |
US11551368B2 (en) | Electronic devices, methods, and computer program products for controlling 3D modeling operations based on pose metrics | |
Liu et al. | Fog effect for photography using stereo vision | |
CN107845108A (zh) | 一种光流值计算方法、装置及电子设备 | |
CN112150621A (zh) | 基于正射投影的鸟瞰图生成方法、系统及存储介质 | |
EP3671624A1 (en) | Target object elimination method based on panoramic camera | |
CN111369612A (zh) | 一种三维点云图像生成方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200324 Termination date: 20211117 |
|
CF01 | Termination of patent right due to non-payment of annual fee |