CN106934110B - 一种由聚焦堆栈重建光场的反投影方法和装置 - Google Patents
一种由聚焦堆栈重建光场的反投影方法和装置 Download PDFInfo
- Publication number
- CN106934110B CN106934110B CN201710090372.1A CN201710090372A CN106934110B CN 106934110 B CN106934110 B CN 106934110B CN 201710090372 A CN201710090372 A CN 201710090372A CN 106934110 B CN106934110 B CN 106934110B
- Authority
- CN
- China
- Prior art keywords
- light field
- plane
- stack
- dimensional
- dimensional light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/10—Numerical modelling
Abstract
本发明公开了一种由聚焦堆栈重建光场的滤波反投影方法和装置,主要包括:给出四维光场与聚焦堆栈的几何关系,建立由光场形成聚焦堆栈的投影模型,形成投影算子;以投影模型为基础,建立四维光场与聚焦堆栈的频域关系,形成傅立叶切片关系;基于傅立叶切片关系,建立由聚焦堆栈重建光场的滤波反投影和卷积反投影方法;选取优化的滤波函数和卷积函数重建光场。本发明的聚焦堆栈是探测器和镜头相对移动采集得到的图像序列,通过选取优化的滤波函数和卷积函数,可重建出高精度的四维光场。四维光场可实现相机拍摄视角下的三维重构,可以为虚拟现实和几何测量提供精确的三维结构信息。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域,尤其涉及一种由聚焦堆栈重建光场的反投影方法和装置。
背景技术
光场成像已成为计算成像和计算机视觉的重要手段。光场采集与获取已成为一个重要的研究领域。近年来,对光场数据获取方法不断涌现:一种方法是直接获取方式,即通过对光学器件的设计,如设计微透镜阵列的光场相机、相机阵列和镜头阵列等,然后直接由这些设计好的光学器件获得光场数据;另一类方法是间接获取方式,用普通相机采集图像序列,并对图像序列进行后计算处理,以重建得到光场数据。但是,对于获取四维光场数据,现有技术中通常使用直接获取方法,但这种方法的采集设备体积庞大,参数固定,成本偏高。急需一种便携性好灵活性高的获取方式。
发明内容
本发明的目的在于提供一种由聚焦堆栈重建光场的滤波反投影方法和装置,由聚焦堆栈重建四维光场的滤波反投影和卷积反投影方法。
为实现上述目的,本发明提供一种由聚焦堆栈重建光场的反投影方法,所述方法包括:建立四维光场,形成聚焦堆栈的投影模型,以形成投影算子,其中的所述聚焦堆栈是所述四维光场的二维投影;建立四维光场与聚焦堆栈的频域关系,形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系;对于聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数,对于聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数;根据所述滤波函数或者所述卷积函数,重建四维光场。
其中,E(Dx,x′,y′)为聚焦堆栈平面图像,为四维光场,(u,v)为光轴移动透镜坐标,(x,y)为探测器坐标,(u,v)平面移动到(u′,v′)平面,(x,y)平面移动到(x′,y′)平面,D0为(u,v)平面和(x,y)平面的距离,Dx为(u,v)平面和(x’,y’)平面的距离,Du为(u‘,v’)平面和(x,y)平面的距离,为双平面(u′,v′)和(x′,y′)参数化表示下的光场。
进一步地,所述聚焦堆栈平面图像的傅立叶变换对应频域的切片关系为:
进一步地,所述聚焦堆栈重建四维光场的滤波反投影方法为:
进一步地,所述由聚焦堆栈重建四维光场的卷积反投影方法为:
本发明还提供一种由聚焦堆栈重建光场的反投影装置,所述装置包括:第一构建模块,用于建立四维光场形成聚焦堆栈的投影模型,所述聚焦堆栈是所述四维光场的二维投影,形成投影算子;第二构建模块,用于建立四维光场与聚焦堆栈的频域关系,形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系;投影模块,用于根据所述第二构建模块得到的切片关系,对于聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数,或者对于聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数;重建模块,用于根据所述投影模块得到所述滤波函数或者所述卷积函数,重建四维光场。
其中,E(Dx,x′,y′)为聚焦堆栈平面图像,为四维光场,(u,v)为光轴移动透镜坐标,(x,y)为探测器坐标,(u,v)平面移动到(u′,v′)平面,(x,y)平面移动到(x′,y′)平面,D0为(u,v)平面和(x,y)平面的距离,Dx为(u,v)平面和(x’,y’)平面的距离,Du为(u‘,v’)平面和(x,y)平面的距离。
进一步地,第二构建模块形成的所述聚焦堆栈平面图像的傅立叶变换对应频域的切片关系为:
进一步地,所述投影模块包括滤波反投影单元,所述滤波反投影单元中的四维光场重建公式为:
进一步地,所述所述投影模块包括卷积反投影单元,所述卷积反投影单元中的四维光场重建公式为:
本发明提供的由聚焦堆栈重建四维光场的反投影方法,利用滤波函数或卷积函数构建四维光场,能够重建出高精度的四维光场。四维光场可实现相机拍摄视角下的三维重构,可以为虚拟现实和几何测量提供精确的三维结构信息。本发明对数据的采集更加灵活,可针对不同场景设计采集方式,且可重建任意角度分辨率的光场。利用由聚焦堆栈重建光场的滤波(卷积)反投影方法和装置,满足现有技术中对现有光场成像技术中对光场的需求。
附图说明
图1是根据本发明第一实施例提供的由聚焦堆栈重建光场的滤波反投影方法的流程图。
图2是根据本发明第一实施例提供的相机拍摄的聚焦堆栈的示意图。
图3是根据本发明第一实施例提供的光场形成聚焦堆栈的原理图;
图4是根据本发明第二实施例提供的由聚焦堆栈重建光场的滤波反投影装置的结构示意图。
具体实施方式
在附图中,使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
在本发明的描述中,术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明保护范围的限制。
如图1所示,本实施例所提供的由聚焦堆栈重建光场的滤波反投影方法包括:
其中:光场重建的正问题为由四维光场形成聚焦堆栈,聚焦堆栈是一组聚焦在不同成像平面或采用不同参数拍摄的成像序列,本实施方式中的聚焦堆栈为一组聚焦在不同成像平面的成像序列。具体地,本实施方式以沿光轴同步移动透镜和/或探测器完成聚焦堆栈采集为例,说明重建光场的具体实施方法。
如图2所示,图2的左侧包括Focus Plane1和Focus Plane2,示出的是场景中的两个物面位置,Focus Plane1对应的物面位置是(x,y)平面,Focus Plane2对应的物面位置是(x′,y′)平面。右侧包括S1和S2,示出的是像方的两个平面。中间包括Lens1和Lens2,示出的是透镜所在的两个平面位置,Lens1对应的物面是(u,v)平面,Lens2对应的物面是(u‘,v’)平面。
如图2所示,采集聚焦堆栈的过程为:通过沿着光轴移动透镜或探测器,即如图2中示出地,透镜从(u,v)平面移动到(u′,v′)平面,探测器平面对应的物面从(x,y)平面移动到(x′,y′)平面,(u,v)平面经由(u,v)平面在S1平面上成像,(u′,v′)平面经由(u′,v′)平面在S2平面上成像。当然,本实施例提供的方法同样可以应用于其他类似方式聚焦堆栈采集的场景。
如图3所示,(u,v)平面和(x,y)平面的距离为D0,(u,v)平面和(x’,y’)平面的距离为Dx,(u‘,v’)平面和(x,y)平面的距离为Du。例如,聚焦堆栈E(Dx,x′,y′)是四维光场在(x′,y′)平面的二维投影。是光线的辐亮度。
步骤103:聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数,聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数。
因为dωudωx=|J1|dωx′dDx,dωvdωy=|J2|dωy′dDx,J1和J2为雅克比行列式,具体为:
再利用步骤102中获得的聚焦堆栈平面图像的傅立叶变换对应频域的切片关系,获得滤波函数和卷积函数,具体获得方法如下:
根据上述公式,建立由聚焦堆栈重建四维光场的滤波反投影方法,得到滤波函数,滤波函数的表达式为
H(ωx′,ωy′)=|ωx′||ωy′|
根据上述公式,建立由聚焦堆栈重建四维光场的卷积反投影方法,得到卷积,卷积函数的表达式为:
步骤104:根据滤波函数或卷积函数,重建四维光场。
比如:利用滤波函数H(ωx′,ωy′),重建四维光场,重建公式为:
还比如:利用卷积函数h(x′,y′),重建四维光场,重建公式为:
具体地,本实施方式选取优化的滤波函数和卷积函数,重建高精度光场,具体通过选取正弦滤波器及对应的卷积函数实现。
本发明提供的一种由聚焦堆栈重建光场的滤波反投影方法,选取优化的滤波函数或卷积函数,能够重建出高精度的四维光场,可以为现有的成像技术提供光场数据。四维光场可实现相机拍摄视角下的三维重构,可以为虚拟现实和几何测量提供精确的三维结构信息。
如图4所示,本实施方式还提供一种由聚焦堆栈重建光场的滤波反投影装置,所述装置包括:
第一构建模块201,用于建立四维光场形成聚焦堆栈的投影模型,聚焦堆栈是所述四维光场的二维投影,形成投影算子;
第二构建模块202,用于建立四维光场与聚焦堆栈的频域关系,形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系;
投影模块203,用于根据第二构建模块202得到的切片关系,聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数,聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数;
重建模块204,用于根据投影模块203得到滤波函数和卷积函数,重建四维光场。
其中,投影模块203包括滤波反投影单元和卷积反投影单元,所述滤波反投影单元中的四维光场重建公式为:
所述卷积反投影单元中的四维光场重建公式为:
本发明提供的一种由聚焦堆栈重建光场的滤波反投影装置,聚焦堆栈重建四维光场的滤波反投影方法和卷积反投影方法,得到用滤波函数和卷积函数,利用滤波函数和卷积函数构建四维光场,重建出高精度的四维光场。四维光场可实现相机拍摄视角下的三维重构,可以为虚拟现实和几何测量提供精确的三维结构信息。
最后需要指出的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。本领域的普通技术人员应当理解:可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种由聚焦堆栈重建光场的反投影方法,其特征在于,所述方法包括:
建立四维光场,形成聚焦堆栈的投影模型,以形成投影算子,其中的所述聚焦堆栈是所述四维光场的二维投影;
建立四维光场与聚焦堆栈的频域关系,形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系;
对于聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数,或者对于聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数;
根据所述滤波函数或者所述卷积函数,重建四维光场,
5.一种由聚焦堆栈重建光场的反投影装置,其特征在于,所述装置包括:
第一构建模块,用于建立四维光场形成聚焦堆栈的投影模型,所述聚焦堆栈是所述四维光场的二维投影,形成投影算子;
第二构建模块,用于建立四维光场与聚焦堆栈的频域关系,形成聚焦堆栈平面图像的傅立叶变换对应频域的切片关系;
投影模块,用于根据所述第二构建模块得到的切片关系,对于聚焦堆栈重建四维光场的滤波反投影方法得到滤波函数,或者对于聚焦堆栈重建四维光场的卷积反投影方法得到卷积函数;
重建模块,用于根据所述投影模块得到的所述滤波函数或所述卷积函数,重建四维光场,
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2016111547459 | 2016-12-14 | ||
CN201611154745 | 2016-12-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106934110A CN106934110A (zh) | 2017-07-07 |
CN106934110B true CN106934110B (zh) | 2021-02-26 |
Family
ID=59423673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710090372.1A Active CN106934110B (zh) | 2016-12-14 | 2017-02-20 | 一种由聚焦堆栈重建光场的反投影方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106934110B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107577642B (zh) * | 2017-08-25 | 2020-06-23 | 深圳中科乐普医疗技术有限公司 | 一种剪切波方向滤波实现方法及医用超声波设备 |
CN111080774B (zh) * | 2019-12-16 | 2020-09-15 | 首都师范大学 | 一种应用深度采样进行光场重构的方法及系统 |
CN116777750B (zh) * | 2023-07-31 | 2023-12-26 | 山东黄河三角洲国家级自然保护区管理委员会 | 一种基于视差维滤波的聚焦堆栈视差维超分辨方法和装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0543573A2 (en) * | 1991-11-20 | 1993-05-26 | Exxon Research And Engineering Company | Producing projected two-dimensional representations of three-dimensional data sets |
CN100495439C (zh) * | 2005-11-21 | 2009-06-03 | 清华大学 | 采用直线轨迹扫描的图像重建系统和方法 |
CN101514930B (zh) * | 2009-04-03 | 2010-09-29 | 昆明理工大学 | 一种角分复用的数字全息光弹二维应力场实时检测方法 |
KR101089745B1 (ko) * | 2009-12-14 | 2011-12-07 | 삼성메디슨 주식회사 | 초음파 3차원 영상 복원 방법 및 그 초음파 시스템 |
CN102419866B (zh) * | 2010-09-27 | 2013-08-21 | 北京农业智能装备技术研究中心 | 用于ct图像断层重建的滤波函数建立方法及断层重建方法 |
CN102004111B (zh) * | 2010-09-28 | 2012-09-19 | 北京航空航天大学 | 一种倾斜多锥束直线轨迹ct成像方法 |
CN102595171B (zh) * | 2012-02-03 | 2014-05-14 | 浙江工商大学 | 一种多通道空时编码孔径的动态光场成像方法和成像系统 |
CN103714578A (zh) * | 2014-01-24 | 2014-04-09 | 中国人民解放军信息工程大学 | 针对半覆盖螺旋锥束ct的单层重排滤波反投影重建方法 |
CN104851080B (zh) * | 2015-05-08 | 2017-11-17 | 浙江大学 | 一种基于tv的三维pet图像重建方法 |
CN105118039B (zh) * | 2015-09-17 | 2018-04-10 | 广州华端科技有限公司 | 实现锥束ct图像重建的方法及系统 |
CN105704476B (zh) * | 2016-01-14 | 2018-03-20 | 东南大学 | 一种基于边缘修复的虚拟视点图像频域快速获取方法 |
CN105739091B (zh) * | 2016-03-16 | 2018-10-12 | 中国人民解放军国防科学技术大学 | 一种可减弱大气湍流影响的成像方法及装置 |
CN105893979A (zh) * | 2016-04-26 | 2016-08-24 | 安智(上海)汽车零部件有限公司 | 基于光场成像技术的交通标示智能识别系统及方法 |
-
2017
- 2017-02-20 CN CN201710090372.1A patent/CN106934110B/zh active Active
Non-Patent Citations (1)
Title |
---|
基于光场相机深度信息获取技术的研究;赵兴荣;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140815(第8期);第I138-1456页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106934110A (zh) | 2017-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111462213B (zh) | 一种在运动过程中获取物体3d坐标及尺寸的设备及方法 | |
CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
CN111292364B (zh) | 一种三维模型构建过程中图像快速匹配的方法 | |
KR101893047B1 (ko) | 이미지 처리 방법 및 이미지 처리 장치 | |
CN111442721B (zh) | 一种基于多激光测距和测角的标定设备及方法 | |
JP5739584B2 (ja) | 車両周辺視角化のための3次元映像合成装置およびその方法 | |
CN111429523B (zh) | 一种在3d建模中远距离标定方法 | |
JP4825971B2 (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
CN111238374B (zh) | 一种基于坐标测量的三维模型构建及测量方法 | |
CN111060008B (zh) | 一种3d智能视觉设备 | |
CN111076674B (zh) | 一种近距离目标物3d采集设备 | |
CN111445529B (zh) | 一种基于多激光测距的标定设备及方法 | |
CN113267141B (zh) | 一种显微三维信息采集设备 | |
CN106934110B (zh) | 一种由聚焦堆栈重建光场的反投影方法和装置 | |
CN111445528B (zh) | 一种在3d建模中多相机共同标定方法 | |
CN111340959B (zh) | 一种基于直方图匹配的三维模型无缝纹理贴图方法 | |
CN111080774B (zh) | 一种应用深度采样进行光场重构的方法及系统 | |
EP3311214B1 (en) | An apparatus and a method for obtaining a registration error map representing a level of sharpness of an image | |
CN108492254B (zh) | 图像采集系统及方法 | |
CN111325780B (zh) | 一种基于图像筛选的3d模型快速构建方法 | |
CN106937044B (zh) | 不完备数据下由聚焦堆栈重建光场的代数迭代方法和装置 | |
JP2005078554A (ja) | 魚眼カメラ運動と3次元情報の復元方法、装置、および、その方法を実行するプログラムを記録した記録媒体 | |
JP2003271925A (ja) | 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |