CN105425526B - 一种基于多个平面反射镜的三维场景获取装置 - Google Patents

一种基于多个平面反射镜的三维场景获取装置 Download PDF

Info

Publication number
CN105425526B
CN105425526B CN201510751327.7A CN201510751327A CN105425526B CN 105425526 B CN105425526 B CN 105425526B CN 201510751327 A CN201510751327 A CN 201510751327A CN 105425526 B CN105425526 B CN 105425526B
Authority
CN
China
Prior art keywords
camera
plane
plane mirror
dimensional scenic
plane mirrors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510751327.7A
Other languages
English (en)
Other versions
CN105425526A (zh
Inventor
王涌天
宋维涛
程德文
刘越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201510751327.7A priority Critical patent/CN105425526B/zh
Publication of CN105425526A publication Critical patent/CN105425526A/zh
Application granted granted Critical
Publication of CN105425526B publication Critical patent/CN105425526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography

Abstract

本发明公开了一种基于多个平面反射镜的三维场景获取装置，采用一个相机以及多个平面反射镜，即可获得三维场景。相比于主动三维场景获取装置，场景获取速度快，不受环境的照度不均匀等方面影响；相对于光场获取系统，由于在空间编码过程中使用多个平面反射镜，而平面反射镜不引入新的光学像差并且不降低通光率，从而不影响成像效果；同时本发明提供的装置便易于携带和加工，光场获取的区域不受照相机入瞳大小的限制，方便根据具体的需求调整光场获取的区域。根据本发明的三维场景的获取装置可应用于人机交互、三维场景重建、目标识别与跟踪。

Description

一种基于多个平面反射镜的三维场景获取装置
技术领域
本发明涉及三维重建技术领域，尤其涉及一种基于多个平面反射镜的便携式三维场景获取装置。
背景技术
用于人机交互、三维场景重建、目标识别与跟踪的三维场景获取装置由于提供三维场景的深度信息是近年成为热门产品。三维场景显示装置可以应用于如体感游戏、电影特效制作等娱乐应用，也可以应用于如科学研究、医疗/业务培训、飞行训练、沉浸式娱乐等高端应用。
三维场景信息获取方法可以使用主动三维测量来实现，该方法利用向三维物体投射结构编码光并且拍摄经过其表面调制发生变形的图像，利用携带物体表面三维信息的图像中计算出三维物体的外形信息的方法。基于这种方法，包括Steinbiehle GmbH公司、GOMGmbH公司以及北京天远三维科技有限公司等发明了多种三维扫描仪用以获取三维场景的轮廓信息，该方法一直用于工业检测、文物重建、人体测量领域。微软公司应XBOX360体感游戏的需求推出了kinect体感相机，利用主动发射激光编码光，并且进行快速解码，获取空间场景深度，一时间引起了业界和消费者的广泛关注。然而，这种基于结构编码光的三维场景获取装置只能提供三维场景的深度信息，并且由于其主动发光后再进行获取对于环境照明条件有很大要求，在室外环境或者远距离的场景效果并不好。
三维场景的获取与重建的方法是计算机领域的重要研究内容，并且发展出计算机视觉这一重要的学科方向，一直以来引起中外研究工作的广泛关注，最初科技工作者仿造人类双目的获取不同视差图像的方法，通过摄像机在不同的 视点相同物体拍摄有视差的图像，类似于人眼的瞳距，不同视点的距离被称为基线，通过有视差的图像计算场景的三维信息，该方法也称为立体视觉。立体视觉的实现方法的流程包括摄像机标定、视差图像获取、特征点提取、立体匹配、深度求取和插值拟合等六个过程。三维场景表面向四面八方发射光线，这些光线形成光场，随着计算技术、光电技术和加工制造技术的发展，人们对于三维信息的获取的需求已经不满足于简单深度图像的获取，在实际应用过程中需要三维场景全面的信息，因此，光场三维获取方法应运而生。
1996年Levoy和Hanrahan提出可以通过均匀分布在一个平面的摄像机阵列来实现，麻省理工大学、清华大学、南加州大学等研究机构根据这个思想设计并且实现了光场获取平台。这些光场获取平台由多台摄像机组成，体积和成本都限制了此类系统的发展，Liang设计了动态编码孔径用以取代机械式的移动，动态改变编码孔径实现了光场空间扫描，然而由于采用时间复用方法，系统无法获取动态光场信息。Ives和Lippmann在1903年和1908年分别提出使用光栅和集成摄影的方式将四维的光场信息记录在二维的摄像机上，这为后续的研究工作者们提供了通过空间编码的方式实现光场的记录。斯坦福大学Ng博士将微透镜阵列放置在照相机物镜和光学传感器之间，分析了空域和频域的三维重建方法，实现便携式Lytro光场相机并且推向市场；Raytrix公司也应用微透镜阵列推出Raytrix光场相机。除了微透镜阵列，微孔阵列同样可以实现空间编码的功能，Veeraraghavan等人在2007年根据光学外差技术设计了正弦和编码孔径，该编码空间将四维光场的频谱信息记录在二维光学传感器上并使用四维傅里叶变换将编码后的图像进行光场恢复。美国布朗大学Lanman博士在频谱编码孔径的基础上进行了优化，利用修改均匀冗余阵列(edUniformly Redundant Arrays,MURA)取代传统的编码结构，详细分析微孔阵列、正弦和阵列和MURA阵列结构，增加了光学透过率。现有的使用空间编码的方式实现光场的记录， 微透镜阵列会引入新的光学像差，而编码阵列的使用会降低光学透过率，事实上增加了主镜头的F数，都会降低图像的质量。
发明内容
有鉴于此，本发明提供了一种基于多个平面反射镜的便携式三维场景获取装置，可以方便的获取三维场景，降低实现难度。
为了解决上述技术问题，本发明是这样实现的：
本发明的一种基于多个平面反射镜的便携式三维场景获取装置，包括相机(1)和N个平面反射镜(2)；N至少取4；
所述N个平面反射镜(2)分别对待拍摄的三维物体成像，所成虚像位于所述相机(1)视场内；
所述相机(1)对所述虚像进行拍摄，得到的N个图像用以获取三维场景。
进一步的，还包括用于固定所述N个平面反射镜(2)的支撑结构(3)。
较佳的，所述N个平面反射镜(2)紧凑地拼接在所述支撑结构(3)上。
较佳的，N个平面反射镜(2)中两两平面反射镜(2)之间不发生遮挡。
较佳的，平面反射镜(2)与所述相机(1)的相对位置满足：相机(1)在各个平面反射镜(2)的虚像不进入自身的视场中。
较佳的，所述N取4，4个平面反射镜(2)在所述支撑结构(3)上以2×2阵列的形式拼接在一起。
较佳的，所述N取20，20个平面反射镜(2)在所述支撑结构(3)上以4×5阵列的形式拼接在一起。
本发明具有如下有益效果：
(1)本发明提供一种基于多个平面反射镜的三维场景获取装置，采用一个相机以及多个平面反射镜，即可获得三维场景。相比于主动三维场景获取装置，场景获取速度快，不受环境的照度不均匀等方面影响；相对于光场获取系统， 由于在空间编码过程中使用多个平面反射镜，而平面反射镜不引入新的光学像差并且不降低通光率，从而不影响成像效果；同时本发明提供的装置便易于携带和加工，光场获取的区域不受照相机入瞳大小的限制，方便根据具体的需求调整光场获取的区域。根据本发明的三维场景的获取装置可应用于人机交互、三维场景重建、目标识别与跟踪。
附图说明
图1是本发明的一种基于多个平面反射镜的便携式三维场景获取装置结构示意图。
图2是本发明中相机、多平面反射镜以及待拍摄的三维物体的位置关系图。
图3是本发明第一种实施案例中相机获取的空间三维光场图像。
图4是本发明基于实施例1的装置，使用数字重聚焦技术实现聚焦在三维场景不同深度的效果。
图5是本发明第二种实施案例中基于多个平面反射镜的便携式三维场景获取装置的结构示意图。
其中，1-相机，2-平面反射镜、3-支撑结构，4-待拍摄三维物体。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明的目的是提供一种基于多个平面反射镜2的三维场景获取装置，包括相机1和N个平面反射镜2；N至少取4。N个平面反射镜2分别对待拍摄的三维物体4成像，所成虚像位于所述相机1视场内；所述相机1对所述虚像进行拍摄，得到的N个图像用以获取三维场景。为方便安装，本发明的装置还包括用于固定所述N个平面反射镜2的支撑结构3，平面反射镜2紧凑地拼接在支撑结构3上。
该装置相比于主动三维场景获取装置，场景获取速度快，不受环境的照度不均匀等方面影响；相对于光场获取系统，由于在空间编码过程中使用多个平面反射镜2，而平面反射镜2不引入新的光学像差并且不降低通光率，从而不影响成像效果；同时本发明提供的方法便携易于加工，光场获取的区域不受照相机1入瞳大小的限制，方便根据具体的需求调整光场获取的区域。本发明提出的装置可以用于人机交互、三维场景重建、目标识别与跟踪的三维场景获取装置由于提供三维场景的深度信息是近年成为热门产品。三维场景显示装置可以应用于如体感游戏、电影特效制作等娱乐应用，也可以应用于如科学研究、医疗/业务培训、飞行训练、沉浸式娱乐等高端应用。
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施案例对于本发明作进一步的详细说明。
本发明提供的便携式三维场景获取装置的坐标系定义为：令相机1光心的位置为坐标原点O，光轴方向为Z轴，过O点平行于相机1的矩形图像平面定义为OXY平面，其中X轴和Y轴分别平行于所述矩形图像平面的两相邻边。
图1示出了根据本发明第一实施例的基于多个平面反射镜2的便携式三维场景获取装置，相机1位于坐标原点，二十个平面反射镜2在空间形成了4×5的平面反射镜阵列，该平面反射镜阵列固定在支撑结构3上，并且和相机1之间保证合理的相对关系，以相机1作为视点，多个平面反射镜2互不遮挡，使得反射镜2的镜面都用来反射三维物体，避免浪费镜面资源；同理，相机1不通过任何一个平面反射镜2看到自身，使相机1的视场尽量用来接收反射光线。相机1通过20个平面反射镜2形成20个虚像，相当于采用20个虚拟相机同时进行拍摄，相机1同时获得20幅图像。分布在空间中，可以对于空间三维场景的光场进行获取。图2示出了第一种实施案例中相机1、空间三维物体4和平面 反射镜2位置关系图。在一种实施实例中，相机1的视场角为67.5°×40°，每一个虚拟相机的光心位置在同一个平面上，虚拟相机的视场角为12.5°×10°，并且每一个虚拟相机的光轴方向和相机1的光轴方向垂直并且平行。每一个平面镜为四边形，四边形平面反射镜2的四个顶点分别以M1，M2，M3和M4表示，其X，Y，Z坐标值如下表所示，其中，坐标值的单位为毫米：
利用第一种实施案例的基于多个平面反射镜2的便携式三维场景获取装置 可以获取三维场景信息，图3示出了第一种实施案例相机1获取的空间三维光场图像，图4给出了使用数字重聚焦技术，实现聚焦在三维场景不同深度的效果图。
图2示出了根据本发明第二实施例的基于多个平面反射镜2的便携式三维场景获取装置，相机1位于坐标原点，四个平面反射镜2在空间形成了2×2的平面反射镜阵列，该平面反射镜阵列固定在机械支撑结构3上，并且和相机1之间保证合理的相对关系，以相机1作为视点，多个平面反射镜2互不遮挡，同时相机1不通过任何一个反射镜看到自身。相机1通过四个平面反射镜2形成4个虚像，分布在空间中，可以对于空间三维场景的光场进行获取。在第二种种实施实例中，相机1的视场角为67.5°×40°，每一个虚拟相机的光心位置在同一个平面上，视场角相等，并且每一个虚拟相机的光轴方向和相机1的光轴方向垂直并且平行。每一个平面镜为四边形，四边形的四个顶点为M1，M2，M3，M4，其X，Y，Z坐标值如下表所示，坐标值的单位为毫米：
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于多个平面反射镜的便携式三维场景获取装置，其特征在于，包括相机(1)和N个平面反射镜(2)；
所述N个平面反射镜(2)分别对待拍摄的三维物体成像，所成虚像位于所述相机(1)视场内；
所述相机(1)对所述虚像进行拍摄，得到的N个图像用以获取三维场景；
还包括用于固定所述N个平面反射镜(2)的支撑结构(3)；
所述N个平面反射镜(2)紧凑地拼接在所述支撑结构(3)上；
N个平面反射镜(2)中两两平面反射镜(2)之间不发生遮挡；
平面反射镜(2)与所述相机(1)的相对位置满足：相机(1)在各个平面反射镜(2)的虚像不进入自身的视场中；
当所述N取4，4个平面反射镜(2)在所述支撑结构(3)上以2×2阵列的形式拼接在一起；
令相机(1)光心的位置为坐标原点O，光轴方向为Z轴，过O点平行于相机(1)的矩形图像平面定义为OXY平面，其中X轴和Y轴分别平行于所述矩形图像平面的两条邻边；四边形的平面反射镜(2)的四个顶点分别以M1，M2，M3和M4表示，则4个平面反射镜(2)的4个顶点的X、Y和Z坐标值如下表所示，其中，坐标值的单位为毫米：
2.一种基于多个平面反射镜的便携式三维场景获取装置，其特征在于，包括相机(1)和N个平面反射镜(2)；
所述N个平面反射镜(2)分别对待拍摄的三维物体成像，所成虚像位于所述相机(1)视场内；
所述相机(1)对所述虚像进行拍摄，得到的N个图像用以获取三维场景；
还包括用于固定所述N个平面反射镜(2)的支撑结构(3)；
所述N个平面反射镜(2)紧凑地拼接在所述支撑结构(3)上；
N个平面反射镜(2)中两两平面反射镜(2)之间不发生遮挡；
平面反射镜(2)与所述相机(1)的相对位置满足：相机(1)在各个平面反射镜(2)的虚像不进入自身的视场中；
当所述N取20，20个平面反射镜(2)在所述支撑结构(3)上以4×5阵列的形式拼接在一起；
令相机(1)光心的位置为坐标原点O，光轴方向为Z轴，过O点平行于相机(1)的矩形图像平面定义为OXY平面，其中X轴和Y轴分别平行于所述矩形图像平面的两条邻边；四边形的平面反射镜(2)的四个顶点分别以M1，M2，M3和M4表示，则20个平面反射镜(2)的4个顶点的X、Y和Z坐标值如下表所示，其中，坐标值的单位为毫米：
CN201510751327.7A 2015-11-06 2015-11-06 一种基于多个平面反射镜的三维场景获取装置 Active CN105425526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510751327.7A CN105425526B (zh) 2015-11-06 2015-11-06 一种基于多个平面反射镜的三维场景获取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510751327.7A CN105425526B (zh) 2015-11-06 2015-11-06 一种基于多个平面反射镜的三维场景获取装置

Publications (2)

Publication Number Publication Date
CN105425526A CN105425526A (zh) 2016-03-23
CN105425526B true CN105425526B (zh) 2018-09-28

Family

ID=55503822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510751327.7A Active CN105425526B (zh) 2015-11-06 2015-11-06 一种基于多个平面反射镜的三维场景获取装置

Country Status (1)

Country Link
CN (1) CN105425526B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9401389A (nl) * 1994-08-29 1996-04-01 Nedap Nv Opname- en beeldbewerkingssysteem voor objectherkenning of afstandsmeting.
JP2005221686A (ja) * 2004-02-05 2005-08-18 View Magic:Kk 立体画面構成および調整方式とその装置
US20100226114A1 (en) * 2009-03-03 2010-09-09 David Fishbaine Illumination and imaging system
CN201641974U (zh) * 2009-02-19 2010-11-24 广州中科恺盛医疗科技有限公司 多角度成像装置
CN201641972U (zh) * 2009-02-19 2010-11-24 广州中科恺盛医疗科技有限公司 三维成像数据采集装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9401389A (nl) * 1994-08-29 1996-04-01 Nedap Nv Opname- en beeldbewerkingssysteem voor objectherkenning of afstandsmeting.
JP2005221686A (ja) * 2004-02-05 2005-08-18 View Magic:Kk 立体画面構成および調整方式とその装置
CN201641974U (zh) * 2009-02-19 2010-11-24 广州中科恺盛医疗科技有限公司 多角度成像装置
CN201641972U (zh) * 2009-02-19 2010-11-24 广州中科恺盛医疗科技有限公司 三维成像数据采集装置
US20100226114A1 (en) * 2009-03-03 2010-09-09 David Fishbaine Illumination and imaging system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于平面镜成像的单摄像机立体视觉传感器研究;冯晓锋，潘迪夫;《光学学报》;20140930;第34卷(第9期);全文 *

Also Published As

Publication number Publication date
CN105425526A (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
Liu et al. 3D imaging, analysis and applications
Knapitsch et al. Tanks and temples: Benchmarking large-scale scene reconstruction
CN106056620B (zh) 线激光相机测量系统标定方法
Taguchi et al. Axial-cones: Modeling spherical catadioptric cameras for wide-angle light field rendering
Song et al. Light f ield head-mounted display with correct focus cue using micro structure array
Papadhimitri et al. Uncalibrated near-light photometric stereo
CN105791800B (zh) 立体显示系统及立体显示方法
CN107193124A (zh) 集成成像高密度小间距led显示参数设计方法
JP2013038775A (ja) 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化
CN102243432A (zh) 全景立体摄像装置
Starck et al. The multiple-camera 3-d production studio
CN101631257A (zh) 一种实现二维视频码流立体播放的方法及装置
CN102929091A (zh) 数字球幕立体电影的制作方法
Ziegler et al. Acquisition system for dense lightfield of large scenes
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN114223191A (zh) 偏振捕获设备、系统和方法
CN105184800A (zh) 自动三维映射的投影系统及方法
Iseringhausen et al. 4D imaging through spray-on optics
CN101000460A (zh) 一种环幕立体电影图像的制作方法
Hong et al. Towards 3D television through fusion of kinect and integral-imaging concepts
CN109084679A (zh) 一种基于空间光调制器的3d测量及获取装置
Zhou et al. Light field projection for lighting reproduction
CN101435989B (zh) 跟踪视场及二次渲染制作立体电影的方法
CN105425526B (zh) 一种基于多个平面反射镜的三维场景获取装置
WO2003054625A1 (en) A panoramic stereoscopic imaging method and apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant