CN1870759A - 用单个相机提供全景立体图像的设备 - Google Patents

用单个相机提供全景立体图像的设备 Download PDF

Info

Publication number
CN1870759A
CN1870759A CNA2006100784546A CN200610078454A CN1870759A CN 1870759 A CN1870759 A CN 1870759A CN A2006100784546 A CNA2006100784546 A CN A2006100784546A CN 200610078454 A CN200610078454 A CN 200610078454A CN 1870759 A CN1870759 A CN 1870759A
Authority
CN
China
Prior art keywords
reflector
image
panoramic
panoramic picture
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100784546A
Other languages
English (en)
Other versions
CN1870759B (zh
Inventor
权仁昭
张錤正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Korea Institute of Science and Technology KIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of CN1870759A publication Critical patent/CN1870759A/zh
Application granted granted Critical
Publication of CN1870759B publication Critical patent/CN1870759B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种用单个相机提供全景立体图像的设备。所述设备包括：第一反射器，其反射从第一视点所观察到的全景环境；第二反射器，其与所述第一反射器同轴安置且与所述第一反射器分离以反射从第二视点所观察到的全景环境；和图像传感器，其与所述第一和第二反射器同轴安置以捕获分别由所述第一和第二反射器所反射的图像且输出含有第一视图和第二视图的图像。所述设备提供较高的三维恢复分辨率，实现紧密性，且便于搜索两个图像中的对应点。

Description

用单个相机提供全景立体图像的设备
技术领域
本发明涉及使用单个相机提供所需要的表示三维(3D)信息的全景立体图像的设备，且更具体地说，涉及用单个相机提供全景立体图像的设备，其提供一宽立体基线，减少其尺寸，且便于立体图像中的对应搜索。
背景技术
使用相机的立体视觉系统用于由两个图像推测出三维(3D)信息。具体地说，全景立体系统提供36 0度全景的3D信息。所述系统可用于3D图形测量、虚拟现实、智能机械手(intelligent robot)的环境识别、监视和监测系统、军事侦察系统等领域。
在全景立体系统中，通过识别在两不同视点处所获得的两个全景图像之间的视差实现3D恢复。所述两个全景图像可使用两个相机或单个相机和反射镜(mirror)获得。当使用两个相机时，由于两个相机系统之间的物理特征差异，例如焦距的差异和诸如电荷耦合元件(CCD)和反射镜等成像元件的未对准，在3D恢复期间，可能出现误差。因此，已知在各种条件下使用单个相机立体系统是比较有效的。
为容易地实施使用反射镜的立体视觉系统，所述反射镜的形状和反射镜与相机之间的相对位置关系应满足单个视点条件。当不满足所述条件时，从两个图像中提取3D信息就变得困难。具体地说，平面反射镜、椭圆反射镜，双曲面反射镜和抛物面反射镜可满足单个视点条件且支持全景系统。
图1为系统的概念图，其为单个相机全景的单系统中使用满足单个视点的采用双曲面反射镜100的系统。由所述双曲面反射镜100反射的3D空间物体110的图像，例如通过相机的有效针孔120投影于CCD的图像平面130上。由双曲面反射镜100反射的图像与从有效视点140所观察到的图像相同。
同时，传统的单个相机全景立体系统通过将双瓣反射镜放置于相机前面来实施。然而，反射镜中的有效视点之间的距离极短，因此，深度分辨率极低。此外，诸如需要单个相机全景立体系统的机械手的设备是被要求要具有小体积的。因此，需要适合紧密性的单个相机全景立体系统。另外，因为在传统的单个相机全景立体系统中所获得的两个图像在对应点之间具有分辨率差异，所以当所获得的图像的分辨率低时，在两个图像中找出对应点的能力可能降低。因此，需要一个补偿两个图像之间的分辨率差异的程序。
发明内容
本发明提供用单个相机提供全景立体图像的设备，通过所述设备增加有效视点之间的距离，使得三维恢复分辨率增加。
本发明还提供用单个相机和折叠反射镜提供全景立体图像以实现紧密性的设备。
本发明还提供用单个相机提供全景立体图像的设备，甚至当分别在两个有效视点处所获得的图像之间存在分辨率差异时，通过所述设备可容易地检测对应点。
根据本发明的一方面，提供用单个相机提供全景立体图像的设备。所述设备包括：第一反射器，其反射从第一视点观察到的全景环境；第二反射器，其与所述第一反射器同轴安置且与第一反射器分离以反射从第二视点所观察到的全景环境；和图像传感器，其与第一和第二反射器同轴安置以捕获分别由第一和第二反射器所反射的图像且输出第一图像和第二图像。
根据本发明的另一方面，提供用单个相机提供全景立体图像的设备。所述设备包括：第一反射器，其反射从第一视点观察到的全景环境；第二反射器，其与第一反射器同轴安置且与所述第一反射器分离以反射从第二视点观察到的全景环境；第三反射器，其与第一和第二反射器同轴安置以反射由第二反射器所反射的图像；和图像传感器，其与第一、第二和第三反射器同轴安置以捕获分别由第一和第三反射器所反射的图像且输出第一图像和第二图像。
所述设备可进一步包括：全景图像转换器，其转换由所述图像传感器提供的第一图像和第二图像以产生第一全景图像和第二全景图像；和三维位置信息提取器，其搜索第一和第二全景图像中的对应点，且从搜索到的对应点之间的位置差异中提取三维位置信息。
附图说明
通过参看附图详细描述本发明得示范性实施例，本发明的上述及其它特征和优点将变得更显而易见，其中：
图1为使用满足单个视点条件的双曲面反射镜的传统全景单个系统的概念图。
图2为根据本发明实施例的用单个相机提供全景立体图像的设备的方框图。
图3A和3B为根据本发明实施例的相机和反射镜的配置的概念图。
图4A到4I为在满足单个视点条件的折叠全景单系统中的反射镜的配置的概念图。
图5A到5D为根据本发明实施例的用单个相机提供全景立体图像的折叠型的设备中的相机和反射镜的配置的概念图。
图6A和6B为在本发明的实施例中所获得的图像的概念图。
图7为根据本发明实施例来实施的用单个相机提供全景立体图像的设备的照片。
图8说明根据本发明实施例的所捕获的环境的全方位立体图像的实例，所述立体图像从用单个相机提供全景立体图像的设备中获得。
图9A到9C分别说明较高视图的全景图像、较低视图的全景图像和差异图，是图8所说明的全景立体图像转换成的。
图10A到10C说明包括三维信息的图像，其从图9A到9C所说明的图像中恢复得到。
具体实施方式
下文，将参看附图详细描述本发明的示范性实施例。
图2为根据本发明实施例的用单个相机提供全景立体图像的设备的方框图。所述设备包括第一视图提供器200、第二视图提供器210、图像传感器220、全景图像转换器230和三维(3D)位置信息提取器240。
第一视图提供器200和第二视图提供器210中每一者反射从有效视点所观察到的360度环境以向图像传感器220传送所反射的图像，其中图像传感器220类似于相机的电荷耦合元件(CCD)。当所述第二视图提供器210包括一个或两个反射器时，所述第一视图提供器200可包括单个反射器。稍后描述反射器的形状和配置。在本说明书中所使用的术语“反射器”是指反射图像或图形的物体，且通常是指反射镜，但在本发明中不限于此。
分别从第一和第二视图提供器200和210所反射的两个图像投影于图像传感器220上。所述图像传感器220向全景图像转换器230传输一投影的图像。投影的图像包括中心图像和具有圆形的外围图像，稍后将描述。
全景图像转换器230将从图像传感器220接收的中心图像和外围图像分别转换成全景图像。在转换方面，对圆形图像中对应于全景图像中每一位置的对应位置进行取样并将其映射到全景图像中的所述位置。具体来说，对应于全景图像中的位置的圆形图像中的位置可预置在查找表中。所述查找表可通过分析相机-反射镜系统的结构来实施，在查找表中圆形输入图像中的位置分别映射到全景图像中的位置。
同时，当中心图像的分辨率与外围图像的分辨率不同时，全景图像转换器230可包括分辨率补偿功能，稍后将描述，以便利于搜索两个全景图像之间的对应点。
3D位置信息提取器240搜索由全景图像转换器230提供的两个全景图像之间的对应点，且提取诸如每一物体的距离信息的3D位置信息。包括基于视窗的相关搜索方法的各种方法可用于搜索对应点。另外，包括三角测量的各种传统技术可用于提取3D信息。
图3A和3B为根据本发明的实施例的相机和反射镜的配置的概念图。
在图3A所说明的配置中，使用不具有孔的反射镜。第一反射器300和第二反射器310分别具有有效视点F1和F2，且反射3D空间中的物体。换句话说，所述第一反射器300向相机的图像传感器220传送从有效视点F1所观察到的全景图像，且所述第二反射器310向图像传感器220传送从有效视点F2所观察到的全景图像。第一反射器300和第二反射器310分别对应于图2所说明的第一视图提供器200和第二视图提供器210。同时，为了要获得外围图像和中心图像，第一反射器300的反射表面必须小于第二反射器310的反射表面。
在图3B所说明的配置中，使用具有孔的反射镜。第一反射器320和第二反射器330的功能与图3A所说明的第一和第二反射器300和310相同。然而，其中图像投影于图3B所说明的配置中的图像传感器220上的路径与在图3A中所说明的配置中的路径不同，且外围图像和中心图像与在图3A中所说明的配置中的所获得的图像相反。换句话说，中心图像从图3A所说明的配置中的第一反射器300中获得，且外围图像从图3A所说明的配置中的第二反射器310中获得。相反，中心图像从图3B所说明的配置中的第二反射器330中获得，且外围图像从图3B所说明的配置中的第一反射器320中获得。同时，第一反射器320的孔直径的定义是考虑到其曲面以获得平衡的外围图像和中心图像。
通过相机和反射镜的所述配置(即，通过配置使两个反射镜分离)及所述反射镜的形状，可增加两个有效视点F1与F2之间的距离。结果，还可增加深度分辨率。
如果第一反射器300和320的每一者和第二反射器310和330的每一者为凹镜或凸镜且彼此同轴，那么将令人满意。另外，优选满足单个视点条件以便于提取3D信息。换句话说，第一反射器和第二反射器可分别具有双曲面或椭圆面，且具有有效视点F1和F2。另外，如图3B所说明，第一反射器可具有孔。结果，存在满足单个视点条件的8个类型的反射镜的配置和形状。
或者，在相同立体基线(两个有效视点之间的距离)的条件下，可使用减少反射镜与有效视点、之间的实际距离的折叠型反射镜。换句话说，当将反射镜添加到图3A和3B所说明的配置时，有效视点F2与有效针孔P之间的距离可减少到所述相同的有效视点距离(即，有效视点F1与F2之间的相同距离)以下。结果，可实现设备的紧密性。当使用额外反射镜时，所述设备可通过将上部反射镜折叠到透镜的高度附近而变得更小。
图4A到4I为在满足单个视点条件的折叠全景单系统中的反射镜的配置的概念图。在图中，PL、HYP、ELL和PAR分别表示平面反射镜、双曲面反射镜、椭圆体反射镜和抛物面反射镜。3D空间中的物体图像由第一反射镜和第二反射镜顺序地反射，且接着投影于图像平面上。换句话说，即使使用两个反射镜，两个反射镜中的一者仅反射从另一反射镜所反射的图像。结果，图像传感器220仅获得一个图像(从有效视点F1所观察到的)。两个反射镜之间的关系称作折叠关系。具体来说，图4A至4I说明两个反射镜呈满足单个视点条件的折叠关系的的形状和配置。所述系统将折叠反射镜用作第二反射镜，使得可减少有效针孔P与有效视点F1之间的距离。
图5A到5D为根据本发明实施例的用单个相机提供全景立体图像的折叠型设备中的相机和反射镜的配置的概念图。图5A到5D说明第二反射器505、525、545和565中的每一者与第三反射器510、530、550和570中的每一者之间的折叠关系的拓扑。图5A到5D所说明的拓扑共同使用图4A所说明的拓扑，但双曲面反射镜用于图5A和5C所说明的第一反射器500和540中的每一者，且椭圆反射镜用于图5B和5D所说明的第一反射器520和560中的每一者。此外，所述第一反射器500和520安置于图5A和5B所说明的拓扑的中心位置处，而第一反射器540和560安置于图5C和5D所说明的拓扑中的外部位置处。换句话说，第一反射器500、520、540和560中的每一者对应于图2所说明的第一视图提供器200，且第二反射器505、525、545和565中的每一者和第三反射器510、530、550和570中的每一者形成对应于图2所说明的第二视图提供器210的一集合。同时，反射器的孔直径的定义是考虑到其曲面以获得彼此平衡的外围图像和中心图像。
关于图4A到4I分别说明的九个拓扑中的每一者，可呈现图5A到5D所说明的四个类型的拓扑。结果，在根据本发明的用单个相机提供全景立体图像的折叠型设备中存在36个类型的反射器的配置和形状。
为了清晰描述起见，在图5A到5D中，第一反射器500、520、540和560以分别与第三反射器510、530、550和570相同的高度放置，但本发明不受限于此。第一反射器500、520、540和560可分别放置于与第三反射器510、530、550和570不同的高度处。
图6A和6B为在本发明实施例中所获得的图像的概念图。具有单个相机和彼此同轴的至少一个反射器的任何全景立体系统经由中心区域和外围区域接收立体图像，如图6A所说明。所述系统最有利，在于因为所有核线(epipolar line)仅以辐射形状来放置，具有图6A所说明的形式的图像可易于转换成具有平行核线的全景图像。
参看图6A，ri和ro对应于φ。当具有对应于作为原点(origin)的中心图像的有效视点的环境以球形坐标(r，θ，φ)表示时，ri和φ具有由ri＝f(φ)定义的关系。同样地，当具有对应于作为原点的外围图像的有效视点的环境以球形坐标(r，θ，φ)表示时，ro和φ具有由ro＝g(φ)定义的关系。函数f()和g()可从反射器(即，反射镜)的形状得到。
在所述立体系统中，分别在两个有效视点处所获得的两个图像具有不同的分辨率。因此，当输入到全景图像转换器230的图像分辨率不高时，可能会降低搜索两个图像中的对应点的3D信息提取器240的性能。例如，圆周方向上的分辨率从圆的外部半径往圆的中心线性降低。另外，径向方向上的分辨率还可能会根据反射镜的横截面的形状不同而不同。
为了克服所述问题，全景图像转换器230可使用尺度-空间取样策略(scale-space sampling strategy)补偿分辨率差异。当沿著绘示于正交坐标系统的图像的x轴和y轴的高斯函数G(sσ)使用适当的尺度因子“s”来应用到原始图像时，可完成分辨率补偿。此处，G表示高斯函数，且“σ”为高斯函数的参考标准偏差并设定为用于减少混叠和噪声的最小值。当使用s＝2时所获得的图像具有当s＝4时所获得的图像的双倍分辨率。在使用所述原理的本发明的实施例中，适当的尺度因子应用到中心图像和外围图像中的每一者中的每一位置(ri或ro，θ)，藉此完成分辨率补偿。
在本发明的实施例中，由图像传感器220以圆形提供的第一图像和第二图像中的每一者被识别为中心图像或外围图像。接着，G(si rσ)和G(si cσ)分别在径向方向和圆周方向上应用到中心图像。另外，G(so rσ)和G(so cσ)分别在径向方向和圆周方向上应用到所述外围图像。此处，si r、so r、si c和so c分别定义为 1和 且“σ”设定为用于减少混叠和噪声的最小值。换句话说，将应用到高斯函数的图像以圆周方向(θ)和径向方向(ri或ro)表示，且因此，当给定纬度φ时，尺度因子相对于变量ri、ro和θ来定义。在此处，下标“i”和“o”分别指示“内部”和“外部”部分，且上标“r”和“c”分别指示“径向”和“圆周”方向。位置(ri或φ，θ)和(ro或φ，θ))中的每一者的高斯函数通过获得si r、so r、和so c来获得。
上述的分辨率补偿由全景图像转换器230执行。换句话说，全景图像转换器230基本上将图6A听说明的两个圆形图像转换成图6B所说明的两个全景图像，为了转换可使用相对于对应的全景图像中的每一位置在每一圆形图像中取样的方法。要使用上述分辨率补偿功能，可首先使用下列方案。两个圆形图像分别识别为中心图像和外围图像。在径向方向上具有标准偏差 且在圆周方向上具有标准偏差σ的高斯函数被应用到中心图像中的一位置，此位置是对应于全景图像中的一位置，且所述应用结果映射到所述全景图像中的所述位置。同样地，在径向方向上具有标准偏差
Figure A20061007845400101
且在圆周方向上具有标准偏差 的高斯函数应用到外围图像中的一位置，此位置是对应于另一全景图像中的一位置，且所述应用结果映射到全景图像中的所述位置。当上述操作在两个全景图像中的所有位置上被完全地执行时，全景图像转换结束。在此处，高斯函数如下应用。基于对应于全景图像中的位置的圆形图像中的位置(或像素)，中心像素和邻近像素分别乘以对应于各自像素的高斯函数的权值，且对相乘的结果求和。所述求和的结果为关于全景图像中的位置的强度(亮度)信息值。同时，从圆形图像到全景图像的坐标转换在圆柱形坐标系统及球形坐标系统中是可能的。换句话说，除了在球形坐标系统中的φ改变为圆柱形坐标系统中的“z”，在球形坐标系统和圆柱形坐标系统中以相同的方式执行坐标转换。
图7为根据本发明的实施例来实施的用单个相机提供全景立体图像的设备的照片。在此处，相机位于下部反射镜的内部，其根据图5C所说明的拓扑来实施。
图8说明根据本发明实施例的所捕获的环境的全方位立体图像的实例，所述立体图像从用单个相机提供全景立体图像的设备中获得。在设备附近的桌子和机械手与远离设备的书桌和书架投影于中心部分和外围部分上。参看图8，在中心部分与外围部分之间的每一对对应点存在于相同径向线上，且因此其核线也存在于相同径向线上。
图9A到9C分别说明较高的视图全景图像、较低的视图全景图像和差异图，其是从图8所说明的全景立体图像转换成的。图9C所说明的差异图展示两个全景图像中对应点的位置之间的差异。在差异图中，亮度值与每一差异的量值成比例给定。在设备附近的物体根据视点具有较大的位置差异且因此表示为明亮。远离设备的物体具有较小的位置差异且因此表示为黑暗。3D信息可从差异图中提取。
图10A到10C说明包括三维信息的图像，其从图9A到9C所说明的图像中恢复得到。图10A所说明的图像在高于图10B所说明的图像的视点16度的视点处获得，且图10C所说明的图像在低于图10B所说明的图像的视点16度的视点处获得。图10A到10C所说明的所有三个图像均可基于从图9A和9B所说明的全景图像中所提取的3D位置信息获得。
根据本发明，因为使用单个相机，可减少由多个相机之间的物理特征中的差异所导致的恢复误差。另外，因为使用与相机同轴的多个反射镜，所以两个图像之间的核线位于相同线上。结果，简化在两个图像中搜索对应点的过程。此外，确定3D恢复的准确性的有效视点之间的距离可通过分离多个反射镜来增加。本发明使用单个相机和折叠型的系统，藉此实现紧密性。由于外围图像与中心图像之间的分辨率差异而引起的误差可通过使用尺度-空间理论来补偿。
尽管已参考本发明的示范性实施例特定展示和描述本发明，但是所属领域的技术人员应了解在不偏离由所附权利要求书所限定的本发明的精神和范畴的情况下，可在形式和细节上做出各种改变。

Claims (10)

1.一种用单个相机提供全景立体图像的设备，其特征在于所述设备包括：
第一反射器，其反射从第一视点所观察到的全景环境；
第二反射器，其与所述第一反射器同轴安置且与所述第一反射器分离以反射从第二视点所观察到的全景环境；和
图像传感器，其与所述第一和第二反射器同轴安置以捕获分别由所述第一和第二反射器所反射的图像且输出含有第一视图和第二视图的图像。
2.根据权利要求1所述的用单个相机提供全景立体图像的设备，其特征在于其中所述第一反射器包括作为反射表面的双曲面或椭圆面，且所述第二反射器包括作为反射表面的带有具有预定直径的孔的双曲面或椭圆面，所述第二反射器与所述第一反射器同轴。
3.根据权利要求1所述的用单个相机提供全景立体图像的设备，其特征在于其中所述第二反射器包括作为反射表面的双曲面或椭圆面，且所述第一反射器包括作为反射表面的小于所述第二反射器的所述反射表面的双曲面或椭圆面。
4.根据权利要求1所述的用单个相机提供全景立体图像的设备，其特征在于其进一步包括：
全景图像转换器，其转换由所述图像传感器提供的所述第一图像和所述第二图像以产生第一全景图像和第二全景图像；和
三维位置信息提取器，其搜索所述第一和第二全景图像中对应点，且从所述搜索到的对应点之间的位置差异中提取三维位置信息。
5.根据权利要求4所述的用单个相机提供全景立体图像的设备，其特征在于其中所述全景图像转换器将在径向方向上具有标准偏差且在圆周方向上具有标准偏差σ的高斯函数应用于中心图像中的每一位置，且将所述应用结果映射到所述第一全景图像中的位置，藉此产生所述第一全景图像，且所述全景图像转换器将在径向方向上具有标准偏差 且在圆周方向上具有标准偏差
Figure A2006100784540002C3
的高斯函数应用于外围图像中的每一位置，且将所述应用结果映射到所述第二全景图像中的对应位置，藉此产生所述第二全景图像。
6.一种用单个相机提供全景立体图像的设备，其特征在于所述设备包括：
第一反射器，其反射从第一视点所观察到的全景环境；
第二反射器，其与所述第一反射器同轴安置且与所述第一反射器分离以反射从第二视点所观察到的全景环境；
第三反射器，其与所述第一和第二反射器同轴安置以反射由所述第二反射器所反射的图像；和
图像传感器，其与所述第一、第二和第三反射器同轴安置以捕获分别由所述第一和第三反射器所反射的图像且输出含有第一视图和第二视图的图像。
7.根据权利要求6所述的用单个相机提供全景立体图像的设备，其特征在于其中所述第一反射器包括作为反射表面的带有在同轴线处具有预定直径的孔的双曲面或椭圆面，且所述第二反射器和所述第三反射器具有满足单个视点的折叠关系。
8.根据权利要求6所述的用单个相机提供全景立体图像的设备，其特征在于其中所述第一反射器包括作为反射表面的双曲面或椭圆面，所述第二反射器和所述第三反射器具有满足单个视点的折叠关系，且所述第三反射器在所述同轴线处带有具有预定直径的孔。
9.根据权利要求6所述的用单个相机提供全景立体图像的设备，其特征在于其进一步包括：
全景图像转换器，其转换由所述图像传感器提供的所述第一图像和所述第二图像以产生第一全景图像和第二全景图像；和
三维位置信息提取器，其搜索所述第一和第二全景图像中的对应点，且从所述搜索到的对应点之间的位置差异中提取三维位置信息。
10.根据权利要求9所述的用单个相机提供全景立体图像的设备，其特征在于其中所述全景图像转换器将在径向方向上具有标准偏差且在圆周方向上具有标准偏差σ的高斯函数应用于中心图像中的每一位置，且将所述应用结果映射到所述第一全景图像中的位置，藉此产生所述第一全景图像，且所述全景图像转换器将在径向方向上具有标准偏差
Figure A2006100784540003C2
且在圆周方向上具有标准偏差
Figure A2006100784540003C3
的高斯函数应用于外围图像中的每一位置，且将所述应用结果映射到所述第二全景图像中的位置，藉此产生所述第二全景图像。
CN2006100784546A 2005-05-26 2006-05-26 用单个相机提供全方向立体图像的设备 Expired - Fee Related CN1870759B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020050044467A KR100715026B1 (ko) 2005-05-26 2005-05-26 단일카메라 전방향 양안시 영상 획득 장치
KR10-2005-0044467 2005-05-26
KR1020050044467 2005-05-26

Publications (2)

Publication Number Publication Date
CN1870759A true CN1870759A (zh) 2006-11-29
CN1870759B CN1870759B (zh) 2012-05-09

Family

ID=37444295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100784546A Expired - Fee Related CN1870759B (zh) 2005-05-26 2006-05-26 用单个相机提供全方向立体图像的设备

Country Status (4)

Country Link
US (1) US7952606B2 (zh)
JP (1) JP4388530B2 (zh)
KR (1) KR100715026B1 (zh)
CN (1) CN1870759B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012625A (zh) * 2009-06-16 2011-04-13 英特尔公司 根据单个相机和运动传感器的3d信息推导
CN102053475A (zh) * 2010-10-15 2011-05-11 肖继忠 单相机全方位立体视觉系统
CN102819179A (zh) * 2011-06-09 2012-12-12 财团法人金属工业研究发展中心 一种单照相机全景立体成像系统
CN102959942A (zh) * 2010-06-28 2013-03-06 富士胶片株式会社 立体观看用图像拍摄装置及其控制方法
CN103051916A (zh) * 2011-10-12 2013-04-17 三星电子株式会社 产生三维（3d）全景图像的设备和方法
CN103235478A (zh) * 2012-12-19 2013-08-07 乔楠 用于环幕立体摄像的系统、设备、图像处理方法及装置
CN105157601A (zh) * 2015-06-10 2015-12-16 北京领邦仪器技术有限公司 单相机三维影像测量仪
CN107439002A (zh) * 2015-04-03 2017-12-05 微软技术许可有限责任公司 深度成像
CN107454375A (zh) * 2017-01-24 2017-12-08 江苏思特威电子科技有限公司 3d全景成像装置和方法
CN107852533A (zh) * 2015-07-14 2018-03-27 三星电子株式会社 三维内容生成装置及其三维内容生成方法
CN110062142A (zh) * 2019-04-25 2019-07-26 长春理工大学 一种高分辨率折反射全景视频采集与处理系统
CN112219086A (zh) * 2018-09-18 2021-01-12 株式会社日立制作所 立体摄像机、车载灯具组件以及立体摄像机系统
CN112255880A (zh) * 2019-07-05 2021-01-22 株式会社日立制作所 立体照相机

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471892B2 (en) * 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
JP4809291B2 (ja) * 2007-06-01 2011-11-09 株式会社豊田中央研究所 計測装置及びプログラム
US8174562B2 (en) * 2007-11-09 2012-05-08 Honeywell International Inc. Stereo camera having 360 degree field of view
CA2714492C (en) * 2008-02-08 2014-07-15 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
CN102177468A (zh) * 2008-08-14 2011-09-07 远程保真公司 三反射镜全景相机
JP5187139B2 (ja) * 2008-10-30 2013-04-24 セイコーエプソン株式会社 画像処理装置およびプログラム
JP5338498B2 (ja) 2009-06-09 2013-11-13 ソニー株式会社 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
JP5418127B2 (ja) * 2009-10-09 2014-02-19 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5287702B2 (ja) * 2009-12-25 2013-09-11 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2011161973A1 (ja) * 2010-06-24 2011-12-29 パナソニック株式会社 全方位撮影システム
US9036001B2 (en) * 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
US20120154518A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation System for capturing panoramic stereoscopic video
US8548269B2 (en) 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
US20120154519A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
WO2012090398A1 (ja) * 2010-12-28 2012-07-05 公立大学法人公立はこだて未来大学 画像撮像装置および画像提示システム
JP5971650B2 (ja) * 2012-07-31 2016-08-17 国立大学法人大阪大学 光学系及び撮像装置
CN103292695B (zh) * 2013-05-10 2016-02-24 河北科技大学 一种单目立体视觉测量方法
CN104079918A (zh) * 2014-07-22 2014-10-01 北京蚁视科技有限公司 全景三维摄像装置
EP3016381A1 (en) 2014-10-31 2016-05-04 Thomson Licensing Video conferencing system
CN107407859B (zh) * 2015-03-01 2021-03-09 阿基维公司 全景立体成像系统
CN106412555A (zh) * 2016-10-18 2017-02-15 网易（杭州）网络有限公司 游戏录制方法、装置及虚拟现实设备
US10748333B2 (en) 2017-03-23 2020-08-18 Nvidia Corporation Finite aperture omni-directional stereo light transport
JP6983740B2 (ja) * 2018-09-27 2021-12-17 株式会社日立製作所 ステレオカメラシステム、及び測距方法
JP7346080B2 (ja) * 2019-05-22 2023-09-19 日立Astemo株式会社 ステレオカメラシステム、及び測距方法
JP7264749B2 (ja) * 2019-07-05 2023-04-25 日立Astemo株式会社 ステレオカメラ、及びステレオカメラ一体型ライトユニット

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6427031B1 (en) 1998-12-31 2002-07-30 Eastman Kodak Company Method for removing artifacts in an electronic image decoded from a block-transform coded representation of an image
US7710451B2 (en) * 1999-12-13 2010-05-04 The Trustees Of Columbia University In The City Of New York Rectified catadioptric stereo sensors
FR2806809B1 (fr) * 2000-03-22 2002-11-22 Powell Group Dispositif d'aquisition d'image panoramique
JP2002064812A (ja) 2000-08-17 2002-02-28 Sharp Corp 移動物体追尾装置
US7126630B1 (en) * 2001-02-09 2006-10-24 Kujin Lee Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012625A (zh) * 2009-06-16 2011-04-13 英特尔公司 根据单个相机和运动传感器的3d信息推导
CN102959942A (zh) * 2010-06-28 2013-03-06 富士胶片株式会社 立体观看用图像拍摄装置及其控制方法
CN102053475A (zh) * 2010-10-15 2011-05-11 肖继忠 单相机全方位立体视觉系统
CN102819179A (zh) * 2011-06-09 2012-12-12 财团法人金属工业研究发展中心 一种单照相机全景立体成像系统
CN103051916B (zh) * 2011-10-12 2016-08-03 三星电子株式会社 产生三维（3d）全景图像的设备和方法
CN103051916A (zh) * 2011-10-12 2013-04-17 三星电子株式会社 产生三维（3d）全景图像的设备和方法
CN103235478B (zh) * 2012-12-19 2017-04-12 乔楠 用于环幕立体摄像的系统、设备、图像处理方法及装置
CN103235478A (zh) * 2012-12-19 2013-08-07 乔楠 用于环幕立体摄像的系统、设备、图像处理方法及装置
CN107439002A (zh) * 2015-04-03 2017-12-05 微软技术许可有限责任公司 深度成像
CN107439002B (zh) * 2015-04-03 2021-04-23 微软技术许可有限责任公司 深度成像
CN105157601A (zh) * 2015-06-10 2015-12-16 北京领邦仪器技术有限公司 单相机三维影像测量仪
CN107852533A (zh) * 2015-07-14 2018-03-27 三星电子株式会社 三维内容生成装置及其三维内容生成方法
US11010967B2 (en) 2015-07-14 2021-05-18 Samsung Electronics Co., Ltd. Three dimensional content generating apparatus and three dimensional content generating method thereof
CN107454375A (zh) * 2017-01-24 2017-12-08 江苏思特威电子科技有限公司 3d全景成像装置和方法
CN112219086A (zh) * 2018-09-18 2021-01-12 株式会社日立制作所 立体摄像机、车载灯具组件以及立体摄像机系统
CN110062142A (zh) * 2019-04-25 2019-07-26 长春理工大学 一种高分辨率折反射全景视频采集与处理系统
CN112255880A (zh) * 2019-07-05 2021-01-22 株式会社日立制作所 立体照相机
CN112255880B (zh) * 2019-07-05 2021-08-06 株式会社日立制作所 立体照相机

Also Published As

Publication number Publication date
US7952606B2 (en) 2011-05-31
JP4388530B2 (ja) 2009-12-24
CN1870759B (zh) 2012-05-09
US20060268103A1 (en) 2006-11-30
KR20060124877A (ko) 2006-12-06
JP2006330735A (ja) 2006-12-07
KR100715026B1 (ko) 2007-05-09

Similar Documents

Publication Publication Date Title
CN1870759A (zh) 用单个相机提供全景立体图像的设备
CN1171467C (zh) 用单部手持摄像机获取三维景象
CN109544679B (zh) 管道内壁的三维重建方法
KR100988872B1 (ko) 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
CN101004538B (zh) 无死角的全方位视觉传感器
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
US10021340B2 (en) Method and an apparatus for generating data representative of a light field
WO2016065541A1 (en) Rgb-d imaging system and method using ultrasonic depth sensing
CN107154014A (zh) 一种实时彩色及深度全景图像拼接方法
CA2245044C (fr) Procede de production de donnees cartographiques par stereovision
JP7180608B2 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
CN107036579A (zh) 一种基于单目液透镜变焦光学系统的目标相对定位方法
CN103365066B (zh) 一种孔内照明立体像对成像装置
CN112880563B (zh) 一种单维像素合并模式等效窄面阵相机空间位置测量方法
Su et al. Obtaining obstacle information by an omnidirectional stereo vision system
CN114659635B (zh) 一种基于像面分割光场的光谱深度成像装置及方法
US20190101765A1 (en) A method and an apparatus for generating data representative of a pixel beam
CN213120832U (zh) 一种基于微透镜阵列的三维多光谱相机
JP7120365B1 (ja) 撮像装置、撮像方法および情報処理装置
CN113723373B (zh) 一种基于无人机全景影像的违建检测方法
CN1194310C (zh) 基于通用串行总线的机器人全维视觉系统
Tagoe Developing an accurate close-range photogrammetric technique for extracting 3D information from spherical panoramic images
JP2022151478A (ja) 情報処理装置
JP2022147124A (ja) 情報処理装置
JP2022146976A (ja) 撮像装置、撮像方法および情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120509

Termination date: 20200526