CN1725857A - 图像生成装置 - Google Patents

图像生成装置 Download PDF

Info

Publication number
CN1725857A
CN1725857A CNA2005100850581A CN200510085058A CN1725857A CN 1725857 A CN1725857 A CN 1725857A CN A2005100850581 A CNA2005100850581 A CN A2005100850581A CN 200510085058 A CN200510085058 A CN 200510085058A CN 1725857 A CN1725857 A CN 1725857A
Authority
CN
China
Prior art keywords
image
camera unit
panoramic camera
panoramic
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100850581A
Other languages
English (en)
Other versions
CN100452869C (zh
Inventor
三由贵史
岩城秀和
小坂明生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN1725857A publication Critical patent/CN1725857A/zh
Application granted granted Critical
Publication of CN100452869C publication Critical patent/CN100452869C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

图像生成装置。在基于多个图像数据生成一个视点变换图像的装置中，设置有：第一单元，包括具有不同视点的两个摄像机，用于获取所述图像数据中的一个；以及第二单元，包括具有不同视点的两个摄像机，该第二单元与第一单元沿一直线设置，以使得第一和第二单元具有下述的位置关系，在该位置关系中，包括在第二单元中的两个摄像机中的至少一个的成像透镜的光轴方向与包括在第一单元中的摄像机之一的成像透镜的光轴方向平行，该第二单元用于获取所述图像数据中的另一个。将这些单元设置为使得包括在第一和第二单元中的两个摄像机的成像透镜具有不相互平行的光轴。

Description

图像生成装置
技术领域
本发明涉及图像生成装置，更具体地，涉及一种适合用于基于多个图像来生成并显示视点变换(viewpoint conversion)图像的图像生成装置。
背景技术
当为了观察特定区域等而在监控显示器上显示图像时，在划分屏幕上显示由多个摄像机对宽范围的区域进行成像而获取的图像，或者通过随着时间的流逝而依次切换这些图像来对其进行显示。此外，为了安全驾驶，在车辆上设置面向后方的摄像机，对驾驶员不能直接或间接看到的区域进行成像，以在设置在驾驶员座位附近的监控显示器上显示该区域的图像。
这些观察装置以摄像机为单位成像并显示图像，因此，对宽区域进行成像需要大量的摄像机。当为此而使用广角摄像机时，可以减少摄像机的数量，但是降低了在监控显示器上显示的图像的分辨率，而且所显示的图像变得难以查看，使得观察功能变坏。考虑这些问题，提出了一种技术，其中对通过多个摄像机成像的图像进行合成，以作为一个图像进行显示。
当进行这种合成时，通过测量车辆和车辆周围的障碍物等之间的距离来获取景深数据(depth data)，并且通过使用该景深数据来生成图像，以在图像中显示障碍物。
对于如上所述的技术，在日本专利No.3286306中，公开了一种技术，其中通过设置在车辆中的多个摄像机对车辆周围的区域进行成像，并且显示从任意视点的合成图像，以显示车辆周围的环境。在这种技术中，通过以像素为单位进行坐标变换，将从各个摄像机输出的图像变换并显影到从虚拟视点观察的二维平面上，并且将由多个摄像机获取的图像合成为从虚拟视点观察的一个图像，以将其显示在监控器屏幕上。由此，驾驶员可以根据一个虚拟视点图像来即时了解在整个车辆周围存在哪种物体。并且根据上述内容公开了一种方法，根据车辆和车辆周围的障碍物之间的距离以空间模型(spatial model)显示屏障(barrier wall)，其中通过距离传感器来测量该距离。
此外，在日本专利申请公报No.2002-31528中，公开了一种方法，其中通过使用激光雷达测量距离来获取景深数据，并且将通过成像单元获取的图像数据映射到三维映象坐标上，以生成空间图像。
发明内容
本发明一个方面中的装置是包括第一全景摄像机单元和第二全景摄像机单元的一种装置，其中第一全景摄像机单元包括具有不同视点的两个摄像机，用于获取图像数据之一；第二全景摄像机单元包括具有不同视点的两个摄像机，并且与第一全景摄像机单元沿一直线设置，以使得第一和第二全景摄像机单元具有下述的位置关系，在该位置关系中，包括在第二全景摄像机单元中的两个摄像机的至少一个的成像透镜的光轴方向与包括在第一全景摄像机单元中的摄像机之一的成像透镜的光轴方向相互平行，以获取另一图像数据，其中分别包括在第一和第二全景摄像机单元中的两个摄像机的成像透镜具有不相互平行的光轴。
另外，根据本发明的上述装置可以采用下述的构造，在该构造中，该装置还包括切换单元，用于切换全景图像数据和立体图像数据之间的选择，该全景图像数据是通过包括在第一和第二全景摄像机单元之一中的两个摄像机获取的，该立体图像数据是通过包括在第一和第二全景摄像机单元中的摄像机中处于下述位置关系的摄像机的组合来获取的，在该位置关系中，摄像机的光轴方向相互平行。
另外，根据上述内容，所述切换单元可以采用下述的构造，在该构造中，当所述切换单元选择由包括在第一和第二全景摄像机单元中的摄像机当中处于下述位置关系的摄像机的组合获取的立体图像数据时，所述切换单元还选择两对摄像机中的一对，其中在该位置关系中，摄像机的光轴方向相互平行。
此外，在根据本发明的上述装置中，也可以在车辆或建筑物中设置该第一和第二全景摄像机单元。
附图说明
根据以下参照附图的详细描述，本发明将变得更加明了。
图1是用于实现本发明的图像生成装置的系统框图；
图2A表示全景摄像机单元的第一示例的示意性构造；
图2B表示全景摄像机单元的第二示例的示意性构造；
图3A表示基于单目摄像机(monocular camera)组合的全景摄像机单元的排列结构；
图3B表示图3A所示的全景成像单元的全景成像范围；
图4A表示基于单目摄像机组合的一对全景摄像机单元的排列构造；
图4B表示图4A所示的成对全景摄像机单元中的一个的全景成像范围；
图4C表示图4A所示的成对全景摄像机单元中的另一个的全景成像范围；
图5A表示使用立体适配器的全景摄像机单元的排列构造；
图5B表示图5A所示的全景摄像机单元的全景成像范围；
图6A表示使用立体视频器的一对全景摄像机单元的排列构造；
图6B表示图6A所示的成对全景摄像机单元中的一个的全景成像范围；
图6C表示图6A所示的成对全景摄像机单元中的另一个的全景成像范围；
图7表示设置在车辆中的全景摄像机单元的构造；
图8A表示位于车辆后部的第一全景摄像机单元的全景成像范围；
图8B表示位于车辆后部的第二全景摄像机单元的全景成像范围；
图8C表示基于车辆后部的全景摄像机单元组合的立体成像范围；
图9是表示生成图像的方法中的处理顺序的流程图；以及
图10是表示在生成通过立体匹配进行处理的景深图像时的处理顺序的流程图。
具体实施方式
下文中，将参照附图详细地说明根据本发明的图像生成装置的实施例。
图1是表示用于实现本发明的图像生成装置的构造的系统框图。该系统的基本构造具有：视点变换合成图像生成/显示装置10，其包括多个成像单元；图像生成装置，用于对通过成像单元获取的图像数据进行处理，并且再现和显示作为从与摄像机视点不同的虚拟视点观察的合成图像的图像。
视点变换合成图像生成/显示装置10主要执行下述的处理：输入从各个成像单元的视点进行成像的图像；设置三维空间，在该三维空间中放置有诸如车辆的设置了成像单元的对象；通过任意设定的原点(虚拟视点)来识别该三维空间；对图像数据的像素进行坐标变换，并且使从虚拟视点观察的以上所识别的三维空间和所述像素之间具有对应关系；以及在从虚拟视点观察的图像平面上重新排列像素。由此可以获得下述的图像，在该图像中，在由虚拟视点限定的三维空间中，对通过从摄像机的视点进行成像而获得的图像数据的像素进行重新排列和合成，以使得可以创建从不同于摄像机的视点的所需视点观察的合成图像，并将其输出以进行显示。
作为在视点变换合成图像生成/显示装置10中使用的成像单元，通过多个全景摄像机单元来构成一个或者多个成像单元，这些全景摄像机单元分别通过组合具有不同视点的两个摄像机而构成。
图2A和2B分别示出了全景摄像机单元的示意性构造。通过图2A中所示的全景摄像机单元12A和图2B中所示的全景摄像机单元12B的类型或者基于单元2A和2B的组合的类型来构造设置在车辆中的多个全景摄像机单元。
全景摄像机单元12A具有其中设置有两个单目摄像机的构造，这两个单目摄像机分别包括前透镜组52a、后透镜组52b和成像装置52c。设置了两个单目摄像机，以使得光轴之间的会聚角展开，以对宽的区域进行成像。此外，当不需要宽视角时，不需要与前透镜组52a相对应的一组宽转换透镜(conversion lenses)。
全景摄像机单元12B包括设置在单目摄像机中的立体适配器。该立体适配器安装在单目摄像机的前面，而且通过该立体适配器展开单目摄像机的左右光轴之间的会聚角。通过设置在远离立体适配器的大约视差位置处的两个反射镜50a以及用于将由这些反射镜50a反射的光导向摄像机一侧的两个反射镜50b来构成该立体适配器。
在设置在左右两侧的两个反射镜50a和50b的前光轴上，设置有中继透镜54a和前透镜组54b。此外，在反射镜50a和反射镜50b之间分别设置有中继透镜54c。此外，在反射镜50b的后光轴上设置有作为成像系统的后透镜组54d。
全景摄像机单元12B通过反射镜50a和50b来划分视区，并且对在一个成像装置54e上的视区进行成像。在视角不需要很宽时，自然可以省略与前透镜组和中继透镜54a和54c相对应的宽转换透镜组，以使得可以仅通过反射镜50a和50b以及后透镜组54d来构成全景摄像机单元12B的该部分。
图3A表示基于单目摄像机的组合的全景摄像机单元的排列构造。全景摄像机单元12A具有下述的构造，在该构造中，将两个单目摄像机设置在具有宽视角的同一平面上，以使得视角如两个扇形L和R所示彼此稍微重叠，两个扇形L和R分别表示图3A中的摄像机的视角。
图中示出了在通过基于单目摄像机组合的全景摄像机单元12A对栅格图案(lattice pattern)58A和58B进行成像的情况下的左右全景成像范围，这些成像范围分别由图3B中的标号60和62来表示。通过全景成像获得的图像会产生失真，其中图像的周边会很圆(rounded)。但是，在图3B的全景图像中，对栅格图案的失真进行了补偿，以显示包括凹入部分的图像。
图4A表示基于单目摄像机组合的一对全景摄像机单元的排列构造。当如图4A所示设置全景摄像机单元12A1和12A2时，采用一种构造，以使得全景摄像机单元12A1的左侧单目摄像机和全景摄像机单元12A2的右侧单目摄像机的各自光轴方向相互平行。由此，可以通过组合全景摄像机单元12A1的左侧单目摄像机和全景摄像机单元12A2的右侧单目摄像机来进行立体成像。
图4B中的图像64和图4C中的图像66分别表示分别由全景摄像机单元12A1和12A2成像的图像。图像64和66两者通常包括栅格图案中的相同失真，因此，这两个失真可以由近似模型来表示，以使得用于补偿失真的参数彼此近似。因此，可以简化校正处理，该校正处理包括：根据立体距离测量时的校准数据对立体图像的左右图像的畸变像差(distortion aberration)进行补偿，并且其中进行图像的几何变换，以使得计算视差时的核线(epipolar line)在左右图像中的同一图像的同一条线上彼此对应。
图5A表示使用立体适配器的全景摄像机单元的排列构造。在图5A中，与上述图3A中的排列相似地设置全景摄像机单元12B，以使得左右成像范围彼此稍微重叠。图5B示出了在通过全景摄像机单元12B对栅格图案58A和58B进行成像的情况下的左右全景成像范围，左右全景成像范围分别由标号68和70来表示。由于使用了立体适配器，所以仅存在一个成像装置，该成像装置用于对与通过上述全景摄像机单元12A(包括两个成像装置)进行成像的同一视区进行成像。因此，如图所示，在该图像周边的左右两侧的栅格图案中的失真与通过全景摄像机单元12A成像的图像中的失真不同。
图6A表示使用立体适配器的一对全景摄像机单元的排列构造。在图6A中，在同一平面上沿一直线设置有两个全景摄像机单元12B1和12B2。由此，基于各个全景摄像机单元12B1和12B2的该对右侧单元的组合的成像透镜的光轴方向相互平行，而且基于各个全景摄像机单元12B1和12B2的该对左侧单元的组合的成像透镜的光轴方向也相互平行。因此，可以进行立体成像。
图中示出了分别由全景摄像机单元12B1和12B2成像的图像，这些图像分别由图6B中的标号68和图6C中的标号70来表示。如图所示，通过使用下述构造的全景摄像机单元12B成像出的图像会产生失真，该失真在右侧图像和左侧图像(58A和58B，或58C和58D)之间存在很大的不同，在该构造中，通过改变立体适配器的反射镜的角度来展开光轴之间的会聚角。产生这些失真中的差异的原因在于：通过前透镜组54b的失真和后透镜组54d的失真而产生复合失真(complex distortions)，在前透镜组54b和后透镜组54d之间具有折叠式反射镜50b，并且前透镜组54b和后透镜组54d的光轴不相互平行。这些是左右图像之间存在失真差异的原因。
因此，当使用分别基于全景摄像机单元12B1和12B2的右侧单元的组合而划分的视区，或分别基于全景摄像机单元12B1和12B2的左侧单元的组合而划分的视区时，失真彼此近似，而且在失真补偿之后的分辨率差异很小，因此，搜索立体图像的对应点变得较容易。
另外，用作为图1中的成像单元的全景摄像机单元具有下述的构造，在该构造中采用了包括两个成像装置52c的一对全景摄像机单元12A或者使用立体适配器的一对全景摄像机单元12B。并且可以任意地选择该多对单元(图1中的一对12A1和12A2，以及一对12B1和12B2)。
图7表示设置在车辆中的全景摄像机单元12A的构造。
如图7所示，在作为其中设置有成像单元的对象的车辆40的前后部分设置了作为成像单元的多个全景摄像机单元12A。在图7的示例中，在车辆40的前部设置全景成像单元12A1和12A2。各个摄像机对车辆40前面的全景成像范围a-b和c-d进行成像。此外，在车辆的后部设置有作为成像单元的全景摄像机单元12A1和12A2。类似地，各个摄像机对车辆后面的全景成像范围a-b和c-d进行成像。
在该实施例中，提供了图像选择装置30(30a和30b)，用于从设置在车辆40的前后部分的全景摄像机单元12A1和12A2中获取图像数据。各个图像选择装置30从设置在驾驶员座位附近的视点变换合成图像生成/显示装置10接收图像选择命令，选择所需的图像，并且将该图像作为图像数据返回到视点变换合成图像生成/显示装置10。此外，可以通过车辆内的LAN(局域网)来进行数据的发送/接收。
图8A、8B和8C分别表示根据一实施例的全景摄像机和立体摄像机的成像范围。图8A表示车辆40中的后部全景摄像机单元12A1的全景成像范围。图8B表示后部全景摄像机单元12A2的全景成像范围。图8C表示立体成像范围，该立体成像范围基于具有后部全景摄像机单元12A1的成像范围b和后部全景摄像机单元12A2的成像范围c的图像组合。如图所示，具有后部全景摄像机单元12A1的成像范围b的图像和具有后部全景摄像机单元12A2的成像范围c的成像图像的组合构成了立体图像，这是因为这种设置使得成像透镜的光轴方向相互平行。因此，可以生成后面将要描述的通过立体成像获得的景深图像数据。
另外，通过由图像选择装置30切换图像的选择，可以任意地实现通过全景成像以宽视角进行的成像，以及通过空间成像进行的用于生成空间模型的立体距离测量。
再次对图1进行说明。
以分组的形式将由各个全景摄像机单元12成像的图像的数据发送到图像选择装置30。通过所设置的虚拟视点来确定要从各个全景摄像机单元12获得的图像数据，因此，提供图像选择装置30来获得与所设置的虚拟视点相对应的图像数据。通过图像选择装置30，从由设置在任意全景摄像机单元12中的缓冲器装置(未示出)发送的图像数据分组中选择与所设置的虚拟视点相对应的图像数据分组，并将其用于在后续阶段执行的图像合成处理。
此外，在成像单元中，通过图像选择装置30来执行在多个全景摄像机单元12之间的切换。在用作控制单元的图像选择装置30中，在由全景摄像机单元12以宽视角进行的成像与通过组合一对全景摄像机单元而构成的立体成像之间进行切换。此外，图像选择装置30控制以宽视角进行的成像与基于由稍后描述的视点选择装置36选择的虚拟视点的立体成像之间的切换。此外，对于全景摄像机单元12B，可以进行切换，以分别从两个摄像机的左右视区之一进行成像，这两个摄像机被设置为使得成像透镜的光轴方向平行。
将通过成像单元成像的实像的数据临时存储在实像数据存储装置32中。
顺便提及，对于用作距离测量单元的距离测量装置13，可以一起使用通过立体成像进行的距离测量，以及通过诸如激光雷达、毫米波雷达等的雷达进行的距离测量。
在通过立体成像进行的距离测量中，从多个不同的视点对同一对象进行成像，获得对该对象上的同一点进行的成像图像之间的对应关系，并且通过使用三角测量原理根据上述对应关系来计算到该对象的距离。更具体地，将由立体成像单元成像的图像的整个右侧图像划分为多个小的区域，并且确定执行立体距离测量计算的范围，接下来，从左侧图像中检测被识别为与右侧图像相同的图像的位置。然后，计算这些图像的视差，并且根据上述计算结果和左右侧摄像机的安装位置之间的关系来计算到该对象的距离。基于通过由立体摄像机成像的两个或更多个图像之间的立体距离测量而获得的景深数据，来生成景深图像(作为距离测量图像)。
此外，对于设置在三维真实环境中的成像单元，校准装置18确定并识别摄像机参数，这些参数规定了摄像机的特性，例如成像单元在三维真实环境中的安装位置、安装角度、透镜失真补偿值、透镜焦距等。将通过校准装置18获得的摄像机参数作为校准数据临时存储在校准数据存储装置17中。
在空间模型生成装置15中，基于通过全景摄像机单元12和立体成像而获得的宽视角图像数据以及存储在景深图像数据存储装置28中的由距离测量装置13获得的景深图像数据来生成空间模型。将所生成的空间模型临时存储在空间模型存储装置22中。
用作合成图像生成单元的空间重构装置14通过计算构成由成像单元获取的图像的各个像素与三维坐标系统上的点之间的对应关系来生成空间数据。将所生成的空间数据临时存储在空间数据存储装置24中。另外，对由各个成像单元获取的图像中的所有像素执行该对应关系的计算。
用作视点变换单元的视点变换装置19将三维空间图像变换为根据任意视点位置估算的图像。另外，可以任意指定视点位置。换句话说，在上述三维坐标系统中指定用于观察图像的位置、角度和放大率。此外，根据上述空间数据再现从当前视点观察的图像，并且在用作显示单元的显示装置20上显示所再现的图像。此外，可以将该图像存储到视点变换图像数据存储装置26中。
另外，在视点变换合成图像生成/显示装置10中，提供了存储有对应车辆的模型的设置了成像装置的对象模型存储装置34，用于在显示装置20上与空间再现(reproduction of the space)同时显示对应车辆的模型。此外，提供了视点选择装置36，以在虚拟视点数据存储装置38中保存有与预先定义的设置虚拟视点相对应的图像数据的情况下，在视点选择处理中即时地将对应的图像发送给视点变换装置19，并且在显示装置20上显示与所选择的虚拟视点相对应的变换图像。
下面将参照图9来说明通过基于上述构造使用根据本发明的图像生成装置来生成图像的方法。图9是表示生成图像的方法中的处理顺序的流程图。
首先，在步骤S102，通过视点选择装置36来选择待显示的任意虚拟视点。
在步骤S104，通过图像选择装置30，在使用宽视角进行的成像和通过多个全景摄像机单元12进行的立体成像之间进行选择。
在步骤S106，通过所选择的全景摄像机单元12来进行成像。
另一方面，在步骤S108中，通过校准装置18预先进行要用于立体匹配的校准，并且创建诸如基于所选择的全景摄像机单元12的基线长度的校准数据、内部和外部摄像机参数等。
在步骤S110，基于所获取的校准数据通过距离测量装置13对所选择的图像进行立体匹配。具体地，当观察作为立体图像的图像时，从左右图像中裁减(cut out)指定的窗口，并且在扫描核线的同时计算用于这些窗口图像的调整(regularization)等的相关值，以搜索对应的点，并且计算左右图像的像素之间的视差。然后，根据所计算的视差，基于该校准数据来计算距离，并且将所获得的景深数据识别为景深图像数据。
在步骤S112，将使用宽视角成像的图像数据、通过全景摄像机单元12立体成像的图像数据、以及通过距离测量装置13获得的景深图像数据输入到用作空间模型更新单元的空间重构装置14中，并且选择性地使用上述数据，由此生成比由空间模型生成装置15生成的模型更详细的空间模型。
在步骤S114，为了获取与该空间模型相对应的实像数据，通过空间重构装置14根据校准数据将由成像单元获取的图像映射到三维空间模型中。由此，创建已进行了纹理映射的空间数据。
在步骤S116，基于由空间重构装置14创建的空间数据，通过视点变换装置19来生成视点变换图像，该视点变换图像是从所需虚拟视点来观察的。
在步骤S118，在显示装置20上显示如上生成的视点变换图像数据。
接下来，在图10中示出了用于生成通过立体匹配来立体成像的景深图像的流程图。现将对下述情况进行说明：使用了立体适配器50的全景摄像机单元12B1和12B2，并且通过图像选择装置30，在通过全景摄像机单元12B1和12B2成像的图像中选择了构成立体对的右侧视区。
首先，在步骤S200和S204中，通过图像选择装置30以预定的大小裁减由各个立体摄像机单元12B1和12B2成像的右侧视区部分，并且生成立体左侧图像(S202)和立体右侧图像(S206)。
接下来，基于用于校正的校准数据(S208)，对左右立体图像的畸变像差分别进行补偿，并且在步骤S210中通过距离测量装置13进行校正处理，其中对图像进行几何变换，以使左右图像的对应点位于在核线上。另外，该校准数据与根据各个所选择的全景摄像机单元12B1和12B2的右侧摄像机的基线长度、内部和外部摄像机参数等相关，并且通过校准装置18进行校准来预先创建该校准数据。
接下来，对校准后的立体左侧图像(S212)和立体右侧图像(S214)进行立体匹配，搜索对应点，并且在步骤S216中，通过距离测量装置13来执行计算视差的处理。由此，在图像上的各个点处创建视差量的映象，并且所创建的映象成为视差数据(S218)。
接下来，基于立体景深校准数据(S220)，将图像上的各个点处的视差量转换为到基准点的距离，并且在步骤S222中，通过距离测量装置13来执行创建景深图像数据的处理。另外，该立体景深校准数据与根据各个所选择的全景摄像机单元12B1和12B2的右侧摄像机的基线长度、内部和外部摄像机参数等相关，并且通过校准装置18进行校准来预先创建该立体景深校准数据。
如上所述，创建并输出景深图像的数据(S224)。
通过进行上述处理，根据由多个立体摄像机成像的图像计算出了景深图像数据。将所获得的景深图像数据用于创建空间模型。
如上所述，该视点变换合成图像生成/显示装置10是下述的装置，该装置基于通过设置在车辆中的一个或多个成像单元获得的图像数据来生成视点变换图像，该成像单元采用下述构造，在该构造中，通过全景摄像机单元来构造成像单元，该全景摄像机单元包括具有不同视点处于组合状态的两个摄像机，并且可以通过全景摄像机单元使用宽视角进行成像，以及由通过成对设置的全景摄像机单元实现的被设置为使得成像透镜的光轴相互平行的摄像机组合进行立体成像。换句话说，该视点变换合成图像生成/显示装置10是下述的装置，该装置基于多种成像信息来生成视点变换图像，其包括第一全景摄像机单元，该第一全景摄像机单元包括具有不同视点的两个摄像机，用于获取图像数据中的一个；以及第二全景摄像机单元，该第二全景摄像机单元包括具有不同视点的两个摄像机，该第二全景摄像机单元与第一全景摄像机单元沿一直线设置，以使第一和第二全景摄像机单元具有下述的位置关系：包括在第二全景摄像机单元中的两个摄像机中的至少一个的成像透镜的光轴方向与包括在第一全景摄像机单元中的两个摄像机的至少一个的成像透镜的光轴方向平行，并且该第二全景摄像机单元获取图像数据中与通过第一全景摄像机单元获取的图像数据不同的一个图像数据，并且该装置10采用下述的构造：分别包括在第一和第二全景摄像机单元中的两个摄像机的成像透镜的光轴不相互平行。因此，可以对成像窗口上的对象进行距离测量，并且可以通过使用该景深图像数据来提高图像生成的准确度。
此外，提供切换单元，用于在以下两个处理之间切换：待应用于通过全景摄像机单元使用宽视角进行成像而获得的图像的宽视角处理；待应用于通过以成像透镜的光轴平行的位置关系设置的摄像机组合进行立体成像而获得的图像的立体成像处理。换句话说，提供该切换单元，用于在通过包括在第一和第二全景摄像机单元之一中的两个摄像机获得的全景图像数据与通过两个摄像机(在包括在第一和第二全景摄像机单元中的摄像机中，这两个摄像机处于摄像机的光轴方向相互平行的位置关系)的组合获得的立体图像之间进行切换，由此，可以彼此结合地使用宽视角进行成像的图像数据和景深图像数据，因此，可以提高图像生成的准确度。
此外，在上述立体图像处理中，可以进行切换，以使得可以通过使用设置在两个摄像机的组合(这两个摄像机的组合处于该成对全景摄像机单元中的成像透镜的光轴方向平行的位置关系)中的两对摄像机中的一对，从左右视区中的一个进行成像。换句话说，当上述切换单元选择通过由包括在第一和第二全景摄像机单元中的摄像机当中的摄像机(这些摄像机处于摄像机的光轴方向相互平行的位置关系)组合获取的立体图像数据时，可以进一步选择上述两对摄像机中的一对，由此在该立体图像处理中，可以分别从这两个摄像机的左右对中的一对的视区进行成像。因此，可以使用通常的失真补偿处理，以简化补偿处理。因此，可以容易地创建空间模型。
此外，通过在车辆中设置第一和第二全景摄像机单元，当在车辆中的监控装置上显示由视点变换合成图像生成/显示装置10生成的虚拟视点图像时，可以在较宽的范围内确认车辆周围的环境，因此，极大地提高了安全性。
此外，通过在建筑物中设置视点变换合成图像生成/显示装置10，即通过设置第一和第二全景摄像机单元，可以在生成建筑物内部环境和外部周边环境的图像的过程中，提高图像的准确度。
另外，在以上实施例中，可以在下述构造中使用所述多个成像装置，在该构造中，所述多个成像装置构成了所谓的三目立体摄像机或四目立体摄像机。公知的，当如上使用三目立体摄像机或四目立体摄像机时，可以在三维再现处理等中获得更加可靠和更加稳定的处理结果(例如，参见由Information Processing Society of Japan出版的FumiakiTomita所著的“Image processing”的第42卷的第四期中的“Highperformance three-dimensional vision system”)。具体地，沿双向基线长度的方向设置多个摄像机，可以实现基于所谓的多基线方法的立体摄像机，由此实现具有较高准确度的立体测量。
另外，在上述实施例中，说明了在车辆中以规定的形式设置诸如摄像机等的成像单元的示例，然而，即使在人行道、街道、建筑物(例如商店)、房间、办公室等中设置上述成像单元作为设置有成像装置对象时，也可以类似地生成图像。通过上述构造，可以将本发明应用于附着在监控摄像机或者人体上的可佩戴计算机，用于获取基于图像的信息。
此外，本发明并不限于上述实施例，而是允许在不脱离本发明的主旨的情况下进行各种修改和变型。
本申请要求于2004年7月20日提交的日本申请No.2004-211371的优先权，在此通过引用并入其内容。

Claims (5)

1、一种基于多个图像数据来生成一个视点变换图像的装置，其包括：
第一全景摄像机单元，包括具有不同视点的两个摄像机，用于获取所述图像数据中的一个；以及
第二全景摄像机单元，包括具有不同视点的两个摄像机，该第二全景摄像机单元与所述第一全景摄像机单元沿一直线设置，以使得所述第一和第二全景摄像机单元处于下述位置关系，在该位置关系中，包括在所述第二全景摄像机单元中的两个摄像机中的至少一个的成像透镜的光轴方向与包括在所述第一全景摄像机单元中的摄像机之一的成像透镜的光轴方向平行，该第二全景摄像机单元用于获取所述图像数据中的另一个，其中：
分别包括在所述第一和第二全景摄像机单元中的两个摄像机的成像透镜具有不相互平行的光轴。
2、根据权利要求1所述的装置，还包括：
切换单元，用于切换全景图像数据和立体图像数据之间的选择，该全景图像数据是通过包括在所述第一和第二全景摄像机单元之一中的两个摄像机获得的，该立体图像数据是通过包括在所述第一和第二全景摄像机单元中的摄像机中处于下述位置关系的摄像机的组合而获得的，在该位置关系中，摄像机的光轴方向相互平行。
3、根据权利要求2所述的装置，其中：
当所述切换单元选择由包括在所述第一和第二全景摄像机单元中的摄像机中处于下述位置关系的摄像机的组合而获取的立体图像数据时，所述切换单元还选择所述两对摄像机中的一对，其中在该位置关系中，摄像机的光轴方向相互平行。
4、根据权利要求1所述的装置，其中：
所述第一和第二全景摄像机单元设置在车辆中。
5、根据权利要求1所述的装置，其中：
所述第一和第二全景摄像机单元设置在建筑物中。
CNB2005100850581A 2004-07-20 2005-07-20 图像生成装置 Expired - Fee Related CN100452869C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004211371A JP2006033570A (ja) 2004-07-20 2004-07-20 画像生成装置
JP2004211371 2004-07-20

Publications (2)

Publication Number Publication Date
CN1725857A true CN1725857A (zh) 2006-01-25
CN100452869C CN100452869C (zh) 2009-01-14

Family

ID=35657168

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100850581A Expired - Fee Related CN100452869C (zh) 2004-07-20 2005-07-20 图像生成装置

Country Status (3)

Country Link
US (1) US20060018509A1 (zh)
JP (1) JP2006033570A (zh)
CN (1) CN100452869C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321302B (zh) * 2008-07-08 2010-06-09 浙江大学 基于摄像机阵列的三维实时获取系统
CN102577374A (zh) * 2009-10-21 2012-07-11 松下电器产业株式会社 视频图像转换装置和摄像装置
CN102783143A (zh) * 2010-03-10 2012-11-14 歌乐牌株式会社 车辆用周围监视装置
CN101689293B (zh) * 2007-06-29 2012-11-28 微软公司 扩充用于全景显示的图像
CN102959964A (zh) * 2010-05-14 2013-03-06 惠普发展公司，有限责任合伙企业 多视点视频拍摄系统和方法
CN103442240A (zh) * 2013-02-28 2013-12-11 京东方科技集团股份有限公司 图像采集装置和3d显示系统
CN104079917A (zh) * 2014-07-14 2014-10-01 中国地质大学（武汉） 一种360度全景立体相机
CN104160693A (zh) * 2012-03-09 2014-11-19 株式会社理光 图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006075536A1 (ja) * 2005-01-11 2006-07-20 Pioneer Corporation 車両前方画像表示装置及び方法
WO2007013231A1 (ja) * 2005-07-29 2007-02-01 Matsushita Electric Industrial Co., Ltd. 撮影領域調整装置
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
US8269820B2 (en) * 2006-11-02 2012-09-18 Konica Minolta Holdings, Inc. Wide-angle image acquiring method and wide-angle stereo camera device
DE102006052779A1 (de) * 2006-11-09 2008-05-15 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
JP4893421B2 (ja) * 2007-03-30 2012-03-07 アイシン精機株式会社 車両用の死角画像表示装置
JP4979525B2 (ja) * 2007-09-20 2012-07-18 株式会社日立製作所 マルチカメラシステム
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP3876510A1 (en) * 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5247590B2 (ja) * 2009-05-21 2013-07-24 キヤノン株式会社 情報処理装置及びキャリブレーション処理方法
JP5337658B2 (ja) * 2009-10-02 2013-11-06 株式会社トプコン 広角撮像装置及び測定システム
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2011209269A (ja) * 2010-03-08 2011-10-20 Ricoh Co Ltd 撮像装置及び距離取得システム
US8928793B2 (en) 2010-05-12 2015-01-06 Pelican Imaging Corporation Imager array interfaces
JP5450330B2 (ja) * 2010-09-16 2014-03-26 株式会社ジャパンディスプレイ 画像処理装置および方法、ならびに立体画像表示装置
JP5481337B2 (ja) * 2010-09-24 2014-04-23 株式会社東芝 画像処理装置
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
DE102011010865A1 (de) 2011-02-10 2012-03-08 Daimler Ag Fahrzeug mit einer Vorrichtung zur Erfassung einer Fahrzeugumgebung
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
DE102011080702B3 (de) * 2011-08-09 2012-12-13 3Vi Gmbh Objekterfassungsvorrichtung für ein Fahrzeug, Fahrzeug mit einer derartigen Objekterfassungsvorrichtung
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
EP2873028A4 (en) 2012-06-28 2016-05-25 Pelican Imaging Corp SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US10412274B2 (en) * 2015-03-18 2019-09-10 Ricoh Company, Ltd. Imaging unit, vehicle control unit and heat transfer method for imaging unit
JP6392693B2 (ja) * 2015-03-20 2018-09-19 株式会社デンソーアイティーラボラトリ 車両周辺監視装置、車両周辺監視方法、及びプログラム
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR102483838B1 (ko) 2015-04-19 2023-01-02 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
DE102015216140A1 (de) 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
US11244434B2 (en) 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
JP6416408B2 (ja) * 2015-09-28 2018-11-07 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
JP6672075B2 (ja) * 2016-05-25 2020-03-25 キヤノン株式会社 制御装置、制御方法、及び、プログラム
CN108616719B (zh) * 2016-12-29 2021-04-27 杭州海康威视数字技术股份有限公司 监控视频展示的方法、装置及系统
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
FR3080937B1 (fr) * 2018-05-03 2021-06-04 Commissariat Energie Atomique Procede et dispositif de reconnaissance de distance en temps reel
CN109903344B (zh) * 2019-02-28 2021-04-20 东软睿驰汽车技术（沈阳）有限公司 一种标定方法及装置
CN111753584B (zh) * 2019-03-28 2023-09-26 杭州海康威视数字技术股份有限公司 智能分析方法及系统
WO2020263867A1 (en) * 2019-06-24 2020-12-30 Circle Optics, Inc. Multi-camera panoramic image capture devices with a faceted dome
BR112022004811A2 (pt) 2019-09-17 2022-06-21 Boston Polarimetrics Inc Sistemas e métodos para modelagem de superfície usando indicações de polarização
MX2022004162A (es) 2019-10-07 2022-07-12 Boston Polarimetrics Inc Sistemas y metodos para el aumento de sistemas de sensores y sistemas de formacion de imagenes con polarizacion.
JP7329143B2 (ja) 2019-11-30 2023-08-17 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2185360B (en) * 1986-01-11 1989-10-25 Pilkington Perkin Elmer Ltd Display system
JPH0767022A (ja) * 1993-08-26 1995-03-10 Canon Inc 複眼撮像装置
US6111702A (en) * 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
JP2000259997A (ja) * 1999-03-05 2000-09-22 Nissan Motor Co Ltd 先行車の高さおよび車間距離計測装置
ATE333192T1 (de) * 1999-10-12 2006-08-15 Matsushita Electric Ind Co Ltd Überwachungskamera, verfahren zum anpassen einer kamera und fahrzeugüberwachungssystem
JP4103308B2 (ja) * 2000-07-07 2008-06-18 松下電工株式会社 立体実写映像撮影提示システム
JP2003312415A (ja) * 2002-04-23 2003-11-06 Nissan Motor Co Ltd 車両の事前提示装置
US20050146607A1 (en) * 2004-01-06 2005-07-07 Romeo Linn Object Approaching Detection Anti Blind e-Mirrors System

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689293B (zh) * 2007-06-29 2012-11-28 微软公司 扩充用于全景显示的图像
CN101321302B (zh) * 2008-07-08 2010-06-09 浙江大学 基于摄像机阵列的三维实时获取系统
CN102577374A (zh) * 2009-10-21 2012-07-11 松下电器产业株式会社 视频图像转换装置和摄像装置
CN102783143B (zh) * 2010-03-10 2015-04-01 歌乐牌株式会社 车辆用周围监视装置
CN102783143A (zh) * 2010-03-10 2012-11-14 歌乐牌株式会社 车辆用周围监视装置
US9142129B2 (en) 2010-03-10 2015-09-22 Clarion Co., Ltd. Vehicle surroundings monitoring device
CN102959964A (zh) * 2010-05-14 2013-03-06 惠普发展公司，有限责任合伙企业 多视点视频拍摄系统和方法
CN102959964B (zh) * 2010-05-14 2015-01-14 惠普发展公司，有限责任合伙企业 多视点视频拍摄系统和方法
US9264695B2 (en) 2010-05-14 2016-02-16 Hewlett-Packard Development Company, L.P. System and method for multi-viewpoint video capture
CN104160693A (zh) * 2012-03-09 2014-11-19 株式会社理光 图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质
US9607358B2 (en) 2012-03-09 2017-03-28 Ricoh Company, Limited Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium
US11049215B2 (en) 2012-03-09 2021-06-29 Ricoh Company, Ltd. Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium
CN103442240A (zh) * 2013-02-28 2013-12-11 京东方科技集团股份有限公司 图像采集装置和3d显示系统
CN104079917A (zh) * 2014-07-14 2014-10-01 中国地质大学（武汉） 一种360度全景立体相机

Also Published As

Publication number Publication date
US20060018509A1 (en) 2006-01-26
CN100452869C (zh) 2009-01-14
JP2006033570A (ja) 2006-02-02

Similar Documents

Publication Publication Date Title
CN1725857A (zh) 图像生成装置
CN1735217A (zh) 生成图像的方法和设备
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
TWI555378B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
JP3192875B2 (ja) 画像合成方法および画像合成装置
EP2068280B1 (en) Image Distortion Correction
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
EP3221844B1 (en) Localising portable apparatus
JP2006287892A (ja) 運転支援システム
CA2907047A1 (en) Method for generating a panoramic image
CN106340045B (zh) 三维人脸重建中基于双目立体视觉的标定优化方法
CN102253057B (zh) 内窥镜系统及使用内窥镜系统的测量方法
CN102679959A (zh) 基于主动全景视觉传感器的全方位三维建模系统
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
KR20130121290A (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
JP4865065B1 (ja) ステレオ撮像装置の制御システム
Gehrig Large-field-of-view stereo for automotive applications
JP2001256482A (ja) 視差画像生成装置および視差画像生成方法
Holdener et al. Design and implementation of a novel portable 360 stereo camera system with low-cost action cameras
JP2007150536A (ja) 立体映像撮影表示装置
JP4077755B2 (ja) 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法
JP2006031101A (ja) 画像生成方法およびその装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090114