CN1735217A - 生成图像的方法和设备 - Google Patents

生成图像的方法和设备 Download PDF

Info

Publication number
CN1735217A
CN1735217A CNA2005100877851A CN200510087785A CN1735217A CN 1735217 A CN1735217 A CN 1735217A CN A2005100877851 A CNA2005100877851 A CN A2005100877851A CN 200510087785 A CN200510087785 A CN 200510087785A CN 1735217 A CN1735217 A CN 1735217A
Authority
CN
China
Prior art keywords
image
viewpoint
light
generating unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005100877851A
Other languages
English (en)
Inventor
三由贵史
岩城秀和
小坂明生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN1735217A publication Critical patent/CN1735217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

生成图像的方法和设备。所述设备用于基于一个或多个布置在车辆中的成像单元提供的图像数据生成视点转换图像，其包括：辅助光源，用于照明将被一个或多个成像单元成像的区域；和控制单元，用于根据视点的改变而改变成像单元成像所需的辅助光的投射方向。

Description

生成图像的方法和设备
技术领域
本发明涉及生成图像的技术，具体涉及将多个成像单元拍摄的图像合成一幅看起来好像是从与这些成像单元都不同的视点实际拍摄的图像、并且显示该合成的图像的技术。
背景技术
通常，当安全摄像机等用于监视时，以摄像机为单位拍摄的图像显示在监视器上，并且在监视室中布置的多个监视器设备上显示安装在被观察的区域中想要的位置的摄像机拍摄的图像。为了安全驾驶，在车辆上设置后视摄像机用于对驾驶员不能直接或间接看到的区域成像，从而使该区域的图像显示在靠近驾驶员座位提供的监视器上。
然而，这些观察设备以摄像机为单元成像和显示图像；因此，宽区域的成像需要大量的摄像机。此外，当出于此目的使用广角摄像机时，尽管摄像机的数量可以减少，但是在监视器上显示的图像的分辨率降低，并且显示的图像很难观察，因此降低了观察功能。
考虑到上述问题，公开了将多个摄像机拍摄的图像进行合成将其作为一幅图像进行显示的技术。如在日本专利申请特开平5-310078号中公开的，在一个监视器的分割了的屏幕上显示多个摄像机的图像的技术，或者，如在日本专利申请特开平10-164566号中公开的技术，其中布置多个摄像机使得被这些摄像机成像的图像中的部分图像互相叠合，在叠合的部分合并图像，从而将图像合成一幅。还有，在日本专利第3286306号中，通过坐标转换将多个摄像机拍摄的图像合成一幅，从而显示任意视点的合成图像。
在日本专利第3286306号公开的方法中，通过基于激光雷达、毫米波雷达或立体相机的三角测量等，预先生成三维空间模型，一元地装入该多个摄像机的图像数据，对装入的图像数据进行映射使得图像数据与构成摄像机输入的图像的像素信息分别对应，由此，生成空间数据。然后，使得来自所有独立的摄像机的图像与三维空间中的点对应之后，生成并显示任意虚拟视点(它不是摄像机的真实视点)的视点转换图像。依据该显示视点转换图像的方法，不降低图像准确度地显示了从一个任意视点观察的全部区域。此外，这种方法还具有可以从任意视点确认被观察区域的优点。
发明内容
根据本发明的一个方面的方法是生成图像的方法，其中成像所需的辅助光的投射方向根据视点的改变而改变，并且转换通过一个或多个成像单元成像获得的拍摄图像，以从不同于成像单元视点的视点生成图像。
此外，在根据本发明的上述方法中，所述辅助光可以是可见光，红外线和空间调制光中的至少一种。
而且，在根据本发明的上述方法中，可将辅助光投射在用来生成不同视点的图像的至少一些拍摄图像所包括的区域，并且在这些拍摄图像包括的区域之外不投射辅助光。
而且，在根据本发明的上述方法中，可将成像单元安排在车辆中。
根据本发明的另一个方面的设备是用于生成图像的设备，它包括：辅助光源，用于照明将被一个或多个成像单元成像的区域；控制单元，用于根据视点的改变而改变成像单元成像所需的辅助光的投射方向；以及视点转换图像生成单元，用于转换通过成像获得的拍摄图像，并从不同于成像单元的视点的视点生成图像。
此外，在根据本发明的上述设备中，可将辅助光源提供给成像单元。
而且，在根据本发明的上述设备中，辅助光源可设置为独立于成像单元，并且与不同视点的图像对应。
而且，在根据本发明的上述设备中，辅助光源可通过可见光，红外线和空间调制光中的至少一种照明将被成像的区域。
而且，在根据本发明的上述设备中，成像单元可安排在车辆中。
而且，在根据本发明的上述设备中，辅助光源可以与成像单元一起，安排在放置成像单元的物体中。
附图说明
参考附图和下面的具体说明，本发明将更加明了。
图1是用于实现本发明的图像生成设备的系统结构方框图；
图2示出了立体摄像机单元的示意性结构图；
图3示出了在辅助光为空间调制光的情况下用于照明的照明器的示意性结构；
图4A示出了空间调制光的第一示例；
图4B示出空间调制光的第二示例；
图5是在实现本发明的图像生成设备设置在车辆中的情况下的结构方框图；
图6是用于示出使用立体附加器类型的立体摄影机单元时生成距离图像的处理顺序的流程图；
图7是用于示出生成图像的方法中的处理顺序的流程图；
图8是在实现本发明的图像生成设备用于房间的情况下的系统方框图；
图9是用于示出在实现本发明的图像生成设备用于房间的情况下生成图像的方法中的处理顺序的流程图；
图10A示出了将实现本发明的图像生成设备用于房间的安排示例中，在跟随之前光投射的情况；以及
图10B示出将实现本发明的图像生成设备用于房间的安排示例中，在跟随之后光投射的情况。
具体实施方式
下面将参照附图详细说明根据本发明的生成图像的设备和方法的具体实施例。
图1是用于实现本发明的图像生成设备的系统结构方框图。在本实施例中，该系统使用多个立体摄像机单元10作为成像单元，该系统包括上述立体摄像机单元和视点转换合成图像生成/显示设备12，其用于处理由立体摄像机10获得的图像数据，并将图像重现/显示为从与这些摄像机的视点不同的虚拟视点观察的合成图像。
图2示出了立体摄像机单元10的示意性结构。如图所示，立体摄像机单元10使用立体附加器(stereo adapter)。在外壳14正面的左右部分，设置一对各包括一组接收透镜的广角转换透镜16L和16R，它们以间距L1分开，从而立体摄像机单元10可以对物体18进行立体成像。
成像设备20用于接收通过广角转换透镜16L和16R输入的光线，其被安排在外壳14的背面中间部分，而且在成像设备20的左右区域，分别成像来自左右广角转换透镜16L和16R的物体图像。为此目的，在成像设备20和左右广角转换透镜16L与16R的每一个之间，各安排包括偏转棱镜22和成像透镜系统24的导光光学系统，通过左广角转换透镜16L捕获的物体图像和通过右广角转换透镜16R捕获的物体图像被分别导向成像设备20的左边区域和右边区域，从而它们在一个成像设备20的被分成左边和右边的焦平面上同时成像。
作为障碍物的物体18的图像入射到左右透镜上，被偏转棱镜22折射，并被成像设备捕获。由此，在单个成像设备拍摄了立体图像。通过从成对立体图像中切出指定的右图像区域和左图像区域生成深度图像。
此外，两个上述立体摄像机单元10可以成对布置，从而使这些单元10的光轴平行。由此，用于立体成像的基线长度(即感光单元之间的距离)可在单个立体摄像机单元10的短基线长度和一对立体摄像机单元(10R和10L)的长基线长度之间切换。
此外，在视点转换合成图像生成/显示设备12中执行基本的处理，其中包括：获得从各个立体摄像机单元的视点拍摄的图像；设置包括物体的、其间设置成像单元的三维空间，该三维空间由任意设置的原点(虚拟视点)标识；通过对像素进行坐标转换，在上述从虚拟视点观察的被标识的三维空间和图像数据中的像素之间建立对应，并且将像素重新安排在从虚拟视点观察的图像平面上。由此，可以获得这样的图像，其中通过从摄像机的视点成像获得的图像数据的像素在由虚拟视点定义的三维空间中被重新布置和合成，从而可以生成从与摄像机的视点不同的所需视点的合成图像，并可将其输出以显示。
此外，该系统以分组发送的形式发送各个立体摄像机单元10拍摄的图像。为此目的，在作为成像单元的立体摄像机单元10中设置缓冲设备，从而所拍摄的图像临时存储在缓冲设备包括的缓存中。在该缓冲设备中，为所拍摄的各单位图像分配一个ID(标识信息)，并且在该ID中包括时间戳、成像单元位置/角度信息、以及成像单元的内部参数或曝光信息中的至少一个。由此，从各个立体摄像机单元10发送的图像数据以分组方式接连地发送给视点转换合成图像生成/显示设备12，其中该数据包括时间戳和其他成像数据。
将再次说明图1。
图像数据从各立体摄像机单元10发送到用于从立体摄像机单元10接收图像数据的视点转换合成图像生成/显示设备12，并根据设定的虚拟视点唯一地决定将从各个立体摄像机单元10获得的图像数据，因此，提供了图像选取设备26用于获取与设定的虚拟视点对应的图像数据。通过该图像选取设备26，从来自各立体摄像机10中设置的缓冲设备的图像数据分组中选出与设定的虚拟视点对应的图像数据分组，并且所选出的图像数据分组用在后面阶段执行的图像合成处理中。
图像数据以分组发送的具有ID的图像数据为单位存储在摄像机缓冲设备中，因此，通过使用ID信息，可以合并同一时间成像的图像数据。因此，在视点转换合成图像生成/显示装置12中，设置真实图像数据存储设备34，用来基于ID信息按时间顺序排序和存储来自多个立体摄像机单元10的拍摄图像。
此外，当获得的图像数据中的参数不同步时，合成的图像会背离真实的情况。为了避免这种现象，如上所述的ID包括时间戳、成像单元位置/角度信息、成像单元的内部参数和曝光信息中的至少一个，并且视场合需要，对将用于建立三维空间的图像数据进行调整。
在本实施例中测距设备64通过立体成像进行距离测量。在此，可以一并使用诸如激光雷达，毫米波雷达等雷达。
在通过立体成像的距离测量中，从多个不同视点对同一个物体成像，在拍摄的图像中获得了关于物体的同一个点的对应关系，并且基于上述对应关系使用三角测量的原理计算出到物体的距离。更具体地，通过立体摄像机单元成像的图像的右图像区域被划分成小区域，并且确定进行立体测距计算的范围，接着，从左图像区域中检测出被认为与上述各小区域相同的图像的位置。然后，计算这些图像的位置差，并根据上述计算结果和左右摄像机的安装位置的关系计算出到物体的距离。基于通过由立体摄像机成像的一对或更多对图像的立体测距获得的深度数据生成深度图像。
校准设备66确定和识别摄像机参数，该参数表明安装在三维真实世界中的摄像机的特性，诸如成像单元在三维真实世界中的安装位置、安装角度、透镜变形补偿值、透镜的焦距等。通过校准获得的摄像机参数作为校准数据临时存储在校准数据存储设备70中。
将摄像机单元10的图像数据和测距设备64的深度图像数据(存储在深度图像数据存储设备65中)输入作为空间模型更新单元的空间模型生成设备68中。空间模型生成设备68通过使用各立体摄像机单元10的图像数据和测距设备64的深度图像数据生成空间模型，并将生成的空间模型临时存储在空间模型存储设备72中。因为获得了具有很好的深度分辨率的深度数据，并且该深度数据表达了物体(例如障碍物)的形状，因此提高了所生成的空间模型的深度分辨率，改善了物体形状重现性能。
通过空间重建设备36，将如此选择性载入的图像数据的各像素与三维空间中的点对应，并且这些像素作为空间数据被重组。具体地，计算出构成被选出的图像的各个物体所处的位置。作为计算结果的空间数据临时存储在空间数据存储设备38中。
视点转换设备40从空间数据存储设备38中读出由空间重建设备36生成的空间数据，并且重建从设定的虚拟视点观察的图像。这可以称为由空间重建设备36执行的过程的逆变换。由此，基于从空间数据存储设备38读出的数据生成从新转换的视点观察的图像。获得的图像的数据临时存储在视点转换图像数据存储设备42中，并且其后，作为视点转换图像在显示设备44中显示。
并且，在视点转换合成图像生成/显示设备12中，设置了成像设备配置物体模型存储设备74，用于存储成像设备配置物体模型(例如车辆自身的模型)，从而配置成像设备的物体的模型可以与通过空间重建生成的图像同时显示。还设置了视点选取设备76，一旦进行了视点选取处理，则视点选取设备76将与预先存储在虚拟视点数据存储设备78中的、事先设定的虚拟视点相对应的图像数据发送给视点转换设备40，从而在显示设备44中显示与选取的虚拟视点对应的转换图像。
此外，在本实施例中，依据虚拟视点在视点转换图像中的移动，预先从摄像机缓冲设备获取来自所需的成像单元的图像数据分组。因此，不执行不必要的数据处理，从而提高了图像合成处理的速度，这带来的效果是：本发明适用于要求即时性的移动物体(例如车辆)。
附带地，在本实施例中，给各立体摄像机单元10提供作为辅助光源的照明器50，用来照明被该作为成像单元的立体摄像机单元10成像的区域。此外，提供与将要生成的视点转换图像对应的独立照明器54，其独立于立体摄像机单元10。为照明器50或独立照明器54提供控制单元，其改变和选取各个视点转换图像。在图1所示的结构中，通过照明选择设备52执行该控制单元的功能。
图3示出了在辅助光为空间调制光的情况下用于照明的照明器50的示意性结构。
当光源84发射的光束被反射镜86和聚光透镜88成形而且光束的热射线被热削减玻璃90削减，并且其后光束到达图案过滤器92时，图案过滤器92的图像通过成像透镜94被投射到诸如障碍物的物体上。此外，对此，通过使用过滤器切换设备96，不仅能投射生成以上图像的空间调制光，而且能投射照明光。此外，通过去除热削减玻璃90并用红外传输可见光削减过滤器98代替图案过滤器92，可以实现在红外照明和可见光照明之间的切换。
在本实施例中，基于虚拟视点的选取，通过图像选取设备26选出与虚拟视点对应的立体摄像机单元10，而通过照明选取设备52选出与被选取的立体摄像机单元10对应的照明器50，从而仅操作被选出的照明器50。从而改变了照明器50投射的辅助光的方向，并且仅在由成像出生成虚拟视点图像所需的图像的立体摄像机单元10成像的区域上投射辅助光。因此，节省了用于照明光的能量，并且降低了晃花其他车辆的传感器的可能性。
此外，使用可见光、红外光、空间调制光中的一种，或者通过按时间序列变换使用它们中的多种，作为通过照明器50投射的辅助光。在此，当投射可见光时，可以对位于黑暗地方或背光位置的物体清楚地成像。当使用红外线时，可以获得在黑暗地区和夜间成像的清晰图像。
此外，通过使用空间调制光作为辅助光，在立体测距时，适合对具有少数特征点的单色平面等进行形状测量，从而可以有利地实现空间模型的生成。图4A和图4B中示出了空间调制光的示例。如图所示，作为空间调制光，例如可以使用条纹状图案，其中使用颜色等对该图案在基线方向(箭头方向)上进行编码(图4A)，或者使用任意点状图案，其中例如在立体测距时以窗口尺寸进行模板匹配切出时，可以容易地识别出点(图4B)。通过使用阴影图案显示颜色的差别。此外，图4A和图4B是从图案中切出的部分，而实际图案比示出的图案更加精细。此外，图中的符号A表示立体匹配过程中的窗口尺寸。
图5是在实现本发明的图像生成设备装备在车辆中，以观察周围的情形，用来辅助驾驶车辆的情况下的结构方框图。
如图所示，在作为布置成像设备的物体的车辆60的前部和后部设置多个作为成像单元的立体摄像机单元。在示例中，在车辆60的前部设置前摄像机组10F(10FR和10FL)，它的摄像机10FR和10FL分别设置在前部的右侧和左侧。而且，在车辆60的后部设置后摄像机组10R(10RR和10RL)，它的摄像机10RR和10RL分别设置在该后部的右侧和左侧。
车辆60包括视点转换合成图像生成/显示设备12，其用于合成立体摄像机单元10成像的图像，并生成看起来是从与立体摄像机单元10的视点不同的任意视点成像的图像。视点转换合成图像生成/显示装置通过LAN(局域网)经由图像选取设备26(26a和26b)与各立体摄像机单元10连接，并且图像数据经过各摄像机缓冲器分组发送。由此，被唯一确定为各设定视点的必需数据的所需图像数据可以从数据缓冲器中选出而通过分组传输快速载入，并可以经过图像处理，而且可以被显示。因此，提高了图像显示的速度，从而快速显示合成的图像。
还给每个摄像机单元10提供照明器50。此外，还为各单位视点转换图像提供了独立照明器54。照明器50和独立照明器54经由照明选取设备52与视点转换合成图像生成/显示设备12连接。由此，可以根据虚拟视点任意选取照明器50。
此外，对于诸如车辆60的移动物体，为了在有障碍物时提示驾驶员避开，一般要求在靠近驾驶员座位的显示设备44中即时地显示障碍物。在本实施例中，通过车辆60中设置的测距设备64，或者通过提供给摄像机的范围检测功能，可以识别出作为能显示障碍物的成像单元的立体摄像机单元10，预先读出该摄像机的图像数据，并且当辨认出物体时在显示设备44中输出和显示该数据。
接着，将具体说明为上述结构的图像生成设备生成视点转换图像的方法。
首先，图6示出了当使用立体附加器类型的立体摄像机单元时，用于生成距离图像的处理的流程图。这些处理在测距设备64中执行，真实图像数据和校准数据被输入到该测距设备64中。
在下面的说明中，使用以下情况，即，使用在右立体摄像机单元10R和左立体摄像机单元10L成像的图像中构成立体对的视图的右侧区(右立体摄像机单元10R的右侧和左立体摄像机单元10L的右侧)。
首先，在S100和S104中，进行如下处理：以预定的尺寸分别切出通过立体摄像机10R和立体摄像机10L分别成像的图像的视图部分的右侧区。而且，生成立体左图像(S102)和立体右图像(S106)。
接着，基于用于校正的校准数据(S108)，在S110中，分别对左右立体图像进行失真像差(distortion aberration)补偿，进行如下校正处理，通过测距设备64对图像进行几何变换，以使左右图像的对应点在核线(epipolar line)上。此外，该校准数据是关于选取的立体摄像机单元10R和10L各自的右侧摄像机的基线长度、内部和外部的摄像机参数等，并且通过由校准设备66进行校准而预先生成。
接着，校正之后对立体左图像(S114)和立体右图像(S116)进行立体匹配，并且寻找对应点，并在S116中执行计算视差的处理。由此，生成在图中各点处的视差量的映射(map)，并且所生成的映射变为视差数据(S118)。
接着，基于立体深度校准数据(S120)，在S122中将图像各点的视差量转换成与基准点的距离，并且执行生成深度图像数据的处理。此外，该立体深度校准数据是关于所选取的立体摄像机单元10R和10L各自的右侧摄像机的基线长度、内部和外部的摄像机参数等，并且通过由校准设备66进行校准而预先生成。
如上所述，生成和输出了深度图像数据(S124)。
通过进行以上处理，可以从通过多个立体摄像机单元10成像的图像中计算出深度图像数据。所得到的深度图像数据用来生成下面将说明的空间模型。此外，还能通过对构成立体对的视图的左侧区(右立体摄像机单元10R的左侧和左立体摄像机单元10L的左侧)进行相同的处理来获得深度图像数据。
接着，将参照图7说明根据本发明通过使用图像生成设备生成图像的方法。图7是用于示出在生成图像的方法中的处理顺序的流程图。
首先，在S202中，通过视点选取单元76选出将被显示的任意虚拟视点。
在S204中，通过图像选取设备26在多个立体摄像机单元10的短基线立体成像和长基线立体成像之间进行选择。
在S206中，通过选出的立体摄像机单元10进行成像。然后，当生成例如长基线侧的空间模型时，切出在视图(其中拍摄的左右图像被成像)的划分区中位于同侧的侧图像，并且用它们作为生成空间模型的立体对图像。
在S208中，通过校准设备66预先进行将用于立体匹配的校准，而且生成校准数据，诸如合乎选取的立体摄像机单元10的基线长度、内部和外部的摄像机参数等。
在步骤S210中，基于获得的校准数据，通过测距设备64，对选出的拍摄图像进行立体匹配。具体地，将图像视为立体图像，从左右图像中切出预定的窗口，并且当扫描核线时计算出窗口图像的归一化的交叉关联值等，从而搜寻出对应点并计算出左右图像的像素之间的视差。然后，根据计算出的视差，基于校准数据计算出距离，并将获得的深度数据作为深度图像数据。
在步骤S212中，将立体摄像机单元10的图像数据和通过测距设备64获得的深度图像数据输入用作空间模型更新单元的空间重建设备36中，并且在想要的距离处有选择地使用上述信息，由此，生成比通过空间模型生成设备68生成的模型更具体的空间模型。
在步骤S214中，为了获得对应于该空间模型的真实图像数据，通过空间重建设备36，依据校准数据将成像单元获得的图像映射到三维空间模型。由此，生成经过纹理映射(texture mapping)的空间数据。
在步骤S216中，通过视点转换设备40，基于由空间重建设备36生成的空间数据，生成从想要的虚拟视点观察的视点转换图像。
在步骤S218中，在显示设备44中显示如上所述生成的视点转换图像数据。
而且，在选取虚拟视点(S202)的过程之后，在S220中，通过图像选取设备26选出与虚拟视点对应的立体摄像机单元10，并且还通过照明选取设备52选出与选取的立体摄像机单元10对应的照明器50。
在随后的S222中，仅操作被选取的照明器50，并且对光进行投射。由此，只有与虚拟视点对应的区域被辅助光照明，而在上述对应区域以外的区域，不被辅助光照明，从而节省了用于照明的能量，并且降低了其他车辆的传感器因不必要的照明被晃花的可能性。
此外，在以上实施例中，使用这样的示例，即诸如摄像机单元10的成像单元以规定的形式放置在作为目标的车辆60中，然而，即使当上述成像单元设置在用作布置成像设备的对象的行人、街道、和诸如商店、家庭、办公室等的建筑物中时，也能类似地实现图像生成。通过上述设置，可将本发明应用于附加在安全摄像机或人体的可佩带计算机上用来获得基于图像的信息。
接着，示出将实施本发明的图像生成设备应用于房间的情况下的系统方框图。在图8中，与图1中的组件具有相同效果的组件用相同的数字表示，并且省略对其的说明。
在图8的结构中，除了提供给立体摄像机单元10的照明器50，还提供通过三维重建来生成空间模型所需的、适合测量到作为移动障碍物的人、以及室内的内部摆设等的距离的独立照明器54，并且都与照明选取设备52连接。
此外，物体辨认设备79与视点选取设备76连接。该物体辨认设备79通过红外传感器等辨认在被观察的区域中移动的障碍物，并被设置为：当它辨认出障碍物时，将辨认结果发送到视点选取设备76并使其选出虚拟视点。
图9是用于显示在实施本发明的图像生成设备应用于房间的情况下生成图像的方法中的处理顺序流程图。在图9中，与图7的处理相同的处理用相同的数字表示，并且省略对其的解释。
首先，在S200中，通过目标辨认设备79检测和辨认障碍物，并且选出成像区域包括被检测和辨认的障碍物的虚拟视点。
接着，在S202中，通过视点选取设备76选出图像将被显示的虚拟视点，并且随后，执行与图7中相同的处理。具体地，基于目标辨认设备79的辨认结果选取虚拟视点，并选取照明器50和摄像机单元10。当成像用于立体测距的图像时，选出的照明器50投射光。然后，通过使用投射光拍摄的图像进行立体匹配，接着，重建三维形状以用于生成空间模型(其用于生成视点转换图像)。其后，在生成的空间模型中进行用于映射的映射图像，并且根据空间数据生成视点转换图像并对其进行显示。
图10A和10B示出了将实施本发明的图像生成设备应用于房间的布置结构示例。这些图示出了将实施本发明的图像生成设备应用于房间观察设备的实施例，并且在虚拟视点随人的移动而改变的情况下，改变投射到人的光线。
具体地，作为成像单元的立体摄像机10设置在观察目标房间80的墙壁部分。向各立体摄像机单元10提供照明器50用于通过辅助光照明被成像的区域。而且，例如在观察目标房间80的角落部分独立于提供给摄像机的照明器50，设置独立照明器54。将虚拟视点设置在通过由立体摄像机单元10获得的图像可以观察到房间的全部的位置，然后通过图8中所示的系统结构生成视点转换图像。
对此，当物体辨认设备79辨认出一个人或类似物在房间中移动时，识别出可以在视点转换图像中显示被辨认出的移动的人的立体摄像机单元10，预先读出被识别的摄像机10的图像数据，通过视点转换生成合成图像，并输出合成图像以显示在显示设备44中。与此相并行地，如从图10A到图10B的改变所示，跟随人的移动，并且操作提供给被识别的立体摄像机单元10的照明器50和可以照明将由该被识别的摄像机辨认的区域的独立照明器54，以投射辅助光。此外，可以在视点转换图像中的合适位置提供独立照明器54。
通过以上操作，有可能通过从合适的位置投射光或空间调制光，跟随和显示诸如进入房间的人或类似物的移动障碍物。自然地，物体辨认设备可以根据障碍物移动虚拟视点，在现有设备设置在车辆中而不是在室内执行这些操作的情况下也一样。而且，本设备设置在车辆中的处理方法的实施例也可用来观察房间。
此外，在以上实施例中，该多个立体摄像机单元不仅可以使用双筒结构还可以使用单筒的立体附加器型，或者通过在导轨上运动的单筒摄像机实现成像的结构。而且，多个立体摄像机单元可在多个摄像机构成了所谓的三筒立体摄像机或四筒立体摄像机的结构中使用。已知如上所述使用三筒立体摄像机或四筒立体摄像机时，可以在三维重建过程等中获得更加可靠和更加稳定的处理结果(例如，见Information ProcessingSociety of Japan出版的“Information Processing”第42卷第4期Fumiaki Tomita的“High performance three-dimensional visionsystem”)。具体地，已知当在双向基线长度的方向安排多个摄像机时，有可能三维重建更复杂的场景。而且，当在一个基线长度的方向安排多个摄像机时，实现了基于所谓的多基线方法的立体摄像机，而实现更高精度的立体测量。
通过以上结构，当用于视点转换图像的合成目标成像单元在黑暗区域或夜间进行成像时，投射必要的辅助光，用于实现本发明的图像生成设备可以有效地生成高质量的辨认视点转换图像，这是因为当要获得视点转换合成图像时，辅助光将被投射在成像单元合成图像所需的将被照明的区域上。
用于实现本发明的图像生成设备可以在驾驶员座位附近提供的显示设备上显示作为从不同于那些摄像机的视点的虚拟视点观察的图像车辆周围的信息，并且可出于安全目的，用作建筑物和室内/室外的观察设备。
此外，本发明不局限于上述实施例，可以在不偏离本发明的精神的情况下进行各种修改和变型。
本申请要求2004年8月9日提交的日本申请第2004-232628号的优先权，该申请的内容通过引用并入。

Claims (10)

1.一种生成图像的方法，包括：
根据视点的改变而改变成像所需的辅助光的投射方向，以及
转换通过一个或多个成像单元成像获得的拍摄图像以从视点不同于成像单元的视点生成图像。
2.根据权利要求1所述的方法，其中：
所述辅助光是可见光、红外线和空间调制光中的至少一种。
3.根据权利要求1所述的方法，其中：
所述辅助光被投射在用于从不同视点生成图像的至少一些拍摄图像所包括的区域上，并且在这些拍摄图像所包括的区域之外不投射辅助光。
4.根据权利要求1所述的方法，其中：
所述成像单元布置在车辆中。
5.一种用于生成图像的设备，包括：
辅助光源，用于照明将被一个或多个成像单元成像的区域；
控制单元，用于根据视点的改变而改变成像单元成像所需的辅助光的投射方向；以及
视点转换图像生成单元，用于转换通过成像获得的拍摄图像，并从视点不同于成像单元的视点生成图像。
6.根据权利要求5所述的设备，其中：
所述辅助光源被提供给成像单元。
7.根据权利要求5所述的设备，其中：
所述辅助光源设置为独立于所述成像单元，并且与不同视点的图像对应。
8.根据权利要求5所述的设备，其中：
辅助光源通过可见光、红外线和空间调制光中的至少一种照明将被成像的区域。
9.根据权利要求5所述的设备，其中：
所述成像单元布置在车辆中。
10.根据权利要求5所述的设备，其中：
所述辅助光源与所述成像单元一起布置在成像单元所布置的物体中。
CNA2005100877851A 2004-08-09 2005-08-08 生成图像的方法和设备 Pending CN1735217A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004232628 2004-08-09
JP2004232628A JP2006054504A (ja) 2004-08-09 2004-08-09 画像生成方法および装置

Publications (1)

Publication Number Publication Date
CN1735217A true CN1735217A (zh) 2006-02-15

Family

ID=35757443

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005100877851A Pending CN1735217A (zh) 2004-08-09 2005-08-08 生成图像的方法和设备

Country Status (3)

Country Link
US (1) US20060029256A1 (zh)
JP (1) JP2006054504A (zh)
CN (1) CN1735217A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102205811A (zh) * 2010-03-31 2011-10-05 富士通天株式会社 图像生成装置、图像显示系统及图像生成方法
CN102780873A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置和方法
CN103649994A (zh) * 2011-07-05 2014-03-19 欧姆龙株式会社 用于投影体监测的方法和装置
CN108028913A (zh) * 2015-09-24 2018-05-11 高通股份有限公司 用于3d相机的光学架构
CN109360295A (zh) * 2018-10-31 2019-02-19 张维玲 一种基于像差分析的里程测量系统及方法

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7567844B2 (en) * 2006-03-17 2009-07-28 Honeywell International Inc. Building management system
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP4707034B2 (ja) * 2006-07-07 2011-06-22 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、入力インタフェース装置
BRPI0716814A2 (pt) * 2006-09-20 2013-11-05 Nippon Telegraph & Telephone Método de codificação de imagem, e método de decodificação, aparelhos para isso, aparelho de decodificação de imagem, programas para isso, e mídias de armazenamento para armazenar os programas
US8269820B2 (en) * 2006-11-02 2012-09-18 Konica Minolta Holdings, Inc. Wide-angle image acquiring method and wide-angle stereo camera device
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
EP2618102A2 (en) 2006-11-21 2013-07-24 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
DE102009000550B4 (de) * 2009-02-02 2018-10-04 Ford Global Technologies, Llc Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
JP5324310B2 (ja) 2009-05-14 2013-10-23 富士通テン株式会社 車載照明装置、画像処理装置及び画像表示システム
US8584030B2 (en) * 2009-09-29 2013-11-12 Honeywell International Inc. Systems and methods for displaying HVAC information
EP2302470A3 (en) 2009-09-29 2014-06-11 Honeywell International Inc. Systems and methods for configuring a building management system
US8339470B2 (en) * 2009-11-30 2012-12-25 Indian Institute Of Technology Madras Method and system for generating a high resolution image
US8532962B2 (en) * 2009-12-23 2013-09-10 Honeywell International Inc. Approach for planning, designing and observing building systems
US8577505B2 (en) * 2010-01-27 2013-11-05 Honeywell International Inc. Energy-related information presentation system
US8990049B2 (en) 2010-05-03 2015-03-24 Honeywell International Inc. Building structure discovery and display from various data artifacts at scene
US8538687B2 (en) 2010-05-04 2013-09-17 Honeywell International Inc. System for guidance and navigation in a building
US8773946B2 (en) 2010-12-30 2014-07-08 Honeywell International Inc. Portable housings for generation of building maps
JP2013008460A (ja) 2011-06-22 2013-01-10 Panasonic Corp 照明装置
US9342928B2 (en) 2011-06-29 2016-05-17 Honeywell International Inc. Systems and methods for presenting building information
JP2013214947A (ja) * 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
US8947437B2 (en) 2012-09-15 2015-02-03 Honeywell International Inc. Interactive navigation environment for building performance visualization
US9609305B1 (en) * 2013-03-13 2017-03-28 Amazon Technologies, Inc. Feature-based rectification of stereo cameras
JP6195491B2 (ja) * 2013-05-01 2017-09-13 株式会社ｎｉｔｔｏｈ 撮像システムおよび撮像システムを有する運転支援システム
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) * 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
JP6704607B2 (ja) * 2015-03-11 2020-06-03 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
JP6563694B2 (ja) * 2015-05-29 2019-08-21 株式会社デンソーテン 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US10692262B2 (en) * 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
JP6658642B2 (ja) * 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
DE102017222708A1 (de) * 2017-12-14 2019-06-19 Conti Temic Microelectronic Gmbh 3D-Umfelderfassung mittels Projektor und Kameramodulen
FR3078564B1 (fr) 2018-03-01 2020-09-11 4D View Solutions Systeme de modelisation tridimensionnelle d'une scene par photogrammetrie multi-vue
CN108437891A (zh) * 2018-03-10 2018-08-24 佛山杰致信息科技有限公司 一种适用于夜间环境的智能驾驶系统及方法
JP7219561B2 (ja) * 2018-07-18 2023-02-08 日立Astemo株式会社 車載環境認識装置
EP3621050B1 (en) 2018-09-05 2022-01-26 Honeywell International Inc. Method and system for improving infection control in a facility
US10978199B2 (en) 2019-01-11 2021-04-13 Honeywell International Inc. Methods and systems for improving infection control in a building
US11620594B2 (en) 2020-06-12 2023-04-04 Honeywell International Inc. Space utilization patterns for building optimization
US11783652B2 (en) 2020-06-15 2023-10-10 Honeywell International Inc. Occupant health monitoring for buildings
US11783658B2 (en) 2020-06-15 2023-10-10 Honeywell International Inc. Methods and systems for maintaining a healthy building
US11914336B2 (en) 2020-06-15 2024-02-27 Honeywell International Inc. Platform agnostic systems and methods for building management systems
US11823295B2 (en) 2020-06-19 2023-11-21 Honeywell International, Inc. Systems and methods for reducing risk of pathogen exposure within a space
US11184739B1 (en) 2020-06-19 2021-11-23 Honeywel International Inc. Using smart occupancy detection and control in buildings to reduce disease transmission
US11619414B2 (en) 2020-07-07 2023-04-04 Honeywell International Inc. System to profile, measure, enable and monitor building air quality
US11402113B2 (en) 2020-08-04 2022-08-02 Honeywell International Inc. Methods and systems for evaluating energy conservation and guest satisfaction in hotels
US11894145B2 (en) 2020-09-30 2024-02-06 Honeywell International Inc. Dashboard for tracking healthy building performance
US11372383B1 (en) 2021-02-26 2022-06-28 Honeywell International Inc. Healthy building dashboard facilitated by hierarchical model of building control assets
US11662115B2 (en) 2021-02-26 2023-05-30 Honeywell International Inc. Hierarchy model builder for building a hierarchical model of control assets
US11474489B1 (en) 2021-03-29 2022-10-18 Honeywell International Inc. Methods and systems for improving building performance
US12038187B2 (en) 2021-09-28 2024-07-16 Honeywell International Inc. Multi-sensor platform for a building
CN114821017B (zh) * 2022-04-08 2023-04-07 辽宁警察学院 一种车辆隔热防爆膜自适应补光图像采集方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3798668A (en) * 1972-10-05 1974-03-19 Bell & Howell Co Camera light
JPH0666023B2 (ja) * 1987-09-14 1994-08-24 旭光学工業株式会社 ズームレンズおよび照射角可変ストロボ装置を備えたカメラ
DE69921240T2 (de) * 1998-07-09 2006-02-02 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Herstellung eines Stereoskopischen Bildes
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
US6831641B2 (en) * 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102205811A (zh) * 2010-03-31 2011-10-05 富士通天株式会社 图像生成装置、图像显示系统及图像生成方法
CN102205811B (zh) * 2010-03-31 2013-06-19 富士通天株式会社 图像生成装置、图像显示系统及图像生成方法
CN102780873A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置和方法
CN103649994A (zh) * 2011-07-05 2014-03-19 欧姆龙株式会社 用于投影体监测的方法和装置
CN103649994B (zh) * 2011-07-05 2016-11-16 欧姆龙株式会社 用于投影体监测的方法和装置
CN108028913A (zh) * 2015-09-24 2018-05-11 高通股份有限公司 用于3d相机的光学架构
CN109360295A (zh) * 2018-10-31 2019-02-19 张维玲 一种基于像差分析的里程测量系统及方法

Also Published As

Publication number Publication date
JP2006054504A (ja) 2006-02-23
US20060029256A1 (en) 2006-02-09

Similar Documents

Publication Publication Date Title
CN1735217A (zh) 生成图像的方法和设备
CN1725857A (zh) 图像生成装置
CN110657785B (zh) 一种高效的场景深度信息获取方法及系统
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN110244282B (zh) 一种多相机系统和激光雷达联合系统及其联合标定方法
CN110853037A (zh) 一种基于球面投影的轻量化彩色点云分割方法
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN108234984A (zh) 双目深度相机系统和深度图像生成方法
CN102368137B (zh) 嵌入式标定立体视觉系统
CA2907047A1 (en) Method for generating a panoramic image
CN102438111A (zh) 一种基于双阵列图像传感器的三维测量芯片及系统
CN102253057B (zh) 内窥镜系统及使用内窥镜系统的测量方法
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN206611521U (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
CN101067879A (zh) 机动车日夜行驶观察记录装置
JP2006060425A (ja) 画像生成方法および装置
CN111753799A (zh) 一种基于主动双目的视觉传感器及机器人
JP4545503B2 (ja) 画像生成装置およびその方法
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
CN114155349A (zh) 一种三维建图方法、三维建图装置及机器人
JP2006031101A (ja) 画像生成方法およびその装置
DE102015106836B4 (de) Verfahren zur Steuerung einer 3D-Messvorrichtung mittels momentaner Bewegung und Vorrichtung hierzu
CN112257535B (zh) 一种躲避物体的三维匹配的设备及方法
DE102014019669B4 (de) 16Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mit vorgegebenen Bedingungen
CN209181735U (zh) 基于激光器的两栖三维视觉探测装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication