CN108700414A - 立体摄像装置、车辆以及视差计算方法 - Google Patents

立体摄像装置、车辆以及视差计算方法 Download PDF

Info

Publication number
CN108700414A
CN108700414A CN201780012446.8A CN201780012446A CN108700414A CN 108700414 A CN108700414 A CN 108700414A CN 201780012446 A CN201780012446 A CN 201780012446A CN 108700414 A CN108700414 A CN 108700414A
Authority
CN
China
Prior art keywords
optical system
focal length
photographing optical
lens group
photographic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780012446.8A
Other languages
English (en)
Inventor
大原直人
河野健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN108700414A publication Critical patent/CN108700414A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供一种立体摄像装置。该立体摄像装置(10)包括：第一拍摄部(11R)和第二拍摄部(11L)，具有包括多个透镜组的拍摄光学系统(14R、4L)和对拍摄光学系统(14R、14L)的多个透镜组中的至少一个进行驱动来改变焦距的致动器(16R、16L)；焦距控制部(21)，分别向致动器(16R、16L)输出相互同步的驱动信号；以及图像处理部(22)，使用由第一拍摄部(11R)和第二拍摄部(11L)拍摄的图像来计算到被摄体的距离。

Description

立体摄像装置、车辆以及视差计算方法
相关申请的交叉引用
本申请要求2016年2月25日在日本申请的日本特愿2016－34904号的优先权，参照该在先申请的全部公开内容并援引到本申请中。
技术领域
本发明涉及一种立体摄像装置、车辆以及视差计算方法。
背景技术
近年来，以在驾驶员难以观察的地方的视觉辅助、障碍物的检测、行驶时的周围环境的记录等为目的，在车辆上搭载了许多摄像机。特别是，在针对前方行驶的车辆和道路上的障碍物的防撞系统等用途上，用于检测前方的障碍物的摄像机得到开发和实际应用。
人们提出了一种摄像系统，在该系统中，根据基于车辆的行驶速度和地图信息而获得的道路形状的信息，改变拍摄的变焦倍率来检测障碍物(例如，参照专利文献1)。该摄像系统包括具有变焦机构的拍摄部，例如，变焦控制装置对变焦机构进行控制，使得拍摄的变焦倍率变为针对由车速传感器检测出的行驶速度而预先决定的变焦倍率。
现有技术文献
专利文献
专利文献1：日本特开2005-274518号公报
发明内容
本公开的多个实施方式中的一个立体摄像装置具备：第一拍摄部、第二拍摄部、焦距控制部以及图像处理部。第一拍摄部具有：第一拍摄光学系统，包括多个透镜组；以及第一驱动部，对该第一拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距。第二拍摄部具有：第二拍摄光学系统，包括多个透镜组；以及，对该第二拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距。焦距控制部向所述第一驱动部和所述第二驱动部分别输出相互同步的驱动信号。图像处理部使用由所述第一拍摄部和所述第二拍摄部拍摄的图像来计算到被摄体的视差。
本公开的多个实施方式中的一个车辆具备立体摄像装置。立体摄像装置具备第一拍摄部、第二拍摄部、焦距控制部以及图像处理部。第一拍摄部具有：第一拍摄光学系统，包括多个透镜组；以及第一驱动部，对该第一拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距。第二拍摄部具有：第二拍摄光学系统，包括多个透镜组；以及第二驱动部，对该第二拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距。焦距控制部向所述第一驱动部和所述第二驱动部分别输出相互同步的驱动信号。图像处理部使用由所述第一拍摄部和所述第二拍摄部拍摄的图像来计算到被摄体的视差。
本公开的多个实施方式中的一个视差计算方法使用具有第一拍摄部和第二拍摄部的立体摄像装置。第一拍摄部具有：第一拍摄光学系统，包括多个透镜组；以及第一驱动部，对该第一拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距。第二拍摄部具有：第二拍摄光学系统，包括多个透镜组；以及第二驱动部，对该第二拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距。该视差计算方法包括向所述第一驱动部和所述第二驱动部分别输出相互同步的驱动信号，并改变所述第一拍摄光学系统的所述焦距和所述第二拍摄光学系统的所述焦距的步骤。该视差计算方法还包括使用由所述第一拍摄部和所述第二拍摄部拍摄的图像来计算到被摄体的视差的步骤。
附图说明
图1是表示第一实施方式的立体摄像装置的概略结构的图。
图2是示意性地表示搭载图1的立体摄像装置的车辆的侧视图。
图3是示意性地表示搭载图1的立体摄像装置的车辆的主视图。
图4是表示长焦挡上的图1的立体摄像装置的光学系统的图。
图5是图1的控制部测量距离的流程图。
图6是第二实施方式的立体摄像装置测量距离的流程图。
图7是基于图像处理进行变焦的说明图，图7(a)、图7(b)和图7(c)是分别表示行驶的道路为水平时、从水平变为上坡时、及从水平变为下坡时的道路划线的图。
具体实施方式
为了使用摄像机来测量到前方障碍物的距离，使用一种立体摄像装置，该立体摄像装置使用大致平行地配置的两台以上的摄像机来计算对同一个被摄体的视差。可以考虑在立体摄像装置中，也与单目摄像机相同地，根据行驶速度和/或道路形状来改变应该拍摄的区域的图像倍率和视角。
但是，在立体摄像装置中，距离是通过以达到亚像素的精度对由多个摄像机拍摄的图像的像素进行比较来计算的。因此，多个摄像机间的设定必需高精度地一致。试图在立体摄像装置中搭载变焦功能时，如果在多个摄像机间未使焦距的控制准确地同步，则有距离测量的精度受损的风险。
在以下说明的本公开的实施方式的立体摄像装置、车辆及视差计算装置中，能够既具有变焦功能，又获得较高的距离测量精度。
以下，参照附图说明本公开的多个实施方式。需要说明的是，在以下说明中使用的图是示意图。附图上的尺寸、比率等与现实不一定一致。
(第一实施方式)
如图1所示，第一实施方式的立体摄像装置10包括第一拍摄部11R、第二拍摄部11L、控制部12以及校正表切换部13。本公开中的“立体摄像装置”是指，包括相互具有视差且相互协作的多个摄像机的装置。立体摄像装置包括至少两个以上的摄像机。在立体摄像装置中，可通过使多个摄像机协作，从多个方向对对象进行拍摄。立体摄像机中包括能够使多个摄像机协作而对对象同时拍摄的元件。拍摄的“同时”不限于完全相同的时间。本公开中的“同时”拍摄，例如包括：(i)多个摄像机在同一时刻进行拍摄，(ii)多个摄像机基于相同信号进行拍摄，以及(iii)多个摄像机在各自内部时钟的同一时刻进行拍摄。拍摄的时间基准包括拍摄的开始时刻、拍摄的结束时刻、所拍摄的图像数据的发送时刻以及对方设备接收图像数据的时刻。立体摄像装置可以是在一个壳体中包括多个摄像机的设备。立体摄像装置也可以是包括彼此独立且位于相互分开的位置上的两台以上的摄像机的设备。立体摄像装置不限于彼此独立的多个摄像机。例如，在本公开中可以采用具有将入射到分开的两个位置上的光引导至一个受光元件的光学机构的摄像机作为立体摄像装置。在立体摄像装置10中，排列有两台拍摄部，即彼此独立的第一拍摄部11R和第二拍摄部11L。通过从具有视差的多个视点同时拍摄对象物，立体摄像装置也能够记录深度方向信息。
本实施方式的立体摄像装置10，例如搭载于汽车等的车辆。在本公开的“车辆”中包括汽车、铁路车辆、工业车辆以及生活车辆，但不限于此。例如，在车辆中也可以包括在跑道上行驶的飞机。汽车包括轿车、卡车、公共汽车、摩托车以及无轨电车等，但不限于此，也可以包括道路上行驶的其他车辆。轨道车辆包括机车、货车、客车、有轨电车、轻轨、索道、缆车、线性马达汽车以及单轨电车，但不限于此，也可以包括沿着轨道前进的其他车辆。工业车辆包括用于农业和建筑的工业车辆。在工业车辆中包括叉车和高尔夫球车，但不限于此。用于农业的工业车辆包括拖拉机、耕种机、移栽机、收割扎束机、联合收割机以及割草机，但不限于此。建筑行业的工业车辆包括推土机、铲运机、挖掘机、起重机、自卸车以及压路机，但不限于此。生活车辆包括自行车、轮椅、婴儿车、手推车以及电动自行车，但不限于此。车辆动力机构包括内燃机以及电机；其中，内燃机包括柴油机、汽油机以及氢气机，电机包括马达，但不限于此。车辆也包括通过人力行驶的车辆。需要说明的是，车辆的分类不限于上述。例如，汽车也可以包括能够在道路行驶的工业车辆，在多个分类中也可以包括相同的车辆。
如图2和图3所示，立体摄像装置10可配置在车辆30的挡风玻璃的内侧，例如，可以配置在由驾驶员观察的后视镜背面侧。如图2的侧视图所示，第一拍摄部11R和第二拍摄部11L在铅直方向上的位置可以等同。在朝向车辆30的前进方向时，第一拍摄部11R能够位于右侧，第二拍摄部11L能够位于左侧。第一拍摄部11R和第二拍摄部11L的各光学系统的光轴OR、OL与车辆30的直行方向平行或稍微朝下配置，并能够拍摄路面上的划线以及前方行驶的其他车辆等。在本实施方式中，第一拍摄部11R、第二拍摄部11L、控制部12以及校正表切换部13能够容置于一个壳体内并构成为一体。
接着，参照图1说明立体摄像装置10的各构成要素。需要说明的是，在附图标记的末尾添加R或L的标记，仅为了示出分别包含在第一拍摄部11R和第二拍摄部11L的各构成要素是哪个摄像机的构成要素。末尾为R的构成要素属于第一拍摄部11R。末尾为L的构成要素属于第二拍摄部11L。
第一拍摄部11R和第二拍摄部11L例如是具备变焦功能的CCD(Charge-CoupledDevice：电荷耦合器件)摄像机、或者CMOS(Complementary MOS：互补金属氧化物半导体)摄像机。第一拍摄部11R和第二拍摄部11L可以采用黑白摄像机。第一拍摄部11R和第二拍摄部11L具有相同的结构，因此以下对第一拍摄部11R的结构进行说明。
第一拍摄部11R具备焦距可变的拍摄光学系统14R(第一拍摄光学系统)、拍摄元件15R(第一拍摄元件)以及致动器16R(第一驱动部)。
拍摄光学系统14R可以从被摄体侧依次由分别包括一个以上透镜的第一透镜组17R、第二透镜组18R以及第三透镜组19R构成。第一透镜组17R可以是具有正折射力且在光轴OR方向上的位置被固定的透镜组。第二透镜组18R可以是能够在光轴OR方向上移动的变焦用透镜组(变焦镜(Variator))。第三透镜组19R可以是能够在光轴OR方向上移动的焦点移动校正用透镜组(补偿镜(Compensator))。
拍摄元件15R具有受光元件，该受光元件包含CCD图像传感器(Charge-CoupledDevice Image Sensor)和CMOS图像传感器(Complementary MOS Image Sensor)。拍摄元件15R将照射到受光元件的受光面的光转换成电信号并通过A/D转换而转换为数字信号，并且作为二维图像信号向控制部12的后述的图像处理部22输出。
致动器16R使拍摄光学系统14R的第二透镜组18R的位置和第三透镜组19R的位置在光轴方向上以相互连动的方式位移。致动器16R使用了能够准确定位的驱动装置。在多个实施方式中的一个实施方式中，作为致动器16R，可以使用由来自外部的脉冲信号驱动的步进电机。通过从控制部12的后述的焦距控制部21接收脉冲信号来控制致动器16R。需要说明的是，作为致动器16R，也可以使用伺服电机等能够准确定位的其他驱动装置。
第二拍摄部11L具有与第一拍摄部11R相同的结构。可变焦距的拍摄光学系统14L(第二拍摄光学系统)、拍摄元件15L(第二拍摄元件)及致动器16L(第二驱动部)分别与第一拍摄部11R的拍摄光学系统14R、拍摄元件15R及致动器16R对应。另外，与拍摄光学系统14R相同地，拍摄光学系统14L可以由透镜组构成，该透镜组由第一透镜组17L、第二透镜组18L及第三透镜组19L这三组构成。
接着，对控制部12进行说明。控制部12是对立体摄像装置10整体进行控制的装置，并具备焦距控制部21、图像处理部22以及车辆通信部23的各功能块。控制部12包括一个以上的处理器。本公开中的“处理器”也可以包括专用于特定处理的专用处理器以及通过读取特定的程序来执行特定功能的通用处理器。在专用的处理器中可以包括DSP(DigitalSignal Processor：数字信号处理器)和用于特定用途的IC(ASIC；Application SpecificIntegrated Circuit：专用集成电路)。在处理器中也可以包括可编程逻辑器件(PLD；Programmable Logic Device)。PLD也可以包括FPGA(Field-Programmable GateArray：现场可编程门阵列)。控制部12可以是一个或多个处理器协作的SoC(System-on-a-Chip：片上系统)、或SiP(System In a Package：系统级封装)中的任意一个。
控制部12执行焦距控制部21、图像处理部22及车辆通信部23的各功能。焦距控制部21、图像处理部22及车辆通信部23的各功能块可以是分别独立的硬件模块，也可以是软件模块。各功能块各自所进行的动作可以由控制部12执行。控制部12不限于包括所有功能块的形式，也可以省略一个或多个功能块。一个或多个功能块可以与控制部12分开并独立地设置。在多个实施方式的一个中，控制部12可以执行各功能块所有的动作。由各功能块进行的动作也可称之为控制部12进行的动作。控制部12通过驱使各功能块中的任意一个功能块来进行的处理也可以由控制部12自己执行。以下说明各部分的细节。
焦距控制部21可以包括一个以上的处理器。焦距控制部21的功能可以使用控制部12的一个以上的处理器来执行。焦距控制部21可以称为控制立体摄像装置10的焦距的控制器。焦距控制部21经由车辆通信部23从车辆30上具备的车载ECU(Electronic ControlUnit：电子控制器)24获取行驶状态信息，并基于该行驶状态信息决定变焦倍率。
车辆通信部23是经由立体摄像装置所具有的物理通信接口在控制部12与车内的其他系统之间进行输入输出的输入输出接口。物理通信接口能够采用物理连接器和无线通信设备。物理连接器包括对应电信号传输的电连接器、对应光信号传输的光连接器以及对应电磁波传输的电磁连接器。电连接器包括符合IEC60603的连接器、符合USB标准的连接器、与RCA端子对应的连接器、与EIAJ CP-1211A规定的S端子对应的连接器、与EIAJ RC-5237规定的D端子对应的连接器、符合HDMI(注册商标)标准的连接器以及与包括BNC的同轴电缆对应的连接器。光连接器包括符合IEC 61754的各种连接器。无线通信机包括Bluetooth(注册商标)和包括IEEE802.11的符合各标准的无线通信机。无线通信机包括至少一个天线。焦距控制部21和图像处理部22通过车辆通信部23并经由CAN(ControlAreaNetwork：控制局域网)等与车辆30的车载ECU24进行信息的发送和接收。
行驶状态信息是指，与车辆30的行驶状态相关的信息。行驶状态信息包括，例如，车辆30的速度、制动状态、变速器的齿轮状态等的车辆30本身的运行信息以及行驶中的道路(普通道路、汽车专用道路等)的类别、道路的形状、倾斜等车辆30的行驶道路的信息。
车载ECU24包括搭载在车辆30的各种ECU。作为车载ECU24，包括发动机控制ECU等动力传动系统的ECU、基于传感器信息进行制动控制和驾驶辅助等的安全系统ECU、以及如导航ECU一样的信息系统ECU等各种ECU。车载ECU包括工厂出货前或工厂出货后安装到车辆30的各种信息设备的控制装置。在图1中，将这些多个ECU汇总并作为车载ECU24进行图示。
例如，焦距控制部21经由车辆通信部23可以从发动机控制ECU或作为车速表ECU的车载ECU24获取车速信号，并根据行驶速度来决定第一拍摄部11R和第二拍摄部11L的焦距。改变焦距意味着改变图像倍率和视角。在本实施方式中，焦距控制部21将拍摄光学系统14R、14L的状态决定为焦距短且图像倍率更低而视角更宽的“广角”、和焦距长且图像倍率更高而视角更窄的“长焦”中的任意一种状态。
另外，基于决定的广角和长焦的类别，焦距控制部21向致动器16R和致动器16L输出相互同步的驱动信号。由此，焦点控制部21使第一拍摄部11R的拍摄光学系统14R和第二拍摄部11L的拍摄光学系统14L的第二透镜组18R、18L及第三透镜组19R、19L在广角挡和长焦挡之间在光轴方向上发生位移。具体而言，焦距控制部21向致动器16R和致动器16L输出相互同步的驱动信号。当致动器16R、16L是步进电机时，驱动信号为用于驱动步进电机的彼此相同的脉冲信号。由此，致动器16R和致动器16L进行正确且相同的动作，而拍摄光学系统14R和拍摄光学系统14L被控制为始终具有相同焦距。
图1中的拍摄光学系统14R和拍摄光学系统14L示出了广角时的第一透镜组17R、17L，第二透镜组18R、18L，第三透镜组19R、19L的配置。将此时各透镜组的配置称为广角挡。与此相反，图4表示长焦时的第一透镜组17R、17L，第二透镜组18R、18L，第三透镜组19R、19L的配置。此时的各透镜组的配置称为长焦挡。第二透镜组18R、18L和第三透镜组19R、19L在广角挡与长焦挡之间，并沿着光轴OR、OL在被摄体侧和图像平面侧之间移动。
第一拍摄部11R和第二拍摄部11L拍摄位于从近距离到远距离的位置且被用于计算被摄体的视差的图像。因此，第一拍摄部11R和第二拍摄部11L被构成为可使景深变深且获取自近距离到无限远模糊少的图像。另外，第三透镜组19R、19L被调整为使焦点始终对准在较远处的规定距离。因此，在本实施方式的拍摄光学系统14R、14L中，第二透镜组18R、18L和第三透镜组19R、19L彼此的位置建立唯一对应关系。例如，第二透镜组18R、18L和第三透镜组19R、19L由同一个凸轮机构在光轴OR、OL方向上引导。由此，在广角挡与长焦挡之间，当用致动器16R、16L使第二透镜组18R、18L在光轴OR，OL方向上发生位移时，第三透镜组19R、19L以与第二透镜组18R、18L的位移连动的方式发生位移。因此，对于第一拍摄部11R和第二拍摄部11L中的每一者，能够用单个的致动器16R、16L对第二透镜组18R、18L和第三透镜组19R、19L进行驱动。
当焦距控制部21在广角挡与长焦挡这两个变焦挡之间进行了切换时，指示后述的校正表切换部13切换成对应于切换后的变焦挡的校正表组。
图像处理部22基于由第一拍摄部11R的拍摄元件15R和第二拍摄部11L的拍摄元件15L输出的图像信号来计算视差，并计算到被摄体的距离。图像处理部22可以由构成控制部12的处理器的一部分构成。图像处理部22可以包括设计成立体图像处理用的ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable GateArray)等的处理器。图像处理部22还可以具有临时存储图像数据的DRAM(Dynamic RandomAccessMemory：动态随机访问存储器)和/或SDRAM(Synchronous Dynamic RandomAccess Memory：同步动态随机访问存储器)等的储存器。图像处理部22也可以称为图像处理处理器。
当接收图像信号时，图像处理部22分别对输入的由第一拍摄部11R和第二拍摄部11L生成的图像进行图像的调整。例如，图像处理部22根据外部环境对拍摄的图像亮度和/或图像对比度进行调整。
另外，图像处理部22对由第一拍摄部11R输出的图像和由第二拍摄部11L输出的图像进行校正。例如，当第一拍摄部11R和第二拍摄部11L的朝向存在少许偏差时，与该偏差量对应地进行图像的校正。另外，图像处理部22对因透镜的畸变导致产生的像差进行校正。一般情况下，广角越大光学系统的畸变越大，因此，需要根据拍摄光学系统14R、14L的焦距，在广角挡与长焦挡之间进行不同的校正。上述的校正是通过从校正表切换部13获取与当前的变焦挡对应的像差校正用的校正表来进行的。图像处理部22用像差校正用的校正表并根据拍摄光学系统14R、14L的焦距，对由第一拍摄部11R和第二拍摄部11L拍摄的图像的像差进行校正。另外，图像处理部22对拍摄光学系统14R和拍摄光学系统14L所包含的透镜的个体差异也用校正表切换部13所包含在的校正表也进行校正。各校正表的内容根据设计值或通过预先进行测量而被决定，并存储到校正表切换部13。
图像处理部22将从第一拍摄部11R输出的图像和从第二拍摄部11L输出的图像中的一个图像作为基准图像，另一个图像作为参照图像。图像处理部22将参照图像分割成3×3像素、5×5像素等的长方形块，并且通过从基准图像中搜索最相似的块来计算视差。由于视差的计算方法是公知的，因此省略了详细的说明。图像处理部22可以具备用于对块的匹配进行高速并行处理的专用距离运算电路。
另外，图像处理部22可以根据计算出的视差来计算到被摄体的距离。距离的计算可以使用输入视差与距离的转换表即视差表来进行。拍摄光学系统14R和拍摄光学系统14L根据变焦挡，以像素值表示的视差和以米为单位表示的距离之间的对应关系有所不同。因此，图像处理部22具有与当前变焦挡对应的视差表。图像处理部22可以从校正表切换部13获取与当前的变焦挡对应的视差表。
另外，图像处理部22将计算出的到被摄体的距离信息经由车辆通信部23向车载ECU24输出。
例如，车载ECU24是安全系统的ECU，并基于接收的距离信息对车载ECU24进行控制，使得与前方的车辆、障碍物等的距离不过短、或者可以发出警告。假设，当车辆30的行驶速度较慢且拍摄光学系统14R和拍摄光学系统14L处于广角挡时，能够检测从较近距离的路边窜出的人和/或车辆。另一方面，在车辆30的行驶速度较快且拍摄光学系统14R和拍摄光学系统14L为长焦时，能够更准确地检测出到位于较远距离的前方车辆的距离。如上所述，可以根据车辆30的行驶速度进行距离测量。
校正表切换部13根据由焦距控制部21输入的当前的变焦挡，向图像处理部22输出与广角对应的广角校正表组25、或者与长焦对应的长焦校正表组26。广角校正表组25和长焦校正表组26分别包括用于校正由拍摄光学系统14R和拍摄光学系统14L产生的像的畸变的校正表。校正表包括用于校正像差的校正表。另外，广角校正表组25和长焦校正表组26能够具备用于将视差信息转换成距离信息的视差表。
校正表切换部13可以具备用于存储微处理器和校正表组的储存器。校正表切换部13可以使用与控制部12相同的CPU和储存器来安装，也可以由与控制部12不同的硬件来安装。校正表切换部13可以作为能够从图像处理部22读取的储存器来安装。
接着，使用示出控制部12的处理的图5的流程图来说明立体摄像装置10的动作。
首先，通过驾驶员对车辆30的点火钥匙操作或者通过驾驶员对立体摄像装置10的电源操作等来启动立体摄像装置10(步骤S101)。
接着，控制部12的焦距控制部21从车载ECU24获取车辆30的行驶信息(步骤S102)。车辆30的行驶信息例如是，从车辆30的车速传感器获得的行驶速度信息。
当获取行驶信息时，焦距控制部21根据获取的行驶信息来驱动第一拍摄部11R和第二拍摄部11L的致动器16R、16L，并决定是否改变焦距(步骤S103)。例如，当行驶信息为行驶速度信息时，如果行驶速度小于规定的阈值，则焦距控制部21相对地缩短焦距，进行图像倍率低且视角大的广角挡的拍摄。反之，在行驶速度比规定的阈值大的情况下，焦距控制部21加大焦距，进行图像倍率高且视角窄的长焦挡的拍摄。在立体摄像装置10启动时，如果行驶速度为零，则变焦挡可以设置为广角挡。
在步骤S103中，当改变焦距时，焦距控制部21进行接下来的步骤S104；而不改变焦距时，焦距控制部21进行步骤S106。
在步骤S104中，焦距控制部21向第一拍摄部11R的致动器16R和第二拍摄部11L的致动器16L输出驱动信号。作为一个例子，致动器16R和致动器16L是步进电机。焦距控制部21可以输出驱动步进电机的脉冲信号。
接着，焦距控制部21指示校正表切换部13改变校正表组(步骤S105)。例如，当变焦挡从广角挡改变为长焦挡时，长焦校正表组26设定为当前的校正表组。相反，在从长焦挡改变为广角挡时，广角校正表组25设定为当前的校正表组。当校正表组的改变结束时，进行步骤S106。
在步骤S106中，图像处理部22从第一拍摄部11R的拍摄元件15R和第二拍摄部11L的拍摄元件15L获取由第一拍摄部11R和第二拍摄部11L拍摄的图像的图像信号。接着，图像处理部22对从第一拍摄部11R和第二拍摄部11L获取的图像的畸变进行调整。为了进行畸变的调整，从校正表切换部13的当前的校正表组中获取的校正表。
另外，图像处理部22根据从校正了的第一拍摄部11R和第二拍摄部11L获取的两个图像的视差来生成将视差映射成二维的视差图像。视差图像的生成可以在图像处理部22的内部进行，无需在实际的显示装置等上显示图像。并且，图像处理部22根据视差图像的各位置的视差，并基于从校正表切换部13的当前的校正表组获取的视差表，对拍摄出的图像上的各点进行距离信息的计算(步骤S107)。
图像处理部22计算的距离信息向车载ECU24输出(步骤S108)。例如，图像处理部22向作为安全系统的ECU的车载ECU24输出距离信息，当与前方车辆的间隔较短时，车载ECU24能够警告驾驶员或者使车辆30减速。
当检测出驾驶员对车辆30的点火钥匙的OFF(关闭)操作或者立体摄像装置10的电源切断时，控制部12停止处理。在除此之外的情况，重复执行上述步骤S102至步骤S108(步骤S109)。
如上述说明，根据本实施方式，对于第一拍摄部11R的致动器16R和第二拍摄部11L的致动器16L这两个的致动器，立体摄像装置10具有单一的焦距控制部21。由于焦距控制部21向致动器16R、16L输出相互同步的驱动信号，因此能够使第一拍摄部11R和第二拍摄部11L之间的焦距的控制准确的同步。由此，立体摄像装置10能够既具有变焦功能，又获取可获得较高距离测量精度的视差数据。
另外，立体摄像装置10具备校正表切换部13，并根据拍摄光学系统14R和拍摄光学系统14L的焦距变化，对广角挡和长焦挡中的各个变焦挡进行图像的像差校正。由此，可以进一步提高识别精度。并且，对拍摄光学系统14R和拍摄光学系统14L所包含的透镜的个体差异，也能够用校正表切换部13校正。
另外，立体摄像装置10从车载ECU24获取行驶状态信息，因此可以自动地选择根据行驶状态的变焦挡。
另外，立体摄像装置10的拍摄光学系统14R和拍摄光学系统14L分别由3组透镜构成，且变焦用的第二透镜组18R、18L和焦点移动补偿用的第三透镜组19R、19L以彼此的位置建立唯一对应关系的方式进行连动，因此，可以分别由单一的致动器16R、16L来驱动拍摄光学系统14R和拍摄光学系统14L。由此，能够简化第一拍摄部11R和第二拍摄部11L的结构，且能够提高距离测量的精度。
另外，立体摄像装置10未使用将拍摄的图像进行放大处理的数码变焦，而是使用使焦距实际发生变化的光学变焦。由此，不会因图像的放大和插值处理等引起信息的精度降低，并能够获取距离测量所需的准确的信息。
在上述实施方式中，根据行驶速度来切换第一拍摄部11R和第二拍摄部11L的焦距，但设定切换条件不只限于行驶速度。例如，焦距控制部21从车载ECU24获取车辆30周围的地图信息作为行驶信息，并判别行驶道路的类型。在汽车专用道路行驶过程中，焦距控制部21可以将变焦挡设定为长焦挡。在市区街道行驶过程中，焦距控制部21可以将变焦挡设定为广角挡。另外，焦距控制部21也可以从车载ECU24获取方向指示器(方向指示灯)的操作信息作为行驶信息。当驱动方向指示器时，焦距控制部21可以切换到广角挡。另外，焦距控制部21可以从车载ECU24获取车辆30的加速度作为行驶信息。在加速时，焦距控制部21可以将变焦挡切换成长焦挡。当减速时，焦距控制部21可以使变焦挡切换成广角挡。
(第二实施方式)
第二实施方式本公开的多个实施方式中的一个，第二实施方式的立体摄像装置10由与第一实施方式的立体摄像装置10相同的构成要素构成，且控制部12进行的处理的一部分有所不同。
如图6所示，本实施方式在获取图像信号(步骤S202)，生成行驶状态信息(步骤S203)，判断是否改变焦距(步骤S204)这一点与第一实施方式不同。其他处理的步骤(步骤S201、S205～S210)与第一实施方式的处理步骤(步骤S101、S104～S109)相同。因此，以下仅对第二实施方式的与第一实施方式不同之处进行说明。
在本实施方式中，焦距控制部21获取图像处理部22生成的行驶状态信息来代替从车载ECU24获取行驶状态信息，或者除了从车载ECU24获取行驶状态信息之外，还获取图像处理部22生成的行驶状态信息。图像处理部22基于从第一拍摄部11R和第二拍摄部11L中的两者或者任意一者拍摄的图像来生成行驶状态信息。因此，图像处理部22在立体摄像装置10启动(步骤S201)后，首先从第一拍摄部11R和第二拍摄部11L获取图像信号(步骤S202)。
接着，图像处理部22根据拍摄的图像信号来生成行驶状态信息(步骤S203)。使用图7说明行驶状态信息的生成的一个例子。图7(a)～(c)是由第一拍摄部11R或者第二拍摄部11L中的任意一者拍摄的图像，并示出有路面上的标线即车道外侧线31和车道中央线32。行驶的道路向前方直线延伸时，在实际空间中，车道外侧线31与车道中央线32平行。在拍摄的图像中，这些车道外侧线31和车道中央线32的延长线在对应于无限远的消失点上交叉。
图7(a)、图7(b)及图7(c)分别表示在行驶的道路为水平时、从水平变成上坡时、及从水平变成下坡时，由消失点Pf、Pu、Pd和车道外侧线31及车道中央线32形成的角度θf、θu、θd。此时，消失点Pf、Pu、Pd的垂直方向上的高度(分别设定为pf、pu、pd)、和车道外侧线31与车道中央线32形成的角度θf、θu、θd具有以下的关系。
pd＜pf＜pu
θu＜θf＜θd
因此，图像处理部22对包括车道外侧线31和车道中央线32的标线进行识别处理，生成消失点的垂直高度p或者车道外侧线31与车道中央线32形成的角度θ作为行驶状态信息，并传递到焦距控制部21。焦距控制部21基于由图像处理部22获取的消失点的垂直高度p或者车道外侧线31与车道中央线32形成的角度θ，对是否改变焦距进行判断(步骤S204)。
例如，当车辆30的前方道路为倾斜时，行驶状态信息由消失点的垂直高度p来表示。当消失点的垂直高度p大于规定的阈值时，由于靠近上坡，因此假设成车辆30减速。因此，当变焦挡处于长焦挡时，焦距控制部21将变焦挡切换成广角挡。当消失点的垂直高度p小于规定阈值时，由于靠近下坡，因此假设成车辆30加速。因此，当变焦挡处于长焦挡时，焦距控制部21将变焦挡切换成广角挡。
以下的处理步骤(步骤S205～步骤S210)与第一实施方式中的图5的处理步骤(步骤S204～步骤S209)相同。另外，在步骤S210中只要系统不停止，控制部12重复步骤S203～步骤S210。但是，在进行了第二次以后的步骤S203中，图像处理部22基于在步骤S207中获取的图像信号来生成行驶状态信息。
由此，能够基于由立体摄像装置10拍摄的图像来控制焦距。在该情况下，由于从单一的焦距控制部21向第一拍摄部11R和第二拍摄部11L送出同步的驱动信号，因此，与第一实施方式相同，第二实施方式能够既具有变焦功能，又获取可以获得高距离测量精度的视差数据。另外，还具有通过仅根据由第一拍摄部11R和第二拍摄部11L获得的图像就能够判断是否改变变焦挡的效果。
基于图像处理的焦距的切换方法，不限于上述的例子。例如，当通过图像处理检测到车道外侧线31和车道中央线32为弯曲时，图像处理部22判断车辆30所行驶的道路在前方拐弯。此时，图像处理部22向焦距控制部21传递道路拐弯的信息作为行驶状态信息。焦距控制部21接收该信息，并且能够进行控制，以使第一拍摄部11R和第二拍摄部11L的变焦挡从长焦挡切换成广角挡。
另外，图像处理部22能够对由第一拍摄部11R和第二拍摄部11L拍摄的图像进行物体识别处理，来检测前方行驶的车辆，并且根据视差信息计算距离。图像处理部22可以将与该前方车辆之间的距离作为行驶状态信息传递到焦距控制部21。例如，当前方行驶的车辆比规定距离远且变焦挡处于广角挡时，焦距控制部21切换成长焦挡。反之，当前方行驶的车辆比规定距离近且变焦挡处于长焦挡时，焦距控制部21切换成广角挡。由此，当前方车辆在远距离时，以放大的方式拍摄图像。因此，在以第一拍摄部11R与第二拍摄部11L之间的像素为单位表示的视差变大。就立体摄像装置的距离测量而言，一般来讲，在远距离时，由于与一个像素的偏移对应的距离变长，因此精度降低；但若采用上述方法，则即使前方车辆距离较远也能够进行精度较高的距离测量。
需要说明的是，本公开不只限于上述第一实施方式和第二实施方式，而是能够进行许多变形或修改。例如，在上述实施方式中示出了，立体摄像装置10是第一拍摄部11R、第二拍摄部11L、控制部12及校正表切换部13作为一体而构成的例子。立体摄像装置10也可以将第一拍摄部11R和第二拍摄部11L、控制部12和校正表切换部13分开构成。
另外，立体摄像装置10的第一拍摄部11R和第二拍摄部11L的设置位置不限于挡风玻璃的内侧，而是可以设置在各种位置。例如，第一拍摄部11R和第二拍摄部11L可以分别固定在车辆30的保险杠的前面。另外，第一拍摄部11R和第二拍摄部11L被设置为黑白摄像机，但也可以使用彩色摄像机或者也能够拍摄红外区域的光的摄像机。拍摄光学系统14R、14L作为3组而构成，但不限于此，也能够以2组或4组以上的透镜构成。
另外，在上述实施方式中，第一拍摄部11R和第二拍摄部11L被设置为在广角和长焦这两种焦距之间进行切换，但不限于此，也可以使第一拍摄部11R和第二拍摄部11L在三个等级以上的焦距之间切换。在该情况下，关于各阶段在校正表切换部13设置有校正表组。
另外，在各实施方式中示出了对是否改变焦距进行判断的多个方法，但这些仅作为示例，也可以是其他各种判定方法。并且，还可以将各实施方式所示的判定方法组合并使用。
另外，在上述实施方式中，立体摄像装置10包括了第一拍摄部11R和第二拍摄部11L。但是，立体摄像装置也可以包括三个以上的拍摄部。
附图标记的说明
10 立体摄像装置
11R 第一拍摄部
11L 第二拍摄部
12 控制部
13 校正表切换部
14R、14L 拍摄光学系统
15R、15L 拍摄元件
16R、16L 致动器
17R、17L 第一透镜组
18R、18L 第二透镜组
19R、19L 第三透镜组
21 焦距控制部
22 图像处理部
23 车辆通信部
24 车载ECU
25 广角校正表组
26 长焦校正表组
30 车辆
31 车道外侧线
32 车道中央线

Claims (11)

1.一种立体摄像装置，具备：
第一拍摄部，具有包括多个透镜组的第一拍摄光学系统、和对该第一拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距的第一驱动部，
第二拍摄部，具有包括多个透镜组的第二拍摄光学系统、和对该第二拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距的第二驱动部，
焦距控制部，向所述第一驱动部和所述第二驱动部分别输出相互同步的驱动信号，以及
图像处理部，使用由所述第一拍摄部和所述第二拍摄部拍摄的图像来计算到被摄体的视差。
2.如权利要求1所述的立体摄像装置，其中，
所述图像处理部根据所述第一拍摄光学系统的所述焦距和所述第二拍摄光学系统的所述焦距，对由所述第一拍摄部和所述第二拍摄部拍摄的图像的像差进行校正。
3.如权利要求1或2所述的立体摄像装置，其中
在搭载于车辆的情况下，所述焦距控制部获取与所述车辆的行驶状态相关的行驶状态信息，并根据该行驶状态信息向所述第一驱动部和所述第二驱动部输出所述驱动信号。
4.如权利要求3所述的立体摄像装置，其中，
所述图像处理部基于由第一拍摄部和第二拍摄部中的两者或者任意一者拍摄的图像来生成行驶状态信息，所述焦距控制部从所述图像处理部获取所述行驶状态信息。
5.如权利要求1～4中任一项所述的立体摄像装置，其中，
所述第一驱动部和所述第二驱动部各自包括步进电机，所述焦距控制部输出用于驱动所述步进电机的脉冲信号作为所述驱动信号。
6.如权利要求1～5中任一项所述的立体摄像装置，其中，
所述第一拍摄光学系统和所述第二拍摄光学系统分别由包括变焦用透镜组和焦点移动校正用透镜组的两个以上透镜组构成，所述变焦用透镜组与所述焦点移动校正用透镜组以彼此的位置建立唯一对应关系的方式进行连动。
7.一种具备立体摄像装置的车辆，
所述立体摄像装置具备：
第一拍摄部，具有包括多个透镜组的第一拍摄光学系统、和对该第一拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距的第一驱动部，
第二拍摄部，具有包括多个透镜组的第二拍摄光学系统、和对该第二拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距的第二驱动部，
焦距控制部，向所述第一驱动部和所述第二驱动部分别输出相互同步的驱动信号，以及
图像处理部，使用由所述第一拍摄部和所述第二拍摄部拍摄的图像来计算到被摄体的视差。
8.一种使用立体摄像装置的视差计算方法，，
所述立体摄像装置具备：
第一拍摄部，具有包括多个透镜组的第一拍摄光学系统、和对该第一拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距的第一驱动部，以及
第二拍摄部，具有包括多个透镜组的第二拍摄光学系统、和对该第二拍摄光学系统的所述多个透镜组中的至少一个透镜组进行驱动来改变焦距的第二驱动部；
所述视差计算方法包括：
向所述第一驱动部和所述第二驱动部分别输出相互同步的驱动信号，并改变所述第一拍摄光学系统的所述焦距和所述第二拍摄光学系统的所述焦距的步骤，以及
使用由所述第一拍摄部和所述第二拍摄部拍摄的图像来计算到被摄体的视差的步骤。
9.如权利要求8所述的视差计算方法，其中，
所述视差计算方法包括：与所述焦距的改变同步，根据所述第一拍摄光学系统的所述焦距和所述第二拍摄光学系统的所述焦距来改变用于进行像差校正的校正表的步骤，
在计算视差的所述步骤中，使用所述校正表来校正由所述第一拍摄部和所述第二拍摄部拍摄的图像之后，使用校正了的该图像来计算到被摄体的视差。
10.如权利要求8或9所述的视差计算方法，其中，
在所述立体摄像装置搭载于车辆的情况下，在改变所述焦距的步骤之前，所述视差计算方法还包括获取与所述车辆的行驶状态相关的行驶状态信息的步骤，
改变焦距的所述步骤包括根据所述行驶状态信息输出所述驱动信号。
11.如权利要求10所述的视差计算方法，其中，
在获取行驶状态信息的所述步骤中，基于由所述第一拍摄部和所述第二拍摄部中的两者或者任意一者拍摄的图像来生成所述行驶状态信息，从而获取所述行驶状态信息。
CN201780012446.8A 2016-02-25 2017-02-17 立体摄像装置、车辆以及视差计算方法 Pending CN108700414A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-034904 2016-02-25
JP2016034904 2016-02-25
PCT/JP2017/005969 WO2017145945A1 (ja) 2016-02-25 2017-02-17 ステレオカメラ装置、車両および視差算出方法

Publications (1)

Publication Number Publication Date
CN108700414A true CN108700414A (zh) 2018-10-23

Family

ID=59685147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780012446.8A Pending CN108700414A (zh) 2016-02-25 2017-02-17 立体摄像装置、车辆以及视差计算方法

Country Status (4)

Country Link
US (1) US11703326B2 (zh)
JP (1) JPWO2017145945A1 (zh)
CN (1) CN108700414A (zh)
WO (1) WO2017145945A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493573A (zh) * 2019-08-23 2019-11-22 临工集团济南重机有限公司 一种挖掘机及挖掘机远程控制系统
CN114365182A (zh) * 2019-09-05 2022-04-15 京瓷株式会社 物体检测装置、物体检测系统、移动体和物体检测方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11703326B2 (en) * 2016-02-25 2023-07-18 Kyocera Corporation Stereo camera apparatus, vehicle, and parallax calculation method
KR101822895B1 (ko) * 2016-04-07 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량
CN108020200B (zh) 2016-10-31 2020-02-28 杭州海康威视数字技术股份有限公司 一种深度测量方法及系统
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
US10872246B2 (en) * 2017-09-07 2020-12-22 Regents Of The University Of Minnesota Vehicle lane detection system
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
US11158088B2 (en) 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
JP7067047B2 (ja) * 2017-12-14 2022-05-16 株式会社豊田自動織機 操舵装置
JP7041889B2 (ja) * 2018-02-19 2022-03-25 国立大学法人京都大学 自脱型コンバイン
WO2020075476A1 (ja) * 2018-10-11 2020-04-16 日立オートモティブシステムズ株式会社 車載システム
JP2023528407A (ja) * 2020-06-04 2023-07-04 アドヴァンスド ファーム テクノロジーズ インコーポレイテッド グローバルシャッタ同期式カラーステレオカメラシステム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10129375A (ja) * 1996-10-30 1998-05-19 Yazaki Corp 車載用前方車両認識装置
CN1218355A (zh) * 1998-11-24 1999-06-02 杨更新 汽车自动驾驶系统
JPH11312300A (ja) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
JP2001221621A (ja) * 2000-12-20 2001-08-17 Minolta Co Ltd ３次元形状測定装置
JP2004053323A (ja) * 2002-07-17 2004-02-19 Denso Corp ナビゲーションシステム及びナビゲーション装置
JP2013044827A (ja) * 2011-08-23 2013-03-04 Sharp Corp 撮像装置
JP2013206416A (ja) * 2012-03-29 2013-10-07 Yazaki Energy System Corp 車載画像記録装置
CN104902261A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 用于低清晰度视频流中的路面识别的装置和方法
CN105282498A (zh) * 2014-06-18 2016-01-27 富士重工业株式会社 图像处理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY104410A (en) * 1988-03-07 1994-03-31 Sharp Kk Interlocked zooming apparatus for use in stereoscopic cameras
US5978015A (en) * 1994-10-13 1999-11-02 Minolta Co., Ltd. Stereoscopic system with convergence and dioptric power adjustments according to object distance
JP4296617B2 (ja) * 1998-10-15 2009-07-15 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JP2005274518A (ja) 2004-03-26 2005-10-06 Denso Corp 運行障害予知システム
JP4889351B2 (ja) 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
JP2007241304A (ja) * 2007-04-20 2007-09-20 Sony Corp 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体
US8406619B2 (en) * 2009-03-23 2013-03-26 Vincent Pace & James Cameron Stereo camera with automatic control of interocular distance
DE102010039634B4 (de) * 2010-08-23 2013-05-08 Ford Global Technologies, Llc Anordnung und Verfahren zur Verkehrszeichenerkennung
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
WO2014065159A1 (ja) * 2012-10-22 2014-05-01 ヤマハ発動機株式会社 距離測定装置及びそれを用いた車両
US10279742B2 (en) * 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
KR20170105481A (ko) * 2014-10-14 2017-09-19 도요타 모터 유럽 교통 신호 검증을 위한 시스템 및 방법
JP6212021B2 (ja) * 2014-11-26 2017-10-11 株式会社Ｓｏｋｅｎ 距離検出装置
KR101663511B1 (ko) * 2015-04-30 2016-10-14 엘지전자 주식회사 차량 운전 보조 장치, 차량 운전 보조 장치의 제어 방법 및 차량
BR112017027773B1 (pt) * 2015-06-26 2022-06-21 Nissan Motor Co., Ltd Aparelho de determinação de posição de veículo e método de determinação de posição de veículo
US20190016339A1 (en) * 2016-02-16 2019-01-17 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and vehicle control program
US11703326B2 (en) * 2016-02-25 2023-07-18 Kyocera Corporation Stereo camera apparatus, vehicle, and parallax calculation method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10129375A (ja) * 1996-10-30 1998-05-19 Yazaki Corp 車載用前方車両認識装置
JPH11312300A (ja) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
CN1218355A (zh) * 1998-11-24 1999-06-02 杨更新 汽车自动驾驶系统
JP2001221621A (ja) * 2000-12-20 2001-08-17 Minolta Co Ltd ３次元形状測定装置
JP2004053323A (ja) * 2002-07-17 2004-02-19 Denso Corp ナビゲーションシステム及びナビゲーション装置
JP2013044827A (ja) * 2011-08-23 2013-03-04 Sharp Corp 撮像装置
JP2013206416A (ja) * 2012-03-29 2013-10-07 Yazaki Energy System Corp 車載画像記録装置
CN104902261A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 用于低清晰度视频流中的路面识别的装置和方法
CN105282498A (zh) * 2014-06-18 2016-01-27 富士重工业株式会社 图像处理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493573A (zh) * 2019-08-23 2019-11-22 临工集团济南重机有限公司 一种挖掘机及挖掘机远程控制系统
CN114365182A (zh) * 2019-09-05 2022-04-15 京瓷株式会社 物体检测装置、物体检测系统、移动体和物体检测方法

Also Published As

Publication number Publication date
JPWO2017145945A1 (ja) 2018-11-29
US11703326B2 (en) 2023-07-18
WO2017145945A1 (ja) 2017-08-31
US20190017819A1 (en) 2019-01-17

Similar Documents

Publication Publication Date Title
CN108700414A (zh) 立体摄像装置、车辆以及视差计算方法
CN208707784U (zh) 固体摄像元件
US10373338B2 (en) Calculation device, camera device, vehicle, and calibration method
CN103213540B (zh) 车辆的行驶环境辨识装置
EP3358295B1 (en) Image processing device, stereo camera device, vehicle, and image processing method
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
EP2743889A2 (en) Stereoscopic camera object detection system and method of aligning the same
JP2017226270A (ja) 車両制御装置
CN110603458B (zh) 光学传感器和电子设备
CN113196007B (zh) 一种应用于车辆的相机系统
CN104512411A (zh) 车辆控制系统及图像传感器
US10848660B2 (en) Imaging apparatus, imaging module, and control method of imaging apparatus
JP6577661B2 (ja) 路面変位検出装置およびサスペンション制御方法
JP6141562B1 (ja) 視差算出装置、ステレオカメラ装置、車両及び視差算出方法
CN110073652B (zh) 成像装置以及控制成像装置的方法
JP6456499B2 (ja) 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
JP2020187474A (ja) 走行車線認識装置、走行車線認識方法およびプログラム
WO2016208200A1 (ja) 画像処理装置、ステレオカメラ装置、車両、及び画像処理方法
CN104488011A (zh) 图像处理设备、成像设备、可移动体、程序及区域设定方法
CN111345036A (zh) 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
CN208337720U (zh) 车载摄像头自动变焦装置
CN112639864A (zh) 用于测距的方法和装置
CN112634653B (zh) 图像处理设备
CN218198108U (zh) 基于多目摄像的前向夜视系统
EP4258653A1 (en) Image processing device that can measure distance to object, movable apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181023