CN102713509A - 立体摄影装置、校正方法和程序 - Google Patents
立体摄影装置、校正方法和程序 Download PDFInfo
- Publication number
- CN102713509A CN102713509A CN201180004512XA CN201180004512A CN102713509A CN 102713509 A CN102713509 A CN 102713509A CN 201180004512X A CN201180004512X A CN 201180004512XA CN 201180004512 A CN201180004512 A CN 201180004512A CN 102713509 A CN102713509 A CN 102713509A
- Authority
- CN
- China
- Prior art keywords
- unit
- compensation value
- parallax
- image
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Measurement Of Optical Distance (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
一种检测到物体的距离的立体摄影装置,包括两个照相机和计算单元,该计算单元基于通过两个照相机获取的图像计算到物体的距离。计算单元包括图像处理单元,图像处理单元搜索通过两个照相机获取的图像的对应点并且基于图像上的对应点的位置坐标中的差计算两个视差;补偿值计算单元,补偿值计算单元基于通过图像处理单元至少在两个时间点计算的两个视差,对图像计算视差补偿值;和统计处理单元,统计处理单元对视差补偿值的分布执行统计分析并且确定视差补偿值的最佳值,最佳值被用作校正参数。
Description
技术领域
本发明涉及一种利用图像测量到物体的距离的测量技术,更尤其涉及一种立体摄影机、校正方法和有效地收集参数的程序。
背景技术
已知一种所谓的立体摄影装置,通过设置多个诸如用于形成物体的图像的照相机的成像装置测量形成的图像和物体之间的距离。平行立体摄影机包括固定于不同的位置的两个照相机。平行立体摄影装置包括彼此分离了称为基线长度的预定距离的两个固定的照相机。那两个照相机以照相机的光轴彼此平行的方式被固定。立体摄影装置被设置成通过利用光学系统中的特定参数将由第一照相机获得的物体图像和由第二照相机获得的物体图像之间的视差转换成距离来确定到物体的距离。
图7图解传统的立体摄影装置的光学系统。如图7所示,立体摄影装置700包括两个照相机1R和1L。那两个照相机1R和1L被设置成彼此分离预定基线长度B。那些照相机1R和1L包括各自的图像传感器(成像装置)和成像透镜(成像光学系统)。图像传感器(成像装置)由CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器等等制成。成像透镜(成像光学系统)被设置成用于在图像传感器的成像面上的成像域中形成物体的图像。
参照图7描述利用两个并行设置的照相机测量距离的方法。在图7的立体摄影装置700中,假定具有焦距f、光学中心OR和成像面SR的照相机1R以照相机1R的光轴在与图7的纸张的竖直方向平行的方向上延伸的方式被设置,并且具有焦距f、光学中心OL和成像面SL的照相机1L以照相机1L平行于照相机1R并且与照相机1R分离距离B的方式被设置。通过具有这个构造,在光轴方向上距离照相机1R的光学中心OR为距离d的物体X的图像被形成在照相机1R的成像面SR上的位置PR,位置PR是穿过X和光学中心OR的直线(以下称为直线X-OR)之间的交点。
另一方面,在照相机1L中,物体X的图像被形成在照相机1L的成像面SL上的位置PL。进一步说,穿过照相机1L的光学中心OL并且平行于直线X-OR的直线如图7的虚线表示。进一步地说,虚线和成像面SL的交点被表示为位置PR’,并且位置PL和位置PR’之间的距离被表示为距离p。在这种情况下,照相机1L中的位置PR’对应于照相机1R中的位置PR,并且距离p表示相同物体X在两个照相机的成像面上的位置偏移量。当距离p被称为视差时,因为三角形:X-OR-OL与三角形:OL-PR’-PL相似,所以假如已知基线长度B和焦距f,那么从光学中心到物体X的距离d基于距离p通过利用公式:d=B×f/p获得。
在很多情况下,立体摄影装置被安装在诸如车辆的移动体中并且被用于测量距离。由于这个用法,立体摄影装置受到持续振荡和温度改变。如参照图7所描述的,为了正确地测量(计算)距离,假定在平行立体摄影装置中的两个照相机的光轴彼此平行。因此,当光轴的平行度失准(即,一个照相机的光轴相对于另一个照相机的光轴旋转,所以两个光轴彼此不平行)时,成像传感器在相对于光学中心的横向上的位置偏差可能会使将在视差方向上形成物体的图像的位置移位(偏移)。这种光学系统的偏差可能引起距离测量的严重误差。这个误差被称为“视差补偿(offset)”。如参照图7所描述的,视差补偿直接地影响视差并且降低距离测量的精度。
为了防止距离测量的精度的降低,必须精确地调整制造过程的参数。然而,由于车辆移动期间的振动和车体变形方面的时间有关的变化、温度变化等等,可能发生偏差。为了克服该偏差,即为了维持立体摄影装置中的两个照相机的位置关系的精确度,有一种方法,在立体摄影装置的出货(销售)之后,通过利用离装置具有已知距离的图像的测试图调整(校正)装置。然而,在利用该测试图的调整(校正)期间,立体摄影装置可能不能使用。即,当使用这个方法时,可能大大降低立体摄影装置的可用性。
为了克服该方法的不便,已提出几个方法,通过利用移动的同时景物中的物体而不利用测试图进行调整(校正),该物体具有已知的特征(例如,具有已知距离的白色车道、交通信号和电线杆(utility pole)。例如,日本专利申请公开公报No.10-341458(专利文献1)公开一种技术,在该技术中,为了检测立体摄影装置在安装方向上的偏差,静态物体的形状被首先记住并且通过比较所记住的数据识别静态物体。然后,基于速度传感器等等测量的移动距离和识别的静态物体的距离计算视差补偿。进一步地说,日本专利No.3436074(专利文献2)公开一种车载立体摄影装置,该立体摄影装置基于设置在多个位置的相同的静态物体的图像和多个位置之间的距离执行校正处理。进一步地说,日本专利申请公开公报No.2009-176090(专利文献3)描述一种环境识别装置,该环境识别装置基于所成像的图像检测物体和确定周围环境。进一步地说,日本专利申请公开公报No.2009-288233(专利文献4)描述校正通过照相机成像的图像的倾斜的方法。
发明内容
本发明所要解决的问题
然而,在如上所述的技术中,仅仅可以识别诸如在高速公路上具有已知距离的白色车道、交通信号、电线杆等等的有限的物体。因此,当能够执行视差补偿时的地方和时间可能受到限制。进一步地说,景物在移动期间连续地变化,并且由于透镜畸变,视觉也取决于图像中的物体的位置而变化。因此,可能难以精确识别静态物体。进一步地说,该方法仅能用于具有已经被记住的轮廓的静态物体。
本发明考虑到如上所述的相关技术的技术的上述不便,并且可以提供一种立体摄影装置、校正方法和程序,通过充分利用立体摄影装置的功能精确地校正视差补偿,而不管物体的形状、时间、地方并且不管物体是否移动。
解决问题的方式
根据本发明的实施例,一种立体摄影装置包括两个照相机和计算部件。两个照相机以两个照相机被彼此分离(预定)基线长度的方式被安装。计算部件包括图像处理部件、补偿值计算部件、统计处理部件和距离计算部件。
图像处理部件搜索通过两个照相机获取的图像之间的对应点,计算视差并且将各个对应点的计算的视差输出到补偿值计算部件。补偿值计算部件计算各个对应点(1-N)的视差补偿值。视差补偿值是校正对应点的各个视差的补偿值。通过利用在不同的时间t0和t1的视差和立体摄影装置所安装的车辆等等的移动距离,而不需利用到物体的距离Z,计算视差补偿值。
计算的视差补偿值输出到统计处理部件。补偿值计算部件的计算结果被转变为视差补偿值的出现频率。对出现频率执行统计分析,以便确定将被用作校正参数的视差补偿值的最佳值。
距离计算部件基于基线长度、照相机的焦距和通过统计处理部件确定的校正参数计算到要在视差图像中测量的物体的距离。
进一步地说,根据本发明的实施例的立体摄影装置可以包括校正部件,校正部件基于视差补偿值的最佳值修正(校正)校正参数。校正参数被用于测量距离。在本实施例中的校正部件可以是马达站(motor stage)或NVRAM(非易失随机存取存储器)。
进一步地说,根据本发明的实施例,提供一种校正方法和程序,该校正方法和程序使得计算部件获取校正参数q以便被用于随后的距离计算。
附图说明
图1是图解根据本发明的实施例的立体摄影装置100的构造的示意图;
图2是根据本发明的实施例的立体摄影装置100的详细功能方块图200;
图3是图解根据本发明的实施例的对于对应点k0的视差pk0的关系的图;
图4是图解从时间t0在已经度过适当的时间间隔之后获得的左右图像的图;
图5是图解根据本发明的实施例的校正方法的详细流程图;
图6是图解在从视差补偿值qk的最小值到最大值的范围内通过本实施例中的校正方法产生的频率矩阵的图表,该图表具有表示视差补偿值的横轴和表示频率A的纵轴;和
图7是图解用于利用立体摄影装置的距离测量的光学关系的图。
附图标记的描述
100:立体摄影装置
102:照相机
102a:透镜
102b:光电变换元件
104:照相机
106:位置
108:物体
110:光轴
120:计算部件
200:功能块
202:图像处理部件
204:速度传感器
206:补偿值计算部件
208:距离计算部件
210:接口
230:外部装置
234:非易失随机存取存储器NVRAM
240:统计处理部件
具体实施方式
在下文中,参照附图描述本发明的实施例。然而,本发明不局限于实施例。图1示意地图解根据本发明的实施例的立体摄影装置100的构造。如图1所示,立体摄影装置100包括两个照相机102和104和计算部件120。照相机102和104输出数字数据。即,照相机102和104输出各自捕获(获得)图像到计算部件120。计算部件120基于从左右照相机(即照相机102和104)输出的图像执行距离计算,并且获得(计算)从照相机102和104的光学中心到物体108的距离Z(见图1)。计算部件120输出计算的距离Z到连接到计算部件120的外部装置230(见图2),以便输出装置230可以使用距离Z的值。包括计算部件120的立体摄影装置100通过在立体摄影装置100和用户界面与外部装置230之间执行I/O控制的控制器(未显示)执行距离计算、补偿值测量和参数校正。
照相机102和104包括透镜102a和104a和光电变换元件102b和104b,以分别获得(获取)右(R)和左(L)图像。以照相机102和104在透镜102a和104a的中心之间彼此分离基线距离B并且照相机102的光轴110平行于照相机104的光轴112的方式设置照相机102和104。照相机102和104通过快门(未显示)对分别穿过透镜102a和104a并且形成在变换元件102b和104b上的光学图像执行光电变换,并且存储各自的光电变换图像作为数字数据。存储的(记录的)图像被输出到计算部件120,以便随后在距离计算和校正处理中使用。
如上所述,以照相机102和104彼此分离基线距离B并且光轴110平行于光轴112的方式设置照相机102和104。进一步地说,照相机102和104的透镜102a和104a具有相同的焦距f。通过利用物体108在由左右照相机102和104获取的物体108的右(R)和左(L)图像中的视差p,由以下公式(1)给出光学中心和物体108之间(在与光轴110和112平行的方向上)的距离Z。这里,视差p被称为通过照相机102和104获取的物体108的图像的位置差。
Z=B×f/p (1)
为了精确地测量距离Z,光轴110精确地平行于光轴112是必要的。然而,取决于在制造和安装期间照相机102和104的设定状态,可能难以维持光轴110和112之间的平行关系。为了克服这种不便,在很多情况下,在距离计算中,实际的立体摄影装置100使用包括校正参数q的下列公式(2),以利用主要与平行度(平行关系)有关的参数精确地计算距离。
Z=B×f/(p-q) (2)
公式(2)中的参数q是称为视差补偿的校正参数。在本发明的这个实施例中,校正参数q在如下所述的方法中计算。即,在不同的时间点处的图像上确定对应点k。基于时间差或具有对应点k的立体摄影装置100的车辆的行驶距离,与对应点k有关的视差补偿值qk对整个图像被获得。然后,对视差补偿值qk执行统计处理,并且图像的视差补偿值qk的最佳值被确定为校正参数q。在自从安装立体摄影装置100以来已经度过一定的周期之后,由于因例如安装立体摄影装置100的车辆的振动所引起的照相机102和104之间的相对旋转,而可能导致削弱照相机102和104之间的平行度(平行关系)。图1示意地图解随着时间的过去照相机104相对于照相机102稍微旋转到位置(状态)106的情况。结果,光轴110和112之间的平行度(平行关系)被削弱(降低)。
随时间的过去相同变化也同样发生在照相机102中。因此,在传统的立体摄影装置中,采用的方法为:具有预定距离的测试图被定期读取以计算视差补偿值;先前的校正参数q被计算的视差补偿值替代;并且替换(更新)的校正参数q被存储在诸如NVRAM(非易失性随机存取存储器)的非易失性存储器中以便用于随后的距离计算。进一步地说,当立体摄影装置包括校正光轴的马达时,替换(更新)的校正参数q可以被用于控制数据以控制马达的驱动。
图2是根据本发明的这个实施例的立体摄影装置100的功能方框图200。如图2所示,立体摄影装置100包括照相机102和104和计算部件120。计算部件120指示(使得)照相机102和104捕获图像,并且利用通过照相机102和104获取的图像执行距离测量计算和用于参数校正的计算。
计算部件120可以被实现作为单芯片微型计算机、ASIC(专用集成电路)、车载电脑、个人电脑等等。进一步地说,计算部件120执行与外部装置230的相互通信,以将通过计算部件120利用图像计算的距离测量计算的结果输出到外部装置230,以便外部装置230可以利用通过计算部件120计算的距离Z执行各种各样的控制。外部装置230可以不包括在利用CPU(中央处理器)、RAM(随机存取存储器)、ROM(只读存储器)及诸如USB存储器等其他存储器件执行存储器存取的计算部件120中。否则,外部装置230可以被集成到计算部件120中,作为信息处理装置。
如图2所示,计算部件120包括图像处理部件202、补偿值计算部件206、距离计算部件208和统计处理部件240。在距离测量计算中,图像处理部件202在通过右(R)和左(L)照相机102和104获取的图像上执行图像分析,并且确定图像共有的对应点。然后,图像处理部件202确定右和左图像中物体的相同像素作为对应点,并且计算视差pk作为图像关于对应点的位置坐标的差。在这个实施例中,对于图像处理部件202有必要对整个图像计算视差。为了改善在捕获的图像中搜索对应点和计算视差的精确度,可以使用已知的畸变校正处理(方法)。
计算的视差pk被输出到补偿值计算部件206并且被进一步输出到距离计算部件208。在开始参数校正处理的时间或在收到外部中断信号以开始参数校正处理时,补偿值计算部件206开始参数校正处理。在除了执行参数校正处理的周期外的周期中,补偿值计算部件206只利用视差pk执行距离测量。通过使获得速度信息的速度传感器204和通过计算部件120获取图像的照相机102和104的时间同步执行参数校正处理。
当补偿值计算部件206执行距离测量时,距离计算部件208接收由补偿值计算部件206接收到的视差pk,并且利用在那时是有效的校正参数q且基于公式(1)计算距离Z。计算的距离Z经由包括在计算部件120中的接口210从计算部件120被输出到外部装置230。通过利用接收的距离Z,外部装置230执行控制其他的车载装置,例如报警装置、控制装置和发动机等的控制。
如上所述,计算部件120包括统计处理部件240。图2的统计处理部件240与补偿值计算部件206和速度传感器204一起组成根据本发明的这个实施例的参数收集单元。速度传感器204检测安装立体摄影装置100的车辆的移动速度。当立体摄影装置100被安装在车辆上时,速度传感器204可以是例如车辆速度传感器或基于纬度/经度坐标的差和时间(时间点)t0和t1之间的时间差计算和输出速度的GPS(全球定位系统)装置。进一步地说,在本发明的另一个实施例中,速度传感器204可以被设置作为立体摄影装置100的计算部件120中的嵌入装置。
接下来,描述根据本发明的这个实施例的特殊的参数校正处理。在根据本发明的这个实施例的参数校正处理中,首先,计算部件120指示照相机102和104在作为基准时间的时间t0捕获(获取)图像并且同时地指示速度传感器204输出速度信息。
在已经从时间t0度过了预定周期的时间t1处,计算部件120进一步指示照相机102和104捕获(获取)图像。结果,立体摄影装置100获取通过两个照相机102和104在时间(时间点)t0和t1处捕获的图像。即,立体摄影装置100获取四个图像。然后,图像处理部件202基于各自的照相机102和104在时间t0的两个图像搜索对应点并且计算相应的视差图像。同样地,图像处理部件202基于各自的照相机102和104在时间t1的两个图像搜索对应点并且计算相应的视差图像。那些视差图像被输入到补偿值计算部件206。进一步地说,为了计算(获取)视差图像在t0和t1的对应点,不仅视差图像而且已经被用于获取视差图像的图像被输入到补偿值计算部件206。
另一方面,计算部件120设定从速度传感器204输出到补偿值计算部件206的速度信息,并且进一步设定视差值p0和p1,该视差值p0和p1与通过两个照相机102和104捕获的两个图像的各自设定共有的对应点有关。在这里,视差值p0指对应点k在时间t0的视差。视差值p1指相同对应点k在时间t1的视差。在下文描述中,为了清楚的目的,假定对应点已经被固定到对应点k。
基于如上所述获取的视差值p0和p1,补偿值计算部件206获得表示在时间t0和t1时的距离Z0和Z1以及在时间t0和t1时的视差值p0和p1之间的关系的下列公式(3)。
Z0=Bf/{p0-qk}
Z1=Bf/{p1-qk} (3)
当对应点的物体是静止物体时,距离Z0和Z1和行驶距离D对应于移动的距离。另一方面,当对应点的物体是诸如车辆的移动物体时,距离Z0和Z1和行驶距离D对应于基于相对速度计算的距离。进一步地说,当对应点的物体是移动物体时,对应于照相机102的相对速度可以不同于对应于照相机104的相对速度。在这种情况下,Z1的值分布在具有Z0的中心的范围中。
通过利用上述公式(3),给出行驶距离D为D=Z0-Z1。进一步地说,给出行驶距离D为以下公式(4),其中使用了基线距离B、焦距f、测量变量p0和p1的视差值和对应点k的视差补偿值qk。
Z0-Z1=Bf/{p0-qk}-Bf/{p1-qk} (4)
上述公式(4)可以被变成视差补偿值qk的二次方程。进一步地说,以公式(4)为基础,视差补偿值qk在以下公式(5)中给出作为二次方程的解(qk≧0)。
如上所述,视差补偿值qk可以取决于移动体之间的相对速度变化并且可以不必总是相同,在这个实施例中,对于每个对应点k(k=1至N)给出上述关系式。因此,对于每个对应点k,视差补偿值qk对整个图像被计算,作为校正参数q的候选。补偿值计算部件206执行上述公式(5)的处理。
接下来,描述通过统计处理部件240执行的统计(校正)处理。当补偿值计算部件206的处理结束时,计算的视差补偿值qk被输入到统计处理部件240。统计处理部件240逐个确定每一计算的视差补偿值qk是否属于预定组块(chunks)(群)。在这种情况下,例如,当一个视差补偿值qk被确定属于特定组块Qm(m:正整数)时,统计处理部件240增加组块Qm的计数值(增加一个)。进一步地说,统计处理部件240计算用于每个组块Qm的视差补偿值qk的数量,并且产生(计算)相应组块Qm的视差补偿值qk的频率(出现频率)Am。
进一步地说,基于当所有对应点k的上述计数处理完成时的频率(出现频率)Am,统计处理部件240产生下列公式(6)的频率矩阵F。在这里,符号Qm表示视差补偿值qk的组块并且由相应的索引值Im查阅,相应的索引值Im被提供用于给出校正参数q且其值定义为Im=(最小值)+Δ×M。进一步地说,相对于组块Qm,视差补偿值qk的最大值可以被预先确定,并且在最大值以下的范围内可以平均分为m个部分,以便可以执行上述频率累积计算。在这个实施例中,即使当视差补偿值qk不能对整个图像获取时,也变得可以基于频率分布的峰值和剩余采样点的数量之间的比较有效地确定最佳值。结果,当由于统计(校正)处理而使得立体摄影装置100不能测量距离时,变得可以最小化(降低)周期。进一步地说,根据本发明的另一个实施例,在为所有像素计算视差补偿值qk之后,可以计算出现频率。
上述频率矩阵F提供用于提供(确定)校正参数q的统计数据。在这种情况下,统计处理部件240可以使用任何已知的统计处理执行以对统计数据执行处理从而获得最佳值。具体地,在统计处理中,可以使用众数值、中值、平均值和加权平均值等值。当使用众数值时,视差补偿值qk可能确定为提供焦距fmax的索引值Imax。另外,视差补偿值qk可以通过利用假定正态分布的回归分析、假定多项分布的回归分析、利用诸如二项式分布、X方分布、泊松分布、β分布等等的分布函数的回归分析被获取(确定)。即,可使用任何适当的统计模型。
在统计处理中,当方差被计算并且计算的方差值占有比相对于视差补偿值qk的偏差范围大于预定的比率时,结果至此可以被丢弃,以便在某个周期之后,可以再执行处理。通过这么做,变得可以避免不适当的值被采用作为校正参数q的情况。当两个照相机102和104之间的位置关系受到大冲击而大大地变化时,视差补偿值qk自初值的变化将变得更大,视差补偿值qk随时间等的变化将变得更小。因此,视差补偿值qk的偏差范围的设定值取决于要检测的变化的类型如何而改变。
进一步地说,在本发明的另一个实施例中,当执行假定标准差的统计分析时,可以存储当获取当前有效的校正参数q时的标准差σpast,并且该值是否被采用可以基于这时候获取的值的检查结果确定。
下列公式(7)具有通过利用校正参数q表示照相机102和104的光轴110和112之间的位差角(位移角)的格式。
θ=tan-1(q/f) (7)
当立体摄影装置100包括照相机驱动系统时,基于校正参数q获取的角θ的数据被传输到照相机驱动系统的马达,作为表示驱动马达的量的数据。另一方面,当立体摄影装置100不包括照相机驱动系统时,基于校正参数q获取的角θ的数据被传输到距离计算部件208并且被存储在NVRAM 234中,作为将用于随后计算距离Z的校正参数q。通过距离计算部件208获取的距离Z的数据从计算部件120经由接口210被输出到外部装置230,以便被用于使用距离Z的各种各样的控制。
在这个实施例中,在通过照相机102和104捕获(获取)的图像上的对应点k可以通过像素被搜索。否则,出于更快地处理的观点,右(R)和左(L)图像可以被分成网格,并且可以计算网格的辉度、色调、颜色分布等等,以便通过网孔确定对应点。
图3示意地图解这个实施例中使用的对应点k0和视差值p0之间的关系。在将网格分配给通过右(R)和左(L)照相机102和104获取的右(R)和左(L)图像之后,立体摄影装置100搜索右(R)和左(L)图像的对应点(网格)。对右(R)和左(L)图像的对应点的搜索可以通过计算和利用网格的辉度、色调、颜色分布等等被执行。右(R)和左(L)图像彼此相差并不是很大,尽管该变化可以取决于基线长度B。因为此特征,在这个实施例中,例如,当确定左(L)图像中的对应点时,可以通过仅搜索周围几个附近的网格来搜索右(R)图像中有关的对应点。
为了说明的目的,图3的部分(a)图解对应点的状态。当右(R)和左(L)图像被彼此重叠时,右(R)图像的特性点和左(L)图像的特性点在几个网格的范围内。进一步地说,在立体摄影装置100的照相机102和104的基线被假定为水平的情况下,当在当从安装照相机的侧面看上去时视线的偏移方向上进行对应点的搜索时,可以有效地搜索(检测)对应点。然而,图3的部分(a)实质上依比例图解右(R)和左(L)图像的视差。因此,不能清楚地图示。图3的部分(b)是图解图3的部分(a)的环300内部的放大图。如图3的部分(b)所示,对应点kr0和kl0在水平方向上彼此接近,对应点kr0和kl0之间的位置偏移给出(对应于)视差pk0。进一步地说,符号kr1和kl1表示在时间t1时的对应点。进一步地说当在时间t时的对应点k的视差被表示为pkt时,满足下列公式。
pkt=krt-klt
在这个实施例中,如上所述,对整个图像计算视差。因此,为了改善搜索捕获的图像中的对应点和计算视差的精度,更较佳的是,执行已知的畸变校正处理等等。
图4图解在根据本发明的实施例从时间t0已经度过适当的周期之后获取的右(R)和左(L)图像的实例。响应于经过的时间,物体的位置根据相对速度的差变化。然而,在图4实例中,因为过去的周期是如此的短以至于右(R)和左(L)图像410和420实质上与图3的时间的图像相同。更较佳的是,以能够检测甚至接近图像的边缘部分的对应点的方式确定时间t0和时间t1之间适当的差。即,更较佳的是确定适当的差以便对应点能够被顺利地检测。然而,当时间t0和时间t1之间的差太长时,会降低检测对应点的精度。另一方面,当差太短时,无法获取具有足够差的视差。因此,更较佳的是,以能够基于通过例如参照速度传感器204的记录数据的速度获取视差的差并且对应点的搜索不能失败的方式,来确定时间t0和时间t1之间的适当差。
在这个实施例中,只要可以识别在相同时间点获取的右(R)和左(L)图像中的相同物体,图像中物体的特定像素的位置可以被直接地使用。在另一个实施例中,在图像被分成网格之后,相同网格中的像素的数据会被平均,并且可以使用网格的位置坐标。在下文中,假定网格和网格的像素或像素区域可以被称为变成这个实施例中的计算的参考的对应点。
在这个实施例中,划分的网格的尺寸不局限于特定大小。然而,当划分的网格的尺寸太小时,会花费更长时间搜索作为左右图像中的处理目标的对应点。另一方面,当划分的网格的尺寸太大时,会降低校正的精度。鉴于上述特征,在这个实施例中,例如,图像以水平和竖直方向的网格的数量是100并且因此图像中网格的总数是10,000的方式被分成网格。
图5是图解根据本发明的这个实施例的补偿值计算部件206执行的处理的流程图。如图5所示,在步骤S500中处理开始。在步骤S501中,补偿值计算部件206从图像处理部件202接收在时间t0的图像和相应的视差图像。在步骤S502中,补偿值计算部件206进一步地从图像处理部件202接收在时间t1的图像和相应的视差图像。在步骤S503中,补偿值计算部件206基于来自速度传感器204输出的信息计算车辆在时间t0和时间t1之间的行驶距离D。在步骤S504中,补偿值计算部件206基于在时间t1和时间t0获取的图像搜索在不同的时间点处的不同的图像上的对应点。
在这种情况下,通过利用由两个照相机102和104在时间t1和时间t0捕获的图像搜索对应点,其中时间t0是自从时间t1度过了预定时间的时间点。然而,更准确地说,例如,可以通过利用仅由两个照相机102和104中的一个照相机获取的图像搜索对应点。否则,可以通过利用由两个照相机102和104中的每一个获取的图像搜索对应点。在搜索对应点中,可以使用诸如SAD(绝对差值总和)和POC(纯相位相关法(Phase Only Correlation))等已知技术。在这里,图像在不同的时间点的对应点可以称为对应点k(k=1至N)。
在步骤S505和S506中,补偿值计算部件206计算图像在不同的时间点的对应点k的视差值,对应点k在步骤S504已经被搜索。更准确地说,在步骤S505中,补偿值计算部件206基于在时间t0的视差图像获取(计算)与对应点k相关的视差值pk0。以同样地方式,在步骤S506中,补偿值计算部件206基于在时间t1的视差图像获取(计算)与对应点k相关的视差值pk1。
在步骤S507中,补偿值计算部件206基于公式(5)计算视差补偿值qk,其中公式(5)利用与在时间t0的对应点k有关的视差值pk0、与在时间t1的对应点k有关的视差值pk1以及车辆在时间t0和时间t1之间的行驶距离D。然而,如上所述,存在对整个图像的多个对应点k。因此,存在多个视差值pk0和多个视差值pk1。另一方面,车辆在时间t0和时间t1之间的行驶距离D仅有一个值。在步骤S508中,在步骤S507中计算的视差补偿值qk被输出到统计处理部件240。
在步骤S509中,补偿值计算部件206确定与对整个图像的多个对应点k有关的视差补偿值qk的计算是否已经被完成。当确定没有完成计算(在步骤S509中为否)时,处理返回至步骤S505,重复计算直到完成所有的对应点k的计算。另一方面,当确定已经完成计算(在步骤S509为是)时,处理前往步骤S510,以停止(结束)补偿值计算部件206的处理。当完成处理时,与对整个图像的多个对应点k有关的视差补偿值qk已经被输出到统计处理部件240。
图6是图解利用根据本发明的这个实施例的校正方法产生的频率矩阵F的图表。在图6的图表中,横轴表示在从视差补偿值qk的最小值至最大值的范围内的视差补偿值qk,纵轴表示出现频率A。在图6的实施例中,视差补偿值qk根据对应点k的相对速度分布。立体摄影装置100对为每个对应点k计算的视差补偿值qk执行统计处理,以形成出现频率A的柱状图。在图6这个实例中,当确定一个视差补偿值qk对应于特定组块Qm时,特定组块Qm的计数值增加(累积)了一个。这个处理被重复直到完成对应点k的所有计算。当完成对应点k的所有的计算时,形成具有索引值Im和Δ的宽度的组块Qm的柱状图。通过对图6所示的分布执行统计分析,可以获得最佳值作为校正参数q。校正参数q可以通过直接地利用索引值Im的值被确定。否则,当应用加权平均等等时,可以使用除了索引值Im之外的正实数。
作为本发明的另一个实施例,显然还可通过对散布图式中的n个视差补偿值qk集中执行统计分析确定最佳值,而无需产生频率柱状图。即,例如,适当的统计分析可以基于计算部件120的性能和存储容量被选择。
如上所述,根据本发明的实施例,变得可以提供一种立体摄影装置、校正方法和程序,不管物体移动与否、不管物体的形状、不管时间和地点,并且不须精确地测量到物体的相对距离,通过最大限度地使用立体摄影装置的功能,都高精度地校正视差补偿。
在本实施例中的上述功能可以通过利用诸如C、C++、Java(注册商标)等等的程序设计语言或汇编语言描述的装置可执行程序被实现。进一步地说,该程序可以被存储在装置可读记录介质中并且利用装置可读记录介质被分布,其中装置可读记录介质例如是硬盘装置、CD-ROM(光盘只读存储器)、MO(磁光盘)、软磁盘、EEPROM(电可擦可编程只读存储器)、EPROM(可擦可编程序只读存储器)等等。进一步地说,该程序可以通过另一个装置以可读的形式被提供并且可以经由网络被传输。
尽管为了完全且清楚的公开的目的,已经根据具体的实施例描述了本发明,所附权利要求不因此作为限制而应该视为包含本领域的技术人员能够想到的所有的变化例和替换结构,这些变化例和替换结构完全落入这里阐明的基本教导的范围内。
本申请是基于并且要求2010年9月14日提交的第2010-205015号日本专利申请和2011年5月31日提交的第2011-121378号日本专利申请的优先权,并且该申请的全部内容通过引用而结合在本文中。
Claims (8)
1.一种检测到物体的距离的立体摄影装置,其特征在于,所述立体摄影装置包括:
两个照相机,所述两个照相机被安装并且被彼此分离基线长度;和
计算单元,基于通过所述两个照相机获取的图像,所述计算单元在图像上计算到所述物体的距离;
其中,所述计算单元包括图像处理单元、补偿值计算单元和统计处理单元,
其中,所述图像处理单元被配置成搜索通过所述两个照相机获取的所述图像的对应点并且基于所述图像上的所述对应点的位置坐标中的差计算两个视差,
其中,所述补偿值计算单元被配置成基于通过所述图像处理单元至少在两个时间点计算的两个视差,对整个所述图像计算视差补偿值,并且
其中,所述统计处理单元被配置成对所述视差补偿值的分布执行统计分析并且确定所述视差补偿值的最佳值,所述最佳值被用作校正参数。
2.如权利要求1所述的立体摄影装置,其特征在于,
所述统计处理单元被配置成产生所述视差补偿值的频率分布以确定所述最佳值。
3.如权利要求1或2所述的立体摄影装置,其特征在于,进一步包括:
距离计算单元,所述距离计算单元通过利用所述校正参数计算到所述物体的距离。
4.如权利要求1至3中任意一项所述的立体摄影装置,其特征在于,进一步地包括:
校正单元,所述校正单元通过利用所述视差补偿值的所述最佳值校正所述校正参数,所述校正参数被用于测量所述距离。
5.如权利要求1至4中任意一项所述的立体摄影装置,其特征在于,
所述校正单元是将数据写到马达站或NVRAM的存储器存取单元。
6.一种通过检测到物体的距离的立体摄影装置执行的校正方法,其特征在于,所述方法包括:
通过使被安装并且被彼此分离基线长度的两个照相机同步而在不同的时间点获取图像;
基于在通过所述两个照相机获取的所述图像上的所述对应点的位置坐标中的差计算视差;
基于在两个不同的时间点获取的至少两个图像的视差并且通过利用所述基线长度、所述两个照相机的焦距和视差补偿值计算到相同的对应点的距离,所述相同的对应点在所述两个图像上;
基于到在不同的时间点获取的相同的对应点的距离差和所述两个图像的所述视差,整个所述图像计算所述相同的对应点的所述视差补偿值;
通过对所述视差补偿值的分布执行统计分析确定所述视差补偿值的最佳值;和
通过利用确定的所述最佳值对校正参数进行校正,所述校正参数被用于测量所述距离。
7.如权利要求6所述的校正方法,其特征在于,进一步包括:
产生所述视差补偿值的频率分布以确定所述最佳值。
8.一种使得计算机用作权利要求1至5中任意一项所述的功能单元的计算机可读程序。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010205015 | 2010-09-14 | ||
JP2010-205015 | 2010-09-14 | ||
JP2011121378A JP5870510B2 (ja) | 2010-09-14 | 2011-05-31 | ステレオカメラ装置、校正方法およびプログラム |
JP2011-121378 | 2011-05-31 | ||
PCT/JP2011/070661 WO2012036102A1 (en) | 2010-09-14 | 2011-09-05 | Stereo camera device, correction method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102713509A true CN102713509A (zh) | 2012-10-03 |
CN102713509B CN102713509B (zh) | 2015-05-20 |
Family
ID=45831564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180004512.XA Active CN102713509B (zh) | 2010-09-14 | 2011-09-05 | 立体摄影装置和校正方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US9170103B2 (zh) |
EP (1) | EP2616769B1 (zh) |
JP (1) | JP5870510B2 (zh) |
KR (1) | KR101457141B1 (zh) |
CN (1) | CN102713509B (zh) |
BR (1) | BR112012026771B1 (zh) |
RU (1) | RU2539804C2 (zh) |
WO (1) | WO2012036102A1 (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103630110A (zh) * | 2012-08-28 | 2014-03-12 | 鸿富锦精密工业(深圳)有限公司 | 车辆测距系统及车辆测距方法 |
CN104930998A (zh) * | 2015-06-03 | 2015-09-23 | 中国农业大学 | 智能除草机及其刀苗距优化方法、刀苗信息优化系统 |
CN106662441A (zh) * | 2014-09-11 | 2017-05-10 | 日立汽车系统株式会社 | 图像处理装置 |
CN107924570A (zh) * | 2015-09-01 | 2018-04-17 | 奥托立夫开发公司 | 用于机动车辆的视觉系统和控制视觉系统的方法 |
TWI621554B (zh) * | 2015-12-28 | 2018-04-21 | 國防大學 | 基線可調式立體視覺裝置 |
WO2018210078A1 (zh) * | 2017-05-19 | 2018-11-22 | 深圳市道通智能航空技术有限公司 | 无人机的距离测量方法以及无人机 |
CN109084724A (zh) * | 2018-07-06 | 2018-12-25 | 西安理工大学 | 一种基于双目视觉的深度学习障碍物测距方法 |
CN110213565A (zh) * | 2013-01-15 | 2019-09-06 | 移动眼视力科技有限公司 | 成像系统和用于深度计算的方法 |
CN110868582A (zh) * | 2018-08-28 | 2020-03-06 | 钰立微电子股份有限公司 | 具有校正功能的图像获取系统 |
CN110998241A (zh) * | 2018-01-23 | 2020-04-10 | 深圳市大疆创新科技有限公司 | 用于校准可移动对象的光学系统的系统和方法 |
CN112513573A (zh) * | 2018-08-13 | 2021-03-16 | 日立汽车系统株式会社 | 立体摄像机装置 |
CN112602118A (zh) * | 2019-03-14 | 2021-04-02 | 欧姆龙株式会社 | 图像处理装置和三维测量系统 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6182866B2 (ja) | 2012-03-21 | 2017-08-23 | 株式会社リコー | 校正装置、距離計測装置及び車両 |
US9743069B2 (en) | 2012-08-30 | 2017-08-22 | Lg Innotek Co., Ltd. | Camera module and apparatus for calibrating position thereof |
US9161020B2 (en) * | 2013-04-26 | 2015-10-13 | B12-Vision Co., Ltd. | 3D video shooting control system, 3D video shooting control method and program |
CN106416241B (zh) * | 2014-03-21 | 2019-07-26 | 欧姆龙株式会社 | 用于检测和减轻光学系统中的光学损伤的方法和装置 |
JP6361366B2 (ja) * | 2014-08-18 | 2018-07-25 | 株式会社デンソー | 物体認識装置 |
CN104695311B (zh) * | 2014-12-31 | 2017-03-22 | 广东光阵光电科技有限公司 | 一种路面情况车载监测方法及系统 |
CN104580912B (zh) * | 2015-01-19 | 2018-01-09 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍摄方法、装置及终端 |
US10186034B2 (en) | 2015-01-20 | 2019-01-22 | Ricoh Company, Ltd. | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium |
CN107409205B (zh) | 2015-03-16 | 2020-03-20 | 深圳市大疆创新科技有限公司 | 用于焦距调节和深度图确定的装置和方法 |
US10007998B2 (en) | 2015-03-20 | 2018-06-26 | Ricoh Company, Ltd. | Image processor, apparatus, and control system for correction of stereo images |
JP6345627B2 (ja) * | 2015-05-20 | 2018-06-20 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
KR101667236B1 (ko) * | 2015-05-29 | 2016-10-18 | 한양대학교 산학협력단 | 시간 지연을 고려한 스테레오 비전 센서 보정 장치 및 방법 |
EA028418B1 (ru) * | 2015-07-14 | 2017-11-30 | Белорусский Государственный Университет (Бгу) | Способ измерения профиля микрообъектов для криминалистических экспертиз |
US11143504B2 (en) * | 2015-11-16 | 2021-10-12 | Sony Semiconductor Solutions Corporation | Image capture device and image capture system |
KR102502451B1 (ko) | 2016-01-07 | 2023-02-22 | 삼성전자주식회사 | 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치 |
JPWO2017145945A1 (ja) * | 2016-02-25 | 2018-11-29 | 京セラ株式会社 | ステレオカメラ装置、車両および視差算出方法 |
US10796425B1 (en) * | 2016-09-06 | 2020-10-06 | Amazon Technologies, Inc. | Imagery-based member deformation gauge |
US10984555B2 (en) * | 2017-03-30 | 2021-04-20 | Mitsubishi Electric Corporation | Object detection device and vehicle |
WO2019003771A1 (ja) * | 2017-06-26 | 2019-01-03 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
JP6920159B2 (ja) * | 2017-09-29 | 2021-08-18 | 株式会社デンソー | 車両の周辺監視装置と周辺監視方法 |
KR20190051146A (ko) | 2017-11-06 | 2019-05-15 | 에스케이하이닉스 주식회사 | 이미지 동기화 장치 및 이를 포함하는 이미지 정보 생성 장치 |
DE102019212021B4 (de) * | 2019-08-09 | 2024-02-08 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren |
JP7457574B2 (ja) | 2020-05-21 | 2024-03-28 | 株式会社Subaru | 画像処理装置 |
EP3985446B1 (fr) | 2020-10-14 | 2023-05-24 | The Swatch Group Research and Development Ltd | Dispositif de determination de position d'afficheur d'horlogerie |
KR102629639B1 (ko) * | 2021-04-21 | 2024-01-29 | 계명대학교 산학협력단 | 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 |
CN115143887B (zh) * | 2022-09-05 | 2022-11-15 | 常州市建筑科学研究院集团股份有限公司 | 视觉监测设备测量结果的修正方法及视觉监测系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001141417A (ja) * | 1999-11-11 | 2001-05-25 | Fuji Photo Film Co Ltd | 視差量補正装置 |
CN1501710A (zh) * | 2002-07-29 | 2004-06-02 | 精工爱普生株式会社 | 图像处理系统和方法及其装置、终端和程序 |
US7139424B2 (en) * | 2002-03-06 | 2006-11-21 | Fuji Jukogyo Kabushiki Kaisha | Stereoscopic image characteristics examination system |
US20090046924A1 (en) * | 2007-06-28 | 2009-02-19 | Noboru Morimitsu | Stereo-image processing apparatus |
JP2009103466A (ja) * | 2007-10-19 | 2009-05-14 | Toyota Motor Corp | コンタクトプローブ |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2994153B2 (ja) | 1991-12-03 | 1999-12-27 | 株式会社リコー | 色信号変換装置 |
JP3143209B2 (ja) | 1992-05-25 | 2001-03-07 | 株式会社リコー | 画像変倍装置 |
JPH0875454A (ja) | 1994-09-01 | 1996-03-22 | Nissan Motor Co Ltd | 測距装置 |
JP3617709B2 (ja) * | 1995-11-10 | 2005-02-09 | 株式会社日本自動車部品総合研究所 | 距離計測装置 |
JP3806211B2 (ja) | 1997-01-08 | 2006-08-09 | 株式会社リコー | 撮像信号処理方法及び撮像信号処理装置 |
JPH10232111A (ja) | 1997-02-19 | 1998-09-02 | Matsushita Electric Ind Co Ltd | 距離測定装置 |
JP3436074B2 (ja) * | 1997-06-10 | 2003-08-11 | トヨタ自動車株式会社 | 車載ステレオカメラ |
JP3771054B2 (ja) | 1998-07-01 | 2006-04-26 | 株式会社リコー | 画像処理装置及び画像処理方法 |
JP3798150B2 (ja) | 1998-07-07 | 2006-07-19 | 株式会社リコー | 画像処理方法及び画像処理装置 |
JP4296617B2 (ja) * | 1998-10-15 | 2009-07-15 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
JP4493113B2 (ja) | 1999-01-29 | 2010-06-30 | 株式会社リコー | プロジェクタおよび投影画像補正装置 |
JP3803950B2 (ja) | 1999-03-04 | 2006-08-02 | 株式会社リコー | 画像合成処理方法、画像合成処理装置及び記録媒体 |
JP3263931B2 (ja) * | 1999-09-22 | 2002-03-11 | 富士重工業株式会社 | ステレオマッチング装置 |
JP2001128051A (ja) | 1999-10-27 | 2001-05-11 | Ricoh Co Ltd | 撮像装置 |
JP2001169310A (ja) * | 1999-12-06 | 2001-06-22 | Honda Motor Co Ltd | 距離検出装置 |
JP3817119B2 (ja) | 2000-06-30 | 2006-08-30 | 株式会社リコー | 画像入力装置 |
JP2003329439A (ja) * | 2002-05-15 | 2003-11-19 | Honda Motor Co Ltd | 距離検出装置 |
JP4209637B2 (ja) * | 2002-06-26 | 2009-01-14 | 富士重工業株式会社 | 監視システムの距離補正装置および距離補正方法 |
WO2008155961A1 (ja) * | 2007-06-21 | 2008-12-24 | Konica Minolta Holdings, Inc. | 測距装置 |
JP2009014445A (ja) * | 2007-07-03 | 2009-01-22 | Konica Minolta Holdings Inc | 測距装置 |
JP4876080B2 (ja) | 2008-01-25 | 2012-02-15 | 富士重工業株式会社 | 環境認識装置 |
JP4894771B2 (ja) * | 2008-01-31 | 2012-03-14 | コニカミノルタホールディングス株式会社 | 校正装置及び校正方法 |
JP5293950B2 (ja) | 2008-03-04 | 2013-09-18 | 株式会社リコー | 個人認証装置及び電子機器 |
JP5348466B2 (ja) | 2008-04-28 | 2013-11-20 | 富士通株式会社 | 携帯端末装置、移動経路記録方法、およびプログラム |
JP2009075124A (ja) * | 2008-11-06 | 2009-04-09 | Honda Motor Co Ltd | 距離検出装置 |
JP5278819B2 (ja) | 2009-05-11 | 2013-09-04 | 株式会社リコー | ステレオカメラ装置及びそれを用いた車外監視装置 |
JP5310483B2 (ja) | 2009-10-28 | 2013-10-09 | 株式会社リコー | 撮像装置 |
JP5446797B2 (ja) | 2009-12-04 | 2014-03-19 | 株式会社リコー | 撮像装置 |
JP2011209269A (ja) | 2010-03-08 | 2011-10-20 | Ricoh Co Ltd | 撮像装置及び距離取得システム |
JP5440461B2 (ja) * | 2010-09-13 | 2014-03-12 | 株式会社リコー | 校正装置、距離計測システム、校正方法および校正プログラム |
CN105554551A (zh) * | 2011-03-02 | 2016-05-04 | 华为技术有限公司 | 3d格式描述信息的获取方法和装置 |
-
2011
- 2011-05-31 JP JP2011121378A patent/JP5870510B2/ja active Active
- 2011-09-05 US US13/508,900 patent/US9170103B2/en active Active
- 2011-09-05 BR BR112012026771-0A patent/BR112012026771B1/pt active IP Right Grant
- 2011-09-05 EP EP11825105.7A patent/EP2616769B1/en active Active
- 2011-09-05 KR KR1020127011785A patent/KR101457141B1/ko active IP Right Grant
- 2011-09-05 CN CN201180004512.XA patent/CN102713509B/zh active Active
- 2011-09-05 WO PCT/JP2011/070661 patent/WO2012036102A1/en active Application Filing
- 2011-09-05 RU RU2012119214/28A patent/RU2539804C2/ru active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001141417A (ja) * | 1999-11-11 | 2001-05-25 | Fuji Photo Film Co Ltd | 視差量補正装置 |
US7139424B2 (en) * | 2002-03-06 | 2006-11-21 | Fuji Jukogyo Kabushiki Kaisha | Stereoscopic image characteristics examination system |
CN1501710A (zh) * | 2002-07-29 | 2004-06-02 | 精工爱普生株式会社 | 图像处理系统和方法及其装置、终端和程序 |
US20090046924A1 (en) * | 2007-06-28 | 2009-02-19 | Noboru Morimitsu | Stereo-image processing apparatus |
JP2009103466A (ja) * | 2007-10-19 | 2009-05-14 | Toyota Motor Corp | コンタクトプローブ |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103630110A (zh) * | 2012-08-28 | 2014-03-12 | 鸿富锦精密工业(深圳)有限公司 | 车辆测距系统及车辆测距方法 |
CN103630110B (zh) * | 2012-08-28 | 2017-02-08 | 鸿富锦精密工业(深圳)有限公司 | 车辆测距系统及车辆测距方法 |
CN110213565B (zh) * | 2013-01-15 | 2021-03-09 | 移动眼视力科技有限公司 | 成像系统和用于深度计算的方法 |
CN110213565A (zh) * | 2013-01-15 | 2019-09-06 | 移动眼视力科技有限公司 | 成像系统和用于深度计算的方法 |
CN106662441A (zh) * | 2014-09-11 | 2017-05-10 | 日立汽车系统株式会社 | 图像处理装置 |
CN106662441B (zh) * | 2014-09-11 | 2019-06-18 | 日立汽车系统株式会社 | 图像处理装置 |
CN104930998A (zh) * | 2015-06-03 | 2015-09-23 | 中国农业大学 | 智能除草机及其刀苗距优化方法、刀苗信息优化系统 |
CN104930998B (zh) * | 2015-06-03 | 2017-12-01 | 中国农业大学 | 智能除草机及其刀苗距优化方法、刀苗信息优化系统 |
CN107924570A (zh) * | 2015-09-01 | 2018-04-17 | 奥托立夫开发公司 | 用于机动车辆的视觉系统和控制视觉系统的方法 |
TWI621554B (zh) * | 2015-12-28 | 2018-04-21 | 國防大學 | 基線可調式立體視覺裝置 |
WO2018210078A1 (zh) * | 2017-05-19 | 2018-11-22 | 深圳市道通智能航空技术有限公司 | 无人机的距离测量方法以及无人机 |
CN110998241A (zh) * | 2018-01-23 | 2020-04-10 | 深圳市大疆创新科技有限公司 | 用于校准可移动对象的光学系统的系统和方法 |
CN109084724A (zh) * | 2018-07-06 | 2018-12-25 | 西安理工大学 | 一种基于双目视觉的深度学习障碍物测距方法 |
CN112513573A (zh) * | 2018-08-13 | 2021-03-16 | 日立汽车系统株式会社 | 立体摄像机装置 |
CN112513573B (zh) * | 2018-08-13 | 2022-06-10 | 日立安斯泰莫株式会社 | 立体摄像机装置 |
CN110868582A (zh) * | 2018-08-28 | 2020-03-06 | 钰立微电子股份有限公司 | 具有校正功能的图像获取系统 |
CN110868582B (zh) * | 2018-08-28 | 2022-06-03 | 钰立微电子股份有限公司 | 具有校正功能的图像获取系统 |
CN112602118A (zh) * | 2019-03-14 | 2021-04-02 | 欧姆龙株式会社 | 图像处理装置和三维测量系统 |
CN112602118B (zh) * | 2019-03-14 | 2024-06-07 | 欧姆龙株式会社 | 图像处理装置和三维测量系统 |
Also Published As
Publication number | Publication date |
---|---|
US20120236125A1 (en) | 2012-09-20 |
US9170103B2 (en) | 2015-10-27 |
JP2012083330A (ja) | 2012-04-26 |
EP2616769B1 (en) | 2019-06-19 |
RU2012119214A (ru) | 2014-10-20 |
BR112012026771A2 (pt) | 2021-02-02 |
BR112012026771B1 (pt) | 2021-09-21 |
KR20120079141A (ko) | 2012-07-11 |
EP2616769A4 (en) | 2016-04-27 |
CN102713509B (zh) | 2015-05-20 |
JP5870510B2 (ja) | 2016-03-01 |
RU2539804C2 (ru) | 2015-01-27 |
WO2012036102A1 (en) | 2012-03-22 |
KR101457141B1 (ko) | 2014-10-31 |
EP2616769A1 (en) | 2013-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102713509B (zh) | 立体摄影装置和校正方法 | |
RU2727164C1 (ru) | Способ и устройство коррекции картографических данных | |
JP5440461B2 (ja) | 校正装置、距離計測システム、校正方法および校正プログラム | |
EP3137850B1 (en) | Method and system for determining a position relative to a digital map | |
CN110795984A (zh) | 信息处理方法、信息处理装置及程序记录介质 | |
KR102327901B1 (ko) | 이동하는 오브젝트 센서의 정렬을 교정하기 위한 방법 | |
JP2007218738A (ja) | 校正装置、物標検知装置および校正方法 | |
KR102428765B1 (ko) | 터널 조명을 이용한 자율주행 차량 항법 시스템 | |
JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
JP2018180772A (ja) | 物体検出装置 | |
US20200082556A1 (en) | Image processing apparatus, image processing program, and driving assistance system | |
CN111986512B (zh) | 一种目标距离确定方法及装置 | |
JP2018189463A (ja) | 車両位置推定装置及びプログラム | |
US20220138971A1 (en) | Three-dimensional displacement measuring method and three-dimensional displacement measuring device | |
JP7025293B2 (ja) | 自車位置推定装置 | |
JPWO2020071117A1 (ja) | 情報処理装置 | |
JP5936527B2 (ja) | 画像処理装置および画像処理方法 | |
RU2559418C2 (ru) | Способ определения положения и скорости движения транспортного средства на дороге и комплекс для его осуществления | |
JP2007333441A (ja) | 移動体およびその環境認識センサ | |
JP6187609B2 (ja) | 演算装置、ステレオカメラ装置、機器制御システムおよびプログラム | |
JP2018120303A (ja) | 物体検出装置 | |
JP2023002082A (ja) | 地図更新装置、地図更新方法及び地図更新用コンピュータプログラム | |
JP2015001791A (ja) | 画像解析装置 | |
JP2016151863A (ja) | 白線検出装置 | |
CN117333541A (zh) | 用于确定路侧摄像头的延时参数的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |