CN116668665A - 测量装置、移动装置、测量方法和存储介质 - Google Patents
测量装置、移动装置、测量方法和存储介质 Download PDFInfo
- Publication number
- CN116668665A CN116668665A CN202310163577.3A CN202310163577A CN116668665A CN 116668665 A CN116668665 A CN 116668665A CN 202310163577 A CN202310163577 A CN 202310163577A CN 116668665 A CN116668665 A CN 116668665A
- Authority
- CN
- China
- Prior art keywords
- image
- distance
- viewpoint
- movement amount
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000033001 locomotion Effects 0.000 claims abstract description 129
- 238000005259 measurement Methods 0.000 claims abstract description 69
- 238000004364 calculation method Methods 0.000 claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims description 43
- 210000001747 pupil Anatomy 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000003247 decreasing effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 52
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明涉及测量装置、移动装置、测量方法和存储介质。所述测量装置,包括:立体图像获取单元,其被配置为在预定的第一时刻获取第一视点的第一图像和第二视点的第二图像,并且在不同于所述第一时刻的第二时刻获取所述第一视点的第三图像和所述第二视点的第四图像;立体距离测量单元,其被配置为从所述第一图像和所述第二图像获取第一距离图像,并且从所述第三图像和所述第四图像获取第二距离图像;以及移动量计算单元,其被配置为基于所述第一距离图像和所述第二距离图像来计算在所述第一时刻和所述第二时刻之间的在所述立体图像获取单元和被摄体之间的相对的移动量。
Description
技术领域
本发明涉及测量装置、移动装置、测量方法和存储介质等。
背景技术
提出了具有用于基于从不同视点拍摄到的图像信号来估计不同视点之间的照相机的配置关系(即,照相机的移动量)的功能的摄像设备。
在专利4814669中,作为用于计算照相机的移动量的技术,使用从运动恢复结构(Structure from Motion(SfM))方法。在SfM方法中,计算标准化的相对移动量,因此需要使用从诸如惯性测量单元(Inertial Measurement Unit(IMU))等的另一装置供给的信息来将照相机的移动量增减到实际量。这样,传统上,需要包括除摄像设备以外的诸如IMU等的装置,并且难以降低成本。
发明内容
根据本发明的一方面,一种测量装置,包括至少一个处理器或电路,所述至少一个处理器或电路被配置为用作:立体图像获取单元,其被配置为在预定的第一时刻获取第一视点的第一图像和第二视点的第二图像,并且在不同于所述第一时刻的第二时刻获取所述第一视点的第三图像和所述第二视点的第四图像;立体距离测量单元,其被配置为从所述第一图像和所述第二图像获取第一距离图像,并且从所述第三图像和所述第四图像获取第二距离图像;以及移动量计算单元,其被配置为基于所述第一距离图像和所述第二距离图像,来计算在所述第一时刻和所述第二时刻之间的在所述立体图像获取单元和被摄体之间的相对的移动量。
通过以下参考附图对实施例的说明,本发明的更多特征将变得明显。
附图说明
图1是示出根据第一实施例的距离测量装置的结构的功能框图。
图2是根据第一实施例的距离测量装置的处理的流程图。
图3A是示出时刻t1处的第一视点的第一图像121的图,图3B是示出时刻t1处的距离图像141的图,并且图3C是示出时刻t2处的第一视点的第三图像123的图。图3D是示出时刻t2处的距离图像142的图,并且图3E是示出作为相对距离值的距离差分图像143的图。
图4A是示出根据第二实施例的照相机移动量计算处理的流程图。图4B是步骤S403的详细流程图。
图5是示出图像上的像素的坐标(u,v)和与其相对应的空间坐标(X,Y,Z)之间的关系的图。
图6的(A)是示出根据帧时刻t1的距离图像141所计算出的空间坐标(X,Y,Z)的图,并且图6的(B)是示出根据帧时刻t2的距离图像142所计算出的空间坐标(X,Y,Z)的图。
图7是横轴为相对距离值且纵轴为频度的直方图。
图8是示出根据第三实施例的距离测量装置的结构的功能框图。
图9A是示出根据第四实施例的距离测量装置900的结构的功能框图,图9B是示出照相机装置911的结构的示意图,图9C是示出图像传感器913的受光面的示意图,并且图9D是图像传感器913的单位像素930的截面I–I’的示意图。图9E是示出光瞳分割系统的原理的图。
图10的(A)、(B)和(C)是用于示出使用根据第四实施例的图像传感器913和成像光学系统912的摄像面相位差距离测量系统的原理的示意图。
图11是示出根据第五实施例的距离测量装置1100的结构的功能框图。
图12A是示出针对时刻t1处的第一视点的第一图像计算特征点1133的结果的图,并且图12B是示出针对时刻t2处的第一视点的第三图像计算特征点1134的结果的图。图12C是示出所计算出的光流(optical flow)1132的图。
图13A是示出通过将立体距离测量单元1102所计算出的时刻t1处的距离图像转换成像侧散焦量所获取到的、根据立体距离测量单元1102的第一距离值的分布的图,并且图13B是示出特征点距离测量单元1103所计算出的第二距离值的分布的图。图13C是示出沿着图13A和图13B中的I-I’的像侧散焦量的图。图13D是示出通过从图13C所示的作为根据立体距离测量单元的第一距离值的(i)中减去作为根据特征点距离测量单元的第二距离值的(ii)所获取到的量的图。
图14A是示出根据第六实施例的作为可移动设备的运载工具1400的结构的示意图,并且图14B是运载工具1400的功能框图。
具体实施方式
在下文,参考附图,将使用实施例来说明本发明的有利模式。在各图中,将相同的附图标记应用于相同的构件或元件,并且将省略或简化重复的说明。
(第一实施例)
在第一实施例中,通过仅使用摄像设备(照相机)所获取到的图像比较不同帧之间的距离值来计算照相机的移动量。
图1是示出根据第一实施例的距离测量装置的结构的功能框图。通过使得作为距离测量装置100中所包括的计算机的CPU(未示出)执行作为附图中未示出的存储介质的存储器中所存储的计算机程序,来实现图1所示的功能块中的一些功能块。
然而,可以使用硬件来实现这些功能块中的一些或全部。作为硬件,可以使用专用电路(ASIC)或处理器(可重构处理器、DSP)等。
图1所示的功能块可以不内置到同一壳体中,并且可以通过使用经由信号路径连接的其他装置来构成。以上给出的说明也可应用于图8、图9A、图11和图14B所示的功能框图。
距离测量装置100是包括立体图像获取单元101、立体距离测量单元102和照相机移动量计算单元103的测量装置,并且在以下的实施例中,将说明测量照相机的移动量的示例。然而,在以下的实施例中,移动量可以是照相机和被摄体之间的相对移动量。
立体图像获取单元101包括照相机装置111和照相机装置112,并且这两个照相机装置被布置成按预先设置的预定间隙(基线长度)彼此分开。另外,这些照相机装置被布置成使得在其视角之间存在共同范围。照相机装置111和照相机装置112各自均包括附图中未示出的成像光学系统、图像传感器和图像存储单元。
例如,图像传感器由互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)构成,并且对经由成像光学系统在图像传感器上成像的被摄体图像进行光电转换,由此获取到图像信号。将所获取到的图像信号暂时存储在由存储器构成的图像存储单元中。
从照相机装置111获取到第一视点的第一图像121,并且从照相机装置112获取到第二视点的第二图像。
在预定的时刻t1(第一时刻),将作为由立体图像获取单元101所获取到的第一视点的第一图像121和第二视点的第二图像构成的一组图像的图像集合供给到立体距离测量单元102。然后,使用以下要说明的技术来计算距离图像141(第一距离图像)。
另外,将由在第一帧时间段之后的时刻t2(第二时刻;t1<t2)处获取到的第一视点的第三图像123和第二视点的第四图像构成的图像集合供给到立体距离测量单元102,并且计算距离图像142(第二距离图像)。
换句话说,立体图像获取单元101在预定的第一时刻处获取到第一视点的第一图像和第二视点的第二图像。另外,在不同于第一时刻的第二时刻处获取到第一视点的第三图像和第二视点的第四图像。
另一方面,立体距离测量单元102从第一图像和第二图像获取到第一距离图像,并且从第三图像和第四图像获取到第二距离图像。
将由立体距离测量单元102使用在时刻t1处获取到的图像集合所计算出的距离图像141和由立体距离测量单元102使用在时刻t2处获取到的图像集合所计算出的距离图像142供给到照相机移动量计算单元103。
然后,照相机移动量计算单元103使用以下所述的技术将距离图像141和距离图像142彼此比较,并且根据距离图像141和距离图像142的集合来计算相对距离值。照相机移动量计算单元103使用所计算出的相对距离值来在从时刻t1到时刻t2的时间中计算并输出作为照相机(立体图像获取单元)的移动量的照相机移动量。
图2是根据第一实施例的距离测量装置的处理的流程图。通过作为距离测量装置100内的计算机的CPU执行存储器中所存储的计算机程序,来进行图2所示的流程图的各步骤的操作。
在步骤S201中,通过使用立体图像获取单元101,在预定的第一时刻获取到第一视点的第一图像和第二视点的第二图像,并且在第二时刻获取到第一视点的第三图像和第二视点的第四图像。这里,步骤S201用作立体图像获取步骤。
另外,在步骤S202中,距离测量装置100内的CPU通过使用立体距离测量单元102,从第一图像和第二图像获取到第一距离图像,并且从第三图像和第四图像获取到第二距离图像。这里,步骤S202用作立体距离测量步骤。
更具体地,立体距离测量单元102进行由光量校正处理和噪声降低处理构成的立体距离测量预处理,计算视差量,并将所获取到的视差量转换成距离值。噪声降低处理是例如使用通过带通滤波器来降低噪声分量的处理。
在视差量计算处理中,在相对于具有第一图像121中所设置的关注点作为中心的对照区域、使具有第二图像中所设置的各个参考点作为各个中心的相同形状的参考区域顺次移动的同时,计算相关值。然后,将具有最高相关性的参考点与关注点之间的位置偏差量设置为视差量。
作为用于计算相关值的方法,可以使用用于评估图像信号之间的差的平方和的平方差和(SSD)、以及用于评估差的绝对值的绝对差和(SAD)等。
使用作为照相机装置111和照相机装置112之间的预定间隙的基线长度W以及光学系统的焦距f,将所计算出的视差量几何地转换成距离值L。这样,通过针对构成图像信号的所有像素计算视差量和距离值,根据第一图像121和第二图像计算出第一距离图像。类似地,根据第三图像123和第四图像计算出第二距离图像。
在步骤S203中,距离测量装置100内的CPU基于在相差了1帧时间段的时刻t1和时刻t2获取到的第一距离图像和第二距离图像的集合,来计算立体图像获取单元101在1帧时间段内已移动的随时间经过的移动量。
这里,步骤S203用作移动量计算步骤(移动量计算单元),该移动量计算步骤用于基于第一距离图像和第二距离图像来计算在第一时刻和第二时刻之间的立体图像获取单元的移动量。
图3A至图3E是示出使用在时刻t1和时刻t2(t1<t2)的各时刻获取到的第一视点的图像和未示出的第二视点的图像的图像集合所计算出的距离图像的图。图3A是示出在时刻t1处获取到的第一视点的第一图像121的图。
图3B是示出时刻t1的距离图像141的图,并且距离图像141是使用时刻t1处的第一视点的第一图像121和时刻t1处的未示出的第二视点的图像所计算出的。
图3C是示出时刻t2处的第一视点的第三图像123的图。图3D是示出时刻t2处的距离图像142的图,并且距离图像142是使用时刻t2处的第一视点的第三图像123和时刻t2处的未示出的第二视点的图像所计算出的。
图3E是示出作为相对距离值的距离差分图像143的图。在距离图像141和142中,颜色越深,距离值越大,换句话说,离照相机装置越远。
在用于计算照相机的移动量的步骤S203中,通过从时刻t1的距离图像141中减去时刻t2的距离图像142,如图3E所示,计算出作为相对距离值的距离差分图像143。
在图3E所示的距离差分图像143中,面对照相机装置的建筑物的正面(例如,区域201)表示根据时刻从t1到t2的变化、照相机装置变得更接近建筑物的距离(即,照相机移动量)。
在图3E中,由于即使当时刻从t1改变为t2时相对于照相机装置的距离也不改变,因此区域202中示出的路面等具有连续距离分布的区域表示与0几乎相同的值。尽管在其他区域中包括0或除照相机移动量以外的值,但其比例低。
这样,在所获取到的距离差分图像143中,包括了作为照相机装置在光轴方向上的移动距离的照相机移动量的值。因此,通过生成距离差分图像143的各像素的相对距离值的直方图并计算最频值,可以计算出照相机移动量。此时,通过使用预定阈值除去0附近的值并计算最频值,可以提高照相机移动量的计算精度。
另外,可以通过计算距离差分图像143的像素的相对距离值的中值或平均值来获取照相机移动量,并且在这种情况下,可以减少算术运算负荷。换句话说,通过对第一距离图像和第二距离图像的像素的相对距离值进行统计处理,例如,可以基于最频值、中值和平均值中的任一个来计算移动量。
根据第一实施例,即使在不使用诸如IMU等的其他装置的信息的情况下,也可以简单地根据照相机装置所获取到的拍摄图像来计算照相机移动量。因此,可以减小包括照相机装置的距离获取系统的大小,并且可以降低成本。
(第二实施例)
第二实施例的装置结构与图1所示的距离测量装置100的装置结构类似。图4A是示出根据第二实施例的照相机移动量计算处理的流程图,并且图4B是步骤S403的详细流程图。
通过作为距离测量装置100内的计算机的CPU执行存储器中所存储的计算机程序,来进行图4A和图4B所示的流程图的各步骤的操作。
在步骤S401中,与上述的步骤S201类似,距离测量装置100内的CPU使用立体图像获取单元101来在预定的第一时刻获取第一视点的第一图像和第二视点的第二图像。另外,CPU在第二时刻获取第一视点的第三图像和第二视点的第四图像。
接着,在步骤S402(立体距离测量步骤)中,距离测量装置100内的CPU通过使用立体距离测量单元102,从第一图像和第二图像获取到第一距离图像,并且从第三图像和第四图像获取到第二距离图像。
接着,在步骤S403(移动量计算步骤)中,距离测量装置100内的CPU根据不同帧的时刻t1和t2处的第一距离图像和第二距离图像的集合来计算照相机移动量。
此时,在第二实施例中,通过与被摄体空间侧的坐标进行关联以进行相应点的比较、并且对所计算出的相对距离值进行统计处理,来计算照相机移动量。
在步骤S411中,距离测量装置100的CPU获取时刻t1的距离图像141(第一距离图像)和不同帧的时刻t2(t1<t2)的距离图像142(第二距离图像)。然后,CPU基于各距离图像中的像素的坐标(h,v)和相应的距离值(L)来计算空间坐标(X,Y,Z)。
图5是示出图像上的像素的坐标(u,v)与相应的空间坐标(X,Y,Z)之间的关系的图,并且将说明其计算方法。
首先,设置空间坐标系(X,Y,Z)。空间坐标系(X,Y,Z)的原点被设置为获取第一视点的图像的照相机装置111的主点。另外,照相机装置111的光轴与Z轴彼此一致。
在对空间中存在的被摄体R进行摄像时,被摄体R被摄像为作为所获取到的拍摄图像的像素的坐标的图像坐标系(u,v)的点p(u1,v1)的图像。
对于第一视点的第一图像的图像坐标中的点p(u1,v1),在步骤S402中进行立体距离测量处理以计算距离值L1,并且生成具有所计算出的距离值L1的距离图像上的点p(u1,v1)。
距离值L1表示由坐标轴X和Y定义的面与面(X’,Y’)之间的距离。面(X’,Y’)是包括被摄体R的平面,并且是与由坐标轴X和Y限定的面平行的面。
另外,图像坐标上的点p(u1,v1)与传感器坐标系(w,h)上的点q(w1,h1)相对应。
从所获取到的图像获取图像坐标系中的点p的坐标(u1,v1)。另外,传感器坐标系中的点q的坐标(w1,h1)在各轴被反转的状态下具有一对一的对应关系,并且被获取为u1=w1且v1=h1。其原因在于,所获取到的拍摄图像的像素数和图像传感器的像素数彼此一致。
对于传感器坐标系中的点q的坐标(w1,h1),根据成像光学系统的透镜设计值来获取由入射光束和X轴形成的角θx以及由入射光束和Y轴形成的角θy。
这里,θx是由通过将入射光束投影到XZ平面上获取到的线与X轴所形成的角,并且θy是由通过将入射光束投影到YZ平面获取到的线与和Y轴所形成的角。据此,使用以下的式1至3来获取被摄体R的空间坐标(X1,Y1,Z1)。
X1 = L1 × tanθx … (式1)
Y1 = L1 × tanθy … (式2)
Z1 = L1 … (式3)
这样,在步骤S411中,基于时刻t1和t2的各个距离图像上的各像素的坐标(h,v)以及与这些坐标相对应的距离值(L)来计算各空间坐标(X,Y,Z)。
在步骤S412中,距离测量装置100内的CPU进行与时刻t1的距离图像141的各像素相对应的空间坐标和与不同帧的时刻t2(t1<t2)的距离图像142的各像素相对应的空间坐标之间的关联。换句话说,进行在不同帧时刻的不同像素位置处摄像的同一被摄体的可能性高的位置之间的关联。
图6的(A)是示出根据帧时刻t1的距离图像141计算出的空间坐标(X,Y,Z)的图。例如,R13(x13,y13,z13)中的后缀x13中的第一个“1”表示帧编号,并且该后缀中的第二个“3”表示像素编号。
假定所获取的图像的合计像素数为n。类似地,图6的(B)是示出根据帧时刻t2的距离图像142计算出的空间坐标(X,Y,Z)的图。对于3行n列的两个数据集合,基于(X,Y,Z)的值来进行关联。
使用已知技术来进行空间坐标(X,Y,Z)的关联。更具体地,对于帧时刻t1的空间坐标R1a(x1a,y1a,z1a),使用帧时刻t2的各空间坐标(X,Y,Z)来计算欧几里德距离,并且将取最小值的空间坐标R2b(x2b,y2b,z2b)设置为对应点。
尽管照相机装置的帧频等于或高于1fps、并且各空间坐标(X,Y,Z)通常约为米,但帧之间的照相机移动量小,因此可以进行这样的不同帧之间的空间坐标(X,Y,Z)的关联。
在步骤S412中,这样进行将时刻t2的空间坐标R21至R2n其中之一与时刻t1的空间坐标R11至R1n中的各空间坐标相关联的处理。另外,空间坐标之间的关联不限于该技术,并且可以使用诸如曼哈顿距离等的判断值,并且可以使用诸如k最近邻法等的判断处理。
在步骤S413中,距离测量装置100内的CPU通过取时刻t1的各个空间坐标R11至R1n的Z值与同在步骤S412中进行空间坐标关联处理的时刻t2相对应的各空间坐标的Z值之间的差,来计算相对距离值。
更具体地,通过使用与帧时刻t1的空间坐标R1a(x1a,y1a,z1a)相关联的帧时刻t2的空间坐标R2b(x2b,y2b,z2b),来计算帧时刻t1的空间坐标R1a的相对距离值z2b–z1a。这样,对于帧时刻t1的所有空间坐标R11至R1n,计算出相对距离值。
在步骤S414中,距离测量装置100内的CPU对步骤S413的空间坐标比较处理中计算出的帧时刻t1的所有空间坐标R11至R1n的相对距离值进行统计处理,由此计算照相机移动量。
图7是具有相对距离值作为横轴且具有频度作为纵轴的直方图。当采用上述的步骤S413的空间坐标比较处理中计算出的相对距离值的直方图时,形成了反映了光轴方向上的照相机移动量的分布。
这里,在诸如路面等的连续分布的地方,如上所述计算出0附近的许多相对距离值,由此除去了预定阈值以下的相对距离值。
另外,在步骤S402的立体距离测量处理中计算出的距离值中包括了各种误差,因此所计算的相对距离值也包括误差,并且直方图具有分布。因此,通过将单相近似曲线701与这些频度值的分布拟合,计算出具有其峰的相对距离值702。
将这样计算出的相对距离值702的峰在步骤S403中作为移动量而输出。换句话说,基于与相对距离值的直方图拟合的近似曲线的峰来计算上述移动量。
另外,对于步骤S413的空间坐标比较处理中的彼此关联的帧时刻t1的空间坐标R1a(x1a,y1a,z1a)和帧时刻t2的空间坐标R2b(x2b,y2b,z2b),可以计算出各个XYZ分量的相对距离值。换句话说,与Z分量的相对距离值z2b–z1a类似,计算出X分量的相对距离值x2b–x1a和Y分量的相对距离值y2b–y1a。
此外,在步骤S414的相对距离值统计处理中,类似地,进行各分量的峰拟合,并且计算各分量的照相机移动量。据此,也可以计算在除光轴方向以外的方向上的照相机移动量,并且还可以对照相机装置进行除仅一个方向上的移动以外的复杂移动的情况做出响应。
另外,从提高精度的观点,还优选将照相机移动量的XYZ分量彼此比较,并且仅计算比已适当设置的阈值大的分量的值作为照相机移动的主要分量。
如上所述,在第二实施例中,通过在第一距离图像和第二距离图像中基于光学系统的信息针对各个像素进行关联、并且比较彼此关联的像素的距离信息,来计算相对距离值。
另外,在步骤S413的空间坐标比较处理中,更多地对取彼此关联的像素的距离值之间的差的数据进行采样,由此获取到平滑效果。此外,通过使用近似曲线的拟合来检测峰,可以计算出与相对距离值的计算精度相比更低的数位的值,由此提高了照相机移动量的计算精度。
(第三实施例)
在第三实施例中,通过使用获取到的图像进行SfM方法来计算照相机(立体图像获取单元101)的位置/姿势变化量,并且使用照相机的位置/姿势变化量来增减相对距离值以计算照相机的移动量。
图8是示出根据第三实施例的距离测量装置的结构的功能框图。
与图1所示的距离测量装置类似,距离测量装置800包括立体图像获取单元101、立体距离测量单元102和照相机移动量计算单元103,并且立体图像获取单元101包括照相机装置111和照相机装置112。另外,距离测量装置800包括特征点距离测量单元801。
将由立体图像获取单元101在时刻t1处获取到的第一视点的第一图像121和第二视点的第二图像构成的一组图像(图像集合)供给到立体距离测量单元102,并且计算距离图像141。
类似地,将由立体图像获取单元101在时刻t2(t1<t2)处获取到的第一视点的第三图像123和第二视点的第四图像构成的图像集合供给到立体距离测量单元102,并且计算距离图像142。将所计算出的距离图像141和距离图像142供给到照相机移动量计算单元103,并且使用与上述方法类似的方法来计算相对距离值。
另外,将由立体图像获取单元101在时刻t1处获取到的第一视点的第一图像121和在不同的帧时刻t2处获取到的第一视点的第三图像123供给到特征点距离测量单元801。然后,使用SfM方法来计算特征点,将这些特征点彼此比较,并且计算照相机位置/姿势变化量。在下文,将更具体地说明使用SfM方法的特征点的计算和比较。
关于光流的计算,对于在时刻t1处获取到的第一视点的第一图像121和在不同的帧时刻t2处获取到的第一视点的第三图像123,使用作为已知技术的Harris角点检测算法来计算特征点。
使用作为已知技术的Kanade-Lucas-Tomasi(KLT)特征跟踪算法来进行在第一图像121和第三图像123中计算出的特征点之间的关联,并且计算光流。另外,特征点和特征量的计算以及光流的计算所使用的算法不限于上述技术。
例如,可以使用加速段测试的特征(Features from Accelerated Segment Test(FAST))、二进制鲁棒独立基本特征(Binary Robust Independent Elementary Features(BRIEF))、或者定向FAST和旋转BRIEF(Oriented FAST and Rotated BRIEF(ORB))等的特征。
使用已知的技术来计算作为在获取到第一图像121的时刻t1和获取到第三图像123的时刻t2之间的照相机的移动量的照相机移动量。更具体地,使用8点算法来获取照相机基本矩阵F,使得使用在时刻t1处的第一图像121中计算出的特征点、在时刻t2处的第三图像123中计算出的特征点以及作为其对应关系的光流来满足极线约束。
此时,通过还使用随机采样一致性(Random Sample Consensus(RANSAC))方法,高效地排除了偏离值,并且作为稳定的技术,可以计算出照相机移动量。使用已知技术将照相机基本矩阵F分解为照相机基本矩阵E,并且从照相机基本矩阵E获取到作为照相机外部参数的旋转移动量R(ωx,ωy,ωz)和平移移动量T(tx,ty,tz)。
所获取到的旋转移动量R(ωx,ωy,ωz)和平移移动量T(tx,ty,tz)的组合成为从时刻t1到时刻t2的照相机位置/姿势变化量。这里,所获取到的平移移动量T(tx,ty,tz)是从时刻t1到时刻t2的标准化相对位移量,并且增减是不确定的,因此不清楚实际大小中的照相机移动量。
因此,将作为所计算出的照相机位置/姿势变化量的旋转移动量R(ωx,ωy,ωz)和平移移动量T(tx,ty,tz)供给到照相机移动量计算单元103,并且使用如上所述计算出的相对距离值来进行增减。
换句话说,将作为使用上述技术计算出的从时刻t1到时刻t2的照相机光轴方向上的实际移动量的相对距离值702与照相机位置/姿势变化量中的平移移动量T的光轴方向分量tz彼此比较,并且计算出这两者彼此一致的系数k。
换句话说,计算出使用相对距离值702作为Lc的满足Lc=k×tz的系数k。然后,通过将平移移动量(tx,ty,tz)乘以k倍,计算出作为实际照相机(立体图像获取单元)的移动量的照相机移动量T(k×tx,k×ty,k×tz)。另外,在计算出XYZ分量中的各分量的值作为相对距离值的情况下,类似地,计算出这些分量的经纬度数kx、ky和kz,并且计算出照相机移动量(kx×tx,ky×ty,kz×tz)。
这样,在第三实施例中,通过特征点距离测量单元801基于第一图像和第三图像的特征点之间的对应关系来计算立体图像获取单元的位置/姿势变化量,并且通过照相机移动量计算单元103使用相对距离值来进行位置/姿势变化量的增减。
据此,可以在不使用诸如IMU等的其他装置的情况下仅使用摄像设备所获取到的拍摄图像来进行SfM方法的增减,可以在不使用其他装置的情况下计算实际尺寸的照相机移动量,因此可以降低成本。
另外,与根据距离图像集合、仅使用相对距离值来计算照相机移动量的情况相比,通过还使用SfM方法,可以与位置信息同时获取到姿势信息(角度信息),因此提高了在进行将自身照相机的图像映射到另一照相机图像时的精度。
(第四实施例)
作为第四实施例,将说明立体图像获取单元使用光瞳分割系统的图像传感器来进行摄像面相位差距离测量系统的距离测量的示例。
图9A是示出根据第四实施例的距离测量装置900的结构的功能框图,并且图9B是示出照相机装置911的结构的示意图。
立体图像获取单元901由一个照相机装置9111构成,该一个照相机装置9111由一个光学系统和光瞳分割系统的一个图像传感器构成。立体图像获取单元901包括上述的立体距离测量单元102和照相机移动量计算单元103。如图9B所示,照相机装置911包括成像光学系统912、图像传感器913、图像储存存储器914和信号发送单元915。
对经由成像光学系统912在图像传感器913上形成的被摄体图像进行光电转换,由此获取到图像信号。所获取到的图像信号在被图像处理之后被存储在图像储存存储器914中,并且由信号发送单元915发送到照相机装置911的外部。
在第四实施例中,z轴与成像光学系统912的光轴920平行,并且x轴和y轴彼此垂直且垂直于光轴。
图像传感器913是具有使用摄像面相位差距离测量系统的距离测量功能的光瞳分割系统的图像传感器。图9C是示出图像传感器913的受光面的示意图,并且图9D是图像传感器913的单位像素930的截面I-I’的示意图。
图像传感器913通过在xy方向各自上排列多个单位像素930来构成。单位像素930的受光层由两个光电转换单元(第一光电转换单元931和第二光电转换单元932)构成。在图9D中,单位像素930由导光层941和受光层942构成。
在导光层941中,布置有用于将入射到单位像素的光束高效地引导到光电转换单元的微透镜943、用于使预定波长频带的光通过的未示出的滤色器、以及用于读取图像并驱动像素的未示出的布线等。在受光层942中,布置有作为用于对接收到的光进行光电转换的两个光电转换单元的第一光电转换单元931和第二光电转换单元932。
根据具有这样的单位像素构造的光瞳分割系统的图像传感器的结构,通过使用由一个成像光学系统和一个图像传感器构成的结构,可以获取到视点彼此不同的第一图像和第二图像。
图9E是用于示出光瞳分割系统的原理的图,并且示出成像光学系统912的出射光瞳950、以及作为图像传感器913中所布置的单位像素930中的像素的代表示例的中心像高附近的单位像素930。
单位像素930内布置的微透镜943被布置成使得出射光瞳950和受光层942具有光学共轭关系。结果,穿过了作为出射光瞳950的部分光瞳区域的第一光瞳区域951的光束入射到第一光电转换单元931。
类似地,穿过了作为部分光瞳区域的第二光瞳区域952的光束入射到第二光电转换单元932。在图像传感器的周边部中的单位像素的情况下,尽管主光束倾斜、并且形成了倾斜的入射关系,但该部分光瞳区域、光束和光电转换单元之间的对应关系不改变。
如上所述,在图像传感器913中排列有多个单位像素930,并且通过各单位像素的第一光电转换单元931获取到光电转换后的信号,并且生成第一视点的第一图像。
类似地,通过各单位像素的第二光电转换单元932获取到光电转换后的信号,并且生成第二视点的第二图像。这样,通过使用由一个成像光学系统和一个图像传感器构成的结构,可以获取到视点根据光瞳分割系统而彼此不同的第一图像和第二图像。
图10的(A)、(B)和(C)是用于示出使用根据第四实施例的图像传感器913和成像光学系统912的摄像面相位差距离测量系统的原理的示意图。
根据被摄体的位置与成像光学系统912的聚焦位置1000之间的位置关系而在像侧发生散焦,根据散焦量而发生第一图像和第二图像之间的视差。
在图10的(A)、(B)和(C)中,示出穿过了上述的第一光瞳区域951的第一光束1001和穿过了上述的第二光瞳区域952的第二光束1002。图10的(A)是示出聚焦状态的图,并且第一光束1001和第二光束1002会聚在图像传感器913上的相同位置。
换句话说,散焦量为0。此时,使用第一光束1001所形成的第一视点的第一图像与使用第二光束1002所形成的第二视点的第二图像之间的视差量为0。
图10的(B)是示出根据被摄体的位置与聚焦位置1000之间的关系在像侧在z轴(光轴)的负方向上的散焦状态的图。此时,使用第一光束所形成的第一视点的第一图像和使用第二光束所形成的第二视点的第二图像之间的视差量具有负值。
图10的(C)示出根据被摄体的位置与聚焦位置1000之间的关系在像侧在z轴(光轴)的正方向上的散焦状态。此时,使用第一光束所形成的第一视点的第一图像和使用第二光束所形成的第二视点的第二图像之间的视差量具有正值。
这样,像侧散焦量根据聚焦位置和被摄体位置之间的关系而改变,并且第一视点的第一图像和第二视点的第二图像之间的视差量与像侧散焦量相对应地改变。换句话说,通过计算第一视点的第一图像和第二视点的第二图像之间的视差量,可以计算出散焦量,并且可以计算出到被摄体的距离。
这样,通过使用摄像面相位差距离测量系统,可以进行视差量的计算、从视差量到散焦量的转换、从像侧散焦量到物侧散焦量的转换、以及从物侧到距离值的转换,并且由此可以计算出被摄体距离。
然后,基于从使用图9A所示的光瞳分割系统的图像传感器的摄像面相位差距离测量系统的照相机装置911获取到的第一视点的第一图像和第二视点的第二图像,立体距离测量单元102计算距离图像。然后,与第一实施例至第三实施例类似,通过使用不同时刻t1和t2的距离图像,照相机移动量计算单元103计算照相机移动量。
这样,在第四实施例中,通过使用利用光瞳分割系统的图像传感器的摄像面相位差距离测量系统的照相机装置,与第一实施例至第三实施例类似地计算出的照相机移动量的误差被减小以具有高精度,并且可以减小大小。
另外,第四实施例中的照相机移动量的计算误差是通过比较不同时刻的距离图像来计算的,因此不受距离图像的绝对值误差的影响,而是受距离图像的相对值误差的影响。
然而,尽管绝对值误差是与作为不同视点之间的间隙的基线长度的随时间经过的变化、或者根据热或温度的聚焦位置变化相对应的误差,但在本发明中假定的在视场角内共同地示出同一被摄体的短帧间隔中,在绝对值误差方面不存在大的变化。因此,在时刻t1和t2处存在大致相同距离值的绝对值误差,并且因此通过计算距离值之间的差来消除绝对值误差的影响。
另一方面,相对值误差受到图像传感器的噪声的影响,并且在各时刻取随机值,因此没有通过比较不同时刻的距离图像而被抵消,并且距离值的相对值误差的大小取决于视差量的计算精度。
当与使用图1所示的两个照相机装置的立体图像获取单元进行比较时,由一个光学系统和一个图像传感器构成的立体图像获取单元具有以高精度定义的不同视点之间的配置关系,因此视差量的计算精度高。因此,与第四实施例一样,通过使用利用光瞳分割系统的摄像面相位差距离测量系统构成的照相机装置,所计算出的照相机移动量的误差减小,并且可以生成具有高精度的距离图像。
(第五实施例)
在第五实施例中,由特征点距离测量单元使用所计算出的照相机移动量来计算距离值(第二距离信息),并且通过将该第二距离信息与立体距离测量单元所计算出的距离值(第一距离信息)进行比较来校正立体距离测量单元的距离值的误差。
换句话说,在第五实施例中,例如,与上述第三实施例类似,根据不同时刻的距离图像的集合来计算相对距离值,并且通过增减所计算出的照相机位置/姿势变化量来计算照相机移动量。然后,通过将根据立体距离测量单元的第一距离值和根据特征点距离测量单元的第二距离值进行比较,校正单元计算出立体距离测量单元的校正值并且进行立体距离测量单元的校正。
这里,立体距离测量单元的校正表示根据立体距离测量单元的随时间经过的变化的误差的校正。根据相对于设计时或出厂时的像侧散焦量的操作的变化而发生根据立体距离测量单元的随时间经过的变化的误差。
更具体地,例如,在成像光学系统的像面弯曲的量根据环境温度的变化或来自外部的冲击而改变的情况下,散焦量和被摄体距离之间的关系相对于设计值崩溃,并且这成为距离测量误差的因素。
图11是示出根据第五实施例的距离测量装置1100的结构的功能框图。
立体图像获取单元1101例如包括使用如第四实施例那样的光瞳分割系统的图像传感器的摄像面相位差距离测量系统的一个照相机装置1111。距离测量装置1100包括分别与上述的立体距离测量单元102、特征点距离测量单元801和照相机移动量计算单元103相同的立体距离测量单元1102、特征点距离测量单元1103和照相机移动量计算单元1104。此外,在第五实施例中包括校正单元1105。
立体距离测量单元1102根据立体图像获取单元1101的照相机装置1111所获取到的时刻t1处的第一视点的第一图像和第二视点的第二图像来计算时刻t1的距离图像。
类似地,根据时刻t2处的第一视点的第三图像和第二视点的第四图像来计算时刻t2(t1<t2)的距离图像。然后,照相机移动量计算单元1104通过比较作为包括时刻t1的距离图像和时刻t2的距离图像的一组距离图像的距离图像集合,使用上述技术来计算相对距离值。
另一方面,特征点距离测量单元1103基于照相机装置1111所获取到的时刻t1处的第一视点的第一图像和时刻t2处的第一视点的第三图像来计算照相机位置/姿势变化量。另外,特征点距离测量单元1103计算与所计算出的特征点的坐标相对应的光流1132。
将参考图12A至图12C来说明光流1132。图12A是示出针对时刻t1处的第一视点的第一图像计算特征点1133的结果的图。类似地,图12B是示出针对时刻t2处的第一视点的第三图像计算特征点1134的结果的图。
通过使用已知技术获取这些特征点1133和特征点1134的对应关系,由此计算出光流。图12C是示出所计算出的光流1132的图。
通过进行与根据第三实施例的照相机移动量计算单元103的算术运算类似的算术运算,照相机移动量计算单元1104计算相对距离值,并且进一步计算作为经增减的实际移动量的照相机移动量。
校正单元1105使用时刻t1的距离图像、时刻t1的第一图像的特征点1133、光流1132和照相机移动量来计算第一距离值和第二距离值。然后,通过比较第一距离值(第一距离信息)和第二距离值(第二距离信息),计算出校正值。
对于立体距离测量单元1102所计算出的时刻t1的距离图像(第一距离图像),使用根据设计值已知的焦距f,利用作为已知技术的成像关系式来将距离值转换成像侧散焦量。
图13A是示出通过将立体距离测量单元1102所计算出的时刻t1的距离图像转换成像侧散焦量而获取到的根据立体距离测量单元1102的第一距离值的分布的图。图13A示出颜色越深、相对负的散焦量越大,换句话说,在空间坐标中被摄体存在于更远距离处。
通过使用光流1132和经增减的照相机移动量,利用已知的运动视差距离测量技术来计算与时刻t1处的第一视点的第一图像上的特征点1133的坐标位置相对应的第二距离值。使用成像关系式将所计算出的特征点坐标中的第二距离值类似地转换成像侧散焦量。这样,第一距离信息和第二距离信息各自包括像侧散焦量。
图13B是示出特征点距离测量单元1103所计算出的第二距离值的分布的图。特征点1133的坐标是在图像内离散地计算出的,因此相应的第二距离值离散地分布在图像上。
图13C是示出沿着图13A和图13B中的I-I’的像侧散焦量的图。图13C所示的非连续线段(i)示出根据立体距离测量单元1102的第一距离值,并且图13C所示的点数据(ii)示出根据特征点距离测量单元1103的第二距离值。
这里,在根据立体距离测量单元1102的第一距离值中,包括了根据随时间经过的变化等的误差,诸如根据温度变化的相对于像面弯曲量的设计值的距离测量误差等。
另一方面,基于光流所计算出的根据特征点距离测量单元的第二距离值是根据具有比发生随时间经过的变化的时间间隔短得多的帧间隔的图像集合而计算出的,并且不受随时间经过的变化影响。因此,在获取到第一距离值和第二距离值之间的差的情况下,该差值对应于受随时间经过的变化影响的像侧散焦量的根据随时间经过的变化的误差。
图13D是示出通过从作为根据图13C所示的立体距离测量单元的第一距离值的(i)中减去作为根据特征点距离测量单元的第二距离值的(ii)所获取到的量的图。另外,实际上,可以在作为特征点1133的坐标的数据获取坐标1302上获取到(i)–(ii)的差分数据1301。
与此相反,受随时间经过的变化影响的散焦量的误差是各像素中的聚焦位置的变化,并且与像面弯曲量的变化相对应。像面弯曲量表示连续且平滑的形状,因此视场角之间(即,像素之间)的(i)–(ii)的差分数据1301连续地平滑连接。
因此,通过使用在各数据获取坐标1302上获取到的各个差分数据1301来通过多项式近似进行拟合,可以进行视角之间的插值。这样,使用图13D中的虚线示出通过多项式近似所获取到的散焦量的误差量1303。
为了说明,尽管在沿着线段I-I’的一维中表现通过多项式近似的像侧变化量,但散焦量的实际误差量是xy平面上的二维数据。因此,对于视角,通过使用所获取到的离散差分数据在xy平面上进行通过多项式近似的面拟合,来估计散焦量的误差量。作为所计算出的散焦量的误差量的近似面数据被计算为校正值Ic。
另外,通过使用所计算出的校正值Ic,利用以下的式4来校正作为根据立体距离测量单元1102的第一距离值的散焦量d,由此生成散焦量d’。
d’ = d – Ic … (式4)
通过使用该校正后的散焦量d’,使用上述技术来进行从散焦量向距离值的转换,并且可以校正立体距离测量单元的距离值。
另外,为了计算校正值所要比较的距离值不仅可以是像侧散焦量,而且可以是物侧空间的距离值。在这种情况下,可以减少转换所需的计算量并且该计算量是适当的。另外,如图1所示,立体图像获取单元1101可以具有两个照相机装置被布置成彼此分开恒定间隙的结构。在这种情况下,随时间经过的变化的校正对象是由于两个照相机装置之间的相对位置的变化而引起的物侧空间的距离值。
如上所述,在第五实施例中,可以减少距离测量装置1100中的根据随时间经过的变化等的误差的影响,并且可以获取到提高距离的测量精度的效果。
(第六实施例)
图14A是示出根据第六实施例的作为可移动设备的运载工具1400的结构的示意图,并且图14B是运载工具1400的功能框图。另外,根据第六实施例的可移动设备不限于小汽车,并且可以是电动列车、飞机、小型移动体、或者诸如自动引导运载工具(AGC)等的各种机器人等,并且包括它们。
在图14A和图14B中,运载工具1400包括如第一实施例至第五实施例那样的距离测量装置1410,并且包括波雷达装置1420、LiDAR装置1430、运载工具信息测量装置1440、路径生成ECU 1450和运载工具控制ECU 1460。这里,LiDAR是Light Detection and Ranging(光检测和测距)的缩写,并且ECU是Electronic Control Unit(电子控制单元)的缩写。
路径生成ECU 1450和运载工具控制ECU 1460各自包括CPU、以及存储有用于使得CPU进行算术运算处理的计算机程序的存储器。
包括照相机装置的距离测量装置1410对包括运载工具1400的行驶道路的周围环境进行摄像,生成表示拍摄到的图像的图像信息以及具针对各像素表示到被摄体的距离的信息的距离图像信息,并且将所生成的信息输出到路径生成ECU 1450。包括照相机装置的距离测量装置1410如图14A所示布置在运载工具1400的前玻璃的上端,并且对运载工具1400前方的预定角度范围(以下称为摄像视角)的区域进行摄像。
另外,表示到被摄体的距离的信息可以是能够被转换成从距离测量装置1410到摄像视角内的被摄体的距离的信息,或者可以是能够使用预定的参考表或者预定的转换系数和转换式来转换的信息。例如,距离值在被指派给预定整数值的状态下可以被输出到路径生成ECU 1450。
另外,能够被转换成到被摄体的距离的、可被转换成从图像传感器到共轭点的共轭距离值(距离(所谓的散焦量))或从光学系统到共轭点的距离(从像侧主点到共轭点的距离)的信息可以被光学地输出到路径生成ECU 1450。运载工具信息测量装置1440是检测运载工具1400的行驶速度和转向角的测量装置。
路径生成ECU 1450是使用逻辑电路构成的。路径生成ECU 1450接收来自运载工具信息测量装置1440的测量信号、来自距离测量装置1410的图像信息、距离图像信息、来自雷达装置1420的距离信息、以及来自LiDAR装置1430的距离信息作为输入。
然后,路径生成ECU 1450基于所接收到的信息来生成与至少运载工具1400的目标行驶轨迹和目标行驶速度中的至少一个相关的目标路径信息,并且将所生成的目标路径信息顺次输出到运载工具控制ECU 1460。
距离测量装置1410例如将照相机移动量计算单元103所计算出的移动量或校正单元1105所校正的移动量(即,作为移动装置的运载工具1400的移动量)输入到路径生成ECU1450。
然后,作为控制单元的路径生成ECU 1450将上述移动量供给到运载工具控制ECU。另外,路径生成ECU 1450基于移动量(或基于移动量所计算出的速度)来进行警告操作或对作为移动装置的运载工具1400的移动操作的控制。
此外,运载工具1400可以包括人机接口(HMI)1470,该HMI 1470向驾驶员1401进行图像的显示或使用语音的通知。在这种情况下,可以经由HMI1470向驾驶员1401通知路径生成ECU 1450所生成的目标路径信息。
通过安装具有根据第一实施例至第五实施例的功能的距离测量装置1410,提高了输出距离信息的精度,提高了从路径生成ECU 1450输出的目标路径信息的精度,并且可以实现更安全的运载工具驱动控制。
另外,由于运载工具1400中所设置的距离测量装置1410的照相机移动量与运载工具1400的移动量相对应,因此可以简单地根据距离测量装置1410所获取到的图像来计算移动量。因此,同样在诸如隧道内等的不能使用GPS的情形、或者在GPS等中发生了故障的情况下,可以计算出运载工具1400的移动量,并且可以实现更安全的运载工具驱动控制。
在以上给出的说明中,已说明了作为测量装置的距离测量装置1410计算照相机(立体图像获取单元)的移动量。然而,根据本实施例的移动量不限于照相机或立体图像获取单元的移动量,并且例如,在照相机(立体图像获取单元)固定的用途(例如,监视照相机等)的情况下,相反,可以将移动量作为被摄体的移动量进行处理。
在这种情况下,可以根据被摄体的移动量来进行警告或记录等。可替代地,可以将移动量作为照相机(立体图像获取单元)和被摄体之间的相对移动量进行处理。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
另外,作为根据实施例的控制的一部分或全部,可以将实现上述实施例的功能的计算机程序通过网络或各种存储介质供给到测量装置。然后,该测量装置的计算机(或CPU或MPU等)可以被配置为读取并执行程序。在这种情况下,程序和存储该程序的存储介质构成了本发明。
本申请要求2022年2月28日提交的日本专利申请2022-029630的权益,其通过引用而被全部并入于此。
Claims (11)
1.一种测量装置,包括至少一个处理器或电路,所述至少一个处理器或电路被配置为用作:
立体图像获取单元,其被配置为在预定的第一时刻获取第一视点的第一图像和第二视点的第二图像,并且在不同于所述第一时刻的第二时刻获取所述第一视点的第三图像和所述第二视点的第四图像;
立体距离测量单元,其被配置为从所述第一图像和所述第二图像获取第一距离图像,并且从所述第三图像和所述第四图像获取第二距离图像;以及
移动量计算单元,其被配置为基于所述第一距离图像和所述第二距离图像,来计算在所述第一时刻和所述第二时刻之间的在所述立体图像获取单元和被摄体之间的相对的移动量。
2.根据权利要求1所述的测量装置,其中,所述移动量计算单元通过对所述第一距离图像和所述第二距离图像的各个像素的相对距离值进行统计处理来计算所述移动量。
3.根据权利要求1所述的测量装置,其中,所述移动量计算单元基于光学系统的信息来进行所述第一距离图像和所述第二距离图像的像素的关联,并且通过比较彼此关联的像素的距离信息来计算相对距离值。
4.根据权利要求3所述的测量装置,其中,所述移动量计算单元基于与所述相对距离值的直方图拟合的近似曲线的峰来计算所述移动量。
5.根据权利要求1所述的测量装置,其中,所述移动量计算单元包括特征点距离测量单元,所述特征点距离测量单元被配置为基于所述第一图像和所述第三图像的特征点之间的对应关系来计算所述立体图像获取单元的位置/姿势变化量,并且所述移动量计算单元通过使用所述第一距离图像和所述第二距离图像之间的相对距离值进行所述位置/姿势变化量的增减来计算所述移动量。
6.根据权利要求1所述的测量装置,其中,所述立体图像获取单元使用光瞳分割系统的图像传感器来从所述第一图像获取所述第四图像。
7.根据权利要求5所述的测量装置,
其中,所述立体距离测量单元计算各像素的第一距离信息,以及
其中,所述特征点距离测量单元基于所述第一图像和所述第三图像的特征点之间的对应关系来计算光流,并且基于所述光流和所述移动量来计算各像素的第二距离信息,
所述测量装置还包括校正单元,所述校正单元用于使用所述第一距离信息和所述第二距离信息来校正所述立体图像获取单元的输出。
8.根据权利要求7所述的测量装置,其中,所述第一距离信息和所述第二距离信息是像侧散焦量。
9.一种移动装置,包括至少一个处理器或电路,所述至少一个处理器或电路被配置为用作:
立体图像获取单元,其被配置为在预定的第一时刻获取第一视点的第一图像和第二视点的第二图像,并且在不同于所述第一时刻的第二时刻获取所述第一视点的第三图像和所述第二视点的第四图像;
立体距离测量单元,其被配置为从所述第一图像和所述第二图像获取第一距离图像,并且从所述第三图像和所述第四图像获取第二距离图像;
移动量计算单元,其被配置为基于所述第一距离图像和所述第二距离图像,来计算在所述第一时刻和所述第二时刻之间的在所述立体图像获取单元和被摄体之间的相对的移动量;以及
控制单元,其被配置为基于所述移动量计算单元所计算出的移动量来进行警告或所述移动装置的移动操作的控制。
10.一种测量方法,包括:
通过使用立体照相机,在预定的第一时刻获取第一视点的第一图像和第二视点的第二图像,并且在不同于所述第一时刻的第二时刻获取所述第一视点的第三图像和所述第二视点的第四图像;
从所述第一图像和所述第二图像获取第一距离图像,并且从所述第三图像和所述第四图像获取第二距离图像;以及
基于所述第一距离图像和所述第二距离图像来计算在所述第一时刻和所述第二时刻之间的在所述立体照相机和被摄体之间的相对的移动量。
11.一种非暂时性计算机可读存储介质,其被配置为存储计算机程序,所述计算机程序包括用于执行以下处理的指令:
通过使用立体照相机,在预定的第一时刻获取第一视点的第一图像和第二视点的第二图像,并且在不同于所述第一时刻的第二时刻获取所述第一视点的第三图像和所述第二视点的第四图像;
从所述第一图像和所述第二图像获取第一距离图像,并且从所述第三图像和所述第四图像获取第二距离图像;以及
基于所述第一距离图像和所述第二距离图像来计算在所述第一时刻和所述第二时刻之间的在所述立体照相机和被摄体之间的相对的移动量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-029630 | 2022-02-28 | ||
JP2022029630A JP2023125506A (ja) | 2022-02-28 | 2022-02-28 | 計測装置、移動装置、計測方法、及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116668665A true CN116668665A (zh) | 2023-08-29 |
Family
ID=85122154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310163577.3A Pending CN116668665A (zh) | 2022-02-28 | 2023-02-24 | 测量装置、移动装置、测量方法和存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230274444A1 (zh) |
EP (1) | EP4235574A1 (zh) |
JP (1) | JP2023125506A (zh) |
CN (1) | CN116668665A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117648889A (zh) * | 2024-01-30 | 2024-03-05 | 中国石油集团川庆钻探工程有限公司 | 一种基于帧间差法的井喷流体测速方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210036574A (ko) * | 2019-09-26 | 2021-04-05 | 삼성전자주식회사 | 자세 추정 방법 및 장치 |
JP7037608B2 (ja) | 2020-08-05 | 2022-03-16 | 楽天グループ株式会社 | スコア表画像処理装置、スコア表画像処理方法、及びスコア表画像処理プログラム |
-
2022
- 2022-02-28 JP JP2022029630A patent/JP2023125506A/ja active Pending
-
2023
- 2023-01-26 EP EP23153383.7A patent/EP4235574A1/en active Pending
- 2023-02-08 US US18/165,983 patent/US20230274444A1/en active Pending
- 2023-02-24 CN CN202310163577.3A patent/CN116668665A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117648889A (zh) * | 2024-01-30 | 2024-03-05 | 中国石油集团川庆钻探工程有限公司 | 一种基于帧间差法的井喷流体测速方法 |
CN117648889B (zh) * | 2024-01-30 | 2024-04-26 | 中国石油集团川庆钻探工程有限公司 | 一种基于帧间差法的井喷流体测速方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2023125506A (ja) | 2023-09-07 |
US20230274444A1 (en) | 2023-08-31 |
EP4235574A1 (en) | 2023-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4440341B2 (ja) | キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム | |
JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7038345B2 (ja) | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 | |
JP5434608B2 (ja) | 測位装置及び測位方法 | |
JP5273356B2 (ja) | 複眼画像入力装置及びそれを用いた距離測定装置 | |
US11533455B2 (en) | Imaging apparatus and distance measuring apparatus using the same | |
JP6044868B2 (ja) | ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置 | |
JP5293131B2 (ja) | 車両用複眼距離測定装置及び複眼距離測定方法 | |
US9747524B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
EP2902967B1 (en) | Stereo camera calibration method, disparity calculating device, and stereo camera | |
JP4414661B2 (ja) | ステレオアダプタ及びそれを用いた距離画像入力装置 | |
JP3765862B2 (ja) | 車両用環境認識装置 | |
WO2016063545A1 (ja) | ステレオカメラ装置及びステレオカメラ装置を備える車両 | |
US11509813B2 (en) | Image processing device | |
JP2019032409A (ja) | ステレオ画像処理装置 | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
CN116668665A (zh) | 测量装置、移动装置、测量方法和存储介质 | |
CN108260360B (zh) | 场景深度计算方法、装置及终端 | |
JP2012227773A (ja) | 画像認識装置 | |
JP2015220623A (ja) | 移動体撮像システム | |
WO2020016994A1 (ja) | 画像歪み検査装置、画像歪み検査方法及びプログラム | |
US12069234B2 (en) | Distance measurement device, moving device, distance measurement method, control method for moving device, and storage medium | |
JP2019028311A (ja) | 視差情報生成装置および視差情報生成方法、撮像装置、移動装置、プログラム | |
JP2024119171A (ja) | 測距装置、移動体、制御方法及びプログラム | |
KR20240130623A (ko) | 거리 계측 디바이스, 이동가능 장치, 및 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |