CN109470158B - 影像处理装置及测距装置 - Google Patents

影像处理装置及测距装置 Download PDF

Info

Publication number
CN109470158B
CN109470158B CN201810214190.5A CN201810214190A CN109470158B CN 109470158 B CN109470158 B CN 109470158B CN 201810214190 A CN201810214190 A CN 201810214190A CN 109470158 B CN109470158 B CN 109470158B
Authority
CN
China
Prior art keywords
image
distance
correction
scale
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810214190.5A
Other languages
English (en)
Other versions
CN109470158A (zh
Inventor
山口润
森内优介
三岛直
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN109470158A publication Critical patent/CN109470158A/zh
Application granted granted Critical
Publication of CN109470158B publication Critical patent/CN109470158B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种影像处理装置及测距装置。可以根据影像而高精度地获取被摄体的位置。影像处理装置具备缓冲部、距离算出部、三维坐标算出部及修正部。缓冲部保存拍摄被摄体而得的第1影像和拍摄被摄体而得的不同于第1影像的第2影像。距离算出部使用修正参数来算出到第1影像中的被摄体的第1距离和到第2影像中的被摄体的第2距离中的至少一方，该修正参数用于修正由环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方产生的影响。三维坐标算出部使用第1影像和第2影像来算出被摄体的相对尺度的三维坐标。修正部根据第1距离和第2距离中的至少一方以及相对尺度的三维坐标来算出被摄体的实际尺度的三维坐标。

Description

影像处理装置及测距装置
本申请以日本专利申请2017-173346(申请日期：9/8/2017)为基础，根据该申请而享受优先权。本申请通过参考该申请而包含该申请的全部内容。
技术领域
本发明的实施方式涉及一种影像处理装置及测距装置。
背景技术
根据由两个摄像机、立体摄像机(多眼摄像机)拍摄到的影像来获取到被摄体的距离的技术被为人所知。此外，近来提出有根据由一个摄像机(单眼摄像机)拍摄到的影像来获取到被摄体的距离的技术。
发明内容
拍摄到的影像有时会受到环境光、被摄体的反射特性的影响。在使用这种影像来获取到被摄体的距离的情况下，精度有可能降低。
本发明要解决的问题在于提供一种可以根据影像而高精度地获取被摄体的位置的影像处理装置及测距装置。
根据实施方式，本发明的影像处理装置具备缓冲部、距离算出部、三维坐标算出部及修正部。缓冲部保存拍摄被摄体而得的第1影像和拍摄所述被摄体而得的不同于所述第1影像的第2影像。距离算出部使用修正参数来算出到所述第1影像中的所述被摄体的第1距离和到所述第2影像中的所述被摄体的第2距离中的至少一方，该修正参数用于修正由环境光、所述被摄体的反射特性以及所述被摄体的颜色中的至少某一方产生的影响。三维坐标算出部使用所述第1影像和所述第2影像来算出所述被摄体的相对尺度的三维坐标。修正部根据所述第1距离和所述第2距离中的至少一方以及所述相对尺度的三维坐标来算出所述被摄体的实际尺度的三维坐标。
根据上述构成的影像处理装置，可以根据影像而高精度地获取被摄体的位置。
附图说明
图1为表示实施方式的测距装置的构成的框图。
图2为表示设置在该实施方式的测距装置内的摄像部的滤光镜的构成的例子的图。
图3为表示图2的滤光镜的透光率特性的例子的图。
图4为用于说明配置有图2的滤光镜的彩色光圈的光线变化和散景的形状的图。
图5为用于说明利用由该实施方式的测距装置拍摄到的影像上的散景来算出到被摄体的距离的方法的例子的图。
图6为用于说明因环境光、被摄体表面的反射特性的影响而导致根据影像加以推断的到被摄体的距离的精度降低的例子的图。
图7为用于说明使用从不同位置(视点)拍摄到的多个影像加以推断的被摄体位置的尺度不定这一情况的图。
图8为表示该实施方式的测距装置内的影像处理部(影像处理装置)的系统构成的例子的框图。
图9为表示由图8的影像处理部执行的影像处理程序的功能构成的例子的框图。
图10为用于说明通过图8的影像处理部来推断被摄体的位置的例子的图。
图11为表示由图8的影像处理部执行的处理的次序的例子的流程图。
图12为表示配备该实施方式的测距装置的移动体的构成的框图。
图13为表示配备该实施方式的测距装置的汽车的外观的例子的立体图。
图14为表示配备该实施方式的测距装置的无人机的外观的例子的立体图。
图15为表示配备该实施方式的测距装置的机器人的外观的例子的立体图。
图16为表示配备该实施方式的测距装置的机械臂的外观的例子的立体图。
符号说明
1…测距装置、11…摄像部、12…影像处理部、21…滤光镜、22…透镜、23…影像传感器、31…CPU、32…RAM、32A…影像处理程序、33…非易失性存储器、34…通信部、35…总线、40…帧缓冲器、41…缓冲处理部、42…特征点检测部、43…对应点检测部、44…三维坐标算出部、45…散景修正量算出部、46…距离算出部、47…修正量算出部、48…修正部。
具体实施方式
下面，参考附图，对实施方式进行说明。
首先，参考图1，对一实施方式的测距装置的构成进行说明。该测距装置1拍摄影像，并使用拍摄到的影像而以实际尺度来推断被摄体的位置。所推断的被摄体的位置至少包含从拍摄地点到被摄体的距离(也称为进深)，例如以三维空间的坐标的形式表现。
该测距装置1具备拍摄影像的摄像部11和对拍摄到的影像进行处理的影像处理部12。测距装置1能以具备摄像部11和影像处理部12的一个装置的形式来实现，也可以是由相当于摄像部11的摄像装置和相当于影像处理部12的影像处理装置这样的多个装置构成的系统。摄像部11具有通过一次拍摄来获取被摄体的影像和与到该被摄体的距离有关的信息的功能。摄像部11通过该功能例如获取对拍摄时的到被摄体的距离信息加以编码化而得的影像。此外，影像处理部12例如能以电脑或者各种电子设备中内置的嵌入式系统的形式来实现。影像处理部12具有使用由摄像部11拍摄到的至少两个影像来生成被摄体的三维信息的功能。
如图1所示，摄像部11由具备滤光镜21、透镜22及影像传感器23的单眼摄像机构成。滤光镜21包含使互不相同的波段(色彩分量)的光透过的多个滤光区域。滤光镜21例如由作为双色彩色滤光区域的第1滤光区域211和第2滤光区域212构成。摄像部11生成分别在至少位置及视点中的任一方不一样的条件下拍摄被摄体而得的至少两个影像。因此，在两个影像间，被摄体的视觉表现是不一样的。
影像传感器23接收透过了滤光镜21和透镜22之后的光，将接收到的光转换为电信号(光电转换)。影像传感器23例如使用CCD(Charge Coupled Device电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor互补金属氧化物半导体)。影像传感器23至少包含两种摄像元件，例如具备包含接收红色(R)光的摄像元件的第1传感器231、包含接收绿色(G)光的摄像元件的第2传感器232、以及包含接收蓝色(B)光的摄像元件的第3传感器233。各摄像元件接收对应的波段的光，将接收到的光转换为电信号。通过对该电信号进行A/D转换，可以生成彩色影像。以下，也将影像的R分量、G分量、B分量即色彩分量影像(也称为波长分量影像)分别称为R影像、G影像、B影像。再者，也可以使用红色、绿色、蓝色的每一摄像元件的电信号来分别生成R影像、G影像、B影像。也就是说，摄像部11可以通过一次拍摄(one-shot)来生成彩色影像、R影像、G影像及B影像中的至少一方。
接着，图2表示滤光镜21的构成的例子。滤光镜21具有使互不相同的光的波段(色彩分量)透过的多个滤光区域，2个以上的滤光区域相对于摄像装置2的光学中心213是非点对称的形状。滤光镜21例如由作为双色彩色滤光区域的第1滤光区域211和第2滤光区域212构成。滤光镜21的中心与摄像装置2(透镜22)的光学中心213一致。第1滤光区域211及第2滤光区域212分别具有相对于光学中心213为非点对称的形状。此外，例如两个滤光区域211、212不重叠，而且由两个滤光区域211、212构成了滤光镜21的全部区域。在图2所示的例子中，第1滤光区域211及第2滤光区域212分别具有圆形的滤光镜21被穿过光学中心213的线段分割而成的半圆的形状。第1滤光区域211例如为黄色(Y)滤光区域，第2滤光区域212例如为青色(C)滤光区域。再者，也可以是第1滤光区域211为品红色(M)滤光区域、第2滤光区域212为黄色(Y)滤光区域。进而，也可以是第1滤光区域211为青色(C)滤光区域、第2滤光区域212为品红色(M)滤光区域。
各彩色滤光镜所透过的波段不一样。一个滤光区域所透过的光的波段的一部分与另一个彩色滤光区域所透过的光的波段的一部分例如重叠。一个彩色滤光区域所透过的光的波段例如也可包含另一个彩色滤光区域所透过的光的波段。
再者，第1滤光区域211和第2滤光区域212也可以是变更任意波段的透光率的滤光镜、使任意方向的偏振光通过的偏振滤光镜、或者变更任意波段的聚光能量的微透镜。例如，变更任意波段的透光率的滤光镜可为原色滤光镜(RGB)、补色滤光镜(CMY)、校色滤光镜(CC-RGB/CMY)、红外线/紫外线截断滤光镜、ND滤光镜或挡板。在第1滤光区域211、第2滤光区域212为微透镜的情况下，透镜22会使得光线的聚光的分布发生偏置，由此使得散景的形状发生变化。
以下，为了使得说明易于理解，在图2所示的滤光镜21中，主要例示第1滤光区域211为黄色(Y)滤光区域、第2滤光区域212为青色(C)滤光区域的情况。
例如，将图2所示的滤光镜21配置在摄像机的光圈部，由此构成作为光圈部被两种颜色二分而成的结构光圈的彩色光圈。影像传感器23根据透过该彩色光圈的光线来生成影像。可以在入射至影像传感器23的光的光路上、在滤光镜21与影像传感器23之间配置透镜22。也可以在入射至影像传感器23的光的光路上、在透镜22与影像传感器23之间配置滤光镜21。在设置有多个透镜22的情况下，滤光镜21也可配置在2个透镜22之间。
与第2传感器232相对应的波段的光透过黄色的第1滤光区域211和青色的第2滤光区域212两者。与第1传感器231相对应的波段的光透过黄色的第1滤光区域211而不透过青色的第2滤光区域212。与第3传感器233相对应的波段的光透过青色的第2滤光区域212而不透过黄色的第1滤光区域211。
再者，所谓某一波段的光透过滤光镜或滤光区域，意味着该波段的光以高透光率透过滤光镜或滤光区域、由该滤光镜或滤光区域引起的该波段的光的衰减(即，光量的降低)极小。此外，所谓某一波段的光不透过滤光镜或滤光区域，意味着光被滤光镜或滤光区域遮蔽，例如，该波段的光以低透光率透过滤光镜或滤光区域、由该滤光镜或滤光区域引起的该波段的光的衰减极大。例如，滤光镜或滤光区域通过吸收某一波段的光来使光衰减。
图5表示第1滤光区域211及第2滤光区域212的透光率特性的例子。再者，对于可见光波段中的波长比700nm长的光的透光率省略了图示，但该透光率与700nm的情况相近。在图5所示的黄色的第1滤光区域211的透光率特性215中，与波段为620nm至750nm左右的R影像相对应的光和与波段为495nm至570nm左右的G影像相对应的光以高透光率透过，与波段为450nm至495nm左右的B影像相对应的光几乎未透过。此外，在青色的第2滤光区域212的透光率特性216中，与B影像及G影像相对应的波段的光以高透光率透过，与R影像相对应的波段的光几乎未透过。
因此，与R影像(第1传感器231)相对应的波段的光仅透过黄色的第1滤光区域211，与B影像(第3传感器233)相对应的波段的光仅透过青色的第2滤光区域212。与G影像(第2传感器232)相对应的波段的光透过第1滤光区域211和第2滤光区域212。
这种R影像、B影像以及影像上的散景的形状根据到被摄体的距离d、更详细而言是根据距离d与对焦距离df的差分而发生变化。对焦距离df是从摄像位置起到影像上不产生散景(即，对上焦点)的对焦位置为止的距离。此外，由于各滤光区域211、212相对于光学中心213为非点对称的形状，因此，R影像上及B影像上的散景的形状因被摄体相较于对焦距离df而言是处于近前还是深处而不同，发生偏置。从摄像位置观察，R影像上及B影像上的散景的偏置的方向因被摄体相较于对焦距离df而言是处于近前还是深处而分别颠倒。
参考图4，对由配置有滤光镜21的彩色光圈引起的光线变化和散景的形状进行说明。
在被摄体210相较于对焦距离df而言处于深处的情况下(d＞df)，由影像传感器23拍摄到的影像会产生散景。表示该影像的散景的形状的点扩散函数(PSF：Point SpreadFunction)在R影像、G影像及B影像中各不相同。例如，R影像的点扩散函数201R表现出偏左侧的散景的形状，G影像的点扩散函数201G表现出无偏置的散景的形状，B影像的点扩散函数201B表现出偏右侧的散景的形状。
此外，在被摄体210处于对焦距离df的情况下(d＝df)，由影像传感器23拍摄到的影像几乎不会产生散景。表示该影像的散景的形状的点扩散函数在R影像、G影像及B影像中大致相同。即，R影像的点扩散函数202R、G影像的点扩散函数202G以及B影像的点扩散函数202B表现出无偏置的散景的形状。
此外，在被摄体210相较于对焦距离df而言处于近前的情况下(d＜df)，由影像传感器23拍摄到的影像会产生散景。表示该影像的散景的形状的点扩散函数在R影像、G影像及B影像中各不相同。即，R影像的点扩散函数203R表现出偏右侧的散景的形状，G影像的点扩散函数203G表现出无偏置的散景的形状，B影像的点扩散函数203B表现出偏左侧的散景的形状。
如此，在被摄体210相较于对焦距离df而言处于近前或深处的情况下，基于透过黄色的第1滤光区域211之后的光线的R影像的点扩散函数201R、203R不对称，此外，基于透过青色的第2滤光区域212之后的光线的B影像的点扩散函数201B、203B也不对称。并且，该R影像的点扩散函数201R、203R与B影像的点扩散函数201B、203B不一样。
图5表示利用这种影像上的散景来算出(推断)到被摄体210的距离的方法。在图5所示的例子中，滤光镜21由黄色的第1滤光区域211和青色的第2滤光区域212构成。因此，与R影像相对应的波段的光通过与第1滤光区域211相对应的部分51R，与G影像相对应的波段的光通过与第1滤光区域211及第2滤光区域212相对应的部分51G，与B影像相对应的波段的光通过与第2滤光区域212相对应的部分51B。
在使用这种滤光镜21拍摄到的影像上产生了散景的情况下，R影像、G影像及B影像上的散景呈现各不相同的形状。如图5所示，G影像的点扩散函数52G表现出左右对称的散景的形状。此外，R影像的点扩散函数52R以及B影像的点扩散函数52B表现出非点对称的散景的形状，且散景的偏置各不相同。
对R影像的点扩散函数52R以及B影像的点扩散函数52B运用用于将R影像及B影像上的非点对称的散景修正为左右对称的散景的散景修正滤光片53、54，并判定运用散景修正滤光片53、54之后的点扩散函数与G影像的点扩散函数52G是否一致。散景修正滤光片53、54准备有多个，多个散景修正滤光片53、54对应于与被摄体的多个距离。在运用某一散景修正滤光片53、54之后的点扩散函数与G影像的点扩散函数52G一致的情况下，将与该散景修正滤光片53、54相对应的距离确定为到拍摄到的被摄体210的距离。
在该点扩散函数是否一致的判定中，例如使用运用散景修正滤光片之后的R影像或B影像与G影像的相关。因此，例如从多个散景修正滤光片当中探索运用了散景修正滤光片的点扩散函数与G影像的点扩散函数的相关更高的散景修正滤光片，由此推断到映照至影像上的各像素的被摄体的距离。
表示运用散景修正滤光片之后的R影像或B影像与G影像的相关的相关值例如可以使用NCC(Normalized Cross-Correlation归一化互相关)、ZNCC(Zero-mean NormalizedCross-Correlation零均值归一化互相关)、Color Alignment Measure等。
此外，在运用某一散景修正滤光片53、54之后的点扩散函数55R、55B与G影像的点扩散函数52G是否一致的判定中，也可使用运用散景修正滤光片之后的R影像或B影像与G影像的差异度。通过求出比该差异度更低的距离，可以算出到被摄体的距离。差异度例如可以使用SSD(Sum of Squared Difference方差和)、SAD(Sum of Absolute Difference绝对差和)等。
再者，也可判定运用散景修正滤光片53之后的R影像的点扩散函数与运用散景修正滤光片54之后的B影像的点扩散函数是否一致。这些散景修正滤光片53、54对应于同一距离。在运用散景修正滤光片53之后的R影像的点扩散函数与运用散景修正滤光片54之后的B影像的点扩散函数一致的情况下，将与这些散景修正滤光片53、54相对应的距离确定为到所拍摄的被摄体210的距离。
如此，两个色彩分量影像上的散景(例如，点扩散函数、散景形状)的相对关系与到被摄体的距离具有相关，因此，影像处理部12也可以预先校准并保持该相关关系。通过校准来制作表示用于将一个色彩分量影像上的散景修正为另一色彩分量影像上的散景的散景修正量与到被摄体的距离的对应的显示查找表(LUT)、模型。例如，制作表示使R影像或B影像的点扩散函数与G影像的点扩散函数一致用的散景修正滤光片53、54与到被摄体的距离的对应的LUT、模型。再者，也可使用表示一个色彩分量影像上的散景与另一色彩分量影像上的散景的关系的例如散景的大小这样的其他值(参数)代替散景修正量。通过参考该LUT或模型，可以将散景修正量转换为到被摄体的距离。
然而，在根据影像上的散景来推断到被摄体的距离的方法中，有可能因拍摄时的环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响而导致距离的推断精度降低。关于环境光的影响，例如是因由在室外、室内等各种环境下进行拍摄所引起的光源的光谱特性的差异而产生的。关于被摄体的反射特性的影响，例如是因由被摄体的材质、表面的凹凸所引起的反射光谱特性的差异而产生。
更具体而言，在滤光镜21的透光特性和影像传感器23的分光灵敏度特性没有对于该推断方法而言较为理想的频率特性的情况下，即便到被摄体的距离相同，也会因环境光、被摄体的反射特性、被摄体的颜色等的影响而导致影像上的散景(散景的量、形状)发生变动。结果，根据影像上的散景加以推断的到被摄体的距离的精度降低。例如，即便到被摄体的距离实际上相同，两个色彩分量影像上的散景的相对关系与到被摄体的距离也未必一一对应。因此，在根据已预先校准的相关关系来算出距离的情况下，算出的距离有可能发生偏差。因此，要求实现能够根据影像而高精度地获取到被摄体的距离的新的技术。
再者，关于上述理想的频率特性，例如通过第3传感器233(蓝色传感器)所接收的波段的光仅通过第2滤光区域212(例如青色)、而在第1滤光区域211(例如黄色)内被完全遮断这样的影像传感器23的分光灵敏度特性与滤光镜21的透光特性的组合来获得。在本实施方式中，即便在使用不具有这种理想特性的摄像机的情况下，也会以对于环境光、被摄体的反射特性、颜色等而言具有鲁棒性的方式推断到被摄体的距离、被摄体的三维坐标。
具体而言，在本实施方式中，通过根据影像上的散景来推断到被摄体的距离的方法与Structure from Motion(SfM运动恢复结构)的混合方式来获取拍摄时的环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响而获取修正后的距离(三维信息)。SfM为一种三维再构成方法，其使用在至少位置及视点中的任一方不一样的条件下拍摄被摄体而得的影像来算出拍摄时的摄像机间的相对位置关系和被摄体的三维信息。
此外，在本实施方式中，不仅使用影像上的散景，还使用用于修正拍摄时的环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响的修正参数α(修正量)来规定所推断的距离。如图6所示，在仅根据影像上的散景来推断距离的方法中，即便到被摄体的距离实际上相同，也会因环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响不同而算出有偏差的距离。影像62是通过从摄像机位置61拍摄被摄体210而生成的影像。
在影像62是在理想条件下拍摄到的情况下，例如，在未受到环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响的情况下，影像处理部12可以根据与该影像62上的像素621有关的散景修正量来高精度地算出从摄像机位置61起到与像素621相对应的被摄体210上的实际物点641为止的距离。在该情况下，不需要基于修正参数α的距离的修正。
在影像62不是在理想条件下拍摄到的情况下，例如，在受到了环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响的情况下，需要通过修正参数α来修正根据与影像62上的像素621有关的散景修正量加以推断的距离。在该修正参数α小于适当地修正的值的情况下，会算出从摄像机位置61起到点631为止的距离作为到被摄体210的距离，即，会算出比实际距离短的距离。此外，在修正参数α大于适当地修正的值的情况下，会算出从摄像机位置61起到点651为止的距离作为到被摄体210的距离，即，会算出比实际距离长的距离。如此，因环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响而导致应该算出为同一距离的距离发生偏差。
另一方面，在SfM中，根据拍摄被摄体而得的多个影像来获取尺度参数β(尺度修正量)不定(未知)的被摄体的三维信息。也就是说，该三维坐标为相对尺度的三维坐标。图7表示根据在至少位置及视点中的某一方不一样的条件下拍摄被摄体210而得的两个影像72、74来算出尺度参数β不定的被摄体的三维坐标的例子。
影像72上的特征点721与影像74上的特征点741具有对应的特征量，因此是拍摄被摄体的同一部位而得的对应点。此外，影像72上的特征点722与影像74上的特征点742具有对应的特征量，是拍摄被摄体的另一相同部位而得的对应点。影像处理部12通过使用了这些对应点的SfM来推断例如以旋转矩阵R和平移向量t来表现的拍摄时的摄像机位置的相对关系，从而推断与各对应点相对应的被摄体的三维坐标。该平移向量t表示摄像机间的距离，大小不定。
由于该平移向量t的大小不定，因此，相对于影像72的拍摄时的摄像机位置P(k)71而言，无法确定影像74的拍摄时的摄像机位置P(k+1)是位置73和位置75中的哪一方。因此，无法确定与由特征点721和特征点741构成的对应点相对应的被摄体的三维坐标是摄像机位置73的情况下的点771和摄像机位置75的情况下的点781中的哪一方。此外，无法确定与由特征点722和特征点742构成的对应点相对应的被摄体的三维坐标是摄像机位置73的情况下的点772和摄像机位置75的情况下的点782中的哪一方。
如此，在SfM中，获取尺度参数β不定的被摄体的三维坐标。换句话说，只要给出用于转换为实际尺度的尺度参数β，便能获取被摄体的实际尺度的三维坐标。
因此，在本实施方式中，影像处理部12以包含修正参数α的距离和尺度参数β不定的三维坐标表示实际空间内的同一位置的方式来优化修正参数α和尺度参数β，由此算出精度得到提高的实际尺度的三维坐标或者到被摄体的距离。因此，影像处理部12能以对于拍摄时的环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响而言具有鲁棒性的方式高精度地算出实际尺度的三维坐标或者到被摄体的距离。
参考图8及图9，对用于实现上述动作的构成进行说明。
首先，图8对于影像处理部(影像处理装置)12的系统构成进行例示。影像处理部12具备CPU 31、RAM 32、非易失性存储器33及通信部34。此外，影像处理部12具有将CPU 31、RAM 32、非易失性存储器33及通信部34相互连接的总线35。
CPU 31控制影像处理部12内的各种组件的动作。CPU 31可以是单一的处理器，也可以由多个处理器构成。CPU 31执行从非易失性存储器33加载至RAM 32的各种程序。这些程序包括操作系统(OS)、各种应用程序。应用程序包括影像处理程序32A。该影像处理程序32A包含使用拍摄被摄体而得的多个影像来推断拍摄时的摄像机的位置关系、从而推断被摄体的位置用的指令组。此外，RAM 32是用作主存储装置的存储介质。非易失性存储器33是用作辅助存储装置的存储介质。
通信部34是以执行有线通信或无线通信的方式构成的装置。通信部34包含发送信号的发送部和接收信号的接收部。通信部34执行经由网络的与外部设备的通信、与存在于周边的外部设备的通信等。该外部设备也可包括摄像部11(摄像装置)。因此，通信部34也可从摄像部11接收影像。
图9例示由影像处理部12的CPU 31执行的影像处理程序32A的功能构成。影像处理程序32A具备缓冲处理部41、特征点检测部42、对应点检测部43、三维坐标算出部44、散景修正量算出部45、距离算出部46、修正量算出部47及修正部48。各部的动作可以通过由CPU 31执行影像处理程序32A中包含的指令组来实现。
缓冲处理部41通过经由通信部34的数据传送来获取由摄像部11拍摄到的影像，并将获取到的影像保存至帧缓冲器40。帧缓冲器40例如为在RAM 32内被确保的存储区域。缓冲处理部41在帧缓冲器40中存储至少两个影像。这至少两个影像是通过分别在至少位置及视点中的某一方不一样的条件下拍摄被摄体而生成的互不相同的影像。再者，这至少两个影像也可以说是相对于被摄体的拍摄时的摄像机的位置及/或姿态各不相同的影像。
更具体而言，缓冲处理部41从摄像部11接收第1影像401，并将该第1影像401存储至帧缓冲器40。然后，缓冲处理部41从摄像部11接收第2影像402，并将该第2影像402存储至帧缓冲器40。第1影像401和第2影像402是由构成摄像部11的单一的光学系统获取到的。
特征点检测部42根据帧缓冲器40中存储的各影像401、402来检测特征点组。特征点检测部42使用影像上的局部的特征量来检测影像上的边缘或角部这样的特征点组。该特征量可以使用ORB、SIFT、SURF、KAZE、AKAZE等。
对应点检测部43对第1影像401上的特征点组与第2影像402上的特征点组进行匹配，由此检测在这些影像401、402之间相对应的对应点组。也就是说，对应点检测部43检测与第1影像401上的第1特征点相对应的第2影像402上的第2特征点，由此检测由这些第1特征点及第2特征点构成的对应点。因此，检测到的对应点表示第1影像401上的某一位置的像素(第1特征点)对应于第2影像402上的某一位置的像素(第2特征点)。再者，对应点检测部43也能以亚像素单位来检测对应点。此外，匹配是根据各特征点所具有的特征量、例如使用循环算法、高速近似最近邻搜索法等来进行。
三维坐标算出部44使用第1影像401和第2影像402、例如通过SfM来算出被摄体的相对尺度的三维坐标。该被摄体的相对尺度的三维坐标例如为与被摄体有关的尺度参数β不定的三维坐标。具体而言，三维坐标算出部44根据第1影像401与第2影像402的对应点组来算出第1影像401的拍摄时的摄像部11(摄像机)与第2影像402的拍摄时的摄像部11的相对位置关系和尺度参数β不定的被摄体的三维信息。
分别拍摄到两个影像401、402的时间点的摄像部11的相对位置关系例如以两个摄像机坐标系的相对位置关系表示。并且，例如以作为旋转矩阵R和平移向量t的一个以上的参数来表示对拍摄到第1影像401的时间点的摄像机设定的第1摄像机坐标系与对拍摄到第2影像402的时间点的摄像机设定的第2摄像机坐标系的相对位置关系。第1摄像机坐标系是以拍摄到第1影像401的时间点的摄像机的位置为原点、以该摄像机的姿态为基准来加以设定的。第2摄像机坐标系是以拍摄到第2影像402的时间点的摄像机的位置为原点、以该摄像机的姿态为基准来加以设定的。此外，平移向量t的尺度不定(未知)。
三维坐标算出部44根据对应点组的几何学关系即极线约束条件来算出旋转矩阵R和平移向量t。该算出例如使用8点算法。只要算出第1摄像机坐标系与第2摄像机坐标系的相对位置关系(例如，旋转矩阵R和平移向量t)，三维坐标算出部44便能根据立体视觉(三角测量)的原理而针对每一对应点来算出尺度参数β未知的三维坐标。只要给出尺度参数β，该三维坐标便能修正为绝对尺度(实际尺度)的三维坐标。
此外，散景修正量算出部45及距离算出部46根据影像上的散景来算出到被摄体的距离。
首先，散景修正量算出部45算出用于将第1影像401中包含的第1波长分量影像的散景修正为第1影像401中包含的第2波长分量影像的散景的第1散景修正量。此外，散景修正量算出部45算出用于将第2影像402中包含的第3波长分量影像的散景修正为第2影像中包含的第4波长分量影像的散景的第2散景修正量。
第1波长分量影像的点扩散函数和第2波长分量影像的点扩散函数中的至少一方为非点对称。第3波长分量影像的点扩散函数和第4波长分量影像的点扩散函数中的至少一方为非点对称。第1波长分量影像与第3波长分量影像的波段相同或者部分重叠，例如为R影像或B影像。此外，第2波长分量影像与第4波长分量影像的波段相同或者部分重叠，例如为G影像。
散景修正量算出部45例如针对第1影像401与第2影像402的每一对应点而算出散景修正量。影像上的位置(x,y)上的散景修正量表现为下述函数。
r(x,y)
其中，影像上的位置(x,y)表示以影像中心为基准的物理距离。该函数表示以影像上的位置(x,y)为输入来确定影像上的位置(x,y)上的散景修正量。
距离算出部46使用修正参数α来算出第1影像401中的到被摄体的第1距离和第2影像402中的到被摄体的第2距离中的至少一方，该修正参数α用于修正环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响。具体而言，距离算出部46根据第1散景修正量来算出到第1摄像机坐标系下的被摄体的第1距离。此外，距离算出部46根据第2散景修正量来算出到第2摄像机坐标系下的被摄体的第2距离。所算出的距离包含用于修正环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响的修正参数α。环境光、被摄体的反射特性、颜色的影响在被摄体的每个三维位置处都不一样，因此，对于影像上的每个位置(x,y)，修正参数α可以不同。因此，影像上的位置(x,y)上的到被摄体的距离表现为下述函数。
Z(r(x,y),α(x,y))
该函数表示以影像上的位置(x,y)上的散景修正量r(x,y)和修正参数α(x,y)为输入来确定影像上的位置(x,y)处的到被摄体的距离。
接下来，修正量算出部47根据由距离算出部46算出的第1距离和第2距离中的至少一方以及由三维坐标算出部44算出的相对尺度的三维坐标(尺度参数β不定的三维坐标)来算出修正参数α和尺度参数β。修正量算出部47以尺度信息未知的三维坐标和第1距离及第2距离中的至少一方表示实际空间内的同一位置的方式进行优化，由此算出修正参数α和尺度参数β。下面，对修正参数α和尺度参数β的算出方法进行说明。
与影像上的位置(x,y)相对应的三维坐标根据由距离算出部46算出的距离而以如下方式表现。
Figure BDA0001598104610000121
其中，z为透镜22与影像传感器23之间的距离，通常是通过摄像机校准而被预先规定的。也就是说，式(1)表示只要给出影像上的位置(x,y)和该位置处的距离信息(散景修正量r(x,y)及修正参数α(x,y))，便会算出与影像上的位置(x,y)相对应的三维坐标。
图10表示某一对应点的第1影像401上的位置821为(x1,y1)、第2影像402上的位置841为(x2,y2)的情况。与该对应点相对应的物点851的三维坐标可以使用以拍摄到第1影像401的时间点的摄像机位置81为原点的第1摄像机坐标系和以拍摄到第2影像402的时间点的摄像机位置83为原点的第2摄像机坐标系这两种坐标系来表现。基于第1摄像机坐标系下的第1距离的物点851的第1三维坐标和基于第2摄像机坐标系下的第2距离的物点851的第2三维坐标分别由以下函数表现。
ODfD(x1,y1,α(x1,y1))
ODfD(x2,y2,α(x2,y2))
另一方面，在基于由三维坐标算出部44算出的尺度信息未知的三维坐标的情况下，第1摄像机坐标系下的物点851的第3三维坐标和第2摄像机坐标系下的物点851的第4三维坐标分别由以下函数表现。
OSfM(x1,y1,β)
OSfM(x2,y2,β)＝R-1(OSfM(x1,y1,β)-βt)
并且，分别在第1摄像机坐标系和第2摄像机坐标系中，使用由距离算出部46算出的距离的物点851的三维坐标与使用由三维坐标算出部44算出的尺度不定的三维坐标的物点851的三维坐标一致用的条件由以下两个关系式(式(2)及式(3))表现。
ODfD(x1,y1,α(x1,y1))＝OSfM(x1,y1,β) 式(2)
ODfD(x2,y2,α(x2,y2))＝OSfM(x2,y2,β) 式(3)
修正量算出部47以式(2)和式(3)同时成立的方式算出修正参数α和尺度参数β。例如，通过联立并解出式(2)和式(3)而针对每一对应点算出修正参数α和尺度参数β。由于对应于两个未知数α、β两个关系式成立，因此，修正量算出部47可以针对每一物点(对应点)来优化修正参数α和尺度参数β。
修正参数α在构成某一对应点的特征点(像素)之间取共通值。也就是说，对于某一对应点，修正参数α在影像间取共通值。但修正参数α能够针对每一对应点(物点)而取不同值。此外，不论对应点如何，尺度参数β自然为共通值。
因此，修正量算出部47也可在不论对应点如何尺度参数β都共通值这一制约条件下、以针对每一对应点而使式(2)和式(3)的关系成立的方式来优化修正参数α和尺度参数β。例如，定义由式(2)的两边的误差和式(3)的两边的误差构成的误差函数，从而定义每一对应点的误差函数的和即代价函数(平方误差最小基准的代价函数)。修正量算出部47以尺度参数β为共通值这一内容为制约条件来算出代价函数最小的修正参数α和尺度参数β。该计算使用作为对优化问题的解进行探索的算法之一的梯度法等。
上文中，对针对每一对应点而优化修正参数α的情况进行了说明，但考虑到拍摄时的噪声等外部干扰影响，也能以修正参数α在每一区域取共通值的方式进行优化。例如，在对应点周边的局部区域、影像上具有类似颜色的区域(例如，具有阈值范围内的像素值的区域)内，推断环境光、被摄体的反射特性的影响大致相同，因此推断修正参数α也为相同或类似的值。在这样的区域内，修正量算出部47可在修正参数α在区域内为共通值而且不论区域如何尺度参数β都为共通值这一制约条件下、以式(2)和式(3)的关系针对每一区域而成立的方式优化修正参数α和尺度参数β。或者，修正量算出部47也可在该制约条件下以式(2)或式(3)的关系针对每一区域而成立的方式优化修正参数α和尺度参数β。
再者，在被摄体的反射特性一致的情况下，仅修正环境光的影响即可，因此，不论对应点如何修正参数α的值都自然为共通值。在该情况下，修正量算出部47算出对于第1影像401上的多个像素和第2影像402上的多个像素而言共通的修正参数α。
如此，修正参数α能以针对每一对应点、针对每一区域、或者对于影像上的多个像素而言共通的方式进行优化。
修正部48根据第1距离和第2距离中的至少一方以及尺度不定的三维坐标来算出被摄体的实际尺度的三维坐标(三维信息)。该计算可以使用由修正量算出部47算出的修正参数α和尺度参数β。修正部48可根据尺度不定的三维坐标和尺度参数β来算出被摄体的实际尺度的三维坐标，也可根据修正参数α和第1散景修正量、第2散景修正量来算出被摄体的实际尺度的三维坐标。三维坐标可以使用第1摄像机坐标系和第2摄像机坐标系这两种坐标系来表现，因此，修正部48可算出两方，也可仅算出所需要的一方。
再者，在由三维坐标算出部44算出的尺度参数β不定的三维坐标的精度较低的情况下，例如，在两个影像401、402间的被摄体的动作较小的情况下，修正部48也可根据由距离算出部46算出的第1距离或第2距离来算出被摄体的三维坐标。
修正部48输出包含实际尺度的三维坐标的三维信息(也可为距离影像)。所输出的三维信息可以适当地变更为与利用了测距装置1的应用相应的形态。例如，在只想了解被摄体的三维形状的情况下，可输出第1摄像机坐标系下的三维坐标，也可输出第2摄像机坐标系下的三维坐标。此外，例如在汽车、探查车等移动体上搭载测距装置1而希望实时了解到被摄体的距离信息的情况下，较理想为输出与具有最新时间戳的影像相对应的摄像机坐标系下的三维坐标。
进而，在也希望输出摄像机的位置信息的情况下，修正部48也可输出包含旋转矩阵R和平移向量t的信息。此外，修正部48也可使用旋转矩阵R和平移向量t来算出某一坐标系下的测距装置1(摄像部11)的自身位置及自身姿态并输出包含它们的信息。自身位置例如通过任意的局部坐标系下的三维坐标来表示。自身位置也可通过世界坐标系的三维坐标、纬度经度来表示。自身姿态例如能以偏航、翻滚、俯仰来表示，也可通过四元数来表示。
接着，参考图11的流程图，对由影像处理部12执行的处理的次序的例子进行说明。如前文所述，该处理可以通过由影像处理部12的CPU 31执行影像处理程序32A中包含的指令组来实现。
首先，缓冲处理部41获取由摄像部11拍摄到的多个影像，并存储至帧缓冲器40(步骤S11)。此处，例示了在帧缓冲器40中存储第1影像401和第2影像402的情况。各影像401、402包含与两个以上的波段(色彩分量)相对应的二个以上的影像分量，例如包含R影像、G影像及B影像。
特征点检测部42根据帧缓冲器40中存储的各影像401、402来检测特征点组(步骤S12)。对应点检测部43对根据第1影像401检测到的特征点组与根据第2影像402检测到的特征点组进行匹配，由此检测影像间的对应点组(步骤S13)。
三维坐标算出部44使用该影像间的对应点组来推断尺度不定的被摄体210的三维信息(步骤S14)。三维坐标算出部44使用对应点组来进行SfM，由此推断摄像部11的移动(摄像机运动)。更具体而言，三维坐标算出部44推断从拍摄到第1影像401的时间点的第1位置及姿态(第1视点)到拍摄到第2影像402的时间点的第2位置及姿态(第2视点)的摄像部11的移动，并根据推断出的移动来相对地推断第1位置、第2位置以及各位置处的姿态。继而，三维坐标算出部44使用第1位置、第2位置以及各位置处的姿态来推断与各对应点相对应的被摄体210的三维坐标。
此外，散景修正量算出部45使用第1影像401和第2影像402中的至少一方来算出被摄体的散景修正信息(步骤S15)。散景修正信息包含与第1影像401有关的第1散景修正量和与第2影像402有关的第2散景修正量。
距离算出部46根据散景修正信息来算出到被摄体的距离信息(步骤S16)。具体而言，距离算出部46根据第1散景修正量来算出到第1摄像机坐标系下的被摄体的第1距离信息，根据第2散景修正量来算出到第2摄像机坐标系下的被摄体的第2距离信息。如前文所述，距离信息包含用于修正环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响的修正参数α。
修正量算出部47使用通过步骤S14的次序推断出的尺度未知的三维信息和通过步骤S16的次序算出的第1距离信息及/或第2距离信息来算出修正参数α和尺度参数β(步骤S17)。修正量算出部47以尺度未知的三维信息和距离信息(第1距离信息、第2距离信息)表示实际空间内的同一位置的方式进行优化，由此算出修正参数α和尺度参数β。
修正部48使用尺度参数β对尺度未知的三维信息进行修正，由此算出实际尺度的三维信息(步骤S18)。修正部48也可使用修正参数α和第1散景修正量或第2散景修正量来算出实际尺度的三维信息。或者，也可算出实际尺度的距离影像代替实际尺度的三维信息。继而，修正部48输出所算出的实际尺度的三维信息(或距离影像)(步骤S19)。
通过以上步骤，影像处理部12能够高精度地算出被摄体210的实际尺度的三维信息。再者，步骤S14的次序与步骤S15及步骤S16的次序可以并列执行。
如以上所说明那样，根据本实施方式，可以根据影像而高精度地获取被摄体的位置。帧缓冲器40保存拍摄被摄体而得的第1影像401和拍摄该被摄体而得的不同于第1影像401的第2影像402。距离算出部46使用用于修正环境光、被摄体的反射特性以及被摄体的颜色中的至少某一方的影响的修正参数来算出到第1影像401中的被摄体的第1距离和到第2影像402中的被摄体的第2距离中的至少一方。三维坐标算出部44使用第1影像401和第2影像402来算出被摄体的相对尺度的三维坐标。修正量算出部47及修正部48根据第1距离和第2距离中的至少一方和相对尺度的三维坐标来算出被摄体的实际尺度的三维坐标。由此，可以根据第1影像401和第2影像402而高精度地获取表示被摄体的位置的三维坐标。
(应用例)
下面，对运用具有前文所述那样的构成的测距装置1的应用例进行若干说明。
图12表示包含测距装置1的移动体9的功能构成例。移动体9例如能以具有自动驾驶功能的汽车、无人航空器、自主型移动机器人等形式实现。无人航空器是人无法乘坐的飞机、旋翼航空器、滑翔机、飞船，可以通过远程操作或自动操纵来飞行，例如包括无人机(多轴飞行器)、遥控飞机、农药播撒用直升飞机等。自主型移动机器人包括无人输送车(Automated Guided Vehicle：AGV)这样的移动机器人、扫地用的扫地机器人、对来宾进行各种指引的交流机器人等。移动体9不仅包括机器人主体会移动的机器人，进而也能包括机械臂这样的具有机器人的一部分的移动、旋转用的驱动机构的工业用机器人。
如图12所示，移动体9例如具有测距装置1、控制信号生成部14及驱动机构15。测距装置1中的至少摄像部11例如被设置为对移动体9或其一部分的行进方向上的被摄体进行拍摄。
如图13所示，在移动体9为汽车9A的情况下，摄像部11能以拍摄前方的所谓的前摄像机的形式设置，另外，也能以在倒车时拍摄后方的所谓的后摄像机的形式设置。当然，也可设置这两方。此外，摄像部11也能以兼具作为所谓的行车记录仪的功能的方式设置。即，摄像部11也可为录像设备。
接着，图14表示移动体9为无人机9B的情况的例子。无人机9B具备相当于驱动机构15的无人机主体91和四个螺旋桨部921、922、923、924。各螺旋桨部921、922、923、924具有螺旋桨和马达。马达的驱动被传递至螺旋桨，由此螺旋桨旋转，由该旋转产生的升力使得无人机9B浮在空中。在无人机主体91的例如下部搭载有摄像部11(或者包含摄像部11的测距装置1)。
此外，图15表示移动体9为自主型移动机器人9C的情况的例子。在移动机器人9C的下部设置有相当于驱动机构15的、包含马达和车轮等的动力部95。动力部95控制马达的转速和车轮的方向。马达的驱动被传递至移动机器人9C，由此与路面或地面接触的车轮旋转，并控制该车轮的方向，由此，能向任意方向移动。摄像部11例如能以拍摄前方的方式设置在人型移动机器人9C的头部。再者，摄像部11也能以拍摄后方或左右的方式设置，也能以拍摄多个方位的方式设置多个。此外，也可以在用于搭载传感器等的空间较少的小型机器人中至少设置摄像部11来推断自身位置、姿态以及被摄体的位置，由此进行导航推测。
再者，在控制移动体9的一部分的移动及旋转的情况下，如图16所示，摄像部11例如也可以设置在机械臂的顶端等从而拍摄被机械臂9D抓持的物体。影像处理部12推断要抓持的物体的三维形状和该物体的放置位置。由此，能够进行准确的物体抓持动作。
控制信号生成部14根据从测距装置1输出的自身位置、姿态以及被摄体的位置来输出用于控制驱动机构15的控制信号。驱动机构15根据控制信号来驱动移动体9或者移动体的一部分。驱动机构15例如进行移动体9或其一部分的移动、旋转、加速、减速、推力(升力)的加减、行进方向的转换、正常驾驶模式与自动驾驶模式(碰撞规避模式)的切换、以及安全气囊等安全装置的运转中的至少一种。例如，驱动机构15可在自身位置到被摄体的距离不到阈值的情况下进行移动、旋转、加速、推力(升力)的加减、向靠近物体的方向的方向转换、以及从自动驾驶模式(碰撞规避模式)到正常驾驶模式的切换中的至少一种。
汽车9A的驱动机构15例如为轮胎。无人机9B的驱动机构15例如为螺旋桨。移动机器人9C的驱动机构15例如为脚部。机械臂9D的驱动机构15例如为支承设置有摄像部11的顶端的支承部。
移动体9也可以还具备扬声器、显示器，所述扬声器、显示器被输入来自影像处理部12的与自身位置、自身姿态以及被摄体的位置有关的信息。扬声器或显示器输出与自身位置、自身姿态以及被摄体的位置有关的语音或影像。扬声器或显示器通过有线或无线与测距装置1连接。进而，移动体9也可具有发光部，所述发光部被输入来自影像处理部12的与自身位置、自身姿态以及被摄体的位置有关的信息。发光部例如根据来自影像处理部12的与自身位置、自身姿态以及被摄体的位置有关的信息而点亮、熄灭。
再者，测距装置1的影像处理部12也可使用推断出的摄像部11的位置和通过测距装置1以外的手段制作并输入至测距装置1的地图(例如汽车导航用的地图)来推断该地图上的摄像部11的位置。移动体9也可具备用于接收GPS信号、检测GPS坐标系下的位置的GPS接收器(未图示)。此外，汽车导航用的地图例如为汽车中设置的汽车导航系统中所使用的地图，包含基于GPS坐标系的表示道路、桥梁、建筑物等物体的数据。使用GPS接收器获取的位置有时会因GPS信号的获取状况等而含有误差(例如几米的误差)。因此，不仅运用使用GPS接收器而获取的位置还运用由测距装置1推断出的摄像部11的位置，由此能够推断地图上的更准确的自身位置。进而，在无法接收GPS信号而无法使用GPS接收器来获取位置的情况下，一旦获得了地图上的自身位置，影像处理部12便能使用由测距装置1连续推断的摄像部11的位置来继续推断地图上的自身位置，因此，能使移动体9移动至目的位置等。
此外，影像处理部12也可使用推断出的特征点的三维坐标(即，拍摄到影像上的像素上的被摄体的三维坐标)来增补汽车导航用的地图。影像处理部12例如可以根据在汽车的行驶中连续获得的拍摄影像来反复推断特征点的三维坐标。由此，可以将汽车导航用的地图中未包含的物体的三维坐标追加至该地图中，从而能够获得更详细的地图。控制信号生成部14及驱动机构15可以根据经增补后的地图上的摄像部11的位置例如以避免碰撞的方式使移动体9(例如汽车)移动。
作为另一例，例如在移动体9为无人机的情况下，在从上空进行地图(物体的三维形状)的制作、楼宇或地形的结构调查、裂纹或电线断裂等的检查等时，摄像部11获取拍摄对象而得的影像，并判定自身位置与被摄体的距离是否为阈值以上。控制信号生成部14根据该判定结果来生成以与检查对象的距离固定的方式控制无人机的推力用的控制信号。此处，推力也包含升力。驱动机构15根据该控制信号使无人机动作，由此，可以使无人机沿检查对象飞行。在移动体9为监视用无人机的情况下，也可生成以与监视对象物体的距离保持固定的方式控制无人机的推力用的控制信号。
此外，在无人机的飞行时，摄像部11获取拍摄地面方向而得的影像，并判定自身位置与地面的距离是否为阈值以上。控制信号生成部14根据该判定结果来生成以距地面的高度达到指定高度的方式控制无人机的推力用的控制信号。驱动机构15根据该控制信号使无人机动作，由此，能使无人机在指定高度飞行。若为农药播撒用无人机，通过将无人机距地面的高度保持固定，容易均匀地播撒农药。
此外，在移动体9为无人机或汽车的情况下，在无人机的联合飞行或者汽车的队列行驶时，摄像部11获取拍摄周围的无人机或者前方的汽车而得的影像，并判定从自身位置到该无人机或汽车的距离是否为阈值以上。控制信号生成部14根据该判定结果来生成以与其周围的无人机或者前方的汽车的距离固定的方式控制无人机的推力或者汽车的速度用的控制信号。驱动机构15根据该控制信号使无人机或汽车动作，由此，能够容易地进行无人机的联合飞行或者汽车的队列行驶。在移动体9为汽车的情况下，也能以驾驶员可以设定阈值的方式经由用户界面而受理驾驶员的指示，由此改变阈值。由此，能使汽车以驾驶员喜好的车间距离行驶。或者，也可根据汽车的速度来改变阈值，以保持与前方汽车的安全的车间距离。安全的车间距离根据汽车的速度而不同。因此，可以汽车的速度越快而越长地设定阈值。此外，在移动体9为汽车的情况下，宜构成如下控制信号生成部14：将行进方向的规定距离设定为阈值，在该阈值的近前出现物体的情况下制动器自动运转，或者安全气囊等安全装置自动运转。在该情况下，自动制动器、安全气囊等安全装置设置在驱动机构15中。
如以上所说明，根据本实施方式，能够高精度地获取基于实际尺度的被摄体的位置，通过使用基于该实际尺度的被摄体的位置，例如能够容易地控制汽车、无人机、机器人等各种移动体9的动作。
此外，本实施方式中记载的各种功能中的各方也可通过电路(处理电路)来实现。处理电路的例子包括中央处理装置(CPU)这样的经编程的处理器。该处理器通过执行存储器中存储的电脑程序(指令组)来执行记载的各个功能。该处理器也可为包含电路的微处理器。处理电路的例子还包括数字信号处理器(DSP)、特定用途集成电路(ASIC)、微控制器、控制器、其他电路零件。本实施方式中记载的CPU以外的其他组件中的各方也可通过处理电路来实现。
此外，由于本实施方式的各种处理可以通过电脑程序来实现，因此，只须通过存储有该电脑程序的电脑可读取的存储介质将该电脑程序安装至电脑并执行，便能容易地实现与本实施方式相同的效果。
虽然对本发明的若干实施方式进行了说明，但这些实施方式是作为例子而提出的，并非意图限定发明的范围。这些新颖的实施方式能以其他各种形态来加以实施，可以在不脱离发明的主旨的范围内进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围和主旨内，而且包含在权利要求书中记载的发明及其均等的范围内。
再者，可以将上述实施方式归纳为以下技术方案。
技术方案1
一种影像处理装置，其具备：
缓冲部，其保存拍摄被摄体而得的第1影像和拍摄所述被摄体而得的不同于所述第1影像的第2影像；
距离算出部，其使用修正参数来算出到所述第1影像中的所述被摄体的第1距离和到所述第2影像的到所述被摄体的第2距离中的至少一方，该修正参数用于修正由环境光、所述被摄体的反射特性以及所述被摄体的颜色中的至少某一方产生的影响；
三维坐标算出部，其使用所述第1影像和所述第2影像来算出所述被摄体的相对尺度的三维坐标；以及
修正部，其根据所述第1距离和所述第2距离中的至少一方以及所述相对尺度的三维坐标来算出所述被摄体的实际尺度的三维坐标。
技术方案2
根据上述技术方案1所述的影像处理装置，其中，
所述修正部算出所述修正参数和用于将所述相对尺度的三维坐标转换为实际尺度的三维坐标的尺度参数，以使所述第1距离和所述第2距离中的至少一方与所述相对尺度的三维坐标表示实际空间内的同一位置，
使用所述算出的修正参数和尺度参数来算出所述被摄体的实际尺度的三维坐标。
技术方案3
根据上述技术方案2所述的影像处理装置，其中，
所述修正部根据所述算出的尺度参数和所述相对尺度的三维坐标来算出所述被摄体的实际尺度的三维坐标。
技术方案4
根据上述技术方案1所述的影像处理装置，其中，
所述第1影像包含第1波长分量影像和第2波长分量影像，
所述第2影像包含第3波长分量影像和第4波长分量影像，
该影像处理装置还具备散景修正量算出部，所述散景修正量算出部算出用于将所述第1波长分量影像中包含的散景修正为所述第2波长分量影像中包含的散景的第1散景修正量，并算出用于将所述第3波长分量影像中包含的散景修正为所述第4波长分量影像中包含的散景的第2散景修正量，
所述距离算出部根据所述第1散景修正量来算出所述第1距离，并根据所述第2散景修正量来算出所述第2距离。
技术方案5
根据上述技术方案4所述的影像处理装置，其中，
所述第1波长分量影像中包含的散景的形状和所述第2波长分量影像中包含的散景的形状中的至少一方为非点对称，
所述第3波长分量影像中包含的散景的形状和所述第4波长分量影像中包含的散景的形状中的至少一方为非点对称。
技术方案6
根据上述技术方案4或5所述的影像处理装置，其中，
所述修正部使用所述第1距离和所述第2距离中的至少一方以及所述相对尺度的三维坐标来算出所述修正参数和用于将所述相对尺度的三维坐标转换为实际尺度的三维坐标的尺度参数，
根据所述算出的修正参数和所述第1散景修正量、或者根据所述算出的修正参数和所述第2散景修正量，来算出所述被摄体的实际尺度的三维坐标。
技术方案7
根据上述技术方案6所述的影像处理装置，其中，
所述修正部针对所述第1影像与所述第2影像的每一对应点而算出所述修正参数。
技术方案8
根据上述技术方案6所述的影像处理装置，其中，
所述修正部针对所述第1影像上或所述第2影像上的具有类似颜色的每一区域而算出所述修正参数。
技术方案9
根据上述技术方案6所述的影像处理装置，其中，
所述修正部算出对于所述第1影像上的多个像素和所述第2影像上的多个像素而言共通的所述修正参数。
技术方案10
根据上述技术方案1所述的影像处理装置，其中，
所述三维坐标算出部还算出表示拍摄到所述第1影像的位置及姿态与拍摄到所述第2影像的位置及姿态的相对位置关系的一个以上的参数。
技术方案11
根据上述技术方案1所述的影像处理装置，其中，
对到所述第1影像和所述第2影像拍摄时的所述被摄体的距离信息分别编码化。
技术方案12
根据上述技术方案1所述的影像处理装置，其中，
所述第1影像和所述第2影像是通过单一光学系统分别获取的。
技术方案13
一种测距装置，其具备：
根据上述技术方案1至12中任一项所述的影像处理装置；以及
摄像部，其拍摄所述第1影像和所述第2影像。
技术方案14
根据上述技术方案13所述的测距装置，其中，
所述摄像部具备：
透镜；
影像传感器，其包含接收互不相同的波段的光的至少两种摄像元件；以及
滤光镜，其设置在通过所述透镜而入射至所述影像传感器的光的光路上，包含使互不相同的波段的光透过的至少两个滤光区域。

Claims (10)

1.一种影像处理装置，其特征在于，具备：
缓冲部，其保存拍摄被摄体而得的第1影像和拍摄所述被摄体而得的不同于所述第1影像的第2影像；
距离算出部，其算出从摄像部到所述第1影像中的所述被摄体的第1距离信息和从摄像部到所述第2影像中的所述被摄体的第2距离信息中的至少一方；
三维坐标算出部，其使用所述第1影像和所述第2影像来算出所述被摄体的相对尺度的三维坐标；以及
修正部，其根据所述第1距离信息和所述第2距离信息中的至少一方以及所述相对尺度的三维坐标来算出所述被摄体的实际尺度的三维坐标，
所述距离算出部使用第1影像算出所述第1距离信息，使用第2影像算出所述第2距离信息，
所述第1距离信息和所述第2距离信息分别包含修正参数，所述修正参数用于修正由环境光、所述被摄体的反射特性以及所述被摄体的颜色中的至少某一方产生的影响。
2.根据权利要求1所述的影像处理装置，其特征在于，
所述修正部算出所述修正参数和用于将所述相对尺度的三维坐标转换为实际尺度的三维坐标的尺度参数，以使所述第1距离信息和所述第2距离信息中的至少一方与所述相对尺度的三维坐标表示实际空间内的同一位置，
使用所述算出的修正参数和尺度参数来算出所述被摄体的实际尺度的三维坐标。
3.根据权利要求2所述的影像处理装置，其特征在于，
所述修正部根据所述算出的尺度参数和所述相对尺度的三维坐标来算出所述被摄体的实际尺度的三维坐标。
4.根据权利要求1所述的影像处理装置，其特征在于，
所述第1影像包含第1波长分量影像和第2波长分量影像，
所述第2影像包含第3波长分量影像和第4波长分量影像，
该影像处理装置还具备散景修正量算出部，所述散景修正量算出部算出用于将所述第1波长分量影像中包含的散景修正为所述第2波长分量影像中包含的散景的第1散景修正量，并算出用于将所述第3波长分量影像中包含的散景修正为所述第4波长分量影像中包含的散景的第2散景修正量，
所述距离算出部根据所述第1散景修正量来算出所述第1距离信息，并根据所述第2散景修正量来算出所述第2距离信息。
5.根据权利要求4所述的影像处理装置，其特征在于，
所述第1波长分量影像中包含的散景的形状和所述第2波长分量影像中包含的散景的形状中的至少一方为非点对称，
所述第3波长分量影像中包含的散景的形状和所述第4波长分量影像中包含的散景的形状中的至少一方为非点对称。
6.根据权利要求4或5所述的影像处理装置，其特征在于，
所述修正部使用所述第1距离信息和所述第2距离信息中的至少一方以及所述相对尺度的三维坐标，来算出所述修正参数和用于将所述相对尺度的三维坐标转换为实际尺度的三维坐标的尺度参数，
根据所述算出的修正参数和所述第1散景修正量、或者根据所述算出的修正参数和所述第2散景修正量，来算出所述被摄体的实际尺度的三维坐标。
7.根据权利要求6所述的影像处理装置，其特征在于，
所述修正部针对所述第1影像与所述第2影像的每一对应点而算出所述修正参数。
8.根据权利要求6所述的影像处理装置，其特征在于，
所述修正部针对所述第1影像上或所述第2影像上的具有类似颜色的每一区域而算出所述修正参数。
9.根据权利要求6所述的影像处理装置，其特征在于，
所述修正部算出对于所述第1影像上的多个像素和所述第2影像上的多个像素而言共通的所述修正参数。
10.一种测距装置，其特征在于，具备：
根据权利要求1至9中任一项所述的影像处理装置；以及
摄像部，其拍摄所述第1影像和所述第2影像。
CN201810214190.5A 2017-09-08 2018-03-15 影像处理装置及测距装置 Expired - Fee Related CN109470158B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-173346 2017-09-08
JP2017173346A JP6878219B2 (ja) 2017-09-08 2017-09-08 画像処理装置および測距装置

Publications (2)

Publication Number Publication Date
CN109470158A CN109470158A (zh) 2019-03-15
CN109470158B true CN109470158B (zh) 2021-07-20

Family

ID=65631268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810214190.5A Expired - Fee Related CN109470158B (zh) 2017-09-08 2018-03-15 影像处理装置及测距装置

Country Status (3)

Country Link
US (1) US11587261B2 (zh)
JP (1) JP6878219B2 (zh)
CN (1) CN109470158B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019015575A (ja) 2017-07-05 2019-01-31 株式会社東芝 画像処理装置、測距装置および処理システム
KR102597518B1 (ko) * 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
JP6600113B1 (ja) * 2019-03-29 2019-10-30 スターティアラボ株式会社 Ａｒ用の画像処理装置、画像処理システム及びプログラム
US10885514B1 (en) * 2019-07-15 2021-01-05 Capital One Services, Llc System and method for using image data to trigger contactless card transactions
CN110657781A (zh) * 2019-10-09 2020-01-07 江苏开放大学（江苏城市职业学院） 背包式近景摄影测量装置及无人机倾斜摄影测量建模方法
CN112902911B (zh) * 2019-12-03 2023-06-20 上海高德威智能交通系统有限公司 基于单目相机的测距方法、装置、设备及存储介质
CN113132709B (zh) * 2019-12-31 2022-11-08 中移物联网有限公司 一种双目测距装置、双目测距方法及电子设备
EP4072989A4 (en) * 2020-05-14 2023-03-15 Ultrawis Ltd. SYSTEMS AND METHODS FOR REMOTE CONTROL AND AUTOMATION OF A TOWER CRANE
CN111739097A (zh) * 2020-06-30 2020-10-02 上海商汤智能科技有限公司 测距方法及装置、电子设备及存储介质
JP7379299B2 (ja) 2020-08-28 2023-11-14 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
WO2022054167A1 (ja) * 2020-09-09 2022-03-17 日本電信電話株式会社 位置推定方法、位置推定装置及びプログラム
CN112347935B (zh) * 2020-11-07 2021-11-02 的卢技术有限公司 一种基于双目视觉slam的自动驾驶车辆定位方法及系统
WO2022188077A1 (zh) * 2021-03-10 2022-09-15 华为技术有限公司 测距方法及装置
JP7482070B2 (ja) 2021-03-16 2024-05-13 株式会社東芝 学習方法、プログラム及び画像処理装置
JP2023037333A (ja) * 2021-09-03 2023-03-15 株式会社東芝 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム
CN115604422B (zh) * 2022-08-17 2024-02-09 福建汇达建筑工程有限公司 一种基于物联网智能检测单元的构建方法
CN117782030A (zh) * 2023-11-24 2024-03-29 北京天数智芯半导体科技有限公司 距离测量方法及装置、存储介质及电子设备

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5418892B2 (zh) * 1973-06-30 1979-07-11
JPH0777410A (ja) * 1993-09-07 1995-03-20 Canon Inc 測距方法および装置
US6118475A (en) 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
JPH0843055A (ja) 1994-07-29 1996-02-16 Canon Inc ３次元物体形状認識方法及び装置
JP3833786B2 (ja) * 1997-08-04 2006-10-18 富士重工業株式会社 移動体の３次元自己位置認識装置
JPWO2006054775A1 (ja) * 2004-11-22 2008-06-05 株式会社ブリヂストン 外観検査装置
WO2007048425A1 (en) * 2005-10-26 2007-05-03 Trimble Jena Gmbh Surveying method and surveying instrument
US7859677B2 (en) * 2006-12-13 2010-12-28 Bausch & Lomb Incorporated Optical calibration system and method
JP4229208B1 (ja) * 2007-10-31 2009-02-25 トヨタ自動車株式会社 取り付け角度測定装置および取り付け角度測定方法
JP5190537B2 (ja) * 2009-02-23 2013-04-24 パナソニック株式会社 撮像素子及びそれを備えた撮像装置
KR101070591B1 (ko) * 2009-06-25 2011-10-06 (주)실리콘화일 듀얼 스테레오 카메라를 구비한 거리 측정 장치
CN102072718B (zh) * 2009-11-25 2013-08-28 原相科技股份有限公司 利用成像位置差异以测距的测距装置及其校正方法
JP5121870B2 (ja) * 2010-03-25 2013-01-16 株式会社東芝 画像処理方法および画像処理装置
CN101876533B (zh) * 2010-06-23 2011-11-30 北京航空航天大学 一种显微立体视觉校准方法
JP5472538B2 (ja) * 2011-06-14 2014-04-16 日産自動車株式会社 距離計測装置及び環境地図生成装置
JP5337218B2 (ja) * 2011-09-22 2013-11-06 株式会社東芝 立体画像変換装置、立体画像出力装置および立体画像変換方法
KR101408591B1 (ko) * 2012-04-27 2014-06-17 삼성전기주식회사 무안경 3차원 영상 디스플레이 장치 및 방법
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
JP5818773B2 (ja) * 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN103411536B (zh) * 2013-08-23 2016-03-23 西安应用光学研究所 基于双目立体视觉的驾驶辅助障碍物检测方法
US20150201124A1 (en) * 2014-01-15 2015-07-16 Samsung Electronics Co., Ltd. Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures
JP6561512B2 (ja) * 2014-03-27 2019-08-21 株式会社リコー 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
JP2016060610A (ja) * 2014-09-19 2016-04-25 株式会社東芝 エレベータ昇降路内寸法測定装置、エレベータ昇降路内寸法測定制御装置、およびエレベータ昇降路内寸法測定方法
JP2016102733A (ja) 2014-11-28 2016-06-02 株式会社東芝 レンズ及び撮影装置
US10382684B2 (en) 2015-08-20 2019-08-13 Kabushiki Kaisha Toshiba Image processing apparatus and image capturing apparatus
JP6608763B2 (ja) * 2015-08-20 2019-11-20 株式会社東芝 画像処理装置及び撮影装置
CN105115445A (zh) * 2015-09-14 2015-12-02 杭州光珀智能科技有限公司 基于深度相机与双目视觉复合的三维成像系统及成像方法
JP6699370B2 (ja) 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
JP6585006B2 (ja) 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
CN108076267A (zh) 2016-11-11 2018-05-25 株式会社东芝 摄像装置、摄像系统以及距离信息获取方法
JP6699898B2 (ja) 2016-11-11 2020-05-27 株式会社東芝 処理装置、撮像装置、及び自動制御システム
JP2018077190A (ja) 2016-11-11 2018-05-17 株式会社東芝 撮像装置及び自動制御システム
JP6699897B2 (ja) 2016-11-11 2020-05-27 株式会社東芝 撮像装置、自動制御システム及びシステム
JP2018084571A (ja) 2016-11-11 2018-05-31 株式会社東芝 処理装置、撮像装置および自動制御システム
CN106683133B (zh) * 2016-12-09 2020-04-17 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
CN106780725B (zh) * 2016-12-23 2018-07-06 西安交通大学 一种双目三维重构方法及系统
US20180270413A1 (en) 2017-03-15 2018-09-20 Kabushiki Kaisha Toshiba Processing apparatus and processing system
CN108628337A (zh) 2017-03-21 2018-10-09 株式会社东芝 路径生成装置、路径控制系统以及路径生成方法
JP6860433B2 (ja) 2017-06-19 2021-04-14 株式会社東芝 処理装置、処理システム、方法及びプログラム
JP2019011971A (ja) 2017-06-29 2019-01-24 株式会社東芝 推定システムおよび自動車
JP2019015575A (ja) 2017-07-05 2019-01-31 株式会社東芝 画像処理装置、測距装置および処理システム

Also Published As

Publication number Publication date
CN109470158A (zh) 2019-03-15
US11587261B2 (en) 2023-02-21
US20190080481A1 (en) 2019-03-14
JP2019049457A (ja) 2019-03-28
JP6878219B2 (ja) 2021-05-26

Similar Documents

Publication Publication Date Title
CN109470158B (zh) 影像处理装置及测距装置
US11019322B2 (en) Estimation system and automobile
US11953599B2 (en) Vehicle navigation based on aligned image and LIDAR information
CN111683193B (zh) 图像处理装置
US11100662B2 (en) Image processing apparatus, ranging apparatus and processing apparatus
JP5618840B2 (ja) 飛行体の飛行制御システム
JP5775632B2 (ja) 飛行体の飛行制御システム
WO2016070318A1 (en) Camera calibration
CN106384382A (zh) 一种基于双目立体视觉的三维重建系统及其方法
US10429508B2 (en) Distance measuring device, moving system, and distance measurement method
US20180275659A1 (en) Route generation apparatus, route control system and route generation method
CN111226154B (zh) 自动对焦相机和系统
CN112052788B (zh) 基于双目视觉的环境感知方法、装置及无人飞行器
JP6971933B2 (ja) 画像処理装置及び撮像装置
US20170132808A1 (en) Method and system for inertial measurement
US20220291686A1 (en) Self-location estimation device, autonomous mobile body, self-location estimation method, and program
JP7242822B2 (ja) 推定システムおよび自動車
JP6847891B2 (ja) 画像処理装置、撮像装置及び方法
US11782145B1 (en) 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor
US20240183963A1 (en) 3d vision system with automatically calibrated stereo vision sensors and lidar sensor
JP2020056627A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210720