CN108139211B - 用于测量的装置和方法以及程序 - Google Patents

用于测量的装置和方法以及程序 Download PDF

Info

Publication number
CN108139211B
CN108139211B CN201680055032.9A CN201680055032A CN108139211B CN 108139211 B CN108139211 B CN 108139211B CN 201680055032 A CN201680055032 A CN 201680055032A CN 108139211 B CN108139211 B CN 108139211B
Authority
CN
China
Prior art keywords
section
distance
photographing
image
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680055032.9A
Other languages
English (en)
Other versions
CN108139211A (zh
Inventor
鹤见辰吾
江岛公志
加藤嵩明
柏谷辰起
贝野彰彦
福地正树
元山琢人
青木卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108139211A publication Critical patent/CN108139211A/zh
Application granted granted Critical
Publication of CN108139211B publication Critical patent/CN108139211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本技术涉及使得能够更容易且以高准确度地估计距离的测量设备和方法，以及程序。这种三维测量设备具有：旋转控制单元，在从旋转的中心到图像捕获单元的焦点位置的距离是固定距离的同时，该旋转控制部分通过旋转机构控制图像捕获单元的旋转，使得图像捕获单元绕旋转机构的旋转中心旋转；以及距离计算单元，在图像捕获单元被旋转的同时，该距离计算部分基于通过由图像捕获单元在不同位置处捕获的多个捕获图像来计算空间中到对象物的距离。本技术适用于三维测量设备。

Description

用于测量的装置和方法以及程序
技术领域
本技术涉及用于测量的装置和方法以及程序，并且更具体地涉及各自使得能够更简单且以高准确度执行距离估计的用于测量的装置和方法以及程序。
背景技术
迄今为止，用于测量到对象物的距离的三维测量技术是已知的。已经提出了一种用于在相机以预定轴为中心旋转的同时拍摄旋转位置中的图像、从在这些位置拍摄的图像中提取对应的特征点并且例如从这些特征点测量空间上的距离的技术，作为这种技术(例如，参考专利文献1)。
[引文列表]
[专利文献]
[PTL 1]JP 2000-283719A
发明内容
[技术问题]
但是，利用上述技术，难以简单且高准确度地测量到对象物的距离。
例如，利用用于从在照相机旋转时的每个图像测量距离的技术，必须从拍摄的图像中检测特征点、必须相对于特征点检索相机的旋转方向的坐标，并且必须进行矩阵算术运算。因此，需要许多用于距离测量的算术运算。
本技术是鉴于这种情况而做出的，其目的在于使距离估计能够更简单且以高准确度执行。
[问题的解决方案]
本技术的一方面的测量装置具有旋转控制部分和距离计算部分。在从旋转机构的旋转中心到拍摄部分的焦点位置的距离是恒定距离的状态下，旋转控制部分以使得拍摄部分以旋转中心作为轴旋转的方式通过旋转机构来控制拍摄部分的旋转。在拍摄部分被旋转的状态下，距离计算部分基于通过由拍摄部分在彼此不同的位置处拍摄所获得的多个拍摄图像来计算空间上到对象物的距离。
可以使距离计算部分基于多个拍摄图像中对应点之间的几何关系来计算到对象物的距离。
可以使距离计算部分从拍摄图像中提取由包含对应点的像素行构成的线图像。此外，可以使距离计算部分基于通过并排布置并且合成从所述多个拍摄图像获得的所述多个线图像所获得的合成图像来计算到对象物的距离。
可以使距离计算部分基于合成图像中对应点的轨迹的振幅来计算到对象物的距离。
测量装置还提供有用于对拍摄图像进行矫正的矫正部分，并且可以使距离计算部分基于通过矫正获得的矫正图像来计算到对象物的距离。
可以使旋转控制部分控制在车辆的上部提供的拍摄部分的旋转。
拍摄部分可以由二维图像传感器构成。
拍摄部分可以由线传感器构成。
可以使旋转控制部分以拍摄部分以恒定速度旋转一次的方式控制拍摄部分的旋转。
本技术的一方面的测量方法或程序包括以下步骤：在从旋转机构的旋转中心到拍摄部分的焦点位置的距离是恒定距离的状态下，以使得拍摄部分以旋转中心作为轴旋转的方式通过旋转机构来控制拍摄部分的旋转；以及在拍摄部分被旋转的状态下，基于通过由拍摄部分在彼此不同的位置处拍摄所获得的多个拍摄图像来计算空间上到对象物的距离。
在本技术的该方面中，在从旋转机构的旋转中心到拍摄部分的焦点位置的距离是恒定距离的状态下，通过旋转机构的拍摄部分的旋转是以使得拍摄部分以旋转中心作为轴旋转的方式来控制的。此外，在拍摄部分被旋转的状态下，空间上到对象物的距离是基于通过由拍摄部分在彼此不同的位置处拍摄所获得的多个拍摄图像来计算的。
[发明的有益效果]
根据本技术的该方面，可以更简单且以高准确度执行距离估计。
应当注意的是，这里描述的效果不一定是有限的，并且还可以提供在本公开中描述的任何效果。
附图说明
图1是绘出本技术的应用的示例的视图。
图2是解释拍摄部分的旋转驱动的视图。
图3是解释拍摄部分的旋转驱动的视图。
图4是解释反射镜的旋转驱动的视图。
图5是解释距离估计的视图。
图6是解释距离估计的视图。
图7是解释合成图像的图。
图8是解释距离估计的视图。
图9是绘出三维测量装置的配置的示例的框图。
图10是解释测量处理的流程图。
图11是解释用于拍摄部分的驱动的视图。
图12是绘出车辆控制系统的示意性构造的示例的框图。
图13是绘出额外信息检测部分和拍摄部分的安装位置的示例的解释图。
图14是绘出计算机的构造的示例的框图。
具体实施方式
在下文中，将参考附图描述应用本技术的实施例。
<第一实施例>
<关于本技术的概要>
本技术涉及一种系统，该系统用于在拍摄部分沿着预定轨迹移动的同时在相应位置拍摄图像，并且基于通过累积包含结果图像的对应部分的线图像的合成图像来估计空间上到对象物的三维距离。
本技术可以应用于车辆本身(诸如轿车)、车辆配备的测量系统、各种电气装置(诸如用户穿戴的可穿戴设备、有人或无人操纵的飞行对象物等)。以下，将关于车辆配备有应用本技术的三维测量装置的情况作为示例来连续地给出描述。
在车辆配备有应用本技术的三维测量装置的情况下，例如，如图1中所绘出的，拍摄部分12安装到配备有三维测量装置的车辆11上，由此执行全方位拍摄。
具体而言，由包括图像传感器等的相机等构成的拍摄部分12安装到固定到车辆11的上部的轴杆13。此外，在拍摄部分12以轴杆13为旋转轴旋转的状态下，要拍摄的多个图像在不同方向被连续拍摄。然后，通过基于多个拍摄图像从现实空间中拍摄部分12(即，车辆11)计算获得存在于车辆11周围的相应被摄体(对象物)的距离。
利用三维测量装置，在车辆11的上部提供的拍摄部分12旋转的同时，连续拍摄具有细微视差的多个要拍摄的图像。因此，可以以高准确度测量到周围对象物的距离。
例如，在三维测量装置中，基于到对象物的距离的测量结果，关于每个方向产生当从车辆11观看时展示到对象物的距离(深度)的深度图。如果使用这种深度图，那么可以准确掌握车辆11周围的环境，诸如每个方向上对象物的布置的状况。因此，例如，可以改进车辆11行驶时的安全性。
应当注意的是，深度图(简言之，到周围对象物的距离的测量)的产生不仅可以在车辆11行驶时执行，而且可以在车辆11行驶停止时执行。
在这里，可以采用例如图2和图3中绘出的方法中的任何一种作为使拍摄部分12旋转的方法。顺便提及，图2和图3中与图1中的那些部分对应的部分被指派相同的标号，并且在这里适当地省略其描述。
在图2中绘出的示例中，拍摄部分12旋转，以便以轴杆13作为旋转轴(旋转中心)在具有预定半径的圆上移动，并且当从圆的中心观看时拍摄向外侧的方向。简言之，拍摄部分12固定到轴杆13，以便在旋转时指向作为其轨迹的圆的外部方向。
特别地，拍摄部分12以这样一种方式安装到轴杆13，使得拍摄部分12的焦点位置和轴杆13的位置变成彼此不同的位置(换句话说，拍摄部分12的焦点位置变成与轴杆13的位置相距给定距离的位置)，使得拍摄部分12能够获得在拍摄时相互具有视差的拍摄图像。拍摄部分12的焦点位置偏离轴杆13的位置给定距离，由此通过在拍摄部分12的相应旋转位置中拍摄而获得的拍摄图像变成相互具有视差的图像。
此外，例如，在图3中绘出的示例中，轴杆13被旋转，以便以轴杆13为旋转轴在具有预定半径的圆上移动，并且拍摄圆的中心方向。简言之，拍摄部分12被固定到轴杆13，以便在旋转时指向作为其轨迹的圆的内部方向。
在该示例中，拍摄部分12还以这样一种方式安装到轴杆13，使得拍摄部分12的焦点位置位于与轴杆13的位置相距给定距离的位置。因此，拍摄部分12可以拍摄车辆11的每个方向。
而且，例如，如图4中所绘出的，可以提供作为用于将来自车辆11周围的光引导至拍摄部分12的反射构件的反射镜41，并且反射镜41可以旋转。要注意的是，图4中与图1中那些对应的部分被指派相同的标号，并且适当地省略其描述。
在该示例中，反射镜41以这样一种方式部署，使得反射镜41的反射表面(前表面)与拍摄部分12的光轴42成45度角。因此，反射镜41以光轴42作为旋转轴。当反射镜41以这种方式旋转时，拍摄部分12的虚像以光轴42和反射镜41之间的交点位置作为中心关于旋转轴旋转。因此，如果拍摄部分12在反射镜41旋转的同时执行拍摄，那么可以获得与图3中所绘出的情况下相似的拍摄图像组。
顺便提及，在这种情况下，已经描述了通过拍摄部分12拍摄相互具有视差的多个拍摄图像的示例，简言之，通过在相互不同的方向上拍摄所获得的多个拍摄图像的示例。但是，可替代地，可以将多个拍摄部分12安装到轴杆13，由此获得多个拍摄图像。在这种情况下，多个拍摄部分12可以被旋转，或者当存在足够数量的拍摄部分12时，可以拍摄要拍摄的图像而无需旋转多个拍摄部分12。此外，为了减小由于拍摄部分12暴露在雨中而导致的天气影响，可以将防雨保护安装到轴杆13。
接下来，将描述从多个拍摄图像产生深度图的具体示例。在下文中，通过作为示例给出如图2所绘出的在拍摄部分12指向轴杆13的外侧的状态下执行摄影的情况，连续给出描述。
例如，如图5中所绘出的，假设在车辆11周围存在对象物OB11，并且通过由拍摄部分12拍摄获得包含对象物OB11作为被摄体的拍摄图像。
在这里，假设例如如箭头A11所指示的，从车辆11(简言之，拍摄部分12)到对象物OB11的距离相对长，简言之，对象物OB11位于远距离。
在这种情况下，假设在拍摄部分12旋转的同时执行拍摄，并且因此，例如，分别在从时间t到时间t+2的相应时间获得拍摄图像P11-1至拍摄图像P11-3，并且在其它时间也获得拍摄图像。应当注意的是，在下文中，当拍摄图像P11-1至拍摄图像P11-3不需要特别彼此区分时，它们也将被简称为拍摄图像P11。
在这个示例中，对象物OB11作为被摄体包含在拍摄图像P11-1至拍摄图像P11-3中的每一个当中，并且对象物OB11在这些拍摄图像P11中的每一个上的位置响应于在拍摄时拍摄部分12的位置而改变。特别地，在这种情况下，由于在某种程度上从拍摄部分12到对象物OB11的距离远，因此相对于拍摄部分12的旋转移动，对象物OB11在每个拍摄图像P11上的移动量相对少。
当在拍摄部分12被旋转移动的同时在每个旋转位置执行拍摄并且获得包含拍摄图像P11的多个拍摄图像时，三维测量装置从这些拍摄图像中提取包含对象物OB11的线图像。线图像是由像素行构成的图像，像素行包括在一个方向上并排布置的多个像素，所述像素包括与对象物OB11对应的像素(简言之，其上捕获对象物OB11作为被摄体的像素)。
在这个示例中，例如，从拍摄图像P11-1至P11-3中的每一个当中提取线图像LP11-1至LP11-3中的每一个，并且对应对象物OB11的像素(简言之，对应的点)包含在这些线图像中。
在下文中，当线图像LP11-1至线图像LP11-3不需要彼此区分时，那些将被简称为线图像LP11。此外，在下面的描述中，与拍摄图像P11-1至P11-3不同的其它拍摄图像也将被简称为拍摄图像P11。同样，与线图像LP11-1至LP11-3不同的其它线图像也将被简称为线图像LP11。
此外，在这种情况下，为了描述的简化，将关于对象物OB11位于拍摄部分12的旋转平面上的情况(即，当拍摄部分12旋转时拍摄部分12的光接收表面的像素(与对象物OB11对应的像素)位于包含作为拍摄部分12的轨迹的圆的平面上的情况)给出描述。此外，在这种情况下，假设拍摄部分12的光接收表面的水平方向上的像素行(行)位于拍摄部分12的旋转平面上。
在这种情况下，只需要在线像素LP11形式的拍摄图像P11中提取由在水平方向上并排布置的像素构成的像素行，该像素行包含对象物OB11。其原因是因为拍摄图像P11上关于对象物OB11的核线在拍摄图像P11的水平方向上变得与像素行平行。
三维测量装置将从拍摄图像P11获得的线图像LP11按照它们的拍摄次序在垂直方向上并排布置并合成它们，由此产生一个合成图像CP11。在这种情况下，时间t处的线图像LP11-1部署在图中的最上侧，并且时间t之后和时间t之后的线图像LP11按照老拍摄时间的次序向下累积，由此获得一个合成图像CP11。
顺便提及，在这种情况下，将关于构成合成图像CP11的每个线图像LP11是包括用于一行的像素行的图像的示例给出描述。但是，线图像LP11可以是包括在垂直方向上彼此相邻布置的两条或更多条像素行的图像。这也适用于构成稍后将描述的合成图像CP12的线图像。
由于这样获得的合成图像CP11包含在每个时间作为被摄体被包含的对象物OB11，因此合成图像CP11可以被称为描绘对象物OB11的轨迹的图像。在这个示例中，在合成图像CP11上，通过线图像LP11的对象物OB11的区域形成一条曲线L11。
在以对象物OB11作为被摄体拍摄拍摄图像P11时，拍摄部分12进行旋转移动(简言之，圆形运动)。为此，合成图像CP11上包括在各个时间对象物OB11的区域的对象物OB11的轨迹(即，曲线L11)变成正切曲线的一部分。换言之，在合成图像CP11中观察到包括对象物OB11的区域的正切曲线的一部分。
对象物OB11在拍摄图像P11上的位置是取决于真实空间上拍摄部分12与对象物OB11之间的位置关系来确定的。因此，对象物OB11在合成图像CP11上的轨迹响应于在每个时间拍摄部分12与对象物OB11之间的位置关系而改变。
特别地，响应于从拍摄部分12到对象物OB11的距离，拍摄图像P11上对象物OB11在水平方向上的移动量相对于拍摄部分12的旋转移动量而改变。换句话说，包括合成图像CP11上对象物OB11的区域的正切曲线的振幅响应于从拍摄部分12到对象物OB11的距离而改变。
例如，假设与箭头A11所指示的示例相比，如由箭头A12所指示的，从车辆11(简言之，拍摄部分12)到对象物OB11的距离相对短，简言之，对象物OB11位于近距离。
假设在这种情况下，在拍摄部分12被旋转的同时执行拍摄，因此，例如，在从时间t到时间t+2的相应时间获得拍摄图像P12-1至拍摄图像P12-3并且在其它时间获得拍摄图像。顺便提及，在下面的描述中，当拍摄图像P12-1至拍摄图像P12-3或者其它时间的拍摄图像不需要彼此特别区分时，它们也将被简称为拍摄图像P12。
在这个示例中，在每个拍摄图像P12中包含对象物OB11作为被摄体。假设三维测量装置从每个拍摄图像P12中提取包含对象物OB11的线图像，以获得包含线图像LP12-1至线图像LP12-3的多个线图像，并且将这些线图像合成，由此产生合成图像CP12。
顺便提及，在下面的描述中，当包含线图像LP12-1至线图像LP12-3的线图像不需要特别彼此区分时，它们将被简称为线图像LP12。
与合成图像CP11的情况类似，以这种方式获得的合成图像CP12变成描绘对象物OB11的轨迹的图像。因此，一条曲线L12由线图像LP12的对象物OB11的区域形成。在合成图像CP12中，包括对象物OB11的区域的曲线L12变成正切曲线的一部分。
在这个示例中，从拍摄部分12到对象物OB11的距离比在合成图像CP11的情况下的距离短。因此，拍摄图像P12上对象物OB11在水平方向上的移动量相对于拍摄部分12的旋转移动量也大。为此，包括合成图像CP12中对象物OB11的区域的正切曲线的振幅变得小于在合成图像CP11的情况下的振幅。
以这种方式，表现对象物OB11的轨迹的正切曲线的振幅响应于从拍摄部分12到对象物OB11的距离而改变。因此，三维测量装置基于合成图像上正切曲线的振幅来计算从拍摄部分12(车辆11)到对象物OB11的距离。基于正切曲线的振幅来计算距离可以被说成是根据每个拍摄图像上关于相同对象物的几何关系(换言之，彼此共同的对应点之间的几何关系)来计算距离。
在这里，将参考图6关于根据每个拍摄图像上彼此共同的对应点之间的几何关系计算距离的具体方法的示例给出描述。顺便提及，在图6中，与图2的情况下对应的部分被指派相同的标号，并且在这里适当地省略其描述。
例如，假设已经参考图5描述的对象物OB11位于图6中描绘的位置P，并且在这种条件下，让我们考虑获得从轴杆13到位置P的距离z。
现在假设，在作为三维正交坐标系的XYZ坐标系中，轴杆13被设置为原点，从轴杆13朝着位置P的方向(简言之，拍摄部分12的光轴的方向)被设置为Z方向，拍摄部分12的旋转平面上垂直于Z方向的方向被设置为X方向，以及垂直于X方向和Z方向中的每一个的方向被设置为Y方向。在这种条件下，XYZ坐标系中位置P的坐标应该以(0，0，z)的形式表示。
此外，从轴杆13到拍摄部分12的距离被指派r，拍摄部分12的焦距被指派f，并且拍摄部分12的旋转角度被指派θ。在这里，关于旋转角度θ，在图6中，将顺时针方向设置为姿势方向。而且，表现合成图像上对象物OB11在水平方向上的位置的坐标被指派u。在这种情况下，在图5中所描绘的合成图像CP11和图5中所描绘的合成图像CP12中，横向方向被指派为水平方向，尤其是在图5中，右方向被指派坐标u的正方向。
在这种情况下，关于位置P的Z坐标(即，距位置P的距离z)，建立以下表达式(1)的关系。
[表达式1]
z×cosθ-r:f＝z×sinθ:u...(1)
因此，从表达式(1)获得以下表达式(2)的关系。
[表达式2]
Figure BDA0001604326000000111
在这里，表达式(2)中的距离r和焦距f是已知的，可以在拍摄拍摄图像时获得旋转角度θ，并且可以从合成图像获得坐标u。此外，由于为了产生合成图像而拍摄了多个要拍摄的图像，因此获得了在每个时间的一对坐标u和旋转角度θ。也就是说，获得了多对坐标u和旋转角度θ。
为此，如果使用多对坐标u和旋转角度θ，那么可以从最小二乘法获得满足以下表达式(3)的距离z。
[表达式3]
Figure BDA0001604326000000112
如上所述，可以基于合成图像从最小二乘法获得从轴杆13到对象物OB11的距离z。应当注意的是，由于从轴杆13到拍摄部分12的距离r是已知的，因此从拍摄部分12到对象物OB11的距离可以从距离r和由此获得的距离z获得。
回头参考图5的描述，例如，三维测量装置将通过计算获得的到对象物OB11的距离设置为表现描绘与对象物OB11在拍摄图像P11中的像素相同的位置关系的深度图的像素的像素值的深度(简言之，到对象物的距离)。
关于拍摄图像P11上的所有像素，三维测量装置以这种方式相继计算到在这些像素上捕捉的对象物的距离，以产生深度图。此外，三维测量装置产生通过在每个方向上拍摄获得的每个拍摄图像的深度图，由此获得全向深度图。
因此，更具体而言，例如，如图7中所绘出的，不仅包括对象物OB11的区域的曲线L11，而且包括被摄体(对象物)在线图像LP11上的区域的多条曲线(诸如曲线L21和曲线L22)被包含在合成图像CP11中。顺便提及，在图7中，与图5的情况下对应的部分被指派相同的标号，并且在这里适当地省略其描述。
在合成图像CP11上观察到的曲线L21和曲线L22是类似于曲线L11的正切曲线的部分。但是，这些正切曲线的振幅响应于到对象物的距离而具有各种振幅。
此外，在前文中，已经关于其中处理拍摄图像中与拍摄部分12的旋转平面对应的像素行的示例给出了描述。但是，在处理除那个像素行以外的像素行的情况下，仅需要提取包括相应时间的拍摄图像中核线上的像素的像素行，以使其成为线图像。在检测每个拍摄图像上的核线时，仅需要例如通过使用多个拍摄图像来检测拍摄图像中的对应点，以估计拍摄部分12的位置和姿势，等等，并且因此位置和姿势是根据任意算法估计的，拍摄部分12在空间上的位置和姿势是从外部获取的，等等。
但是，由于如果在相应时间关于拍摄图像获得核线那么处理变得复杂，因此可以执行拍摄图像的矫正。此外，如果产生了与拍摄的所有拍摄图像对应的深度图，那么处理量变大。因此，可以将各自变成参考的一些方向作为参考方向，并且可以仅关于这些参考方向产生深度图。
在这种情况下，例如，如图8中所绘出的，只需要关于这些相应的参考方向产生深度图，其中当从拍摄部分12的旋转中心O观看时以规则间隔设置的方向D11至方向D16作为参考方向。在这种情况下，通过适当地选择参考方向，还可以获得覆盖拍摄部分12(车辆11)的每个方向的深度图组。
在图8中所绘出的示例中，在图中，由向上的箭头指示的方向D11被设置为0度方向。此外，与方向D11形成60、120、180、240和300度角度的角度方向D12至D16的总共六个方向被设置为参考方向。
简言之，在测量到相应对象物的距离时，在产生深度图时，如上所述，在拍摄部分12正在旋转的状态下拍摄在相应方向上要拍摄的图像。
然后，对通过拍摄获得的相应拍摄图像进行矫正。例如，关注一个拍摄图像，对于一个或多个拍摄图像，在其中包含与所述一个拍摄图像中的对象物相同的对象物的所有参考方向上，矫正所关注的拍摄图像。顺便提及，在下面的描述中，通过矫正拍摄图像而获得的图像也将被特别地称为矫正图像。
具体而言，例如，注意与在时间T与任何参考方向不同并且是拍摄部分12的光轴方向(拍摄方向)的方向D21。然后，通过拍摄方向D21而获得的拍摄图像将被称为拍摄图像PT。
三维测量装置通过使用安装到用于旋转拍摄部分12的轴杆13的旋转编码器等来计算时间T处拍摄部分12的光轴的方向(简言之，方向D21)。然后，三维测量装置对于最接近方向D21的N个参考方向对拍摄图像PT进行矫正。例如，预先为拍摄部分12的视场角确定参考方向的数量N。
例如，如本例那样假设以60度的间隔决定参考方向，并且拍摄部分12的水平视场角为90度。在这种情况下，拍摄图像PT在三个参考方向(方向D11至方向D13)中以视场角与拍摄图像重叠。简言之，由于在这些拍摄图像中包含相同的对象物，因此三个参考方向(方向D11至方向D13)的拍摄图像被矫正。
具体而言，对方向D11上的(一个或多个)拍摄图像的拍摄图像PT执行矫正，对方向D12上的(一个或多个)拍摄图像的拍摄图像PT执行矫正，对方向D13上的(一个或多个)拍摄图像的拍摄图像PT执行矫正。因此，例如，通过对方向D11上的(一个或多个)拍摄图像进行矫正，校正了在拍摄拍摄图像PT时关于作为旋转轴的光轴的旋转位移等。因此，可以获得在方向D11上的拍摄图像中在水平方向并排布置的被摄体作为在水平方向上类似地并排布置的矫正图像。简言之，对于拍摄图像PT中的被摄体，以以下这样一种方式对其执行校正的图像以矫正图像的形式获得，即，使得图像在与方向D11上(一个或多个)拍摄图像上的这些被摄体并排布置的方向相同的方向上并排布置。
当关于通过拍摄获得的相应拍摄图像产生矫正图像时，三维测量装置通过使用相应参考方向上的这些矫正图像和拍摄图像执行参考图5和图6每个参考方向描述的处理，并且在参考方向上产生与这些拍摄图像对应的深度图。应当注意的是，在用于获得深度图的每个参考方向产生合成图像时，使用参考方向上的拍摄图像以及通过对参考方向上的拍摄图像进行矫正所获得的矫正图像。
这样获得的参考方向上的深度图是表现当从拍摄部分12(车辆11)在参考方向上观看时真实空间上到相应对象物(简言之，到拍摄图像上的相应被摄体)的距离的信息。
顺便提及，在参考图8描述的示例中，已经关于从方向D11至方向D16的相应参考方向产生深度图的情况给出了描述。在这种情况下，虽然在每个参考方向上计算出了到相同对象物的距离，但是简言之，可以获得这些距离的每个深度图、平均值等作为到所关心的对象物的代表性距离。因此，为一个对象物获得一个代表性距离。
而且，在关于从方向D11至方向D16的参考方向获得对象物的代表性距离时，可以将最接近面对对象物的方向的参考方向的深度图所表现的到对象物的距离设置为所关心的对象物的代表性距离。其原因是因为在更接近直接面对对象物的方向的参考方向的深度图中，到对象物的距离的可靠性高。
<三维测量装置的配置的示例>
接下来，现在将关于上述三维测量装置的配置的示例给出描述。图9是示出应用本技术的三维测量装置的实施例的配置示例的框图。
上述拍摄部分12连接到图9中所绘出的三维测量装置71，并且通过由拍摄部分12拍摄所获得的拍摄图像被提供给三维测量装置71。
应当注意的是，拍摄部分12可以在三维测量装置71提供。此外，拍摄部分12可以是能够在光接收表面上拍摄具有在水平方向和垂直方向上并排布置的多个像素的二维图像的相机等，如上述示例那样。可替代地，拍摄部分12也可以是一维线传感器，其具有仅由在水平方向上并排布置的像素构成的光接收表面，并拍摄一维图像。以下，假设拍摄部分12是能够拍摄二维图像的相机等(简言之，是具有二维图像传感器的相机等)，连续给出描述。
三维测量装置71具有图像获取部分81、图像存储部分82、图像处理部分83，旋转控制部分84和旋转机构部分85。
图像获取部分81从拍摄部分12获取拍摄图像，并且执行获取的拍摄图像可能需要的各种类型的处理(诸如显影处理)，由此将结果所得的拍摄图像提供给图像存储部分82。图像存储部分82在其中存储各种图像(诸如从图像获取部分81向其提供的拍摄图像以及从图像处理部分83向其提供的矫正图像)以及信息。
图像处理部分83根据需要通过使用存储在图像存储部分82中的拍摄图像等来执行各种处理(诸如用于产生深度图的测量处理)。图像处理部分83具有位置姿势指定部分91、矫正部分92和距离计算部分93。
基于存储在图像存储部分82中的拍摄图像，位置姿势指定部分91通过例如同时定位和映射(SLAM)等在拍摄要拍摄的图像时计算拍摄部分12在三维空间上的位置和姿势，由此指定在每个时间拍摄部分12的位置和姿势。在这里，拍摄部分12的姿态意味着拍摄部分12的拍摄方向(简言之，光轴的方向)。
例如，当通过SLAM计算拍摄部分12的位置和姿势时，位置姿势指定部分91在其中保持由在三维空间上称为地标的任意对象物的位置构成的三维地图以及从地标的(一个或多个)图像提取的(一个或多个)特征量。位置姿势指定部分91根据需要在更新三维地图的同时基于三维地图和(一个或多个)拍摄图像计算每个时间拍摄部分12的位置和姿势。
顺便提及，虽然在下文中将关于位置姿势指定部分91通过SLAM指定拍摄部分12的位置和姿势的示例给出描述，但是指定拍摄部分12的位置和姿势的方法可以是任何其它方法。
例如，位置姿势指定部分91可以从车辆11连续地获取车辆11的车轮11的旋转角度和车轮的转向角度。在这种情况下，位置姿势指定部分91可以从旋转角度获得车辆11的移动距离，并从转向角度获得车辆11的方向，由此指定车辆11(简言之，拍摄部分12)的位置和姿势。除此之外，例如，位置姿势指定部分91可以通过利用全球定位系统(GPS)、陀螺仪传感器等来指定拍摄部分12的位置和姿势。
例如，当位置姿势指定部分91具有惯性测定单元(IMU)(诸如加速度传感器或陀螺仪传感器)时，位置姿势指定部分91对利用IMU测得的值进行积分，由此测量拍摄部分12相对于预定对象物(对象物)的位置的和姿势的相对运动。
矫正部分92基于从旋转机构部分85供给的关于拍摄部分12的旋转角度的信息以及由位置姿势指定部分91指定的拍摄部分12的位置和姿势来矫正存储在图像存储部分82中的拍摄图像。例如，矫正部分92可以执行矫正处理，作为用于矫正拍摄图像的处理。因此，放大或缩小之后的处理以这样一种方式执行，使得相同的对象物出现在多个拍摄图像中相互对应的行(像素行)上(简言之，在绘出相同位置关系的像素行上)。
距离计算部分93基于从旋转机构部分85供给的关于旋转角度的信息、由位置姿势指定部分91指定的拍摄部分12的位置和姿势、在矫正部分92中获得的矫正图像以及在图像存储部分82中存储的参考方向上的拍摄图像来计算在相应方位方向上到对象物的距离。也就是说，产生参考方向上的深度图。具体而言，例如，距离计算部分93通过最小二乘法获得满足上述表达式(3)的关系的距离，由此产生(一个或多个)深度图。
旋转控制部分84根据从图像处理部分83发出的指令来控制旋转机构部分85的驱动。旋转机构部分85例如由轴杆13、旋转编码器等构成，并且根据由旋转控制部分84进行的控制以轴杆13为旋转中心(旋转轴)旋转拍摄部分12。此外，旋转机构部分85向图像处理部分83供给关于在每个时间拍摄部分12的展现旋转角度的旋转角度等的信息。
应当注意的是，虽然本文关于旋转机构部分85旋转拍摄部分12的示例给出了描述，但是，例如，当采用参考图4描述的构造时，旋转机构部分85不旋转拍摄部分12，而是旋转反射镜41。
<测量处理的描述>
随后，现在将描述三维测量装置71的具体操作。也就是说，在下文中，将参考图10的流程图描述三维测量装置71的测量处理。应当注意的是，虽然这种测量处理可以在配备有三维测量装置71的车辆11的行驶期间执行，或者可以在车辆11的行驶停止期间执行，但是在下文中，将假设车辆11在行驶中来连续地给出描述。
在步骤S11中，图像获取部分81指示拍摄部分12开始拍摄要拍摄的(一个或多个)图像。拍摄部分12例如根据从图像获取部分81发出的指令以预定时间间隔连续拍摄要拍摄的图像，并将拍摄图像提供给图像获取部分81。应当注意的是，拍摄图像可以是移动的图像或可以是静止图像。
图像获取部分81执行从拍摄部分12向其提供的拍摄图像可能需要的各种处理(诸如显影处理)，并且将结果所得的拍摄图像提供给图像存储部分82，图像存储部分82进而在其中存储结果所得的拍摄图像。
在步骤S12中，旋转控制部分84根据从图像处理部分83发出的指令来控制对旋转机构部分85的驱动。然后，旋转机构部分85开始根据由旋转控制部分84进行的控制对拍摄部分12的旋转驱动。
在这个时候，例如，旋转控制部分84以使拍摄部分12以恒定旋转速度(角速度)旋转的方式来控制旋转驱动。
应当注意的是，拍摄部分12的旋转速度不一定是恒定速度。因此，旋转速度可以在拍摄部分12旋转一次的同时被设置为恒定速度，并且可以在拍摄部分12无论何时旋转一次时被改变。而且，当车辆11关于车轮的旋转角度等的行驶速度或行驶方向可以以一种方式或另一种方式获取时，旋转控制部分84可以响应于行驶速度或行驶方向而改变拍摄部分12的旋转速度。因此，可以减小合成图像中由车辆11的行驶造成的对象物的轨迹的失真等，并且因此可以以更高的准确度执行距离估计。
当以这样一种方式开始要拍摄的(一个或多个)图像的拍摄并且开始拍摄部分12的旋转驱动时，通过在拍摄部分12的旋转移动时的位置进行拍摄所获得的拍摄图像被相继存储在图像存储部分82中。此外，在这个时候，旋转机构部分85在每个时间将关于拍摄部分12的旋转角度的信息提供给图像处理部分83。应当注意的是，图像处理部分83可以将表现拍摄部分12的旋转位置的信息(该信息是从旋转机构部分85提供的关于旋转角度的信息获得的)提供给图像存储部分82并且可以指示图像存储部分82同时存储表现旋转位置和拍摄图像的信息，以使它们彼此对应。
在步骤S13中，位置姿势指定部分91基于存储在图像存储部分82中的拍摄图像以及其中保持的三维地图来指定当拍摄每个要拍摄的图像时拍摄部分12的位置和姿势。也就是说，拍摄部分12的位置和姿势是通过SLAM计算的。
在步骤S14中，矫正部分92基于从旋转机构部分85向其提供的关于拍摄部分12的旋转角度的信息以及拍摄部分12的位置和姿势(这是由位置姿势指定部分91指定的)来矫正存储在图像存储部分82中的拍摄图像。
具体而言，例如，矫正部分92执行参考图8描述的处理，以在相应时间从拍摄图像产生矫正图像。也就是说，矫正部分92基于关于旋转角度的信息以及拍摄部分12的位置和姿势来指定在拍摄作为处理对象物的拍摄图像时拍摄部分12的光轴的方向，并且从指定结果中指定产生矫正图像的参考方向。然后，矫正部分92通过来自作为处理对象物的拍摄图像的矫正以及参考方向上的拍摄图像来产生矫正图像，并且将结果所得的矫正图像提供给图像存储部分82，由此使得图像存储部分82存储结果所得的矫正图像。因此，获得了至少将拍摄图像和矫正图像存储在图像存储部分82中的状态。
在步骤S15中，距离计算部分93基于从旋转机构部分85向其提供的旋转角度的信息、拍摄部分12的位置和姿势以及存储在图像存储部分82中的参考方向上的矫正图像和拍摄图像来产生在相应参考方向上的合成图像。
也就是说，关于在参考方向上的拍摄图像的相应行(简言之，在水平方向上的相应像素行)，距离计算部分93将行设置为线图像。此外，距离计算部分93指定其中包含与所涉及的线图像共同的(一个或多个)对应点的相应矫正图像的线，并且从相应的矫正图像中提取线图像。在这里，例如，关于旋转角度的信息以及拍摄部分12的位置和姿势被用于包含矫正图像中的对应点的行的指定。
然后，距离计算部分93按照时间次序布置其中包含彼此共同的对应点的线图像，将它们合成，并产生合成图像。因此，在参考方向中拍摄图像的每个水平行获得与这些行对应的合成图像。
顺便提及，例如，可以响应于关于旋转角度的信息以及拍摄部分12的位置和姿势来调节线图像合成时相应线图像在水平方向上的位置。这种在水平方向上对合成位置的调节在拍摄部分12的旋转速度不恒定时、车辆11行驶时等是有效的。
在步骤S16中，距离计算部分93对于在参考方向上拍摄图像的每个像素基于合成图像计算到与这些像素对应的对象物(被摄体)的距离，并且从计算结果产生深度图。
具体而言，例如，关于构成合成图像的参考方向上的线图像的相应像素，距离计算部分93检测像素以及由与这些像素具有(一个或多个)相同辉度值((一个或多个)像素值)的像素构成的合成图像上的区域，并将检测到的区域设置为对象物的轨迹的区域。在这个时候，在合成图像上彼此相邻的像素(更具体而言，由大致连续并排布置并具有相同辉度值的像素构成的像素区域)应该变成表现对象物轨迹的区域。
而且，距离计算部分93基于正切曲线的振幅作为合成图像上对象物的轨迹来计算到对象物的距离。也就是说，关于与合成图像上的对象物对应的像素，从像素位置获得满足上述表达式(3)的关系的距离，并且通过最小二乘法获得关于旋转角度的信息，并产生深度图。
在相应时间参考方向上的深度图是以这样一种方式产生的，在拍摄部分12被旋转的同时，使得可以连续测量在每个方向上到对象物的距离。此外，如果作为距离的测量结果(简言之，距离估计的结果)的深度图、车辆11周围的环境(诸如对象物在每个方向上的布置的情况)可以被准确地把握。
例如，可以根据拍摄部分12的位置和姿势的指定结果(这是由位置姿势指定部分91指定的)并且根据由位置姿势指定部分91保持的三维地图来获得在预定时间在每个相应方位从车辆11(拍摄部分12)到对象物的距离。同样，从深度图也可以获得在预定时间在每个方位从车辆11到对象物的距离，并且，只要对象物静止不动，结果所得的距离就应该等于从三维地图获得的距离。
例如，图像处理部分83通过利用这个事实来计算从三维地图获得的距离与由深度图表现的距离之间的差，由此从差异的量值来检测在车辆11周围存在的移动的对象物，并根据在各个时间的检测结果来跟踪移动的对象物。简言之，执行移动的对象物的位置的跟踪。在这里，检测到的移动的对象物例如是步行者、车辆(诸如迎面而来的车辆)、自行车、摩托车或障碍物(诸如道路工程的工具)的可能性高。
然后，例如，图像处理部分83执行用于以这样一种方式显示图像或者通过语音等向车辆11的驾驶员发出警报的处理，使得车辆11可以响应于移动的对象物的检测结果而更安全地行使，简言之，由于障碍物等造成的危险可以被容易地避免。因此，可以改进车辆11行驶时的安全性。
在步骤S17中，三维测量装置71确定处理是否结束。当在步骤S17中确定处理还没有结束时，处理返回到步骤S13，并且重复地执行上述处理片段。
另一方面，当在步骤S17中确定处理结束时，三维测量装置71停止相应部分中的处理片段，并且测量处理结束。
以上述方式，三维测量装置71在拍摄部分12被旋转的同时使拍摄部分12拍摄要拍摄的图像，并且基于参考方向上的拍摄图像以及与参考方向不同的方向上从拍摄图像获得的矫正图像产生合成图像。然后，三维测量装置71检测合成图像上具有相同辉度值的区域作为对象物的轨迹，由此产生深度图。
以这种方式，使用多个拍摄图像，尤其是在拍摄部分12旋转期间通过拍摄所获得的三个或更多个拍摄图像，由此使得能够以更高的准确度执行距离估计。除此之外，具有相同辉度值的区域被设置为表现对象物轨迹的区域，并且使用正切曲线的振幅作为对象物的轨迹，由此使得可以以较少的算术运算量简单地执行距离估计。
<第一实施例的修改例1>
此外，虽然在前文中已经关于拍摄部分12被旋转的示例给出了描述，但是可替代地，例如，如图11中所绘出的，可以通过线性运动机制使拍摄部分12往复运动。顺便提及，在图11中，与图1中的那些对应的部分被指派相同的标号，并且在这里适当地省略其描述。
在图11中所绘出的示例中，由两个彼此链接的臂构成的直线运动机制121连接到拍摄部分12。线性运动机制121的一端固定到中心位置O21，并且线性运动机制121的另一端固定到拍摄部分12。
在拍摄要拍摄的图像时，旋转控制部分87以中心位置O21为中心旋转其一端固定到中心位置O21的臂，由此使拍摄部分12在由箭头D41所指示的方向上进行往复运动。简言之，线性运动机制121的驱动以这样一种方式被控制，使得拍摄部分12在直线上进行往复运动。
通过也采用这种机制，虽然不是在每个方向上，但是三维测量装置71可以获得拍摄部分12前方的深度图。在这种情况下，由于合成图像上对象物的轨迹变成直线，因此基于直线的倾斜度计算到对象物的距离。
<应用示例>
顺便提及，根据本公开的技术可以应用于各种产品。例如，根据本公开的技术还可以以任何种类的车辆(汽车、电动车辆、混合动力电动车辆、摩托车等)配备有的装置的形式来实现。此外，根据本公开的技术还可以以用于建筑的重型机器(诸如推土机或起重机轨道、无人机、机器人、行星探测器等)配备有的装置的形式来实现。
图12是绘出可以向其应用根据本公开的技术的车辆控制系统2000的示意性配置的示例的框图。车辆控制系统2000具有通过通信网络2010彼此连接的多个电子控制单元。在图12中所绘出的示例中，车辆控制系统2000具有驱动系统控制单元2100、车体系统控制单元2200、电池控制单元2300、车外信息检测单元2400、车内检测单元2500以及集成控制单元2600。例如，多个控制单元通过其彼此连接的通信网络2010可以是符合任意标准的车载通信网络(诸如控制器区域网络(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标))。
每个控制单元都具有用于根据各种程序执行算术运算处理的微型计算机、用于在其中存储要由微型计算机执行的程序或用在各种算术运算中的参数等的存储部分以及用于驱动作为各种控制对象物的设备或装置的驱动电路。每个控制单元具有通过其经由通信网络2010与其它控制单元进行通信的网络接口，并且还提供有通过其以有线通信或无线通信的形式与车内设备或装置或者车外设备或装置或者传感器等进行通信的通信接口。在图12中，微型计算机2610、通用通信接口2620、专用通信接口2630、定位部分2640、信标接收部分2650、车内装置接口2660、音频图像输出部分2670、车载网络接口2680和存储部分2690被示为集成控制单元2600的功能配置。同样，任何其它控制单元都具有微型计算机、通信接口、存储部分等。
例如，上述的三维测量装置71也可以由微型计算机2610、定位部分2640、存储部分2690等构成。
驱动系统控制单元2100根据各种程序来控制与车辆的驱动系统相关联的设备或装置的操作。例如，驱动系统控制单元2100用作用于驱动力生成器、驱动力传送机制、转向机制、制动控制器等的控制器。在这种情况下，驱动力生成器(诸如内燃机或驱动马达)用于生成车辆的驱动力。驱动力传送机制用于将驱动力传送到车轮。转向机制用于调节车辆的转向角。制动控制器用于生成车辆的制动力。驱动系统控制单元2100可以具有作为控制器(诸如防抱死制动系统(ABS)或电子稳定性控制(ESC))的功能。
车辆状态检测部分2110连接到驱动系统控制单元2100。车辆状态检测部分2110例如包括用于检测车体的轴旋转运动的角速度的陀螺仪传感器、用于检测车辆的加速度的加速度传感器以及用于检测加速器踏板的操纵量、制动器踏板的操纵量、方向盘的转向角、发动机速度、车轮的旋转速度等的传感器中的至少一个。驱动系统控制单元2100通过使用从车辆状态检测部分2110向其输入的信号来执行算术运算处理，以控制内燃机、驱动马达、电动动力转向设备、制动设备等。
车体系统控制部分2200根据各种程序来控制车体所配备的各种设备或装置的操作。例如，车体系统控制单元2200用作无钥匙进入系统、智能钥匙系统、电动车窗设备或各种灯(诸如前照灯、后灯、刹车灯、方向指示灯或雾灯)的控制器。在这种情况下，可以将从代替钥匙的移动电话发送的电波或者用于各种开关的信号输入到车体系统控制单元2200。车体系统控制单元2200接受电波或信号的输入，以控制车辆的门锁设备、电动车窗设备、灯等。
电池控制单元2300根据各种程序控制作为用于驱动马达的电力供应源的二次电池2310。例如，关于电池温度、电池输出电压、电池剩余电力等的信息从具有二次电池2310的电池设备输入到电池控制单元2300。电池控制单元2300通过使用这些信号来执行执行算术操作，以执行二次电池2310的温度调节控制、电池装置配备有的冷却设备的控制等。
车外信息检测部分2400检测关于配备有车辆控制系统2000的车辆的外部的信息。例如，至少或者拍摄部分2410或者车外信息检测部分2420连接到车外信息检测部分2400。拍摄部分2410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机及其它相机中的至少一个。例如，可以使拍摄部分2410成为上述的拍摄部分12。车外信息检测部分2420例如包括用于检测当前天气或气候的环境传感器，或者在配备有车辆控制系统2000的车辆周围用于检测其它车辆、障碍物、步行者等的周围信息检测传感器。
例如，环境传感器可以是包括用于检测多雨天气的雨滴传感器、用于检测雾的雾传感器、用于检测太阳光度的太阳光传感器以及用于检测降雪的雪传感器中的至少一个。周围信息检测传感器可以是超声波传感器、雷达设备以及光检测和测距、激光成像检测和测距(LIDAR)设备中的至少一个。这些拍摄部分2410和车外信息检测部分2420可以分别以独立传感器或设备的形式提供，或者可以以其中多个传感器或设备彼此集成的设备的形式提供。
在这里，图13绘出了拍摄部分2410和车外信息检测部分2420的安装位置的示例。拍摄部分2910、2912、2914、2916、2918例如至少在包含前鼻部、侧视镜、后保险杠、后门以及车内的前玻璃的上部的位置提供。前鼻部具有的拍摄部分2910和车内的前玻璃的上部具有的拍摄部分2918主要用于获取车辆2900前方的图像。侧视镜具有的拍摄部分2912和2914主要用于获取车辆2900侧面的图像。后保险杠或后门具有的拍摄部分2916主要用于获取车辆2900后部的图像。车内的前玻璃的上部具有的拍摄部分2918主要用于检测前面的车辆或步行者、障碍物、交通信号、交通标志、车道等。
顺便提及，图13绘出了相应拍摄部分2910、2912、2914和2916的拍摄范围的示例。拍摄范围a绘出了在前鼻部中提供的拍摄部分2910的拍摄范围，拍摄范围b和c分别绘出了在侧视镜中提供的拍摄部分2912和2914的拍摄范围。拍摄范围d绘出了在后保险杠或后门中提供的拍摄部分2916的拍摄范围。例如，关于由摄影部分2910、2912、2914、2916拍摄的图像的数据片段被累积，由此获得从上侧观看车辆2900的俯瞰图像。
在车辆2900的前方、后方、侧方、角落以及在车内的前玻璃的上部提供的车外信息检测部分2920、2922、2924、2926、2928、2930例如可以是(一个或多个)超声波传感器或(一个或多个)雷达设备。例如，在前鼻部、后保险杠、车辆的后门和车内的前玻璃的上部提供的车外信息检测部分2920、2926和2930可以是(一个或多个)LIDAR设备。这些车外信息检测部分2920至2930主要用于前面的车辆、步行者、障碍物等的检测。
回头参考图12，现在将连续给出描述。车外信息检测单元2400指示拍摄部分2410拍摄车辆外部的车辆图像，并且接收关于这样拍摄的图像的数据。此外，车外信息检测单元2400从与其连接的车外信息检测部分2420接收检测信息。当车外信息检测部分2420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元2400发送超声波、电磁波等，并且接收关于接收到的反射波的信息。车外信息检测单元2400可以基于接收到的信息执行对人、车辆、障碍物、交通标志、路面上的文字等执行对象物检测处理或距离检测处理。车外信息检测单元2400可以基于接收到的信息执行用于识别降雨、雾、表面情况等的环境识别处理。车外信息检测单元2400可以基于接收到的信息计算到车辆外部的对象物的距离。
此外，车外信息检测单元2400可以基于接收到的图像数据执行用于识别人、车辆、障碍物、交通标志、路面上的文字等的图像识别处理，或者可以执行距离检测处理。车外信息检测单元2400可以对接收到的图像数据执行失真校正、对准等处理，并且可以合成关于由不同拍摄部分2410拍摄的图像的数据，由此产生俯瞰图像或全景图像。车外信息检测单元2400可以通过使用关于通过由不同拍摄部分2410进行拍摄所获得的(一个或多个)图像的数据来执行视点转换处理。
车内信息检测单元2500检测关于车辆内部的信息。例如，用于检测驾驶员的状态的驾驶员状态检测部分2510连接到车内信息检测单元2500。驾驶员状态检测部分2510可以包括用于拍摄驾驶员的相机、用于检测驾驶员的生物信息的生物传感器、用于在车辆内部收集声音的麦克风等。例如，生物传感器在座位表面、方向盘等中提供，并且检测关于坐在座位上的乘客或者在方向盘后面的驾驶员的生物信息。车内信息检测单元2500可以基于从驾驶员状态检测部分2510向其输入的检测信息来计算驾驶员的疲劳程度或集中程度，或者确定驾驶员是否打瞌睡。车内信息检测单元2500可以执行诸如针对所收集的声音的语音信号的噪声抵消处理之类的处理。
集成控制单元2600根据各种程序来控制车辆控制系统2000内的整个操作。输入部分2800连接到集成控制单元2600。输入部分2800以设备或单元的形式实现，利用其可以由乘客执行输入操纵(诸如触摸面板、按钮、麦克风、控制杆、开关等)。输入部分2800例如可以是利用推断的射线或其它电波的遥控设备，或者可以是与用于车辆控制系统2000的操纵对应的外部连接装置(诸如移动电话或个人数字助理(PDA))。输入部分2800例如可以是相机。在这种情况下，乘客可以通过他/她的手势输入信息。而且，例如，输入部分2800可以包括输入控制电路，用于基于由乘客等使用上述输入部分2800输入的信息产生输入信号，并且将结果所得的输入信号输出到集成电路控制单元2600等。乘客等将各种数据输入到车辆控制系统2000，或者指示车辆控制系统2000通过操纵输入部分2800来执行处理操作。
存储部分2690可以包括用于在其中存储要由微型计算机执行的各种程序的随机存取存储器(RAM)，以及用于在其中存储各种参数、算术运算结果、传感器值等的只读存储器(ROM)。此外，存储部分2690可以以的磁存储设备的形式(诸如硬盘驱动器(HDD)、半导体存储设备、光存储设备、磁-光存储设备等)来实现。
通用通信接口2620是调解与存在于外部环境2750中的各种装置的通信的通用通信接口。通用通信接口2620可以安装有蜂窝通信协议(诸如全球移动通信系统(GSM)(注册商标)、WiMAX、长期演进(LTM)或高级LTE(LTE-A))，或者其它无线通信协议(诸如无线LAN(Wi-Fi(注册商标)))。例如，通用通信接口2620可以通过基站或接入点连接到存在于外部网络(例如，互联网、云网络或企业的具体网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信接口2620例如可以通过使用对等(P2P)技术连接到存在于车辆附近的终端(例如，步行者或商店的终端或者机器类型通信(MTC)终端)。
专用通信接口2630是用于支持为了在车辆中使用而制定的通信协议的通信接口。例如，专用通信接口2630可以安装有标准协议(诸如作为下层的IEEE802.11p和上层的IEEE1609的组合的车辆环境中的无线访问(WAVE)，或者专用通信I/短距离通信(DSRC))。专用通信接口2630通常作为包括车辆-车辆通信、车辆-基础设施通信和车辆-行人通信中的一个或多个的概念来执行V2X通信。
定位部分2640例如接收从GNSS卫星向其发送的全球导航卫星系统(GNSS)信号(例如，来自GPS卫星的GPS信号)并执行定位，由此产生在其中包含车辆的纬度、经度和高度的位置信息。应当注意的是，定位部分2640可以通过与无线接入点交换信号来指定当前位置，或者可以从具有定位功能的终端(诸如移动电话、PHS或智能电话)获取位置信息。
信标接收部分2650例如接收从安装在道路上的无线站等发送的电波或电磁波，并且获取关于当前位置、拥堵、车辆交通的关闭、所需时间等的信息。应当注意的是，信标接收部分2650的功能可以包括在上述的专用通信接口2630中。
车内装置接口2660是调解微型计算机2610与车辆内存在的各种装置之间的连接的通信接口。车内装置接口2660可以通过使用无线通信协议(诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB))来建立无线连接。此外，车内装置接口2660可以通过未绘出的连接端子(以及必要的话还有电缆)建立有线连接。例如，车内装置接口2660与乘客具有的移动电话或可穿戴装置或者被带入或安装在车辆中的信息装置交换(一个或多个)控制信号或(一个或多个)数据信号。
车载网络接口2680是调解微型计算机2610与通信网络2010之间的通信的接口。车载网络接口2680根据由通信网络2010支持的预定协议来发送/接收信号等。
集成控制单元2600的微型计算机2610基于通过通用通信接口2620、专用通信接口2630、定位部分2640、信标接收部分2650、车内装置接口2660和车载网络接口2680中的至少一个获得的信息根据各种程序控制车辆控制系统2000。例如，微型计算机2610可以基于关于车辆内部和外部所获取的信息来计算用于驱动力生成设备、转向机制或制动设备的控制目标值，并且可以向驱动系统控制单元2100输出控制指令。例如，微型计算机2610可以执行用于车辆的碰撞避免或减震的协作控制、基于车辆-车辆距离的跟随行驶、车辆速度维护行驶、自动驾驶等。
微型计算机2610可以基于通过包括通用通信接口2620、专用通信接口2360、定位部分2640、信标接收部分2650、车内装置接口2660和车载网络接口2680中的至少一个获取的信号创建包含关于车辆的当前位置周围的信息的局部地图信息。此外，微型计算机2610可以基于所获取的信息预见到车辆碰撞的危险、与步行者等的接近度、接近对车辆交通关闭的道路等，由此创建用于警报的信号。例如，警报信号可以是生成警报声或者点亮警报灯的信号。
声音图像输出部分2670将至少或者语音或者图像的输出信号发送到输出设备，该输出设备可以在视觉上或听觉上向车辆的乘客或车辆外部通知该信息。在图12的示例中，音频扬声器2710、显示部分2720和仪表板2730被例示为输出设备。例如，显示部分2720可以包括至少或者车载显示器或者平视显示器。显示部分2720可以具有增强现实(AR)显示功能。输出设备可以是除这些设备以外的其它设备(诸如耳机、投影仪或灯)。当输出设备是显示设备时，显示设备以各种形式(诸如文本、图像、表格或图)可视地显示通过由微计算机2610执行的各种处理所获得的结果或者从其它控制单元接收的信息。此外，当输出设备是语音输出设备时，语音输出设备将由再现的语音数据或声学数据等构成的音频信号转换成模拟信号，以通过听觉输出结果所得的模拟信号。
顺便体积，在图12中所绘出的示例中，通过通信网络2010彼此连接的至少两个控制单元可以以一个控制单元的形式彼此集成。可替代地，每个控制单元可以由多个控制单元构成。而且，车辆控制系统2000可以具有未绘出的另一个控制单元。此外，在上面的描述中，可以使另一个控制单元具有所述任何控制单元所扮演的角色的功能的部分或全部。简言之，如果通过通信网络2010发送/接收信息，那么可以由任何控制单元执行预定的算术运算处理。同样，传感器或者连接到任何控制单元的设备或装置可以连接到其它(一个或多个)控制单元，并且多个控制单元可以通过通信网络2010向彼此发送/从彼此接收检测信息。
应当注意的是，用于实现参考图9描述的三维测量装置71的相应功能的计算机程序可以安装到任何控制单元等。此外，有可能提供其中存储这种计算机程序的计算机可读存储介质。存储介质例如是磁盘、光盘、磁-光盘、闪存等。此外，上述计算机程序例如可以通过网络发送而不使用存储介质。
<计算机的配置的示例>
而且，上述一系列处理可以由硬件或者由软件来执行。当一系列处理由软件执行时，构成软件的程序被安装在计算机中。在这里，计算机包括结合在专用硬件中的计算机，计算机是例如可以通过安装各种程序等来执行各种功能的通用个人计算机。
图14是绘出根据程序执行一系列处理的计算机的硬件配置示例的框图。
在计算机中，中央处理单元(CPU)5001、ROM 5002和RAM 5003通过总线5004彼此连接。
I/O接口5005进一步连接到总线5004。输入部分5006、输出部分5007、存储部分5008，通信部分5009和驱动器5010连接到I/O接口5005。
输入部分5006由键盘、鼠标、麦克风、图像拾取元件等构成。输出部分5007由显示器、扬声器等构成。存储部分5008包括硬盘、非易失性存储器等。通信部分5009由网络接口等构成。驱动器5010驱动可移除存储介质5011(诸如磁盘、光盘、磁-光盘或半导体存储器)。
在以上述方式配置的计算机中，CPU 5001例如通过I/O接口5005和总线5004将存储在存储部分5008中的程序加载到RAM 5003中，并且执行该程序，由此执行上述一系列处理。
例如，要由计算机(CPU 5001)执行的程序可以被存储在作为要提供的封装介质等的可移除存储介质5011中。此外，程序可以通过有线或无线传输介质(诸如局域网、互联网或数字卫星广播)来提供。
在计算机中，通过将可移除存储介质5011安装到驱动器5010，可以通过I/O接口5005将程序安装在存储部分5008中。此外，程序可以通过有线或无线传输介质在通信部分5009中被接收，由此安装在存储部分5008中。除此之外，程序可以预先安装在ROM 5002或存储部分5008中。
应当注意的是，要由计算机执行的程序可以是根据其沿着本说明书中描述的次序按时间序列执行处理片段的程序，或者可以是根据其并行地或当进行调用时的必要定时等执行处理片段的程序。
此外，本技术的实施例决不限于上述实施例，并且可以在不背离本技术的主题的情况下做出各种改变。
例如，本技术可以采用其中多个设备或装置通过网络共享一个功能并且彼此协作处理一个功能的云计算的配置。
此外，上述流程图中描述的步骤可以由一个设备或装置执行，并且除此之外也可以被执行以便在多个设备或装置之间共享。
而且，当在一个步骤中包含多个处理时，包含在一个步骤中的多个处理可以由一个设备或装置执行，并且除此之外也可以被执行以便在多个设备或装置之间共享。
此外，本技术可以采用以下构造。
(1)一种测量装置，包括：
旋转控制部分，在从旋转机构的旋转中心到拍摄部分的焦点位置的距离是恒定距离的状态下，该旋转控制部分以使得拍摄部分以旋转中心作为轴旋转的方式通过旋转机构来控制拍摄部分的旋转；以及
距离计算部分，在拍摄部分被旋转的状态下，该距离计算部分基于通过由拍摄部分在彼此不同的位置处拍摄所获得的多个拍摄图像来计算空间上到对象物的距离。
(2)如(1)所述的测量装置，其中距离计算部分基于所述多个拍摄图像中对应点之间的几何关系来计算到对象物的距离。
(3)如(2)所述的测量装置，其中距离计算部分从拍摄图像中提取由包含对应点的像素行构成的线图像，并且基于通过并排布置并且合成从所述多个拍摄图像获得的所述多个线图像所获得的合成图像来计算到对象物的距离。
(4)如(3)所述的测量装置，其中距离计算部分基于合成图像中对应点的轨迹的振幅来计算到对象物的距离。
(5)如(1)至(4)中任一项所述的测量装置，还包括对拍摄图像进行矫正的矫正部分，
其中距离计算部分基于通过矫正获得的(一个或多个)矫正图像来计算到对象物的距离。
(6)如(1)至(5)中任一项所述的测量装置，其中旋转控制部分控制在车辆的上部提供的拍摄部分的旋转。
(7)如(1)至(6)中任一项所述的测量装置，其中拍摄部分由二维图像传感器构成。
(8)如(1)至(6)中任一项所述的测量装置，其中拍摄部分由线传感器构成。
(9)如(1)至(8)中任一项所述的测量装置，其中旋转控制部分以拍摄部分以恒定速度旋转一次的方式控制拍摄部分的旋转。
(10)一种测量方法，包括以下步骤：
在从旋转机构的旋转中心到拍摄部分的焦点位置的距离是恒定距离的状态下，以使得拍摄部分以旋转中心作为轴旋转的方式通过旋转机构来控制拍摄部分的旋转；以及
在拍摄部分被旋转的状态下，基于通过由拍摄部分在彼此不同的位置处拍摄所获得的多个拍摄图像来计算空间上到对象物的距离。
(11)一种程序，计算机根据其执行包括以下步骤的处理：
在从旋转机构的旋转中心到拍摄部分的焦点位置的距离是恒定距离的状态下，以使得拍摄部分以旋转中心作为轴旋转的方式通过旋转机构来控制拍摄部分的旋转；以及
在拍摄部分被旋转的状态下，基于通过由拍摄部分在彼此不同的位置处拍摄所获得的多个拍摄图像来计算空间上到对象物的距离。
[标号列表]
11...车辆
12...拍摄部分
71...三维测量装置
82...图像存储部分
83...图像处理部分
84...旋转控制部分
85...旋转机构部分
91...位置姿势指定部分
92...矫正部分
93...距离计算部分

Claims (10)

1.一种测量装置，包括：
旋转控制部分，在从旋转机构的旋转中心到拍摄部分的焦点位置的距离是恒定距离的状态下，该旋转控制部分以使得拍摄部分以旋转中心作为轴旋转的方式通过旋转机构来控制拍摄部分的旋转；以及
距离计算部分，在拍摄部分被旋转的状态下，该距离计算部分基于通过由拍摄部分在彼此不同的位置处拍摄所获得的多个拍摄图像来计算空间上到对象物的距离，
其中距离计算部分从拍摄图像中提取由包含对应点的像素行构成的线图像，并且基于通过并排布置并且合成从所述多个拍摄图像获得的多个线图像所获得的合成图像来计算到对象物的距离。
2.如权利要求1所述的测量装置，
其中距离计算部分基于所述多个拍摄图像中对应点之间的几何关系来计算到对象物的距离。
3.如权利要求1所述的测量装置，
其中距离计算部分基于合成图像中对应点的轨迹的振幅来计算到对象物的距离。
4.如权利要求1所述的测量装置，还包括对拍摄图像进行矫正的矫正部分，
其中距离计算部分基于通过矫正获得的矫正图像来计算到对象物的距离。
5.如权利要求1所述的测量装置，
其中旋转控制部分控制在车辆的上部提供的拍摄部分的旋转。
6.如权利要求1所述的测量装置，
其中拍摄部分由二维图像传感器构成。
7.如权利要求1所述的测量装置，
其中拍摄部分由线传感器构成。
8.如权利要求1所述的测量装置，
其中旋转控制部分以拍摄部分以恒定速度旋转一次的方式控制拍摄部分的旋转。
9.一种测量方法，包括以下步骤：
在从旋转机构的旋转中心到拍摄部分的焦点位置的距离是恒定距离的状态下，以使得拍摄部分以旋转中心作为轴旋转的方式通过旋转机构来控制拍摄部分的旋转；以及
在拍摄部分被旋转的状态下，基于通过由拍摄部分在彼此不同的位置处拍摄所获得的多个拍摄图像来计算空间上到对象物的距离，其中从拍摄图像中提取由包含对应点的像素行构成的线图像，并且基于通过并排布置并且合成从所述多个拍摄图像获得的多个线图像所获得的合成图像来计算到对象物的距离。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由计算机执行时致使计算机执行以下步骤：
在从旋转机构的旋转中心到拍摄部分的焦点位置的距离是恒定距离的状态下，以使得拍摄部分以旋转中心作为轴旋转的方式通过旋转机构来控制拍摄部分的旋转；以及
在拍摄部分被旋转的状态下，基于通过由拍摄部分在彼此不同的位置处拍摄所获得的多个拍摄图像来计算空间上到对象物的距离，其中从拍摄图像中提取由包含对应点的像素行构成的线图像，并且基于通过并排布置并且合成从所述多个拍摄图像获得的多个线图像所获得的合成图像来计算到对象物的距离。
CN201680055032.9A 2015-09-29 2016-09-15 用于测量的装置和方法以及程序 Active CN108139211B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015190832 2015-09-29
JP2015-190832 2015-09-29
PCT/JP2016/077225 WO2017057016A1 (ja) 2015-09-29 2016-09-15 計測装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN108139211A CN108139211A (zh) 2018-06-08
CN108139211B true CN108139211B (zh) 2021-01-15

Family

ID=58427588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055032.9A Active CN108139211B (zh) 2015-09-29 2016-09-15 用于测量的装置和方法以及程序

Country Status (5)

Country Link
US (1) US10508911B2 (zh)
EP (1) EP3358297A4 (zh)
JP (1) JP6883215B2 (zh)
CN (1) CN108139211B (zh)
WO (1) WO2017057016A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108449945B (zh) 2015-09-30 2020-12-08 索尼公司 信息处理设备、信息处理方法和程序
WO2017057043A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US10587863B2 (en) 2015-09-30 2020-03-10 Sony Corporation Image processing apparatus, image processing method, and program
JP6995767B2 (ja) * 2016-10-31 2022-01-17 株式会社小松製作所 計測システム、作業機械及び計測方法
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
JP7204326B2 (ja) * 2018-01-15 2023-01-16 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
JP6606234B1 (ja) * 2018-07-13 2019-11-13 Dmg森精機株式会社 測定装置
KR102570059B1 (ko) * 2018-08-16 2023-08-23 엘지이노텍 주식회사 센싱 방법 및 장치
CN109819169A (zh) * 2019-02-13 2019-05-28 上海闻泰信息技术有限公司 全景拍摄方法、装置、设备和介质
CN110319853A (zh) * 2019-07-19 2019-10-11 广州市番通汽车检测有限公司 一种方便校准的汽车姿势测量系统
CN110487262A (zh) * 2019-08-06 2019-11-22 Oppo广东移动通信有限公司 基于增强现实设备的室内定位方法及系统
CN112986697B (zh) * 2019-12-02 2024-04-26 联合汽车电子有限公司 智能钥匙的标定方法、标定系统及可读存储介质
CN111928825B (zh) * 2020-08-17 2022-01-04 成都市玄上科技有限公司 一种无人机连续圆环绕倾斜摄影航拍方法
KR102430536B1 (ko) * 2020-09-14 2022-08-09 경북대학교 산학협력단 터널균열측정시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000283719A (ja) * 1999-03-29 2000-10-13 Oki Electric Ind Co Ltd 物体の位置測定方法及び装置並びに物体の位置測定方法のプログラムを記録した記録媒体
JP2003262510A (ja) * 2002-03-08 2003-09-19 Center For Advanced Science & Technology Incubation Ltd 三次元形状測定方法及び三次元スキャナ
JP2007322368A (ja) * 2006-06-05 2007-12-13 Tamagawa Seiki Co Ltd 距離測定方法及び装置
CN101403606A (zh) * 2008-10-20 2009-04-08 中国海洋大学 基于线结构光的大视场两轴测量装置
CN101414000A (zh) * 2008-12-04 2009-04-22 清华大学 基于随机传声器阵列和双目视觉的获取运动声场视频的方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62134516A (ja) * 1985-12-07 1987-06-17 Hitachi Zosen Corp 距離計測方法
US6222906B1 (en) * 1998-01-29 2001-04-24 Kabushiki Kaisha Toshiba X-ray diagnostic apparatus using an X-ray flat panel detector and method for controlling the X-ray diagnostic apparatus
EP1551103A4 (en) * 2002-10-07 2006-10-18 Yokohama Tlo Company Ltd METHOD AND DEVICE FOR DIGITAL COMMUNICATION
JP4801457B2 (ja) 2006-02-02 2011-10-26 株式会社リコー 表面欠陥検査装置、表面欠陥検査方法及び表面欠陥検査プログラム
JP2011215963A (ja) 2010-03-31 2011-10-27 Sony Corp 電子機器、画像処理方法及びプログラム
US9885934B2 (en) * 2011-09-14 2018-02-06 View, Inc. Portable defect mitigators for electrochromic windows
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location
US9503703B1 (en) * 2012-10-05 2016-11-22 Amazon Technologies, Inc. Approaches for rectifying stereo cameras
JP6283909B2 (ja) * 2013-03-01 2018-02-28 パナソニックＩｐマネジメント株式会社 カメラ装置及びカメラ装置の制御方法
US9609305B1 (en) * 2013-03-13 2017-03-28 Amazon Technologies, Inc. Feature-based rectification of stereo cameras
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras
DE102014213175A1 (de) 2014-07-07 2016-01-07 Conti Temic Microelectronic Gmbh Vorrichtung zur entfernungsmessung, fahrzeug und verfahren
JP2016063336A (ja) * 2014-09-17 2016-04-25 株式会社東芝 キャリブレーション方法、キャリブレーションプログラム及びキャリブレーション装置
JP6467838B2 (ja) * 2014-09-26 2019-02-13 アイシン精機株式会社 周辺監視装置、及び周辺監視システム
WO2016136086A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 撮像装置と画像処理装置と画像処理方法
US10587863B2 (en) 2015-09-30 2020-03-10 Sony Corporation Image processing apparatus, image processing method, and program
CN108449945B (zh) 2015-09-30 2020-12-08 索尼公司 信息处理设备、信息处理方法和程序
WO2017057043A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000283719A (ja) * 1999-03-29 2000-10-13 Oki Electric Ind Co Ltd 物体の位置測定方法及び装置並びに物体の位置測定方法のプログラムを記録した記録媒体
JP2003262510A (ja) * 2002-03-08 2003-09-19 Center For Advanced Science & Technology Incubation Ltd 三次元形状測定方法及び三次元スキャナ
JP2007322368A (ja) * 2006-06-05 2007-12-13 Tamagawa Seiki Co Ltd 距離測定方法及び装置
CN101403606A (zh) * 2008-10-20 2009-04-08 中国海洋大学 基于线结构光的大视场两轴测量装置
CN101414000A (zh) * 2008-12-04 2009-04-22 清华大学 基于随机传声器阵列和双目视觉的获取运动声场视频的方法

Also Published As

Publication number Publication date
US20180274915A1 (en) 2018-09-27
EP3358297A4 (en) 2019-05-29
US10508911B2 (en) 2019-12-17
WO2017057016A1 (ja) 2017-04-06
JPWO2017057016A1 (ja) 2018-08-09
EP3358297A1 (en) 2018-08-08
JP6883215B2 (ja) 2021-06-09
CN108139211A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN108139211B (zh) 用于测量的装置和方法以及程序
CN108572663B (zh) 目标跟踪
US11288860B2 (en) Information processing apparatus, information processing method, program, and movable object
WO2017159382A1 (ja) 信号処理装置および信号処理方法
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11076141B2 (en) Image processing device, image processing method, and vehicle
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US20190301886A1 (en) Sensor fusion methods for augmented reality navigation
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11501461B2 (en) Controller, control method, and program
JPWO2018180579A1 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
JP2019045364A (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JPWO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2019073795A1 (ja) 情報処理装置、自己位置推定方法、プログラム、及び、移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant