CN110573833A - 成像装置和监控装置 - Google Patents

成像装置和监控装置 Download PDF

Info

Publication number
CN110573833A
CN110573833A CN201880028772.2A CN201880028772A CN110573833A CN 110573833 A CN110573833 A CN 110573833A CN 201880028772 A CN201880028772 A CN 201880028772A CN 110573833 A CN110573833 A CN 110573833A
Authority
CN
China
Prior art keywords
light
sensor unit
specular reflector
distance
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880028772.2A
Other languages
English (en)
Other versions
CN110573833B (zh
Inventor
小仓洋平
城坚诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN110573833A publication Critical patent/CN110573833A/zh
Application granted granted Critical
Publication of CN110573833B publication Critical patent/CN110573833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/0073—Interferometric means or methods, e.g. creation of a hologram
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045—Correction of measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

[问题]提供一种成像装置和监控装置，其能够对使用单个测距相机难以直接测量的对象区域进行精确的距离和形状测量。[解决方案]提供了一种成像装置，包括：传感器单元，用于将光照射到对象上并检测由对象反射的光；距离计算单元，用于基于来自传感器单元的感测数据来计算到对象的距离；镜面反射器，其位于对象与传感器单元相对的一侧；以及校正单元，用于校正包括在计算的距离中并且由沿着从传感器单元到对象的第一路径行进的光和沿着从传感器单元通过镜面反射器处的反射到对象的第二路径行进的光之间的干涉引起的误差。

Description

成像装置和监控装置
技术领域
本公开涉及一种成像装置和一种监控装置。
背景技术
已知一种向对象发射红外光等并接收由对象反射的红外光以测量到对象的距离或对象的表面形状的测距相机。这种测距相机的实例包括下面专利文献1中公开的技术。
顺便说一下，当试图用测距相机测量对象时，可能存在不能由一个测距相机测量的区域，具体地，由于对象本身的阻挡等而不能直接测量的背面。在这种情况下，可以设想使用一个测距相机和镜面反射器组合来测量对象等的背面。作为这样的方法，例如，可以引用下面专利文献2中公开的技术。
引用列表
专利文献
专利文献1：日本专利申请公开号2012-57960
专利文献2：日本PCT国家公开号2012-509470
发明内容
本发明要解决的问题
顺便提及，在使用镜面反射器测量对象的情况下，有两条光路。第一路径中的光从测距相机到达对象、被对象直接反射并返回到测距相机。同时，第二路径中的光从测距相机到达镜面反射器、被镜面反射器反射到达对象，并且进一步在同一路径中经由镜面反射器从对象返回到测距相机。除此之外，根据对象的形状，来自这两条不同路径的光可能在对象的同一点(表面)上发生干涉(这种现象称为多径干涉)。在某些情况下，由于接收到干涉光，测距相机可能无法正确测量对象的距离和形状。然而，由于专利文献2中公开的技术没有考虑如上所述的多径干涉来测量对象，所以难以精确测量对象的距离和形状。
因此，鉴于前述内容，本公开提出了新型改进的成像装置和监控装置，其能够精确测量难以由一个测距相机直接测量的对象区域的距离和形状。
问题的解决方案
根据本公开，提供了一种成像装置，包括：传感器单元，其被配置为用光照射对象并检测由对象反射的光；距离计算单元，其被配置为基于传感器单元的感测数据计算到对象的距离；镜面反射器，其位于对象上的传感器单元的相对侧；以及校正单元，被配置为校正包括在所计算的距离中的误差，所述误差是由沿着从传感器单元朝向对象的第一路径的光和沿着从传感器单元由镜面反射器反射而朝向对象的第二路径的光之间的干涉引起的。
此外，根据本公开，提供了一种成像装置，包括：传感器单元，其被配置为用光照射对象并检测由对象反射的光；距离计算单元，其被配置为基于传感器单元的感测数据计算到对象的距离；以及校正单元，被配置为校正包括在所计算的距离中的误差，所述误差是由沿着从所述传感器单元朝向所述对象的第一路径的光和沿着从所述传感器单元由镜面反射器反射而朝向所述对象的第二路径的光之间的干涉引起的，所述镜面反射器隔着所述对象位于所述传感器单元的相对侧。
此外，根据本公开，提供了一种安装有成像装置的监控装置，所述成像装置包括：传感器单元，其被配置为用光照射对象并检测由对象反射的光；距离计算单元，其被配置为基于传感器单元的感测数据计算到对象的距离；以及校正单元，被配置为校正包括在所计算的距离中的误差，所述误差是由沿着从所述传感器单元朝向所述对象的第一路径的光和沿着从所述传感器单元由镜面反射器反射而朝向所述对象的第二路径的光之间的干涉引起的，所述镜面反射器隔着所述对象位于所述传感器单元的相对侧。
本发明的效果
如上所述，根据本公开，可以提供能够精确测量由一个测距相机难以测量的对象区域的距离和形状的成像装置和监控装置。
注意，上述效果没有必要受到限制，并且除了上述效果之外或者代替上述效果，可以施加本说明书中描述的任何效果或者可以从本说明书中掌握的其他效果。
附图说明
[图1]是示出根据本公开的实施方式的测距系统1的配置实例的示图；
[图2]是根据实施方式的用于描述使用镜面反射器20测量对象50的说明图(部分1)；
[图3]是根据实施方式的用于描述使用镜面反射器20测量对象50的说明图(部分2)；
[图4]是根据实施方式的用于描述使用镜面反射器20测量对象50的说明图(部分3)；
[图5]是根据实施方式的用于描述使用镜面反射器20测量对象50的说明图(部分4)；
[图6]是示出根据实施方式的测距相机10的配置的框图；
[图7]是示出根据实施方式的处理装置30的配置的框图；
[图8]是根据实施方式的用于描述测量方法的实例的流程图；
[图9]是根据实施方式的用于描述测量镜面反射器20的方法的实例的说明图；
[图10]是根据实施方式的用于描述校正方法的实例的说明图；
[图11]是用于描述实施方式的应用1的说明图；
[图12]是用于描述实施方式的应用2的说明图；
[图13]是用于描述实施方式的应用3的说明图；
[图14]是用于描述实施方式的应用4的说明图；
[图15]是示出根据实施方式的处理装置900的硬件配置的实例的说明图。
具体实施方式
将参考附图详细描述本公开的有利实施方式。注意，在本说明书和附图中，通过提供相同的符号，省略了具有基本相同功能配置的配置元件的重叠描述。
注意，将按以下顺序给出描述。
1.根据本公开的实施方式的测距系统1的概述
2.使发明人根据本公开创建实施方式的背景
3.根据本公开的实施方式的测距系统1中包括的每个装置的细节
3.1测距相机10的详细配置
3.2处理装置30的详细配置
4.根据本公开的实施方式的测量方法
4.1测量镜面反射器
4.2校正多径干涉引起的误差
4.3确定是否发生多径
5.本公开的实施方式的应用
5.1应用1
5.2应用2
5.3应用3
5.4应用4
6.结论
7.硬件配置
8.补充
<<1.根据本公开的实施方式的测距系统1的概述>>
首先，将参考图1描述根据本公开的实施方式的测距系统(成像装置)1的概况。图1是示出根据本实施方式的测距系统1的配置实例的示图。如图1所示，根据本实施方式的测距系统1包括测距相机10、镜面反射器20和处理装置30。此外，在图1中，示出了要被测量距离的对象50，并且测距相机10和镜面反射器20被设置成在对象50上彼此面对。换言之，镜面反射器20位于对象50上测距相机10的相对侧。例如，根据本公开的实施方式的测距系统1可以通过使用镜面反射器20捕捉具有测距相机10的对象50的表面，该表面对应于从测距相机10(即使只有一个测距相机10)观察的背面。注意，在图1中镜面反射器20具有平面形状，并且被安装成使得镜面反射器20的镜面与地板表面正交。在下文中，将描述测距系统1中包括的每个装置的概况。
(测距相机10)
根据本实施方式的测距相机10是使用红外光等测量对象50的距离和形状(深度)的测距装置。具体地，例如，测距相机10向对象50发射照射光，接收由对象50反射的反射光，并且检测照射光和反射光之间的相位差，从而测量对象50的距离和形状。这种测距方法称为间接飞行时间(TOF)法。例如，当在室内高达约3m的距离处测量对象50时，该方法是合适的。
此外，在本实施方式中，测距相机10可以检测从已经发射照射光时到在对象50反射该发射光之后接收发射光作为反射光时的光的往返时间，从而测量对象50的距离和形状。这种测距方法称为直接TOF法。例如，这种方法适用于在测量位于室外高达约5m的距离处的对象50时是合适的。此外，测距相机10可以是通过结构光方法测量到对象50的距离(深度)的装置。结构光方法是将具有预定图案的光投射到对象50的表面上并分析投射光图案的变形的方法，从而估计到对象50的距离。
注意，假设测距相机10是与间接TOF方法兼容的测距相机，给出以下描述。此外，假设测距相机10包括用于对对象50等成像的成像单元120(见图6)。此外，下面将描述测距相机10的详细配置。
(镜面反射器20)
镜面反射器20具有用于镜面反射光的表面，该表面例如是使用诸如银或铝等金属、金属膜等制成的表面。此外，在从上述测距相机10发射的光是红外线的情况下，镜面反射器20可以是反射红外线的膜。
如图1所示，镜面反射器20被安装成在对象50上面向测距相机10。注意，在本实施方式中，假设镜面反射器20的镜面与测距相机10之间的距离以及镜面反射器20的姿态在测量对象50的距离之前是已知的或者假设被测量。此外，在本实施方式中，例如，可以提供用于固定测距相机10和镜面反射器20的固定构件806(见图11)，以将镜面反射器20固定在已知距离处。此外，在本实施方式中，可以在镜面上设置标记200，以测量镜面反射器20的距离和姿态。注意，下面将描述固定构件806和标记200的细节。
此外，在反射镜等作为镜面反射器20预先安装在执行测量的空间的壁840(见图13)上的情况下，镜面反射器20可以不包括在根据本实施方式的测距系统1中。
(处理装置30)
处理装置30是基于由测距相机10检测到的相位差来计算对象50的距离和形状的装置。例如处理装置30是诸如个人计算机(PC)、平板PC或个人数字助理(PDA)的终端，并且用于实现本实施方式的应用程序安装在其中。如图1所示，处理装置30经由通信电缆60与测距相机10连接，以从测距相机10接收感测数据。注意，在本实施方式中，处理装置30和测距相机10之间的连接不限于如图1所示的有线连接，并且可以经由无线通信进行连接。
此外，在本实施方式中，处理装置30中的处理可以由测距相机10执行，换言之，该处理可以由测距相机10以独立的方式执行。此外，例如，根据本实施方式的处理装置30可以是在连接到网络(例如，云计算)的前提下包括多个装置的系统。
<<2.使发明人根据本公开创建实施方式的背景>>
接下来，在描述根据本公开的实施方式的细节之前，将参考图2至图5描述使发明人根据本公开创建实施方式的背景。图2至图5是用于描述使用根据本实施方式的镜面反射器20测量对象50的说明图。
例如，在一个测距相机10不能测量的区域(例如，对象50的背面)存在于要由测距相机10测量的对象50中的情况下，需要多个测距相机10。例如，专利文献1公开了一种如上所述使用多个测距相机10测量对象50的背面等的方法。根据该方法，由于需要多个测距相机10，所以难以避免增加构建测距系统1的成本。此外，在组合包括由多个测距相机10获得的距离信息的图像，以获得三维图像的情况下，需要适当地对准由测距相机10获得的点组信息。因此，由多个测距相机10测量的区域的部分需要彼此重叠。结果，在专利文献1中公开的技术中，测距相机10的安装位置受到限制，因此在跟随自由移动的对象50的同时测量对象50并不容易。此外，在专利文献1中公开的技术中，多个测距相机10需要彼此同步，以避免测距相机10之间的干涉。
为了抑制成本的增加，可以想到一个测距相机10围绕对象50移动并测量对象50，或者旋转并测量对象50本身。在这种情况下，测量需要时间，此外，不能处理对象50随时间动态变化(例如，对象50随时间改变形状)的情况。
此外，可以想到，组合使用一个测距相机10和镜面反射器20来测量不能被测距相机10测量的区域。作为这种方法，可以引用专利文献2中公开的技术。具体地，如图2所示，图2是从侧表面侧观察的图1的示图，镜面反射器20被安装成垂直于地板表面，并且对象50安装在测距相机10和镜面反射器20之间。此时，测距相机10的光轴面向图2中的向右方向。然后，测距相机10用光照射对象50。发射光的一部分到达对象50的正面50a(图2中的左侧表面)，被正面50a反射，并被测距相机10接收。注意，在以下描述中，这种光路称为第一路径500。同时，发射光的另一部分到达镜面反射器20，被镜面反射器20反射，并到达对象50的背面50b(图2中的右侧表面)。此外，在光被对象50的背面50b反射之后，光再次到达镜面反射器20，被镜面反射器20反射，并且被测距相机10接收。注意，在以下描述中，这种光路称为第二路径502。这种第二路径是唯一确定的，因为光被镜面反射。
因此，在测量对象50的背面50b的距离的情况下，测距相机10测量从测距相机10被镜面反射器20反射并到达对象50的距离，而不是从测距相机10到镜面反射器20的距离。
然后，用第二路径中的光测量的对象50的背面50b的图像被测距相机10测量，好像存在于镜面反射器20之外，如图3所示。注意，在以下描述中，将所观察到的好像存在于镜面反射器20之外的图像称为镜像602。此外，在以下描述中，观察到存在于镜面反射器20的前侧(例如，对象50的正面50a)上的图像称为实像600。
换言之，上述实像600和镜像602具有镜像关系。此时，如果从测距相机10观察的镜面反射器20的位置和姿态是已知的，则镜面图像602相对于镜面反射器20的平面反转，如图4所示，以匹配实像600，由此可以获得对象50的三维图像。
顺便说一下，如图5所示，根据对象50的形状，可以存在第一路径500中的光和第二路径502中的光都到达的表面，并且第一路径500中的光和第二路径502中的光都通过该表面反射，例如，对象50的上表面50c。第一路径500中的光和第二路径502中的光相位彼此不同，因为路径的长度彼此不同，并且第一路径500中的光和第二路径502中的光在对象50等的上表面50c上引起干涉700。结果，测距相机10接收以这种方式引起的干涉光。因此，由测距相机10接收的光具有与由于干涉700而最初接收的相位不同的相位。结果，在测量的距离中出现误差(失真)，并且不能获得最初测量的正确距离。注意，在以下描述中，这种现象称为多径干涉700。换言之，在下面的描述中，多径干涉700是指光在彼此不同的路径上产生干涉700，并且是由于提供镜面反射器20而引起的现象，尽管这取决于对象50的形状。
然而，如上所述，由于专利文献2中公开的技术没有考虑到上述多径干涉700来测量对象，所以难以精确测量对象50的距离和形状。
因此，鉴于上述情况，本发明人已经创建了本公开的实施方式，用于能够精确测量对象50的区域的距离和形状，由于对象50本身的阻挡等原因，难以由一个测距相机10直接测量该距离和形状。具体地，根据下面描述的本公开的实施方式，通过提供镜面反射器20，即使在通过提供镜面反射器20出现多径干涉700的情况下，也可以精确地测量对象50的距离和形状。在下文中，将依次详细描述本公开的实施方式的细节。
<<3.根据本公开的实施方式的测距系统1中包括的每个装置的细节>>
接下来，将描述根据本公开的实施方式的测距系统1中包括的每个装置的细节。具体地，如上所述，根据本实施方式的测距系统1包括测距相机10、镜面反射器20和处理装置30。在下文中，将描述根据本实施方式的测距相机10和处理装置30的细节。
<3.1测距相机10的详细配置>
首先，将参考图6描述测距相机10的详细配置。图6是示出根据本实施方式的测距相机10的配置的框图。如图6所示，测距相机10主要包括传感器单元100、相位差计算单元110、成像单元(颜色传感器单元)120、控制单元150和通信单元160。在下文中，将描述测距相机10的每个功能单元的细节。
(传感器单元100)
传感器单元100主要包括用光照射对象50的照射单元102和接收(检测)反射光的光接收单元104。
具体地，照射单元102包括激光源(未示出)、光学元件(未示出)和光电元件(未示出)。例如，激光二极管用作激光光源，并且可以通过适当选择激光二极管来改变发射光的波长。注意，在本实施方式中，假设照射单元102发射波长约为785nm的红外光来给出描述。此外，多个激光光源可以设置在照射单元102中。此外，光学元件具有例如准直透镜等，并且具有从激光源发射光作为近似平行光的功能。此外，光接收元件包括互补金属氧化物半导体(CMOS)图像传感器等，例如，接收发射光的一部分，并且基于接收光的强度生成接收光信号，具体地，与接收光的强度近似成比例的信号。然后，光接收元件将生成的信号输出到下面描述的相位差计算单元110。
注意，激光源由下面描述的控制单元150驱动，并且用光照射对象50。此外，从激光源发射的光的强度也由下面描述的控制单元150控制。此外，照射单元102可以包括光投影镜(未示出)等。
光接收单元104包括聚光透镜(未示出)和光接收元件(未示出)。聚光透镜具有将接收到的光收集到光接收元件的功能。此外，例如，光接收元件包括具有多个像素等的CMOS图像传感器，并且基于接收光的强度生成接收光信号，具体地，与接收光的强度成比例的信号。因此，测距相机10可以获取对应于每个像素的光强度。此外，光接收元件将生成的信号输出到下面描述的相位差计算单元110。此时，光接收单元104可以设置有放大放大器(未示出)等，并且可以在放大信号之后将生成的信号输出到相位差计算单元110。注意，光接收单元104可以包括光收集单元(未示出)等。
(相位差计算单元110)
相位差计算单元110计算从照射单元102和光接收单元104输出的信号之间的相位差，换言之，从照射单元102发射的光和光接收单元104接收的光之间的相位差，并将计算的相位差(感测数据)输出到下面描述的处理装置30。注意，相位差计算单元110的功能可以由下面描述的处理装置30来执行。
(成像单元120)
成像单元120获取对象50的彩色捕捉图像。具体地，成像单元120包括诸如CMOS图像传感器等成像元件(未示出)和信号处理电路(未示出)，该信号处理电路将成像信号处理应用于由成像元件光电转换的信号。上述成像元件转换来自对象50的入射光作为光学图像；并且上述信号处理电路以像素为单位对所聚焦的光学图像进行光电转换，读取每个像素的信号作为成像信号；处理图像从而获取捕捉的图像。例如，成像单元120将通过成像获得的捕捉图像输出到处理装置30。此外，成像单元120包括由成像透镜、光圈机构、变焦透镜、聚焦透镜等配置的光学系统机构(未示出)以及控制光学系统机构的操作的驱动系统机构(未示出)。注意，成像单元120可以与测距相机10分开设置，只要测距相机10相对于传感器单元100的相对位置和姿态是已知的。
(控制单元150)
例如，控制单元150由诸如中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)之类的硬件实现，并且控制测距相机10的功能单元。
(通信单元160)
通信单元160是具有发送/接收数据功能的通信接口，并且可以向诸如处理装置30等外部装置发送/从其接收信息。通信单元160由通信端口、通信天线和通信装置(例如，发送/接收电路)来实现。
注意，测距相机10可以还包括镜面反射器传感器单元(未示出)，其使用超声波等测量镜面反射器20的距离和姿态。
<3.2处理装置30的详细配置>
接下来，将参考图7描述处理装置30的详细配置。图7是示出根据本实施方式的处理装置30的配置的框图。如图7所示，处理装置30主要包括距离计算单元300、校正单元310、确定单元320、图像处理单元330、控制单元350和通信单元360。下面将描述处理装置30的每个功能单元的细节。
(距离计算单元300)
距离计算单元300基于从上述测距相机10输出的相位差计算测距相机10到对象50的距离。
(校正单元310)
校正单元310校正包括在计算的距离中的误差，该误差由第一路径中的光和第二路径中的光之间的干涉700(多径干涉700)引起。注意，下面将描述校正单元310的处理的细节。
(确定单元320)
确定单元320确定是否存在由上述多径干涉700引起而出现的误差。例如，确定单元320根据倒置对象50的镜像602和对象50的实像600之间是否存在匹配来确定是否存在误差的出现。注意，下面将描述确定单元320的处理的细节。
(图像处理单元330)
图像处理单元330基于由上述距离计算单元300获得的对象50中每个像素(点)的距离信息来获取对象50的一组三维点。此外，图像处理单元330还可以基于镜面反射器20的位置和姿态对对象50的镜像602的一组三维点执行反转处理。
(控制单元350)
例如，控制单元350由诸如CPU、ROM和RAM等硬件实现，并且控制处理装置30的每个功能单元。
(通信单元360)
通信单元360是具有发送/接收数据的功能的通信接口，并且可以向诸如测距相机10等外部装置发送/从外部装置接收信息。类似于上述通信单元160，通信单元360由通信端口、通信天线和通信装置(例如，发送/接收电路)来实现。
<<4.根据本公开的实施方式的测量方法>>
上面已经描述了包括在根据本公开的实施方式的测距系统1中的每个装置的细节。接下来，将参考图8描述根据本实施方式的测量方法。图8是根据本实施方式的用于描述测量方法的实例的流程图。如图8所示，根据本实施方式的测量方法包括从步骤S101到步骤S115的多个步骤。在下文中，将描述根据本实施方式的测量方法中包括的每个步骤的细节。
(步骤S101)
首先，处理装置30获取一组三维点，该一组三维点包括基于来自测距相机10的感测数据计算的对象50的每个点的坐标信息和距离信息。
(步骤S103)
接下来，处理装置30确认是否已经获取了从测距相机10观看的镜面反射器20的位置和姿态的信息。在尚未获取信息的情况下，处理装置30前进到步骤S105，并且在已经获取信息的情况下，处理装置30前进到步骤S107。
(步骤S105)
处理装置30获取从测距相机10观看的镜面反射器20的位置和姿态的信息。例如，测距相机10测量镜面反射器20的位置和姿态，并且处理装置30获取测量结果。注意，将在下面描述镜面反射器20的位置和姿态的测量的细节。
(步骤S107)
接下来，处理装置30校正由于提供镜面反射器20引起的多径干涉700造成的误差，并获取已经应用了该校正的对象50的一组三维点。注意，下面将描述校正的细节。
(步骤S109)
处理装置30相对于镜面反射器20的平面反转已经在步骤S107中应用了校正的镜像602的一组三维点，以使反转的镜像602与已经应用了校正的实像600的一组三维点相匹配。注意，在反转镜像602时，使用在步骤S105中获取的镜面反射器20的位置和姿态的信息。
(步骤S111)
在步骤S109中，处理装置30基于实像600和镜像602之间是否存在匹配，针对对象50的每个区域(点)确定是否存在多径干涉700。在确定没有发生干涉700的情况下，处理装置30前进到步骤S113，并且在确定发生干涉700的情况下，处理装置30前进到步骤S115。注意，下面将描述确定是否存在多径干涉700的细节。
(步骤S113)
处理装置30取消在步骤S107中执行的校正，并且获取未应用校正的一组三维点。
(步骤S115)
例如，处理装置30对对象50的所有区域(点)执行上述一系列步骤，最终获取对象50的不受多径干涉700影响的一组三维点，并将一组三维点输出给用户等。注意，已经根据是否存在多径干涉700进行了校正，或者在此时获取的一组三维点中尚未进行校正。因此，对象50的实像600匹配倒置的镜像602。过去，存在这样的情况，即，在实像600与反转的镜像602的对准中，在用户的输入操作消除间隙之后需要对准。在本实施方式中，这种输入操作不是必需的。此外，在过去，存在这样的情况，即，在实像600与反转的镜像602的对准中，提供了实像600和镜像602中共同观察到的共同区域，并且需要基于共同区域的对准。在本实施方式中，这样的操作不是必需的。
注意，在图8所示的测量方法中，根据校正后的实像600和镜像602的重合来确定是否存在干涉。然而，本实施方式不限于该方法。例如，在本实施方式中，可以根据校正前的实像600和镜像602之间的匹配来确定是否存在干涉，并且可以基于确定结果来选择是否执行校正。
在下文中，将依次描述在步骤S105中镜面反射器20的位置和姿态的测量的细节、在步骤S107中的校正的细节以及在步骤S111中确定是否存在误差的细节。
<4.1镜面反射器的测量>
首先，将参考图9描述在步骤S105中镜面反射器20的位置和姿态的测量的细节。图9是根据本实施方式的用于描述测量镜面反射器20的方法的实例的说明图。
顺便说一下，因为镜面反射是在镜面反射器20的镜面上引起的，所以进入镜面反射器20的入射光和镜面反射器20反射的反射光不会遵循相同的路径。因此，测距相机10不能直接测量到镜面反射器20的距离。因此，在本实施方式中，例如，具有不太光滑表面的标记200附接到镜面反射器20的镜面。然后，由于在这种标记200的表面上不发生镜面反射，所以测距相机10可以测量到标记200的距离，并且因此可以测量镜面反射器20的位置和姿态。注意，此时检测标记200的方法可以由用户为标记200的捕捉图像手动选择。当标记200的形状已知时，测距相机10可以基于该形状自动检测该方法，并且不受特别限制。
具体地，如图9左侧所示，具有非光滑表面的标记200a沿着镜面反射器20a的表面的四个角附接。在这种情况下，可以通过测量四个标记200a来测量镜面反射器20a的位置和姿态。注意，如图9左侧所示，标记200a不限于圆形，并且标记200a的数量不限于四个。例如，在本实施方式中，标记200可以包括彼此间隔设置的三个或更多个标记(标记部分)。
此外，在本实施方式中，标记200b可以是三角形，如图9的中心所示。在这种情况下，可以通过测量标记200b的顶点来测量镜面反射器20b的位置和姿态。此外，在本实施方式中，标记200c可以沿着镜面反射器20c的平面的四个角具有框架状形状，如图9中右侧所示。在这种情况下，可以通过测量标记200c的顶点来测量镜面反射器20c的位置和姿态。
此外，在本实施方式中，测量方法不限于使用标记200的上述方法，只要可以通过测量方法来测量镜面反射器20的位置和姿态。例如，根据本实施方式，可以通过提供镜面反射器测量单元(镜面反射器传感器单元)来测量镜面反射器20的位置和姿态，该镜面反射器测量单元从测距相机10向镜面反射器20发射超声波。此外，根据本实施方式，可以通过使用镜面反射器20的捕捉图像的运动捕捉方法来测量镜面反射器20的位置和姿态，并且测量方法没有特别限制。注意，在本实施方式中，镜面反射器20和测距相机10是固定的。当位置和姿态之间的相对关系已知时，上述标记200、镜面反射器测量单元等不是必需的。
在本实施方式中，仅需要对于每个成像帧已知的测距相机10和镜面反射器20之间的相对位置关系。因此，在本实施方式中，在测距相机10和镜面反射器20之间的相对位置关系动态变化的情况下，仅需要对于每个成像帧，使用上述方法获取测距相机10和镜面反射器20之间的相对位置关系。
<4.2校正多径干涉引起的误差>
接下来，将参考图10描述步骤S107中的校正的细节。图10是根据本实施方式的用于描述校正方法的实例的说明图。详细地，图10示意性地示出了测距相机10的相机中心O、镜面反射器20、由测距相机10最初测量的对象50的位置xd(在不受多径干涉700影响的情况下要测量的对象50的位置)和包括多径干涉700引起的误差的对象50的观察位置xobs之间的位置关系。
如上所述，根据对象50的形状，第一路径500中的光和第二路径502中的光导致对象50的上表面50c上的干涉700等(由于多径而引起的干涉700)，并且测距相机10接收具有与使测量的相位不同的相位的光。结果，在测量的距离中出现误差(失真)，并且不能获得对象50的正确距离。因此，在本实施方式中，执行对由于安装镜面反射器20引起的多径干涉700引起的误差的校正，并且获取对象50的正确距离。
具体地，在本实施方式中，由将要描述的模型(估计值)表示在受由于安装镜面反射器20引起的多径干涉700影响的情况下估计出的相位，换言之，由测距相机10测量的相位。然后，在本实施方式中，通过最小化由模型估计的相位和实际测量的相位之间的差来估计由测距相机10最初测量的相位，换言之，该相位不受多径干涉700的影响。此外，在本实施方式中，基于估计来校正误差，并且计算对象50的距离。
首先，在本实施方式中，将参考图10描述用于估计在第一路径500中的光和第二路径502中的光干涉的情况下，换言之，在干涉由于多径而发生的情况下获得的相位的模型。
在本实施方式中，由于第一路径500中的光和第二路径502中的光是从同一个测距相机10发射的，所以第一路径500中的光和第二路径502中的光被认为具有相同的频率。因此，在由于多径而发生干涉的情况下获得的干涉光可以被认为是具有相同频率和不同相位和幅度的波形的组合波。因此，在第一路径500中的光的相位是Pd并且第二路径502中的光的相位是Pr的情况下，在点xd处干涉光的相位Pi由以下表达式(1)表示，此时光从测距相机10发射并且到达对象50表面上的点xd。注意，Pd和Pr是单向相位，并且是不受镜面反射器20引起的多径干涉700影响的理想相位。此外，在下面的表达式(1)中，在对象50的点xd处的第一路径500中的光和第二路径502中的光干涉，第一路径500中的光的幅度和第二路径502中的光的幅度分别是powerd和powerr。
[数学式1]
接下来，相位Pd和Pr、第一路径500的单向路径长度ld和第二路径502的单向长度lr之间的关系由以下表达式(2)表示。注意，在表达式(2)中，f表示测距相机10发射的光的频率，c表示光速。
[数学式2]
顺便说一下，实际上，在第一路径500中的光和第二路径502中的光干涉的时间点，第一路径500中的光和第二路径502中的光所遵循的路径长度ld和lr是不同的。因此，由于根据平方反比定律，在特定点处的光的振幅(功率)与从光源到该点的距离的平方成反比，所以第一路径500中的光的振幅和第二路径502中的光的振幅彼此不同。此外，当假设光被对象50兰伯特反射时，需要考虑入射光(第一路径500中的光和第二路径502中的光)相对于对象50的点xd处的法向矢量的方向，在该点处，第一路径500中的光和第二路径502中的光干涉。
因此，在测距相机10发射时的光的振幅为1的情况下，在点xd处的第一路径500中的光的振幅powerd和第二路径502中的光的振幅powerr可以由以下表达式(3)表示。注意，在表达式(3)中，αd和αr表示由第一路径500中的光和已经进入点xd的第二路径502中的光的法向矢量和方向矢量形成的点xd处的角度。此外，表达式(3)中的rm表示镜面反射器20的反射率，并且在0≤rm≤1的范围内是常数。反射率rm根据镜面反射器20的反射表面的材料而不同。注意，在本实施方式中，镜面反射器20的反射率rm是已知的。
[数学式3]
顺便说一下，在对象50的第一路径500中的光和第二路径502中的光发生干涉的点xd处，已经在第一路径500中的光和第二路径502中的光中发生兰伯特反射。因此，表达式(3)中的cosαd和cosαr被认为近似为1。
因此，通过将表达式(2)和(3)应用于上述表达式(1)，干涉光在点xd处的相位Pi由以下表达式(4)表示为Pd和Pr的函数。注意，表达式(4)中建立了A＝c/2πf。
[数学式4]
通过使用由上述表达式(4)表示的模型，可以估计点xd处干涉光的相位P1。
顺便说一下，在对象50的点xd处干涉的干涉光然后到达测距相机10。此时，在干涉光遵循类似于第一路径500的路径的情况下，换言之，在干涉光从对象50直接到达测距相机10的情况下，光到达测距相机10时的光的相位Po进一步偏移Pd。换言之，在干涉光沿着第一路径500行进的情况下，光的相位Po由以下表达式(5)表示。
[数学式5]
如上所述，在通过安装镜面反射器20由于多径而发生干涉700的情况下观察到的光的相位Po可以由表达式(5)建模。
然后，在本实施方式中，通过最小化由上述表达式(5)表示的模型所表示的相位Po和实际观察到的相位Pobs之间的差，获得了在没有由于发生多径干涉700的情况下观察到的理想相位Pd和Pr。这里，实际上，包括由于安装镜面反射器20而发生的多径干涉700引起的并由测距相机10观察到的误差的相位是Pobs。注意，相位Pobs是从测距相机10的相机中心O到点xobs的所谓单向相位，并且由表达式(5)表示的相位Po是从测距相机10的相机中心O到点xobs的往返相位。因此，通过上述表达式(5)由模型表示的相位Po和实际观察到的相位Pobs之间的差f1(Pd，Pr)由以下表达式(6)表示。
[数学式6]
此外，类似于上述描述，当干涉光到达测距相机10时，在干涉光遵循类似于第二路径502的路径的情况下，换言之，在干涉光经由镜面反射器20从对象50到达测距相机10的情况下，相位进一步偏移Pr。换言之，干涉光沿着第二路径502行进的情况下的光的相位Pp由以下表达式(7)表示。注意，在这种情况下，观察对象50，好像存在于从测距相机10观察的点xr处，换言之，好像镜像602存在于点xr处。
[数学式7]
然后，类似于上述描述，通过上述表达式(7)由模型表示的相位Pp和实际观察到的相位Pobs之间的差f2(Pd，Pr)由以下表达式(8)表示。
[数学式8]
然后，通过最小化由上述表达式(6)和(8)表示的差f1(Pd，Pr)和差f2(Pd，Pr)，换言之，通过将作为实际测量值的相位Pobs与在受到多径干涉700的影响的情况下引起的估计的相位的估计值进行比较，可以获得Pd和Pr。注意，从上述表达式(2)可以看出，当从测距相机10发射的光的频率f和光速c已知时，可以从Pd和Pr获得从测距相机10的相机中心O到点xd的距离ld和lr。然后，通过用Pd和Pr替换观察到的相位Pobs，可以校正由多径干涉700引起的误差。
此外，可以从测距相机10获得的对象50的一组三维点的信息中获得从测距相机10的相机中心O穿过点xobs的直光的表达式。顺便说一下，由于安装镜面反射器20而引起的多径干涉700影响观察到的相位，换言之，影响距离值，并且不影响光传播的方向。此外，由于镜面反射器20的位置和姿态是已知的，所以当点xd的位置已知时，点xr的位置是唯一确定的。具体地，测距相机10的相机中心O、点xd和点xobs存在于同一直线上。此外，点xr存在于相对于镜面反射器20的平面与点xd对称的位置。因此，通过在扫描从相机中心O到对象50的直线的同时获得上述表达式(6)和(8)最小化的点，可以获得理想观察点xd的位置，换言之，可以获得距离ld。此外，因为基于点xd确定xr的位置，所以可以获得从相机中心O到点xr的距离lr。
<4.3确定是否发生多径>
接下来，将依次描述在步骤S111中确定是否存在误差的细节。顺便说一句，如在发生多径干涉700的描述中所提到的，根据对象50的形状，可能不会发生多径干涉700。此外，即使在同一对象50中，发生多径干涉700的区域和不发生多径干涉700的区域也共存。在这种情况下，如果对所有观察数据点执行上述校正，则过度校正不发生多径干涉700的区域。因此，有可能获得与实际对象50显著不同的一组三维点。因此，在本实施方式中，无论是否已经发生多径干涉700，具体地，区分发生多径干涉700的区域和不发生多径干涉700的区域。
首先，在本实施方式中，对包括实像600和镜像602的所有观察到的一组三维点执行上述校正。接下来，已经应用了校正的镜像602相对于镜面反射器20的平面反转，并且使反转的镜像602与已经应用了校正的实像600匹配。此时，在发生多径干涉700的区域的情况下，反转镜像602和实像600的位置和形状相匹配。另一方面，在不发生多径干涉700的区域的情况下，由于过度校正，反转镜像602和实像600的位置和形状不匹配。
在本实施方式中，假设测距相机10的所有相机参数(焦距等)都是已知的。因此，可以从距离图像计算对象50的一组三维点，该距离图像包括由测距相机10获取的每个像素的距离值。换言之，因为距离图像中包括的每个像素和一组三维点一对一地对应，所以一组三维点可以投影在二维距离图像上。因此，在本实施方式中，从对象50的实像600获得的一组三维点和从镜像602获得的一组三维点投影到距离图像上。在投影反转镜像602的一组三维点时，存在每个像素的坐标移动并且反转镜像602的一组三维点的像素不对应于投影在相同距离图像上的实像的一组三维点的像素的情况。在这种情况下，反转镜像602的一组三维点中的每个像素被视为与位于附近的像素对应的像素。作为获得像素之间的对应关系的方式，例如，可以选择各种存储方法，例如，最近邻插值和双线性插值。这样，在本实施方式中，获得实像600的一组三维点和反转镜像602的一组三维点之间的对应关系。
此时，考虑到当对应实像600的一组三维点的点和反转镜像602的一组三维点的点之间的距离小于预设阈值时，获得适当的对应关系，维持上述校正的应用。另一方面，当对应实像600的一组三维点的点和反转镜像602的一组三维点的点之间的距离等于或大于预设阈值时，确定没有获得适当的对应关系。在这种情况下，取消校正，估计由于过度校正而不能获得对应关系，换言之，考虑到没有在适当的点发生多径干涉700，并且用通过采用在测距相机10中照原样观察到的值而获得的信息代替该值。换言之，根据本实施方式，可以基于实像600的一组三维点和反转镜像602的一组三维点之间的匹配状态，来区分发生多径干涉700的区域和不发生多径干涉700的区域。
此外，在本实施方式中，由测距相机10的成像单元120获得的彩色图像可以用于上述区分。这样做，可以更容易和准确地执行区分发生多径干涉700。
具体地，假设测距相机10的传感器单元100和成像单元120之间的相对位置关系是已知的，并且假设传感器单元100和成像单元120的相机参数等是已知的。此时，可以指定由传感器单元100获得的距离图像的每个像素和由成像单元120获得的彩色图像的每个像素之间的对应关系。因此，在本实施方式中，可以获取每个像素的距离值和颜色信息。因此，在本实施方式中，比较实像600的彩色图像和镜像602的彩色图像，并且指定包括在两个彩色图像中的对象50的区域。由于包含在两个彩色图像中的区域通过第一路径500中的光对应于实像600，并且通过第二路径502中的光对应于镜像602，所以该区域对应于发生多径干涉700的区域的可能性很高。因此，在本实施方式中，通过由彩色图像指定这样的区域，并且进一步提取对应于指定区域的像素的一组三维点，可以获取发生多径干涉700的区域。换言之，根据本实施方式，通过参考彩色图像，可以更容易和准确地执行区分发生多径干涉700。例如，在根据实像600和反转镜像602之间是否存在匹配，来区分发生多径干涉700的区域时发生区分泄漏的情况下，可以执行和补充使用彩色图像的区分。因此，可以高精度无泄漏地进行区分。
此外，在实像600和反转镜像602中执行特征点匹配，并且在两个图像中都可以检测到匹配点的情况下，可以估计实像600和反转镜像602匹配。此时，特征点不一定在所有像素中都匹配。因此，在这种情况下，在本实施方式中，基于由成像单元120获取的彩色图像，对实像600和反转镜像602执行通过颜色分割的区域划分。然后，对每个划分的区域计数特征点匹配的点数，并且估计包括匹配点数的区域，该匹配点数等于或大于预设阈值，实像600和反转镜像602匹配，并且该区域被区分为发生多径干涉700的区域。另一方面，估计包括匹配点数的区域，该匹配点数小于上述阈值，实像600和反转镜像602不匹配，并且该区域被区分为未发生多径干涉700的区域。注意，区域划分不限于颜色分割，并且可以基于从对象50的图像获得的纹理等来执行。
在本实施方式中，区分已经发生多径干涉700的区域的方法不限于上述方法。例如，可以通过由用户从对象50等的彩色图像中指定对应于已经发生多径干涉700的区域的部分来指定该区域。此外，可以通过从由用户通过颜色分割而划分的区域中指定特定区域来指定该区域。
<<5.本公开的实施方式的应用>>
已经描述了本公开的实施方式的细节。在下文中，将利用特定应用来描述本公开的实施方式的实例。注意，下面将要描述的应用仅仅是本公开的实施方式的实例，并且本公开的实施方式不限于下面的应用。
<5.1应用1>
首先，将参考图11描述本公开的实施方式的应用1。图11是用于描述本实施方式的应用1的说明图，并且具体示出了使用本实施方式扫描患者等口腔中的齿列810的形状的状态。
例如，在牙科治疗中，在获得患者的假牙模具的情况下，可能需要时间来制备和固化形成假牙模具的材料，这对患者来说是一个负担。因此，如果直接扫描齿列810，并且可以获取齿列810的三维形状，而不是获取这样的假牙模具，则可以减少与获取假牙模具相关的患者负担。口腔狭窄，并且难以同时插入多个相机来获取三维形状。因此，可以想到通过相机扫描齿列810多次，例如，扫描齿列810的一侧表面、扫描另一侧表面，并且进一步扫描齿列810的上表面。然而，多次扫描齿列810也给患者带来沉重负担。
顺便说一下，在牙齿治疗中，包括小反射镜部分(反射镜顶部)和手柄部分(反射镜手柄)的器械称为反射镜(牙齿反射镜)，用于观察口腔中难以从外部视觉观察的区域。因此，可以想到诸如监控装置等应用，该应用通过将反射镜与根据本实施方式的测距相机10结合来扫描齿列810一次。
更具体地，如图11所示，根据本公开的实施方式的应用1的牙科器械800包括用于被牙医抓握的手柄部分802、测距相机10、小反射镜部分(镜面反射器)20d。此外，牙科器械800包括固定测距相机10和反射镜部分20之间的距离的固定构件806以及连接手柄部分802和固定构件806的接合部分804。在图11的实例中，由于测距相机10和反射镜部分20d之间的距离通过固定构件806固定到预定距离，并且反射镜部分20的姿态固定，所以反射镜部分20d的位置和姿态的测量是不必要的。因此，上述标记200不需要附接到反射镜部分20d的表面。此外，在图11中的实例中，接合部分804具有可旋转结构，并且测距相机10和反射镜部分20d围绕作为旋转轴的接合部分804旋转，同时相互相对位置固定，从而可以扫描各个位置处的齿列810(对象50)。
此外，在本应用中，由于在非常短的距离处进行测量，所以测距相机10发射的光的强度可能太强，并且测距相机10的光接收单元104的灵敏度变得饱和。因此，在本应用中，测距相机10发射的光的强度有利地设置为适合于短距离测量的条件，以避免这种饱和。
此外，在本应用中，测距相机10和反射镜部分20d之间的距离不需要固定，只要可以使用标记200等来测量反射镜部分20d的位置和姿态。在这种情况下，例如，测距相机10和反射镜部分20d可以分离或者可以相互自由移动。
通过应用如上所述的本公开的实施方式，多个测距相机10不是必需的。因此，在诸如口腔等狭窄空间中的测量变得容易，多个测距相机10不太容易插入该狭窄空间中。此外，在不仅需要扫描口腔而且需要扫描患者身体的各部分的治疗等中，可以应用本实施方式。此外，通过使用固定构件806来固定测距相机10和反射镜部分20d之间的距离，反射镜部分20d的位置和姿态的测量不是必需的。
<5.2应用2>
接下来，将参考图12描述本公开的实施方式的应用2。图12是本实施方式的用于描述应用2的解释图，并且示出了使用本实施方式识别坐上车辆820的用户的姿势的实例。注意，为了清楚起见，图12仅示出了坐上车辆820的用户的手(手势)830，并且省略了用户的其他身体部位的示图。
更具体地，考虑用户(驾驶员等)使用车辆820中的手势830执行车辆820的音频、汽车导航、空调等操作的情况。在这种情况下，如图12所示，在本应用中，测距相机10安装在车辆820的天花板上，并且手势830被测距相机10识别。此时，如图12所示，在用户执行手势830(例如，将食指伸向仪表板822)的情况下，根据测距相机10的位置或用户的手的方向，食指隐藏在用户的手背后面。结果，食指的手势830可能不会被测距相机10识别。
因此，在本应用中，镜面反射器20安装在仪表板822上，如图12所示。这样做，测距相机10可以使用镜面反射器20识别食指被手背阻挡的手势830(对象50)。此时，由于镜面反射器20仅需要反射从测距相机10发射的红外线，例如，所以镜面反射器20可以是反射红外线的膜。此外，当出现镜像602的位置相对于实像600已知时，可以实现本公开的实施方式。因此，在本应用中，具有已知曲率的前窗824可以通过将反射红外线的膜附接到前窗824而用作镜面反射器20。
如上所述，在本应用中，根据本实施方式的测距系统1应用于识别车辆中的手势830的监控装置。这样做，根据本应用，被阻挡并且不能识别的具有指尖等的手势830能够被安装在车辆820的天花板上的测距相机10识别。因此，根据本应用，可以区分更复杂的手势830。因此，可区分的手势830的类型的数量可以增加，并且即使使用一个测距相机10，车辆820中的更多各种装置等可以由用户容易地操作。
<5.3应用3>
接下来，将参考图13描述本公开的实施方式的应用3。图13是用于描述本实施方式的应用3的说明图，并且具体地，是用于描述例如使用本实施方式扫描运动中的人50d的全身的运动的三维监控系统的说明图。
在三维扫描运动中的人的运动时，经常使用一种称为运动跟踪装置的系统。运动跟踪装置可以通过例如将使用回射材料形成的多个标记附接到人，并且跟踪由人的运动引起的多个标记的运动，来三维扫描人的运动。然而，这种装置是昂贵的，并且由于多个标记附接到人，所以可能阻止人的运动。因此，在本应用中，将上述测距系统1应用于上述三维运动监控系统(监控装置)，在不将多个标记附接到人的情况下，对人的运动进行三维扫描。
更具体地，如图13所示，在诸如健身房等设施中，大反射镜20e通常设置在用于人50d的壁840的一个表面上，用于识别人50d的运动。因此，在本应用中，这样的大反射镜20e用作镜面反射器20。此外，如图13所示，测距相机10安装在该设施的天花板842上或者朝向作为对象50的人50d的背部。然后，通过由测距相机10连续获取人50d的实像600和镜像602，可以三维扫描运动中的人50d的运动。
在本公开的上述实施方式中，即使在人50d进行锻炼的情况下，换言之，在对象50等的形状随时间变化的情况下，也不会基于随时间变化的元素来校正多径干涉700引起的误差。因此，即使在作为对象50的人50d进行锻炼的情况下，换言之，在对象50随时间变化的情况下，也可以应用根据本实施方式的测距系统1，并且可以高精度地三维扫描对象50(人50d)的移动。
注意，在以上描述中，已经描述了一个测距相机10和一个反射器20e的安装，如图13所示。然而，在本应用中，反射镜20e的数量不限于一个，并且可以安装围绕作为对象50的人50d的三个反射镜20e。在这种情况下，不仅可以扫描人50d的正面和背面，还可以扫描人50d的侧面。注意，此时，为了校正由多个反射器20e引起的多径干涉700引起的误差，需要知道每个镜像602相对于实像600的位置。
<5.4应用4>
接下来，将参考图14描述本公开的实施方式的应用4。图14是用于描述本实施方式的应用4的说明图，并且具体地，是用于描述用于由机器人850三维扫描机器人850的周围环境的环境监控系统的说明图。
近年来，与机器人850相关的技术已经显著改进，并且机器人850不仅可以在预定路线上，还可以在特定区域内自主移动。在这种情况下，机器人850可以使用同时定位和映射(SLAM)等来估计机器人850的自身位置。此外，SLAM在自我位置估计的同时生成机器人850周围的地图。注意，SLAM可以由诸如使用视差的立体相机、上述TOF方法的测距相机10和激光取景器等装置来实现。在以下描述中，机器人850是指能够自主移动和执行操作等的装置。
因此，在本应用中，如图14所示，将考虑在诸如家庭或工厂等房间中使用机器人850的情况，该机器人850使用TOF方法的测距相机10执行SLAM。如上所述，在TOF方法的测距相机10中，在镜面反射器20存在于周围环境中的情况下，发生多径干涉700，并且在对象50的测量中出现误差。例如，考虑大反射镜20e安装在机器人850移动的房间的壁840上的情况。机器人850的测距相机10有时识别出地板860具有由反射镜20e引起的多径干涉700引起的变形形状，即使地板860(对象50)最初是平的。类似地，机器人850的测距相机10不能正确识别房间中存在的障碍物50e(对象50)的形状。结果，机器人850可能无法精确地生成机器人850周围的地图。
因此，在本应用中，上述本实施方式被应用为扫描机器人850的周围环境的监控装置。这样做，可以校正由反射器20e引起的多径干涉700引起的误差。因此，在本应用中，可以精确地生成机器人850周围的地图。注意，在上述情况下，假设反射镜20e的位置和姿态是已知的。
此外，在人类不能容易进入的空间中，可以使用两个机器人850生成关于该空间的地图。在本应用中，根据本实施方式的测距相机10安装在一个机器人850中，并且根据本实施方式的镜面反射器20安装在另一机器人850中。这两个机器人850移动，使得测距相机10和镜面反射器20彼此面对，从而扫描空间中的对象等，并且即使在人类不能容易进入的空间中也可以生成精确的地图。注意，在上述情况下，在掌握具有测距相机10的机器人850和具有镜面反射器20的机器人850的相对位置关系和姿态之后，执行对象等的扫描。
<<6.结论>>
根据本公开的实施方式，通过提供镜面反射器20，对象50的实像600和镜像602可以由一个测距相机10同时测量。因此，根据本实施方式，可以测量由于对象50本身等的阻挡而难以由一个测距相机10直接测量的区域，例如，对象50的背面。此外，根据本实施方式，由于测距系统1可以由一个测距相机10配置，所以可以抑制构建测距系统1的成本增加。
顺便说一下，即使使用一个测距相机10，也可以通过围绕对象50旋转移动测距相机10等来同时测量对象50的正面和背面。然而，在这种情况下，在对象50随时间动态变化的情况下，不能执行测量。然而，根据本实施方式，即使这样的对象50也可以由单个测距相机10处理。
此外，由于不假设使用多个测距相机10，所以根据本实施方式，测距相机10之间的同步不是必需的，因此不需要提供同步电路等。此外，根据本实施方式，与使用多个测距相机10的情况相比，在更窄的空间中使用更容易。
此外，在组合由多个测距相机10获得的图像，以获得三维图像的情况下，由多个测距相机10测量的部分区域需要彼此重叠，以适当地对准由测距相机10获得的一组三维点。换言之，在上述情况下，对多个测距相机10的安装位置有限制。然而，根据本实施方式，由于系统可以由单个测距相机10配置，所以对准不是必需的，因此可以自由设置测距相机10的位置。
此外，在本实施方式中，由于镜面反射器20的安装，发生多径干涉700。然而，可以使用指示受干涉700影响的光相位的模型来执行由干涉700引起的误差的校正。因此，根据本实施方式，可以精确测量对象50的距离和形状。此外，根据对象50的形状，存在发生多径干涉700的区域和不发生多径干涉700的区域共存的一些情况。即使在这种情况下，根据本实施方式，可以在确定是否存在干涉700之后执行校正。因此，可以避免由于对不需要校正的区域的过度校正而导致的获取精确测量值的失败。
<<7.硬件配置>>
图15是示出根据本实施方式的处理装置900的硬件配置的实例的说明图。在图15中，处理装置900示出了上述处理装置30的硬件配置的实例。
处理装置900包括例如CPU 950、ROM 952、RAM 954、记录介质956、输入/输出接口958和操作输入装置960。此外，处理装置900包括显示装置962、通信接口968和传感器980。此外，例如，处理装置900具有与作为数据传输路径的总线970连接的配置元件。
(CPU 950)
CPU 950包括例如一个或多个处理器，该处理器包括算术电路(例如，CPU)、各种处理电路等，并且用作控制整个处理装置900的控制单元(例如，上述控制单元350)。具体地，CPU 950在处理装置900中用作例如距离计算单元300、校正单元310、确定单元320、图像处理单元330、控制单元350等。
(ROM 952和RAM 954)
ROM 952存储程序和控制数据，例如，由CPU 950使用的计算参数等。例如，RAM 954临时存储要由CPU 950等执行的程序。
(记录介质956)
记录介质956存储例如各种数据，例如，与根据本实施方式的测量方法和各种应用相关的数据。在此处，记录介质956的实例包括磁记录介质(例如，硬盘)和非易失性存储器(例如，闪存)。此外，记录介质956可以附接到处理装置900和从处理装置900拆卸。
(输入/输出接口958、操作输入装置960和显示装置962)
输入/输出接口958连接例如操作输入装置960、显示装置962等。输入/输出接口958的实例包括通用串行总线(USB)终端、数字可视接口(DVI)终端、高清多媒体接口(HDMI)(注册商标)终端、各种处理电路等。
操作输入装置960用作例如接收处理装置900的用户操作的输入单元，并且连接到处理装置900内部的输入/输出接口958。
显示装置962用作向用户输出图像等的输出单元，例如，显示装置962设置在处理装置900上，并且连接到处理装置900内部的输入/输出接口958。显示装置962的实例包括液晶显示器、有机电致发光(EL)显示器等。
注意，输入/输出接口958可以连接到处理装置900或外部显示装置外部的外部装置，例如，操作输入装置(例如，键盘、鼠标等)。此外，输入/输出接口958可以连接到驱动器(未示出)。驱动器是用于诸如磁盘、光盘或半导体存储器等可移动记录介质的读取器/写入器，并且内置于处理装置900中或外部附接到处理装置900。驱动器读取记录在安装的可移动记录介质上的信息，并将该信息输出到RAM 954。此外，驱动器还可以向安装的可移动记录介质写入记录。
(通信接口968)
例如，通信接口968用作通信单元360，用于经由上述通信电缆60(或直接)与外部装置(例如，测距相机10)执行无线或有线通信。在此处，通信接口968的实例包括通信天线和射频(RF)电路(无线通信)、IEEE802.15.1端口和发送/接收电路(无线通信)、IEEE802.11端口和发送/接收电路(无线通信)、以及局域网(LAN)终端、发送/接收电路(有线通信)等。
上面已经描述了处理装置900的硬件配置的实例。注意，处理装置900的硬件配置不限于图15所示的配置。详细地，上述配置元件中的每一个可以使用通用元件来配置，或者可以由专用于每个配置元件的功能的硬件来配置。这种配置可以根据要实施的技术水平适当地改变。
例如，在经由连接的外部通信装置与测距相机10等通信的情况下，或者在执行独立处理的情况下，处理装置900不需要包括通信接口968。此外，通信接口968可以具有能够通过多种通信方法与一个或多个外部装置通信的配置。此外，例如，处理装置900可以被配置为不包括记录介质956、操作输入装置960、显示装置962等。
此外，例如，根据本实施方式的处理装置900可以是在连接到网络(或装置之间的通信)(例如，云计算)的前提下包括多个装置的系统。即，例如，根据上述本实施方式的处理装置900可以实现为使用多个装置执行根据本实施方式的测量方法的处理的处理系统。
<<8.补充>>
根据上述实施方式的测量方法中的步骤不一定需要按所述顺序处理。例如，可以以适当改变的顺序来处理这些步骤。此外，这些步骤可以部分并行处理或单独处理，而不是按时间顺序处理。此外，这些步骤不一定需要根据所描述的方法来处理，并且例如可以通过使用另一功能块的另一方法来处理。
此外，根据上述实施方式的测量方法的至少一部分可以由软件配置为用于使计算机(处理装置30或900)运行的信息处理程序。在通过软件配置测量方法的至少一部分的情况下，实现该方法的至少一部分的程序可以存储在记录介质中，并且由处理装置30(900)等或者由连接到处理装置30的另一装置读取和执行(900)。此外，实现处理方法的至少一部分的程序可以经由通信线路(包括无线通信)(例如，互联网)分发。此外，程序可以在加密、调制或压缩的状态下经由有线线路或无线线路(例如，互联网)分发，或者存储在记录介质中。
尽管已经参考附图详细描述了本公开的有利实施方式，但是本公开的技术范围不限于这些实例。显然，在本公开的技术领域中具有普通知识的人可以在权利要求中描述的技术思想的范围内构思各种变化和变更，并且自然理解这些变化和变更属于本公开的技术范围。
此外，本说明书中描述的效果仅仅是说明性的或实例性的，而不是限制性的。即，根据本公开的技术可以从本说明书的描述中显示对本领域技术人员来说显而易见的其他效果，这些效果与上述效果一起或代替上述效果。
注意，以下配置也属于本公开的技术范围。
(1)一种成像装置，包括：
传感器单元，被配置为用光照射对象并检测由对象反射的光；
距离计算单元，被配置为基于传感器单元的感测数据来计算到对象的距离；
镜面反射器，位于对象上的传感器单元的相对侧上；以及
校正单元，被配置为校正包括在所计算的距离中的误差，所述误差是由沿着从传感器单元朝向对象的第一路径的光和沿着从传感器单元由镜面反射器反射而朝向对象的第二路径的光之间的干涉引起的。
(2)根据(1)所述的成像装置，还包括固定构件，所述固定构件固定所述传感器单元和所述镜面反射器之间的距离。
(3)一种成像装置，包括：传感器单元，其被配置为用光照射对象并检测由对象反射的光；距离计算单元，被配置为基于所述传感器单元的感测数据来计算到所述对象的距离；以及校正单元，被配置为校正包括在所计算的距离中的误差，所述误差是由沿着从所述传感器单元朝向所述对象的第一路径的光和沿着从所述传感器单元由镜面反射器反射而朝向所述对象的第二路径的光之间的干涉引起的，所述镜面反射器隔着所述对象位于所述传感器单元的相对侧。
(4)根据(1)至(3)中任一项所述的成像装置，其中，
所述传感器单元包括：
照射单元，其被配置为发射光，
光接收单元，其被配置为接收反射的光，以及
相位差计算单元，其被配置为计算发射的光和接收的光之间的相位差，并且
所述距离计算单元基于相位差来计算距离。
(5)根据(1)所述的成像装置，其中，所述校正单元通过将所述传感器单元的感测数据与所估计的由于所述干涉而出现的估计值进行比较，来校正所述误差。
(6)根据(1)至(5)中任一项所述的成像装置，还包括确定单元，所述确定单元被配置为确定是否存在由于所述干涉而出现的所述误差。
(7)根据(6)所述的成像装置，其中，所述确定单元根据应用了所述校正的所述对象的实像与应用了所述校正并投影到所述镜面反射器上的所述对象的镜像之间是否存在匹配来确定是否出现误差。
(8)根据(7)所述的成像装置，还包括：
彩色传感器单元，被配置为获取所述对象的彩色图像，其中，
所述确定单元通过将所述对象的所述实像的彩色图像与所述镜像的彩色图像进行比较来确定是否存在所述误差。
(9)根据(1)至(8)中任一项所述的成像装置，其中，所述镜面反射器设置有具有非光滑表面的标记。
(10)根据(9)所述的成像装置，其中，所述标记包括彼此间隔设置的三个或更多个标记部分。
(11)根据(1)至(8)中任一项所述的成像装置，还包括镜面反射器传感器单元，所述镜面反射器传感器单元被配置为测量到所述镜面反射器的距离。
(12)一种安装有成像装置的监控装置，所述成像装置包括：
传感器单元，被配置为用光照射对象并检测由对象反射的光；
距离计算单元，被配置为基于传感器单元的感测数据来计算到对象的距离；以及
校正单元，被配置为校正包括在所计算的距离中的误差，所述误差是由沿着从所述传感器单元朝向所述对象的第一路径的光和沿着从所述传感器单元由镜面反射器反射而朝向所述对象的第二路径的光之间的干涉引起的，所述镜面反射器隔着所述对象位于所述传感器单元的相对侧。
附图标记列表
1 测距系统
10 测距相机
20、20a至c 镜面反射器
20d 反射镜部分
20e 反射镜
30、900 处理装置
50 对象
50a 正面
50b 背面
50c 上表面
50d 人
50e 障碍物
60 通信电缆
100 传感器单元
102 照射单元
104 光接收单元
110 相位差计算单元
120 成像单元
150、350 控制单元
160、360 通信单元
200、200a至c 标记
300 距离计算单元
310 校正单元
320 确定单元
330 图像处理单元
500 第一路径
502 第二路径
600 实像
602 镜像
700 干涉
800 牙科仪器
802 手柄部分
804 接合部分
806 固定构件
810 齿列
820 车辆
822 仪表板
824 前窗
830 手势
840 壁
842 天花板
850 机器人
860 层
950 CPU
952 ROM
954 RAM
956 记录介质
958 输入/输出接口
960 操作输入装置
962 显示装置
968 通信接口
970 总线。

Claims (12)

1.一种成像装置，包括：
传感器单元，被配置为用光照射对象并检测由所述对象反射的光；
距离计算单元，被配置为基于所述传感器单元的感测数据来计算到所述对象的距离；
镜面反射器，跨所述对象位于所述传感器单元的相对侧上；以及
校正单元，被配置为校正包括在所计算的距离中的误差，所述误差是由沿着从所述传感器单元朝向所述对象的第一路径的光和沿着从所述传感器单元由所述镜面反射器反射而朝向所述对象的第二路径的光之间的干涉引起的。
2.根据权利要求1所述的成像装置，还包括固定构件，所述固定构件固定所述传感器单元和所述镜面反射器之间的距离。
3.一种成像装置，包括：
传感器单元，被配置为用光照射对象并检测由所述对象反射的光；
距离计算单元，被配置为基于所述传感器单元的感测数据来计算到所述对象的距离；以及
校正单元，被配置为校正包括在所计算的距离中的误差，所述误差是由沿着从所述传感器单元朝向所述对象的第一路径的光和沿着从所述传感器单元由镜面反射器反射而朝向所述对象的第二路径的光之间的干涉引起的，所述镜面反射器跨过所述对象位于所述传感器单元的相对侧。
4.根据权利要求1所述的成像装置，其中，
所述传感器单元包括：
照射单元，被配置为发射光，
光接收单元，被配置为接收反射的光，以及
相位差计算单元，被配置为计算发射的光和接收的光之间的相位差，并且
所述距离计算单元基于所述相位差来计算所述距离。
5.根据权利要求1所述的成像装置，其中，所述校正单元通过将所述传感器单元的所述感测数据与所估计的由于所述干涉而出现的估计值进行比较，来校正所述误差。
6.根据权利要求1所述的成像装置，还包括确定单元，所述确定单元被配置为确定是否存在由于所述干涉而出现的所述误差。
7.根据权利要求6所述的成像装置，其中，所述确定单元根据应用了所述校正的所述对象的实像与应用了所述校正并投影到所述镜面反射器上的所述对象的镜像之间是否存在匹配来确定是否出现所述误差。
8.根据权利要求7所述的成像装置，还包括：
彩色传感器单元，被配置为获取所述对象的彩色图像，其中，
所述确定单元通过将所述对象的所述实像的彩色图像与所述镜像的彩色图像进行比较来确定是否存在所述误差。
9.根据权利要求1所述的成像装置，其中，所述镜面反射器设置有具有非光滑表面的标记。
10.根据权利要求9所述的成像装置，其中，所述标记包括彼此间隔设置的三个或更多个标记部分。
11.根据权利要求1所述的成像装置，还包括镜面反射器传感器单元，所述镜面反射器传感器单元被配置为测量到所述镜面反射器的距离。
12.一种安装有成像装置的监控装置，所述成像装置包括：
传感器单元，被配置为用光照射对象并检测由所述对象反射的光；
距离计算单元，被配置为基于所述传感器单元的感测数据来计算到所述对象的距离；以及
校正单元，被配置为校正包括在所计算的距离中的误差，所述误差是由沿着从所述传感器单元朝向所述对象的第一路径的光和沿着从所述传感器单元由镜面反射器反射而朝向所述对象的第二路径的光之间的干涉引起的，所述镜面反射器跨过所述对象位于所述传感器单元的相对侧。
CN201880028772.2A 2017-07-11 2018-04-16 成像装置和监控装置 Active CN110573833B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017135381A JP2019015706A (ja) 2017-07-11 2017-07-11 撮像装置及びモニタリング装置
JP2017-135381 2017-07-11
PCT/JP2018/015743 WO2019012770A1 (ja) 2017-07-11 2018-04-16 撮像装置及びモニタリング装置

Publications (2)

Publication Number Publication Date
CN110573833A true CN110573833A (zh) 2019-12-13
CN110573833B CN110573833B (zh) 2022-11-08

Family

ID=65001605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880028772.2A Active CN110573833B (zh) 2017-07-11 2018-04-16 成像装置和监控装置

Country Status (5)

Country Link
US (1) US11320536B2 (zh)
EP (1) EP3653989B1 (zh)
JP (1) JP2019015706A (zh)
CN (1) CN110573833B (zh)
WO (1) WO2019012770A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN209486375U (zh) * 2018-01-25 2019-10-11 台湾东电化股份有限公司 光学系统
JP7025317B2 (ja) 2018-10-31 2022-02-24 ファナック株式会社 測距装置を有する物体監視システム
EP3745081B1 (de) * 2019-05-28 2023-03-22 Tecan Trading Ag Positionsdetektor und verfahren zur 3d-positionsbestimmung
JP2021012037A (ja) * 2019-07-03 2021-02-04 株式会社東芝 システム及び方法
JP2021021639A (ja) * 2019-07-29 2021-02-18 パイオニア株式会社 情報処理装置、情報処理方法、プログラム、記録媒体及び検出システム
JP7364439B2 (ja) * 2019-11-25 2023-10-18 ファナック株式会社 Ｔｏｆセンサを用いた物体検出システム
EP3855111B1 (de) * 2020-01-24 2023-11-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interferometer zum erzeugen eines digitalen interferogramms oder eines digitalen hologramms, mittels eines umlenkspiegels
JP2021135155A (ja) * 2020-02-27 2021-09-13 株式会社東芝 システム及び方法
WO2021205787A1 (ja) * 2020-04-06 2021-10-14 パナソニックＩｐマネジメント株式会社 測距装置、およびプログラム
IL276015B2 (en) * 2020-07-13 2023-10-01 Elta Systems Ltd System and methods for target detection
DE102020005755A1 (de) * 2020-09-21 2022-03-24 Daimler Ag Verfahren und Vorrichtung zur Bestimmung von falsch-positiven Erkennungen eines Lidarsensors
US20210018598A1 (en) * 2020-09-25 2021-01-21 Intel Corporation Light detection and ranging systems and optical system
WO2022130561A1 (ja) * 2020-12-17 2022-06-23 日本電信電話株式会社 ミリ波推定装置、方法及びプログラム
KR102600821B1 (ko) * 2021-12-22 2023-11-09 충북대학교 산학협력단 물체 치수 추정 방법 및 장치
WO2024062874A1 (ja) * 2022-09-20 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1283264A (zh) * 1997-09-09 2001-02-07 迈阿拉股份有限公司 高度准确的三维表面数字化系统和方法
US20020172369A1 (en) * 2001-05-01 2002-11-21 Herrick David L. Apparatus and method for minimizing multipath interference
US20030012266A1 (en) * 1999-08-02 2003-01-16 Gilmour Paul A. Quadrature multi-frequency ranging (QMFR) applied to GPS multipath mitigation
CN1480709A (zh) * 2002-06-25 2004-03-10 ���µ繤��ʽ���� 激光测距装置
GB0411193D0 (en) * 2004-05-20 2004-06-23 Koninkl Philips Electronics Nv Method and apparatus for determining distance to a radio transponder
US20070216897A1 (en) * 2004-11-24 2007-09-20 Asahi Glass Co., Ltd. Defect inspection method and apparatus for transparent plate-like members
US20080047350A1 (en) * 2006-08-23 2008-02-28 University Of Washington Use of ultrasound for monitoring security of shipping containers
CN101796372A (zh) * 2008-07-11 2010-08-04 松下电器产业株式会社 三维形状测量装置、集成电路及方法
CN101821583A (zh) * 2007-10-10 2010-09-01 特里伯耶拿有限公司 用于跟踪和测量目标的测量装置
CN101881920A (zh) * 2009-05-08 2010-11-10 索尼公司 成像设备以及成像镜头单元
US20110213490A1 (en) * 2010-02-26 2011-09-01 National Formosa University Method of detecting a dynamic path of a five-axis machine tool and detecting assembly for the same
US20110319044A1 (en) * 2010-06-28 2011-12-29 Itt Manufacturing Enterprises, Inc. (A Subsidiary Of Itt Corporation) Adaptive cancellation of multi-path interferences
CN102467296A (zh) * 2010-11-02 2012-05-23 原相科技股份有限公司 光学感测系统
CN102742259A (zh) * 2010-12-01 2012-10-17 松下电器产业株式会社 立体图像拍摄装置和内窥镜
CN102829718A (zh) * 2011-06-13 2012-12-19 佳能株式会社 信息处理设备、三维测量设备和信息处理方法
CN103379288A (zh) * 2012-04-12 2013-10-30 索尼公司 图像处理设备、图像处理方法和程序
CN103543451A (zh) * 2012-07-17 2014-01-29 中国科学院电子学研究所 一种基于压缩感知的多径虚像抑制sar后处理方法
CN103782191A (zh) * 2011-09-12 2014-05-07 索尼公司 干涉测量扫描系统和方法
US20140307085A1 (en) * 2012-12-06 2014-10-16 Canon Kabushiki Kaisha Distance measuring apparatus and method
CN104568963A (zh) * 2014-12-17 2015-04-29 华南理工大学 一种基于rgb结构光的在线式三维检测装置
US20150193938A1 (en) * 2014-01-06 2015-07-09 Microsoft Corporation Fast general multipath correction in time-of-flight imaging
US20150323642A1 (en) * 2012-06-29 2015-11-12 Blinksight Device and method for location of an rfid transmitter
US20160109224A1 (en) * 2014-10-21 2016-04-21 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
CN105572681A (zh) * 2014-10-31 2016-05-11 洛克威尔自动控制安全公司 飞行时间传感器的绝对距离测量
CN105785337A (zh) * 2016-01-22 2016-07-20 西安电子科技大学 复杂地形下的米波雷达低仰角目标测高方法
US20160334509A1 (en) * 2015-05-13 2016-11-17 Infineon Technologies Ag Structured-light based multipath cancellation in tof imaging
JP2018004544A (ja) * 2016-07-06 2018-01-11 日本電信電話株式会社 三次元形状計測装置、三次元形状計測方法及び三次元形状計測プログラム
JP2018066655A (ja) * 2016-10-19 2018-04-26 日本電信電話株式会社 鏡面情報取得装置、鏡面測定方法及びコンピュータプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE539361T1 (de) 2008-11-20 2012-01-15 Cedes Ag Sensorvorrichtung mit einem distanzsensor
US7999923B2 (en) * 2009-02-19 2011-08-16 Northrop Grumman Systems Corporation Systems and methods for detecting and analyzing objects
JP5620200B2 (ja) 2010-09-06 2014-11-05 株式会社トプコン 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
KR20130001762A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 영상 생성 장치 및 방법
JP6241793B2 (ja) * 2012-12-20 2017-12-06 パナソニックＩｐマネジメント株式会社 ３次元測定装置および３次元測定方法
US9267306B2 (en) * 2013-08-04 2016-02-23 Avraham Suhami Multi-storey buildings built over road air-spaces
JP2016139306A (ja) 2015-01-28 2016-08-04 株式会社東芝 車軸検知装置および車軸検知方法
JP6400035B2 (ja) * 2016-03-14 2018-10-03 キヤノン株式会社 位置検出装置、力覚センサ、および、装置

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1283264A (zh) * 1997-09-09 2001-02-07 迈阿拉股份有限公司 高度准确的三维表面数字化系统和方法
US20030012266A1 (en) * 1999-08-02 2003-01-16 Gilmour Paul A. Quadrature multi-frequency ranging (QMFR) applied to GPS multipath mitigation
US20020172369A1 (en) * 2001-05-01 2002-11-21 Herrick David L. Apparatus and method for minimizing multipath interference
CN1480709A (zh) * 2002-06-25 2004-03-10 ���µ繤��ʽ���� 激光测距装置
GB0411193D0 (en) * 2004-05-20 2004-06-23 Koninkl Philips Electronics Nv Method and apparatus for determining distance to a radio transponder
US20070216897A1 (en) * 2004-11-24 2007-09-20 Asahi Glass Co., Ltd. Defect inspection method and apparatus for transparent plate-like members
US20080047350A1 (en) * 2006-08-23 2008-02-28 University Of Washington Use of ultrasound for monitoring security of shipping containers
CN101821583A (zh) * 2007-10-10 2010-09-01 特里伯耶拿有限公司 用于跟踪和测量目标的测量装置
CN101796372A (zh) * 2008-07-11 2010-08-04 松下电器产业株式会社 三维形状测量装置、集成电路及方法
CN101881920A (zh) * 2009-05-08 2010-11-10 索尼公司 成像设备以及成像镜头单元
US20110213490A1 (en) * 2010-02-26 2011-09-01 National Formosa University Method of detecting a dynamic path of a five-axis machine tool and detecting assembly for the same
US20110319044A1 (en) * 2010-06-28 2011-12-29 Itt Manufacturing Enterprises, Inc. (A Subsidiary Of Itt Corporation) Adaptive cancellation of multi-path interferences
CN102467296A (zh) * 2010-11-02 2012-05-23 原相科技股份有限公司 光学感测系统
CN102742259A (zh) * 2010-12-01 2012-10-17 松下电器产业株式会社 立体图像拍摄装置和内窥镜
CN102829718A (zh) * 2011-06-13 2012-12-19 佳能株式会社 信息处理设备、三维测量设备和信息处理方法
CN103782191A (zh) * 2011-09-12 2014-05-07 索尼公司 干涉测量扫描系统和方法
CN103379288A (zh) * 2012-04-12 2013-10-30 索尼公司 图像处理设备、图像处理方法和程序
US20150323642A1 (en) * 2012-06-29 2015-11-12 Blinksight Device and method for location of an rfid transmitter
CN103543451A (zh) * 2012-07-17 2014-01-29 中国科学院电子学研究所 一种基于压缩感知的多径虚像抑制sar后处理方法
US20140307085A1 (en) * 2012-12-06 2014-10-16 Canon Kabushiki Kaisha Distance measuring apparatus and method
US20150193938A1 (en) * 2014-01-06 2015-07-09 Microsoft Corporation Fast general multipath correction in time-of-flight imaging
CN105899969A (zh) * 2014-01-06 2016-08-24 微软技术许可有限责任公司 飞行时间成像中的快速通用多径校正
US20160109224A1 (en) * 2014-10-21 2016-04-21 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
CN105572681A (zh) * 2014-10-31 2016-05-11 洛克威尔自动控制安全公司 飞行时间传感器的绝对距离测量
CN104568963A (zh) * 2014-12-17 2015-04-29 华南理工大学 一种基于rgb结构光的在线式三维检测装置
US20160334509A1 (en) * 2015-05-13 2016-11-17 Infineon Technologies Ag Structured-light based multipath cancellation in tof imaging
CN105785337A (zh) * 2016-01-22 2016-07-20 西安电子科技大学 复杂地形下的米波雷达低仰角目标测高方法
JP2018004544A (ja) * 2016-07-06 2018-01-11 日本電信電話株式会社 三次元形状計測装置、三次元形状計測方法及び三次元形状計測プログラム
JP2018066655A (ja) * 2016-10-19 2018-04-26 日本電信電話株式会社 鏡面情報取得装置、鏡面測定方法及びコンピュータプログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DORRINGTON A ET,AL.: "Three-Dimensional Imaging, Interaction, and Measurement - Separating true range measurements from multi-path and scattering interference in commercial range cameras", 《PROC. OF SPIE-IS&T ELECTRONIC IMAGING》 *
FUCHS STEFAN: "Multipath Interference Compensation in Time-of-Flight Camera Images", 《2010 INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
丁少闻等: "非接触式三维重建测量方法综述", 《激光与光电子学进展》 *
罗成全: "基于多径效应的目标高度测量", 《测控技术》 *
黄艳等: "传感器网络中无线电干涉定位系统的多径误差分析", 《控制与决策》 *

Also Published As

Publication number Publication date
CN110573833B (zh) 2022-11-08
US11320536B2 (en) 2022-05-03
EP3653989B1 (en) 2023-06-21
US20210096250A1 (en) 2021-04-01
WO2019012770A1 (ja) 2019-01-17
EP3653989A1 (en) 2020-05-20
JP2019015706A (ja) 2019-01-31
EP3653989A4 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
CN110573833B (zh) 成像装置和监控装置
US11432879B2 (en) Method and apparatus for wide area multi-body 6D pose tracking system
CN108601578B (zh) 超声探头的光学和惯性位置跟踪的设备内融合
JP6291562B2 (ja) 有向性のプローブ処理による、三次元スキャナにおける多経路干渉の診断および排除
US9188430B2 (en) Compensation of a structured light scanner that is tracked in six degrees-of-freedom
May et al. Robust 3D-mapping with time-of-flight cameras
EP3104194B1 (en) Robot positioning system
Chen et al. Active sensor planning for multiview vision tasks
JP5548482B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
CN103415780B (zh) 用于确定测量仪的位置和定向的方法和系统
JP2016514271A (ja) 三次元座標スキャナと操作方法
CN108603933B (zh) 用于融合具有不同分辨率的传感器输出的系统和方法
Kang et al. A robust obstacle detection method for robotic vacuum cleaners
EP3955020A1 (en) Laser scanner with ultrawide-angle lens camera for registration
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
TW202012955A (zh) 具有球形視野的三維感測器的擋板
JP2004144557A (ja) ３次元視覚センサ
JP2007322138A (ja) 移動装置及び移動装置の自己位置推定方法
JP2007078476A (ja) 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム
JP7166446B2 (ja) ロボットの姿勢を推定するシステムおよび方法、ロボット、並びに記憶媒体
US11061102B2 (en) Position estimating apparatus, position estimating method, and terminal apparatus
JPWO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
US11692812B2 (en) System and method for measuring three-dimensional coordinates
US10509513B2 (en) Systems and methods for user input device tracking in a spatial operating environment
Peter et al. Line segmentation of 2d laser scanner point clouds for indoor slam based on a range of residuals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant