CN107407559A - 距离图像获取装置以及距离图像获取方法 - Google Patents

距离图像获取装置以及距离图像获取方法 Download PDF

Info

Publication number
CN107407559A
CN107407559A CN201580078095.1A CN201580078095A CN107407559A CN 107407559 A CN107407559 A CN 107407559A CN 201580078095 A CN201580078095 A CN 201580078095A CN 107407559 A CN107407559 A CN 107407559A
Authority
CN
China
Prior art keywords
pattern
projection
range image
during
photographed images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580078095.1A
Other languages
English (en)
Other versions
CN107407559B (zh
Inventor
高尾浩昭
三泽岳志
神谷毅
增田智纪
藤田广大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107407559A publication Critical patent/CN107407559A/zh
Application granted granted Critical
Publication of CN107407559B publication Critical patent/CN107407559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种距离图像获取装置以及距离图像获取方法，根据本发明，即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够根据从自身装置投射的第1图案而获取精度良好的距离图像。本发明的一种方式所涉及的距离图像获取装置(10)具备：投射部(12)，投射结构光的图案；光调制部(22)，利用代码来调制投射图案和未投射图案的切换定时；摄像部(14)，从投射部(12)远离相当于基线长度而并列设置，并且与投射图案期间和未投射图案期间同步而进行拍摄，从而生成在图案的投射期间拍摄的第1摄像图像和在图案的未投射期间拍摄的第2摄像图像；差分图像生成部(20D)，生成第1摄像图像与第2摄像图像的差分图像；图案提取部(20A)，从差分图像中提取图案；以及距离图像获取部(20B)，根据由图案提取部(20A)提取的图案，获取表示测距区域内的被摄体的距离的距离图像。

Description

距离图像获取装置以及距离图像获取方法
技术领域
本发明涉及一种距离图像获取装置以及距离图像获取方法，尤其涉及一种向测距区域内的被摄体投射二维分布的结构光，并获取表示被摄体的距离的距离图像的技术。
背景技术
以往，这种距离图像获取装置中，从投射部向测距区域内的被摄体投射二维分布的结构光的点图案，由摄像部拍摄被摄体，从而获取包含在被摄体上反射的点图案的第1图像。并且，获取从投射部不投射点图案而由摄像部拍摄被摄体从而成为点图案的背景的第2图像，从第1图像减去第2图像，并根据减算结果，基于三角测量法来运算获取距离图像(三维距离信息)(专利文献1)。
专利文献2中记载有：在一个距离测量装置中具备多个投射部(投影部)，并且多个投射部逐一依次进行投射而拍摄，或将从多个投射部投射的图案光设为不同颜色，以免在摄像部混淆多个投射部分别投射的图案。
以往技术文献
专利文献
专利文献1：日本特开2011-169701号公报
专利文献2：日本特开2014-115107号公报
发明内容
发明要解决的技术课题
专利文献1中记载的距离图像获取装置中存在如下问题：若利用多台距离图像获取装置同时对同一被摄体进行距离测量，则从多台距离图像获取装置分别投射的点图案混合存在而无法获取距离图像。有时希望用多台距离图像获取装置同时对用一台距离图像获取装置无法获取距离图像的大小的对象物体进行距离测量，或有时使用者并不知其他人在使用距离图像获取装置而自身也使用距离图像获取装置。尤其，当不直接显示距离图像等而用于其他用途，使得使用者本身并不知晓自己正在进行距离图像获取时，很有可能导致同时在同一场所使用距离图像获取装置。
专利文献2中记载的技术是在一台装置中设有多个投射部时，在该一台装置的摄像部中避免图案的混淆的技术，很难适用于从分别设置于多台装置的多个投射部投射图案的情况。
这是因为，如专利文献2中所记载，在一台装置中设有多个投射部时，从在一台装置内进行总体控制的CPU(中央处理器(Central Processing Unit))分别对多个投射部命令投射定时或波长区域，由此能够轻松地控制多个投射部的时间划分或波长区域划分(也称为频率划分)，但是分别在彼此独立的多台装置中设有投射部时，无法从自身装置的CPU对其他装置的投射部直接命令投射定时或波长区域。并且，如果假定新设置总体控制多台装置的主装置，并从主装置通过通信分别对作为从装置的多个装置命令投射定时或波长区域的结构，则不仅需要新设置主装置，还会失去各装置的独立性，因此，尤其很难适用于普通用户自由使用的终端。
本发明是鉴于这种情况而完成的，其目的在于提供一种即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够根据从自身装置投射的图案而获取精度良好的距离图像的距离图像获取装置以及距离图像获取方法。
用于解决技术课题的手段
为了实现上述目的，本发明的一种方式所涉及的距离图像获取装置，其具备：投射部，向测距区域内的被摄体投射二维分布的结构光的第1图案；光调制部，利用代码(码)来调制投射从投射部投射的第1图案和未投射从投射部投射的第1图案的切换定时；摄像部，从投射部远离相当于基线长度而并列设置，并且与投射第1图案期间和未投射第1图案期间同步而进行拍摄，从而生成包含在被摄体上反射的第1图案在内的多个摄像图像即在第1图案的投射期间拍摄的第1摄像图像和在第1图案的未投射期间拍摄的第2摄像图像；差分图像生成部，生成在投射期间拍摄的第1摄像图像与在未投射期间拍摄的第2摄像图像的差分图像；图案提取部，从差分图像中提取第1图案；以及距离图像获取部，根据由图案提取部提取的第1图案，获取表示测距区域内的被摄体的距离的距离图像。
根据该结构，通过光调制部并利用代码来调制投射从投射部投射的第1图案和未投射从投射部投射的第1图案的切换定时，并且通过摄像部与投射第1图案期间和未投射第1图案期间同步而进行拍摄，由此，生成在第1图案的投射期间拍摄的第1摄像图像和在第1图案的未投射期间拍摄的第2摄像图像，通过差分图像生成部生成第1摄像图像与第2摄像图像的差分图像，通过图案提取部从差分图像中提取第1图案(是从自身装置的投射部投射的图案)，因此，即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够仅根据从自身装置投射的第1图案而获取精度良好的距离图像。
“生成”上述摄像部的第1“摄像图像”和第2“摄像图像”包括读取摄像信号的情况，即，仅从摄像部的受光元件读取电荷作为摄像信号的情况。
在本发明的另一种方式所涉及的距离图像获取装置中，光调制部利用随机代码来调制投射第1图案和未投射第1图案的切换定时。即，通过随机代码来调制投射第1图案和未投射第1图案的切换定时，因此即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够可靠地使投射图案和未投射图案的切换定时不同。
在本发明的又一种方式所涉及的距离图像获取装置中，具备判别部，所述判别部判别是否从其他距离图像摄像装置投射有第2图案，若通过判别部判别为从其他距离图像摄像装置投射有第2图案，则光调制部对从投射部投射的第1图案进行调制。即，在从其他距离图像摄像装置未投射有第2图案的期间，可不用对从投射部投射的第1图案进行调制而生成距离图像。
在本发明的又一种方式所涉及的距离图像获取装置中，具备信标信息接收部，所述信标信息接收部接收从其他距离图像获取装置发送的信标信息且表示从其他距离图像获取装置投射有第2图案的信标信息，若信标信息接收部接收信标信息，则判别部判别为从其他距离图像摄像装置投射有第2图案。即，在信标信息的可通信范围内不存在发送信标信息的其他装置的期间，可不用对从投射部投射的第1图案进行调制而生成距离图像。
在本发明的又一种方式所涉及的距离图像获取装置中，第1图案和第2图案分别为点图案，当从由摄像部拍摄的摄像图像检测出的点图案的点数超过从投射部投射的第1图案的点数时，判别部判别为从其他距离图像摄像装置投射有第2图案。即，能够轻松地判别是否从其他装置投射有第2图案。
在本发明的又一种方式所涉及的距离图像获取装置中，摄像部在与距离图像的帧率对应的曝光期间进行曝光，光调制部以与摄像部的曝光期间的开始和结束的定时同步的方式调制投射第1图案和未投射第1图案的切换定时。
本发明的又一种方式所涉及的距离图像获取方法，其包括：利用代码来调制向测距区域内的被摄体投射二维分布的结构光的第1图案和未投射二维分布的结构光的第1图案的切换定时，并使投射部投射第1图案的步骤；通过从投射部远离相当于基线长度而并列设置的摄像部，与投射第1图案期间和未投射第1图案期间同步而进行拍摄，从而生成包含在被摄体上反射的第1图案在内的多个摄像图像即在第1图案的投射期间拍摄的第1摄像图像和在第1图案的未投射期间拍摄的第2摄像图像的步骤；生成在投射期间拍摄的第1摄像图像与在未投射期间拍摄的第2摄像图像的差分图像的步骤；从差分图像中提取第1图案的步骤；以及根据所提取的第1图案，获取表示测距区域内的被摄体的距离的距离图像的步骤。
发明效果
根据本发明，即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够根据从自身装置投射的图案而获取精度良好的距离图像。
附图说明
图1是表示本发明所涉及的距离图像获取装置的第1实施方式的外观图。
图2是为了说明距离图像获取的原理而使用的图。
图3是表示第1实施方式的距离图像获取装置的内部结构例的框图。
图4是表示在从自身装置投射有点图案时从其他装置未投射有点图案的状态下拍摄获取的摄像图像的一例的图。
图5是表示在从自身装置投射有点图案时从其他装置投射有点图案的状态下拍摄获取的摄像图像的一例的图。
图6是在投射图案和未投射图案的切换定时的调制中使用的代码的说明图。
图7是在点图案混合存在时的点的说明中使用的第1说明图。
图8是在第1实施方式中的投射图案和未投射图案的切换定时的调制与差分图像的像素值之间的关系的说明中使用的第1说明图。
图9是在第1实施方式中的投射图案和未投射图案的切换定时的调制与差分图像的像素值之间的关系的说明中使用的第2说明图。
图10是表示关于第1实施方式中的距离图像获取方法的一例的处理流程的流程图。
图11是表示第2实施方式的距离图像获取装置的内部结构例的框图。
图12是表示关于第2实施方式中的距离图像获取方法的一例的处理流程的流程图。
图13是作为距离图像获取装置的一例的智能手机的外观图。
图14是表示智能手机的结构的框图。
具体实施方式
以下，根据附图对本发明所涉及的距离图像获取装置以及距离图像获取方法的实施方式进行说明。
＜第1实施方式＞
图1是表示本发明所涉及的距离图像获取装置10的一例的外观的外观图。
如图1所示，距离图像获取装置10具有投射部12和摄像部14，若通过快门按钮11的操作施加摄像命令输入，则获取表示摄像区域(测距区域)内的被摄体的距离(深度信息)的距离图像，对此将在之后详细进行说明。
在此，距离图像获取装置10具有：静止图像模式，与静止图像摄像相同地获取1帧份的距离图像；以及动态图像模式，与动态图像摄像相同地获取以规定帧率(例如，30帧/秒、60帧/秒)连续的距离图像，这些静止图像模式和动态图像模式能够通过操作部28(图3)的模式选择部的操作来适当选择。而且，若在选择了静止图像模式时按一下快门按钮11，则获取1帧份的距离图像，若在选择了动态图像模式时按一下快门按钮11，则开始获取以规定帧率连续的距离图像，若再按一下快门按钮11，则停止获取距离图像。
图2是为了说明距离图像获取装置10中的距离图像获取的原理而使用的图。
如图2所示，获取距离图像时，投射部12向测距区域内的被摄体投射二维分布的结构光的图案(第1图案)。本实施方式中，作为结构光的第1图案，将矩阵状点图案投射于被摄体。以下，有时还将从投射部12投射的结构光的第1图案称为“第1点图案”。
摄像部14拍摄包含在被摄体上反射的第1点图案的图像。如图2所示，摄像部14从投射部12远离相当于基线长度L而并列设置，且在从投射部12投射的第1点图案与由摄像部14拍摄的第1点图案的对应的各点之间，产生对应于被摄体的距离的视差。因此，能够根据从投射部12投射的第1点图案的各点在由摄像部14拍摄的图像传感器上的受光位置(未图示)，利用三角测量法来求出表示被摄体的距离的距离图像。
此外，如图2所示，本实施方式的投射部12投射矩阵状的第1点图案，但并不限于此，可以投射点距随机(伪随机)的点图案，也可以投射网格状的图案。
图3是表示上述距离图像获取装置10的内部结构例的框图。
距离图像获取装置10除了具备前述投射部12和摄像部14以外，还具备AD(模拟到数字(Analog-to-Digital))转换器16、接口电路18、中央处理装置(CPU：CentralProcessing Unit)20、光调制部22、驱动部26、操作部28、通信部30以及存储部32。
投射部12由近红外发光二极管(近红外LED(LED：Light Emitting Diode))12A、衍射光学元件12B以及作为投射光学系统发挥作用的投射透镜12C构成。
衍射光学元件12B作为利用光的衍射现象来转换光强度分布的元件而发挥作用，在本例中，使从近红外LED12A发出的近红外光入射并转换为图2所示的矩阵状的第1点图案。投射透镜12C将通过衍射光学元件12B转换的近红外光的第1点图案投射于与基于摄像部14的摄像区域(测距区域)相同的测距区域的被摄体。
摄像部14由成像透镜14A和图像传感器14B构成。成像透镜14A使来自被摄体的反射光(包含从投射部12投射且在被摄体上反射的第1点图案的光像)成像于图像传感器14B。
图像传感器14B由具有垂直驱动器和水平驱动器等的CMOS(互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor))驱动器以及通过定时信号发生器驱动的CMOS型图像传感器构成。此外，图像传感器14B并不限于CMOS型，也可以是XY地址型或CCD(电荷耦合器件(Charge Coupled Device))型图像传感器。
图像传感器14B中二维状地排列有多个受光元件(光电二极管)，并且在多个受光元件的入射面侧设有仅使从投射部12投射的近红外光的第1点图案的波段通过的带通滤波器或去除可见光的可见光截止滤波器。由此，图像传感器14B的多个受光元件作为对近红外光具有灵敏度的像素发挥作用。
图像传感器14B通过从未图示的定时信号发生器施加的定时信号(快门控制信号)来控制曝光期间，图像传感器14B的各受光元件中积蓄有与在曝光期间入射的近红外光的光量对应的电荷。而且，从图像传感器14B读取与在被摄体上反射的第1点图案的入射光量对应的像素信号(与按每个像素积蓄的电荷对应的模拟信号)。此外，当被摄体上照射有环境光，且在环境光中包含近红外光波段的成分时，环境光中近红外光波段的成分作为干扰信号而包含在像素信号中。
从图像传感器14B读取的模拟信号通过AD转换器16转换成数字信号(图像数据)，经由作为图像输入控制器发挥作用的接口电路18而读入CPU20。此外，CMOS型图像传感器中存在包含AD转换器的图像传感器，该情况下能够省略AD转换器16。
CPU20具有：根据操作部28中的命令输入进行距离图像获取装置10的曝光控制、光调制部22及驱动部26等各部的整体控制的作为器件控制部的功能；以及作为图案提取部20A、距离图像获取部20B、判别部20C及差分图像生成部20D的功能，详细内容在之后进行说明。
图案提取部20A从作为经由接口电路18输入的图像数据的摄像图像中提取第1点图案。例如，通过设定适当的阈值，并对根据该阈值输入的图像数据进行二值化处理，由此提取仅表示第1点图案的图像数据(二值图像数据)。
距离图像获取部20B根据由图案提取部20A提取的第1点图案，获取(生成)表示测距区域内的被摄体的距离的距离图像。例如，根据仅表示第1点图案的二值图像数据，求出第1点图案的各点在图像传感器14B上的位置(例如，各点的重心的位置)，并根据求出的第1点图案的各点在图像传感器14B上的位置，按每个点计算被摄体的距离，由此获取(生成)表示测距区域内的被摄体的距离的距离图像。此外，距离图像为表示测距区域内的被摄体的距离的二维距离信息，通过将距离信息替换为与距离对应的亮度值或颜色信息，能够将距离图像作为图像进行视觉确认。
判别部20C为判别是否从其他距离图像获取装置(以下，简称为“其他装置”)投射有结构光的图案(第2图案)的部分。以下，以从其他装置向被摄体投射矩阵状点图案而作为结构光的第2图案的情况为例来进行说明，有时还将从其他装置投射的结构光的第2图案称为“第2点图案”。即，判别部20C判别在摄像图像中是否包含从其他装置投射的第2点图案。
差分图像生成部20D生成在第1点图案的投射期间拍摄的第1摄像图像与在第1点图案的未投射期间拍摄的第2摄像图像的差分图像。光调制部22时间性地调制从投射部12投射的第1点图案。驱动部26根据来自CPU20的命令而驱动投射部12。操作部28包含电源开关、快门按钮11、模式选择部等，操作部28中的命令输入施加于CPU20。
通信部30为在与其他装置或接入点之间进行无线通信的近距离无线通信部，作为接收从其他装置直接发送或经由接入点发送的信标信息的信标信息接收部而发挥作用。判别部20C能够根据来自通信部30的信标信息的接收结果来判别在可通信范围内是否存在其他装置(即，是否从其他装置投射有第2点图案)。并且，作为信标信息能够包含表示其他装置所投射的结构光的图案(为第2点图案)的形状的信息以及表示第2点图案的时间调制的调制内容的调制信息(尤其表示投射第2点图案和未投射第2点图案的切换定时的代码)，该情况下，判别部20C能够根据经由通信部30接收的信标信息，获取与从其他装置投射的第2点图案相关的信息(表示第2点图案的形状或时间调制的调制内容的调制信息等)。
接着，对用于在从其他装置投射有第2点图案的状态下获取距离图像的结构的主要部分进行说明。
图4是表示在从自身装置投射有点图案时从其他装置未投射有点图案的状态下由摄像部14拍摄获取的摄像图像的一例的图。图4所示的摄像图像仅包含从自身装置的投射部12投射并在测距区域A内的被摄体上反射的第1点图案，因此，能够通过进行如使用了前述阈值的二值化处理这种简单的图像处理来提取第1点图案。然而，如图5所示，在从自身装置投射有第1点图案时从其他装置投射有第2点图案的情况下，在由摄像部14拍摄获取的摄像图像的测距区域A内存在第1点图案和第2点图案重复的重复区域B，且第1点图案和第2点图案的点形状相同，因此，很难从摄像图像中提取第1点图案。并且，自身装置和其他装置是独立且不同的距离图像获取装置，因此，很难从自身装置的CPU20对其他装置的投射部直接进行图案投射的定时的控制。因此，本实施方式的距离图像获取装置10，即使在从其他装置投射有第2点图案的状态下，也能够通过以下结构从摄像图像中仅提取第1点图案。
投射部12向测距区域内的被摄体投射第1点图案。摄像部14与投射第1点图案期间和未投射第1点图案期间同步而进行拍摄，从而生成包含在被摄体上反射的第1点图案在内的多个摄像图像即在第1点图案的投射期间拍摄的第1摄像图像和在第1点图案的未投射期间拍摄的第2摄像图像。光调制部22利用代码(码)来调制投射从投射部12投射的第1点图案和未投射从投射部12投射的第1点图案的切换定时。差分图像生成部20D生成在第1点图案的投射期间拍摄的第1摄像图像与在第1点图案的未投射期间拍摄的第2摄像图像的差分图像。图案提取部20A从差分图像中提取第1图案。距离图像获取部20B根据由图案提取部20A提取的第1图案，获取表示测距区域内的被摄体的距离的距离图像。
接着，利用图6，对在投射图案和未投射图案的切换定时的调制中使用的代码进行说明。
图6的左侧所示的代码C1～CN是表示如图中右侧所示那样投射从投射部12投射的第1点图案和未投射从投射部12投射的第1点图案的切换定时的信息。在本例中，代码预先存储于光调制部22的代码存储部22A，光调制部22根据从代码存储部22A读取的代码，调制投射从投射部12投射的第1点图案和未投射从投射部12投射的第1点图案的切换定时。为了便于理解，图6中示出代码长度为6比特的代码C1～CN，但代码长度并不特别限定于此。可以使用代码长度彼此不同的代码组。但是，在连续地获取距离图像的动态图像模式的情况下，代码长度越短越优选。
接着，如图7所示，关于在摄像图像中包含从自身装置投射的第1点图案DP1和从其他装置投射的第2点图案DP2的情况下仅提取第1点图案DP1，示出具体代码的例子来进行说明。
首先，对如图8(A)部分所示那样利用代码C1来调制投射第1点图案DP1和未投射第1点图案DP1的切换定时，且如图8(B)部分所示那样利用代码C2来调制投射第2点图案DP2和未投射第2点图案DP2的切换定时的情况进行说明。
二维状地配置于摄像部14的图像传感器14B的受光面的受光元件分别在第1点图案的投射期间(图中的T1、T3)和第1点图案的未投射期间(图中的T2、T4)进行曝光。从摄像部14输出在第1点图案的投射期间拍摄获取的第1摄像图像和在第1点图案的未投射期间拍摄获取的第2摄像图像。此外，本例的摄像部14将模拟摄像信号作为摄像图像而输出，所述模拟摄像信号具有与从受光元件读取的积蓄电荷的量对应的信号值。模拟摄像信号通过AD转换器16转换为数字摄像信号，通过接口电路18，作为数字数据的摄像图像而存储于存储部32。差分图像生成部20D按每个像素位置，从第1摄像图像的像素值(相当于投射期间的积蓄电荷量)减去第2摄像图像的像素值(相当于未投射期间的积蓄电荷量)，从而生成差分图像。
图8(C)部分示意地表示与差分图像中的第1点图案DP1对应的像素值(差分像素值D11、D12)。差分像素值D11相当于从第1点图案DP1的投射期间T1的曝光量减去未投射期间T2的曝光量而得的值，差分像素值D12相当于从第1点图案DP1的投射期间T3的曝光量减去未投射期间T4的曝光量而得的值。图8(D)部分表示与差分图像中的第2点图案DP2对应的像素值(差分像素值D21,D22)。差分像素值D21相当于从第2点图案DP2的投射期间T1的曝光量减去未投射期间T2的曝光量而得的值，差分像素值D22相当于从第2点图案DP2的投射期间T3的曝光量减去未投射期间T4的曝光量而得的值。
如图8(C)部分和图8(D)部分所示，与投射期间T1和未投射期间T2对应的差分像素值D11与差分像素值D21相差较小，因此根据这些差分像素值D11和差分像素值D21，很难识别差分图像的像素是与从自身装置投射的第1点图案DP1对应的像素，还是与从其他装置投射的第2点图案DP2对应的像素。
然而，如图8(C)部分和图8(D)部分所示，与投射期间T3和未投射期间T4对应的差分像素值D12与差分像素值D22相差较大，因此根据这些差分像素值D12和差分像素值D22，能够识别差分图像的像素是与从自身装置投射的第1点图案DP1对应的像素，还是与从其他装置投射的第2点图案DP2对应的像素。即，第1点图案DP1和第2点图案DP2中，投射和未投射的切换定时的代码不同，因此，在与自身装置的代码C1的代码长度对应的期间T1～T4按每个像素位置而累加差分像素值，由此能够识别第1点图案DP1。在此，代码C1表示多个投射期间T1、T3和多个未投射期间T2、T4的切换定时，且多个投射期间T1、T3的时间长度彼此不同(在本例中，T1＜T3)。并且，多个未投射期间T2、T4的时间长度彼此不同(在本例中，T2＜T4)。
本例的图案提取部20A例如在与自身装置的代码C1的代码长度对应的期间T1～T4按每个像素位置而累加差分像素值。图中的S1和S2是与累加值对应的值。若累加值为阈值以上，则能够判别为该差分像素是第1点图案的像素，若累加值小于阈值，则能够判别为该差分像素不是第1点图案的像素。即，通过将差分像素值D11和差分像素值D12的累加值(D11+D12)与阈值进行比较，识别为差分图像的像素是构成第1点图案的像素，通过将图8(D)部分所示的差分像素值D21和差分像素值D22的累加值(D21+D22)与阈值进行比较，识别为差分图像的像素不是构成第1点图案的像素。图8中的S1相当于累加值(D11+D12)，图8中的S2相当于累加值(D21+D22)。也可以利用直方图分类为差分图像中差分像素值的累加值相对较大的像素组和差分像素值的累加值相对较小的像素组，并通过将差分像素值的累加值相对较大的像素组判定为第1点图案的像素组，由此从差分图像中提取第1点图案。
接着，对如图9(A)部分所示那样利用代码C2来调制投射第1点图案DP1和未投射第1点图案DP1的切换定时，且如图9(B)部分所示那样利用代码C1来调制投射第2点图案DP2和未投射第2点图案DP2的切换定时的情况进行说明。
在图9(C)部分中，差分像素值D11相当于第1点图案DP1的投射期间T1与未投射期间T2的曝光量之差，差分像素值D12相当于第1点图案DP1的投射期间T3与未投射期间T4的曝光量之差。并且，在图9(D)部分中，差分像素值D21相当于第2点图案DP2的投射期间T1与未投射期间T2的曝光量之差，差分像素值D22相当于第2点图案DP2的投射期间T3与未投射期间T4的曝光量之差。
如图9(C)部分和图9(D)部分所示，与投射期间T1和未投射期间T2对应的差分像素值D11与差分像素值D21相差较小，因此根据这些差分像素值D11和差分像素值D21，很难识别差分图像的像素是与第1点图案DP1对应的像素，还是与第2点图案DP2对应的像素。
然而，如图9(C)部分和图9(D)部分所示，与投射期间T3和未投射期间T4对应的差分像素值D12与差分像素值D22相差较大，因此根据差分像素值D12和差分像素值D22，能够识别是从自身装置投射的第1点图案的像素，还是从其他装置投射的第2点图案的像素。
本例的图案提取部20A例如在与自身装置的代码C2的代码长度对应的期间T1～T4按每个像素位置累加差分像素值。图中的S3和S4是与累加值对应的值。若累加值为阈值以上，则能够判别为该差分像素是第1点图案的像素，若累加值小于阈值，则能够判别为该差分像素不是第1点图案的像素。
图10是表示第1实施方式中的距离图像获取方法的一例的处理流程的流程图，表示主要通过CPU20的控制并按照程序执行的处理流程。本处理为动态图像模式下的距离图像获取处理，例如按一下快门按钮11，则开始。
首先，CPU20将识别代码的变量i设定为初始值即“1”(步骤S102)。
接着，使光调制部22从代码存储部22A获取表示投射第1点图案和未投射第1点图案的切换定时的第i代码(Ci)(步骤S104)。
接着，通过光调制部22，利用第i代码来调制投射第1点图案和未投射第1点图案的切换定时，从投射部12向测距区域内的被摄体投射第1点图案，且通过摄像部14，与投射第1点图案期间和未投射第1点图案期间同步而拍摄测距区域内的被摄体(步骤S106)。从摄像部14输出包含在被摄体上反射的第1点图案在内的多个摄像图像即在第1点图案的投射期间拍摄生成的第1摄像图像和在第1点图案的未投射期间拍摄生成的第2摄像图像。
接着，通过差分图像生成部20D，生成在投射期间拍摄获取的第1摄像图像与在未投射期间拍摄获取的第2摄像图像的差分图像(步骤S108)。
接着，通过图案提取部20A，从差分图像中提取第1点图案(步骤S110)。
接着，判定是否从差分图像中实际提取了第1点图案(步骤S112)。当判定为提取了第1点图案时(步骤S112中，为是的情况)，通过距离图像获取部20B，根据从差分图像中所提取的第1点图案而获取距离图像(步骤S118)。
当在步骤S112中判定为未提取第1点图案时(步骤S112中，为否的情况)，判定识别代码的变量i是否与代码数N相等(步骤S113)。在步骤S113中为否的情况下，使变量i递增(i＝i+1)(步骤S114)，返回步骤S104而获取下一个代码，并重复进行步骤S106～S110。
CPU20判定是否继续进行距离图像获取(步骤S120)，当判定为继续进行时(步骤S120中，为是的情况)，在本例中，在不改变识别代码的变量i的状态下重复进行步骤S104～S118。当判定为不继续进行时(步骤S120中，为否的情况)，结束本处理。本处理为动态图像模式下的距离图像获取，再按一下快门按钮11，则结束。
此外，当利用所有代码并未从差分图像中提取第1点图案时，通过CPU20执行其他处理(步骤S130)。通常会提取第1点图案，因此可将步骤S130视为错误处理。
＜第2实施方式＞
利用图11对第2实施方式的距离图像获取装置100的内部结构进行说明。以下，主要对与图3所示的第1实施方式的距离图像获取装置10不同的方面进行说明，并省略在第1实施方式中已经说明的内容。
本实施方式的光调制部22利用随机代码来调制投射第1点图案和未投射第1点图案的切换定时。
光调制部22具备生成随机代码的代码生成部22B。光调制部22利用在代码生成部22B生成的随机代码来调制第1点图案。
图12是表示第2实施方式的距离图像获取方法的一例的处理流程的流程图，表示主要通过CPU20的控制并按照程序而执行的处理流程。本处理为动态图像模式下的距离图像获取处理，例如按一下快门按钮11，则开始。
首先，代码生成部22B生成(获取)随机代码作为表示投射第1点图案和未投射第1点图案的切换定时的代码(步骤S204)。可以将随机代码预先存储于存储部32，并从存储部32读取随机代码，从而获取随机代码。
接着，通过光调制部22，利用随机代码来调制投射第1点图案和未投射第1点图案的切换定时，并从投射部12向测距区域内的被摄体投射第1点图案，且通过摄像部14，与投射第1点图案期间和未投射第1点图案期间同步而拍摄测距区域内的被摄体(步骤S206)。从摄像部14输出包含在被摄体上反射的第1点图案在内的多个摄像图像即在第1点图案的投射期间拍摄生成的第1摄像图像和在第1点图案的未投射期间拍摄生成的第2摄像图像。
步骤S208和步骤S210与图10所示的第1实施方式的步骤S108和步骤S110相同，省略说明。
判定是否从差分图像中实际提取了第1点图案(步骤S212)，当判定为提取了第1点图案时(步骤S212中，为是的情况)，通过距离图像获取部20B，根据从差分图像中所提取的第1点图案而获取距离图像(步骤S218)。
当在步骤S112中判定为未提取第1点图案时(步骤S212中，为否的情况)，返回步骤S204而获取下一个随机代码，并重复进行步骤S206～S210。
CPU20判定是否继续进行距离图像获取(步骤S220)，当判定为继续进行时(步骤S220中，为是的情况)，重复进行步骤S204～S218。当判定为不继续进行时(步骤S220中，为否的情况)，结束本处理。本处理为动态图像模式下的距离图像获取，再按一下快门按钮11，则结束。
＜关于调制开始的控制＞
为了便于理解本实施方式，利用图10和图12，以无关于来自其他装置的第2点图案的投射的有无而利用代码进行调制的情况为例进行了说明，但本发明并不限定于这种情况。在未投射有来自其他装置的第2点图案时，优选不利用代码来调制第1点图案。
首先，当通过投射部12，例如利用连续波来投射第1点图案，并通过判别部20C判别为在摄像图像中不包含第2点图案时(即，判别为从其他装置未投射有第2点图案时)，根据从该摄像图像中提取的第1点图案而获取距离图像，当通过判别部20C判别为在摄像图像中包含第2点图案时(即，判别为从其他装置投射有第2点图案时)，优选通过光调制部22开始进行切换投射第1点图案期间和未投射第1点图案期间的代码调制。
通过判别部20C判别是否从其他装置投射有第2图案的判别方式中，有各种方式。
第一，有如下方式：若通过通信部30接收从其他装置发送且表示从其他装置投射有第2点图案的信标信息，则判别为从其他装置投射有第2点图案。
第二，有如下方式：当从由摄像部14拍摄的摄像图像中检测出的点图案的点数超过从投射部12投射的第1点图案的点数时，判别为从其他装置投射有第2点图案。
＜代码的代码长度＞
代码长度并不限定于图6所示的代码长度。在第1实施方式中，优选为，将代码长度不同的多个代码存储于代码存储部22A，自代码长度最短的代码起依次用于调制，并且由图案提取部20A无法提取图案时，光调制部22切换为代码长度更长的代码而进行调制。在第2实施方式中，优选为，由图案提取部20A无法提取图案时，由代码生成部22B生成代码长度更长的代码，并由光调制部22进行调制。
＜关于动态图像模式和静止图像模式＞
在动态图像模式的情况下，摄像部14在与连续的距离图像的帧率对应的曝光期间进行曝光，光调制部22以与摄像部14的曝光期间的开始和结束的定时同步的方式调制投射第1点图案和未投射第1点图案的切换定时。
此外，本发明并不特别限定于获取连续的距离图像的情况(动态图像模式)，也能够在获取1帧份的距离图像的情况(静止图像模式)下实施。
能够适用本发明的方式并不限于具备获取距离图像的单独的功能的距离图像获取装置，也可以是能够拍摄彩色图像的普通的数码相机、摄像机中搭载有距离图像获取功能的装置，并且，也能够适用于在具备距离图像获取功能的基础上还具备除距离图像获取功能以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够适用本发明的其他方式，例如，可以举出移动电话或智能手机、PDA(个人数字助理(PersonalDigital Assistants))、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图13是表示作为距离图像获取装置的实施方式的智能手机500的外观的立体图。
图13所示的智能手机500具有平板状的框体502，在框体502的一个面具备作为显示部的显示面板521和作为输入部的操作面板522成为一体的显示输入部520。并且，框体502具备扬声器531、麦克风532、操作部540、相机部541以及投射部542。此外，框体502的结构并不限定于此，例如，还能够采用显示部和输入部独立构成的结构、折叠结构或具有滑动机构的结构。
图14是表示图13所示的智能手机500的结构的框图。如图14所示，作为智能手机500的主要构成要件，具备无线通信部510、显示输入部520、通话部530、操作部540、作为摄像部发挥作用的相机部541、存储部550、外部输入输出部560、GPS(全球定位系统(GlobalPositioning System))接收部570、动作传感器部580、电源部590以及主控制部501。并且，作为智能手机500的主要功能，具备经由基站装置和移动通信网进行移动无线通信的无线通信功能。
无线通信部510根据主控制部501的命令而与容纳于移动通信网的基站装置进行无线通信。利用该无线通信来进行语音数据、图像数据等各种文件数据、电子邮件数据等的发送和接收，或Web数据和流数据等的接收。
显示输入部520是通过主控制部501的控制而显示图像(静止图像和动态图像)或字符信息等并将信息视觉性地传递给用户，并且检测相对于所显示的信息的用户操作的所谓的触摸面板，且具备显示面板521和操作面板522。在观看所生成的三维图像时，优选显示面板521为三维显示面板。
显示面板521将LCD(液晶显示器(Liquid Crystal Display))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等作为显示器件而使用。
操作面板522是以能够视觉确认显示在显示面板521的显示面上的图像的方式被载置，且通过用户的手指或尖笔操作的检测一个或多个坐标的器件。若通过用户的手指或尖笔操作该器件，则将因操作而产生的检测信号输出至主控制部501。接着，主控制部501根据所接收的检测信号来检测显示面板521上的操作位置(坐标)。
如图13所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，成为操作面板522完全覆盖显示面板521的配置。采用该配置时，操作面板522可以对显示面板521之外的区域也具备检测用户操作的功能。换句话说，操作面板522可以具备关于与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)，以及关于除此以外的不与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。
此外，显示区域的大小和显示面板521的大小可以完全一致，但二者并不需要一定一致。并且，操作面板522可以具备外缘部分和除此以外的内侧部分这2个感应区域。此外，外缘部分的宽度是根据框体502的大小等而适当设计的。此外，作为操作面板522中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任意方式。
通话部530具备扬声器531和麦克风532，并将通过麦克风532输入的用户的声音转换成可在主控制部501处理的语音数据而输出至主控制部501，或者将通过无线通信部510或外部输入输出部560接收的语音数据进行解码而从扬声器531输出。并且，如图13所示，例如，能够将扬声器531和麦克风532搭载于与设有显示输入部520的面相同的面。
操作部540是使用了键开关等的硬件键，并且接受来自用户的命令。例如，操作部540是搭载于智能手机500的框体502的显示部的下部、下侧面，且在用手指等按下时成为接通，放开手指时通过弹簧等的复原力而成为断开状态的按钮式开关。
存储部550存储主控制部501的控制程序和控制数据、将通信对象的名称和电话号码等建立对应关联而成的地址数据、发送和接收的电子邮件数据、通过Web浏览下载的Web数据或已下载的内容数据，并且临时存储流数据等。并且，存储部550由智能手机内置的内部存储部551和具有装卸自如的外部存储器用插槽的外部存储部552构成。此外，构成存储部550的各内部存储部551和外部存储部552使用闪存型(flash memory type)、硬盘型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(随机存取存储器(Random Access Memory))、ROM(只读存储器(Read Only Memory))等存放介质来实现。
外部输入输出部560发挥与连结于智能手机500的所有外部设备之间的接口作用，用于通过通信等(例如，通用串行总线等)或网络(例如，互联网、无线LAN(局域网(LocalArea Network))、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(Radio FrequencyIdentification))、红外线通信(红外数据协会(Infrared Data Association：IrDA))、UWB(超宽带(Ultra Wideband))(注册商标)、紫蜂(ZigBee)(注册商标)等)而直接或间接地与其他外部设备连接。
作为连结于智能手机500的外部设备，例如具有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽而连接的存储卡(Memory card)或SIM(客户标识模块(Subscriber Identity Module))/UIM(用户标识模块(User Identity Module))卡、经由音频/视频I/O(输入/输出(Input/Output))端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、耳机等。外部输入输出部能够将从这种外部设备传输来的数据传递至智能手机500的内部的各构成要件，或者能够将智能手机500的内部的数据传输至外部设备。
GPS接收部570根据主控制部501的命令而接收从GPS卫星ST1～STn发送的GPS信号，根据所接收的多个GPS信号执行定位运算处理，并检测由智能手机500的纬度、经度、高度组成的位置。当能够从无线通信部510或外部输入输出部560(例如，无线LAN)获取位置信息时，GPS接收部570还能够利用该位置信息来检测位置。
动作传感器部580例如具备三轴加速度传感器等，并根据主控制部501的命令而检测智能手机500的物理移动。通过检测智能手机500的物理移动，从而检测智能手机500的移动方向和加速度。该检测结果被输出至主控制部501。
电源部590根据主控制部501的命令而向智能手机500的各部供给积蓄在电池(未图示的)的电力。
主控制部501具备微处理器，并且根据存储部550所存储的控制程序和控制数据进行工作并整体控制智能手机500的各部。并且，主控制部501由于通过无线通信部510而进行语音通信和数据通信，因此具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过根据存储部550所存储的应用软件而主控制部501进行工作来实现。作为应用处理功能，例如有控制外部输入输出部560而与对象设备进行数据通信的红外线通信功能、进行电子邮件的发送和接收的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部501具备根据接收数据或所下载的流数据等的图像数据(静止图像或动态图像的数据)，将影像显示在显示输入部520等的图像处理功能。图像处理功能是指，主控制部501将上述图像数据进行解码并对该解码结果实施图像处理，从而将图像显示在显示输入部520的功能。
此外，主控制部501执行对显示面板521的显示控制，以及检测通过操作部540、操作面板522进行的用户操作的操作检测控制。
通过执行显示控制，主控制部501显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。此外，滚动条是指，用于使无法收容于显示面板521的显示区域的较大的图像等接受移动图像显示部分的命令的软件键。
并且，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或接受通过操作面板522而对上述图标进行的操作、对上述窗口的输入栏进行的字符串的输入，或者接受通过滚动条进行的显示图像的滚动要求。
此外，通过执行操作检测控制，主控制部501判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的与显示面板521不重叠的外缘部分(非显示区域)，并具备对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
并且，主控制部501还能够检测对操作面板522的手势操作，并根据所检测的手势操作而执行预先设定的功能。手势操作是指用手指等描绘轨迹或同时指定多个位置，或者将它们进行组合而从多个位置对至少1个描绘轨迹的操作，而非以往简单的触摸操作。
相机部541是使用CMOS(互补金属氧化物半导体(Complementary Metal OxideSemiconductor))或CCD(电荷耦合器件(Charge-Coupled Device))等图像传感器进行电子拍摄的摄像装置。
该情况下，优选相机部541为在1个图像传感器内设有受光的波长区域彼此不同的多个受光元件，且彩色摄像用受光元件(R像素、G像素、B像素)混合存在并二维排列的相机部。即，作为相机部541的图像传感器，优选使用设有彩色摄像用RGB滤色器的R像素、G像素以及B像素和设有距离图像获取用带通滤波器或截止滤波器的像素(仅对投射光具有灵敏度的像素)混合存在的图像传感器。
投射部542具有LED，并在获取距离图像时投射光的第1点图案。并且，LED为具有光通信功能的智能手机500时，还能够作为光通信的光源来使用。
并且，相机部541能够通过控制主控制部501，将通过拍摄获取的可见光的图像数据转换为例如JPEG(联合图像专家组(Joint Photographic coding Experts Group))等压缩的图像数据，并记录于存储部550或者通过外部输入输出部560或无线通信部510而进行输出，同样能够将表示被摄体的距离的距离图像记录于存储部550或者通过外部输入输出部560或无线通信部510而进行输出。在图13所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置并不限于此，也可以搭载于显示输入部520的背面，或者也可以搭载有多个相机部541。此外，搭载有多个相机部541时，还能够切换供拍摄的相机部541而单独进行拍摄，或者同时使用多个相机部541而进行拍摄。
并且，相机部541能够利用于智能手机500的各种功能。例如，能够在显示面板521显示由相机部541获取的图像，或作为操作面板522的操作输入之一而利用相机部541的图像。并且，还能够在GPS接收部570检测位置时，参照来自相机部541的图像而检测位置。此外，也能够参照来自相机部541的图像而不使用三轴加速度传感器，或者同时使用三轴加速度传感器，来判断智能手机500的相机部541的光轴方向或判断当前的使用环境。当然，也能够在应用软件内利用来自相机部541的图像。
例如可以通过投射部542构成本发明中的投射部。例如可以通过相机部541构成本发明中的摄像部。例如可以通过主控制部501构成本发明中的判别部、差分图像生成部、图案提取部以及距离图像获取部。虽省略了图示，但在智能手机500中设置本发明中的光调制部以及信标信息接收部。
本发明并不限定于上述实施方式，在不脱离本发明的宗旨的范围内当然可以进行各种变形。
符号说明
10-距离图像获取装置，12-投射部，14-摄像部，16-AD转换器，18-接口电路，20-CPU，20A-图案提取部，20B-距离图像获取部，20C-判别部，20D-差分图像生成部，22-光调制部，22A-代码存储部，22B-代码生成部，26-驱动部，28-操作部，30-通信部，32-存储部。

Claims (7)

1.一种距离图像获取装置，其具备：
投射部，向测距区域内的被摄体投射二维分布的结构光的第1图案；
光调制部，利用码来调制投射从所述投射部投射的所述第1图案和未投射从所述投射部投射的所述第1图案的切换定时；
摄像部，从所述投射部远离相当于基线长度而并列设置，与所述第1图案的投射期间以及所述第1图案的未投射期间同步地进行拍摄，生成包含所述被摄体所反射的所述第1图案在内的多个摄像图像即在所述第1图案的投射期间拍摄的第1摄像图像以及在所述第1图案的未投射期间拍摄的第2摄像图像；
差分图像生成部，生成在所述投射期间拍摄的第1摄像图像与在所述未投射期间拍摄的第2摄像图像的差分图像；
图案提取部，从所述差分图像提取所述第1图案；以及
距离图像获取部，根据由所述图案提取部提取的所述第1图案，获取表示所述测距区域内的被摄体的距离的距离图像。
2.根据权利要求1所述的距离图像获取装置，其中，
所述光调制部利用随机码来调制投射所述第1图案和未投射所述第1图案的切换定时。
3.根据权利要求1或2所述的距离图像获取装置，
其具备判别部，所述判别部判别是否从其他距离图像摄像装置投射有第2图案，
在通过所述判别部判别为从所述其他距离图像摄像装置投射有所述第2图案的情况下，所述光调制部对从所述投射部投射的所述第1图案进行调制。
4.根据权利要求3所述的距离图像获取装置，
其具备信标信息接收部，所述信标信息接收部接收从所述其他距离图像获取装置发送的、表示从所述其他距离图像获取装置投射有所述第2图案的信标信息，
在所述信标信息接收部接收所述信标信息的情况下，所述判别部判别为从所述其他距离图像摄像装置投射有所述第2图案。
5.根据权利要求3所述的距离图像获取装置，其中，
所述第1图案和所述第2图案分别为点图案，
当从所述摄像部所拍摄的摄像图像检测出的点图案的点数超过从所述投射部投射的所述第1图案的点数时，所述判别部判别为从所述其他距离图像摄像装置投射有所述第2图案。
6.根据权利要求1至5中任一项所述的距离图像获取装置，其中，
所述摄像部在与所述距离图像的帧率对应的曝光期间进行曝光，
所述光调制部以与所述摄像部的曝光期间的开始和结束的定时同步的方式调制投射所述第1图案和未投射所述第1图案的切换定时。
7.一种距离图像获取方法，其包括：
利用码来调制向测距区域内的被摄体投射二维分布的结构光的第1图案和未投射二维分布的结构光的第1图案的切换定时，并使投射部投射所述第1图案的步骤；
通过从所述投射部远离相当于基线长度而并列设置的摄像部，与所述第1图案的投射期间以及所述第1图案的未投射期间同步地进行拍摄，生成包含所述被摄体所反射的所述第1图案在内的多个摄像图像即在所述第1图案的投射期间拍摄的第1摄像图像和在所述第1图案的未投射期间拍摄的第2摄像图像的步骤；
生成在所述投射期间拍摄的第1摄像图像与在所述未投射期间拍摄的第2摄像图像的差分图像的步骤；
从所述差分图像中提取所述第1图案的步骤；以及
根据提取的所述第1图案，获取表示所述测距区域内的被摄体的距离的距离图像的步骤。
CN201580078095.1A 2015-03-30 2015-11-11 距离图像获取装置以及距离图像获取方法 Active CN107407559B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015069130 2015-03-30
JP2015-069130 2015-03-30
PCT/JP2015/081775 WO2016157600A1 (ja) 2015-03-30 2015-11-11 距離画像取得装置及び距離画像取得方法

Publications (2)

Publication Number Publication Date
CN107407559A true CN107407559A (zh) 2017-11-28
CN107407559B CN107407559B (zh) 2019-10-18

Family

ID=57005423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580078095.1A Active CN107407559B (zh) 2015-03-30 2015-11-11 距离图像获取装置以及距离图像获取方法

Country Status (5)

Country Link
US (1) US10215557B2 (zh)
JP (1) JP6360621B2 (zh)
CN (1) CN107407559B (zh)
DE (1) DE112015006244T5 (zh)
WO (1) WO2016157600A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111971527A (zh) * 2018-05-10 2020-11-20 日立汽车系统株式会社 摄像装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199518A1 (ja) * 2015-06-09 2016-12-15 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
EP3552180B1 (en) 2016-12-07 2022-01-26 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
CN108700664A (zh) * 2017-02-06 2018-10-23 松下知识产权经营株式会社 三维运动取得装置及三维运动取得方法
WO2019070867A2 (en) 2017-10-08 2019-04-11 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
CN111164650B (zh) 2017-10-08 2021-10-29 魔眼公司 用于确定传感器位置的系统和方法
KR20200062355A (ko) * 2017-10-22 2020-06-03 매직 아이 인코포레이티드 빔 레이아웃을 최적화하기 위한 거리 센서의 투영 시스템 조정
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
WO2019182871A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
WO2020197813A1 (en) * 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
JP2022532725A (ja) 2019-05-12 2022-07-19 マジック アイ インコーポレイテッド ３次元深度マップデータの２次元画像上へのマッピング
US20220291380A1 (en) * 2019-07-12 2022-09-15 Sony Group Corporation Semiconductor device
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
JP2023508501A (ja) 2019-12-29 2023-03-02 マジック アイ インコーポレイテッド ３次元座標と２次元特徴点との関連付け
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera
US11960968B2 (en) * 2022-08-25 2024-04-16 Omron Corporation Scanning device utilizing separate light pattern sequences based on target distance

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221333A (ja) * 2004-02-04 2005-08-18 Hokuyo Automatic Co レンジセンサ及びレンジセンサの相互干渉抑制方法
CN102472613A (zh) * 2009-07-29 2012-05-23 佳能株式会社 测量设备、测量方法和程序
CN102638692A (zh) * 2011-01-31 2012-08-15 微软公司 降低多个红外深度相机之间的干扰
CN102753932A (zh) * 2010-02-17 2012-10-24 三洋电机株式会社 物体检测装置及信息取得装置
US20120281240A1 (en) * 2005-10-11 2012-11-08 Primesense Ltd. Error Compensation in Three-Dimensional Mapping
US20120287442A1 (en) * 2011-05-10 2012-11-15 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for controlling a three-dimensional measurement apparatus, and storage medium
CN103562673A (zh) * 2011-05-31 2014-02-05 Ckd株式会社 三维测量装置
US20140267702A1 (en) * 2013-03-15 2014-09-18 Siemens Healthcare Diagnostics Inc. Optical metrology by light beam analysis
JP2014186010A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 計測装置、方法及びプログラム
WO2015014797A1 (en) * 2013-08-02 2015-02-05 Koninklijke Philips N.V. Laser device with adjustable polarization

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6351201B2 (ja) 2012-12-06 2018-07-04 キヤノン株式会社 距離計測装置および方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221333A (ja) * 2004-02-04 2005-08-18 Hokuyo Automatic Co レンジセンサ及びレンジセンサの相互干渉抑制方法
US20120281240A1 (en) * 2005-10-11 2012-11-08 Primesense Ltd. Error Compensation in Three-Dimensional Mapping
CN102472613A (zh) * 2009-07-29 2012-05-23 佳能株式会社 测量设备、测量方法和程序
CN102753932A (zh) * 2010-02-17 2012-10-24 三洋电机株式会社 物体检测装置及信息取得装置
CN102638692A (zh) * 2011-01-31 2012-08-15 微软公司 降低多个红外深度相机之间的干扰
US20120287442A1 (en) * 2011-05-10 2012-11-15 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for controlling a three-dimensional measurement apparatus, and storage medium
CN103562673A (zh) * 2011-05-31 2014-02-05 Ckd株式会社 三维测量装置
US20140267702A1 (en) * 2013-03-15 2014-09-18 Siemens Healthcare Diagnostics Inc. Optical metrology by light beam analysis
JP2014186010A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 計測装置、方法及びプログラム
WO2015014797A1 (en) * 2013-08-02 2015-02-05 Koninklijke Philips N.V. Laser device with adjustable polarization

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111971527A (zh) * 2018-05-10 2020-11-20 日立汽车系统株式会社 摄像装置
CN111971527B (zh) * 2018-05-10 2022-08-05 日立安斯泰莫株式会社 摄像装置

Also Published As

Publication number Publication date
US20180080761A1 (en) 2018-03-22
CN107407559B (zh) 2019-10-18
JP6360621B2 (ja) 2018-07-18
WO2016157600A1 (ja) 2016-10-06
DE112015006244T5 (de) 2017-11-16
US10215557B2 (en) 2019-02-26
JPWO2016157600A1 (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
CN107407559B (zh) 距离图像获取装置以及距离图像获取方法
CN107429998B (zh) 距离图像获取装置以及距离图像获取方法
CN107683403A (zh) 距离图像获取装置以及距离图像获取方法
US20210116565A1 (en) Distance image acquisition apparatus and distance image acquisition method
CN107709925B (zh) 距离图像获取装置
CN106104300B (zh) 深度感测设备中的定时脉冲
US20190222775A1 (en) Method of providing interactable visual object during video call and system performing method
CN106062862A (zh) 用于沉浸式和交互式多媒体生成的系统和方法
CN109635539A (zh) 一种人脸识别方法及电子设备
CN104584542B (zh) 图像处理装置、图像处理方法及摄像装置
EP2584403A2 (en) Multi-user interaction with handheld projectors
CN108710525A (zh) 虚拟场景中的地图展示方法、装置、设备及存储介质
CN106713738A (zh) 移动终端及其控制方法
CN108037863A (zh) 一种显示图像的方法和装置
CN105637529A (zh) 图像捕获输入和投影输出
CN107407959A (zh) 基于姿势的三维图像的操纵
US20130321404A1 (en) Operating area determination method and system
CN107016004A (zh) 图像处理方法及装置
CN113260951A (zh) 基于指距或手接近的淡入用户界面显示
JP2019148940A (ja) 学習処理方法、サーバ装置及び反射検知システム
CN109683774A (zh) 交互式显示系统及交互式显示控制方法
CN104871532B (zh) 拍摄装置及其动作控制方法
CN105955255A (zh) 一种控制方法、装置、控制器及控制系统
JP2020024763A (ja) 反射検知システム
GB2484979A (en) Tracking and identifying physical objects in an interactive surface or vision system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant