CN107683403A - 距离图像获取装置以及距离图像获取方法 - Google Patents

距离图像获取装置以及距离图像获取方法 Download PDF

Info

Publication number
CN107683403A
CN107683403A CN201680033520.XA CN201680033520A CN107683403A CN 107683403 A CN107683403 A CN 107683403A CN 201680033520 A CN201680033520 A CN 201680033520A CN 107683403 A CN107683403 A CN 107683403A
Authority
CN
China
Prior art keywords
pattern
projection
range image
image acquisition
luminous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680033520.XA
Other languages
English (en)
Other versions
CN107683403B (zh
Inventor
高尾浩昭
三泽岳志
神谷毅
增田智纪
藤田广大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107683403A publication Critical patent/CN107683403A/zh
Application granted granted Critical
Publication of CN107683403B publication Critical patent/CN107683403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2053—Intensity control of illuminating light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种即使在从自身装置和其他装置同时投射有相同形状(第1点图案DP1、第2点图案DP2)的结构光的图案的情况下，也能够根据从自身装置投射的图案(DP1)来获取距离图像的距离图像获取装置以及距离图像获取方法，从投射部(12)以多个发光强度进行多次发光，并向测距区域内的被摄体投射结构光的第1图案(DP1)，通过从投射部(12)远离基线长度而并列设置的摄像部(14)，与多次发光分别同步地拍摄被摄体，通过标准化部(20D)，以与多个发光强度分别对应的系数对多个摄像图像分别进行标准化，通过判别部(20F)，对多个标准化图像进行比较(dV1、dV2)，判别从投射部(12)投射的第1图案，根据判别的结果，获取表示被摄体的距离的距离图像。

Description

距离图像获取装置以及距离图像获取方法
技术领域
本发明涉及一种距离图像获取装置以及距离图像获取方法，尤其涉及一种向测距区域内的被摄体投射二维分布的结构光，并获取表示被摄体的距离的距离图像的技术。
背景技术
以往，这种距离图像获取装置中，从投射部向测距区域内的被摄体投射二维分布的结构光的点图案，由摄像部拍摄被摄体，从而获取包含在被摄体上反射的点图案的第1图像。并且，获取从投射部不投射点图案而由摄像部拍摄被摄体从而成为点图案的背景的第2图像。而且，从第1图像减去第2图像，并根据减算结果，基于三角测量法来运算获取距离图像(三维距离信息)(专利文献1)。
专利文献2公开了在一个距离测量装置中具备多个投射部(投影部)，并且多个投射部逐一依次进行投射，或者使从多个投射部投射的图案光的颜色不同，以免在摄像部混淆多个投射部分别投射的图案。
现有技术文献
专利文献
专利文献1：日本特开2011-169701号公报
专利文献2：日本特开2014-115107号公报
发明内容
发明所要解决的问题
要求能够用多台同时进行同一被摄体的距离测量的距离图像获取装置。例如，有时希望用多台距离图像获取装置同时对用一台距离图像获取装置无法获取距离图像的大小的对象物体进行距离测量，或者有时使用者并不知其他人在使用距离图像获取装置而自身也使用距离图像获取装置。尤其，当不直接显示距离图像等而用于其他用途，使得使用者本身并不知晓自己正在进行距离图像获取时，很有可能导致同时在同一场所使用距离图像获取装置。
专利文献1中记载的距离图像获取装置中存在如下问题：当用多台同时进行同一被摄体的距离测量时，由于从多台距离图像获取装置投射的点图案混合存在，因此存在无法获取距离图像的情况。
具体而言，在图20所示的情况下，即，在自身装置投射点图案时的第1曝光期间其他装置也投射相同形状的点图案，且在自身装置未投射点图案的第2曝光期间其他装置也未投射点图案的情况下，导致在第1曝光期间拍摄获得的信号值与在第2曝光期间拍摄获得的信号值之差，在自身装置投射的点图案与其他装置投射的点图案中相同。因此，如专利文献1中所记载，即使从自身装置投射时的摄像图像(第1图像)减去自身装置未投射时的摄像图像(第2图像)，也无法排除其他装置投射的点图案，其结果无法获取距离图像。
专利文献2中记载的技术是在一台装置中设有多个投射部时，在该一台装置的摄像部中避免图案的混淆的技术，很难适用于从分别设置于多台装置的多个投射部投射图案的情况。这是因为，如专利文献2中所记载，在一台装置中设有多个投射部时，从在一台装置内进行总体控制的CPU(中央处理器(Central Processing Unit))分别对多个投射部命令投射定时或波长区域，由此能够轻松地控制多个投射部的时间划分或波长区域划分(也称为频率划分)，但是分别在彼此独立的多台装置中设有投射部时，无法从自身装置的CPU对其他装置的投射部直接命令投射定时或波长区域。并且，若为了对投射图案进行调制而追加特别的硬件，也会导致装置成本上升。
本发明是鉴于这种情况而完成的，其目的在于提供一种即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够根据从自身装置投射的图案而获取距离图像的距离图像获取装置以及距离图像获取方法。
用于解决问题的手段
为了实现上述目的，本发明的一种方式所涉及的距离图像获取装置，其具备：投射部，以多个发光强度进行多次发光，并向测距区域内的被摄体投射二维分布的结构光的第1图案；摄像部，从投射部远离基线长度而并列设置，并且与多次发光分别同步地拍摄被摄体，从而生成包含在被摄体上反射的第1图案且与多个发光强度分别对应的多个摄像图像；标准化部，以与多个发光强度分别对应的系数对多个摄像图像分别进行标准化从而获取多个标准化图像；判别部，对多个标准化图像进行比较从而判别从投射部投射的第1图案；以及距离图像获取部，根据判别部的判别结果，获取表示被摄体的距离的距离图像。
根据该结构，通过投射部以多个发光强度进行多次发光而向被摄体投射第1图案，且通过摄像部与多次发光分别同步地拍摄被摄体，由此生成包含在被摄体上反射的第1图案且与多个发光强度分别对应的多个摄像图像，通过标准化部以与多个发光强度分别对应的系数对多个摄像图像分别进行标准化，由此获取多个标准化图像，通过判别部对多个标准化图像进行比较，由此只有从投射部投射的自身装置投射的第1图案区别于从其他距离图像获取装置投射的第2图案而被判别，因此，即使在从自身装置和其他装置同时投射相同形状的结构光的图案时，也能够仅根据自身装置投射的第1图案来获取精度高的距离图像。
上述投射部的“以多个发光强度多次发光”表示在多次发光中的至少一次发光中使发光强度不同。即，“以多个发光强度多次发光”不包括以相同的发光强度进行所有多次发光的情况。当进行两次发光时，在第1次发光和第2次发光中发光强度不同。
上述摄像部的“生成”“摄像图像”包括读取摄像信号，即简单地从摄像部的受光元件读取电荷作为摄像信号的情况。
上述标准化部的“以与多个发光强度分别相当的系数对多个摄像图像分别进行标准化”包括对成为多个摄像图像中的基准的摄像图像不进行用于标准化的运算，而仅对除了成为基准的摄像图像以外的其他摄像图像进行用于标准化的运算的情况。未进行用于标准化的运算的基准摄像图像能够直接利用为标准化图像。
上述判别部的“判别第1图案”并不限定于根据对多个标准化图像进行比较的结果来判别标准化图像中的第1图案的情况，还包括根据对多个标准化图像进行比较的结果来判别摄像图像中的第1图案的情况。并且，包括判别从多个摄像图像以及多个标准化图像中的至少一个图像(多值图像数据)提取的图案(例如二值图像数据)中的第1图案的情况。
本发明的另一方式所涉及的距离图像获取装置中，判别部针对每个多个标准化图像彼此中所对应的位置计算多个标准化图像的像素值之差，并将像素值之差的绝对值为阈值以下的像素判别为表示第1图案的像素。
本发明的又一方式所涉及的距离图像获取装置中，判别部针对每个多个标准化图像彼此中所对应的位置计算多个标准化图像的像素值之比，并将像素值之比在上限值与下限值的范围内的像素判别为表示第1图案的像素。
本发明的又一方式所涉及的距离图像获取装置中，具备位置校正部，所述位置校正部检测多个标准化图像彼此中的像素位置的对应关系，并校正像素位置的偏移，判别部在像素位置的偏移通过位置校正部得到校正之后，对多个标准化图像进行比较。即，进行像素位置的标准化，因此，即使在由于手抖动等原因而在多个标准化图像之间产生像素位置的偏移的情况下，也能够可靠地判别第1图案而获取精度高的距离图像。
去除从其他距离图像获取装置投射的第2图案的方式包括：第1，从摄像图像或标准化图像去除的方式；第2，从摄像图像或标准化图像进行图案提取，并从所提取的图案的图像数据去除的方式。
本发明的又一方式所涉及的距离图像获取装置中，具备噪声去除部，所述噪声去除部根据判别部的判别结果，从多个摄像图像以及多个标准化图像中的至少一个图像去除噪声，距离图像获取部从通过噪声去除部去除了噪声的图像获取距离图像。即，能够从通过噪声去除部去除了噪声的图像轻松地提取第1图案而获取距离图像。
本发明的又一方式所涉及的距离图像获取装置中，具备：图案提取部，从多个摄像图像以及多个标准化图像中的至少一个图像提取包含第1图案以及从其他距离图像获取装置投射的结构光的第2图案的图案；以及噪声去除部，根据判别部的判别结果，从通过图案提取部提取的图案去除第2图案，距离图像获取部从通过噪声去除部去除第2图案而残留的第1图案获取距离图像。即，能够从通过噪声去除部去除第2图案而残留的第1图案轻松地获取距离图像。
本发明的又一方式所涉及的距离图像获取装置中，投射部在不可见波长区域发光而向被摄体投射第1图案，摄像部在不可见波长区域拍摄被摄体。即，能够避免由可见波长区域的外光产生的恶劣影响而获取精度高的距离图像。
本发明的又一方式所涉及的距离图像获取装置中，摄像部在投射部未发光期间拍摄被摄体，标准化部根据从摄像部在投射部的发光期间拍摄的多个摄像图像分别减去摄像部在投射部的未发光期间拍摄的摄像图像而得的结果，获取多个标准化图像。即，从去除了由背景光等恒定水平的光产生的噪声成分的摄像图像获取标准化图像，因此能够提高第1图案的判别精度而获取精度高的距离图像。
本发明的又一方式所涉及的距离图像获取装置中，从投射部投射的第1图案以及从其他距离图像获取装置投射的第2图案为点图案，所述距离图像获取装置具备：图案比较部，对从投射部投射的第1图案的点数即投射点数与通过判别部判别为第1图案的图案的点数即判别点数进行比较；以及投射控制部，根据图案比较部的投射点数与判别点数的比较结果，改变投射部中的第1图案的投射条件。即，通过对投射点数与判别点数进行比较，能够简单且可靠地检查第1图案的判别是否正确，即使在根据发光定时以及阈值等设定值而将第2图案判断为第1图案的罕见的情况下，也能够通过改变投射条件而可靠地获取精度高的距离图像。
本发明的又一方式所涉及的距离图像获取装置中，投射控制部根据图案比较部的比较结果，改变多个发光强度的组合。
本发明的又一方式所涉及的距离图像获取装置中，投射控制部根据图案比较部的比较结果，改变第1图案的发光定时。
本发明的又一方式所涉及的距离图像获取装置中，投射控制部根据图案比较部的比较结果，利用代码来调制第1图案的发光以及未发光的切换定时。
本发明的又一方式所涉及的距离图像获取装置中，投射控制部根据图案比较部的比较结果，改变多次发光的发光次数。
本发明的又一方式所涉及的距离图像获取装置中，具备其他装置投射检测部，所述其他装置投射检测部检测从其他距离图像获取装置是否投射有结构光的第2图案，若通过其他装置投射检测部检测到从其他距离图像获取装置投射有第2图案，则开始进行通过投射部以多个发光强度进行多次发光的强度调制。即，在从其他装置投射有第2点图案的情况下，通过强度调制来防止因第2点图案的混合存在而引起的噪声的影响，从而获取精度高的距离图像，在从其他装置未投射第2点图案的情况下，由于不进行强度调制，能够防止因进行强度调制而引起的运算噪声的附加，从而获取精度极高的距离图像。
本发明的又一方式所涉及的距离图像获取装置中，摄像部在与距离图像的帧率对应的曝光期间进行曝光，投射部与摄像部的曝光期间的开始以及结束的定时同步地投射第1图案。即，能够将距离图像获取为恒定帧率的动态图像。
本发明的一种方式所涉及的距离图像获取方法，其包括如下步骤：通过投射部以多个发光强度进行多次发光，并向测距区域内的被摄体投射二维分布的结构光的第1图案的步骤；通过从投射部远离基线长度而并列设置的摄像部，与多次发光分别同步地拍摄被摄体，从而生成包含在被摄体上反射的第1图案且与多个发光强度分别对应的多个摄像图像的步骤；以与多个发光强度分别对应的系数对多个摄像图像分别进行标准化从而获取多个标准化图像的步骤；对多个标准化图像进行比较从而判别从投射部投射的第1图案的步骤；以及根据判别结果，获取表示被摄体的距离的距离图像的步骤。
发明效果
根据本发明，即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够根据从自身装置投射的图案而获取距离图像。
附图说明
图1是本发明所涉及的距离图像获取装置的一例的外观图。
图2是用于说明距离图像获取原理的图。
图3是表示第1实施方式的距离图像获取装置的内部结构例的框图。
图4是表示在从自身装置投射有点图案时从其他装置未投射点图案的状态下拍摄获得的摄像图像的一例的图。
图5是表示在从自身装置投射有点图案时从其他装置投射有点图案的状态下拍摄获得的摄像图像的一例的图。
图6是表示关于第1实施方式中的距离图像获取方法的一例的处理流程的流程图。
图7是用于说明从自身装置投射的第1点图案以及从其他装置投射的第2点图案的说明图。
图8是用于说明第1实施方式中的强度调制以及标准化的第1说明图。
图9是用于说明第1实施方式中的去除噪声的说明图。
图10是用于说明第1实施方式中的强度调制以及标准化的第2说明图。
图11是用于说明第2实施方式中的强度调制以及标准化的说明图。
图12是表示关于第2实施方式中的距离图像获取方法的一例的处理流程的流程图。
图13是表示第3实施方式的距离图像获取装置的内部结构例的框图。
图14是表示关于第3实施方式中的距离图像获取方法的一例的处理流程的流程图。
图15是代码调制方式中使用的代码的一例的说明图。
图16是用于说明代码调制方式的一例的概要的说明图。
图17是表示代码调制方式的一例的处理流程的流程图。
图18是作为距离图像获取装置的一例的智能手机的外观图。
图19是表示智能手机的结构的框图。
图20是用于说明本发明的课题的说明图。
具体实施方式
以下，根据附图对本发明所涉及的距离图像获取装置以及距离图像获取方法的实施方式进行说明。
＜第1实施方式＞
图1是表示本发明所涉及的距离图像获取装置10的一例的外观的外观图。
如图1所示，距离图像获取装置10具有投射部12和摄像部14，若通过快门按钮11的操作施加摄像命令输入，则获取表示摄像区域(测距区域)内的被摄体的距离(深度信息)的距离图像，对此将在之后进行详细说明。
在此，距离图像获取装置10具有：静止图像模式，与静止图像摄像相同地获取1帧份的距离图像；以及动态图像模式，与动态图像摄像相同地获取以一定的帧率(例如，30帧/秒、60帧/秒)连续的距离图像，这些静止图像模式和动态图像模式能够通过操作部28(图3)的模式选择部的操作来适当选择。而且，若在选择了静止图像模式时按一下快门按钮11，则获取1帧份的距离图像，若在选择了动态图像模式时按一下快门按钮11，则开始获取以一定的帧率连续的距离图像，若再按一下快门按钮11，则停止获取距离图像。另外，获取距离图像的操作有时与是静止图像还是动态图像无关地作为其他功能(主体预先具备的功能以及之后通过应用等而追加的功能)的后台操作来进行。该情况下，不发出上述明确的操作命令而根据其他功能要求来进行。
图2是用于说明距离图像获取装置10中的距离图像获取的原理的图。
如图2所示，获取距离图像时，投射部12向测距区域内的被摄体投射二维分布的结构光的图案(第1图案)。本实施方式中，作为结构光的第1图案，将矩阵状点图案投射于被摄体。以下，有时还将从投射部12投射的结构光的第1图案称为“第1点图案”。
摄像部14拍摄包含在被摄体上反射的第1点图案的图像。如图2所示，摄像部14从投射部12远离基线长度L而并列设置，且在从投射部12投射的第1点图案与由摄像部14拍摄的第1点图案的对应的各点之间，产生对应于被摄体的距离的视差。因此，能够根据从投射部12投射的第1点图案的各点在由摄像部14拍摄的图像传感器上的受光位置(未图示)，利用三角测量法来求出表示被摄体的距离的距离图像。
另外，如图2所示，本实施方式的投射部12投射矩阵状的第1点图案，但并不限于此，可以投射点距随机(伪随机)的点图案，也可以投射网格状的图案。
图3是表示上述距离图像获取装置10的内部结构例的框图。
距离图像获取装置10除了具备前述投射部12和摄像部14以外，还具备AD(模拟到数字(Analog-to-Digital))转换器16、接口电路18、中央处理装置(CPU：CentralProcessing Unit)20、驱动部26(投射驱动部26A和摄像驱动部26B)、操作部28、通信部30以及存储部32。
投射部12由近红外发光二极管(近红外LED(LED：Light Emitting Diode))12A、衍射光学元件12B以及作为投射光学系统发挥作用的投射透镜12C构成。即，本实施方式的投射部12发出不可见波长区域的光(本例中为近红外光)，并向被摄体投射第1点图案。
衍射光学元件12B作为利用光的衍射现象来转换光强度分布的元件而发挥作用，在本例中，使从近红外LED12A发出的近红外光入射并转换为图2所示的矩阵状的第1点图案。投射透镜12C将通过衍射光学元件12B转换的近红外光的第1点图案投射于与基于摄像部14的摄像区域(测距区域)相同的测距区域的被摄体。
摄像部14由成像透镜14A和图像传感器14B构成。成像透镜14A使来自被摄体的反射光(包含从投射部12投射且在被摄体上反射的第1点图案的光像)成像于图像传感器14B。
图像传感器14B由具有垂直驱动器和水平驱动器等的CMOS(互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor))驱动器以及通过定时信号发生器驱动的CMOS型图像传感器构成。另外，图像传感器14B并不限于CMOS型，也可以是XY地址型或CCD(电荷耦合器件(Charge Coupled Device))型图像传感器。
图像传感器14B中二维状地排列有多个受光元件(光电二极管)，并且在多个受光元件的入射面侧设有仅使从投射部12投射的近红外光的第1点图案的波长区域通过的带通滤波器或去除可见光的可见光截止滤波器。由此，图像传感器14B的多个受光元件作为对近红外光具有灵敏度的像素发挥作用。即，本实施方式的摄像部14在不可见波长区域(本例中，为近红外光的波长区域)拍摄被摄体。
图像传感器14B通过从未图示的定时信号发生器施加的定时信号(快门控制信号)来控制曝光期间，图像传感器14B的各受光元件中积蓄有与在曝光期间入射的近红外光的光量对应的电荷。而且，从图像传感器14B读取与在被摄体上反射的第1点图案的入射光量对应的像素信号(与按每个像素积蓄的电荷对应的模拟信号)。另外，当被摄体上照射有环境光，且在环境光中包含近红外光波长区域的成分时，环境光中近红外光波长区域的成分作为噪声信号而包含在摄像图像的信号中。另一方面，在环境光中几乎不包含近红外光波长区域的成分的环境下，摄像图像的信号中所含的环境光的近红外光波长区域的成分与所投射的点图案的成分相比，小到可以无视的程度。
从图像传感器14B读取的模拟信号通过AD转换器16转换成数字信号(图像数据)，经由作为图像输入控制器发挥作用的接口电路18而读入CPU20。另外，CMOS型图像传感器中存在包含AD转换器的图像传感器，该情况下能够省略AD转换器16。
CPU20具有作为设备控制部的功能，所述设备控制部根据操作部28中的命令输入，总体控制驱动部26(投射驱动部26A和摄像驱动部26B)、通信部30、存储部32等各部。
并且，CPU20具有作为如下各部的功能：投射控制部20A，经由投射驱动部26A控制投射部12，以多个发光强度进行多次发光并向测距区域内的被摄体投射第1点图案；摄像控制部20B，经由摄像驱动部26B控制摄像部14，与投射部12的多次发光分别同步地拍摄被摄体，从而生成包含在被摄体上反射的第1点图案且与多个发光强度分别对应的多个摄像图像；图案提取部20C，从摄像图像等多值图像数据提取点图案；标准化部20D，以与多个发光强度分别对应的系数对多个摄像图像分别进行标准化从而获取多个标准化图像；位置校正部20E，校正多个标准化图像彼此的像素位置的偏移；判别部20F，对像素位置的偏移通过位置校正部20E得到校正之后的多个标准化图像进行比较从而判别从投射部12投射的第1点图案；噪声去除部20G，根据判别部20F的判别结果，从通过图案提取部20C提取的点图案去除从其他距离图像获取装置投射的结构光的点图案(以下称为“第2点图案”)从而选择第1点图案；图案比较部20H，对从投射部12投射的第1点图案的点数(以下称为“投射点数”)与通过图案提取部20C提取并根据判别部20F的判别结果选出的第1点图案的点数(以下称为“判别点数”)进行比较；以及距离图像获取部20J，根据通过图案提取部20C提取并根据判别部20F的结果选出的第1点图案，获取表示被摄体的距离的距离图像。
投射控制部20A在多次发光中的至少一次发光中使发光强度不同。当进行两次发光时，在第1次发光和第2次发光中使发光强度不同。以下，有时将这种对从投射部12投射的第1点图案的发光强度进行调制的控制简称为“强度调制”。另外，图3所示的投射控制部20A通过对驱动投射部12的投射驱动部26A进行控制来进行强度调制，但本发明并不限定于这种情况。例如，也可以对从作为光源的近红外线LED12A发出的光进行强度调制。本发明中的“发光强度”表示从投射部12实际投射的第1点图案的发光强度，即实际向被摄体投射的光的强度。对从光源发出的光进行强度调制的方式中，“发光强度”并非从光源发出的时点(即，强度调制前)的光的强度，而是指强度调制后的光的强度。
摄像控制部20B经由摄像驱动部26B控制摄像部14，并在摄像部14，在与距离图像的帧率对应的曝光期间进行曝光。投射控制部20A经由投射驱动部26A控制投射部12，并在投射部12，与摄像部14的曝光期间的开始以及结束的定时同步地投射第1点图案。也就是说，能够将距离图像获取为恒定帧率的动态图像。
图案提取部20C从作为经由接口电路18输入的图像数据的多个摄像图像(即，标准化前的多个摄像图像)中的至少一个摄像图像提取点图案。也可以从通过后述标准化部20D进行了标准化的多个摄像图像即多个标准化图像中的至少一个标准化图像提取点图案。例如设定点图案提取用的适当的阈值，并根据该阈值对摄像图像或标准化图像(多值图像数据)进行二值化处理，由此提取仅表示点图案的二值图像数据。即，从包含点图案的多值图像数据获取仅表示点图案的二值图像数据。当自身装置和其他装置向同一被摄体同时投射点图案时，第1点图案以及与第1点图案相同形状的第2点图案混合存在地被提取。另外，本发明中的“提取点图案”并不限定于作为二值图像数据而获取点图案的情况。总之，图案提取部20C提取表示标准化前的摄像图像以及标准化后的摄像图像中所含的点图案的信息。也可以是仅获取表示各点图案的图像中的位置的信息的情况，该情况也包含在本发明中。
标准化部20D以与拍摄其摄像图像时的第1点图案的发光强度对应的系数，对摄像图像的像素值的大小进行标准化，由此获取标准化图像。表示标准化前的摄像图像内的第1点图案的像素的像素值的大小与发光强度的大小对应地发生变化，但表示标准化后的摄像图像即标准化图像内的第1点图案的像素的像素值存在于靠近距离图像获取装置的距离，且对所投射的点图案的波长光具有类似的反射率的被摄体的情况下，与发光强度的大小无关地成为大致恒定的值(换言之，容许误差范围内的值)。
位置校正部20E检测多个标准化图像(为像素值进行了标准化的摄像图像)彼此中的像素位置的对应关系，并根据该对应关系的检测结果，校正多个标准化图像彼此中的像素位置的偏移。换言之，位置校正部20E对多个标准化图像之间的像素位置进行标准化。
判别部20F例如针对每个多个标准化图像彼此中所对应的像素位置计算多个标准化图像的像素值之差，并将该像素值之差的绝对值为阈值以下的像素判别为表示自身装置投射的第1点图案的像素。但是本发明并不特别限定于这种情况。例如，也可以针对每个多个标准化图像彼此中所对应的像素位置计算多个标准化图像的像素值之比，并将在设定有该像素值之比的上限值和下限值的范围内的像素判别为表示自身装置投射的第1点图案的像素。并且，本发明并不限定于以像素单位进行判别的情况。例如，也可以以点单位进行判别。
噪声去除部20G具有从通过图案提取部20C提取的点图案(包含从其他装置投射的第2点图案)，根据判别部20F的判别结果去除第2点图案的功能。也可以使噪声去除部20G具有从摄像图像、标准化图像等多值图像数据去除噪声的功能。
另外，本发明中的“所提取的点图案”并非如上述那样限定于二值图像数据。例如，在通过图案提取部20C仅获取表示点图案的图像中的位置的信息的情况下，从该所获取的信息删除表示第2点图案的位置的信息。
图案比较部20H对从投射部12实际投射的第1点图案的点数即投射点数与通过噪声去除部20G根据判别部20F的判别结果去除第2点图案之后的点图案的点数(以下称为“判别点数”)进行比较。通过该比较，判定在通过噪声去除部20G进行了第2点图案的去除处理之后的图案(例如二值图像数据)中是否还留有其他装置投射的第2点图案的成分。即，图案比较部20H检查从通过图案提取部20C提取的点图案是否仅正确地选出第1点图案。另外，“判别点数”可以称为通过判别部20F判别为第1点图案的图案的点数。
距离图像获取部20J根据通过噪声去除部20G去除其他装置投射的第2点图案之后残留的点图案(即，为自身装置投射的第1点图案)，获取(生成)表示测距区域内的被摄体的距离的距离图像。例如，根据仅表示第1点图案的二值图像数据，求出第1点图案的各点的图像传感器14B上的位置(例如，各点的重心位置)，并根据求出的第1点图案的各点的图像传感器14B上的位置针对每个点计算被摄体的距离，由此获取(生成)表示测距区域内的被摄体的距离的距离图像。另外，距离图像为表示测距区域内的被摄体的距离的二维距离信息，但通过将距离信息替换为与距离对应的亮度值或颜色信息，也能够将距离图像视觉辨认为图像。
总之，距离图像获取部20J根据判别部20F的判别结果，获取表示被摄体的距离的距离图像。
驱动部26包含驱动投射部12的投射驱动部26A以及驱动摄像部14的摄像驱动部26B而构成。投射驱动部26A根据来自CPU20的命令而驱动投射部12。摄像驱动部26B根据来自CPU20的命令而驱动摄像部14。
操作部28包含电源开关、快门按钮11、模式选择部等，操作部28中的命令输入施加于CPU20。
通信部30为在与其他装置或接入点之间进行无线通信的近距离无线通信部，作为接收从其他装置直接发送或经由接入点发送的信标信息的信标信息接收部而发挥作用。
存储部32存储通过CPU20执行的程序以及执行该程序所需的各种信息。并且，存储部32存储表示从接口电路18输出的摄像图像的多值图像数据、表示标准化后的摄像图像即标准化图像的多值图像数据、表示所提取的点图案的二值图像数据以及距离图像数据。
图4是表示在从自身装置投射有第1点图案(有时也称为“第1图案”)时从其他装置未投射第2点图案(有时也称为“第2图案”)的状态下由摄像部14拍摄获得的摄像图像的一例的图。图4所示的摄像图像仅包含从自身装置的投射部12投射并在测距区域A内的被摄体上反射的第1点图案，因此能够通过进行如使用了阈值的二值化处理这种简单的图像处理来提取第1点图案。然而，如图5所示，在从自身装置投射有第1点图案时从与自身装置相同或类似的其他装置投射有第2点图案的情况下，在由摄像部14拍摄获得的摄像图像的测距区域A内存在第1点图案和第2点图案重复的重复区域B，且第1点图案和第2点图案的点形状相同，因此，以往很难从摄像图像提取第1点图案。另外，自身装置和其他装置为独立的不同距离图像获取装置，因此很难从自身装置的CPU20对其他装置的投射部直接进行图案投射的定时控制。
以下，利用图6～图10对距离图像获取方法的第1实施方式进行说明，所述第1实施方式中，即使在自身装置和其他装置向同一被摄体同时对被摄体投射相同形状的点图案的情况下，也能够判别自身装置投射的第1点图案和第2点图案，并仅根据第1点图案来获取高精度的距离图像。
图6是表示第1实施方式中的距离图像获取方法的一例的处理流程的流程图，主要表示通过CPU20的控制并按照程序执行的处理流程。本处理为动态图像模式下的距离图像获取处理，例如按一下快门按钮11则开始。
首先，投射控制部20A经由投射驱动部26A控制投射部12，在投射部12以第1发光强度进行第1次发光，并向测距区域内的被摄体投射二维分布的第1点图案(步骤S102)。并且，摄像控制部20B经由摄像驱动部26B控制摄像部14，并在摄像部14与投射部12的第1次发光同步地拍摄测距区域内的被摄体(步骤S104)。从接口电路18输出包含在被摄体上反射的第1点图案且在第1次发光期间拍摄生成的摄像图像即第1摄像图像。构成第1摄像图像中的第1点图案的各像素具有与第1发光强度对应的像素值。
接着，投射控制部20A经由投射驱动部26A控制投射部12，在投射部12以与第1发光强度不同的第2发光强度进行第2次发光，并向测距区域内的被摄体投射二维分布的第1点图案(步骤S106)。另外，在此所说的“发光强度”为包含在摄像部14对投射部12发出的点图案的反射光进行一定时间的曝光而积蓄电荷时，在与该一定时间(曝光时间)相当的时间内的发光强度的积分值的广义的概念。因此，希望注意，通过不改变投射部12所发出的点图案的光强度而改变发光时间(投射时间)，也能够改变本发明中的“发光强度”这一点。并且，摄像控制部20B经由摄像驱动部26B控制摄像部14，并在摄像部14与投射部12的第2次发光同步地拍摄测距区域内的被摄体(步骤S108)。从接口电路18输出包含在被摄体上反射的第1点图案且在第2次发光期间拍摄生成的摄像图像即第2摄像图像。构成第2摄像图像中的第1点图案的各像素具有与第2发光强度对应的像素值。
另外，本例的摄像部14将具有与从受光元件读取的积蓄电荷的量对应的信号值的模拟摄像信号输出为摄像图像。模拟摄像信号通过AD转换器16转换为数字摄像信号，并通过接口电路18作为数字数据的摄像图像而存储于存储部32。
接着，通过图案提取部20C从第1摄像图像以及第2摄像图像中的至少一个摄像图像提取点图案(步骤S110)。
对于被摄体，设为从自身装置的投射部投射第1点图案(图7的DP1)，且从其他装置投射与第1点图案相同形状的第2点图案(图7的DP2)的被摄体。并且，如图8所示，设为在与投射部12的第1次发光81对应的摄像部14的曝光期间EP1以及与投射部12的第2次发光82对应的摄像部14的曝光期间EP2，第2点图案DP2从其他装置以一定的发光强度投射的被摄体。如此一来，如图9所示，即使从第1摄像图像和第2摄像图像中的任一摄像图像提取点图案，也会在从图案提取部20C输出的二值图像数据即点图案91中包含第1点图案DP1以及第2点图案DP2。
接着，通过标准化部20D对第1摄像图像以及第2摄像图像，以与第1发光强度以及第2发光强度分别相当的系数进行标准化，从而获取第1标准化图像以及第2标准化图像(步骤S112)。
当进行图8所示的强度调制时，标准化部20D对在与第1次发光81对应的曝光期间EP1拍摄获得的第1摄像图像，以与第1次发光81的发光强度相当的系数k1进行标准化，并且对在与第2次发光82对应的曝光期间EP2拍摄获得的第2摄像图像，以与第2次发光82的发光强度相当的系数k2进行标准化。例如，对第1摄像图像的各像素值乘以系数k1的倒数，对第2摄像图像的各像素值乘以系数k2的倒数。另外，图8的例子中，以第1次发光81的发光强度为基准而进行标准化，并省略了对第1摄像图像的运算。本例中，k1＝1，第1摄像图像与第1标准化图像相同。
接着，通过位置校正部20E检测第1标准化图像的像素位置与第2标准化图像的像素位置之间的对应关系，并利用第1标准化图像和第2标准化图像来校正像素位置的偏移(步骤S114)。也就是说，即使在第1次曝光期间至第2次曝光期间之间产生因距离图像获取装置10的抖动等引起的像素位置的偏移的情况下，也能够校正第1标准化图像的像素位置与第2标准化图像的像素位置的偏移。
接着，通过判别部20F对第1标准化图像与第2标准化图像进行比较，并判别从投射部12投射的第1点图案(步骤S116)。也就是说，通过判别在第1标准化图像以及第2标准化图像中的像素中，哪个像素是表示第1点图案的像素，从而判别在从图案提取部20C输出的点图案91内的点图案DP1以及DP2中，哪个点图案是第1点图案DP1。
本例的判别部20F针对每个在第1标准化图像和第2标准化图像中对应的像素位置计算像素值之差，并将该像素值之差的绝对值为阈值以下的像素判别为表示自身装置投射的第1点图案DP1的像素。例如，在进行了图8所示的强度调制的情况下，构成第1点图案DP1的像素在第1标准化图像和第2标准化图像中，像素值之差dV1成为零或接近零的值(即，阈值以下的值)，构成第2点图案DP2的像素在第1标准化图像和第2标准化图像中，像素值之差dV2成为大于阈值的值。也可以针对每个在第1标准化图像和第2标准化图像中对应的像素位置计算像素值之比，并将该像素值之比在上限值与下限值的范围内的像素判别为表示自身装置投射的第1点图案DP1的像素。即，判别部20F利用自身装置知晓自身装置投射的第1点图案的发光强度的变化这一点，在从其他装置投射有第2点图案的情况下，也会可靠地判别第1点图案。
接着，通过噪声去除部20G，根据判别部20F的判别结果，从通过图案提取部20C提取的点图案91去除第2点图案DP2(步骤S118)。如图9所示，该噪声去除处理相当于如下处理：从混合存在有第1点图案和第2点图案的点图案的二值图像91减去仅包含第2点图案DP2的点图案的二值图像92，从而获取仅包含第1点图案DP1的点图案的二值图像93。
接着，通过图案比较部20H，对从自身装置的投射部12投射的第1点图案的点数(投射点数)与通过图案提取部20C提取且通过噪声去除部20G去除第2点图案之后残留的点图案的点数(判别点数)进行比较，由此判定是否成功提取第1点图案(S122)。例如，当判别点数超过投射点数时，判定为图案判别失败，当判别点数为投射点数以下时，判定为图案判别成功。
通常，通过判别部20F的判别，仅有第1点图案判别为正常，因此根据该判别结果，通过噪声去除部20G去除所有第2点图案，从而通过图案比较部20H判定为图案提取成功(步骤S122中，是)。在步骤S122中为是的情况下，通过距离图像获取部20J，从通过噪声去除部20G去除第2点图案之后残留的第1点图案获取距离图像(步骤S124)。
如果当通过图案比较部20H判定为图案判别失败时(步骤S122中，否的情况)，通过投射控制部20A在投射部12中改变第1点图案的投射条件(步骤S126)，并重复步骤S102～S122。
CPU20判定是否继续获取距离图像(步骤S128)，当判定为继续进行时(步骤S128中，是的情况)，不改变投射条件而直接重复步骤S102～S124。当判定为不继续进行时(步骤S128中，否的情况)，结束本处理。本处理为动态图像模式下的距离图像获取，再按一下快门按钮11则结束。
另外，通常在步骤S116中仅有第1点图案判别为正常而成为步骤S122中的是(图案判别成功)，因此想要以简单的结构实施本发明时，可以设为进行错误处理而结束本处理的结构，也可以设为为了等待第2点图案的投射结束而在待机一定时间之后返回步骤S102的结构，来代替改变投射条件(步骤S126)。
图8中为了容易理解本发明，例示了在第1次发光81与第2次发光82之间设有未发光期间的情况，但如图10所示，也可以在第1次发光81与第2次发光82之间不设置未发光期间而连续进行第1次发光81和第2次发光82。并且，举例说明了通过两次发光进行判别的情况，但通过三次以上的发光进行判别的情况也包含在本发明中。
另外，利用图6的流程图，例示了从摄像图像(为多值图像数据)以二值图像数据提取点图案，并从该所提取的点图案根据判别部20F的判别结果去除第2点图案的成分的情况，但本发明并不限定于这种情况。也可以从摄像图像(为多值图像数据)根据判别部20F的判别结果去除第2点图案的成分，并从该去除了第2点图案的成分的摄像图像以二值图像数据提取第1点图案。并且，也可以从标准化后的摄像图像(标准化图像)以二值图像数据提取点图案。以多值图像提取点图案的情况也包含在本发明中。
并且，举例说明了距离图像获取装置10中设有噪声去除部20G的情况，但本发明并不限定于这种情况。在从通过图案提取部20C提取的点图案不去除其他装置投射的第2点图案的情况，即从判别部20F的判别结果(包含表示通过图案提取部20C提取的多个点图案各自是否为自身装置投射的第1点图案的信息)直接获取距离图像的情况下，可以省略噪声去除部20G。
并且，举例说明了距离图像获取装置10中设有位置校正部20E的情况，但本发明并不限定于这种情况。在固定使用距离图像获取装置10的主体这一点为前提的情况，即仅在多个摄像图像之间不产生位置偏移的环境中使用的情况下，可以省略位置校正部20E。
＜第2实施方式＞
利用图3，对第2实施方式的距离图像获取装置10的内部结构进行说明。以下，主要对与第1实施方式不同的方面进行说明，并省略已经说明的内容。
本实施方式的摄像控制部20B经由摄像驱动部26B控制摄像部14，并通过在投射部12的发光强度不同的多个发光期间分别同步进行拍摄来进行多次拍摄，且在投射部12的未发光期间进行至少一次拍摄。
本实施方式的噪声去除部20G除了具有在第1实施方式中说明的从点图案去除其他装置投射的第2点图案的功能以外，还具有从标准化前的摄像图像去除背景光等噪声的功能。即，本实施方式的噪声去除部20G从摄像部14在投射部12的发光期间拍摄生成的多个摄像图像(发光期间的摄像图像)分别减去摄像部14在投射部12的未发光期间拍摄生成的摄像图像(未发光期间的摄像图像)。
图12是表示第2实施方式的距离图像获取方法的一例的处理流程的流程图，主要表示通过CPU20的控制并按照程序执行的处理流程。本处理为动态图像模式下的距离图像获取处理，例如按一下快门按钮11则开始。
步骤S202以及步骤S204与图6所示的第1实施方式的步骤S102以及步骤S104相同，在投射部12的第1次发光的发光期间进行投射以及拍摄。从接口电路18输出图11所示的在第1次发光81的曝光期间EP1拍摄获得的摄像图像(以下，称为“第1发光期间的摄像图像”)。第1发光期间的摄像图像中包含自身装置投射的第1点图案。
如图11所示，本例中，在第1次发光81与第2次发光82之间的未发光期间通过摄像部14拍摄测距区域内的被摄体(步骤S206)。从接口电路18输出图11所示的在未发光的曝光期间EP0拍摄获得的摄像图像(以下，称为“未发光期间的摄像图像”)。未发光期间的摄像图像中不包含自身装置投射的第1点图案。
步骤S208以及步骤S210与图6所示的第1实施方式的步骤S106以及步骤S108相同，在投射部12的第2次发光82的发光期间进行投射以及拍摄。从接口电路18输出图11所示的在第2次发光82的曝光期间EP2拍摄获得的摄像图像(以下，称为“第2发光期间的摄像图像”)。第2发光期间的摄像图像中包含自身装置投射的第1点图案。
接着，通过噪声去除部20G，从第1发光期间的摄像图像减去未发光期间的摄像图像，且从第2发光期间的摄像图像减去未发光期间的摄像图像(步骤S212)。也就是说，在第1次发光81的曝光期间EP1与第2次发光82的曝光期间EP2相同发光强度的干扰噪声存在于摄像图像中时，在进行后述标准化处理(步骤S216)之前从摄像图像去除该干扰噪声。
步骤S214与图6所示的第1实施方式的步骤S110相同。
接着，通过标准化部20D，以与第1发光强度以及第2发光强度分别相当的系数，对从第1发光期间的摄像图像减去未发光期间的摄像图像而得的图像以及从第2发光期间的摄像图像减去未发光期间的摄像图像而得的图像分别进行标准化，从而获取第1标准化图像以及第2标准化图像(步骤S216)。
步骤S218～S222与图6所示的第1实施方式的步骤S114～S118相同。并且，步骤S224～S230与图6所示的第1实施方式的步骤S122～S128相同。
另外，图11中例示了从其他装置投射的第2点图案DP2的发光强度在自身装置发光中的曝光期间EP1、EP2以及自身装置未发光中的曝光期间EP0恒定的情况。这种情况下，成为在减去未发光期间的摄像图像的处理(步骤S212)中去除第2点图案。另一方面，在第2点图案DP2的发光与第1点图案DP1的发光定时同步时，即在第2点图案DP2的发光强度在自身装置未发光中的曝光期间EP0中为零时，在步骤S222中去除第2点图案。并且，利用图11举例说明了在第1次发光与第2次发光之间的未发光期间进行拍摄的情况，但本发明并不限定于这种情况。可以在第1次发光前的未发光期间从发光期间的摄像图像减去拍摄获得的图像，也可以在第2次发光后的未发光期间从发光期间的摄像图像减去拍摄获得的图像。
＜第3实施方式＞
第1实施方式以及第2实施方式中，为了容易理解本发明，举例说明了与有无投射来自其他装置的第2点图案无关地进行强度调制的情况，但本发明并不限定于这种情况。第3实施方式中，在从其他装置未投射第2点图案时，不进行强度调制而进行距离图像获取。
利用图13，对第3实施方式的距离图像获取装置100的内部结构进行说明。以下，省略在第1实施方式以及第2实施方式中已经说明的内容。
图13中，其他装置投射检测部20K检测从其他装置是否投射有第2点图案。有各种由其他装置投射检测部20K进行的其他装置投射的检测方式。
第1，可举出当通过图案提取部20C从摄像图像提取的点图案的点数超过从投射部12投射的第1点图案的点数时，判定(检测)为从其他装置投射有第2点图案的方式。
第2，可举出根据从其他装置发送的信标信息，检测从其他装置是否投射有第2点图案的方式。也就是说，根据通信部30的信标信息的接收结果判别在可通信范围内是否存在其他装置。并且，作为信标信息，能够包含表示其他装置投射的结构光的图案(为第2点图案)的形状信息以及表示第2点图案的调制内容的调制信息，该情况下，判别部能够根据经由通信部30接收的信标信息，获取与从其他装置投射的第2点图案相关的信息(第2点图案的形状或表示调制内容的调制信息等)。
图14是表示第3实施方式的距离图像获取方法的一例的处理流程的流程图，主要表示通过CPU20的控制并按照程序执行的处理流程。本处理为动态图像模式下的距离图像获取处理，例如按一下快门按钮11则开始。以下，举例说明图8或图10所示的进行强度调制的情况。
步骤S302以及步骤S304与图6所示的第1实施方式的步骤S102以及步骤S104相同。
步骤S308中，通过图案提取部20C，从在第1次发光81的曝光期间EP1拍摄获得的摄像图像提取点图案。
接着，通过其他装置投射检测部20K，检测从其他距离图像获取装置是否投射有点图案(为第2点图案)(步骤S308)。该检测能够通过判定在步骤S306中提取的点图案的点数是否多于从自身装置的投射部12投射的点图案的点数(为第1点图案)来进行，或者能够通过判定是否经由通信部30接收到表示其他距离图像获取装置存在的信标信息来进行。
步骤S308中，若检测到从其他距离图像获取装置投射有第2点图案(是的情况)，则过渡到步骤S310。并且，步骤S308中，若检测到从其他距离图像获取装置未投射第2点图案(否的情况)，则过渡到步骤S324。
步骤S310以及步骤S312与图6所示的第1实施方式的步骤S106以及步骤S108相同。步骤S314～步骤S320与图6所示的第1实施方式的步骤S112～步骤S118相同。步骤S322～步骤S328与图6所示的第1实施方式的步骤S122～步骤S128相同。
＜改变投射条件的变型＞
前述第1实施方式至第3实施方式中，有各种由投射控制部20A进行的改变投射条件(图6的步骤S126、图12的步骤S228以及图14的步骤S326)的变型。
作为第1方式，可举出改变多个发光强度的组合的方式。例如，在存储部32预先存储表示多个发光强度的组合的信息(发光强度组合信息)。根据图案比较部20H的比较结果判定为在通过噪声去除部20G去除噪声后仍混合存在有第2点图案时，投射控制部20A通过从存储部32获取发光强度组合信息来改变多次发光中的发光强度的组合。
作为第2方式，可举出改变第1点图案的发光定时的方式。例如，通过投射控制部20A改变多次发光的周期(或发光频率)。也可以是简单地通过待机一定时间来调整发光定时的情况。
作为第3方式，可举出改变多次发光的次数的方式。例如，通过投射控制部20A增加发光强度彼此不同的发光的次数。也可以减少发光次数。也可以尝试进行将发光次数减为1次(即，停止强度调制)。
作为第4方式，可举出将第1点图案的投射的调制方式进行切换的方式。作为切换处的调制方式，可举出与本发明不同的方式，即，大致分为对第1点图案的投射进行空间调制的空间调制方式；对第1点图案的投射进行时间调制的时间调制方式；以及对第1点图案的发光强度进行调制的强度调制方式。
作为空间调制方式，例如可举出使第1点图案振动而投射的方式。该方式的情况下，设置用于使点图案投射振动的硬件。
并且，作为时间调制方式，例如可举出切换第1点图案的投射的波长区域(或频带)的方式(频率调制)。该方式的情况下，设置用于切换波长区域的硬件。
作为另一时间调制方式，例如可举出利用代码来调制第1点图案的发光以及未发光的切换定时的方式(以下称为“代码调制方式”)。该代码调制方式在无需追加特别的硬件这方面有利。以下，对代码调制方式的一例进行说明。
＜代码调制方式的说明＞
图15是代码调制方式中使用的代码的一例的说明图，图16是用于说明代码调制方式的一例的概要的说明图，图17是表示代码调制方式的一例的处理流程的流程图。
图15的左侧所示的代码C1～CN为如图中的右侧所示那样表示从投射部12投射的第1点图案的发光以及未发光的切换定时的信息(以下称为“代码”)。本例中，代码预先存储于存储部32，投射控制部根据从存储部32读取的代码，调制从投射部12投射的第1点图案的发光以及未发光(投射以及未投射)的切换定时。图15中示出了代码长度为6比特的代码C1～CN，但代码长度并不特别限定于此。可以使用代码长度彼此不同的代码组。但是，在连续地获取距离图像的动态图像模式的情况下，代码长度越短越优选。
以下，对如图16(A)所示那样利用代码C1来调制第1点图案DP1的发光以及未发光的切换定时，且如图16(B)所示那样利用代码C2来调制第2点图案DP2的发光以及未发光的切换定时的情况进行说明。
二维状地配置于摄像部14的图像传感器14B的受光面的受光元件分别在第1点图案的发光期间(图中的T1、T3)和第1点图案的未发光期间(图中的T2、T4)进行曝光。从摄像部14输出在第1点图案的发光期间拍摄获得的第1摄像图像和在第1点图案的未发光期间拍摄获得的第2摄像图像。CPU20作为差分图像生成部发挥作用，并按每个像素位置，从第1摄像图像的像素值(相当于发光期间的积蓄电荷量)减去第2摄像图像的像素值(相当于未发光期间的积蓄电荷量)，从而生成差分图像。
图16(C)示意地表示与差分图像中的第1点图案DP1对应的像素的值(差分像素值D11、D12)。差分像素值D11相当于从第1点图案DP1的发光期间T1的曝光量减去未发光期间T2的曝光量而得的值，差分像素值D12相当于从第1点图案DP1的发光期间T3的曝光量减去未发光期间T4的曝光量而得的值。图16(D)表示与差分图像中的第2点图案DP2对应的像素的值(差分像素值D21、D22)。差分像素值D21相当于从第2点图案DP2的发光期间T1的曝光量减去未发光期间T2的曝光量而得的值，差分像素值D22相当于从第2点图案DP2的发光期间T3的曝光量减去未发光期间T4的曝光量而得的值。
如图16(C)以及图16(D)所示，与发光期间T1以及未发光期间T2对应的差分像素值D11与差分像素值D21相差较小，因此根据这些差分像素值D11以及差分像素值D21，很难识别差分图像的像素是与从自身装置投射的第1点图案DP1对应的像素，还是与从其他装置投射的第2点图案DP2对应的像素。
然而，如图16(C)以及图16(D)所示，与发光期间T3以及未发光期间T4对应的差分像素值D12与差分像素值D22相差较大，因此根据这些差分像素值D12以及差分像素值D22，能够识别差分图像的像素是与从自身装置投射的第1点图案DP1对应的像素，还是与从其他装置投射的第2点图案DP2对应的像素。即，第1点图案DP1和第2点图案DP2中，发光以及未发光的切换定时的代码不同，因此，在与自身装置的代码C1的代码长度对应的期间T1～T4按每个像素位置而累加差分像素值，由此能够识别第1点图案DP1。在此，代码C1表示多个发光期间T1、T3以及多个未发光期间T2、T4的切换定时，且多个发光期间T1、T3的时间长度彼此不同(在本例中，T1＜T3)。并且，多个未发光期间T2、T4的时间长度彼此不同(在本例中，T2＜T4)。
本例的CPU20作为差分图像生成部而例如在与自身装置的代码C1的代码长度对应的期间T1～T4按每个像素位置而累加差分像素值。图中的S1和S4是与累加值对应的值。若累加值为阈值以上，则能够判别为该差分像素是第1点图案的像素，若累加值小于阈值，则能够判别为该差分像素不是第1点图案的像素。即，通过将差分像素值D11以及差分像素值D12的累加值(D11+D12)与阈值进行比较，识别为差分图像的像素是构成第1点图案的像素，通过将图16(D)所示的差分像素值D21以及差分像素值D22的累加值(D21+D22)与阈值进行比较，识别为差分图像的像素不是构成第1点图案的像素。图16中的S1相当于累加值(D11+D12)，图16中的S2相当于累加值(D21+D22)。也可以利用直方图分类为差分图像中差分像素值的累加值相对较大的像素组和差分像素值的累加值相对较小的像素组，并通过将差分像素值的累加值相对较大的像素组判定为第1点图案的像素组，由此从差分图像提取第1点图案。
图17主要表示通过CPU20的控制并按照程序执行的处理流程。本处理为动态图像模式下的距离图像获取处理，例如按一下快门按钮11则开始。
首先，CPU20将识别代码的变量i设定为初始值即“1”(步骤S402)。
接着，使投射控制部(作为代码调制部发挥作用)从存储部32获取第1点图案的发光以及未发光的切换定时的第i代码(Ci)(步骤S404)。
接着，通过投射控制部，利用第i代码来调制第1点图案的发光以及未发光的切换定时，从投射部12向测距区域内的被摄体投射第1点图案，且通过摄像部14，与第1点图案的发光期间以及未发光期间同步地拍摄测距区域内的被摄体(步骤S406)。从摄像部14输出包含在被摄体上反射的第1点图案的多个摄像图像即在第1点图案的发光期间拍摄生成的第1摄像图像以及在第1点图案的未发光期间拍摄生成的第2摄像图像。
接着，通过CPU20，生成在发光期间拍摄获得的第1摄像图像与在未发光期间拍摄获得的第2摄像图像的差分图像(步骤S408)。
接着，通过图案提取部，从差分图像提取第1点图案(步骤S410)。
接着，判定从差分图像是否实际提取了第1点图案(步骤S412)。当判定为提取了第1点图案时(步骤S412中，是的情况)，通过距离图像获取部，根据从差分图像提取的第1点图案而获取距离图像(步骤S418)。
当在步骤S412中判定为未提取第1点图案时(步骤S412中，否的情况)，判定识别代码的变量i是否为最大值N(步骤S413)，若变量i不是最大值N，则进行变量i的递增(i＝i+1)(步骤S414)，返回步骤S404而获取下一个代码，并重复进行步骤S406～S410。
CPU20判定是否继续获取距离图像(步骤S420)，当判定为继续进行时(步骤S420中，是的情况)，在本例中，在不改变识别代码的变量i的状态下重复进行步骤S404～S418。当判定为不继续进行时(步骤S420中，否的情况)，结束本处理。本处理为动态图像模式下的距离图像获取，再按一下快门按钮11则结束。
另外，当利用所有代码并未从差分图像提取第1点图案时，通过CPU20执行其他处理(步骤S430)。通常会提取第1点图案，因此也可以将步骤S430设为错误处理。
上述代码调制方式中，代码长度越长，投射以及拍摄的处理时间越长。因此，在动态图像模式情况下，考虑首先进行本发明中的强度调制，并在无法获取距离图像时执行上述代码调制方式的处理。
另外，也可以设为通过投射控制部生成随机代码，并根据该随机代码来调制发光以及未发光的切换定时的结构。
＜标准化的变型＞
标准化部20D的标准化处理，即摄像图像的像素值大小的标准化可举出以像素单位进行的方式以及以点图案的点单位(即，图案单位)进行的方式。
以像素单位进行标准化的方式中，若被摄体高速移动，则根据至被摄体为止的距离的较大变动而导致点图案的像素单位的像素值大幅变动。也就是说，认为根据使用环境很难选定阈值等设定值，在该阈值等设定值不适当时变得很难进行判别。作为其对策，有进行像素单位的标准化的同时根据情况而使阈值等设定值可变的方式、以及考虑光的传播特性而进行点单位的标准化的方式。
点单位的标准化中，从投射部12以相同尺寸的点进行发光，且标准化部20D以点单位计算像素值的累加值(为点的轮廓内的多个像素的像素值的累加值)，并以标准化后的累加值与发光强度无关地成为相同的方式进行标准化。也就是说，通过以点单位进行标准化，即使在至被摄体为止的距离瞬间发生较大变化的环境下，也能够适当地判别是否为第1点图案。
＜关于动态图像模式和静止图像模式＞
在动态图像模式的情况下，摄像部14在与连续的距离图像的帧率对应的曝光期间进行曝光，发挥强度调制功能的投射控制部20A(光调制部)与摄像部14的曝光期间的开始和结束的定时同步地进行投射部12的第1点图案的投射(发光)以及未投射(未发光)的切换。
另外，本发明并不特别限定于获取连续的距离图像的情况(动态图像模式)，也能够在获取1帧份的距离图像的情况(静止图像模式)下实施。
＜能够适用本发明的装置的变型＞
能够适用本发明的方式并不限于具备获取距离图像的单独的功能的距离图像获取装置，也可以是能够拍摄彩色图像的普通的数码相机、摄像机搭载有距离图像获取功能的方式，并且，也能够适用于在具备距离图像获取功能的基础上还具备除距离图像获取功能以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够适用本发明的其他方式，例如，可举出移动电话或智能手机、PDA(个人数字助理(PersonalDigital Assistants))、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。
图18是表示作为距离图像获取装置的实施方式的智能手机500的外观的立体图。
图18所示的智能手机500具有平板状的框体502，在框体502的一个面具备作为显示部的显示面板521和作为输入部的操作面板522成为一体的显示输入部520。并且，框体502具备扬声器531、麦克风532、操作部540、相机部541以及投射部542。另外，框体502的结构并不限定于此，例如，还能够采用显示部和输入部独立的结构、折叠结构或具有滑动机构的结构。
图19是表示图18所示的智能手机500的结构的框图。如图19所示，作为智能手机500的主要构成要件，具备无线通信部510、显示输入部520、通话部530、操作部540、作为摄像部发挥作用的相机部541、存储部550、外部输入输出部560、GPS(全球定位系统(GlobalPositioning System))接收部570、动作传感器部580、电源部590以及主控制部501。并且，作为智能手机500的主要功能，具备经由基站装置和移动通信网进行移动无线通信的无线通信功能。
无线通信部510根据主控制部501的命令而与容纳于移动通信网的基站装置进行无线通信。利用该无线通信来进行语音数据、图像数据等各种文件数据、电子邮件数据等的发送和接收，或Web数据和流数据等的接收。
显示输入部520是通过主控制部501的控制而显示图像(静止图像和动态图像)或字符信息等并将信息视觉性地传递给用户，并且检测相对于所显示的信息的用户操作的所谓的触摸面板，且具备显示面板521和操作面板522。在观看所生成的三维图像时，优选显示面板521为三维显示面板。
显示面板521将LCD(液晶显示器(Liquid Crystal Display))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等作为显示器件而使用。
操作面板522是以能够视觉辨认显示在显示面板521的显示面上的图像的方式被载置，且通过用户的手指或尖笔操作的检测一个或多个坐标的器件。若通过用户的手指或尖笔操作该器件，则将因操作而产生的检测信号输出至主控制部501。接着，主控制部501根据所接收的检测信号来检测显示面板521上的操作位置(坐标)。
如图18所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，成为操作面板522完全覆盖显示面板521的配置。采用该配置时，操作面板522可以对显示面板521之外的区域也具备检测用户操作的功能。换句话说，操作面板522可以具备关于与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)，以及关于除此以外的不与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，显示区域的大小和显示面板521的大小可以完全一致，但二者并不需要一定一致。并且，操作面板522可以具备外缘部分和除此以外的内侧部分这两个感应区域。此外，外缘部分的宽度是根据框体502的大小等而适当设计的。此外，作为操作面板522中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任意方式。
通话部530具备扬声器531和麦克风532，并将通过麦克风532输入的用户的声音转换成可在主控制部501处理的语音数据而输出至主控制部501，或者将通过无线通信部510或外部输入输出部560接收的语音数据进行解码而从扬声器531输出。并且，如图18所示，例如，能够将扬声器531和麦克风532搭载于与设有显示输入部520的面相同的面。
操作部540是使用了键开关等的硬件键，并且接受来自用户的命令。例如，操作部540是搭载于智能手机500的框体502的显示部的下部、下侧面，且在用手指等按下时成为接通，放开手指时通过弹簧等的复原力而成为断开状态的按钮式开关。
存储部550存储主控制部501的控制程序和控制数据、将通信对象的名称和电话号码等建立对应关联而成的地址数据、发送和接收的电子邮件数据、通过Web浏览下载的Web数据或已下载的内容数据，并且临时存储流数据等。并且，存储部550由智能手机内置的内部存储部551和具有装卸自如的外部存储器用插槽的外部存储部552构成。另外，构成存储部550的各内部存储部551和外部存储部552使用闪存型(flash memory type)、硬盘型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(随机存取存储器(Random Access Memory))、ROM(只读存储器(Read Only Memory))等存放介质来实现。
外部输入输出部560发挥与连结于智能手机500的所有外部设备之间的接口作用，用于通过通信等(例如，通用串行总线等)或网络(例如，互联网、无线LAN(局域网(LocalArea Network))、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(Radio FrequencyIdentification))、红外线通信(红外数据协会(Infrared Data Association：IrDA))、UWB(超宽带(Ultra Wideband))(注册商标)、紫蜂(ZigBee)(注册商标)等)而直接或间接地与其他外部设备连接。
作为连结于智能手机500的外部设备，例如具有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽而连接的存储卡(Memory card)或SIM(客户标识模块(Subscriber Identity Module))/UIM(用户标识模块(User Identity Module))卡、经由音频/视频I/O(输入/输出(Input/Output))端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、耳机等。外部输入输出部能够将从这种外部设备传输来的数据传递至智能手机500的内部的各构成要件，或者能够将智能手机500的内部的数据传输至外部设备。
GPS接收部570根据主控制部501的命令而接收从GPS卫星ST1～STn发送的GPS信号，根据所接收的多个GPS信号执行定位运算处理，并检测由智能手机500的纬度、经度、高度组成的位置。当能够从无线通信部510或外部输入输出部560(例如，无线LAN)获取位置信息时，GPS接收部570还能够利用该位置信息来检测位置。
动作传感器部580例如具备三轴加速度传感器等，并根据主控制部501的命令而检测智能手机500的物理移动。通过检测智能手机500的物理移动，从而检测智能手机500的移动方向和加速度。该检测结果被输出至主控制部501。
电源部590根据主控制部501的命令而向智能手机500的各部供给积蓄在电池(未图示)的电力。
主控制部501具备微处理器，并且根据存储部550所存储的控制程序和控制数据进行工作并总体控制智能手机500的各部。并且，主控制部501由于通过无线通信部510而进行语音通信和数据通信，因此具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过根据存储部550所存储的应用软件而主控制部501进行工作来实现。作为应用处理功能，例如有控制外部输入输出部560而与对象设备进行数据通信的红外线通信功能、进行电子邮件的发送和接收的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部501具备根据接收数据或所下载的流数据等的图像数据(静止图像或动态图像的数据)，将影像显示在显示输入部520等的图像处理功能。图像处理功能是指，主控制部501将上述图像数据进行解码并对该解码结果实施图像处理，从而将图像显示在显示输入部520的功能。
此外，主控制部501执行对显示面板521的显示控制，以及检测通过操作部540、操作面板522进行的用户操作的操作检测控制。
通过执行显示控制，主控制部501显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指，用于使无法收容于显示面板521的显示区域的较大的图像等接受移动图像显示部分的命令的软件键。
并且，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或接受通过操作面板522而对上述图标进行的操作、对上述窗口的输入栏进行的字符串的输入，或者接受通过滚动条进行的显示图像的滚动要求。
此外，通过执行操作检测控制，主控制部501判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的与显示面板521不重叠的外缘部分(非显示区域)，并具备对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
并且，主控制部501还能够检测对操作面板522的手势操作，并根据所检测的手势操作而执行预先设定的功能。手势操作是指用手指等描绘轨迹或同时指定多个位置，或者将它们进行组合而从多个位置对至少1个描绘轨迹的操作，而非以往简单的触摸操作。
相机部541是使用CMOS(互补金属氧化物半导体(Complementary Metal OxideSemiconductor))或CCD(电荷耦合器件(Charge-Coupled Device))等图像传感器进行电子拍摄的摄像装置。
该情况下，优选相机部541为在一个图像传感器内设有受光的波长区域彼此不同的多个受光元件，且彩色摄像用受光元件(R像素、G像素、B像素)混合存在并二维排列的相机部。即，作为相机部541的图像传感器，优选使用设有彩色摄像用RGB滤色器的R像素、G像素以及B像素和设有距离图像获取用带通滤波器或截止滤波器的像素(仅对投射光具有灵敏度的像素)混合存在的图像传感器。
投射部542具有LED，并在获取距离图像时投射光的第1点图案。并且，LED为具有光通信功能的智能手机500时，还能够用作光通信的光源。
并且，相机部541能够通过控制主控制部501，将通过拍摄获得的可见光的图像数据转换为例如JPEG(联合图像专家组(Joint Photographic coding Experts Group))等压缩的图像数据，并记录于存储部550或者通过外部输入输出部560或无线通信部510而进行输出，同样能够将表示被摄体的距离的距离图像记录于存储部550或者通过外部输入输出部560或无线通信部510而进行输出。在图13所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置并不限于此，也可以搭载于显示输入部520的背面，或者也可以搭载有多个相机部541。另外，搭载有多个相机部541时，还能够切换供拍摄的相机部541而单独进行拍摄，或者同时使用多个相机部541而进行拍摄。
并且，相机部541能够利用于智能手机500的各种功能。例如，能够在显示面板521显示由相机部541获取的图像，或作为操作面板522的操作输入之一而利用相机部541的图像。并且，还能够在GPS接收部570检测位置时，参照来自相机部541的图像而检测位置。此外，也能够参照来自相机部541的图像而不使用三轴加速度传感器，或者同时使用三轴加速度传感器，来判断智能手机500的相机部541的光轴方向或判断当前的使用环境。当然，也能够在应用软件内利用来自相机部541的图像。
例如可以通过投射部542构成本发明中的投射部。例如可以通过相机部541构成本发明中的摄像部。例如可以通过主控制部501构成本发明中的投射控制部、摄像控制部、图案提取部、标准化部、位置校正部、判别部、噪声去除部、图案比较部、距离图像获取部以及其他装置投射检测部。虽省略了图示，但在智能手机500中设置信标信息接收部。
本发明并不限定于上述实施方式，在不脱离本发明的宗旨的范围内当然可以进行各种变形。
符号说明
10、100-距离图像获取装置，12-投射部，14-摄像部，16-AD转换器，18-接口电路，20-CPU，20A-投射控制部，20B-摄像控制部，20C-图案提取部，20D-标准化部，20E-位置校正部，20F-判别部，20G-噪声去除部，20H-图案比较部，20J-距离图像获取部，20K-其他装置投射检测部，26-驱动部，26A-投射驱动部，26B-摄像驱动部，28-操作部，30-通信部，32-存储部。

Claims (16)

1.一种距离图像获取装置，其具备：
投射部，以多个发光强度进行多次发光，并向测距区域内的被摄体投射二维分布的结构光的第1图案；
摄像部，从所述投射部远离基线长度而并列设置，并且与所述多次发光分别同步地拍摄所述被摄体，生成包含在所述被摄体上反射的所述第1图案在内且与所述多个发光强度分别对应的多个摄像图像；
标准化部，以与所述多个发光强度分别对应的系数对所述多个摄像图像分别进行标准化而获取多个标准化图像；
判别部，对所述多个标准化图像进行比较，判别从所述投射部投射的所述第1图案；以及
距离图像获取部，根据所述判别部的判别结果，获取表示所述被摄体的距离的距离图像。
2.根据权利要求1所述的距离图像获取装置，其中，
所述判别部针对每个所述多个标准化图像彼此中所对应的位置计算所述多个标准化图像的像素值之差，并将所述像素值之差的绝对值为阈值以下的像素判别为表示所述第1图案的像素。
3.根据权利要求1所述的距离图像获取装置，其中，
所述判别部针对每个所述多个标准化图像彼此中所对应的位置计算所述多个标准化图像的像素值之比，并将所述像素值之比在上限值与下限值的范围内的像素判别为表示所述第1图案的像素。
4.根据权利要求1至3中任一项所述的距离图像获取装置，其中，
具备位置校正部，所述位置校正部检测所述多个标准化图像彼此中的像素位置的对应关系，并校正像素位置的偏移，
所述判别部在所述像素位置的偏移通过所述位置校正部得到校正之后，对所述多个标准化图像进行比较。
5.根据权利要求1至4中任一项所述的距离图像获取装置，其中，
具备噪声去除部，所述噪声去除部根据所述判别部的判别结果，从所述多个摄像图像以及所述多个标准化图像中的至少一个图像去除噪声，
所述距离图像获取部从通过所述噪声去除部去除了噪声的图像获取所述距离图像。
6.根据权利要求1至4中任一项所述的距离图像获取装置，其具备：
图案提取部，从所述多个摄像图像以及所述多个标准化图像中的至少一个图像提取包含所述第1图案以及从其他距离图像获取装置投射的结构光的第2图案在内的图案；以及
噪声去除部，根据所述判别部的判别结果，从通过所述图案提取部提取的所述图案去除所述第2图案，
所述距离图像获取部从通过所述噪声去除部去除所述第2图案而残留的所述第1图案获取所述距离图像。
7.根据权利要求1至6中任一项所述的距离图像获取装置，其中，
所述投射部在不可见波长区域发光，向所述被摄体投射所述第1图案，
所述摄像部在所述不可见波长区域拍摄所述被摄体。
8.根据权利要求1至7中任一项所述的距离图像获取装置，其中，
所述摄像部在所述投射部未发光期间拍摄所述被摄体，
所述标准化部根据从所述摄像部在所述投射部的发光期间拍摄的所述多个摄像图像分别减去所述摄像部在所述投射部的未发光期间拍摄的摄像图像而得的结果，获取所述多个标准化图像。
9.根据权利要求1至8中任一项所述的距离图像获取装置，其中，从所述投射部投射的所述第1图案以及从其他距离图像获取装置投射的第2图案为点图案，
所述距离图像获取装置具备：
图案比较部，对从所述投射部投射的所述第1图案的点数即投射点数与通过所述判别部判别为第1图案的图案的点数即判别点数进行比较；以及
投射控制部，根据所述图案比较部的所述投射点数与所述判别点数的比较结果，改变所述投射部中的所述第1图案的投射条件。
10.根据权利要求9所述的距离图像获取装置，其中，
所述投射控制部根据所述图案比较部的比较结果，改变所述多个发光强度的组合。
11.根据权利要求9所述的距离图像获取装置，其中，
所述投射控制部根据所述图案比较部的比较结果，改变所述第1图案的发光定时。
12.根据权利要求9所述的距离图像获取装置，其中，
所述投射控制部根据所述图案比较部的比较结果，利用代码来调制所述第1图案的发光以及未发光的切换定时。
13.根据权利要求9所述的距离图像获取装置，其中，
所述投射控制部根据所述图案比较部的比较结果，改变所述多次发光的发光次数。
14.根据权利要求1至13中任一项所述的距离图像获取装置，其中，具备其他装置投射检测部，所述其他装置投射检测部检测从其他距离图像获取装置是否投射有结构光的第2图案，
当通过所述其他装置投射检测部检测到从所述其他距离图像获取装置投射有所述第2图案时，开始进行通过所述投射部以所述多个发光强度进行多次发光的强度调制。
15.根据权利要求1至14中任一项所述的距离图像获取装置，其中，
所述摄像部在与所述距离图像的帧率对应的曝光期间进行曝光，所述投射部与所述摄像部的曝光期间的开始以及结束的定时同步地投射所述第1图案。
16.一种距离图像获取方法，其包括如下步骤：
通过投射部以多个发光强度进行多次发光，并向测距区域内的被摄体投射二维分布的结构光的第1图案的步骤；
通过从所述投射部远离基线长度而并列设置的摄像部，与所述多次发光分别同步地拍摄所述被摄体，从而生成包含在所述被摄体上反射的所述第1图案在内且与所述多个发光强度分别对应的多个摄像图像的步骤；
以与所述多个发光强度分别对应的系数对所述多个摄像图像分别进行标准化而获取多个标准化图像的步骤；
对所述多个标准化图像进行比较，判别从所述投射部投射的所述第1图案的步骤；以及
根据所述判别的结果，获取表示所述被摄体的距离的距离图像的步骤。
CN201680033520.XA 2015-06-09 2016-04-27 距离图像获取装置以及距离图像获取方法 Active CN107683403B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015116734 2015-06-09
JP2015-116734 2015-06-09
PCT/JP2016/063248 WO2016199518A1 (ja) 2015-06-09 2016-04-27 距離画像取得装置及び距離画像取得方法

Publications (2)

Publication Number Publication Date
CN107683403A true CN107683403A (zh) 2018-02-09
CN107683403B CN107683403B (zh) 2020-05-05

Family

ID=57504476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680033520.XA Active CN107683403B (zh) 2015-06-09 2016-04-27 距离图像获取装置以及距离图像获取方法

Country Status (4)

Country Link
US (1) US10041784B2 (zh)
JP (1) JP6290512B2 (zh)
CN (1) CN107683403B (zh)
WO (1) WO2016199518A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108731596A (zh) * 2018-03-29 2018-11-02 海安智鹏自动化科技有限公司 一种基于视觉识别的简易水下测距方法
CN111035321A (zh) * 2018-10-11 2020-04-21 原相科技股份有限公司 可侦测二维深度信息的清洁机器人及其运作方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11340352B2 (en) * 2014-12-29 2022-05-24 Pixart Imaging Inc. Image noise compensating system, and auto clean machine
TWI542891B (zh) 2014-12-29 2016-07-21 原相科技股份有限公司 光學測距方法與光學測距系統
JP2019083501A (ja) 2017-10-27 2019-05-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置
WO2019082686A1 (ja) * 2017-10-27 2019-05-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN110049305B (zh) * 2017-12-18 2021-02-26 西安交通大学 一种智能手机的结构光深度相机自校正方法及装置
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
JP7262064B2 (ja) * 2019-03-26 2023-04-21 パナソニックＩｐマネジメント株式会社 測距撮像システム、測距撮像方法、及びプログラム
EP4451081A2 (en) * 2019-09-09 2024-10-23 Alisea S.r.l. Systems and methods for artificial intelligence-based maintenance of an air conditioning system
US11674795B2 (en) * 2019-12-18 2023-06-13 Lumileds Llc Miniature pattern projector using microLEDs and micro-optics
JP2021188997A (ja) * 2020-05-28 2021-12-13 コニカミノルタ株式会社 ３次元計測装置、および３次元計測方法
JP7015078B1 (ja) 2020-12-01 2022-02-02 勇祐 鈴木 検査方法および検査システム
WO2022170325A1 (en) * 2021-02-02 2022-08-11 Ringo Ai, Inc. Nonlinearity correction and range fitting for stereoscopy through illumination and approaches to using the same for noncontact color determination

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264439A (ja) * 2000-03-17 2001-09-26 Olympus Optical Co Ltd 距離測定装置及び距離測定方法
US20080231831A1 (en) * 2007-03-23 2008-09-25 Fujifilm Corporation Ranging apparatus and ranging method
CN102016636A (zh) * 2009-03-05 2011-04-13 松下电器产业株式会社 距离测定装置、距离测定方法、程序以及集成电路
CN103003665A (zh) * 2010-07-22 2013-03-27 松下电器产业株式会社 立体测距装置及立体测距方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61128216A (ja) 1984-11-28 1986-06-16 Canon Inc 焦点調節装置のノイズ除去装置
JP2853578B2 (ja) * 1993-06-28 1999-02-03 日産自動車株式会社 レーダ装置
JP4250281B2 (ja) * 1999-11-19 2009-04-08 Ｈｏｙａ株式会社 ３次元画像検出装置
JP2006071620A (ja) * 2004-08-05 2006-03-16 Denso Corp 非接触型検出装置及び制御装置
JP5760167B2 (ja) * 2009-07-17 2015-08-05 パナソニックＩｐマネジメント株式会社 空間情報検出装置
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
CA2771727C (en) * 2009-11-04 2013-01-08 Technologies Numetrix Inc. Device and method for obtaining three-dimensional object surface data
CN102762142B (zh) * 2010-02-12 2016-01-27 皇家飞利浦电子股份有限公司 3d表面的激光增强重建
JP2011169701A (ja) 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP2012237604A (ja) * 2011-05-10 2012-12-06 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
JP5567235B2 (ja) * 2012-03-30 2014-08-06 富士フイルム株式会社 画像処理装置、撮影装置、プログラム及び画像処理方法
JP5995484B2 (ja) 2012-03-30 2016-09-21 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法、及びプログラム
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
JP6351201B2 (ja) 2012-12-06 2018-07-04 キヤノン株式会社 距離計測装置および方法
JP6340477B2 (ja) * 2015-03-26 2018-06-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
CN107709925B (zh) * 2015-03-27 2018-12-14 富士胶片株式会社 距离图像获取装置
WO2016157601A1 (ja) * 2015-03-30 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US10215557B2 (en) * 2015-03-30 2019-02-26 Fujifilm Corporation Distance image acquisition apparatus and distance image acquisition method
US9942474B2 (en) * 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US20170353712A1 (en) * 2016-06-06 2017-12-07 Raymond Kirk Price Pulsed gated structured light systems and methods
US9947099B2 (en) * 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264439A (ja) * 2000-03-17 2001-09-26 Olympus Optical Co Ltd 距離測定装置及び距離測定方法
US20080231831A1 (en) * 2007-03-23 2008-09-25 Fujifilm Corporation Ranging apparatus and ranging method
CN102016636A (zh) * 2009-03-05 2011-04-13 松下电器产业株式会社 距离测定装置、距离测定方法、程序以及集成电路
CN103003665A (zh) * 2010-07-22 2013-03-27 松下电器产业株式会社 立体测距装置及立体测距方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108731596A (zh) * 2018-03-29 2018-11-02 海安智鹏自动化科技有限公司 一种基于视觉识别的简易水下测距方法
CN111035321A (zh) * 2018-10-11 2020-04-21 原相科技股份有限公司 可侦测二维深度信息的清洁机器人及其运作方法
CN111035321B (zh) * 2018-10-11 2022-09-13 原相科技股份有限公司 可侦测二维深度信息的清洁机器人及其运作方法

Also Published As

Publication number Publication date
JPWO2016199518A1 (ja) 2018-02-15
US10041784B2 (en) 2018-08-07
JP6290512B2 (ja) 2018-03-07
CN107683403B (zh) 2020-05-05
WO2016199518A1 (ja) 2016-12-15
US20180073873A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
CN107683403A (zh) 距离图像获取装置以及距离图像获取方法
CN107407559B (zh) 距离图像获取装置以及距离图像获取方法
CN107407728A (zh) 距离图像获取装置以及距离图像获取方法
CN107429998B (zh) 距离图像获取装置以及距离图像获取方法
CN107709925A (zh) 距离图像获取装置以及距离图像获取方法
CN100382606C (zh) 指示位置探测器件与指示位置探测方法
CN105659200B (zh) 用于显示图形用户界面的方法、设备和系统
US9047514B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
RU2456659C2 (ru) Устройство снятия изображения, устройство отображения и снятия изображения и электронное устройство
CN109635539A (zh) 一种人脸识别方法及电子设备
CN108027441A (zh) 混合模式深度检测
CN107306332A (zh) 闭塞直接视图增强现实系统的图像补偿
CN107066962A (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
CN103081484A (zh) 3-d摄像机
CN105637529A (zh) 图像捕获输入和投影输出
CN104160692A (zh) 用于图像和目标增强的方法以及光照系统
CN106664366A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
JP7106688B2 (ja) 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム
CN109565577A (zh) 色彩校正装置、色彩校正系统、色彩校正用全息图、色彩校正方法以及程序
CN102667689B (zh) 交互式显示器
JP2019148940A (ja) 学習処理方法、サーバ装置及び反射検知システム
CN117082359A (zh) 图像处理方法及相关设备
JP2010252266A (ja) 画像整理装置
CN107203287A (zh) 电子设备以及电子设备的控制方法
US11683551B2 (en) Systems and methods for detecting light signatures and performing actions in response thereto

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant