CN108027238A - 成像装置 - Google Patents

成像装置 Download PDF

Info

Publication number
CN108027238A
CN108027238A CN201780003289.4A CN201780003289A CN108027238A CN 108027238 A CN108027238 A CN 108027238A CN 201780003289 A CN201780003289 A CN 201780003289A CN 108027238 A CN108027238 A CN 108027238A
Authority
CN
China
Prior art keywords
light
camera
flight time
image
spatial information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780003289.4A
Other languages
English (en)
Other versions
CN108027238B (zh
Inventor
山田英史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN108027238A publication Critical patent/CN108027238A/zh
Application granted granted Critical
Publication of CN108027238B publication Critical patent/CN108027238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone

Abstract

通过组合多种测距方案以在避免投影光的干涉的同时提高测距精度。光源投影单元投影被强度调制的空间图案光。光飞行时间测距相机基于当空间图案光从被摄体反射时获得的反射光中包括的调制分量的光飞行时间来测量到被摄体的距离。空间信息测距相机基于反射光中包括的空间信息来测量到被摄体的距离。深度合成单元将光飞行时间测距相机和空间信息测距相机中的测距结果合成，以确定由光飞行时间测距相机或空间信息测距相机拍摄的图像的每个像素位置的深度值。

Description

成像装置
技术领域
本技术涉及一种成像装置。具体地，本发明涉及用于测量到被摄体的距离的成像装置、成像装置中的处理方法以及用于使计算机执行处理方法的程序。
背景技术
在目前的成像装置中，采用不仅获取被摄体的图像信号而且还获取以像素为单位表示距离信息的深度图的技术。作为获取距离信息的技术，例如，已知ToF系统和立体系统，其中，ToF系统基于包括在来自被摄体的反射光中的调制分量的光飞行时间(ToF：time offlight)来测量距离，并且立体系统根据两个图像的偏移量来测量距离。用于获取距离信息的这些技术具有优点和缺点。例如，立体系统的优点在于，可以通过调节作为两个相机之间的距离的基线长度来调节待测量的距离。此外，通过添加主动光源可以补偿在黑暗处或无边缘部分中的测距。一方面，在ToF系统中，该距离通过相位偏移被转换，因此计算简单，但是存在的问题在于，诸如多通道等的多个测量结果在被摄体的边缘部分处被混合，测距性能劣化。因此，已经提出了将ToF系统和立体系统相结合的系统(例如，参见专利文献1和2)。
引用列表
专利文献
专利文献1：国际公开号No.2012/137434
专利文献2：日本专利申请特开No.2005-077130
发明内容
技术问题
在上述传统技术中，可以设想，通过ToF系统和立体系统对距离信息进行整合，以空间地合成由各个系统准确地测量的测量值，从而获得高质量的距离信息。然而，如果将两个测量值简单地组合在一起，则两个光源会投影出相同的场景，并且投影光因彼此干涉而成为噪声分量，从而导致测距精度劣化。
本技术是鉴于上述情况而作出的，并且其目的在于，在避免投影光的干涉的同时，通过将多种测距方法进行组合来提高测距精度，干涉。
技术方案
本技术用于解决上述问题，并且本技术的第一方面是成像装置，该成像装置包括：光源投影单元，其被构造成投影被强度调制的空间图案光；光飞行时间测距相机，其被构造成基于包括在来自被摄体的空间图案光的反射光中的调制分量的光飞行时间来测量到被摄体的距离；空间信息测距相机，其被构造成基于包括反射光中的空间信息来测量到被摄体的距离；以及深度合成单元，其被构造成将光飞行时间测距相机和空间信息测距相机中的距离的测量结果进行合成，以确定由光飞行时间测距相机或空间信息测距相机成像的图像的每个像素位置的深度值。该构造提供的用作在于，将光飞行时间测距相机和空间信息测距相机中的距离的测量结果进行合成以提高测距精度。
此外，在第一方面中，光源投影单元可以包括：光源生成单元，其被构造成根据预定的调制信号和预定的垂直同步信号来生成强度调制光源；以及光学元件，其被构造成根据空间位置来使光源变形，以生成空间图案光。该构造提供的作用在于投影被强度调制的空间图案光。
此外，在第一方面中，光飞行时间测距相机和空间信息测距相机中的每者均可以生成作为测量结果的各像素位置的深度值和深度值的可靠性，并且深度合成单元可以基于测量结果中的可靠性大小来确定各像素位置的深度值。该构造提供的作用在于，基于光飞行时间测距相机和空间信息测距相机的深度值的可靠性大小来确定深度值。在这种情况下，深度合成单元可以针对各像素选择测量结果中具有最高可靠性的深度值，以确定各像素位置的深度值。
此外，在第一方面中，空间信息测距相机是立体相机，该立体相机包括左右两个成像元件，并被构造成测量到被摄体的距离，该测量基于从右图像和左图像中求出的各像素位置中的视差量和两个成像元件的基线长度，其中，右图像和左图像是从与包括在反射光中的空间信息有关的两个成像元件中获得的。这提供的作用在于，利用立体相机对距离的测量结果，可以提高测距精度。
此外，在第一方面中，空间信息测距相机为结构光相机，其被构造成基于与包括在反射光中的空间信息有关的三角测量计算来测量到被摄体的距离。这提供的作用在于，利用结构光相机对距离的测量结果，可以提高测距精度。
此外，在第一方面中，还包括第二光飞行时间测距相机，该第二光飞行时间测距相机被构造成基于包括在来自被摄体的空间图案光的反射光中的调制分量的光飞行时间来测量到被摄体的距离，并且光飞行时间测距相机和第二光飞行时间测距相机可以作为空间信息测距相机进行操作。这提供的作用在于，利用两台光飞行时间测距相机对距离的测量结果，可以提高测距精度。在这种情况下，光飞行时间测距相机和第二光飞行时间测距相机中的每者可以生成作为测量结果的各像素位置的深度值和深度值的可靠性，光飞行时间测距相机和第二光飞行时间测距相机可以生成作为空间信息测距相机的测量结果的各像素位置的深度值和深度值的可靠性，并且深度合成单元可以针对各像素在光飞行时间测距相机和第二光飞行时间测距相机的测量结果以及作为空间信息测距相机的测量结果中选择具有最高可靠性的深度值，以确定各像素位置的深度值。
此外，在第一方面中，光飞行时间测距相机和空间信息测距相机可以是集成相机，该集成相机基于包括在反射光中的调制分量的光飞行时间来测量到被摄体的距离，并且基于与包括在反射光中的空间信息有关的三角测量计算来测量到被摄体的距离。这提供的作用在于，利用集成相机的多个测量结果，可以提高测距精度。
有益效果
根据本技术，可以发挥通过组合多种测距方法的来提高测距精度而同时避免投影光的干涉的优越效果。注意，这里说明的效果不一定受到限制，并且可以呈现本公开中说明的任何效果。
附图说明
图1是示出根据本技术的实施例的成像装置100的构造示例的图。
图2是示出根据本技术的实施例的拍摄控制单元180的构造示例的图。
图3是示出根据本技术的实施例的光源投影单元130的构造示例的图。
图4是示出根据本技术的实施例的空间图案光的模式的示例的图。
图5是示出根据本技术的第一实施例的ToF相机110的构造示例的图。
图6是示出根据本技术的实施例的作为测距方法的示例的脉冲方法的图。
图7是示出根据本技术的第一实施例的立体相机120的构造示例的图。
图8是示出根据本技术的第一实施例的深度合成单元160的构造示例的图。
图9是示出根据本技术的实施例的拍摄控制单元180的操作过程示例的流程图。
图10是示出本技术的实施例中的光源投影单元130的操作过程示例的流程图。
图11是示出根据本技术的第一实施例的ToF相机110的操作过程示例的流程图。
图12是示出根据本技术的第一实施例的立体相机120的操作过程示例的流程图。
图13是示出根据本技术的第二实施例的ToF相机110和相机126的构造示例的图。
图14是示出根据本技术的第三实施例的结构光相机140的构造示例的图。
图15是示出根据本技术的第四实施例的ToF相机110和ToF相机116的构造示例的图。
图16是示出根据本技术的第五实施例的相机150的构造示例的图。
图17是示出车辆控制系统的示意性构造的示例的框图。
图18是示出车辆外部信息检测单元和成像单元的安装位置的示例的说明图。
图19是示出内窥镜手术系统的示意性构造的示例的图。
图20是示出摄像头和CCU的实用构造的示例的框图。
具体实施方式
以下，将说明实施本技术的方式(以下称为实施例)。将根据以下顺序进行说明。
1.第一实施例(使用ToF相机和立体相机的示例)
2.第二实施例(使用ToF相机和单眼相机的示例)
3.第三实施例(使用ToF相机和结构光相机的示例)
4.第四实施例(使用两台ToF相机的示例)
5.第五实施例(集成ToF相机和结构光相机的示例)
6.移动体的应用例
7.内窥镜手术系统的应用例
<1.第一实施例>
[成像装置的构造]
图1是示出根据本技术的实施例的成像装置100的构造示例的图。成像装置100对被摄体20进行成像以获取被摄体的图像信号和距离信息。成像装置100包括：光飞行时间测距相机11、空间信息测距相机12、光源投影单元130、深度合成单元160、输入接收单元170和拍摄控制单元180。
光飞行时间测距相机11是基于包括在来自被摄体的反射光中的调制分量的光飞行时间来测量到被摄体的距离的相机。空间信息测距相机12是基于包括在来自被摄体的反射光中的空间信息来测量到被摄体的距离的相机。光飞行时间测距相机11和空间信息测距相机12生成拍摄到的图像，并且生成深度图，在深度图中，与普通相机类似，以像素为单位表示距离信息。以下，省略对所拍摄图像的描述，并且将着重对距离信息的处理进行说明。
光源投影单元130投影在光飞行时间测距相机11和空间信息测距相机12中进行测距所需的光。这里，光飞行时间测距相机11使用调制光测量距离，因此光源需要包括调制分量。同时，空间信息测距相机12使用空间信息测量距离，因此光源需要包括空间图案。如上所述，在简单地投影两个光源的情况下，投影光会彼此干涉，并且可能使测距精度劣化。因此，光源投影单元130利用一个光源投影被强度调制的空间图案光。注意，可以用环境光照射被摄体20。
深度合成单元160对光飞行时间测距相机11和空间信息测距相机12中的距离的测量结果进行合成，以确定所拍摄图像的像素位置的深度值。深度合成单元160经由信号线119和118从光飞行时间测距相机11接收深度值及深度值的可靠性。此外，深度合成单元160经由信号线129和128从空间信息测距相机12接收深度值及深度值的可靠性。
输入接收单元170从外部接收输入。对于输入接收单元170而言，例如，假设其为用于接收拍摄开始命令和拍摄结束命令的输入的拍摄按钮等。输入接收单元170经由信号线179将所接收的输入提供给拍摄控制单元180。
拍摄控制单元180控制光源投影单元130中的投影操作，并且控制光飞行时间测距相机11和空间信息测距相机12中的拍摄操作。经由信号线188和189将控制信号从拍摄控制单元180提供到光源投影单元130、光飞行时间测距相机11和空间信息测距相机12。
图2是示出根据本技术的实施例的拍摄控制单元180的构造示例的图。拍摄控制单元180包括垂直同步生成单元181和调制信号生成单元182。当例如接收输入接收单元170中的拍摄开始命令或拍摄结束命令的输入时，垂直同步生成单元181和调制信号生成单元182经由信号线179检测接收，并执行预定的操作。
垂直同步生成单元181生成拍摄所需的垂直同步(V同步)信号。垂直同步信号是以固定间隔拍摄运动图像帧所需的信号，并且通常是具有大约30～120Hz周期的信号。当输入拍摄开始命令时，垂直同步生成单元181开始输出垂直同步信号，当输入拍摄结束命令时，垂直同步生成单元181终止输出垂直同步信号。经由信号线189将垂直同步信号提供给光源投影单元130、光飞行时间测距相机11和空间信息测距相机12。
调制信号生成单元182生成拍摄所需的调制信号。调制信号是光飞行时间测距相机11中进行测距所需的信号，并且是具有大约20～100MHz周期的信号。当输入拍摄开始命令时，调制信号生成单元182开始输出调制信号，当输入拍摄结束命令时，调制信号生成单元182终止输出调制信号。经由信号线188将调制信号提供给光源投影单元130和光飞行时间测距相机11。
图3是示出根据本技术的实施例的光源投影单元130的构造示例的图。光源投影单元130包括：光源生成单元131、光学元件133和光源控制单元135。
光源生成单元131生成用于产生投影光的光源。对于光源生成单元131而言，例如，可以使用发光二极管(LED：light emitting diode)、激光二极管等。光源生成单元131根据由光源控制单元135提供的调制信号生成强度被调制的光源。光源生成单元131在未提供调制信号时生成非调制的固定光。同样，光源生成的开始和结束也根据来自光源控制单元135的投影开始和结束指令。
光学元件133根据空间位置使来自光源生成单元131的光源变形以生成空间图案光。例如，对于空间图案光而言，假设其为格子图案、随机点集合或随机阴影投影、根据距离来改变点形状的投影等，并且它们可以被任意地设计。
光源控制单元135根据经由信号线188和189从拍摄控制单元180提供的调制信号和垂直同步信号来控制光源生成单元131。紧接着在接收到垂直同步信号之后，光源控制单元135控制光源生成单元131以根据调制信号来生成强度调制光源。然后，当从垂直同步信号的接收时间开始经过光飞行时间测距相机11的曝光时间后，光源控制单元135停止提供调制信号，并且控制光源生成单元131生成未调制的固定光。之后，当经过空间信息测距相机12的曝光时间后，光源控制单元135控制光源生成单元131终止光源的生成。
通过这种方式，被强度调制的投影光持续光飞行时间测距相机11的曝光时间。空间信息测距相机12可以利用任何调制投影光或未调制固定光来测量距离。因此，在光飞行时间测距相机11的曝光提前完成的情况下，在空间信息测距相机12的剩余曝光时间期间投影固定光。这是因为调制光是脉冲光，并且投影时间是总时间的一半，对于空间信息测距相机12而言光量减半，因此，利用固定光的投影可以以更好的灵敏度来执行拍摄。
图4是示出根据本技术的实施例的空间图案光的模式的示例的图。在本技术的实施例中，可以使用任意图案作为空间图案光。这里，作为示例，示出了点图案。
例如，将用于投影这种点图案的衍射光栅用作光学元件133。在这种衍射光栅中，根据衍射光栅的特性，在衍射光栅的表面内置微结构以引导光子，从而将激光光源的光束形状变形为自由形状。衍射光栅是通过刻蚀石英玻璃或玻璃材料或压花聚合物材料而制造的。此外，根据衍射光栅的设计，也可以使点形状根据距离而改变。例如，可以使光靠近景处的平面光，并且随着距离的增加可以将光聚焦在一点上。此外，在点上聚焦可以延长投影距离。
此外，空间图案光可以是狭缝光。可选地，可以通过时间分割来切换具有多个频率的狭缝光。
图5是示出根据本技术的第一实施例的ToF相机110的构造示例的图。在第一实施例中，假设将光飞行时间(ToF)相机110作为光飞行时间测距相机11。ToF相机110包括：ToF像素111、深度计算单元113和曝光控制单元115。
曝光控制单元115根据经由信号线188和189从拍摄控制单元180提供的调制信号和垂直同步信号来控制ToF像素111的曝光。当接收到垂直同步信号时，曝光控制单元115控制ToF像素111开始曝光。然后，当从垂直同步信号的接收时间开始经过ToF相机110的曝光时间后，曝光控制单元115控制ToF像素111终止曝光。
ToF像素111接收从被摄体20反弹的调制反射光，并将反射光光电转换为图像信号。在对反射光进行光电转换时，如稍后所述，ToF像素111将ToF像素111将纯相和逆相的两个窗口中的电荷积分一个像素。
深度计算单元113基于由ToF像素111生成的图像信号与调制信号之间的相关性来获得相位延迟量(相移量)，并且将相位延迟量转换成表示深度的深度值。此外，深度计算单元113生成深度值的可靠性。将由深度计算单元113生成的深度值及深度值的可靠性经由信号线119和118提供给深度合成单元160。
图6是示出根据本技术的实施例的作为测距方法的示例的脉冲方法的图。光源投影单元130将与调制信号的调制频率相匹配的脉冲波投影一定时间(Δt)。ToF相机110以延迟相位延迟量观察到从被摄体20反射的投影光。此时，ToF像素111与从光源投影单元130投影的脉冲波同步地对正常相位(0°)和逆相(180°)的两个窗口中的反射光进行积分和测量(Q1和Q2)。通过以下表达式使用测得的电荷Q1和Q2可以计算出到被摄体20的距离d。注意，c是光速。
d＝(1/2)·c·Δt·(Q2/(Q1+Q2))
此时，电荷Q1和Q2的总值是来自被摄体20的反射光的强度，并且在当获得更强的响应时信号的信噪比(SN比)更佳的基础上，可以将该值用作可靠性。即，通过以下表达式来获得可靠性r。
r＝Q1+Q2
注意，在此，作为测距方法的示例，这里已经说明了脉冲方法。然而，也可以使用诸如连续波等的其他方法。
图7是示出根据本技术的第一实施例的立体相机120的构造示例的图。在第一实施例中，假设将立体相机120作为空间信息测距相机12。立体相机120包括：左侧成像元件121、右侧成像元件122、深度计算单元123和曝光控制单元125。
曝光控制单元125根据经由信号线189从拍摄控制单元180提供的垂直同步信号来控制左侧成像元件121和右侧成像元件122的曝光。当接收到垂直同步信号时，曝光控制单元125控制左侧成像元件121和右侧成像元件122开始曝光。然后，当从垂直同步信号的接收时间开始经过立体相机120的曝光时间后，曝光控制单元125控制左侧成像元件121和右侧成像元件122终止曝光。
左侧成像元件121和右侧成像元件122接收从被摄体20反弹的反射光，并且将反射光光电转换为左图像和右图像的图像信号。
深度计算单元123根据左图像和右图像来计算每个像素位置处的视觉差，基于左侧成像元件121与右侧成像元件122之间的基线长度来计算距离，并且输出所计算的距离。为了计算视差量，可以使用块匹配方法(block matching method)，该方法与包括有关像素的N×N像素的斑块图像(patch image)在哪个位置出现为另一图像中的相似斑块图像有关，在移动位置时搜索具有最小误差的斑块图像。
在被摄体是不具有斑块图像的图案的平坦部分的情况下，立体相机120不能成功地获得距离。然而，如果以足够的对比度观察由图案光投影的光，则可以使用图案光的图案作为线索来计算视差量。
此外，由于立体相机120可以通过以比像素更精细的精度来计算斑块图像的偏移量，由此提高深度值的精度，所以通过提高左侧成像元件121和右侧成像元件122的分辨率，能够提高深度值的精度。此外，通过调节左侧成像元件121与右侧成像元件122之间的基线长度可以调节可测量距离的范围。
以这种方式，立体相机120从拍摄控制单元180接收垂直同步信号，并且控制左侧成像元件121和右侧成像元件122的拍摄。然后，深度计算单元123根据所拍摄的左图像和右图像来计算视差量，确定每个像素位置的深度值，并将深度值作为深度图输出。此外，深度计算单元123输出在计算处理中获得的可靠性。
例如，视差量可以通过以下绝对值差表达式来计算。斑块绝对值差RSAD是通过将图像L的斑块像素I(i,j)的像素值与图像R的斑块像素T(i,j)的像素值之间的绝对差值以该斑块中的像素量积分而获得的值。当斑块图像相似时，斑点绝对值差RSAD的值减小。在将图像L的斑块基准位置偏移了偏移量的同时获得最小斑块绝对值差。在最小差时的偏移量是视差，并且该偏移量是该位置处的深度值。
[表达式1]
此外，例如，可以将可靠性计算为最小值与第二最小值之间的比率。可靠性CSAD是通过从1中减去比率而获得的值，其中，最小绝对值差是RSAD1，在与最小绝对值差不同的偏移位置处的第二最小绝对值是RSAD2。该值随着两个可靠性之间的差增大而增大，并且随着差变大，可以将偏移量与其他偏移量区分开来。
CSAD＝1.0-RSAD1/RSAD2
图8是示出根据本技术的第一实施例的深度合成单元160的构造示例的图。深度合成单元160包括：坐标变换单元161、162和深度合成处理单元163。
坐标变换单元161对经由信号线119和118从光飞行时间测距相机11提供的深度值和可靠性应用坐标变换操作，以执行将深度图的坐标位置对齐的处理。
坐标变换单元162对经由信号线129和128从空间信息测距相机12提供的深度值和可靠性应用坐标变换操作，以执行将深度图的坐标位置对齐的处理。
基于可靠性的大小，深度合成处理单元163对两个深度值进行积分并输出，这两个深度值的坐标位置通过坐标变换单元161和162被对齐。例如，可以为每个像素选择具有最高可靠性的深度值进行深度合成。
由于根据光飞行时间测距相机11和空间信息测距相机12的相机位置来确定坐标变换所需的参数，所以预先进行校准并获得参数，并使用参数的值。例如，这些参数被称为相机的外部参数、内部参数和整流参数，并且通常用以下形式表达。
内部参数由以下表达式的行列式表示。注意，fx和fy是以像素为单位表示的焦距。cx和cy是相机的主要点。
[表达式2]
外部参数由以下行列式表示。注意，r是旋转矩阵的元素，t是平移运动的元素。该行列式在将这些元素放在一起的同时变化矩阵。
[表达式3]
整流矩阵是3×3矩阵的9个参数，其中，相机被准直，并且在极线直线上获得诸如块匹配等的搜索。
需要考虑到ToF相机110和立体相机120的测量范围而设定根据第一实施例的成像装置。即，在ToF相机110中，调制频率确定测量分辨率和极限测量距离，并且调制光的强度和曝光时间确定到待测量的被摄体的距离。如果调制光的强度较强或者曝光时间较长，则光会达到更远的距离，虽然可以以饱和的方式观察近处的被摄体，但是可能无法测量距离。同时，在立体相机120中，左侧成像元件121与右侧成像元件122之间的基线长度确定测量分辨率和极限测量距离，并且投影图案光的强度和曝光时间确定到待测量的被摄体的距离。
通常，ToF相机的分辨率低，并且经常使用诸如用于拍摄照片和运动图像的传感器等的具有高分辨率的立体相机。因此，可以设想，通过针对近景设定ToF相机110并针对远景设定立体相机120来获得合成的深度图。
对于曝光时间而言，可以设想将ToF相机110设定为短曝光时间并将立体相机120设定为长曝光时间。通过这种设置，可以获得短距离ToF深度图和长距离立体深度图。采用这些设置可以达到以下效果，减少因图案光而在立体相机中出现平面部分的穿孔，并且通过聚焦在点光源上而不是面光源上来增加投影强度。因此，使得在距离方向上以宽动态范围进行测距成为可能。
这样，通过实现使用调制的测距和使用一个光源的图案的测距，就可以在不浪费的情况下使用投影光，并且在功耗方面，比两个测距系统的简单组合更有利。另外，可以避免因两种不同光源而引起的干涉噪声。另外，光源越小，模块尺寸越小，这在尺寸和成本方面也是有利的。
[成像装置的操作]
图9是示出根据本技术的实施例的拍摄控制单元180的操作过程示例的流程图。
在接收到拍摄开始命令之前(步骤S912：否)，拍摄控制单元180处于待机状态(步骤S911)。当输入拍摄开始命令时(步骤S912：是)，垂直同步生成单元181开始垂直同步信号的输出(步骤S913)，并且调制信号生成单元182开始调制信号的输出(步骤S914)。
之后，当输入拍摄结束命令时(步骤S915：是)，垂直同步生成单元181终止垂直同步信号的输出(步骤S916)，并且调制信号生成单元182终止调制信号的输出(步骤S917)。
图10是示出本技术的实施例中的光源投影单元130的操作过程示例的流程图。
在接收到垂直同步信号之前(步骤S922：否)，光源投影单元130处于待机状态(步骤S921)。当输入垂直同步信号时(步骤S922：是)，光源生成单元131生成强度调制光源，并且开始调制光的投影(步骤S923)。
之后，当从垂直同步信号的接收时间开始经过当光飞行时间测距相机11的曝光时间后(步骤S924：是)，光源生成单元131生成未调制的固定光，并且开始固定光的投影(步骤S925)。
之后，当经过空间信息测距相机12的曝光时间后(步骤S926：是)，光源生成单元131停止光源的生成，并且终止投影(步骤S927)。
图11是示出根据本技术的第一实施例的ToF相机110的操作过程示例的流程图。
在接收到垂直同步信号之前(步骤S932：否)，ToF相机110处于待机状态(步骤S931)。当输入垂直同步信号时(步骤S932：是)，ToF像素111开始曝光(步骤S933)。
之后，当从垂直同步信号的接收时间开始经过ToF相机110的曝光时间后(步骤S934：是)，ToF像素111终止曝光(步骤S935)。
然后，深度计算单元113基于图像信号与调制信号之间的相关性获得相位延迟量，并且将相位延迟量转换为表示深度的深度值(步骤S936)。此外，深度计算单元113生成深度值的可靠性，并且输出深度值和可靠性(步骤S937)。
图12是示出根据本技术的第一实施例的立体相机120的操作过程示例的流程图。
在接收到垂直同步信号之前(步骤S942：否)，ToF相机110处于待机状态(步骤S941)。当输入垂直同步信号时(步骤S942：是)，左侧成像元件121和右侧成像元件122开始曝光(步骤S943)。
之后，当从垂直同步信号的接收时间开始经过立体相机120的曝光时间后(步骤S944：是)，左侧成像元件121和右侧成像元件122终止曝光(步骤S945)。
然后，深度计算单元123根据左图像和右图像来计算在每个像素位置处的视差量，并且基于左侧成像元件121与右侧成像元件122之间的基线长度来计算距离(步骤S946)。此外，深度计算单元123生成深度值的可靠性，并且输出深度值和可靠性(步骤S947)。
如上所述，根据本技术的第一实施例，通过合成由ToF相机110和立体相机120获得的深度值和可靠性，可以提高测距精度。从光源投影单元130投影的投影光是被强度调制的空间图案光，并且该投影光既包括ToF相机110所需的调制分量又包括立体相机120所需的空间图案。因此，由于仅使用一个光源，所以可以避免投影光的干涉。
<2.第二实施例>
在上述第一实施例中，除ToF相机110之外还设置了立体相机120。然而，通过利用ToF相机110对左图像和右图像中的一个图像成像，可以使用普通单眼相机来代替立体相机120。由于ToF相机110的Q1+Q2的值是拍摄场景的图像本身，所以可以同时从ToF相机110获取深度值和正常图像。在第二实施例中，由ToF相机110拍摄的图像是左右图像中的一者，并且假设组合ToF相机110和普通单眼相机来获取左右图像。
注意，由于成像装置的整体构造与第一实施例的整体构造相似，因此省略其详细说明。
图13是示出根据本技术的第二实施例的ToF相机110和相机126的构造示例的图。在第二实施例中，假定将ToF相机110和相机126的组合作为空间信息测距相机12。注意，与第一实施例类似，假定将ToF相机110作为光飞行时间测距相机11。
相机126是单眼相机，并且拍摄左右图像中的左图像。此时，使用由ToF相机110的ToF像素111成像的一个图像作为左右图像中的右图像。注意，右图像和左图像的共享是示例，可以由ToF相机110拍摄左图像，并且可以由相机126拍摄右图像。
相机126包括：左侧成像元件121、深度计算单元123和曝光控制单元125。
曝光控制单元125根据经由信号线189从拍摄控制单元180提供的垂直同步信号来控制左侧成像元件121的曝光。
左侧成像元件121接收从被摄体20反弹的反射光，并且将反射光光电转换为左图像的图像信号。
深度计算单元123根据从左侧成像元件121和ToF像素111获得的左右图像来计算每个像素位置处的视差量、基于左侧成像元件121与ToF像素111之间的基线长度来计算距离，并输出所计算的距离。
如上所述，根据本技术的第二实施例，与ToF相机和立体相机的组合类似，通过将由ToF相机110拍摄的图像作为左右图像中的一者，可以减少相机的数量，并可以提高测距精度。
<3.第三实施例>
在上述第一实施例中，将立体相机120假定为空间信息测距相机12。然而，只要相机能够使用空间信息来测量距离，就可以使用其他类型的相机。在第三实施例中，将结构光相机假定为空间信息测距相机12。
注意，由于成像装置的整体构造与第一实施例中的整体构造类似，因此省略其详细说明。
图14是示出根据本技术的第三实施例的结构光相机140的构造示例的图。结构光相机140是通过相机获取三维形状并进行图案投影的相机。结构光相机140包括：成像元件141、深度计算单元143和曝光控制单元145。
曝光控制单元145根据经由信号线189从拍摄控制单元180提供的垂直同步信号来控制成像元件141的曝光。成像元件141接收从被摄体20反弹的反射光，并且将反射光光电转换为图像信号。深度计算单元143在投影已知图案的场景中分析如何使图案变形以及图案在拍摄场景中出现的位置，并且通过三角测量计算来计算深度距离。
与使用立体相机的情况相比，使用结构光相机140可以减少相机的数量。
如上所述，根据本技术的第三实施例，通过合成由ToF相机110和结构光相机140获得的深度值和可靠性，可以提高测距精度。
<4.第四实施例>
在上述的第二实施例中，将ToF相机110和相机126组合。然而，相机126可以被另一ToF相机代替。在第四实施例中，由ToF相机110拍摄的图像是左右图像中的一者，并且假定将ToF相机110和另一ToF相机组合来获取左右图像。
注意，由于成像装置的整体构造与第一实施例中的整体构造类似，因此省略其详细说明。
图15是示出根据本技术的第四实施例的ToF相机110和ToF相机116的构造示例的图。在第四实施例中，假定将ToF相机110和ToF相机116的组合作为空间信息测距相机12。注意，与第一实施例类似，假定将ToF相机110作为光飞行时间测距相机11。
ToF相机116是与ToF相机110不同的ToF相机，并且对左右图像中的左图像进行成像。此时，使用由ToF相机110的ToF像素111成像的图像作为左右图像中的右图像。注意，左图像和右图像的共享是示例，可以由ToF相机110拍摄左图像，并且可以由ToF相机116拍摄右图像。
通过深度合成单元165对由ToF相机110和116生成的深度值及深度值的可靠性进行合成。深度合成单元165可以使用3组值：单独的ToF相机110的深度值和可靠性、单独的ToF相机116的深度值和可靠性以及由ToF相机110拍摄的右图像和由ToF相机116拍摄的左图像的深度值和可靠性。此时，可以为每个像素选择具有最高可靠性的深度值进行深度合成。
在第四实施例中，通过改变作为ToF相机成像与作为立体相机成像之间的曝光时间，可以扩展亮度的动态范围。此外，通过改变ToF相机110与ToF相机116之间的基线长度，可以扩展测距的动态范围。此外，例如，可以设想，对于短距离而言单独使用ToF相机110和116的深度值，并对于长距离而言使用ToF相机110和116的主动立体的深度值。
如上所述，根据本技术的第四实施例，通过合成由ToF相机110和116获得的深度值和可靠性，可以进一步提高测距精度。
<5.第五实施例>
在上述第三实施例中，虽然将ToF相机110和结构光相机140组合，但是可以将它们集成到一个相机中。在第五实施例中，假设将集成相机作为光飞行时间测距相机11和空间信息测距相机12。
图16是示出根据本技术的第五实施例的相机150的构造示例的图。该相机150是ToF相机和结构光相机的集成。相机150包括：ToF像素151、深度计算单元153和154以及曝光控制单元155。
曝光控制单元155根据经由信号线188和189从拍摄控制单元180提供的调制信号和垂直同步信号来控制ToF像素151的曝光。ToF像素151接收从被摄体20反弹的调制反射光，并将反射光光电转换为图像信号。
深度计算单元153根据由ToF像素151生成的图像信号与调制信号之间的相关性来获得相位延迟量，并将相位延迟量转换成表示深度的深度值。深度计算单元154在投影已知图案的场景中分析图案如何变形以及图案出现在拍摄场景中的位置，并且通过三角测量计算来计算深度距离。即，由深度计算单元153执行使用调制信号的测距，并且由深度计算单元154执行使用图案的测距。
如上所述，根据本技术的第五实施例，使用调制信号的测距和使用图案的测距均由集成相机执行，由此可以在减少相机的数量的同时提高测距精度。
如上所述，本技术的实施例具有以下优点。
首先，可以通过将光源中的空间信息和时间信息叠加来避免投影光的干涉。空间方向(结构光)和时间方向(调制)彼此独立，并且可以毫无浪费地使用这些信息。
第二，从反射光的外观来看，ToF相机分辨率低，因此无法看到高分辨率结构光的图案，而且可以将该结构光处理为几乎等同于表面发射，并且可以通过高速调制进行测距。由于光源的调制对于主动立体来说足够快，所以相当于以恒定强度进行投影，并且可以使用高分辨率空间图案进行测距。
第三，使用ToF相机和立体相机的特性可以改变测距范围的共享。ToF相机可以通过短曝光来测量距离，并且即使在短距离也很难饱和，因此适于处理深度值的前侧。另一方面，主动立体相机曝光时间长、分辨率高且灵敏度高，因此适于处理深度值的深度侧。
第四，利用立体相机的特性可以演示无法仅用ToF相机实现的性能。即，通过使用高分辨率图案，主动立体能够在无纹理的情况下实现表面的测距，并且还可以通过集光来使距离更长。
<6.移动体的应用例>
根据本发明的技术(本技术)可以应用于各种产品。例如，根据本发明的技术可实现为安装在包括以下任何类型的移动体中的设备：汽车、电动汽车、混合动力电动汽车、电动摩托车、自行车、个人移动设备、飞机、无人机、船、机器人等移动体。
图17是示出作为本发明的技术适用的移动体控制系统的示例的车辆控制系统的示意性构造示例的框图。
车辆控制系统12000包括通过通信网络12001连接的多个电子控制单元。在图17所示的示例中，车辆控制系统12000包括：驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040、以及集成控制单元12050。此外，作为集成控制单元12050的功能性构造，示出了微型计算机12051、声音图像输出单元12052以及车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统有关的设备的操作。例如，驱动系统控制单元12010可用作：生成车辆驱动力的驱动力生成设备的控制设备，例如，内燃机或驱动电机等；将驱动力传递到车轮的驱动力传递机构；调节车辆的转向角的转向机构以及产生车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序来控制安装在车身中的设备的操作。例如，车身系统控制单元12020可用作无键进入系统、智能钥匙系统、自动窗设备以及诸如前照灯、后照灯、刹车灯、转向灯和雾灯等的各种灯的控制设备。在这种情况下，可以将从代替键的移动设备发送的无线电波或各种开关的信号输入到车身系统控制单元12020。车身系统控制单元12020接收无线电波或信号的输入，并且控制车辆的门锁装置、自动窗装置、灯等。
车辆外部信息检测单元12030检测安装有车辆控制系统12000的车辆外部的信息。例如，成像单元12031连接至车辆外部信息检测单元12030。车辆外部信息检测单元12030使成像单元12031拍摄车辆外部的图像，并接收所拍摄的图像。车辆外部信息检测单元12030可以基于接收到的图像执行路面上的行人、车辆、障碍物、标志、字母等的被摄体检测处理或距离检测处理。
成像单元12031是接收光并根据光的受光量来输出电信号的光学传感器。成像单元12031可以将电信号作为图像输出，并且可以将电信号作为测距的信息输出。此外，由成像单元12031接收的光可以是可见光，或者可以是诸如红外光等的不可见光。
车辆内部信息检测单元12040检测车辆内部的信息。例如，检测驾驶员的状态的驾驶员状态检测单元12041连接至车辆内部信息检测单元12040。驾驶员状态检测单元12041例如包括拍摄驾驶员的相机，车辆内部信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息来计算驾驶员的疲劳程度或集中程度或者确定驾驶员是否在驾驶时打瞌睡。
微型计算机12051基于从车辆外部信息检测单元12030或车辆内部信息检测单元12040中获取的车辆内部和外部信息来计算驱动力产生设备、转向机构或制动设备的控制目标值，并且可以向驱动系统控制单元12010输出控制命令。例如，为了实现包括车辆的避碰或减震、基于车辆间隙的跟车行驶、车速保持行驶、车辆的碰撞警告、车辆出车道警告等在内的高级驾驶员辅助系统(ADAS：advanced driver assistance system)功能，微型计算机12051可以执行协作控制。
此外，微型计算机12051基于从车辆外部信息检测单元12030或车辆内部信息检测单元12040中获取的车辆附近的信息来控制驱动力产生设备、转向机构或制动设备等，以执行协作控制，以便实现自动行驶的自动驾驶，而不依赖驾驶员的操作。
此外，微型计算机12051可以基于从车辆外部信息检测单元12030中获取的车辆外部的信息来向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以根据在车辆外部信息检测单元12030中检测到的前方车辆或对面车辆的位置来控制大灯并将远光灯切换为近光灯，由此进行协同控制，以实现防眩光的目的。
声音图像输出单元12052将声音和图像中的至少一者的输出信号发送到输出设备，该输出设备可以在视觉上和听觉上将信息通知给车上的乘客或通知到车外。在图17的示例中，作为输出设备，示例性地示出了音频扬声器12061、显示单元12062和仪表板12063。显示单元12062例如可以包括车载显示器和平视显示器中的至少一者。
图18是示出成像单元12031的安装位置的示例的图。
在图18中，车辆12100包括作为成像单元12031的成像单元12101、12102、12103、12104和12105。
例如，将成像单元12101、12102、12103、12104和12105设置在诸如前车头、侧视镜、后保险杠或后门以及车辆12100内的挡风玻璃上部等的位置处。设置在前车头处的成像单元12101和设置在车辆内的挡风玻璃上部处的成像单元12105主要获取车辆12100的前方图像。设置在侧视镜处的成像单元12102和12103主要获取车辆12100的侧面图像。设置在后保险杠或后门处的成像单元12104主要获取车辆12100的后方图像。在成像单元12101和12105中获取的前方图像主要用于检测前方车辆、行人、障碍物、交通信号灯、交通标志、车道等。
注意，图18示出成像单元12101～12104的成像范围的示例。成像范围12111表示设置在前车头处的成像单元12101的成像范围，成像范围12112和12113分别表示设置在侧视镜处的成像单元12102和12103的成像范围，并且成像范围12114表示设置在后保险杠或后门处的成像单元12104的成像范围。例如，通过叠加在成像单元12101～12104中拍摄的图像数据，可以获得从上方看到的车辆12100的鸟瞰图图像。
成像单元12101～12104中的至少一者可以具有获取距离信息的功能。例如，成像单元12101～12104中的至少一者可以是包括多个成像元件的立体相机或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051基于从成像单元12101～12104中获得的距离信息来获得到成像范围12111～12114内的三维被摄体的距离以及距离的时间变化(车辆12100的相对速度)，由此提取在行驶道路上最接近车辆12100并且在与作为前方车辆的车辆12100大致相同的方向上以预定速度(例如,0km/h以上)行驶的三维被摄体。此外，微型计算机12051能够预先设定与前方车辆确保安全的车辆间隙，并且执行自动制动控制(包括后续停止控制)和自动加速控制(包括后续开始控制)等。以这种方式，无需依赖于驾驶员等的操作，就可以执行用于自动行驶的自动驾驶的协同控制。
例如，基于从成像单元12101～12104获得的距离信息，微型计算机12051将与三维被摄体有关的三维被摄体数据提取并分类为两轮车辆、普通车辆、大型车辆、行人、以及诸如电杆等的其他三维被摄体，并可以使用这些数据来自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可视觉识别的障碍物和驾驶员不可视觉识别的障碍物。然后，微型计算机12051确定指示与每个障碍物发生碰撞危险的碰撞风险，并可以通过经由音频扬声器12061或显示单元12062向驾驶员输出警告来执行用于避免碰撞的驾驶辅助，并且在碰撞风险为设定值以上并且存在碰撞可能性的情况下，通过驱动系统控制单元12010执行强制减速或回避转向。
成像单元12101～12104中的至少一者可以是检测红外光的红外相机。例如，微型计算机12051确定成像单元12101～12104的拍摄图像中是否存在行人，从而识别行人。例如，通过提取由作为红外相机的成像单元12101～12104拍摄的图像中的特征点的处理以及通过对表示被摄体轮廓的一系列特征点进行模式匹配并识别该被摄体是否是行人的处理来执行对行人的识别。当微型计算机12051判定成像单元12101～12104的拍摄图像中存在行人并识别出该行人时，声音图像输出单元12052控制显示单元12062叠加并显示方形轮廓线，以强调识别出的行人。此外，声音图像输出单元12052可以控制显示单元12062在期望的位置处显示表示行人的图标等。
已经说明了根据本发明的技术适用的车辆控制系统的示例。根据本发明的技术适用于上述构造的成像单元12031。
<7.内窥镜手术系统的应用例>
根据本发明的技术(本技术)可以应用于各种产品。例如，根据本发明的技术可以应用于内窥镜手术系统。
图19是示出根据本发明的技术(本技术)适用的内窥镜手术系统的示意性构造的示例的图。
图19示出操作者(医生)11131正在使用内窥镜手术系统11000对病床11133上的患者11132进行手术的状态。如图19所示，内窥镜手术系统11000包括：内窥镜11100；诸如气腹管11111和能量治疗工具11112等的其他手术器械11110；支撑臂装置11120，其支撑内窥镜11100；以及推车11200，其上安装有用于内窥镜手术的各种装置。
内窥镜11100包括镜筒11101和摄像头11102。将从镜筒11101的前端起具有预定长度的区域插入到患者11132的体腔中。摄像头11102连接至镜筒11101的近端。图19示出被构造为包括硬性镜筒11101的所谓的硬性内窥镜的内窥镜11100。然而，内窥镜11100可以被构造为包括软性镜筒的所谓的软性内窥镜。
在镜筒11101的前端设置有与物镜嵌合的开口部。光源装置11203连接至内窥镜11100，并且由光源装置11203产生的光通过在镜筒11101内部延伸的光导被引导到镜筒11101的前端，并且用通过物镜的光照射患者11132的体腔内的观察对象。注意，内窥镜11100可以是直视内窥镜，可以是斜视内窥镜，或者可以是侧视内窥镜。
在摄像头11102内部设置有光学系统和成像元件，并且来自观察对象的反射光(观察光)通过光学系统被汇聚到成像元件。成像元件对观察光进行光电转换，并且生成与观察光对应的电信号，即，与观察图像对应的图像信号。将图像信号作为原始数据发送到相机控制单元(CCU：camera control unit)11201。
CCU 11201包括中央处理单元(CPU：central processing unit)、图形处理单元(GPU：graphics processing unit)等，并通常控制内窥镜11100和显示装置11202的操作。此外，CCU 11201从摄像头11102接收图像信号，并且基于图像信号将诸如显影处理(去马赛克处理)等的用于显示图像的各种图像处理应用于图像信号。
通过CCU 11201的控制，显示装置11202基于已经被CCU 11201进行图像处理的图像信号来显示图像。
例如，光源装置11203例如由诸如发光二极管(LED)等的光源构成，并且在拍摄手术部位等时将照射光提供给内窥镜11100。
输入装置11204是内窥镜手术系统11000的输入接口。用户可以通过输入装置11204向内窥镜手术系统11000输入各种信息和指令。例如，用户输入指示以改变内窥镜11100的成像条件(照射光的类型、倍率、焦距等)等。
治疗工具控制装置11205控制能量治疗工具11112的驱动，以进行烧灼或切开组织、密封血管等。气腹装置11206通过气腹管11111将气体送入患者11132的体腔内以使体腔扩张，用以确保内窥镜11100的视野和操作者的工作空间。记录器11207是可以记录与手术有关的各种信息的装置。打印机11208是可以以诸如文本、图像和图表等的各种格式打印与手术有关的各种信息的装置。
注意，例如，在拍摄手术部位时将照射光提供给内窥镜11100的光源装置11203可以由白色光源构成，该白色光源由LED、激光光源或LED和激光光源组合构成。在白色光源是由RGB激光光源的组合构成的情况下，能够以高精度控制各自颜色(波长)的输出强度和输出时序。因此，可以在光源装置11203中对拍摄图像的进行白平衡调节。此外，在这种情况下，以分时方式用来自每个RGB激光光源的激光照射观察对象，并且与照射时序同步地控制摄像头11102的成像元件的驱动，从而可以以分时方式拍摄分别对应于RGB的图像。根据该方法，可以获得彩色图像，而无需为成像元件设置滤色器。
此外，可以控制光源装置11203的驱动以改变以每个预定时间待输出的光的强度。与光强度的变化时序同步地控制摄像头11102的成像元件的驱动，并且以分时方式获取图像，然后合成图像，从而可以生成没有截断黑色和高亮点的高动态范围图像。
此外，光源装置11203可以被构造成能够提供与特殊光观察对应的预定波段中的光。在特殊光观察中，例如，利用身体组织中的光吸收的波长依赖性，通过照射比在正常观察时照射光(即，白光)更窄的波段内的光，来进行所谓的窄带成像，从而以高对比度在粘膜表面层拍摄诸如血管等的预定组织。可选地，在特殊光观察中，可以执行荧光成像以利用由激发光的照射而产生的荧光来获得图像。在荧光成像中，可以执行以下操作：利用激发光照射身体组织，以获得来自身体组织的荧光(自身荧光观察)；或者将诸如吲哚菁绿(ICG：indocyanine green)等的试剂注入到身体组织内，并利用与试剂的荧光波长对应的激发光照射身体组织以获得荧光图像。光源装置11203可以被构造成能够提供对应于这种特殊光观察的窄带光和/或激发光。
图20是示出图19所示的摄像头11102和CCU 11201的功能性构造的示例的框图。
摄像头11102包括透镜单元11401、成像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像头11102和CCU 11201通过传输电缆11400彼此通信连接。
透镜单元11401是设置在摄像头11102与镜筒11101之间的连接部分中的光学系统。通过镜筒11101的前端拍摄的观察光被引导到摄像头11102，并进入透镜单元11401。透镜单元11401由包括变焦透镜和聚焦透镜的多个透镜的组合构成。
成像单元11402由成像元件构成。构造成像单元11402的成像元件可以是一个成像元件(所谓的单个成像元件)，或者可以是多个成像元件(所谓的多个成像元件)。在成像单元11402由多个成像元件构成的情况下，例如，可以通过由成像元件生成分别对应于RGB的图像信号并合成图像信号来获得彩色图像。可选地，成像单元11402可以由一对成像元件构成，这对成像元件用于分别获得对应于三维(3D)显示的右眼和左眼的图像信号。利用3D显示，操作者11131能够更精确地掌握手术部位中的生物组织的深度。注意，在成像单元11402由多个成像元件构成的情况下，可以对应于成像元件来设置多个透镜单元11401的系统。
此外，成像单元11402可以不必设置在摄像头11102中。例如，成像单元11402可以设置在物镜正后方的镜筒11101内部。
驱动单元11403由致动器构成，并且在摄像头控制单元11405的控制下，将透镜单元11401的变焦透镜和对焦透镜沿光轴移动预定距离。利用该移动，可以适当地调节由成像单元11402拍摄的图像的倍率和焦点。
通信单元11404由通信装置构成，该通信装置往来于CCU 11201发送或接收各种类型的信息。通信单元11404通过传输电缆11400将从成像单元11402获得的图像信号作为原始数据发送到CCU 11201。
此外，通信单元11404从CCU 11201接收用于控制摄像头11102驱动的控制信号，并且将该控制信号提供给摄像头控制单元11405。控制信号包括与成像条件有关的信息，诸如用于指定所拍摄图像的帧速率的信息、用于指定成像时曝光值的信息和/或用于指定所拍摄图像的倍率和焦点的信息等。
注意，基于获取的图像信号，可以由用户适当地指定或者可以由CCU 11201的控制单元11413自动地设置诸如帧速率、曝光值、倍率和焦点等的成像条件。在后者的情况下，在内窥镜11100中并入所谓的自动曝光(AE：auto exposure)功能、自动对焦(AF：auto focus)功能以及自动白平衡(AWB：auto white balance)功能。
摄像头控制单元11405基于从CCU 11201通过通信单元11404接收的控制信号来控制摄像头11102的驱动。
通信单元11411由往来于摄像头11102发送或接收各种类型的信息的通信装置构成。通信单元11411通过传输电缆11400接收从摄像头11102发送的图像信号。
此外，通信单元11411将用于控制摄像头11102驱动的控制信号发送到摄像头11102。可以通过电气通信、光通信等发送图像信号和控制信号。
图像处理单元11412对从摄像头11102发送的作为原始数据的图像信号应用各种类型的图像处理。
控制单元11413执行与内窥镜11100对手术部位等的成像有关的各种类型的控制并且显示通过对手术部位等进行成像而获得的所拍摄图像。例如，控制单元11413生成控制信号，以用于控制摄像头11102的驱动。
此外，基于已经由图像处理单元11412进行图像处理的图像信号，控制单元11413在显示装置11202中显示手术部位等的拍摄图像。此时，控制单元11413可以使用各种图像识别技术来识别拍摄图像中的各种被摄体。例如，控制单元11413可以通过检测包括在拍摄图像中的被摄体的边缘形状、颜色等来识别诸如钳子等手术器械、特定的生物体部位、血液、使用能量治疗工具11112时的模糊等。在于显示装置11202中显示所拍摄图像时，控制单元11413可以在手术部位的图像上叠加并显示各种类型的手术支持信息。叠加和显示手术支持信息并向操作者11131提示手术支持信息可以减轻操作者11131的负担，并能够使操作者11131可靠地进行该手术。
连接摄像头11102和CCU 11201的传输电缆11400是与电信号的通信对应的电信号电缆、与光通信的光纤或二者的复合电缆。
在所示的示例中，使用传输电缆11400以有线方式进行通信。然而，可以以无线方式进行摄像头11102与CCU 11201之间的通信。
已经说明了根据本发明的技术适用的内窥镜手术系统的示例。根据本发明的技术适用于上述构造的摄像头11102的成像单元11402。
注意，这里，已经以内窥镜手术系统为例进行了说明。然而，根据本发明的技术例如可以应用于显微外科手术等。
注意，上述实施例说明了用于体现本技术的示例，并且实施例中的事项和在权利要求中指定本发明的事项分别具有对应性。类似地，用于在权利要求中指定本发明的事项和本技术的实施例中给予相同名称的事项具有对应关系。然而，本技术不限于实施例，并且在不背离本技术的要旨的情况下，可以通过对实施例进行各种修改来体现本技术。
此外，以上实施例所述的处理流程可以被视为具有这一系列过程的方法，也可以被视为使计算机执行这一系列过程的程序并且被视为存储程序的记录介质。例如，可以将光盘(CD)、微型光盘(MD)、数字通用光盘(DVD)、存储卡、蓝光光盘(Blu-ray(注册商标))等用作该记录介质。
注意，本说明书中所述的效果仅仅是示例且不受限制，并且也可能出现其他效果。
注意，本技术可以具有以下构造。
(1)一种成像装置，其包括：
光源投影单元，其被构造成投影被强度调制的空间图案光；
光飞行时间测距相机，其被构造成基于包括在来自被摄体的所述空间图案光的反射光中的调制分量的光飞行时间来测量到被摄体的距离；
空间信息测距相机，其被构造成基于包括在反射光中的空间信息来测量到被摄体的距离；以及
深度合成单元，其被构造成合成光飞行时间测距相机和空间信息测距相机中的距离的测量结果，以确定由光飞行时间测距相机或空间信息测距相机进行成像的图像的每个像素位置处的深度值。
(2)根据(1)的成像装置，其中
光源投影单元包括：
光源生成单元，其被构造成根据预定的调制信号和预定的垂直同步信号生成强度调制光源，以及
光学元件，其被构造成根据空间位置使光源变形以产生空间图案光。
(3)根据(1)或(2)的成像装置，其中
光飞行时间测距相机和空间信息测距相机中的每者生成作为测量结果的每个像素位置的深度值和深度值的可靠性，并且
深度合成单元基于测量结果中的可靠性大小来确定每个像素位置的深度值。
(4)根据(3)的成像装置，其中
深度合成单元为每个像素选择测量结果中具有最高可靠性的深度值，以确定每个像素位置的深度值。
(5)根据(1)～(4)中任一项的成像装置，其中
空间信息测距相机是包括左右两个成像元件的立体相机，并且被构造成测量到被摄体的距离，该测量基于从右图像和左图像中求出的各像素位置中的视差量和两个成像元件的基线长度，其中，右图像和左图像是从与包括在反射光中的空间信息有关的两个成像元件中获得的。
(6)根据(1)～(4)中任一项的成像装置，其中
空间信息测距相机是结构光相机，该结构光相机被构造成基于与包括在反射光中的空间信息有关的三角测量计算来测量到被摄体的距离。
(7)根据(1)～(4)中任一项的成像装置，还包括：
第二光飞行时间测距相机，其被构造成基于包括在来自被摄体的空间图案光的反射光中的调制分量的光飞行时间来测量到被摄体的距离，其中
光飞行时间测距相机和第二光飞行时间测距相机作为空间信息测距相机来操作。
(8)根据(7)的成像装置，其中
光飞行时间测距相机和第二光飞行时间测距相机中的每者生成作为测量结果的每个像素位置的深度值和深度值的可靠性，
光飞行时间测距相机和第二光飞行时间测距相机生成作为空间信息测距相机的测量结果的每个像素位置的深度值和深度值的可靠性，并且
深度合成单元针对每个像素在光飞行时间测距相机和第二光飞行时间测距相机的测量结果中和作为空间信息测距相机的测量结果中选择具有最高可靠性的深度值，以确定每个像素位置的深度值。
(9)根据(1)～(4)任一项的成像装置，其中
光飞行时间测距相机和空间信息测距相机是集成相机，该集成相机基于包括在反射光中的调制分量的光飞行时间来测量到被摄体的距离，并且基于与包括在反射光中的空间信息有关的三角测量计算来测量到被摄体的距离。
附图标记列表
11 光飞行时间测距相机
12 空间信息测距相机
20 被摄体
100 成像装置
110,116 ToF相机
111 ToF像素
113 深度计算单元
115 曝光控制单元
120 立体相机
121 左侧成像元件
122 右侧成像元件
123 深度计算单元
125 曝光控制单元
126 相机
130 光源投影单元
131 光源生成单元
133 光学元件
135 光源控制单元
140 结构光相机
141 成像元件
143 深度计算单元
145 曝光控制单元
150 相机(ToF相机和结构光相机)
151 ToF像素
153、154 深度计算单元
155 曝光控制单元
160、165 深度合成单元
161、162 坐标变换单元
163 深度合成处理单元
170 输入接收单元
180 拍摄控制单元
181 垂直同步生成单元
182 调制信号生成单元

Claims (9)

1.一种成像装置，其包括：
光源投影单元，其被构造成投影被强度调制的空间图案光；
光飞行时间测距相机，其被构造成基于包括在来自被摄体的所述空间图案光的反射光中的调制分量的光飞行时间来测量到所述被摄体的距离；
空间信息测距相机，其被构造成基于包括在所述反射光中的空间信息来测量到所述被摄体的距离；以及
深度合成单元，其被构造成合成所述光飞行时间测距相机和所述空间信息测距相机中的距离的测量结果，以确定由所述光飞行时间测距相机或所述空间信息测距相机进行成像的图像的每个像素位置处的深度值。
2.根据权利要求1所述的成像装置，其中
所述光源投影单元包括：
光源生成单元，其被构造成根据预定的调制信号和预定的垂直同步信号生成强度调制光源，以及
光学元件，其被构造成根据空间位置使所述光源变形以产生所述空间图案光。
3.根据权利要求1所述的成像装置，其中
所述光飞行时间测距相机和所述空间信息测距相机中的每者生成作为所述测量结果的每个像素位置的深度值和所述深度值的可靠性，并且
所述深度合成单元基于所述测量结果中的所述可靠性的大小来确定每个像素位置的所述深度值。
4.根据权利要求3所述的成像装置，其中
所述深度合成单元为每个像素选择所述测量结果中具有最高可靠性的深度值，以确定每个像素位置的所述深度值。
5.根据权利要求1所述的成像装置，其中
所述空间信息测距相机是包括左右两个成像元件的立体相机，并且被构造成测量到所述被摄体的距离，所述测量基于从右图像和左图像中求出的各像素位置中的视差量和所述两个成像元件的基线长度，其中，所述右图像和所述左图像是从与包括在所述反射光中的所述空间信息有关的所述两个成像元件中获得的。
6.根据权利要求1所述的成像装置，其中
所述空间信息测距相机是结构光相机，所述结构光相机被构造成基于与包括在所述反射光中的所述空间信息有关的三角测量计算来测量到所述被摄体的所述距离。
7.根据权利要求1所述的成像装置，还包括：
第二光飞行时间测距相机，其被构造成基于包括在来自所述被摄体的所述空间图案光的反射光中的调制分量的光飞行时间来测量到所述被摄体的距离，其中
所述光飞行时间测距相机和所述第二光飞行时间测距相机作为所述空间信息测距相机来操作。
8.根据权利要求7所述的成像装置，其中
所述光飞行时间测距相机和所述第二光飞行时间测距相机中的每者生成作为所述测量结果的每个像素位置的深度值和所述深度值的可靠性，
所述光飞行时间测距相机和所述第二光飞行时间测距相机生成作为所述空间信息测距相机的所述测量结果的每个像素位置的深度值和所述深度值的可靠性，并且
所述深度合成单元针对每个像素在所述光飞行时间测距相机和所述第二光飞行时间测距相机的所述测量结果和作为所述空间信息测距相机的所述测量结果中选择具有最高可靠性的深度值，以确定每个像素位置的所述深度值。
9.根据权利要求1所述的成像装置，其中
所述光飞行时间测距相机和所述空间信息测距相机是集成相机，所述集成相机基于包括在所述反射光中的调制分量的所述光飞行时间来测量到所述被摄体的距离，并且基于与包括在所述反射光中的所述空间信息有关的三角测量计算来测量到所述被摄体的距离。
CN201780003289.4A 2016-09-01 2017-06-05 成像装置 Active CN108027238B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-171048 2016-09-01
JP2016171048 2016-09-01
PCT/JP2017/020862 WO2018042801A1 (ja) 2016-09-01 2017-06-05 撮像装置

Publications (2)

Publication Number Publication Date
CN108027238A true CN108027238A (zh) 2018-05-11
CN108027238B CN108027238B (zh) 2022-06-14

Family

ID=61300336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003289.4A Active CN108027238B (zh) 2016-09-01 2017-06-05 成像装置

Country Status (6)

Country Link
US (1) US10866321B2 (zh)
EP (1) EP3508814B1 (zh)
JP (1) JP7022057B2 (zh)
KR (1) KR102499586B1 (zh)
CN (1) CN108027238B (zh)
WO (1) WO2018042801A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法
CN110095781A (zh) * 2019-05-06 2019-08-06 歌尔股份有限公司 基于lbs投影系统的测距方法、设备及计算机可读存储介质
CN110608681A (zh) * 2018-06-15 2019-12-24 赫克斯冈技术中心 借助于激发荧光进行表面测量
CN111708039A (zh) * 2020-05-24 2020-09-25 深圳奥比中光科技有限公司 一种深度测量装置、方法及电子设备
CN112255639A (zh) * 2020-12-23 2021-01-22 杭州蓝芯科技有限公司 一种感兴趣区域深度感知传感器及深度感知传感模块
CN113196104A (zh) * 2019-01-29 2021-07-30 索尼半导体解决方案公司 测距装置、测距方法和程序
CN113227839A (zh) * 2018-11-01 2021-08-06 伟摩有限责任公司 具有结构光照明器的飞行时间传感器
CN113466884A (zh) * 2021-06-30 2021-10-01 深圳市汇顶科技股份有限公司 飞行时间深度测量发射装置及电子设备
CN113484852A (zh) * 2021-07-07 2021-10-08 烟台艾睿光电科技有限公司 一种测距方法及系统
CN115143929A (zh) * 2022-03-28 2022-10-04 南京大学 一种基于光纤束的内窥测距仪
CN115280767A (zh) * 2020-03-23 2022-11-01 株式会社理光 信息处理装置和信息处理方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7103354B2 (ja) * 2017-05-24 2022-07-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US10891745B1 (en) * 2017-08-14 2021-01-12 Apple Inc. Hybrid system with a structured-light stereo device and a time of flight device
US10613228B2 (en) 2017-09-08 2020-04-07 Microsoft Techology Licensing, Llc Time-of-flight augmented structured light range-sensor
TW201939452A (zh) * 2018-03-15 2019-10-01 艾沙技術有限公司 移動載具、安全警示裝置及安全警示方法
WO2019196049A1 (zh) * 2018-04-12 2019-10-17 深圳市汇顶科技股份有限公司 影像传感系统及电子装置
US10663567B2 (en) * 2018-05-04 2020-05-26 Microsoft Technology Licensing, Llc Field calibration of a structured light range-sensor
US11187804B2 (en) * 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
WO2019243038A1 (en) * 2018-06-22 2019-12-26 Ams Ag Using time-of-flight and pseudo-random bit sequences to measure distance to object
JP7121269B2 (ja) * 2018-07-06 2022-08-18 ミツミ電機株式会社 測距カメラ
US10791277B2 (en) * 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
JP7195093B2 (ja) * 2018-09-18 2022-12-23 直之 村上 テレビカメラの映す画像の距離を計測する方法
WO2020105092A1 (ja) * 2018-11-19 2020-05-28 日本電気株式会社 画像処理方法および画像処理装置
WO2020170621A1 (ja) * 2019-02-19 2020-08-27 ソニー株式会社 医療用観察システム、医療用システム及び距離測定方法
JP7346080B2 (ja) * 2019-05-22 2023-09-19 日立Astemo株式会社 ステレオカメラシステム、及び測距方法
JP7290485B6 (ja) * 2019-06-26 2023-06-30 株式会社 日立産業制御ソリューションズ 距離画像生成装置
CN110471080A (zh) * 2019-07-12 2019-11-19 深圳奥比中光科技有限公司 基于tof图像传感器的深度测量装置
WO2021010174A1 (ja) * 2019-07-16 2021-01-21 ソニー株式会社 受光装置、および、受光装置の駆動方法
US11906628B2 (en) 2019-08-15 2024-02-20 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
JP2021056141A (ja) * 2019-09-30 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
WO2021085128A1 (ja) * 2019-10-28 2021-05-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、測定方法、および、測距システム
CN110909617B (zh) * 2019-10-28 2022-03-25 广州多益网络股份有限公司 基于双目视觉的活体人脸检测方法及装置
US11763433B2 (en) * 2019-11-14 2023-09-19 Samsung Electronics Co., Ltd. Depth image generation method and device
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
CN114746715A (zh) * 2020-01-10 2022-07-12 松下知识产权经营株式会社 三维模型生成方法、信息处理装置及程序
CN115087843A (zh) 2020-02-17 2022-09-20 发那科株式会社 生成三维点位置信息的三维测定装置
WO2021176873A1 (ja) * 2020-03-03 2021-09-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
US11558569B2 (en) 2020-06-11 2023-01-17 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
DE102020117060B4 (de) * 2020-06-29 2022-05-05 Audi Aktiengesellschaft Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
US11276154B2 (en) * 2020-07-17 2022-03-15 Samsung Electronics Co., Ltd. Multi-frame depth-based multi-camera relighting of images
US11659290B2 (en) * 2020-07-21 2023-05-23 Canon Kabushiki Kaisha Light detection system
WO2022103770A1 (en) * 2020-11-11 2022-05-19 New View Surgical, Inc. Multi-camera imaging system
JP2022165344A (ja) * 2021-04-19 2022-10-31 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距システム
CN113382165B (zh) * 2021-05-31 2023-03-24 上海集成电路制造创新中心有限公司 相机对焦方法及相机对焦系统
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
WO2023058839A1 (en) * 2021-10-04 2023-04-13 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN115442591B (zh) * 2022-11-04 2023-03-24 合肥的卢深视科技有限公司 相机质量测试方法、系统、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095050A (ja) * 1995-06-20 1997-01-10 Olympus Optical Co Ltd 三次元画像計測装置
JP2008145263A (ja) * 2006-12-11 2008-06-26 Fujifilm Corp 撮影装置および方法並びにプログラム
US20120127281A1 (en) * 2010-07-20 2012-05-24 Matthew Ward Extensible authoring and playback platform for complex virtual reality interactions and immersible applications
JP2013104784A (ja) * 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
CN104254785A (zh) * 2012-03-01 2014-12-31 Iee国际电子工程股份公司 用于混合式三维成像器的主动照明的紧凑式激光源
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
WO2016111878A1 (en) * 2015-01-08 2016-07-14 Microsoft Technology Licensing, Llc Multimode depth imaging
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
JP4402400B2 (ja) 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
KR20110087112A (ko) * 2010-01-25 2011-08-02 현대모비스 주식회사 Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법
WO2012137434A1 (ja) 2011-04-07 2012-10-11 パナソニック株式会社 立体撮像装置
KR102070135B1 (ko) * 2013-09-09 2020-01-28 삼성전자 주식회사 깊이 센서를 이용한 거리 계산 방법과 이를 수행할 수 있는 장치들
JP6476831B2 (ja) * 2013-12-26 2019-03-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
KR102144543B1 (ko) * 2014-05-08 2020-08-18 주식회사 히타치엘지 데이터 스토리지 코리아 Tof 카메라에서 신호 검출 방법
JPWO2017159312A1 (ja) * 2016-03-15 2019-01-24 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095050A (ja) * 1995-06-20 1997-01-10 Olympus Optical Co Ltd 三次元画像計測装置
JP2008145263A (ja) * 2006-12-11 2008-06-26 Fujifilm Corp 撮影装置および方法並びにプログラム
US20120127281A1 (en) * 2010-07-20 2012-05-24 Matthew Ward Extensible authoring and playback platform for complex virtual reality interactions and immersible applications
JP2013104784A (ja) * 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
CN104254785A (zh) * 2012-03-01 2014-12-31 Iee国际电子工程股份公司 用于混合式三维成像器的主动照明的紧凑式激光源
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
WO2016111878A1 (en) * 2015-01-08 2016-07-14 Microsoft Technology Licensing, Llc Multimode depth imaging
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110608681A (zh) * 2018-06-15 2019-12-24 赫克斯冈技术中心 借助于激发荧光进行表面测量
CN113227839A (zh) * 2018-11-01 2021-08-06 伟摩有限责任公司 具有结构光照明器的飞行时间传感器
CN113196104A (zh) * 2019-01-29 2021-07-30 索尼半导体解决方案公司 测距装置、测距方法和程序
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法
CN110095781A (zh) * 2019-05-06 2019-08-06 歌尔股份有限公司 基于lbs投影系统的测距方法、设备及计算机可读存储介质
CN115280767A (zh) * 2020-03-23 2022-11-01 株式会社理光 信息处理装置和信息处理方法
CN111708039A (zh) * 2020-05-24 2020-09-25 深圳奥比中光科技有限公司 一种深度测量装置、方法及电子设备
WO2021238212A1 (zh) * 2020-05-24 2021-12-02 奥比中光科技集团股份有限公司 一种深度测量装置、方法及电子设备
CN111708039B (zh) * 2020-05-24 2023-09-05 奥比中光科技集团股份有限公司 一种深度测量装置、方法及电子设备
CN112255639B (zh) * 2020-12-23 2021-09-03 杭州蓝芯科技有限公司 一种感兴趣区域深度感知传感器及深度感知传感模块
CN112255639A (zh) * 2020-12-23 2021-01-22 杭州蓝芯科技有限公司 一种感兴趣区域深度感知传感器及深度感知传感模块
CN113466884A (zh) * 2021-06-30 2021-10-01 深圳市汇顶科技股份有限公司 飞行时间深度测量发射装置及电子设备
CN113484852A (zh) * 2021-07-07 2021-10-08 烟台艾睿光电科技有限公司 一种测距方法及系统
CN113484852B (zh) * 2021-07-07 2023-11-07 烟台艾睿光电科技有限公司 一种测距方法及系统
CN115143929A (zh) * 2022-03-28 2022-10-04 南京大学 一种基于光纤束的内窥测距仪

Also Published As

Publication number Publication date
EP3508814A1 (en) 2019-07-10
JP7022057B2 (ja) 2022-02-17
KR102499586B1 (ko) 2023-02-14
CN108027238B (zh) 2022-06-14
US10866321B2 (en) 2020-12-15
US20180275278A1 (en) 2018-09-27
EP3508814A4 (en) 2020-03-11
KR20190042485A (ko) 2019-04-24
EP3508814B1 (en) 2023-08-23
WO2018042801A1 (ja) 2018-03-08
JPWO2018042801A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
CN108027238A (zh) 成像装置
WO2018135315A1 (ja) 撮像装置、画像処理方法および画像処理システム
US20210217134A1 (en) Image processing device, image processing method, and image processing program
WO2018150768A1 (ja) 測光装置、測光方法、プログラムおよび撮像装置
JP7196833B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
CN110573922B (zh) 摄像装置和电子设备
JP2019083501A (ja) 撮像装置
JP7111098B2 (ja) ぶれ補正装置及び撮像装置
JP7131554B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20220058411A1 (en) Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method, and program
WO2021060120A1 (ja) 撮像装置
WO2018131509A1 (ja) 撮像素子、製造方法、および電子機器
CN110447221B (zh) 图像处理装置、图像处理方法和电子设备
JPWO2019082539A1 (ja) 制御装置と制御方法およびプログラム
WO2021029252A1 (ja) 撮像装置および撮像方法
WO2023074404A1 (ja) 発光装置及び電子機器
WO2022239393A1 (ja) 撮像装置
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
WO2020045202A1 (ja) 撮像装置、補正方法及びコンピュータプログラム
WO2021125000A1 (ja) 撮像装置、光学素子、画像処理システム及び画像処理方法
WO2023002660A1 (ja) 撮影装置、撮影方法、プログラム
WO2019082775A1 (ja) 画像処理装置、画像処理方法および撮像装置
WO2019082686A1 (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant