CN114073075A - 将三维深度图数据映射到二维图像上 - Google Patents

将三维深度图数据映射到二维图像上 Download PDF

Info

Publication number
CN114073075A
CN114073075A CN202080050381.8A CN202080050381A CN114073075A CN 114073075 A CN114073075 A CN 114073075A CN 202080050381 A CN202080050381 A CN 202080050381A CN 114073075 A CN114073075 A CN 114073075A
Authority
CN
China
Prior art keywords
light
dimensional
image
coordinates
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080050381.8A
Other languages
English (en)
Inventor
木村昭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magik Eye Inc
Original Assignee
Magik Eye Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magik Eye Inc filed Critical Magik Eye Inc
Publication of CN114073075A publication Critical patent/CN114073075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Abstract

3D距离传感器将多个光点投影到目标上。具有相对于3D距离传感器的固定位置的2D照相机获取目标上的点的第一图像。3D距离传感器的光接收系统获取目标上的点的第二图像。将第一点的2D坐标的集合与第一点的距离坐标相关联，以形成第一点的坐标的单个集合。从第一图像获得2D坐标的集合，并且从第二图像获得距离坐标。从坐标的单个集合导出关系表达式并且该关系表达式描述光接收系统到目标的距离与2D照相机的图像传感器上的第一点的位置之间的关系。

Description

将三维深度图数据映射到二维图像上
相关申请的交叉引用
本申请要求在2019年5月12日提交的美国临时专利申请系列号62/846,696的优先权，其全部内容通过引用并入本文。
背景技术
系列号14/920,246，15/149,323和15/149,429的美国专利申请描述了距离传感器的各种配置。这样的距离传感器在各种应用中可以是有用的，各种应用包括安全、游戏、无人交通工具的控制、机器人或自主器具的操作以及其他应用。
在这些申请中描述的距离传感器包括投影系统（例如，包括激光器、衍射光学元件和/或其他协作部件），其将人眼基本上不可见的波长的光束（例如，红外线）投影到视场中。光束展开以创建可由适当的光接收系统（例如，透镜、图像捕捉设备和/或其他部件）检测的图案（点、短划线（dash）或其他赝像的图案）。当图案入射到视场中的对象上时，可以基于可以由传感器的光接收系统捕捉的视场的一个或多个图像中的图案的外观（例如，点、短划线或其他赝像的位置关系）来计算从传感器到对象的距离。还可以确定对象的形状和尺寸。
例如，图案的外观可以随着到对象的距离而改变。作为示例，如果图案包括点的图案，则当对象更靠近传感器时，点可以显得更靠近彼此，并且当对象更远离传感器时，点可以显得更远离彼此。
发明内容
在一个示例中，一种由处理系统执行的方法包括控制三维距离传感器将光的图案投影到目标表面上，其中，光的图案包括多个光点，控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机具有相对于三维距离传感器的固定位置，控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像，将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合从第一图像获得，并且其中，三维坐标的集合从第二图像获得，以及从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。
在另一示例中，非暂时性机器可读存储介质编码有可由处理器执行的指令。当执行时，指令使得处理器执行操作，所述操作包括控制三维距离传感器以将光的图案投影到目标表面上，其中，光的图案包括多个光点，控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机具有相对于三维距离传感器的固定位置，控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像，将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合从第一图像获得，并且其中，三维坐标的集合从第二图像获得，以及从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。
在另一示例中，一种装置包括处理器和编码有可由处理器执行的指令的非暂时性机器可读存储介质。当执行时，指令使得处理器执行操作，所述操作包括控制三维距离传感器以将光的图案投影到目标表面上，其中，光的图案包括多个光点，控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机具有相对于三维距离传感器的固定位置，控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像，将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合从第一图像获得，并且其中，三维坐标的集合从第二图像获得，以及从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。
附图说明
图1示出了示例距离传感器的侧视图；
图2示出了包括图1的三维距离传感器和二维照相机的示例系统的侧视图；
图3是示出了根据本公开的用于校准三维距离传感器的方法的一个示例的流程图，该三维距离传感器诸如是图1或图2中示出的距离传感器；
图4是示出了根据本公开的用于校准包括三维距离传感器和二维照相机的诸如图2中所示的系统之类的系统使得三维深度图信息可以被映射到二维图像上的方法的一个示例的流程图；
图5A示出了可以由3D距离传感器的光接收系统捕捉的示例图像；
图5B示出了可以由2D照相机捕捉的示例图像；
图6是示出了用于将由三维距离传感器获取的三维深度图信息映射到由二维照相机获取的二维图像上的方法的一个示例的流程图；
图7描绘了用于将三维深度图数据映射到二维图像上的示例电子设备的高级框图；以及
图8是示出了可以如何导出图3的方法中导出的关系表达式的一个示例的示意图。
具体实施方式
本公开广泛地描述了用于将三维（3D）深度图数据映射到二维（2D）图像上的方法、计算机可读介质和装置。如上所述，诸如在系列号14/920,246、15/149,323和15/149,429的美国专利申请中描述的距离传感器之类的距离传感器通过投影光束来确定到对象的距离（以及，潜在地，对象的形状和尺寸），该光束展开以在包括对象的视场中创建图案（例如，点、短划线或其他赝像的图案）。光束可以从一个或多个激光光源投影，该激光光源发射对于人眼基本上不可见但是对于（例如光接收系统的）适当的检测器是可见的波长的光。然后，可以基于图案到检测器的外观来计算到对象的3D距离。
所计算的3D距离可以用于各种应用，包括安全（例如，面部识别以获得对安全位置和/或资源的访问）、导航（例如，用于无人交通工具）和其他应用。诸如可能从3D距离计算获得的3D深度图信息也可以与2D图像数据组合，以便使能更直观的深度显示。例如，当仅3D深度图信息可用时，对象或曲面的轮廓可能就难以辨别；然而，当映射到相同对象或曲面的2D图像信息时，可以更准确地标识和再现轮廓。
用于将3D深度图信息与2D图像组合的常规技术通常依赖于立体照相机的使用。例如，立体照相机可以用于检测诸如棋盘之类的对象上的特征点。在特征点检测之前，例如通过校准可以知道两个照相机的成像射线之间的相对位置关系。在该情况下，然后通过求解将对象的2D图像位置与成像光位置相关的方程来计算对象的3D位置。
尽管该技术在特征点容易被检测到时可以很好地工作，但是当特征点不能被容易地检测到时，该技术就不太可靠。此外，深度计算往往非常复杂，因为计算涉及多个步骤，其中的许多步骤可能依赖于可能易于出错的渐近（asymptotic）和/或近似计算。如果2D照相机规范是多值的（例如，通过变焦和/或聚焦），或者变化率是快的，则深度计算可能甚至更加复杂。
本公开的示例提供了一种将3D深度图数据映射到2D图像上的方式，其不受被成像的对象上的特征点的存在的影响。代之以，本公开的示例使用3D距离传感器用于测距的投影光束利用深度图信息与2D图像之间的直接关系。因此，在一个示例中，例如通过3D距离传感器，使用光束投影来获得3D深度图。
在进一步的示例中，包括3D距离传感器和2D照相机的系统可被校准以使用荧光目标（例如，由在被红外光激励时发射荧光的材料制成的目标）来确定深度图信息和2D图像之间的关系。
应当注意，诸如“第一”、“第二”、“第三”以及诸如此类术语的使用不一定暗示本公开的示例需要某数量的元素或条目。例如，对“第三图像”的引用不一定暗示存在“第一图像”和“第二图像”。而是，这样的术语可以在这里被用来在相同类型的元素或条目之间区分（例如，在两个或更多不同的图像之间区分）。
图1示出了诸如上述传感器中的任何传感器之类的示例距离传感器100的侧视图。如图1中所示，距离传感器100通常可以包括光投影系统102和光接收系统104。
光投影系统102通常可以包括激光发射器106和衍射光学元件（DOE）108。激光发射器106可以包括激光发光二极管（LED），其发射人眼基本上不可见的波长的光束（例如，红外光）。在一个示例中，激光发射器106包括竖直腔表面发射激光器（VCSEL）。
DOE 108可以包括诸如光栅、全息膜、锥形镜或诸如此类的光学部件，其被定位成将由激光发射器106发射的光束分成多个光束110。尽管图1示出了单个激光发射器106和DOE 108对，但是应当注意，光投影系统可以包括任何数量的激光发射器/DOE对。例如，多个激光发射器/DOE对可以围绕光接收系统104布置，例如，使得光接收系统104位于多个激光发射器/DOE对的中心。在该情况下，多个激光发射器/DOE对中的每个激光发射器/DOE对可以按类似于图1中所示的激光发射器106和DOE 108的方式来配置。
在一个示例中，多个光束110从中心轴C在多个不同方向上扇形散开（fan out）。多个光束110中的每对光束之间的角度可以相等。当多个光束110入射到表面112上时，每个光束可以在表面112上创建诸如点、短划线或诸如此类的赝像。总体来说，由多个光束110创建的赝像形成了上述图案，从该图案可以计算到对象的距离。例如，图案可以包括网格，其中，多个赝像被布置在多个行和列中。
图案的至少一部分（例如，创建图案的赝像中的至少一些）可以由光接收系统104检测，光接收系统104可以包括被配置为检测由光投影系统102发射的光的波长中的光的照相机。例如，光接收系统104通常可以包括图像传感器114（例如，3D图像传感器）、带通过滤器116和透镜118。多个光束110的部分可以从表面112反射离开并通过光接收系统的透镜118到达带通过滤器116。带通过滤器可以被配置为允许预定波长的光（例如，红外光）通过以到达图像传感器114，而滤除所有其他波长。图像传感器114可以是包括多个像素传感器单元的有源像素（active-pixel）传感器（APS），其中，每个像素传感器单元包括光电检测器及至少一个有源晶体管。像素传感器单元可吸收通过带通过滤器116的光的光子。这样，图像传感器114可以生成表面112的3D图像。
如上所述，由多个光束110在表面112上创建的图案的外观可以随着到表面112的距离而改变。作为示例，如果图案包括点的图案，则当表面112更靠近距离传感器100时，点可以显得彼此更靠近，并且当表面112更远离距离传感器100时，点可以显得彼此更远离。因此，点的轨迹（即，移动范围）可以表现为彼此更靠近在一起或更远离。
点的轨迹由在平面（例如，横向）方向和高度方向（例如，垂直于横向方向的方向）上的距离传感器的光投影系统102和光接收系统104之间的位置关系来确定。点的轨迹可以表现为径向图案或线（如图1的插图120所示）并且描述当距离传感器100与投影图案所投影到的对象（例如，表面112）之间的距离变化时的点的移动。更具体讲，点的轨迹描述随着距离的变化相对于距离传感器的图像传感器114的点的移动。
例如，插图120示出了可以由多个光束110在表面112上创建的多个赝像的示例轨迹。以轨迹122为例，轨迹122示出了对应的点（或其他赝像）P可以随着距离传感器100和表面112之间的距离改变而在其中移动的物理范围。如轨迹122所示，当距离传感器100和表面112之间的距离等于距离A时，光接收系统104可以观看到第一位置p（a）处的点p，并且当距离传感器100和表面112之间的距离等于距离B时，可以观看到第二位置p（b）处的点p。
图2示出了包括图1的三维距离传感器100和二维照相机200的示例系统的侧视图。距离传感器100可以是图1中所示的相同距离传感器100；因此，相同的附图标记用于表示图2中的相同部件。
2D照相机200通常可以包括图像传感器202（例如，2D图像传感器）、截止过滤器204和透镜206。反射离开表面（例如，表面112）的光可以通过透镜206去往截止过滤器204。在一个示例中，截止过滤器是红外截止过滤器（即，反射红外波长而允许其他波长的光通过的过滤器）。图像传感器202可以是包括多个像素传感器单元的有源像素传感器（APS），其中，每个像素传感器单元包括光电检测器和至少一个有源晶体管。通过截止过滤器204的光的光子可以被图像传感器202的像素传感器单元吸收，这可以生成表面112的对应2D图像。
如上文所讨论的，由3D距离传感器100的光投影系统102发射的光可以是红外光，且距离传感器100的光接收系统104可阻挡红外范围外的波长，以便最小化外部光噪声对距离测量的影响。然而，如果2D照相机200包括红外截止过滤器，则2D照相机200可能不能检测由3D距离传感器100创建的投影图案的点（例如，包括点p（a）/p（b））。
因此，出于校准目的（例如，为了校准图2的系统，使得可以确定3D深度图信息与2D图像之间的关系），在一个示例中，表面112可以包括荧光材料。特别地，表面112可以由红外荧光材料形成，红外荧光材料即是当被红外光激励时发射荧光的材料。在该情况下，当通过红外光束在表面112上创建点p时，表面112上点p出现的位置将发射荧光，该荧光可以由2D照相机200的图像传感器202检测到。
因此，3D距离传感器100可以基于反射的红外光来计算在三维（x，y，z）坐标空间中的点p的位置。2D照相机200可以基于表面112对荧光的发射来同时计算二维（u，v）图像传感器坐标系中的点p的位置。然后，3D（x，y，z）坐标可以被直接映射到2D（u，v）坐标，给出了3D距离传感器100的光接收系统104和2D照相机200之间的位置关系。换句话说，点p的2D位置（在2D图像中）可以被映射到相同点的3D对象距离。该映射随后可以虑及其他点的2D位置映射到其他点的3D对象距离。
在一个示例中，荧光表面112具有小于3D距离传感器100的视场和2D照相机200的视场的大小的大小。荧光表面112也可以被成形以改进校准过程的效率。例如，诸如矩形之类的形状可以容易识别，而平面表面可以简化要计算的距离关系。
图3是示出了根据本公开的用于校准诸如图1或图2中示出的距离传感器100之类的三维距离传感器的方法300的一个示例的流程图。方法300可以例如由与3D距离传感器和2D照相机通信（并且从其接收图像数据）的处理器来执行，处理器诸如是图7中所示的处理器702。作为替代，方法300可以由作为3D距离传感器或2D照相机的部分的处理器来执行。出于示例的原因，方法300被描述为由处理系统执行。
方法300可以在步骤302中开始。在步骤304中，处理系统可以控制3D距离传感器将光的图案投影到目标表面上。如上所述，光的图案可以包括光的点的图案（或其他投影赝像，诸如点、短划线、x或诸如此类），其中，每个光的点都可以由3D距离传感器的光投影系统发射的相应光束来创建。特别地，当相应的光束入射到目标表面上时，可以创建每个光点。光束可以包括红外光束（或者人眼基本上不可见但3D距离传感器的光接收系统可见的另一波长的光）。
在步骤304中使用的目标表面可以包括三维目标，例如，使得目标表面的不同部分可以位于距3D距离传感器的光接收系统的不同距离处。
在步骤306中，处理系统可以控制3D距离传感器获取目标表面上的光的图案的图像。如上所述，在一个示例中，3D距离传感器可以包括光接收系统，该光接收系统包括红外带通过滤器和3D图像传感器。光接收系统可以捕捉投影到目标表面上的光的图案的图像并且可以将该图像传输到处理系统（例如，经由有线或无线连接）。
在步骤308中，处理系统可以基于图像计算3D距离传感器的光接收系统和（光的图案的）第一光点之间的距离。在一个示例中，可以使用系列号14/920,246、15/149,323和15/149,429的美国专利申请中讨论的任何技术来计算距离。在另外的示例中，可以以该方式针对两个或更多个光点（例如，针对第一光点和至少第二光点）计算距离。
在步骤310中，处理系统可以与3D距离传感器的3D图像传感器上的第一光点的位置相关联地存储在步骤308中计算的距离。在已经针对多个光点计算了步骤308中计算的距离的情况下，可以针对多个光点中的所有光点存储距离和对应的图像传感器位置。
在步骤312中，处理系统可以导出描述3D距离传感器的光接收系统到目标表面的距离（其中该距离可以连续地改变）与3D图像传感器上的第一光点的位置之间的关系的关系表达式。在一个示例中，如上所述，在步骤308中可以计算光接收系统和多个光点之间的距离。在该情况下，在步骤312中可以导出多个关系表达式。例如，在3D距离传感器的光投影系统发射n束光（n＞1）的情况下，针对每个光束（例如，针对由光束之一创建的每个光点）的关系表达式可以被导出并且被存储在处理系统可访问的存储器中，使得导出n个不同的关系表达式。
方法300可以在步骤314中结束。
图8是示出了可以如何导出在方法300的步骤312中导出的关系表达式的一个示例的示意图。类似的附图标记用于与图1和2中所示的元素类似的元素。
如图8中所示，目标表面112可以被移动以改变到3D距离传感器100的距离，如上所述。目标表面112的每个位置在图8中被示为平面1121-1123。尽管为了便于解释和说明示出了三个平面，但是应当理解也可以使用任何数量的平面（例如，n个平面）。相同的点可以在每个平面上成像；z1示出了在平面1121上的点的z（与3D距离传感器100的线性距离）位置，z2示出了在平面1122上的点的位置，并且z3示出了在平面1123上的点的位置。
相同的点也可以成像在图像传感器114上；（px1，py1，z1）示出了第一平面1121中的点在图像传感器114上的x，y（照相机图像）位置，（px2，py2，z2）示出了第二平面1122中的点在图像传感器114上的x，y（平面）位置，并且（px3，py3，z3）示出了第三平面1123中的点在图像传感器114上的x，y（平面）位置。
因此，如图表800所示，可以将距3D图像传感器100的各种距离处的点的z位置与2D照相机200的图像传感器上的各种距离处的相应px、py位置进行匹配。
在一个示例中，可针对每个平面中的点的px，py位置来绘制z位置，如由绘图802所示的。曲线804可以拟合到绘图802中的数据点，其中，
Figure DEST_PATH_IMAGE002
表示沿曲线804的长度。这样，在一个示例中，给定点的px，py位置可以通过近似函数f从给定点的z位置获得，在一个示例中表示为：
Figure DEST_PATH_IMAGE004
（等式1）
图4是示出了根据本公开的用于校准包括三维距离传感器和二维照相机的诸如图2中所示的系统之类的系统使得三维深度图信息可被映射到二维图像上的方法400的一个示例的流程图。方法400可以在独立于系统校准3D距离传感器之后执行，例如，如上文结合图3所描述的。
方法400可以例如由与3D距离传感器和2D照相机通信（并且从其接收图像数据）的处理器来执行，处理器诸如是图7中所示的处理器702。作为替代，方法400可以由作为3D距离传感器或2D照相机的部分的处理器来执行。出于示例的原因，方法400被描述为由处理系统执行。
方法400可以在步骤402中开始。在步骤404中，处理系统可以控制3D距离传感器将光的图案投影到目标表面上。即，光的图案可以是用于校准3D距离传感器（例如，根据上述方法300）的相同的光的图案；然而，现在光的图案被投影到其上的目标表面可以是与三维目标表面用于校准3D距离传感器的目标表面不同的目标表面。在步骤404的情况下，目标表面可以包括二维目标，例如，使得目标表面的所有部分位于距3D距离传感器的光接收系统相同的距离处。在一个示例中，目标表面可以包括平面目标。目标表面的形状也可以是矩形的以促进校准。在光的图案由红外光束创建的情况下，目标表面可以包括红外荧光材料，即当被红外光激励时发射荧光的材料。
在步骤406中，处理系统可以控制2D照相机和3D距离传感器的光接收系统同时分别获取目标表面上的光的图案的第一图像和第二图像，其中，2D照相机具有相对于3D距离传感器的固定位置。也就是说，3D距离传感器和2D照相机之间的位置关系是固定的。如上所述，在一个示例中，2D照相机可以包括红外截止过滤器和2D图像传感器。
图5A例如示出了可以由3D距离传感器的光接收系统捕捉的示例图像500（例如，根据步骤406的“第二图像”），而图5B示出了可以由2D照相机捕捉的示例图像502（例如，根据步骤406的“第一图像”）。
如图所示，图像500可以描绘光的图案的多个光点的位置。多个光点的子集可以入射到目标表面上（在506处以短划线示出）。然而，由于3D距离传感器的图像传感器能够检测由光投影系统发射的红外光，所以图像500甚至可以描绘没有入射在目标表面506上的那些光点。
相对地，图像502可以仅描绘入射到目标表面506上的多个点的子集508。这是由于2D照相机的图像传感器可能仅能够检测当红外光入射在目标表面506上时由目标表面506发射的荧光，但可能不能够检测红外光本身。因此，2D照相机可以对光的图案的比3D距离传感器图像小的部分成像。
2D照相机和3D距离传感器可以分别捕捉投影到目标表面上的光的图案的第一图像和第二图像，并且可以将第一图像和第二图像传输到处理系统（例如，经由有线或无线连接）。
在步骤408中，处理系统可以将从第一图像获得的第一光点的2D坐标与从第二图像获得的第一光点和3D距离传感器之间的距离相关联。即，2D照相机的2D图像传感器上的第一光点的（u，v）坐标与3D距离传感器的3D图像传感器上的第一光点的（z）坐标相关联，以生成第一光点的坐标（u，v，z）的单个集合。在一个示例中，基于光点在光的图案中的相对位置，在第二图像和第三图像两者中标识第一光点（例如，标识为相同的光点）。例如，再次参考图5A和5B，基于相对于其他光点的光点504的位置，光点504可以被标识为图像500和502中的相同光点。
在步骤410中，处理系统可以确定是否应该移动目标表面。在一个示例中，为了校准3D距离传感器和2D照相机之间的位置关系，步骤404-408被重复多次，其中，目标表面每次被移动，使得目标表面和3D距离传感器之间（以及目标表面和2D照相机之间）的距离改变。
如果处理系统在步骤410中得出结论：目标表面应该被移动以虑及附加测量，则方法400可以返回到步骤404，并且处理系统可以以现在目标表面被移动以改变距离而如上所述地那样进行。
然而，如果处理系统在步骤410中得出结论：不应移动目标表面来虑及附加测量，那么方法400可以进行到步骤412。在步骤412中，处理系统可以导出描述3D距离传感器的光接收系统到目标表面的距离（其中该距离可以连续地改变）与2D图像传感器上的第一光点的位置之间的关系表达式。在一个示例中，如结合步骤408所描述的，可针对包括第一光点和至少一个附加光点的多个光点的子集形成坐标的单个集合。
例如，在步骤404-408已经重复了k次（k＞1）的情况下，关系表达式可以从多个数据点（u1、v1、z1）、（u2、v2、z2）、……（uK、vK、zK）导出。关系表达式可以存储在处理系统可访问的存储器中。关系表达式可以结合等式1如上所述地导出。
方法400可以在步骤414中结束。
图6是示出了用于将由三维距离传感器获取的三维深度图信息映射到由二维照相机获取的二维图像上的方法600的一个示例的流程图。方法600可以例如由与3D距离传感器和2D照相机通信（并且从其接收图像数据）的处理器来执行，处理器诸如是图7中所示的处理器702。作为替代，方法600可以由作为3D距离传感器或2D照相机的部分的处理器来执行。出于示例的原因，方法600被描述为由处理系统执行。
方法600可以在步骤602中开始。在步骤604中，处理系统可以控制3D距离传感器将光的图案投影到对象（例如，除了在校准方法300和400中使用的目标表面之外的对象）上。即，光的图案可以是用于校准3D距离传感器和2D照相机的相同光的图案（例如，根据上述方法300和400）；然而，现在光的图案被投影到其上的对象可以是目标表面用于校准的不同的对象。例如，对象可以是正在被成像的对象。
在步骤606中，处理系统可以控制2D照相机和3D距离传感器的光接收系统以同时分别获取对象上的光的图案的第三图像和第四图像，其中，2D照相机具有相对于3D距离传感器的固定位置。也就是说，3D距离传感器和2D照相机之间的位置关系是固定的。
在步骤608中，处理系统可以基于由3D距离传感器测量的3D距离（z）坐标和根据方法400导出的第二关系表达式（即，描述3D距离传感器的光接收系统到第二目标表面的距离与2D图像传感器上的第一光点的位置之间的关系的关系表达式）来标识光的图案的第二光点的2D（u，v）坐标。
方法600可以在步骤610中结束。
在一些示例中，2D照相机可以具有变焦和/或聚焦能力。在该情况下，可以在2D照相机的透镜被设置为固定值的情况下执行方法400。然后，由2D照相机记录的任何坐标在存储器中不仅与来自3D距离传感器的相应3D坐标相关联，而且与透镜设置的固定值相关联。可以以用于透镜设置的多个不同固定值重复方法400，其中，在方法400的每个迭代中使用的特定值与存储器中的对应坐标相关联。在该情况下，所导出的任何第二关系表达式也可以在存储器中与透镜设置的对应值相关联。
应当注意，尽管未明确指定，但是上述方法300、400或600的框、功能或操作中的一些可以包括针对特定应用的存储、显示和/或输出。换句话说，取决于特定应用，在方法300、400或600中讨论的任何数据、记录、字段和/或中间结果可以被存储、显示和/或输出到另一设备。此外，图3、4或6中记载确定操作或涉及决定的框、功能或操作并不暗示实践确定操作的两个分支。换句话说，根据确定操作的结果，可以不执行确定操作的分支之一。
在一个示例中，如上所述，一旦基于光点的Z位置确定了光点的Px，Py位置，就可以容易地确定相同投影中的其他光点的Px，Py位置。这是因为投影图案中的光点之间的间隔是先验已知的。例如，在将投影图案投影到对象上之前，给定的光点和相邻的光点之间的x和y距离是已知的。
在进一步的示例中，可以使用其距3D距离传感器的距离是变化的相对小的目标表面来确定第一光点的px、py、z位置。例如，小的目标表面可以足够小以确保投影图案的仅一个光点（例如，第一光点）入射在目标表面上。然后，一旦确定了第一光点 px、py、z位置，就可以如上所述那样从投影图案的已知间隔来确定投影图案中的其他光点的位置。
图7描绘了用于将3D深度图数据映射到2D图像上的示例电子设备700的高级框图。这样，电子设备700可以被实现为电子设备或系统的处理器，诸如距离传感器。
如图7中所描绘的，电子设备700包括硬件处理器元件702，例如中央处理单元（CPU）、微处理器或多核处理器，存储器704，例如随机存取存储器（RAM）和/或只读存储器（ROM），用于将3D深度图数据映射到2D图像上的模块705，以及各种输入/输出设备706，例如存储设备，包括但不限于带驱动器、软盘驱动器、硬盘驱动器或光盘驱动器、接收器、发射器、显示器、输出端口、输入端口，以及用户输入设备，诸如键盘、小键盘、鼠标、麦克风、照相机、激光光源、LED光源以及诸如此类。
尽管示出了一个处理器元件，但是应当注意，电子设备700可以采用多个处理器元件。此外，尽管在图中示出了一个电子设备700，但是如果对于特定的说明性示例以分布式或并行的方式实现如上所述的（一个或多个）方法，即，跨多个或并行的电子设备来实现上述（一个或多个）方法的框或整个（一个或多个）方法，则该图的电子设备700旨在表示那些多个电子设备中的每个。
应当注意，本公开可以由机器可读指令和/或机器可读指令和硬件的组合来实现，例如使用专用集成电路（ASIC）、可编程逻辑阵列（PLA），包括现场可编程门阵列（FPGA）、或部署在硬件设备、通用计算机或任何其他硬件等同物上的状态机，例如，与上述（一个或多个）方法有关的计算机可读指令可以用于配置硬件处理器以执行上述（一个或多个）方法的框、功能和/或操作。
在一个示例中，用于将3D深度图数据映射到2D图像上的本模块或过程705的指令和数据，例如机器可读指令，可以被加载到存储器704中并且由硬件处理器元件702执行，以实现如上结合方法300、400和600所讨论的框、功能或操作。此外，当硬件处理器执行指令以执行“操作”时，这可以包括硬件处理器直接执行操作和/或促进、引导例如协处理器以及诸如此类的另一硬件设备或部件，或与例如协处理器以及诸如此类的另一硬件设备或部件协作以执行操作。
执行与上述（一个或多个）方法相关的机器可读指令的处理器可以被认为是编程的处理器或专用处理器。因此，本公开的用于将3D深度图数据映射到2D图像上的本模块905可以存储在有形或物理（广义上非暂时性）计算机可读存储设备或介质上，有形或物理（广义上非暂时性）计算机可读存储设备或介质例如是易失性存储器、非易失性存储器、ROM存储器、RAM存储器、磁或光驱动器、设备或磁盘以及诸如此类。更具体地说，计算机可读存储设备可以包括提供存储信息的能力的任何物理设备，所述信息诸如是将由处理器或电子设备访问的数据和/或指令，处理器或电子设备诸如是安全传感器系统的计算机或控制器。
应当理解，上述公开的变型和其他特征和功能或其替代方案可以组合到许多其他不同的系统或应用中。随后可以做出也旨在由以下权利要求书涵盖的其中各种目前未预见或未预料到的替代、修改或变化。

Claims (20)

1.一种方法，包括：
由处理系统控制三维距离传感器以将光的图案投影到目标表面上，其中，光的图案包括多个光点；
由处理系统控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机具有相对于三维距离传感器的固定位置；
由处理系统控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像；
由处理系统将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合是从第一图像获得的，并且其中，三维坐标的集合是从第二图像获得的；以及
由处理系统从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。
2.根据权利要求1所述的方法，其中，在控制距离传感器以使用三维目标投影光的图案之前，校准三维距离传感器。
3.根据权利要求1所述的方法，其中，光的图案包括红外光，并且光接收系统包括红外带通过滤器。
4.根据权利要求3所述的方法，其中，二维照相机包括红外截止过滤器。
5.根据权利要求4所述的方法，其中，目标表面包括当材料被红外光激励时发射荧光的材料。
6.根据权利要求5所述的方法，其中，目标表面具有平面形状。
7.根据权利要求1所述的方法，其中，第一图像和第二图像分别由二维照相机和三维距离传感器同时获取。
8.根据权利要求1所述的方法，其中，第一光点的二维坐标的集合描述了二维照相机的图像传感器上的第一光点的位置。
9.根据权利要求1所述的方法，其中，关系表达式是从针对多个光点的子集形成的坐标的单个集合导出的，其中，子集包括第一光点和至少一个附加光点。
10.根据权利要求1所述的方法，其中，关联包括由处理系统基于相对于多个光点中的其他光点的第一光点的位置来标识第一图像中和第二图像中的第一光点。
11.根据权利要求1所述的方法，还包括在关联之后但在导出之前：
由处理系统重复控制三维距离传感器以投影光的图案、控制二维照相机、控制三维距离传感器的光接收系统以及关联，其中，所述重复是在目标表面已被移动以改变目标表面与三维距离传感器之间的距离以及目标表面与二维照相机之间的距离之后执行的。
12.根据权利要求1所述的方法，还包括，在导出之后：
由处理系统控制二维照相机以获取除目标表面之外的对象上的光的图案的第三图像；
由处理系统控制三维距离传感器的光接收系统以获取对象上的光的图案的第四图像，其中，第三图像和第四图像是同时获取的；以及
由处理系统基于由三维距离传感器测量的第二光点的三维距离坐标并且基于关系表达式来标识多个光点中的第二光点的二维坐标的集合。
13.根据权利要求1所述的方法，其中，二维照相机的透镜被设置为控制透镜的变焦或聚焦的固定值。
14.根据权利要求13所述的方法，其中，关联包括将固定值与坐标的单个集合相关联。
15.根据权利要求14所述的方法，还包括在关联之后但在导出之前：
由处理系统重复控制三维距离传感器以投影光的图案、控制二维照相机、控制三维距离传感器的光接收系统以及关联，其中，所述重复是在固定值已被设置为新的固定值之后执行的。
16.一种编码有可由处理器执行的指令的非暂时性机器可读存储介质，其中，当被执行时，所述指令使处理器执行操作，所述操作包括：
控制三维距离传感器以将光的图案投影到目标表面上，其中，光的图案包括多个光点；
控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机相对于三维距离传感器具有固定位置；
控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像；
将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合是从第一图像获得的，并且其中，三维坐标的集合是从第二图像获得的；以及
从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。
17.根据权利要求16所述的非暂时性机器可读存储介质，其中，光的图案包括红外光，其中，光接收系统包括红外带通过滤器，并且其中，二维照相机包括红外截止过滤器。
18.根据权利要求17所述的非暂时性机器可读存储介质，其中，目标表面包括当材料被红外光激励时发射荧光的材料。
19.根据权利要求16所述的非暂时性机器可读存储介质，还包括，在导出之后：
控制二维照相机以获取除目标表面之外的对象上的光的图案的第三图像；
控制三维距离传感器的光接收系统以获取对象上的光的图案的第四图像，其中，第三图像和第四图像是同时获取的；以及
基于由三维距离传感器测量的第二光点的三维距离坐标并且基于关系表达式来标识多个光点中的第二光点的二维坐标的集合。
20. 一种装置，包括：
处理器；以及
编码有可由处理器执行的指令的非暂时性机器可读存储介质，其中，当被执行时，所述指令使处理器执行操作，所述操作包括：
控制三维距离传感器以将光的图案投影到目标表面上，其中，光的图案包括多个光点；
控制二维照相机以获取目标表面上的光的图案的第一图像，其中，二维照相机相对于三维距离传感器具有固定位置；
控制三维距离传感器的光接收系统以获取目标表面上的光的图案的第二图像；
将多个光点中的第一光点的二维坐标的集合与第一光点的三维坐标的集合的距离坐标相关联以形成第一光点的坐标的单个集合，其中，二维坐标的集合是从第一图像获得的，并且其中，三维坐标的集合是从第二图像获得的；以及
从坐标的单个集合导出关系表达式，其中，关系表达式描述光接收系统到目标表面的距离与二维照相机的图像传感器上的第一光点的位置之间的关系。
CN202080050381.8A 2019-05-12 2020-05-07 将三维深度图数据映射到二维图像上 Pending CN114073075A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962846696P 2019-05-12 2019-05-12
US62/846696 2019-05-12
PCT/US2020/031910 WO2020231747A1 (en) 2019-05-12 2020-05-07 Mapping three-dimensional depth map data onto two-dimensional images

Publications (1)

Publication Number Publication Date
CN114073075A true CN114073075A (zh) 2022-02-18

Family

ID=73046558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080050381.8A Pending CN114073075A (zh) 2019-05-12 2020-05-07 将三维深度图数据映射到二维图像上

Country Status (6)

Country Link
US (1) US11019249B2 (zh)
EP (1) EP3970362A4 (zh)
JP (1) JP2022532725A (zh)
CN (1) CN114073075A (zh)
TW (1) TW202101388A (zh)
WO (1) WO2020231747A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112513565B (zh) * 2018-06-06 2023-02-10 魔眼公司 使用高密度投影图案的距离测量
JP2022518023A (ja) 2019-01-20 2022-03-11 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ
WO2023200728A1 (en) * 2022-04-11 2023-10-19 Magik Eye Inc. Calibrating a three-dimensional sensor

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092632A (ja) * 2000-09-20 2002-03-29 Pulstec Industrial Co Ltd ３次元画像生成装置及び同方法
JP2007064723A (ja) * 2005-08-30 2007-03-15 Hitachi Ltd 画像入力装置及び校正方法
US20070201859A1 (en) * 2006-02-24 2007-08-30 Logitech Europe S.A. Method and system for use of 3D sensors in an image capture device
JP2009300268A (ja) * 2008-06-13 2009-12-24 Nippon Hoso Kyokai <Nhk> ３次元情報検出装置
EP2202994A1 (de) * 2008-12-23 2010-06-30 Sick Ag 3D-Kamera zur Raumüberwachung
US20100309289A1 (en) * 2009-06-09 2010-12-09 National Taiwan University 3D Positioning Apparatus and Method
KR20130000356A (ko) * 2011-06-22 2013-01-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
CN103230283A (zh) * 2013-04-16 2013-08-07 清华大学 一种超声探头成像平面空间位置标定的优化方法
CN104251663A (zh) * 2011-03-14 2014-12-31 法罗技术股份有限公司 通过激光跟踪仪对维度数据的自动测量
WO2016089428A1 (en) * 2014-12-03 2016-06-09 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
WO2016089431A1 (en) * 2014-12-03 2016-06-09 Faro Technologies, Inc. Using depth-camera images to speed registration of three-dimensional scans
US20160307325A1 (en) * 2015-04-20 2016-10-20 Yibing Michelle Wang Cmos image sensor for depth measurement using triangulation with point scan
CN106403845A (zh) * 2016-09-14 2017-02-15 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
CN106546230A (zh) * 2016-11-01 2017-03-29 狒特科技（北京）有限公司 定位点布置方法及装置、测定定位点三维坐标的方法及设备
CN107407553A (zh) * 2014-10-24 2017-11-28 魔眼公司 距离传感器
CN108022264A (zh) * 2016-11-01 2018-05-11 狒特科技（北京）有限公司 相机位姿确定方法及设备
US20180143018A1 (en) * 2015-05-10 2018-05-24 Magik Eye Inc. Distance sensor projecting parallel patterns
US20180246312A1 (en) * 2017-02-27 2018-08-30 Tsinghua University Method and apparatus for calibrating image sensor array in microscopic imaging system
CN108986161A (zh) * 2018-06-19 2018-12-11 亮风台（上海）信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质
US20180372481A1 (en) * 2017-06-22 2018-12-27 Hexagon Technology Center Gmbh Calibration of a triangulation sensor
CN109716160A (zh) * 2017-08-25 2019-05-03 北京嘀嘀无限科技发展有限公司 用于检测车辆环境信息的方法和系统

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59109273A (ja) 1982-12-15 1984-06-23 Matsushita Electric Ind Co Ltd 回転塗布装置用ノズル
US4914460A (en) 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH045112A (ja) 1990-04-23 1992-01-09 Sumitomo Rubber Ind Ltd 低転がり抵抗タイヤ
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3328111B2 (ja) 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US6038415A (en) 1997-07-18 2000-03-14 Minolta Co., Ltd. Image forming apparatus and image-carrier cartridge device which is employed in the same
EP0898245B1 (en) 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Image processing method and apparatus
US5980454A (en) 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
US5870136A (en) 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
AUPP299498A0 (en) 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US6937350B2 (en) 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
TWI247104B (en) 2003-02-26 2006-01-11 Hon Hai Prec Ind Co Ltd A measuring method for pattern of light guide plate
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
WO2005076198A1 (en) 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7191056B2 (en) 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP2006313116A (ja) 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4760391B2 (ja) 2006-01-13 2011-08-31 カシオ計算機株式会社 測距装置及び測距方法
JP4799216B2 (ja) 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4889373B2 (ja) 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
US8471892B2 (en) 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
TWI320480B (en) 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
US8282485B1 (en) 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
DE102008031942A1 (de) * 2008-07-07 2010-01-14 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
WO2010006081A1 (en) 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP2010091855A (ja) 2008-10-09 2010-04-22 Denso Corp レーザビーム照射装置
JP5251419B2 (ja) 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
CN101794065A (zh) 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示系统
US20100223706A1 (en) 2009-03-03 2010-09-09 Illinois Tool Works Inc. Welding helmet audio communication systems and methods with bone conduction transducers
JP5484098B2 (ja) 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP4991787B2 (ja) 2009-04-24 2012-08-01 パナソニック株式会社 反射型光電センサ
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
KR101658578B1 (ko) * 2010-01-27 2016-09-22 삼성전자주식회사 복합 센서의 캘리브레이션 장치 및 방법
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
JP5612916B2 (ja) * 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
JP5499985B2 (ja) 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
WO2012023256A2 (en) 2010-08-19 2012-02-23 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5163713B2 (ja) 2010-08-24 2013-03-13 カシオ計算機株式会社 距離画像センサ及び距離画像生成装置並びに距離画像データ取得方法及び距離画像生成方法
US8830637B2 (en) 2010-08-31 2014-09-09 Texas Instruments Incorporated Methods and apparatus to clamp overvoltages for alternating current systems
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8593535B2 (en) 2010-09-10 2013-11-26 Apple Inc. Relative positioning of devices based on captured images of tags
EP2433716A1 (en) 2010-09-22 2012-03-28 Hexagon Technology Center GmbH Surface spraying device with a nozzle control mechanism and a corresponding method
TWI428558B (zh) 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5815940B2 (ja) 2010-12-15 2015-11-17 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
US9888225B2 (en) 2011-02-04 2018-02-06 Koninklijke Philips N.V. Method of recording an image and obtaining 3D information from the image, camera system
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
US8794181B2 (en) 2011-03-17 2014-08-05 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
JP2014122789A (ja) 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
CA2835306C (en) 2011-06-07 2016-11-15 Creaform Inc. Sensor positioning for 3d scanning
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
DE102012108567B4 (de) 2011-10-05 2017-04-27 Electronics And Telecommunications Research Institute Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
KR101605224B1 (ko) 2011-10-05 2016-03-22 한국전자통신연구원 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
TW201329509A (zh) 2012-01-10 2013-07-16 Walsin Lihwa Corp 立體掃瞄裝置及其立體掃瞄方法
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
KR20140116551A (ko) 2012-01-31 2014-10-02 쓰리엠 이노베이티브 프로퍼티즈 캄파니 표면의 삼차원 구조를 측정하는 방법 및 장치
JP5800082B2 (ja) 2012-03-01 2015-10-28 日産自動車株式会社 距離計測装置及び距離計測方法
CN104220838B (zh) 2012-03-28 2016-12-21 富士通株式会社 拍摄装置
EP2849648B1 (en) 2012-05-18 2020-01-08 Siemens Healthcare Diagnostics Inc. Fish eye lens imaging apparatus and imaging method
DK2872030T3 (en) 2012-07-10 2017-03-06 Wavelight Gmbh METHOD AND APPARATUS FOR DETERMINING THE OPTICAL ABERRATIONS OF AN EYE
US20140016113A1 (en) 2012-07-13 2014-01-16 Microsoft Corporation Distance sensor using structured light
JP2014020978A (ja) 2012-07-20 2014-02-03 Fujitsu Ltd 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
US9927571B2 (en) 2012-10-24 2018-03-27 Seereal Technologies S.A. Illumination device
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
JP6241793B2 (ja) 2012-12-20 2017-12-06 パナソニックＩｐマネジメント株式会社 ３次元測定装置および３次元測定方法
US10466359B2 (en) 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US8768559B1 (en) 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
US9536339B1 (en) * 2013-06-13 2017-01-03 Amazon Technologies, Inc. Processing unordered point cloud
CN103559735B (zh) 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及系统
US10372982B2 (en) 2014-01-06 2019-08-06 Eyelock Llc Methods and apparatus for repetitive iris recognition
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
US9526427B2 (en) 2014-03-21 2016-12-27 Hypermed Imaging, Inc. Compact light sensors with symmetrical lighting
US9307231B2 (en) 2014-04-08 2016-04-05 Lucasfilm Entertainment Company Ltd. Calibration target for video processing
JP6002275B2 (ja) 2014-04-30 2016-10-05 シナノケンシ株式会社 計測装置
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
KR20160020323A (ko) 2014-08-13 2016-02-23 옥은호 평행 적외선 투사기와 카메라 모듈로 구성되는 거리 측정 센서
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
EP3859669A1 (en) 2014-11-04 2021-08-04 SZ DJI Technology Co., Ltd. Camera calibration
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
EP3229668A4 (en) 2014-12-08 2018-07-11 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing
KR102369792B1 (ko) 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
WO2016151918A1 (ja) 2015-03-26 2016-09-29 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP6247793B2 (ja) * 2015-03-27 2017-12-13 富士フイルム株式会社 距離画像取得装置
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US10215557B2 (en) 2015-03-30 2019-02-26 Fujifilm Corporation Distance image acquisition apparatus and distance image acquisition method
TW201706563A (zh) 2015-05-10 2017-02-16 麥吉克艾公司 距離感測器（一）
DE102015209143B4 (de) * 2015-05-19 2020-02-27 Esaote S.P.A. Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation
WO2016194018A1 (ja) 2015-05-29 2016-12-08 オリンパス株式会社 照明装置及び計測装置
KR20170005649A (ko) 2015-07-06 2017-01-16 엘지전자 주식회사 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
DE102015115011A1 (de) 2015-09-08 2017-03-09 Valeo Schalter Und Sensoren Gmbh Laserscanner für Kraftfahrzeuge
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6597150B2 (ja) 2015-10-09 2019-10-30 富士通株式会社 距離測定装置、距離測定方法、距離測定プログラムおよびテーブルの作成方法
FR3042610B1 (fr) * 2015-10-14 2018-09-07 Quantificare Dispositif et procede pour reconstruire en trois dimensions la tete et le corps
DE112015007146T5 (de) 2015-11-25 2018-08-02 Mitsubishi Electric Corporation Vorrichtung und verfahren zur dreidimensionalen bildmessung
KR20170094968A (ko) 2016-02-12 2017-08-22 엘지이노텍 주식회사 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
CN107438148B (zh) 2016-05-27 2021-08-24 松下知识产权经营株式会社 摄像系统
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
EP3551965A4 (en) 2016-12-07 2020-08-05 Magik Eye Inc. DISTANCE SENSOR PROJECTING PARALLEL PATTERNS
US20180227566A1 (en) 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10769914B2 (en) 2017-06-07 2020-09-08 Amazon Technologies, Inc. Informative image data generation using audio/video recording and communication devices
KR20200054326A (ko) 2017-10-08 2020-05-19 매직 아이 인코포레이티드 경도 그리드 패턴을 사용한 거리 측정
EP3692501A4 (en) * 2017-10-08 2021-07-07 Magik Eye Inc. CALIBRATION OF A SENSOR SYSTEM INCLUDING MULTIPLE MOBILE SENSORS
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
CN114827573A (zh) 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
JP2021518535A (ja) 2018-03-20 2021-08-02 マジック アイ インコーポレイテッド 様々な密度の投影パターンを使用する距離測定
CN112513565B (zh) 2018-06-06 2023-02-10 魔眼公司 使用高密度投影图案的距离测量
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US20200182974A1 (en) 2018-12-08 2020-06-11 Magik Eye Inc. Vertical cavity surface emitting laser-based projector
JP2022518023A (ja) 2019-01-20 2022-03-11 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092632A (ja) * 2000-09-20 2002-03-29 Pulstec Industrial Co Ltd ３次元画像生成装置及び同方法
JP2007064723A (ja) * 2005-08-30 2007-03-15 Hitachi Ltd 画像入力装置及び校正方法
US20070201859A1 (en) * 2006-02-24 2007-08-30 Logitech Europe S.A. Method and system for use of 3D sensors in an image capture device
JP2009300268A (ja) * 2008-06-13 2009-12-24 Nippon Hoso Kyokai <Nhk> ３次元情報検出装置
EP2202994A1 (de) * 2008-12-23 2010-06-30 Sick Ag 3D-Kamera zur Raumüberwachung
US20100309289A1 (en) * 2009-06-09 2010-12-09 National Taiwan University 3D Positioning Apparatus and Method
CN104251663A (zh) * 2011-03-14 2014-12-31 法罗技术股份有限公司 通过激光跟踪仪对维度数据的自动测量
KR20130000356A (ko) * 2011-06-22 2013-01-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
CN103230283A (zh) * 2013-04-16 2013-08-07 清华大学 一种超声探头成像平面空间位置标定的优化方法
CN107407553A (zh) * 2014-10-24 2017-11-28 魔眼公司 距离传感器
WO2016089431A1 (en) * 2014-12-03 2016-06-09 Faro Technologies, Inc. Using depth-camera images to speed registration of three-dimensional scans
WO2016089428A1 (en) * 2014-12-03 2016-06-09 Faro Technologies, Inc. Using a two-dimensional scanner to speed registration of three-dimensional scan data
US20160307325A1 (en) * 2015-04-20 2016-10-20 Yibing Michelle Wang Cmos image sensor for depth measurement using triangulation with point scan
US20180143018A1 (en) * 2015-05-10 2018-05-24 Magik Eye Inc. Distance sensor projecting parallel patterns
CN106403845A (zh) * 2016-09-14 2017-02-15 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
CN106546230A (zh) * 2016-11-01 2017-03-29 狒特科技（北京）有限公司 定位点布置方法及装置、测定定位点三维坐标的方法及设备
CN108022264A (zh) * 2016-11-01 2018-05-11 狒特科技（北京）有限公司 相机位姿确定方法及设备
US20180246312A1 (en) * 2017-02-27 2018-08-30 Tsinghua University Method and apparatus for calibrating image sensor array in microscopic imaging system
US20180372481A1 (en) * 2017-06-22 2018-12-27 Hexagon Technology Center Gmbh Calibration of a triangulation sensor
CN109716160A (zh) * 2017-08-25 2019-05-03 北京嘀嘀无限科技发展有限公司 用于检测车辆环境信息的方法和系统
CN108986161A (zh) * 2018-06-19 2018-12-11 亮风台（上海）信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙少杰;杨晓东;: "基于计算机视觉的目标方位测量方法", 火力与指挥控制, no. 03, 15 March 2016 (2016-03-15) *

Also Published As

Publication number Publication date
EP3970362A4 (en) 2023-06-21
TW202101388A (zh) 2021-01-01
US20200358961A1 (en) 2020-11-12
EP3970362A1 (en) 2022-03-23
US11019249B2 (en) 2021-05-25
JP2022532725A (ja) 2022-07-19
WO2020231747A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
US11579254B2 (en) Multi-channel lidar sensor module
CN110178156B (zh) 包括可调节焦距成像传感器的距离传感器
US10764487B2 (en) Distance image acquisition apparatus and application thereof
US11019249B2 (en) Mapping three-dimensional depth map data onto two-dimensional images
US11475584B2 (en) Baffles for three-dimensional sensors having spherical fields of view
JP7292315B2 (ja) 高密度投影パターンを使用した距離測定
CN110689577B (zh) 单相机环境中主动式刚体的位姿定位方法及相关设备
JP2023134626A (ja) 少なくとも一つの幾何学情報を決定するためのレンジファインダ
JP2020500310A5 (zh)
WO2019182881A1 (en) Distance measurement using projection patterns of varying densities
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
US11320537B2 (en) Enhancing triangulation-based three-dimensional distance measurements with time of flight information
JP2023508501A (ja) ３次元座標と２次元特徴点との関連付け
TW202146936A (zh) 具有準直器功能的繞射光學構件
US11920918B2 (en) One shot calibration
US20240077586A1 (en) Method for generating intensity information having extended expression range by reflecting geometric characteristic of object, and lidar apparatus performing same method
WO2023041761A1 (en) Emitter array with two or more independently driven areas
WO2023277789A1 (en) Calibration method
WO2023083784A1 (en) Recalibration of a 3d detector based on structured light
WO2023078986A1 (en) Eye safety for projectors
CN115298514A (zh) 包括补充准确度数据的距离测量
WO2023200727A1 (en) Calibrating a three-dimensional sensor using detection windows

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination