CN112384167B - 用于在相机中生成动态投影图案的设备、方法和系统 - Google Patents

用于在相机中生成动态投影图案的设备、方法和系统 Download PDF

Info

Publication number
CN112384167B
CN112384167B CN201980045668.9A CN201980045668A CN112384167B CN 112384167 B CN112384167 B CN 112384167B CN 201980045668 A CN201980045668 A CN 201980045668A CN 112384167 B CN112384167 B CN 112384167B
Authority
CN
China
Prior art keywords
camera
patterns
light source
lens array
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980045668.9A
Other languages
English (en)
Other versions
CN112384167A (zh
Inventor
M·特维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dentsply Sirona Inc
Original Assignee
Dentsply Sirona Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dentsply Sirona Inc filed Critical Dentsply Sirona Inc
Publication of CN112384167A publication Critical patent/CN112384167A/zh
Application granted granted Critical
Publication of CN112384167B publication Critical patent/CN112384167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0004—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
    • G02B19/0009—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed having refractive surfaces only
    • G02B19/0014—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed having refractive surfaces only at least one surface having optical power
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/0047—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source
    • G02B19/0061—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source the light source comprising a LED
    • G02B19/0066—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source the light source comprising a LED in the form of an LED array
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/005—Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0062—Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between
    • G02B3/0068—Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between arranged in a single integral body or plate, e.g. laminates or hybrid structures with other optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

一种用于利用光学阵列生成器在牙科相机中生成动态图案以投影到物体的表面上，同时减少噪声并增加用于三维(3D)测量的数据密度的设备、方法和系统。投影的光图案被用于在要测量的物体的表面上生成光学特征，并且根据三角测量原理操作的光学3D测量方法被用于测量物体。

Description

用于在相机中生成动态投影图案的设备、方法和系统
技术领域
本申请一般而言涉及一种用于在相机中生成动态投影图案的设备，并且更具体地涉及一种利用光学阵列生成器在相机中生成用于投影到物体的表面上的动态图案以用于三维(3D)测量的设备、方法和系统。
背景技术
在诸如条纹投影之类的结构化光扫描方法中，物体可以被诸如正弦条纹图案之类的光的结构化图案照亮。结构化的图案可以被物体几何变形或相位调制，然后用相机以相对于投影的已知角度记录为图像。通过分析记录的图像，可以使用诸如傅立叶变换之类的技术来计算变形、位移或相位调制。例如，使用合适的相位展开算法、图案识别或边缘检测方法，可以将记录的图像中的深度线索转换成3D坐标以进行重构。例如，可以获得与物体高度变化成比例的连续相位分布，并且可以校准系统以将展开的相位分布映射到现实世界3D坐标。
具体而言，3D信息可以通过以与投影的图案的投影方向成一定角度倾斜的观察角拍摄物体的图像来获得。然后，投影的图案将根据物体的表面形状而变形。可以借助于图像处理算法将投影的图案的特征与变形的图像中的对应特征匹配。如果被测量的物体是半透明的，那么会出现问题。投影的光穿透半透明物体并在其深度中漫射。这种材料的示例包括蜡、皮肤或牙齿。因此，物体表面上的图案的对比度显著减小，因为来自物体的深度的漫射、无结构的散射光叠加在由物体的表面反射的期望光上。降低的对比度会导致无法检测投影的特征，因为噪声会变得大于信号振幅。类似地，在投影仪辅助的立体图像的情况下，在投影的图像与记录的图像之间可能找不到相关性。这种情况下的可能改进是增加传感器上的光量，以减少相对于信号的传感器的散粒噪声。但是，这在技术上受到图像传感器像素的全阱(full-well)容量的限制。此外，不能通过增加光量来减少“物体噪声”(物体本身造成的干扰，例如，由于粗糙表面或颜色不均匀)。
发明内容
与上述相关联的现有限制以及其它限制可以通过用于利用光学阵列生成器在相机/扫描仪中生成动态图案从而用于投影到物体的表面上，同时减少噪声并提高三维(3D)测量的数据密度的设备、方法和系统来克服。在本文中，可以使用投影的光图案在要测量的物体的表面上生成光学特征，并且可以使用根据三角测量原理进行操作的光学3D测量方法来测量物体。可以将光图案投影到由相机成像的物体上。如果物体的表面是平面的，没有任何3D表面变化，那么在对应的反射图像中示出的图案可以与投影的光图案相同(或相似)。但是，如果物体的表面是非平面的，那么对应图像中的投影的结构化光图案可以因表面几何形状而变形。来自投影的结构化光图案的变形的信息可以被用于提取被测量物体的3D表面几何形状。通过使用各种结构化照明图案以及降噪和数据密度提高设置/技术，可以测量物体的3D表面剖面(profiles)。
在一方面，本发明提供了一种3D相机，包括：光学阵列生成器，用于生成多个动态图案以用于投影；第一成像光学器件，布置在相机内以将多个动态图案聚焦到要测量的物体的表面上；成像传感器，布置在相机内以记录由多个动态图案经由要测量的物体的表面的反射而形成的多个反射图像；以及第二成像光学器件，布置在相机内以将多个反射图像成像到成像传感器上，其中光学阵列生成器还包括：(i)包括多个离散区域的光源，其中多个离散区域中的每个离散区域的发光强度被独立地控制；(ii)包括多个透镜的透镜阵列，被构造为将来自光源的光成像到像平面上以形成多个动态图案；以及(iii)准直器，被构造为将光源的光指引到透镜阵列上，以及其中以电子方式控制光源的多个区域的发光强度以便以时变方式生成多个动态图案。
在另一方面，本发明可以包括以下特征中的一个或多个：(i)相机，其中多个透镜中的每个透镜是双凸的；(ii)相机，其中光源的多个离散区域选自由LED管芯、激光二极管和多根光纤的一端组成的组，所述多根光纤具有附接到另一端的其它光源，(iii)相机还包括多个准直器和多个光源，(iv)相机还包括用于处理记录的图像的数字信号处理单元，(v)相机，其中成像传感器被构造为执行像素内解调，(vi)相机，其中光源是LED管芯的2x2 LED阵列，(vii)相机，其中多个透镜中的每个透镜是球形的，(viii)相机，其中多个透镜中的每个透镜是圆柱形的，(ix)相机，其中透镜阵列的厚度在50μm至10mm之间，(x)相机，其中透镜阵列包括玻璃载体、被模制在玻璃载体的相对侧上的两个聚合物层、以及应用于玻璃载体以选择性地更改光源的光的结构化掩模；(xi)相机，其中掩模是结构化滤色器，用于在来自光源的光上施加二进制或颜色代码，(xii)相机，其中多个动态图案是非周期性的，(xiii)相机，其中透镜阵列的多个透镜的中心分别偏移以产生非周期性的动态图案，(xiv)相机，其中多个动态图案是周期性的，(xv)相机，其中透镜阵列包括入射和出射透镜对，其中入射透镜充当傅立叶透镜并且出射透镜充当场透镜(field lenses)，并且其中每一对在像平面中创建子图像，(xvi)相机，其中透镜阵列包括具有充当傅立叶透镜的入射透镜的第一透镜阵列和具有充当场透镜的出射透镜的第二透镜阵列，并且其中第一和第二微透镜阵列具有单侧剖面并且被构造为彼此面对，以及(xvii)其任何组合。
在一个方面，本发明提供了一种用于生成用于测量物体的多个动态图案的方法，该方法包括：以电子方式控制光源的多个离散区域中的每个离散区域的发光强度以生成用于准直器的结构化的光；使用准直器将来自光源的结构化的光指引到透镜阵列上；使用透镜阵列的多个透镜产生结构化的光的子图像，其中子图像在透镜阵列的焦平面中形成以形成多个动态图案；将多个动态图案聚焦到要测量的物体的表面上；将多个反射图像成像到成像传感器上；用成像传感器记录多个反射图像，并使用光源的调制信号处理多个记录的图像以获得物体的三维图像。
在一个方面，本发明提供了一种方法，该方法包括以下特征中的一个或多个：(i)方法还包括通过按时间顺序投影和评估动态图案以接收与对于投影完整图案将接收的3D数据点的数量总体相同或基本相同数量的3D数据点，来减少物体的平均辐照度，(ii)方法，其中物体的平均辐照度降低一个因子。在一个方面，该因子是因子2，(iii)方法，还包括：通过使透镜阵列的多个透镜的中心分别偏移来生成非周期性图案，以及(iv)其任何组合。
在另一方面，本发明提供了一种用于生成用于测量物体的多个动态图案的系统，该系统包括：至少一个处理器，其可操作为：以电子方式控制光源的多个离散区域中的每个离散区域的发光强度以生成用于准直器的结构化的光；使用准直器将来自光源的结构化的光指引到透镜阵列上；使用透镜阵列的多个透镜产生结构化的光的子图像，其中子图像在透镜阵列的焦平面中形成以形成多个动态图案；用照明光学器件将多个动态图案成像到要测量的物体的表面上；用成像传感器记录来自物体的表面的多个反射图像，并使用光源的调制信号处理多个反射图像以获得物体的三维图像。
下面参考附图详细描述本文的各种实施例的其他特征和优点以及结构和操作。
附图说明
从本文下面给出的详细描述和附图中将更加全面地理解示例实施例，附图中相同的元件由相同的标号表示，这些标号仅以说明的方式给出，因此不限制本文的示例实施例，并且其中：
图1图示了用于投影图案以测量物体的相机系统；
图2图示了图1的系统的示例计算机系统的框图；
图3是用于结构化照明的投影仪的示意图；
图4图示了根据本文的实施例的光学阵列生成器；
图5图示了根据本文的实施例的利用球形透镜阵列的点图案的生成；
图6图示了根据本文的实施例的利用柱面透镜阵列的条纹图案的生成；
图7图示了本文讨论的示例性实施例；
图8图示了透镜阵列和附加掩模的组合；
图9是图示本文的实施例的两个投影图案之间的关系的图；以及
图10是示出两个单侧对准的透镜阵列的视图，其中透镜阵列安装成透镜彼此面对。
附图中不同的图可以具有至少一些可以相同的标号，以便识别相同的部件，但是下面可以不针对每个附图提供每个这样的部件的详细描述。
具体实施方式
根据本文所述的示例方面，提供了一种用于在相机(例如，牙科相机)中生成动态图案以用于投影到物体的表面上从而进行三维(3D)测量的设备，方法和系统。
在一个方面，可以在相机1(例如，牙科相机)中提供用于生成投影图案的光学阵列生成器2。光学阵列生成器可以包括准直器21、LED阵列20和透镜阵列22。准直器21可以被构造为将LED阵列20的光指引到包括子透镜25的透镜阵列22上。计算机系统100可以控制并同步(i)图像传感器4的曝光时间和(ii)LED阵列20的LED以预定图案发射光。例如，一些LED可以与其它LED关闭同时地开启，以产生预定的结构化的光的图案。在本文的实施例中，可以周期性地重复LED的时间照明序列。透镜阵列22的每个子透镜25可以被构造为产生受控的LED阵列20的图像。照此，由LED阵列20产生的图像/结构化的光可以通过透镜阵列22倍增成子图像26的阵列。透镜阵列22的子图像26在透镜阵列22的焦平面23中组合以形成组合图像27。透镜阵列22的透镜25可以是双凸的，以由于在照明路径中使用高数值孔径而允许高的光效率。在本文的实施例中，双凸透镜的第一界面可以充当生成图像的傅立叶透镜。第二界面可以充当场透镜，从而将光指引到相机系统的成像光学器件的光瞳。在另一个实施例中，相机1设有投影光学器件，以将组合图像27投影到要测量的物体14的表面上。在本文的实施例中，由LED阵列20产生的用于转换成子图像的图像可以是结构化的和可变的(非静态的)。在本文的实施例中，光源可以包括LED管芯59。在另一个实施例中，可以使用激光二极管或其它发光元件(未示出)。在又一个实施例中，光源可以由多根光纤的一端形成，光纤具有附接到另一端的光源。在又一个实施例中，可以使用各自具有多个光源的多个准直器21。
根据本文的另一个示例实施例，提供了一种相机系统101。该相机系统可以包括：光学阵列生成器2，被配置为生成到要测量的物体14上的投影图案；传感器4，用于记录反射的投影图案；以及数字信号处理单元5，用于处理记录的图像。在实施例中，传感器4可以包括像素内解调功能，其中传感器包括光电二极管、前置放大器同步解调器以及积分器。在另一个实施例中，传感器4是2D传感器，用于记录由光学阵列生成器生成的不同投影图案的连续图像序列。在另一个实施例中，系统101包括获取单元6，用于进一步处理记录的图像并显示物体14的三维测量。
根据本文的另一个示例实施例，提供了一种用于利用光学阵列生成器2在相机中生成动态图案以投影到物体的表面15上从而用于三维(3D)测量的方法。根据本文的示例实施例，该方法包括从LED阵列20生成多个投影图案；使用准直器21将LED阵列20的多个投影图案中的每个投影图案指引到透镜阵列22上；用透镜阵列的子透镜25产生多个投影图案中的每个投影图案的子图像26，其中子图像26在透镜阵列22的焦平面23中形成以形成组合图像27；将多个投影图案聚焦到要测量的物体14的表面15上；将多个反射图像成像到成像传感器4上；用传感器4记录来自物体15的表面的多个反射图像，并处理多个记录的图像以获得物体的三维图像。
在实施例中，生成多个投影图案可以包括通过用LED阵列生成用于投影的时变图案来减少要测量的物体的平均辐照度，其中，投影的图案的一个或多个标记(例如，形状、条纹、点和/或其它)被省略。在实施例中，由计算机系统100通过LED阵列22的控制，可以省略投影的图案的每第n个(例如第二个)亮标记(例如，条纹、棋盘图案)。在其中省略了投影的图案的每第二个亮标记(例如，条纹)的实施例中，物体14的平均辐照度可以降低两倍，这也将物体14的漫射背景辐射减半，同时其余条纹的信号振幅保持相同或基本相同。在其中省略了投影图案的每第二个亮标记(例如，条纹)的实施例中，可以将信噪比提高sqrt(2)倍。条纹的省略减少了用于3D重构的可用特征的数量，因此，按时间顺序投影移位周期倍数的交替图案，使得获得用于3D重构的总计相同或基本相同数量的3D数据点，就好像没有任何省略一样。例如，在实施例中，可以从包括交替的亮和暗条纹的标准投影图案获得第一投影图案和第二投影图案。可以通过省略标准投影图案的每第二个亮条纹来获得第一投影图案。可以通过将第一投影图案移位半个周期来获得第二投影图案。通过以交替的方式投影第一投影图案和第二投影图案(即，移位半个周期的第一投影图案)，可以获得相同或基本相同数量的3D数据点，就好像标准投影图案已经用于投影一样，从而减少了入射在被测量物体上的每个投影亮条纹的数量，从而减少了被测量物体14的平均辐照度。
在另一个实施例中，可以用设有像素内解调功能的传感器4来执行记录步骤，其中传感器包括光电二极管、前置放大器、同步解调器和/或积分器。在另一个实施例中，可以用2D传感器执行记录步骤，用于记录由光学阵列生成器生成的不同投影图案的连续图像序列。在另一个实施例中，处理步骤包括在记录的图像中定位投影的特征，并将记录的图像处理为物体14的三维测量。
在本文的又一个实施例中，透镜阵列22的透镜25可以是球形或圆柱形。
设备方法和系统对于减少在三维测量中生成的噪声并增加在扫描物体时搜集的数据的密度可以是有用的。在下文中将更详细地描述该设备方法和系统。
光学阵列生成器、相机和相机系统
图1图示了用于在相机中生成动态图案的包括相机1的相机系统101的框图，并且该相机系统可以根据本文中的至少一个示例实施例来构造和操作。该系统还可以包括用于生成和显示物体的三维表示的计算机系统100。计算机系统100可以电连接到相机1。相机可以包括光学阵列生成器2，该光学阵列生成器2包括空间和时间调制的光源(例如，LED阵列20)、准直器21以及包括子透镜25的透镜阵列22，用于生成LED阵列的组合图像27。组合图像27可以包括子图像26，其中每个子透镜可以生成子图像26。用于照明的成像光学器件12可以将组合图像投影到要测量的物体14上。在本文的实施例中，成像光学器件12在扫描过程或曝光期间将包括变化的组合图像的动态图案投影到物体14上。物体14可以是例如牙齿、皮肤、牙龈、陶瓷、汞齐、金和/或其它。相机还包括成像光学器件13，用于在扫描过程或曝光期间检测由物体14反射的图像。接收到的图像由例如偏转镜3或90°棱镜传播到传感器4以进行记录。传感器可以是标准的2D传感器或具有像素内解调功能的传感器，其中传感器的每个像素可以包括光电二极管、前置放大器、同步解调器和积分器。每个像素的光电二极管可以将来自物体14的光转换成光电流。然后可以将光电流放大并馈送到同步解调器中。可以通过光学阵列生成器2的光源的调制信号来同步解调器。可以看出，调制频率可以仅受光源的限制。照此，如果使用合适的LED或激光二极管，那么用于调制的频率可以在MHz范围内。使用高调制频率(诸如20kHz-500kHz之间或1kHz-100MHz之间)可以具有以下优点：即使当使用非常高的照明强度时，像素积分器也不会饱和。积分器可以在曝光时间内对解调器的输出求和。在曝光结束时，积分的信号可以与光调制的振幅成比例。解调抑制了恒定的背景光。为了读出，图像矩阵的像素可以由开关矩阵顺序地寻址，并且积分器的电压可以被数字化并传送到数字信号预处理单元5。当传感器是标准2D传感器时，它可以记录由光学阵列生成器2生成的不同照明图案的连续图像序列。
在曝光/扫描期间，数字信号预处理单元5可以收集传感器4的单个图像帧，并将图像存储在这个单元的本地存储器中。图像可以或者在相机的处理单元5上被预处理，或者被传输到获取单元6以进行进一步的处理步骤。处理可以包括如图像过滤以减少噪声、减去用不同光源生成的图像以消除背景光和边缘检测之类的步骤。获取单元6可以包括显示器128和计算机处理器，该计算机处理器包括中央处理单元(CPU)123和随机存取存储器(RAM)133。
在本文的实施例中，可以进一步分析经预处理的图像数据以提取表示表面的3D点云。应用于这些点的变形校正对于光学器件的成像特性进行校正。当相机在记录的同时移动时，一系列点云结果从不同的视角示出物体14的不同部分。这些点云由CPU 123分别旋转和平移，以给出一致的3D模型。这个3D模型最终在显示器128上被渲染。
图3是用于条纹投影的投影仪的基本表示。来自源10的光被准直器11指引到掩模16上。来自掩模16的光被成像光学器件17投影到物体14上，并且因此在表面15上变得可见。
在图4中提供了用于生成时变动态图案的光学阵列生成器2的示意图。图5提供了光学阵列生成器2的LED阵列20的顶视图。准直器21将LED阵列20的光指引到透镜阵列22上。透镜阵列的每个子透镜25将产生LED阵列的子图像26。在本文的实施例中，LED阵列是如图5中所示的2X2 LED阵列30，但是可以使用其它LED阵列，例如，可以使用nXm LED，其中“n”可以在1-10之间并且“m”可以在2-10之间，但可以不限于此。子图像26在透镜阵列22的焦平面23中组合以形成组合图像27。然后可以借助于扫描仪的照明用成像光学器件12(投影光学器件)将这个平面中的组合图像27成像到物体表面上。在本文的示例实施例中，如图4中所示，LED阵列20的两个光源(A，B)被放置在准直器21的物体平面(X-Y平面)中。在准直器21的后面，源自光源的光束形成两个倾斜的光束24。光束可以被透镜阵列22聚焦到像平面23中。每个单独的透镜可以生成一个焦点对(A`，B`)。焦点A`与B`之间的偏移可以通过选择倾斜光束24的入射角和透镜阵列的焦距来确定。在实施例中，可以使用多个准直器21和多个光源。在本文中，光源与准直器21耦合。各个准直器可以在到透镜阵列22的所需入射角下直接对准。但是，为了节省空间，使准直器平行对准并使用偏转元件(例如反射镜)将光的入射角设置到透镜阵列22可能是有利的。
图7图示了本文的另一个实施例。准直器组件50可以将来自例如两个LED管芯59的光聚焦到包括入射和出射透镜对(54，55)的圆柱形双凸透镜阵列51上，其中每一对可以在用于每个LED管芯59的像平面56中创建条纹。在本文的实施例中，两个LED管芯的中心可以间隔开1.5mm(或者例如间隔开0.5mm-15mm之间)，并且准直器可以具有10mm的有效焦距。对于退出准直器组件50的平行光束，这可以导致atan((1.5mm/2)/10mm)＝4.3°(或例如2°-10°之间或0.1°-30°之间)的倾斜角。由于透镜阵列51的折射率为例如n＝1.52，因此角度可以在阵列的基板中减小到2.8°。由于要求条纹的间距应当为100μm(或例如在2μm至200μm之间)，因此导致透镜阵列的厚度为(100μm/2)/tan(2.8°)＝1.0mm(或例如在50μm至10mm之间)。两个相邻的微透镜的中心之间的距离(节距)可以是条纹间距的两倍(例如，200μm)。部分58以横截面示出了阵列的放大的单对透镜。入射透镜54可以充当傅立叶透镜并且在像平面56中生成焦点。出射透镜55可以充当场透镜，以确保焦点后面的束锥垂直于像平面56。作为结果，光可以由透镜52成像在测试物体53上而不会渐晕。
图8图示了本文的又一个实施例。透镜阵列22可以包括具有两个模制于其上的聚合物层的玻璃载体60和施加到玻璃载体60的结构化掩模62。在本文中，可以通过使用掩模62为某些光源选择性地隐藏点或线。在本文的另一个实施例中，掩模可以是结构化的滤色器，其中可以在由LED阵列20产生的周期性图案上施加二进制或颜色代码。
图10图示了本文中的又一个实施例，可以实现鲁棒的微透镜阵列配置，其中该配置可以是“三明治”配置并且可以包括多个微透镜阵列82(例如，两个微透镜阵列)，每个微透镜阵列具有厚的单侧剖面，并且可以将它们的透镜54、55对准并彼此面对地安装，如图10中所示。在本文中，传入的平行光线80可以入射在可以充当傅立叶透镜的入射透镜54上并在像平面56中生成焦点。出射透镜55可以充当场透镜，以确保焦点后面的束锥垂直于像平面56。
用于在相机中生成动态图案以进行3D测量的计算机系统
已经描述了用于在相机中生成动态图案以投影到物体的表面上从而进行三维(3D)测量的系统101，现在将参考图2，该图示出了可以根据本文的至少一些示例实施例被采用的计算机系统100的框图。虽然本文根据这个示例性计算机系统100描述了各种实施例，但是在阅读了本描述之后，对于(一个或多个)相关领域的技术人员而言，如何使用其它计算机系统和/或体系架构来实现本公开将变得清楚。
在本文的一个示例实施例中，计算机系统100的至少一些部件可以形成或包括在图1的计算机系统100中。计算机系统100包括至少一个计算机处理器122。计算机处理器122可以包括例如如图1中所示的中央处理单元123、多处理单元、专用集成电路(“ASIC”)、现场可编程门阵列(“FPGA”)等。处理器122可以连接到通信基础设施124(例如，通信总线、交叉条设备，或网络)。在本文的实施例中，处理器122包括CPU 123，CPU 123从具有传感器4的相机1的预处理单元5获得图像数据，该传感器4具有像素内解调功能。图像数据可以被临时存储在存储器中，然后被分析。在记录的同时移动相机1后，形成一系列点云。CPU 123可以旋转并平移点云以给出一致的3D模型从而在计算机系统100的显示接口126上进行渲染。在另一个实施例中，CPU可以将由传感器4检测到的图像特征与投影的特征相匹配，并且通过三角测量将它们转换成3D点云，其中每个图像导致单独的点云。在本文中，传感器可能不拥有像素内解调功能。当相机移动时，产生一系列点云。这些点云可以由CPU 123分别旋转和平移以给出一致的3D模型。这个3D模型最终在显示器128上进行渲染。在本文的实施例中，可以执行对图像数据中的边缘或特征的直接检测。在本文的又一个实施例中，相机1的数字信号预处理单元5可以被结合到计算机系统100中。
显示接口(或其它输出接口)126转发来自通信基础设施124(或来自帧缓冲器(未示出))的视频图形、文本和其它数据，以显示在显示单元128(在一个示例实施例中，其可以形成或包括在图1的显示单元128中)上。例如，显示接口126可以包括具有图形处理单元的视频卡。
计算机系统100还包括输入单元130，计算机系统100的用户可以使用该输入单元130将信息发送到计算机处理器122。在本文的一个示例实施例中，输入单元130可以形成或包括在图1的输入单元130中。输入单元130可以包括轨迹球或其它输入设备。在一个示例中，显示单元128、输入单元130和计算机处理器122可以共同形成用户接口。
生成动态图案的一个或多个步骤可以以计算机可读程序指令的形式存储在非暂态存储设备上。为了执行过程，处理器122将存储在存储设备上的适当指令加载到存储器中，然后执行所加载的指令。
图2的计算机系统100可以包括主存储器132，其可以是如图1中所示的随机存取存储器(“RAM”)123，并且还可以包括辅助存储器134。辅助存储器134可以包括例如硬盘驱动器136和/或可移动存储装置驱动器138(例如，软盘驱动器、磁带驱动器、光盘驱动器、闪存驱动器等)。可移动存储装置驱动器138以众所周知的方式从可移动存储单元140读取和/或向其写入。可移动存储单元140可以是例如软盘、磁带、光盘、闪存设备等，其由可移动存储装置驱动器138写入和读取。可移动存储单元140可以包括存储计算机可执行软件指令和/或数据的非瞬态计算机可读存储介质。
在另外的替代实施例中，辅助存储器134可以包括存储要加载到计算机系统100中的计算机可执行程序或其它指令的其它计算机可读介质。此类设备可以包括可移动存储单元144和接口142(例如，程序盒和盒接口)；可移动存储器芯片(例如，可擦除可编程只读存储器(“EPROM”)或可编程只读存储器(“PROM”))和相关联的存储器插座；以及允许软件和数据从可移动存储单元144传送到计算机系统100的其它部分的其它可移动存储单元144和接口142。
计算机系统100还可以包括通信接口146，其使得软件和数据能够在计算机系统100和外部设备之间传送。这种接口可以包括调制解调器、网络接口(例如，以太网卡、Bluetooth或IEEE 802.11无线LAN接口)、通信端口(例如，通用串行总线(“USB”)端口或Fire
Figure BDA0002886764410000131
端口)、个人计算机存储卡国际协会(“PCMCIA”)接口等。经由通信接口146传送的软件和数据可以是信号的形式，其可以是电子、电磁、光学或能够由通信接口146发送和/或接收的另一种类型的信号。经由通信路径148(例如，信道)将信号提供给通信接口146。通信路径148携带信号，并且可以使用电线或电缆、光纤、电话线、蜂窝链路、射频(“RF”)链路等来实现。通信接口146可以用于在计算机系统100与远程服务器或基于云的存储(未示出)之间传送软件或数据或其它信息。
一个或多个计算机程序或计算机控制逻辑可以存储在主存储器132和/或辅助存储器134中。还可以经由通信接口146接收计算机程序。计算机程序包括计算机可执行指令，计算机可执行指令在由计算机处理器122执行时使计算机系统100执行如下文描述的方法。因而，计算机程序可以控制计算机系统100及相机设备101的其它部件。
在另一个实施例中，软件可以存储在非瞬态计算机可读存储介质中，并使用可移动存储装置驱动器138、硬盘驱动器136和/或通信接口146加载到计算机系统100的主存储器132和/或辅助存储器134中。当由处理器122执行时，控制逻辑(软件)使计算机系统100，并且更一般地在一些实施例中是相机系统，执行本文描述的方法中的一些。
最后，在另一个示例实施例中，诸如ASIC、FPGA等的硬件部件可以用于执行本文描述的功能。鉴于本描述，对于(一个或多个)相关领域的技术人员来说，实现这种硬件布置以便执行本文描述的功能将是清楚的。
用于在相机中生成动态图案以进行3D测量的方法
已经描述了图2的计算机系统100，现在将结合图4-6进一步描述相机系统101，图4-6示出了使用不同透镜类型来生成投影图案的方法。
根据本文的示例实施例，可以通过省略投影的图案的一些条纹(例如，投影的图案的每第二个亮条纹)来生成时变图案以进行投影。这可以将物体的平均辐照度减小两倍，这也将物体的漫射背景辐射减半。但是，其余条纹的信号幅度保持相同。因此，这将使信噪比提高sqrt(2)倍。这是因为像素噪声主要由现代图像传感器上的散粒噪声主导。散粒噪声的产生是因为像素可以被视为对于随机到达的光子的计数器。对于恒定的光强度，可以通过正态分布来近似被计数的光子的统计量，该正态分布的标准偏差为sqrt(n)，其中n是被计数的光子的平均数量。因此，信噪比(S/N)为S/N＝n/sqrt(n)＝sqrt(n)。单个像素的读出可以给出与被计数的背景光光子nb和期望的信号光子ns之和成比例的信号。因为在半透明材料中背景光可能会主导信号(nb>>ns)，所以信噪比可以由背景光的强度S/N＝sqrt(n)～sqrt(nb)确定。因此，在本文的通过省略每第二个亮条纹来使漫射散射的背景光nb减半、并且其中由于剩余条纹的强度保持不变而使信号ns保持恒定的示例实施例中，信噪比提高了sqrt(2)倍。
在本文的示例实施例中，入射在被测量的物体14上的亮条纹的减少降低了用于3D重构的可用特征的数量。在时间序列上投影和评估几个不同的图案以接收总共相同数量的3D数据点，就好像没有省略一样，允许了以相同的空间分辨率进行3D重构。例如，如图9中所示，可以从包括交替的亮条纹74和暗条纹73的标准投影图案70获得第一投影图案71和第二投影图案72。可以通过省略标准投影图案70的每第二个亮条纹74b来获得第一投影图案71。可以通过将第一投影图案71移位半个周期(0.5*P1)来获得第二投影图案72。通过以交替的方式投影第一投影图案71和第二投影图案72(即，第一投影图案71移位半个周期)，可以获得相同数量的3D数据点，就好像投影了标准投影图案70一样，因此在获得用于重构的相同数量的数据点的同时，减少了入射在被测量的物体上的每个投影的亮条纹74的数量并因此减少了待测量的物体的平均辐照度。通过叠加第一投影图案71和第二投影图案71，可以获得标准投影图案70。在本文的示例实施例中，暗条纹73可以与LED阵列20的被关闭的LED对应，而亮条纹74可以与LED阵列20的被开启的LED对应。本领域普通技术人员(POSA)可以看出的是，该技术可以适于变化的投影图案。例如，可以省略另一个标准投影图案(未示出)的每第二个和第三个亮条纹以获得另一个第一投影图案(未示出)，其中该另一个第一投影图案被移位一个周期的三分之一以获得另一个第二投影图案(未示出)，并且该另一个第二投影图案被移位一个周期的三分之一以获得第三投影图案(未示出)，并且其中所述另一个第一投影图案、另一个第二投影图案和第三投影图案的叠加将产生所述另一个标准投影图案。
为了获得投影图案，可以单独控制LED阵列中每个LED/管芯的强度。
现在转到图5，其中四个LED(A，B，C，D)中只有一个LED(A)被激活，可以在透镜阵列的像平面上生成点图案31，其中该图案的特征的仅四分之一(1/4)在曝光中被传输并且该图案具有平均光强度的四分之一(1/4)。因而，与同时开启所有4个LED时将产生的散射光量相比，产生较小的散射光量。可以看到，四个LED管芯(A，B，C，D)通过设置被成像为尺寸缩小的图像的阵列。当仅开启一个LED时，创建稀疏的点图案。如果另一个LED开启，而第一个LED关闭，那么将创建移位的稀疏的点图案。因此，通过依次开启4个LED并为每个开启的LED记录对应的反射图像，获得要传输到物体14的LED阵列30中的全部信息。
可以看出，虽然球形透镜的阵列可以被用于生成如图5中所示的点图案，但是柱面透镜的线性阵列可以被用于生成如图6中所示的条纹图案。也可以使用单侧透镜。在本文中，光源(LED)可以布置在垂直于像平面23的行中。每个透镜可以生成每个光源的条纹状图像，如图6中所示。通过顺序地激活相应的光源，可以生成侧向移位的条纹图案以用于投影和记录。
在根据本发明的另一个实施例中，可以使用立体成像和重构。立体物体重构通过经由来自从多个视点观察到的物体的不同图像的对应像素之间的视差推导物体的空间形状和位置来重构3D物体。立体视觉技术的原理是三角测量，其中可以使用从两个不平行的相机拍摄的照片确定物体的独特轮廓。立体视觉方法可以依赖于来自两个相机的照片元素之间的对应关系，其有时可能难以确定。为了避免在立体物体重构中的模糊性，可以使用非周期性的投影图案。如果透镜阵列22中的透镜的中心分别偏移，那么也可以通过上述方法来生成这些非周期性图案。透镜与标称栅格位置的偏移可以是随机的，并且可以不超过透镜直径的一半。同样，非周期性平铺可以用作透镜布置的基础。
避免常规透镜阵列的图案的周期性的另一种方式可以是在透镜阵列的焦平面附近放置构图的掩模62。在本文中，可以抑制由某些透镜和光源的组合生成的单独的条纹或斑点。例如，在立体成像中，一个光源可以被用于为3D点的高密度创建完整的条纹或点图案，而另一个光源可以被用于生成稀疏的随机点图案以提供用于立体图像的明确匹配的附加信息，如图8中所示。也可以在透镜阵列22的焦平面中使用结构化的滤色器，以在由透镜阵列22生成的周期性图案上添加附加的颜色代码，所述代码对于每个光源可单独改变。
时间顺序投影可以要求多次图像获取以进行全密度3D重构。对于移动的物体或移动的相机/扫描仪，这可能导致物体重构中不必要的伪影。因此，可能期望一次获取完整的3D信息。时间顺序获取的替代方案是各个图像帧的光谱译码。为此，可以使用具有小的光谱重叠的多个窄带光源。如果所有光源同时处于活动状态，那么多个有色图案可以同时叠加在物体上。具有对应光谱通道的彩色相机(未示出)然后可能能够同时记录各个图像。在最简单的情况下，可以将标准RGB颜色传感器用于此目的。如果使用多于三种的颜色，那么可以使用高光谱传感器。
在又一个实施例中，可以生成互补的图案。如果图案具有相同的填充因子，那么可以通过减去两个互补的物体图像(例如，两个图案，其中一个图案中的亮区域与另一个图案中的暗区域对应)来消除漫射背景噪声，因为漫射背景在两个图像中是完全相同的。互补的图案的示例可以包括棋盘图案、条纹图案或点图案，每个图案移位半个周期或以其它方式移位。
由于没有移动的零件，因此本文描述的实施例的优点包括鲁棒性。而且，由于光学设置可以不包括载玻片或栅格结构，因此来自准直器21的光很少吸收或没有吸收地穿过透镜阵列22到达用于照明的成像光学器件12。而且，与使用数字微镜设备(DMD)或液晶设备(LCD)的其它设备(诸如相机)相比，由于尺寸紧凑，因此可以节省空间。
鉴于前面的描述，可以认识到的是，本文描述的示例实施例提供了用于在相机中生成动态投影图案的设备、方法和系统。
除非另外定义，否则本文使用的所有技术和科学术语具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。虽然与本文描述的那些类似或等同的方法和材料可以用于本公开的实践或测试，但是上文描述了合适的方法和材料。本文提及的所有出版物、专利申请、专利和其它参考文献在适用法律和法规允许的范围内通过引用整体并入本文。在不脱离其精神或基本属性的情况下，本公开可以以其它具体形式实施，并且因此期望本实施例在所有方面被认为是说明性而非限制性的。描述中使用的任何标题都仅仅是为了方便起见而没有法律或限制作用。

Claims (17)

1.一种相机，包括：
光学阵列生成器，用于生成用于投影的多个动态图案；
第一成像光学器件，布置在相机内以将所述多个动态图案聚焦到要测量的物体的表面上；
成像传感器，布置在相机内以记录由所述多个动态图案经由要测量的物体的表面的反射而形成的多个反射图像；以及
第二成像光学器件，布置在相机内以将所述多个反射图像成像到成像传感器上，
其中光学阵列生成器进一步包括：(i)包括多个离散区域的光源，其中所述多个离散区域中的每个离散区域的发光强度被独立地控制；(ii)包括多个透镜的透镜阵列，被构造为将来自光源的光成像到像平面上以形成所述多个动态图案，以及(iii)准直器，被构造为将光源的光指引到透镜阵列上，
其中以电子方式控制光源的所述多个区域的发光强度以便以时变方式生成所述多个动态图案，以及
其中光源被配置为按时间顺序生成能够叠加形成标准投影图案的多个部分投影图案，每个部分投影图案通过从标准投影图案省略一个或多个标记而得到，不同的部分投影图案具有移位关系，使得当按时间顺序生成所述多个部分投影图案以投影到物体的表面时，获得与投影标准投影图案时相同数量的3D数据点而物体的平均辐照度减小。
2.如权利要求1所述的相机，其中所述多个透镜中的每个透镜是双凸的、球形的或圆柱形的。
3.如权利要求1所述的相机，其中光源的所述多个离散区域选自由以下组成的组：LED管芯、激光二极管和具有附接到另一端的其它光源的多根光纤的一端。
4.如权利要求1所述的相机，进一步包括多个准直器和多个光源。
5.如权利要求1所述的相机，进一步包括用于处理记录的图像的数字信号处理单元。
6.如权利要求1所述的相机，其中成像传感器被构造为执行像素内解调。
7.如权利要求1所述的相机，其中光源是LED管芯的2x2LED阵列。
8.如权利要求1所述的相机，其中透镜阵列的厚度在50μm至10mm之间。
9.如权利要求1所述的相机，
其中透镜阵列包括玻璃载体、被模制在玻璃载体的相对侧上的两个聚合物层、以及应用于玻璃载体以选择性地更改光源的光的结构化掩模。
10.如权利要求9所述的相机，其中结构化掩模是结构化滤色器，用于在来自光源的光上施加二进制或颜色代码。
11.如权利要求1所述的相机，其中所述多个动态图案是非周期性的。
12.如权利要求9所述的相机，其中透镜阵列的所述多个透镜的中心分别偏移，以产生非周期性的动态图案。
13.如权利要求1所述的相机，其中所述多个动态图案是周期性的。
14.如权利要求1所述的相机，其中透镜阵列包括入射和出射透镜对，其中入射透镜充当傅立叶透镜并且出射透镜充当场透镜，并且其中每一对在像平面中创建子图像。
15.如权利要求1所述的相机，其中透镜阵列包括具有充当傅立叶透镜的入射透镜的第一透镜阵列和具有充当场透镜的出射透镜的第二透镜阵列，并且其中第一透镜阵列和第二透镜阵列具有单侧剖面并且被构造为彼此面对。
16.一种生成用于测量物体的多个动态图案的方法，该方法包括以下步骤：
以电子方式控制光源的多个离散区域中的每个离散区域的发光强度以生成用于准直器的结构化的光；
使用准直器将来自光源的结构化的光指引到透镜阵列上；
使用透镜阵列的多个透镜产生结构化的光的子图像，其中子图像被形成在透镜阵列的焦平面中以形成所述多个动态图案；
将所述多个动态图案聚焦到要测量的物体的表面上；
将多个反射图像成像到成像传感器上；
用成像传感器记录所述多个反射图像；以及
使用光源的调制信号处理记录的所述多个反射图像以获得物体的三维图像，
其中该方法进一步包括：使用光源按时间顺序生成能够叠加形成标准投影图案的多个部分投影图案，每个部分投影图案通过从标准投影图案省略一个或多个标记而得到，不同的部分投影图案具有移位关系，使得当按时间顺序生成所述多个部分投影图案以投影到物体的表面时，获得与投影标准投影图案时相同数量的3D数据点而物体的平均辐照度减小。
17.一种用于生成用于测量物体的多个动态图案的系统，该系统包括：
至少一个处理器，能够操作为：
以电子方式控制光源的多个离散区域中的每个离散区域的发光强度以生成用于准直器的结构化的光；
使用准直器将来自光源的结构化的光指引到透镜阵列上；
使用透镜阵列的多个透镜产生结构化的光的子图像，其中子图像被形成在透镜阵列的焦平面中以形成所述多个动态图案；
用照明光学器件将所述多个动态图案成像到要测量的物体的表面上；
用成像传感器记录来自物体的表面的多个反射图像；以及
使用光源的调制信号处理所述多个反射图像以获得物体的三维图像，
其中所述至少一个处理器进一步能够操作为：使用光源按时间顺序生成能够叠加形成标准投影图案的多个部分投影图案，每个部分投影图案通过从标准投影图案省略一个或多个标记而得到，不同的部分投影图案具有移位关系，使得当按时间顺序生成所述多个部分投影图案以投影到物体的表面时，获得与投影标准投影图案时相同数量的3D数据点而物体的平均辐照度减小。
CN201980045668.9A 2018-06-08 2019-06-07 用于在相机中生成动态投影图案的设备、方法和系统 Active CN112384167B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/003,592 US10986328B2 (en) 2018-06-08 2018-06-08 Device, method and system for generating dynamic projection patterns in a camera
US16/003,592 2018-06-08
PCT/US2019/035927 WO2019236934A1 (en) 2018-06-08 2019-06-07 Device, method and system for generating dynamic projection patterns in a camera

Publications (2)

Publication Number Publication Date
CN112384167A CN112384167A (zh) 2021-02-19
CN112384167B true CN112384167B (zh) 2022-02-18

Family

ID=67003735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980045668.9A Active CN112384167B (zh) 2018-06-08 2019-06-07 用于在相机中生成动态投影图案的设备、方法和系统

Country Status (6)

Country Link
US (1) US10986328B2 (zh)
EP (1) EP3801366B1 (zh)
JP (1) JP7450558B2 (zh)
KR (1) KR20210018420A (zh)
CN (1) CN112384167B (zh)
WO (1) WO2019236934A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11300806B2 (en) * 2018-11-08 2022-04-12 Brass Roots Technologies, LLC Multi-image projection method utilizing bit segment rate switching
US11317078B2 (en) * 2019-05-28 2022-04-26 Purdue Research Foundation Method and system for automatic exposure determination for high- resolution structured light 3D imaging
US10805549B1 (en) * 2019-08-20 2020-10-13 Himax Technologies Limited Method and apparatus of auto exposure control based on pattern detection in depth sensing system
US20210121049A1 (en) * 2019-10-24 2021-04-29 Align Technology, Inc. Window self-detection
CN111787301A (zh) * 2020-06-15 2020-10-16 广东朗呈医疗器械科技有限公司 镜头、三维成像方法、装置、设备及存储介质
EP3982113A1 (en) * 2020-10-06 2022-04-13 Sens-Tech Ltd. Method and apparatus for inspection of a subject article
CN112866774A (zh) * 2021-01-07 2021-05-28 福建捷联电子有限公司 一种具有多功能相机的显示器及其控制方法
EP4193905A1 (en) 2021-12-07 2023-06-14 Sopro SA Intraoral scanner, intraoral scanning system, method for performing intraoral scans and computer program product
EP4258040A1 (en) * 2022-04-08 2023-10-11 Himax Technologies Limited Structured light projector and three-dimensional image sensing apparatus
WO2023201596A1 (zh) * 2022-04-20 2023-10-26 华为技术有限公司 一种探测装置及终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694375A (zh) * 2009-10-23 2010-04-14 北京航空航天大学 一种用于强反射表面三维形貌测量的立体视觉检测方法
CN103649677A (zh) * 2011-07-13 2014-03-19 法罗技术股份有限公司 利用空间光调制器来查找物体的三维坐标的装置和方法
CN106537252A (zh) * 2014-05-06 2017-03-22 宁波舜宇光电信息有限公司 转光三维成像装置和投射装置及其应用
DE102016000415A1 (de) * 2016-01-19 2017-07-20 DüRR DENTAL AG Vorrichtung zum dreidimensionalen Erfassen einer Oberflächenstruktur

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4440613C1 (de) * 1994-11-14 1996-07-25 Leica Ag Vorrichtung und Verfahren zur Detektion und Demodulation eines intensitätsmodulierten Strahlungsfeldes
JP3776500B2 (ja) * 1996-03-26 2006-05-17 オリンパス株式会社 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置
RU2181498C1 (ru) * 2001-01-15 2002-04-20 Общество с ограниченной ответственностью "Лаборатория АМФОРА" Способ определения микрорельефа объекта и оптических свойств приповерхностного слоя, модуляционный интерференционный микроскоп для осуществления способа
JP2003050112A (ja) 2001-08-07 2003-02-21 Minolta Co Ltd 三次元形状入力装置及び投影装置
DE10304111B4 (de) 2003-01-31 2011-04-28 Sirona Dental Systems Gmbh Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts
JP4383840B2 (ja) 2003-12-11 2009-12-16 浜松ホトニクス株式会社 ３次元形状計測装置
EP2051042B1 (de) 2007-10-18 2010-11-03 Nectar Imaging S.r.l. Vorrichtung zur tomografischen Erfassung von Objekten
DE102007054907A1 (de) 2007-11-15 2009-05-28 Sirona Dental Systems Gmbh Verfahren zur optischen Vermessung von Objekten unter Verwendung eines Triangulationsverfahrens
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
DE102007058590B4 (de) 2007-12-04 2010-09-16 Sirona Dental Systems Gmbh Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts und Aufnahmevorrichtung
US8531650B2 (en) * 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
DE102008040947B4 (de) * 2008-08-01 2014-02-06 Sirona Dental Systems Gmbh 3D-Dentalkamera zur Erfassung von Oberflächenstrukturen eines Messobjekts mittels Triangulation
DE102008040949B4 (de) 2008-08-01 2012-03-08 Sirona Dental Systems Gmbh Optisches Projektionsgitter, Messkamera mit optischem Projektionsgitter und Verfahren zur Erzeugung eines optischen Projektionsgitters
JP2010067439A (ja) * 2008-09-10 2010-03-25 Harison Toshiba Lighting Corp 面発光装置および表示装置
EP2815264B1 (en) * 2012-02-16 2019-12-04 University of Washington Through Its Center for Commercialization Extended depth of focus for high-resolution image scanning
US10048504B2 (en) * 2012-12-31 2018-08-14 Iee International Electronics & Engineering S.A. Optical system generating a structured light field from an array of light sources by means of a refracting or reflecting light structuring element
DE102013013791B4 (de) * 2013-08-14 2015-03-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum berührungslosen Vermessen von Oberflächenkonturen
DE102013218231A1 (de) 2013-09-11 2015-03-12 Sirona Dental Systems Gmbh Optisches System zur Erzeugung eines sich zeitlich ändernden Musters für ein Konfokalmikroskop
US9389069B2 (en) * 2014-03-26 2016-07-12 Alces Technology, Inc. Compact 3D depth capture systems
US10772506B2 (en) * 2014-07-07 2020-09-15 Align Technology, Inc. Apparatus for dental confocal imaging
DE102015209402A1 (de) 2015-05-22 2016-11-24 Sirona Dental Systems Gmbh Vorrichtung zur optischen 3D-Vermessung eines Objekts
EP3165874B1 (en) * 2015-11-04 2020-08-19 Hexagon Technology Center GmbH Method and device for triangulation-based distance measurement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694375A (zh) * 2009-10-23 2010-04-14 北京航空航天大学 一种用于强反射表面三维形貌测量的立体视觉检测方法
CN103649677A (zh) * 2011-07-13 2014-03-19 法罗技术股份有限公司 利用空间光调制器来查找物体的三维坐标的装置和方法
CN106537252A (zh) * 2014-05-06 2017-03-22 宁波舜宇光电信息有限公司 转光三维成像装置和投射装置及其应用
DE102016000415A1 (de) * 2016-01-19 2017-07-20 DüRR DENTAL AG Vorrichtung zum dreidimensionalen Erfassen einer Oberflächenstruktur

Also Published As

Publication number Publication date
EP3801366A1 (en) 2021-04-14
US10986328B2 (en) 2021-04-20
CN112384167A (zh) 2021-02-19
US20190379881A1 (en) 2019-12-12
EP3801366B1 (en) 2024-02-28
JP2021527206A (ja) 2021-10-11
JP7450558B2 (ja) 2024-03-15
KR20210018420A (ko) 2021-02-17
WO2019236934A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
CN112384167B (zh) 用于在相机中生成动态投影图案的设备、方法和系统
CN112469361B (zh) 用于在共焦相机中生成动态投影图案的设备、方法和系统
US20180367786A1 (en) Three dimensional imaging apparatus with color sensor
US9885459B2 (en) Pattern projection using micro-lenses
JP4823212B2 (ja) 共焦点顕微鏡法の原理に基づく測定装置および方法
KR101906780B1 (ko) 공간 내의 광원 측정시스템
US20200060550A1 (en) Intraoral scanner
KR102040368B1 (ko) 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너
US9599463B2 (en) Object detection device
US9797708B2 (en) Apparatus and method for profiling a depth of a surface of a target object
CN107024850B (zh) 高速结构光三维成像系统
JP2023522755A (ja) 物体深度測定用照射パターン
US20190349569A1 (en) High-sensitivity low-power camera system for 3d structured light application
CN116124036A (zh) 一种三维扫描系统
JP6362058B2 (ja) 被検物の計測装置および物品の製造方法
Wang High resolution 2D imaging and 3D scanning with line sensors
JP3668466B2 (ja) 実時間レンジファインダ
CN220230446U (zh) 一种三维扫描系统
JPS62291512A (ja) 距離測定装置
JPS62291511A (ja) 距離測定装置
CN114697481A (zh) 简易的深度相机
JP2022070697A (ja) 三次元形状計測方法および三次元形状計測装置
JPH0789057B2 (ja) 距離測定装置
JPS62291510A (ja) 距離測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant