CN106796721B - 三维轮廓测量中根据多个相机和源的点云合并 - Google Patents
三维轮廓测量中根据多个相机和源的点云合并 Download PDFInfo
- Publication number
- CN106796721B CN106796721B CN201580047950.2A CN201580047950A CN106796721B CN 106796721 B CN106796721 B CN 106796721B CN 201580047950 A CN201580047950 A CN 201580047950A CN 106796721 B CN106796721 B CN 106796721B
- Authority
- CN
- China
- Prior art keywords
- spatial
- computer
- implemented method
- accumulator
- point clouds
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000005286 illumination Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 12
- 238000013442 quality metrics Methods 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 229910000679 solder Inorganic materials 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 16
- 239000000758 substrate Substances 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000003990 capacitor Substances 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000011449 brick Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004005 microsphere Substances 0.000 description 1
- 229920001610 polycaprolactone Polymers 0.000 description 1
- 238000001314 profilometry Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Optics & Photonics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
提供了一种用于测量三维表面的计算机实现的方法(100)和系统(60)。该方法包括在表面上投射结构化照明并获取多个图像集合。对所述多个图像集合进行处理以获得多个点云。限定(104)空间累加器。多个点云中的第一点云与多个点云中的第二点云组合到空间累加器中。基于空间累加器的内容生成(112)表面的空间坐标。
Description
技术领域
本发明的各方面涉及使用三角测量原理基于来自多个相机和结构化光源的图像数据来生成对象的复合表面轮廓。
背景技术
承载电子集成电路和分立电子部件的电路板是公知的。电路板基板上制备有用于容纳诸如集成电路芯片、电阻器或电容器之类的电子部件的引线的预定导体路径和焊盘。在电路板组装过程期间,焊膏(solder paste)沉积物被放置在板基板的适当位置处。通常通过以下来施加焊膏沉积物:将模板筛网(stencil screen)放置在基板上,通过模板开口施加焊膏并从基板移除模板。然后,电路板电子部件被置于基板上,优选地利用拾取和放置机器,其中电子部件的引线被放置在相应的焊膏沉积物上。在所有部件被定位在基板上之后,使电路板经过烘箱,以熔化焊膏沉积物,从而在部件和基板之间创建电以及机械连接。
焊膏沉积物和电子部件的尺寸以及它们必须放置在基板上的精确度随着对电子工业中的小型化的越来越强调而变得越来越小和越来越紧。焊膏沉积物高度可以小至50微米,并且焊膏砖的高度必须经常被测量到在设计高度和尺寸的1%以内。焊料砖之间的中心到中心间距有时小至200微米。焊膏过少可能导致电子部件的引线和电路板基板的焊盘之间没有电连接。焊膏过多可能导致部件的引线之间的桥接和短路。诸如电阻器和电容器之类的分立电子部件可以小至200×400微米,并且微球网格阵列部件上的引线的中心到中心间隔可以小于300微米。
单个电路板可能花费数千甚至数万美元来制造。在制备过程完成之后对电路板的测试可以检测焊膏放置和部件放置和引线连接中的误差,但是通常对于有故障的板的唯一补救措施是放弃整个板。另外,随着部件的小型化,即使利用光学放大,电路板的目视检查也不可靠。因此,必须在制备过程期间检查电路板,使得在将电子部件放置到基板上之前可以检测到不适当的焊膏沉积物。这种过程内焊料检查降低了故障成本,因为昂贵的部件还没有被放置在电路板上。
放置后,对部件进行检查以确保部件的适当放置也是重要的。部件放置不适当、部件缺失或焊接点较差是在部件放置和焊膏回流期间出现的典型缺陷。在回流之后,可以使用自动光学检查系统来检查部件的适当放置和回流焊接点的质量,以确保所有部件被适当焊接并连接到电路板。当前的光学检查系统使用电路板的二维视频图像来检测缺陷。然而,检测电路板的三维高度图像的光学检查系统使得能够对放置缺陷进行检测或以其他方式加以改进,所述放置缺陷为诸如引线抬起、封装共面性以及部件基碑(tombstone)和广告牌(billboard)等。
一种类型的三维检查系统使用相位轮廓测量。通常,相位轮廓测量系统使用单个相机和投影仪。然而,当使用了多个相机时,用户将需要使用诸如点云库(PCL)之类的工具将所得到的点云合并,所述点云库是开放源计算机视觉库。虽然PCL非常强大,但是对于在例如上面列出的那些高速自动检测系统中使用来说太慢。
发明内容
提供了一种用于测量三维表面的计算机实现的方法和系统。该方法包括在表面上投射结构化照明并获取多个图像集合。对所述多个图像集合进行处理以获得多个点云。限定空间累加器。多个点云中的第一点云与多个点云中的第二点云组合到空间累加器中。基于空间累加器的内容生成表面的空间坐标。
附图说明
图1示出了本文所述的实施例特别适合的多次反射问题。
图2是根据本发明的实施例的用于使用相控结构光的电路板的三维成像的多成像设备高度图像传感器的图解视图。
图3是根据本发明的实施例的用于使用相控结构光的电路板的三维成像的多成像设备高度图像传感器的图解视图。
图4是根据本发明的实施例的合并点云的方法的流程图。
图5是根据本发明的实施例的获取多个点云并将它们合并在一起的方法的流程图。
图6是绘制来自两个相机A和B的相同X-Y位置的复数值的示例。
图7示出了根据本发明的实施例在投射到规则空间累加器网格上时在倾斜观看相机中使用复数值的优点。
图8示出了相机从右侧观看的相同对象和投射图案。
图9示出了根据本发明的实施例的沿着空间累加器中的单个线对来自多个相机视图的复数值的合并。
图10A和10B示出了关于若干相机的结果的非线性混合(在这种情况下是几何中值)的优点。
图11示出了根据本发明的实施例的三个相机像素与待测表面的交叉点。
图12示出根据本发明的实施例如何将针对投射像素的信号分配到网格上。
具体实施方式
使用白光相控轮廓测量是用于光学地获取电路板的拓扑表面高度图像的公知技术。在美国专利No.6,750,899中描述了一种投射正弦图案条纹图案以生成3D轮廓的示例系统。三维轮廓或高度图可以通过以下来生成:将来自源的各种结构化光图案投射到对象上,用一个或多个相机记录图案,并适当地处理图像。由各种相机观看的图案由对象的形状来调制。对图案的调制进行分析,以生成三维点云。如本文所使用的,“点云”是在特定坐标系中的一组数据点以及指示质量度量的至少一个附加数据点。在三维坐标系中,点通常由X、Y和Z坐标限定。在美国专利No.6,750,899中描述了一种投射正弦图案条纹图案以生成3D轮廓的示例系统。
被检查对象中的陡峭斜坡和凹陷特征可以导致阴影和遮挡,因此期望组合多个点云以使得一个重建中的空白可以从另一重建中填充。下面参考图2描述示例性三维条纹投射装置。
结构化的光图案可以在被相机成像之前经历来自对象的多次反射。这些反射可能在基于图像创建的点云中引起严重的误差或噪声。闪光或高光对象使多次反射变差。
图1示出了多次反射问题。入射结构化照明在线10处示出,其在具有Z坐标值Z1的点A处从表面18反射出。反射的结构化照明的一部分12经过光学器件26并且由检测器15检测。然而,反射的入射照明的另一部分14作为线19从对象17的表面16反射出。该多次反射照明还经过光学器件26并且由检测器15检测。如果沿着线19的多次反射照明的强度远大于沿着线12的直接反射照明的强度,则点A的所报告的Z坐标将是其中线19与入射照明线10相交的Z2。因此,多次反射照明是该过程中的误差源。
存在点云降噪方法,但是由于通常的相位-轮廓测量重建过程可以极大地放大弱数据中的噪声,因此非常希望在其可能导致问题之前在处理的早期阶段降低弱数据的权重。此外,用于去除坏点的常规技术因为大部分数据可能由于遮挡和多次反射而被破坏而趋向于是无效的。需要一种用于合并点云以显著降低点云误差的改进方法,特别是对于有光泽的对象和部分遮挡的区域。
图2是根据本发明的实施例的用于使用相控结构化光的电路板18的三维成像的多成像设备高度图像传感器60的图解视图。图案投射源62耦接到控制器66并且通过用成像透镜22对空间光调制器(SLM)64成像而将结构化光图案30(图3所示)投射到电路板18上。在一个实施例中,SLM 64是可从德州仪器(例如TI部件号DLP5500)获得的数字微反射镜器件(DMD)。该器件并入了数字微反射镜阵列,该阵列可单独寻址,以在表面上形成任意图像。在操作中,在DMD阵列上对所需的结构化光图案进行编程。经编程的图像使得微反射镜中的每一个倾斜到两个位置中的一个,这两个位置对应于在单独反射镜的位置处的图像的像素强度值。对于高亮度的像素,倾斜的DMD将来自光源24的光通过成像透镜22反射到电路板18,从而产生亮像素。对于对应于结构化光图案30中的低亮度的像素,DMD反射镜的倾斜将来自光源24的光反射远离成像透镜22,从而在结构化光图案30中产生暗像素。通过改变发送到DMD的编程图像,可以生成所需的相移图像序列。使用诸如白光LED之类的亮光源24照明SLM64。两个相机52a、52b耦接到控制器66并且被配置为同时获取用结构化光图案30照明的电路板18的图像。相机52a、52b可以是在机器视觉中使用的若干图像感测技术中的任何一种,例如与将电路板18成像到检测器中的成像透镜26耦接的CCD或CMOS检测器。图案投射源62和相机52a、52b的光轴入射角之间的差表示高度传感器的三角测量角。
在操作中,光源24照明SLM 64,并且编程有高亮度值的像素反射光通过成像透镜22。成像透镜22将来自SLM 64的光投射到电路板18上。同时,两个相机52a、52b在照明周期期间获取电路板18的第一图像。然后将编程到SLM 64中的投射图案改变为具有第一正弦图案的部分相位距离的等效距离的相对相移的第二正弦图案,并且相机52a、52b获取第二图像。最后,被编程到SLM 64中的投射图案随后被改变为具有第一和第二正弦图案的部分相位距离的等效距离的相对相移的第三正弦图案,并且相机52a、52b获取第三图像。
使用SLM 64来生成结构化光图像序列具有优于使用机械移位的玻璃上铬中间掩模(chrome-on-glass reticle)的优点。利用玻璃上铬中间掩模,结构化光图案30与玻璃上铬图案固定,并且通过物理地移动中间掩模来生成具有不同相位的图像序列。物理地移动中间掩模是昂贵的并且需要倾向于机械磨损和最终失效的运动部件。此外,通常需要改变正弦图案的周期。通过改变正弦图案的周期,可以调整高度图像传感器的高度范围和高度分辨率。当在已经放置部件之后检查电路板时,改变传感器的高度范围是特别重要的,因为放置的部件的高度可以高于由中间掩模图案确定的传感器的高度范围。改变玻璃上铬中间掩模图案需要用另一个中间掩模物理地替换一个中间掩模,这通常在传感器的操作期间不能完成。
利用SLM 64,可以仅通过将数字阵列编程到控制器66中来将各种图案投射到电路板18上。通过将连续图像编程到控制器66,仅完成投射具有变化相位的图像序列。通过从控制器66存储器寻址连续图像,在不物理地移动中间掩模的情况下,投射相位图像序列。此外,通过改变编程到控制器66的图案的相位周期,可以在传感器的操作期间改变高度成像传感器62的高度分辨率和高度范围。
图3是根据本发明另一实施例的用于使用相控结构化光的电路板的三维成像的多成像设备高度图像传感器70的图解视图。在该实施例中,四个相机52a、52b、52c、52d被配置为从四个不同的入射角同时获取电路板18上的正弦结构化光图案30的图像。四个相机52a、52b、52c、52d入射角中的每一个相对于图案投射源62的投射入射角形成三角测量角。图案投射源62将正弦结构化光图案30投射到电路板18上。优选地,相机52a、52b、52c、52d被同时触发以获取正弦图案30的图像。图案投射源62投射具有第一正弦图案的部分相位距离的等效距离的相对相移的第二正弦图案,并且同时触发四个光学图像传感器52a、52b、52c、52d以获取第二图像集合。最后,被编程到图案投射源62中的投射图案随后被改变为具有第一和第二正弦图案的部分相位距离的等效距离的相对相移的第三正弦图案,并且相机52a、52b、52c、52d各自获取第三图像。虽然在图3中示出了具有单个投影仪的四个相机,本发明的实施例还包括与单个相机结合操作的多个投影仪。此外,本发明的实施例还包括利用多个投影仪操作的多个相机。图像被发送到控制器66,控制器66将图像集合处理成高度图像。
图4是根据本发明的实施例的合并点云的方法的流程图。方法100开始于块102,其中将若干不同的结构化光图案从一个或多个方向投射到对象上。这些投射图案中的每一个是用一个或多个相机成像的。接下来,在块104,对于给定的投影仪,限定三维表面,并且该表面上的空间阵列用作空间累加器。在块106,对于在块104中与投影仪相关联的每个相机,使用系统的校准几何结构来分析结构化图案图像,以确定由三维对象坐标构成的点云和对应于相机像素的一个或多个质量度量。在块108,将来自块106的每个点云坐标数学地投射到空间累加器上,其累加范围值(与空间阵列相关)和与范围值相关联的质量度量。在块110,产生对应于空间累加器中的每个元素的范围值和质量度量的复数值。接下来,在块112,针对空间累加器的每个元素合并复数值,以便产生针对空间累加器的每个元素的单个范围值和单个质量度量。各种方法可以用于合并,只要结果是减少或消除点云信息中的遮挡和/或多次反射的影响的单个点云。在块114,针对其他投影仪重复该方法,直到关于所有投影仪已经执行该方法。
图5是根据本发明的实施例的获取多个点云并将它们合并在一起的方法的流程图。方法150开始于块152,其中将至少三个不同图案顺序地投射到待测量的表面上,并且其图像由多个相机获取。优选地,图案是以三个不同相位呈现的正弦条纹图案。接下来,在块154,形成像素的灰度水平的组合,以便产生复数值(在直角坐标中表示,例如z=u+iv或在幅度和相位的极坐标中表示)。优选地,复数值的幅度表示值的质量,并且相位表示观察到的图案的空间信息(例如投射的正弦波的相位)。在块156,对像素的相位进行处理,以标识对应于像素的投射图案内的具有恒定相位的表面。在块158,系统的校准几何结构用于标识对应于像素的从相机到目标区中的光线。接下来,在块160,计算光线(块158)与所标识的表面(块156)之间的交叉点,以确定对应于像素的观察点的唯一三维坐标。在块162,校正相位以对应于标称包裹高度,并产生对应于像素的相位的校正后的复数值。在采用必须归一化到公共高度标度的多个相机的实施例中仅需要块162。在块164,将对应于像素的复数值累加到空间阵列中。在块166,针对所有相机的图像中的每个像素重复块154-164。应当注意,可以投射附加的多个图案集合,并且可以针对每个相机和投影仪对的特定图案集合生成附加点云。例如,可以改变条纹图案集合的方向,并且针对每个相机和投影仪对生成附加的点云。如本文所限定的,图案集合是使用特定图案获取的多个图像,其中该集合包含足够的图像信息以生成单个点云。一旦块166完成,方法150在块168处继续,其中空间阵列中的每个累加器的值被合并。该合并可以根据任何合适的技术来执行。一些示例性技术包括但不限于代数求和或几何中值。最后,在块170,对空间阵列中的每个累加器进行反正切运算,以导出该表面的范围图。
在针对给定的相机和投影仪对处理了每个像素之后,拥有值(x,y,z,r,m)的点云。r是归一化的反射率,并且m是由美国专利No.6,750,899中的等式(1)限定的条纹调制(对比度)。每个点具有3D坐标(x,y,z)以及反射率值和调制值。这个点云可以通过任何数量的方案或技术(参见Jagan Sankaranarayanan、Hanan Samet和Amitabh Varshney的论文,“Afast all nearest neighbor algorithm for applications involving large point-clouds.”Computers&Graphics 31,.(2)(2007),157-174,以及Ruwen Schnabel、RolandWahl和Reinhard Klein的论文“Efficient RANSAC for Point-Cloud Shape Detection.”Computer Graphics Forum.26,2(2007))来直接使用以辨别对象的真实形状。参考文献试图减少或消除点云中的误差或错失的数据。这些问题通常由遮挡或多次反射引起。
现有技术的局限性是满足现代印刷电路板组装线的显著速度要求所需的巨大计算负担。因此,需要快得多的方法以便服务于印刷电路板制造工业。本文公开的实施例将点云投射到称为空间累加器的点网格上。在一个实施例中,空间累加器是大致平行于点的空间范围的二维平面。在这些实施例中,空间累加器被配置为存储复数值,其中值的幅度表示某种质量测量,并且相位表示离某个参考表面(通常为平面)的距离。
投射过程产生不规则的像素网格,其中不规则性部分地由倾斜几何结构引起,并且部分地由非平坦形貌引起。其x-y坐标不正好位于2-D空间累加器的网格上的像素通过合适的图形保真内核(例如与双线性内插相关联的金字塔内核)来内插。作为投射处理的示例,图11示出了三个相机像素与要测量的表面的交叉点。相机像素光线与测量的投射图案位置的交叉点允许确定交叉点的校准的X、Y、Z位置。然后将这些点中的每一个投射到累加器网格上。对于所示的情况,网格是大致平行于点的空间区域的平面。然而,本文所述的实施例不限于测量大致平坦的表面。有效累加器网格的主要要求是网格中的每个累加器组合一些空间位置的估计。如果网格过度倾斜,则例如来自广泛分离的空间点的像素可能被不经意地组合成单个累加器。在实践中,累加器网格可以倾斜或翘曲成对于测量过程来说方便的任何形状。通常,如投射到累加器网格上的相机像素将不会正好位于网格点处。如果仅将像素值添加到最近的累加器网格点,则在空间位置的舍入中发生的误差将在重建中引起噪声,类似于公知的在将场景渲染到光栅设备时遭遇的图形保真问题。为了避免这个问题,每个像素应该在累加之前用精细的重建(图形保真)内核进行卷积。图12示出如何将用于投射的像素的信号分配到网格上;在该示例中应用双线性内插内核。与投射点相邻的像素中的每一个被递增该投射点的复数值乘以该像素中的内核的面积。针对每个投射的相机像素重复该过程,从而提供简单且快速的加权以及对累加器网格的复数相加。如下面将描述的,提供了到累加器网格中的这种简单相加的多个优点。该方法本身不同于用于生成三维对象的图像的“泼溅(splat)”过程,这是因为不需要在有序方向(例如从低到高)上遍历点云,还因为没有使用新值来覆盖累加器中的现有值。对于每个相机和投射图案的集合,提供表面形状的估计,并且用表面估计填充空间累加器。
估计量(estimator)可以被投射到除平面之外的一些合适的表面上。例如,如果期望目标对象是球体,则可以将估计量投射到球体上,其中球体的参数被调整以最佳地拟合估计量。
一种产生高度图像的容易方式是平均来自任何X、Y位置处的每个相机的高度估计。这种技术的主要优点是简单,但在抑制或消除多次反射的影响方面几乎没有帮助。
在一个实施例中,空间累加器的每个元素中的复数值(u+iv)可以被求和,其中u和v是复数像素值的实分量和虚分量。(备选地,复数像素可以表示为长度为√(u2+V2)和相位角为atan2(u,v)的矢量。在使用正弦条纹投射的实施例中,给定像素的范围值被编码为相位值的函数。在一个实施例中,质量度量被限定为Q=r×m,其向具有更高反射率和条纹对比度的像素分配更多权重。在该实施例中,复数点值的相位对点的高度(或者离空间累加器的标称零位置的距离)进行编码。
在复平面中的求和以低质量估计自动对像素解权重。图6是绘制来自两个相机A和B的相同X-Y位置的复数值的示例。来自相机A的强信号“A”具有被编码为相位角ΦA和矢量长度QA的高度,并且来自相机B的弱信号“B”具有被编码为相位角ΦB和矢量长度QB的高度。如果来自相机A和B的信号仅被转换为高度并且被平均,则结果是高度HA和HB之间的中间水平。在复域中添加矢量产生由强信号(矢量‘A’)支配的结果,其中较弱信号(矢量‘B’)的贡献小,所得到的高度被编码为相位角ΦCB。
图7示出了当投射到规则的空间累加器网格上时在倾斜观看相机中使用复数值的优点。上图示出了倾斜相机的像素可能如何映射到不规则表面拓扑上。每个像素观看目标上的点,其中点之间的间距取决于目标的局部拓扑。在投射正弦条纹图案的实施例中,每个像素可以测量投射到表面(投影仪未示出)上的相位和质量度量。图7的第二部分示出了测量的复数值,在每个像素位置处绘制了矢量图,其中水平轴是该像素处的信号的实分量(u)且垂直轴是在该像素处的信号的虚分量(iv)。每个像素的矢量图被绘制在它们适当的横向位置处。操作从测量的图像复数值和已经被清除(设置为0)的输出复数图像开始。为了简单起见,使用最近相邻采样技术而不是更正确的位置内插技术(例如,上述的双线性滤波器)来描述该操作。在最近相邻采样中,相机像素被投射到最近相邻空间网格位置。当它们被添加到累加器时,又查看每个相机像素:(1)最左边的像素仅被添加到累加器中的适当位置;(2)接下来的两个像素二者都与相同的累加器位置最接近,它们又被添加到累加器(因为使用复数值数据进行工作,所以这个和非常像相位值的加权平均);(3)在该示例中的接下来的三个像素均落在唯一的累加器位置中。注意,两个累加器网格点没有映射到它们的任何数据;这些网格位置保持零值(标记为没有信号强度)。
第二相机还可以观看相同的对象并以相同的方式处理。图8示出了相机从右侧观看的相同对象和投射图案。再次,示出了相机像素与每个相机像素的复数信号一起被映射到表面上。然后,将相机像素位置投射到空间累加器网格上。注意,左相机错过的像素位置可以被右相机观看到,反之亦然,以填充遮挡区域。
图9示出了沿着空间累加器中的单个线的来自多个相机视图的复数值的合并。为了清楚起见,省略了空间累加器的其它复数值。图9中的绘图的顶部行是左相机观察到的复数值,绘图的第二行是来自右相机的值。如果仅两个相机可用,则组合图像的最直接的方法是仅使复数值相加,如绘图的第三行上所示。注意,错过的值已被填充,并且所有相机一致的数据点产生更强的信号。
已经发现在实践中有利的是通过使用非线性技术(而不是复数值的简单相加)来组合若干相机的空间累加器。这些方案包括:使用几何中值和投票。在几何中值法中,各个复数值可以通过所谓的几何中值或L1估计量来组合,该估计量是复平面中的位置,其使到点的欧几里得距离之和最小化。该方案的优点是对离群值的优异抗性。投票方法使用最佳估计量,而其他则被丢弃。在统计文献中已经描述了许多鲁棒估计量,典型技术可以丢弃离群值(例如截断平均值)或去权重离群值(例如,温塞平均值(Winsorized mean))。有效地,这些工具投票出认为不准确的那些点。
图10A和10B示出了关于若干相机的结果的非线性混合(在这种情况下是几何中值)的优点。示出了单个累加器位置的实际结果;相机A和B得到在高芯片电容器附近的点的相对好的样本,相机C的结果被从电容器的侧面反射出的光的多次反射破坏。在绘图中,矢量的长度(复数值的幅度)表示每个相机的信号强度,矢量的方向(复数值的角度)表示每个相机的高度估计。复数值的绘图示出了相机A 191和B 192的类似结果,而相机C 193具有非常强但错误的值。仅取得三个值的总和或平均值194产生远离相机A和B值的值,单个离群值可能损害算术平均的结果。几何中值195(中心趋势的非线性估计)不受任何强度的单个离群值破坏。
几何中值的进一步使用是作为空间滤波器。在前一段中,描述了取得在单个位置处的若干估计的几何中值。还可以取得感兴趣对象周围的像素区的几何中值。例如,如果在具有四个相机的系统上使用3×3空间滤波器,则每个位置处存在四个估计以及还存在九像素的空间区。因此,将取得36个估计的几何中值。结果是比线性滤波器更耐噪声,并且不受诸如包裹之类的问题影响。
一旦点云被合并,则合并值可以用于提供与表面相关的三维信息。这样的信息尤其可以用于测量和/或检查等。
Claims (24)
1.一种测量三维表面的由计算机实现的方法,所述方法包括:
在所述三维表面上投射结构化照明并获取多个图像集合;
对所述多个图像集合进行处理,以获得多个点云,每个点云中的每个点具有实部和虚部,所述实部和所述虚部分别表示质量度量和空间值,所述质量度量与图像集合的反射率和条纹对比度有关;
限定空间累加器,该空间累加器被配置为在所述空间累加器中的网格的每个元素中接收点云信息;
将所述多个点云投射到所述空间累加器中;
将所述多个点云的多个复数值合并到所述空间累加器中;以及
基于所述空间累加器的合并内容生成所述三维表面的空间坐标。
2.根据权利要求1所述的由计算机实现的方法,其中,从不同的入射角投射所述结构化照明。
3.根据权利要求1所述的由计算机实现的方法,其中,所述多个图像集合包括第一图像集合和第二图像集合,其中所述第一图像集合和所述第二图像集合由不同的相机获取。
4.根据权利要求1所述的由计算机实现的方法,其中,所述多个图像集合包括第一图像集合和第二图像集合,并且通过投射两个不同的图案集合来获取所述第一图像集合和所述第二图像集合。
5.根据权利要求4所述的由计算机实现的方法,其中,所述两个不同的图案集合相对于彼此旋转。
6.根据权利要求1所述的由计算机实现的方法,其中,所述结构化照明是正弦条纹图案。
7.根据权利要求1所述的由计算机实现的方法,其中,获取多个图像集合包括通过投射具有不同相位的第一组三个正弦图案获取第一组三个图像。
8.根据权利要求1所述的由计算机实现的方法,其中,将所述多个点云合并到所述空间累加器中包括通过代数求和将所述多个点云合并到所述空间累加器中。
9.根据权利要求8所述的由计算机实现的方法,其中,所述质量度量被编码为幅度,并且所述空间值被编码为相位。
10.根据权利要求1所述的由计算机实现的方法,其中,将所述多个点云合并到所述空间累加器中包括非线性组合。
11.根据权利要求10所述的由计算机实现的方法,其中,所述非线性组合包括确定所述空间累加器中的每个元素的几何中值。
12.根据权利要求10所述的由计算机实现的方法,其中,所述非线性组合采用投票过程。
13.根据权利要求1所述的由计算机实现的方法,还包括:利用所述三维表面的空间坐标来提供与所述三维表面相关的信息。
14.根据权利要求13所述的由计算机实现的方法,其中,与所述三维表面相关的信息是检查信息。
15.根据权利要求13所述的由计算机实现的方法,其中,与所述三维表面相关的信息是测量信息。
16.根据权利要求1所述的由计算机实现的方法,其中,合并所述多个点云以减少由多次反射引起的误差。
17.一种用于测量三维表面的系统,所述系统包括:
结构化照明投影仪,被配置为在所述三维表面上投射结构化照明;
控制器,耦接到所述结构化照明投影仪,以控制所述结构化照明投影仪在所述三维表面上生成多个不同的结构化照明投射;
多个相机,每个相机耦接到所述控制器,其中,每个相机被配置为在每个不同的结构化照明投射呈现在所述三维表面上时获取所述三维表面的图像;
其中,所述控制器被配置为从每个相机接收图像信息并生成多个点云,每个点云中的每个点具有实部和虚部,所述实部和所述虚部分别表示质量度量和空间值,所述质量度量与所述图像的反射率和条纹对比度有关;以及
其中,所述控制器被配置为将所述多个点云投射到空间累加器中,然后将所述空间累加器中的多个点云的多个复数值合并为所述空间累加器的内容,并使用所述空间累加器的内容生成单个合并三维点云。
18.根据权利要求17所述的系统,其中,所述结构化照明投影仪包括空间光调制器。
19.根据权利要求18所述的系统,其中,所述空间光调制器耦接到所述控制器,以从控制器接收限定每个结构化照明投射的信号。
20.根据权利要求19所述的系统,其中,每个结构化照明投射包括正弦条纹图案,所述正弦条纹图案的相位与其他结构化照明投射不同。
21.根据权利要求17所述的系统,其中,所述控制器被配置为通过执行所述点云的代数求和来合并所述多个点云。
22.根据权利要求17所述的系统,其中,所述控制器被配置为通过非线性操作合并所述多个点云。
23.根据权利要求22所述的系统,其中,所述非线性操作包括确定相应点云中的对应点的几何中值。
24.根据权利要求22所述的系统,其中,所述非线性操作包括投票过程。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462048933P | 2014-09-11 | 2014-09-11 | |
US62/048,933 | 2014-09-11 | ||
PCT/US2015/049429 WO2016040634A1 (en) | 2014-09-11 | 2015-09-10 | Point cloud merging from multiple cameras and sources in three-dimensional profilometry |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106796721A CN106796721A (zh) | 2017-05-31 |
CN106796721B true CN106796721B (zh) | 2021-05-04 |
Family
ID=55455206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580047950.2A Active CN106796721B (zh) | 2014-09-11 | 2015-09-10 | 三维轮廓测量中根据多个相机和源的点云合并 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10346963B2 (zh) |
EP (1) | EP3194939B1 (zh) |
JP (1) | JP6457072B2 (zh) |
KR (2) | KR102025038B1 (zh) |
CN (1) | CN106796721B (zh) |
WO (1) | WO2016040634A1 (zh) |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9002719B2 (en) | 2012-10-08 | 2015-04-07 | State Farm Mutual Automobile Insurance Company | Device and method for building claim assessment |
US8872818B2 (en) * | 2013-03-15 | 2014-10-28 | State Farm Mutual Automobile Insurance Company | Methods and systems for capturing the condition of a physical structure |
US9885563B2 (en) * | 2014-10-10 | 2018-02-06 | Georgia Tech Research Corporation | Dynamic digital fringe projection techniques for measuring warpage |
WO2017045116A1 (en) | 2015-09-15 | 2017-03-23 | SZ DJI Technology Co., Ltd. | System and method for supporting smooth target following |
EP3368957B1 (en) | 2015-10-30 | 2022-02-09 | SZ DJI Technology Co., Ltd. | Systems and methods for uav path planning and control |
US10176527B1 (en) | 2016-04-27 | 2019-01-08 | State Farm Mutual Automobile Insurance Company | Providing shade for optical detection of structural features |
KR101865338B1 (ko) * | 2016-09-08 | 2018-06-08 | 에스엔유 프리시젼 주식회사 | 선폭 측정장치 및 이를 이용한 선폭 측정방법 |
FR3069941B1 (fr) * | 2017-08-03 | 2020-06-26 | Safran | Procede de controle non destructif d'une piece aeronautique et systeme associe |
JP2019057568A (ja) * | 2017-09-20 | 2019-04-11 | 日本電気株式会社 | 検査装置、検査方法およびプログラム |
CN109884074A (zh) * | 2017-12-06 | 2019-06-14 | 英业达科技有限公司 | 用于流水线的电路板元件检测的检测装置及其方法 |
CN109900248A (zh) * | 2017-12-07 | 2019-06-18 | 英业达科技有限公司 | 用于流水线的电路板元件检测的检测装置 |
JP6939501B2 (ja) * | 2017-12-15 | 2021-09-22 | オムロン株式会社 | 画像処理システム、画像処理プログラム、および画像処理方法 |
GB2569656B (en) * | 2017-12-22 | 2020-07-22 | Zivid Labs As | Method and system for generating a three-dimensional image of an object |
KR102464581B1 (ko) * | 2017-12-28 | 2022-11-07 | 현대오토에버 주식회사 | 스테레오 점군 처리장치 및 그 방법 |
KR102597197B1 (ko) | 2018-01-24 | 2023-11-01 | 사이버옵틱스 코포레이션 | 거울 표면을 위한 구조화 광의 투영 |
DE102018205191A1 (de) * | 2018-04-06 | 2019-10-10 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren und Anordnung zum Erfassen von Koordinaten einer Objektoberfläche mittels Triangulation |
WO2019213666A1 (en) * | 2018-05-04 | 2019-11-07 | Aquifi, Inc. | Systems and methods for three-dimensional data acquisition and processing under timing constraints |
CN108627121B (zh) * | 2018-05-15 | 2020-03-31 | 浙江中控太阳能技术有限公司 | 一种镜面面形检测装置及其检测方法 |
EP3573021B1 (de) | 2018-05-22 | 2020-07-08 | Sick Ag | Visualisieren von 3d-bilddaten |
JP6907277B2 (ja) * | 2018-08-30 | 2021-07-21 | コグネックス・コーポレイション | 歪みが低減された物体の3次元再構成を生成するための方法及び装置 |
US10883823B2 (en) * | 2018-10-18 | 2021-01-05 | Cyberoptics Corporation | Three-dimensional sensor with counterposed channels |
US11328380B2 (en) * | 2018-10-27 | 2022-05-10 | Gilbert Pinter | Machine vision systems, illumination sources for use in machine vision systems, and components for use in the illumination sources |
CN109813727B (zh) * | 2018-12-25 | 2021-08-03 | 苏州江奥光电科技有限公司 | 一种基于深度信息的pcb板焊接缺陷检测方法 |
WO2020159434A1 (en) * | 2019-02-01 | 2020-08-06 | Mit Semiconductor Pte Ltd | System and method of object inspection using multispectral 3d laser scanning |
US10346998B1 (en) * | 2019-02-25 | 2019-07-09 | Nurulize, Inc. | Method of merging point clouds that identifies and retains preferred points |
JP7399160B2 (ja) * | 2019-05-17 | 2023-12-15 | 株式会社ソニー・インタラクティブエンタテインメント | 光パターン照射制御装置及び光パターン照射制御方法 |
US11514610B2 (en) * | 2019-08-14 | 2022-11-29 | Tencent America LLC | Method and apparatus for point cloud coding |
CN110542392A (zh) * | 2019-09-06 | 2019-12-06 | 深圳中科飞测科技有限公司 | 一种检测设备及检测方法 |
CN110675440B (zh) * | 2019-09-27 | 2022-07-12 | 深圳市易尚展示股份有限公司 | 三维深度数据的置信度评估方法、装置和计算机设备 |
US10977855B1 (en) * | 2019-09-30 | 2021-04-13 | Verizon Patent And Licensing Inc. | Systems and methods for processing volumetric data using a modular network architecture |
US11348273B2 (en) * | 2020-02-25 | 2022-05-31 | Zebra Technologies Corporation | Data capture system |
KR102378138B1 (ko) * | 2020-03-16 | 2022-03-25 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 장치, 전송 방법, 처리 장치 및 처리 방법 |
US20230334711A1 (en) * | 2020-06-29 | 2023-10-19 | Lg Electronics Inc. | Point cloud data transmission device, transmission method, processing device, and processing method |
US20230328285A1 (en) * | 2020-09-17 | 2023-10-12 | Lg Electronics Inc. | Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device |
US20230388557A1 (en) * | 2020-10-07 | 2023-11-30 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
WO2022080982A1 (ko) * | 2020-10-16 | 2022-04-21 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치 |
KR102317182B1 (ko) * | 2020-11-25 | 2021-10-27 | 주식회사 리얼이매진 | 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치 |
KR102494890B1 (ko) * | 2020-12-17 | 2023-02-06 | 텔스타홈멜 주식회사 | 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템 |
CN113218330B (zh) * | 2021-04-27 | 2022-04-08 | 大连理工大学 | 基于pcl库的大型薄壁构件测量及数据处理方法 |
CN113513987B (zh) * | 2021-07-10 | 2023-04-18 | 深慧视(深圳)科技有限公司 | 一种3d点云坐标生成装置 |
TWI805077B (zh) * | 2021-11-16 | 2023-06-11 | 國立陽明交通大學 | 路徑規劃方法及其系統 |
KR102353287B1 (ko) * | 2021-12-08 | 2022-01-19 | (주)에이피엠텍 | 레이저 기반의 구조물 변위량 계측 장치를 이용한 위험감시 모니터링 시스템 |
CN114322916B (zh) * | 2021-12-21 | 2023-09-05 | 扬州瑞恩电器设备有限公司 | 一种蓄电池板栅变形监测模具 |
CN114705133B (zh) * | 2022-04-15 | 2023-05-26 | 电子科技大学 | 一种高度不连续镜面三维面形检测系统及方法 |
CN118010637B (zh) * | 2024-04-09 | 2024-06-07 | 江苏迪莫工业智能科技有限公司 | 一种生产工具用螺母检测系统及其检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008120882A1 (en) * | 2007-03-30 | 2008-10-09 | Intekplus Co., Ltd | Apparatus for inspection of three-dimensional shape and method for inspection using the same |
CN101608908A (zh) * | 2009-07-20 | 2009-12-23 | 杭州先临三维科技股份有限公司 | 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法 |
CN102003938A (zh) * | 2010-10-11 | 2011-04-06 | 中国人民解放军信息工程大学 | 大型高温锻件热态在位检测方法 |
WO2013058710A1 (en) * | 2011-10-18 | 2013-04-25 | Nanyang Technological University | Apparatus and method for 3d surface measurement |
WO2014074631A1 (en) * | 2012-11-07 | 2014-05-15 | Neva Ridge Technologies | Sar point cloud generation system |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5768443A (en) | 1995-12-19 | 1998-06-16 | Cognex Corporation | Method for coordinating multiple fields of view in multi-camera |
US6750899B1 (en) | 2000-01-07 | 2004-06-15 | Cyberoptics Corporation | Solder paste inspection system |
WO2003002935A1 (en) | 2001-06-29 | 2003-01-09 | Square D Company | Overhead dimensioning system and method |
FI20012204A0 (fi) * | 2001-11-13 | 2001-11-13 | Mapvision Oy | Pistepilvien yhdistäminen |
US20070057946A1 (en) * | 2003-07-24 | 2007-03-15 | Dan Albeck | Method and system for the three-dimensional surface reconstruction of an object |
US20070050156A1 (en) * | 2005-08-31 | 2007-03-01 | Janakiraman Vaidyanathan | Method for measuring the nozzle flow area between gas turbine engine vanes |
US7856125B2 (en) * | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
JP2009530614A (ja) * | 2006-03-16 | 2009-08-27 | デューク ユニバーシティ | フーリエ領域光コヒーレンス・トモグラフィーに基づく実時間直角位相投影を実行するための方法、システム及びコンピュータプログラム製品 |
CN101063967B (zh) * | 2006-04-28 | 2010-11-10 | 鸿富锦精密工业(深圳)有限公司 | 点云自动修剪系统及方法 |
JP5809628B2 (ja) * | 2009-09-22 | 2015-11-11 | サイバーオプティクス コーポレーション | カメラアレイ及びコンパクトな組み込み照明装置を備えた高速光学検査システム |
JP5595211B2 (ja) | 2010-10-12 | 2014-09-24 | キヤノン株式会社 | 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム |
JP5818341B2 (ja) * | 2010-12-13 | 2015-11-18 | 国立大学法人 和歌山大学 | 形状計測装置および形状計測方法 |
US8879828B2 (en) * | 2011-06-29 | 2014-11-04 | Matterport, Inc. | Capturing and aligning multiple 3-dimensional scenes |
KR101740259B1 (ko) * | 2011-10-07 | 2017-05-29 | 한국전자통신연구원 | 3차원 포인트 클라우드의 공간 분할 방법 |
US8844802B2 (en) * | 2011-12-20 | 2014-09-30 | Eastman Kodak Company | Encoding information in illumination patterns |
US9696534B2 (en) * | 2012-02-23 | 2017-07-04 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Multi-focal structured illumination microscopy systems and methods |
US20150181191A1 (en) * | 2012-06-13 | 2015-06-25 | Shima Seiki Mfg., Ltd. | Synthesis-parameter generation device for three-dimensional measurement apparatus |
US9183631B2 (en) * | 2012-06-29 | 2015-11-10 | Mitsubishi Electric Research Laboratories, Inc. | Method for registering points and planes of 3D data in multiple coordinate systems |
US20140037189A1 (en) * | 2012-08-02 | 2014-02-06 | Qualcomm Incorporated | Fast 3-D point cloud generation on mobile devices |
US20140198185A1 (en) * | 2013-01-17 | 2014-07-17 | Cyberoptics Corporation | Multi-camera sensor for three-dimensional imaging of a circuit board |
EP2801854B1 (en) * | 2013-05-10 | 2017-07-19 | Ruprecht-Karls-Universität Heidelberg | Method and apparatus for combination of localization microscopy and structured illumination microscopy |
-
2015
- 2015-09-10 CN CN201580047950.2A patent/CN106796721B/zh active Active
- 2015-09-10 KR KR1020187030431A patent/KR102025038B1/ko active IP Right Grant
- 2015-09-10 JP JP2017513733A patent/JP6457072B2/ja active Active
- 2015-09-10 US US14/850,470 patent/US10346963B2/en active Active
- 2015-09-10 EP EP15839305.8A patent/EP3194939B1/en active Active
- 2015-09-10 KR KR1020177009701A patent/KR101940936B1/ko active IP Right Grant
- 2015-09-10 WO PCT/US2015/049429 patent/WO2016040634A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008120882A1 (en) * | 2007-03-30 | 2008-10-09 | Intekplus Co., Ltd | Apparatus for inspection of three-dimensional shape and method for inspection using the same |
CN101608908A (zh) * | 2009-07-20 | 2009-12-23 | 杭州先临三维科技股份有限公司 | 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法 |
CN102003938A (zh) * | 2010-10-11 | 2011-04-06 | 中国人民解放军信息工程大学 | 大型高温锻件热态在位检测方法 |
WO2013058710A1 (en) * | 2011-10-18 | 2013-04-25 | Nanyang Technological University | Apparatus and method for 3d surface measurement |
WO2014074631A1 (en) * | 2012-11-07 | 2014-05-15 | Neva Ridge Technologies | Sar point cloud generation system |
Also Published As
Publication number | Publication date |
---|---|
JP6457072B2 (ja) | 2019-01-23 |
JP2017530352A (ja) | 2017-10-12 |
KR102025038B1 (ko) | 2019-09-24 |
KR20180117230A (ko) | 2018-10-26 |
EP3194939B1 (en) | 2021-11-03 |
US20160078610A1 (en) | 2016-03-17 |
KR20170083028A (ko) | 2017-07-17 |
EP3194939A4 (en) | 2018-05-09 |
EP3194939A1 (en) | 2017-07-26 |
WO2016040634A1 (en) | 2016-03-17 |
KR101940936B1 (ko) | 2019-01-21 |
CN106796721A (zh) | 2017-05-31 |
US10346963B2 (en) | 2019-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106796721B (zh) | 三维轮廓测量中根据多个相机和源的点云合并 | |
US10126252B2 (en) | Enhanced illumination control for three-dimensional imaging | |
US7804585B2 (en) | Creation of a range image | |
US20140198185A1 (en) | Multi-camera sensor for three-dimensional imaging of a circuit board | |
JP5055191B2 (ja) | 3次元形状計測方法および装置 | |
JP6184289B2 (ja) | 三次元画像処理装置、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
CN111971525B (zh) | 用立体镜测量物体的方法和系统 | |
JP2002509259A (ja) | 電子部品の三次元検査のための方法およびその装置 | |
CN112888913B (zh) | 具有对列通道的三维传感器 | |
JP2014115109A (ja) | 距離計測装置及び方法 | |
WO2020065850A1 (ja) | 3次元測定装置 | |
JP2019197018A (ja) | 平坦度検出方法、平坦度検出装置及び平坦度検出プログラム | |
CN112361991A (zh) | 一种三维扫描方法、装置、计算机设备和存储介质 | |
Ha et al. | A multi-view structured-light system for highly accurate 3D modeling | |
CN116892884A (zh) | 确定封装芯片的接触高度的系统和方法 | |
JP2003504607A (ja) | 電子部品の三次元検査装置及び方法 | |
JP2008170282A (ja) | 形状測定装置 | |
JP2016008837A (ja) | 形状測定方法、形状測定装置、構造物製造システム、構造物製造方法、及び形状測定プログラム | |
JP2019028004A (ja) | 三次元計測装置、及び三次元計測装置における異常検知方法 | |
Munaro et al. | Fast 2.5 D model reconstruction of assembled parts with high occlusion for completeness inspection | |
Hong et al. | Design of a multi-screen deflectometer for shape measurement of solder joints on a PCB | |
JPH07208950A (ja) | 表面形状3次元計測方法 | |
JP2022023490A (ja) | 数値演算処理装置 | |
CN117881959A (zh) | 外观检查装置以及外观检查方法 | |
JP2021050948A (ja) | 測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |