CN110207609A - 基于多种光谱的主动光的三维成像方法、装置及存储介质 - Google Patents
基于多种光谱的主动光的三维成像方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110207609A CN110207609A CN201910336447.9A CN201910336447A CN110207609A CN 110207609 A CN110207609 A CN 110207609A CN 201910336447 A CN201910336447 A CN 201910336447A CN 110207609 A CN110207609 A CN 110207609A
- Authority
- CN
- China
- Prior art keywords
- image
- micro
- pixel
- spectrum
- testee
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于多种光谱的主动光的三维成像方法、装置及存储介质，方案为：分别通过不同光谱的成像光源对被测物体进行照明，对被测物体进行成像得到图像序列；分别从各图像的同一位置确定一幅微图像/一个像素，所有的微图像/像素构成微图像集/像素序列；确定微图像集中最清晰的微图像/像素序列中边缘锐度最大的像素，最清晰的微图像/边缘锐度最大的像素所在的图像对应的光谱为目标光谱；根据目标光谱和预先获取的H‑G曲线确定目标光谱对应的目标高度，目标高度为被测物体上与微图像/像素对应点位的高度，H‑G曲线表示各光谱与被测物体高度的对应关系；根据目标高度和被测物体上与微图像/像素对应的点位确定被测物体的3D图像。
Description
技术领域
本申请涉及光学成像技术领域，尤其涉及一种基于多种光谱的主动光的三维成像方法、装置及存储介质。
背景技术
针对物体表面轮廓，如3D玻璃、透镜、印制电路板(printed circuit board，PCB)焊点等的测量，现有技术中，常见的测量方式有探针法和白光干涉法和共焦测量法。以探针法为例，其原理可包括根据探针在表面上的接触，扫描物体表面的轮廓形状。但探针法的接触式测量方式存在划伤物体表面的风险，而且探针磨损将对测量精度造成影响；而白光干涉法作为非接触式光学测量方法，虽然规避了接触式测量方法存在的问题，但是白光干涉仪光学系统中关键的光学元件——分光棱镜，无可避免的存在着厚度不均匀的问题，导致棱镜内两臂光程差不一致，造成对白光干涉系统性能的影响；而共焦量测法，其原理是以光学式垂直扫描的量测方式，来获得不同深度的光学切片影像，由针孔(pinhole)进行失焦信号的过滤，将聚焦区外的反射光与散射光滤除，保留聚焦面资讯，并由电脑将不同深度所得的光学切片影像重建起来，即可求得被测物体三维空间影像资讯。
以上这些测试方法均需要对物体表面进行扫描，通过获得的多个点或面的信息，利用计算机进行三维构建，这样就需要物体或者镜头进行复杂的机械运动，费时费力。
同时，现有技术中的测试方法难以实现高精度轮廓测量，尤其是在面对高度倾斜的平滑表面的结构或不同材料的被测物体时，会产生较大的误差。
发明内容
基于此，为解决现有技术中难以实现高精度轮廓测量，在面对高度倾斜的平滑表面的结构或不同材料的样品时，会产生较大的误差的技术问题，特提出了一种基于多种光谱的主动光的三维成像方法。
本申请第一方面提供了一种基于多种光谱的主动光的三维成像方法，包括：分别通过不同光谱的成像光源对被测物体进行照明，并对各光谱的成像光源照射下的被测物体进行成像，以采集所述被测物体的图像序列，所述图像序列包括所述被测物体在各光谱的成像光源照射下的图像；分别从各图像的同一位置确定一幅微图像/一个像素，所有的所述微图像/像素构成微图像集/像素序列；确定所述微图像集中最清晰的微图像/所述像素序列中边缘锐度最大的像素，所述最清晰的微图像/所述边缘锐度最大的像素所在的图像对应的光谱为目标光谱；根据所述目标光谱和预先获取的H-G关系曲线确定所述目标光谱对应的目标高度，所述目标高度为所述被测物体上与所述微图像/像素对应的点位的高度，所述H-G关系曲线表示所述各光谱与所述被测物体的高度的对应关系；根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位确定所述被测物体的3D图像。
在一种可能的实施例中，所述确定所述微图像集中最清晰的微图像/所述像素序列中边缘锐度最大的像素包括：计算所述微图像集/像素序列中每个微图像/像素的灰度梯度值；所述微图像集/像素序列中灰度梯度值最大的微图像/像素为最清晰的微图像/边缘锐度最大的像素。
在一种可能的实施例中，所述计算所述微图像集中每个微图像的灰度梯度值包括：
通过以下公式计算所述各微图像/像素的灰度梯度值：
其中，所述Fn(I)用于表示第n副图像上的所述微图像/像素的灰度梯度值，所述I(x，y，n)用于表示所述第n副图像上的所述微图像/像素的像素点(x，y，n)的灰度值。
在一种可能的实施例中，所述根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位确定所述被测物体的3D图像包括：根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位确定所述被测物体上与所述微图像/像素对应的点位的3D位置；获得所述被测物体上所有与所述微图像/像素对应的点位的3D位置，以拟合成所述被测物体的3D图像。
在一种可能的实施例中，所述根据所述目标光谱和预先获取的H-G关系曲线确定所述目标光谱对应的目标高度之前，所述根据所述目标光谱和预先获取的H-G关系曲线确定所述目标光谱对应的目标高度之前，所述方法还包括：分别通过不同光谱的成像光源对高度可调的标定物进行照明；对每种光谱的成像光源照射下的所述标定物进行成像，调节所述标定物的高度直至成像最清晰；记录每种光谱的成像光源照射下所述标定物成像最清晰时的高度值，以得到H-G映射表；根据所述H-G映射表中的高度值对所述H-G映射表进行排序和拟合，得到所述H-G关系曲线。
本申请第二方面提供了一种基于多种光谱的主动光的三维成像装置，包括：采集单元，用于分别通过不同光谱的成像光源对被测物体进行照明，并对各光谱的成像光源照射下的被测物体进行成像，以采集所述被测物体的图像序列，所述图像序列包括所述被测物体在所述各光谱照射下的图像；处理单元，用于分别从各图像的同一位置确定一幅微图像/一个像素，所有的所述微图像/像素构成微图像集/像素序列；确定所述微图像集中最清晰的微图像/所述像素序列中边缘锐度最大的像素，所述最清晰的微图像/所述边缘锐度最大的像素所在的图像对应的光谱为目标光谱；根据所述目标光谱和预先获取的H-G关系曲线确定所述目标光谱对应的目标高度，所述目标高度为所述被测物体上与所述微图像/像素对应的点位的高度，所述H-G关系曲线表示所述各光谱与所述被测物体的高度的对应关系；根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位确定所述被测物体的3D图像。
在一种可能的实施例中，所述处理单元包括：存储模块，用于存储所述H-G关系曲线；计算模块，用于计算所述微图像集/像素序列中每个微图像/像素的灰度梯度值，以确定所述微图像集中最清晰的微图像/所述像素序列中最清晰的像素；对标模块，用于根据所述H-G关系曲线和所述目标光谱，确定所述目标高度；构图模块，用于根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位构建所述被测物体的3D图像。
在一种可能的实施例中，所述计算模块具体用于：通过以下公式计算所述各微图像/像素的灰度梯度值：
其中，所述Fn(I)用于表示第n副图像上的所述微图像/像素的灰度梯度值，所述I(x，y，n)用于表示所述第n副图像上的所述微图像/像素的像素点(x，y，n)的灰度值。
在一种可能的实施例中，所述基于多种光谱的主动光的三维成像装置还包括获取单元，
所述获取单元用于，获取每种光谱的成像光源照射下高度可调的标定物成像最清晰时的高度值，以得到H-G映射表；根据所述H-G映射表中的高度值对所述H-G映射表进行排序和拟合，得到所述H-G关系曲线。
本申请实施例的第三方面提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本申请的第四方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
实施本申请实施例，将具有如下有益效果：
采用了上述基于多种光谱的主动光的三维成像方法、装置及存储介质之后，分别通过不同光谱的成像光源对被测物体进行照明，并对各光谱的成像光源照射下的被测物体进行成像，以采集所述被测物体的图像序列，所述图像序列包括所述被测物体在各光谱的成像光源照射下的图像；分别从各图像的同一位置确定一幅微图像/一个像素，所有的所述微图像/像素构成微图像集/像素序列；确定所述微图像集中最清晰的微图像/所述像素序列中边缘锐度最大的像素，所述最清晰的微图像/所述边缘锐度最大的像素所在的图像对应的光谱为目标光谱；根据所述目标光谱和预先获取的H-G关系曲线确定所述目标光谱对应的目标高度，所述目标高度为所述被测物体上与所述微图像/像素对应的点位的高度，所述H-G关系曲线表示所述各光谱与所述被测物体的高度的对应关系；根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位确定所述被测物体的3D图像。不需要对被测物体进行逐点逐面的扫描，无需复杂的被测物体与镜头之间的相对机械运动，对被测物体进行三维形态构造省时省力，另外，本发明的技术方案受被测物体的形貌和材料影响较小，精度较高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种可能的基于多种光谱的主动光的三维成像系统的示意图；
图2为本申请实施例提供的一种可能的高度测量方法的流程示意图；
图3为本申请实施例提供的一种可能的高度标定的过程示意图；
图4为本申请实施例提供的一种可能的H-G映射表；
图5为本申请实施例提供的一种可能的H-G关系曲线的示意图；
图6为本申请实施例提供的一种可能的图像序列采集的示意；
图7为本申请实施例提供的一种可能的F(I)-G关系曲线图；
图8为本申请实施例提供的一种可能的基于多种光谱的主动光的三维成像方法的流程示意图；
图9为本申请实施例提供的一种可能的基于多种光谱的主动光的三维成像装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开了一种基于多种光谱的主动光的三维成像方法、装置及存储介质，可以通过不同光谱的成像光源对被测物体进行照明，得到图像序列，并获得图像序列中一个相同位置的最清晰的微图像和该微图像的3D位置，进而获得图像序列中所有相同位置的最清晰微图像及其对应的3D位置，从而拟合出被测物体的3D图像。该方法简单高效，无需物体和镜头复杂相对运动的逐点逐面的扫描过程。以下进行结合附图进行详细描述。
请参阅图1，图1为一个实施例公开的一种基于多种光谱的主动光的三维成像系统的示意图。
如图1所示，该基于多种光谱的主动光的三维成像系统10可以包括：照明设备11、成像设备12、处理设备13。此外，图1所示的基于多种光谱的主动光的三维成像系统还包括存储器等，存储器存储有计算机指令，该处理设备13通过执行所述计算机指令用于实现基于多种光谱的主动光的三维成像装置所执行的步骤。需要说明的是，图1所示的基于多种光谱的主动光的三维成像系统可以包括但不限于图1所示的部件，还可以包括其他的部件，比如电源设备、收发设备等。
其中，照明设备11包括不同光谱的成像光源，例如多种不同光源的发光二极管。成像设备12可以在很宽的光谱波段范围内连续地采集图像。
处理设备13可以包括但不限于智能手机、笔记本电脑、个人计算机(PersonalComputer，PC)、个人数字助理(Personal Digital Assistant,PDA)、移动互联网设备(Mobile Internet Device，MID)等各类电子设备，其中，该控制设备的操作系统可包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Black Berry(黑莓)操作系统、Windows Phone8操作系统等等，本申请实施例不做限定。
具体的，所述照明设备11，用于通过不同光谱的成像光源对被测物体进行照明，并根据所述成像设备12对所述各光谱的成像光源照射下的被测物体进行成像，以采集所述被测物体的图像序列，所述图像序列包括所述被测物体在所述各光谱的成像光源照射下的图像；所述处理设备13，用于分别从各图像的同一位置确定一幅微图像/一个像素，所有的所述微图像/像素构成微图像集/像素序列；确定所述微图像集中最清晰的微图像/所述像素序列中边缘锐度最大的像素，所述最清晰的微图像/所述边缘锐度最大的像素所在的图像对应的光谱为目标光谱；根据所述目标光谱和预先获取的H-G关系曲线确定所述目标光谱对应的目标高度，所述目标高度为所述被测物体上与所述微图像/像素对应的点位的高度，所述H-G关系曲线表示所述各光谱与所述被测物体的高度的对应关系；根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位确定所述被测物体的3D图像。
需要说明的是，本领域技术人员应当能够理解，在能够从微图像集中分辨出最新清晰的微图像的前提条件下，本发明所述的微图像所包含的像素个数越少，则对被测物体的3D成像则精度越高，越是能够细致入微地探测被测物体的3D形貌。对于从像素序列中辨识边缘锐度最大的像素这种情况，边缘锐度最大的像素也就是物面聚焦的位置。利用微图像或者像素来实现被测物体的3D成像的技术实质相同，本发明着重介绍有关微图像的实施例的情形，对于利用像素进行被测物体的3D成像后续不再赘述。
在一些应用场景中，基于多种光谱的主动光的三维成像系统通过测得不同光谱对应的被测物体的高度，可以用于对具有阶梯形状的物体厚度测量，如金属或半导体器件表面阶梯镀层的测量；
在一些应用场景中，基于该基于多种光谱的主动光的三维成像系统的3D成像功能，可以用于物体或零件表面缺陷的检测，如金属、半导体、塑料等材料的表面缺陷检测。
请参阅图2，图2为本申请实施例提供的一种可能的高度测量方法的流程示意图。如图2所示，该高度测量方法可以包括以下步骤：
201、分别通过不同光谱的成像光源对被测物体进行照明，并对各光谱的成像光源照射下的被测物体进行成像，以采集被测物体的图像序列；
可以理解的是，在对具有不同高度的物体表面进行成像时，成像镜头会将不同波长的光聚焦在不同高度的焦平面上，当聚焦的光与探测器平面共轭时，则产生最清晰的图像，而光与探测器平面非共轭时，产生的图像不清晰。有鉴于此，本申请实施例中，使用多种不同波长的发光二极管(light emitting diode，LED)光源进行混光，可以获得多种不同光谱的成像光源。再通过获得的不同光谱的成像光源对被测物体进行照明，并对每一种光谱照射的被测物体进行成像，采集到被测物体的图像序列，其中，该图像序列包括被测物体在各光谱的成像光源照射下的图像。
需要说明的是，光谱(spectrum)是复色光经过色散系统(如棱镜、光栅)分光后，被色散开的单色光按波长(或频率)大小而依次排列的图案，全称为光学频谱。光谱中最大的一部分可见光谱是电磁波谱中人眼可见的一部分，在这个波长范围内的电磁辐射被称作可见光。光谱并没有包含人类大脑视觉所能区别的所有颜色，譬如褐色和粉红色。
202、获得被测物体的H-G关系曲线；
对不同组合的LED光源光谱对应的标定物高度进行标定，即确定出不同组合的LED光源光谱对应的高度，本申请实施例中，可以称为H-G关系曲线，H-G关系曲线表示各光谱与被测物体的高度的对应关系。
为便于理解，以下将对不同光谱对应高度的标定原理进行说明，请参阅图3，为本申请实施例提供的一种可能的高度标定的过程示意图，包括，使用某一种LED组合光源的光谱照射高度可调节的标定块，该标定块表面有明显的识别特征，标定块表面将该光谱的光线反射至相机进行成像，调节标定块的高度，直至相机的图像最清晰，记录此时标定块的高度。依此过程，标定出不同组合LED光谱对应的高度，得到H-G映射表，具体请参阅图4，为本申请实施例提供的一种可能的H-G映射表，包括各光谱的标识信息G1～Gn，以及与各光谱对应的高度H1～Hn，例如，光谱G1对应的标定块的高度即为H1，光谱G2对应的标定块的高度即为H2等。得到H-G映射表后，利用H-G映射表中的高度值对H-G映射表进行重新排序，本申请实施例中，该排序可以为从高到低的排序或者从低到高的排序，进行曲线拟合后得到H-G关系曲线图，具体地，如图5所示，为本申请实施例提供的一种可能的H-G关系曲线的示意图。
即本申请实施例中，可以理解为通过第一光谱照射可调节高度的标定块，该第一光谱为不同光谱中的任一光谱；调节标定块的高度直至标定块的成像最清晰，并记录成像最清晰时标定块的高度值，以得到H-G映射表，H-G映射表包括各光谱和与各光谱对应的所述标定块在成像最清晰时的高度值；根据H-G映射表中的高度值对H-G映射表进行排序，得到H-G关系曲线。
203、分别从各图像的同一位置确定一幅微图像，所有的所述微图像构成微图像集，并计算微图像集中各微图像的灰度梯度值，灰度梯度值最大的微图像就是最清晰的微图像；
本申请实施例中，在多种不同LED混合后的光谱分别对被测物体进行照射，如图6所示，为本申请实施例提供的一种可能的图像序列采集的示意图，得到G1，G2，G3，……Gn光谱对应的图像，来组成图像序列。选择该图像序列中的任一相同位置，并获得图像序列中各图像在该相同位置的微图像来得到微图像集。同时采用Brenner梯度函数进行计算，获得微图像集中各微图像的灰度梯度值F1(I)，F2(I)，F3(I)，F4(I)，F5(I)……Fn(I)，具体计算灰度梯度值的公式如下：
其中，Fn(I)用于表示第n副图像上的微图像的灰度梯度值，所述I(x，y，n)用于表示所述第n副图像上的微图像的的像素点(x，y，n)的灰度值。
计算得到微图像集中每个微图像的灰度梯度值后，找出最大的灰度梯度值的微图像，即为最清晰的微图像。在确定最清晰的微图像后，再确定该最清晰的微图像所在的图像，即对应找与该图像所对应的光谱，为便于描述，本申请实施例中，将微图像集中灰度梯度值最大的微图像即最清晰的微图像对应的光谱称为目标光谱。
可选的，本申请实施例中，还可通过F(I)-G关系曲线图来确定该目标光谱，如图7所示，为本申请实施例提供的一种可能的F(I)-G关系曲线图，其中，确定了最大灰度梯度值后，即可在F(I)-G关系曲线图找出对应的光谱Gi，该对应的光谱Gi为目标光谱。
204、根据目标光谱和H-G关系曲线确定目标光谱对应的目标高度。
在获得目标光谱后，根据步骤202获得的H-G关系曲线确定目标光谱对应的目标高度，其中，目标高度为被测物体上与微图像对应的点位的高度Hi。
本申请实施例中，通过该测量方法，在实际应用中，可以用于对具有阶梯形状的物体厚度测量，如金属或半导体器件表面阶梯镀层的测量。
请参阅图8，为本申请实施例基于图2所示的实施例所提供的一种基于多种光谱的主动光的三维成像方法，具体包括：
801、分别通过不同光谱的成像光源对被测物体进行照明，并对各光谱的成像光源照射下的被测物体进行成像，以采集被测物体的图像序列；
802、获得被测物体的H-G关系曲线；
803、分别从各图像的同一位置确定一幅微图像，所有的微图像构成微图像集，并计算微图像集中各微图像的灰度梯度值，灰度梯度值最大的微图像就是最清晰的微图像；
804、根据目标光谱和H-G关系曲线确定目标光谱对应的目标高度；
本申请实施例中，步骤801至804与图2所示的实施例步骤201至204类似，具体此处不再赘述。
805、根据目标高度和被测物体上与微图像对应的点位确定被测物体的3D图像。
在得到目标高度后，根据目标高度和被测物体上与微图像对应的点位确定被测物体的3D图像，具体地，根据目标高度和被测物体上与微图像对应的点位确定被测物体上与微图像对应的点位的3D位置；获得被测物体上所有的与微图像对应的点位的3D位置，以拟合成被测物体的3D图像。
本申请实施例中，通过该基于多种光谱的主动光的三维成像方法，可以用于物体或零件表面缺陷的检测，如金属、半导体、塑料等材料的表面缺陷检验。同时，本申请实施例中，不需要物体和镜头复杂的相对运动的逐点逐面的扫描过程；针对被测物体特殊的三维构型也能够快速精确地获取3D形貌。
请参阅图9，图9为一个实施例公开的一种基于多种光谱的主动光的三维成像装置的结构示意图。如图9所示，其中，图9所描述的基于多种光谱的主动光的三维成像装置可以用于执行图8所描述的基于多种光谱的主动光的三维成像方法中的部分或全部步骤，具体请参见图8中的相关描述，在此不再赘述。如图9所示，该基于多种光谱的主动光的三维成像装置可以包括：
采集单元901，用于通过不同光谱的成像光源对被测物体进行照明，并对所述各光谱的成像光源照射下的被测物体进行成像，以采集所述被测物体的图像序列，所述图像序列包括所述被测物体在所述各光谱的成像光源照射下的图像；
处理单元902，用于分别从各图像的同一位置确定一幅微图像，所有的所述微图像构成微图像集；确定所述微图像集中最清晰的微图像，所述最清晰的微图像所在的图像对应的光谱为目标光谱；根据所述目标光谱和预先获取的H-G关系曲线确定所述目标光谱对应的目标高度，所述目标高度为所述被测物体上与所述微图像对应的点位的高度，所述H-G关系曲线表示所述各光谱与所述被测物体的高度的对应关系；根据所述目标高度和所述被测物体上与所述微图像对应的点位确定所述被测物体的3D图像。
作为一种可选的实施方式，所述处理单元902包括：
存储模块9021，用于存储所述H-G关系曲线；
计算模块9022，用于计算所述微图像集中每个微图像的灰度梯度值，以确定所述微图像集中最清晰的微图像；
对标模块9023，用于根据所述H-G关系曲线和所述目标光谱，确定所述目标高度；
构图模块9024，用于根据所述目标高度和所述被测物体上与所述微图像对应的点位构建所述被测物体的3D图像。
作为一种可选的实施方式，所述计算模块9022具体用于：
通过以下公式计算所述微图像集中各微图像的灰度梯度值：
其中，所述Fn(I)用于表示第n副图像上的所述微图像的灰度梯度值，所述I(x，y，n)用于表示所述第n副图像上的所述微图像的像素点(x，y，n)的灰度值。灰度梯度值最大的微图像也就是微图像集中最清晰的微图像。
作为一种可选的实施方式，所述基于多种光谱的主动光的三维成像装置还包括获取单元903，
所述获取单元903用于，获取每种光谱的成像光源照射下高度可调的标定物成像最清晰时的高度值，以得到H-G映射表；根据所述H-G映射表中的高度值对所述H-G映射表进行排序和拟合，得到所述H-G关系曲线。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读存储介质中。其中，该计算机可读存储介质可以存储计算机程序，该计算机程序在被处理器执行时，可实现上述各个方法实施例中的步骤。其中，该计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random-Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例公开的一种信息调控方法、装置及系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于多种光谱的主动光的三维成像方法，其特征在于，包括：
分别通过不同光谱的成像光源对被测物体进行照明，并对各光谱的成像光源照射下的被测物体进行成像，以采集所述被测物体的图像序列，所述图像序列包括所述被测物体在各光谱的成像光源照射下的图像；
分别从各图像的同一位置确定一幅微图像/一个像素，所有的所述微图像/像素构成微图像集/像素序列；
确定所述微图像集中最清晰的微图像/所述像素序列中边缘锐度最大的像素，所述最清晰的微图像/所述边缘锐度最大的像素所在的图像对应的光谱为目标光谱；
根据所述目标光谱和预先获取的H-G关系曲线确定所述目标光谱对应的目标高度，所述目标高度为所述被测物体上与所述微图像/像素对应的点位的高度，所述H-G关系曲线表示所述各光谱与所述被测物体的高度的对应关系；
根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位确定所述被测物体的3D图像。
2.根据权利要求1所述的方法，其特征在于，所述确定所述微图像集中最清晰的微图像/所述像素序列中边缘锐度最大的像素包括：
计算所述微图像集/像素序列中每个微图像/像素的灰度梯度值；
所述微图像集/像素序列中灰度梯度值最大的微图像/像素为最清晰的微图像/边缘锐度最大的像素。
3.根据权利要求2所述的方法，其特征在于，所述计算所述微图像集中每个微图像的灰度梯度值包括：
通过以下公式计算各微图像/像素的灰度梯度值：
其中，所述Fn(I)用于表示第n副图像上的所述微图像/像素的灰度梯度值，所述I(x，y，n)用于表示所述第n副图像上的所述微图像/像素的像素点(x，y，n)的灰度值。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位确定所述被测物体的3D图像包括：
根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位确定所述被测物体上与所述微图像/像素对应的点位的3D位置；
获得所述被测物体上所有与所述微图像/像素对应的点位的3D位置，以拟合成所述被测物体的3D图像。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标光谱和预先获取的H-G关系曲线确定所述目标光谱对应的目标高度之前，所述方法还包括：
分别通过不同光谱的成像光源对高度可调的标定物进行照明；
对每种光谱的成像光源照射下的所述标定物进行成像，调节所述标定物的高度直至成像最清晰；
记录每种光谱的成像光源照射下所述标定物成像最清晰时的高度值，以得到H-G映射表；
根据所述H-G映射表中的高度值对所述H-G映射表进行排序和拟合，得到所述H-G关系曲线。
6.一种基于多种光谱的主动光的三维成像装置，其特征在于，包括：
采集单元，用于分别通过不同光谱的成像光源对被测物体进行照明，并对各光谱的成像光源照射下的被测物体进行成像，以采集所述被测物体的图像序列，所述图像序列包括所述被测物体在所述各光谱照射下的图像；
处理单元，用于分别从各图像的同一位置确定一幅微图像/一个像素，所有的所述微图像/像素构成微图像集/像素序列；确定所述微图像集中最清晰的微图像/所述像素序列中边缘锐度最大的像素，所述最清晰的微图像/所述边缘锐度最大的像素所在的图像对应的光谱为目标光谱；根据所述目标光谱和预先获取的H-G关系曲线确定所述目标光谱对应的目标高度，所述目标高度为所述被测物体上与所述微图像/像素对应的点位的高度，所述H-G关系曲线表示所述各光谱与所述被测物体的高度的对应关系；根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位确定所述被测物体的3D图像。
7.根据权利要求6所述的基于多种光谱的主动光的三维成像装置，其特征在于，所述处理单元包括：
存储模块，用于存储所述H-G关系曲线；
计算模块，用于计算所述微图像集/像素序列中每个微图像/像素的灰度梯度值，以确定所述微图像集中最清晰的微图像/所述像素序列中最清晰的像素；
对标模块，用于根据所述H-G关系曲线和所述目标光谱，确定所述目标高度；
构图模块，用于根据所述目标高度和所述被测物体上与所述微图像/像素对应的点位构建所述被测物体的3D图像。
8.根据权利要求7所述的基于多种光谱的主动光的三维成像装置，其特征在于，所述计算模块具体用于：
通过以下公式计算各微图像/像素的灰度梯度值：
其中，所述Fn(I)用于表示第n副图像上的所述微图像/像素的灰度梯度值，所述I(x，y，n)用于表示所述第n副图像上的所述微图像/像素的像素点(x，y，n)的灰度值。
9.根据权利要求6所述的基于多种光谱的主动光的三维成像装置，其特征在于：
该基于多种光谱的主动光的三维成像装置还包括有获取单元；
所述获取单元用于获取每种光谱的成像光源照射下高度可调的标定物成像最清晰时的高度值，以得到H-G映射表；根据所述H-G映射表中的高度值对所述H-G映射表进行排序和拟合，得到所述H-G关系曲线。
10.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910336447.9A CN110207609B (zh) | 2019-04-25 | 2019-04-25 | 基于多种光谱的主动光的三维成像方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910336447.9A CN110207609B (zh) | 2019-04-25 | 2019-04-25 | 基于多种光谱的主动光的三维成像方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110207609A true CN110207609A (zh) | 2019-09-06 |
| CN110207609B CN110207609B (zh) | 2021-03-23 |
Family
ID=67786284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910336447.9A Active CN110207609B (zh) | 2019-04-25 | 2019-04-25 | 基于多种光谱的主动光的三维成像方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110207609B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111406198A (zh) * | 2020-02-24 | 2020-07-10 | 长江存储科技有限责任公司 | 用于半导体芯片表面形貌计量的系统和方法 |
| CN112747822A (zh) * | 2020-07-17 | 2021-05-04 | 奕目(上海)科技有限公司 | 一种三维成像系统和方法 |
| US11243067B2 (en) | 2020-02-24 | 2022-02-08 | Yangtze Memory Technologies Co., Ltd. | Systems and methods for semiconductor chip surface topography metrology |
| US11448499B2 (en) | 2020-02-24 | 2022-09-20 | Yangtze Memory Technologies Co., Ltd. | Systems and methods for semiconductor chip surface topography metrology |
| US11454491B2 (en) | 2020-02-24 | 2022-09-27 | Yangtze Memory Technologies Co., Ltd. | Systems having light source with extended spectrum for semiconductor chip surface topography metrology |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08152418A (ja) * | 1994-11-29 | 1996-06-11 | Nikon Corp | 光電子分光計測装置 |
| JP2007101250A (ja) * | 2005-09-30 | 2007-04-19 | Fujifilm Corp | 光断層画像化方法 |
| CN101680749A (zh) * | 2007-04-13 | 2010-03-24 | 迈克尔·施韦特纳 | 具有深度鉴别的光学再现的方法和装置 |
| CN101872064A (zh) * | 2009-04-24 | 2010-10-27 | 陈亮嘉 | 线型多波长共焦显微镜模块以及其共焦显微方法与系统 |
| US20140187931A1 (en) * | 2012-12-05 | 2014-07-03 | Fred Wood | System for Detecting Fluorescence and Projecting a Representative Image |
| CN104458665A (zh) * | 2014-12-28 | 2015-03-25 | 冶金自动化研究设计院 | Libs成分分析中光谱空间分布的测量装置及方法 |
| CN106950560A (zh) * | 2017-01-16 | 2017-07-14 | 东莞市三姆森光电科技有限公司 | 一种多维光谱共焦测距软件 |
| CN107621235A (zh) * | 2017-08-26 | 2018-01-23 | 东莞市三姆森光电科技有限公司 | 基于光谱共焦技术的手机曲面外壳轮廓测量方法及其测量设备 |
| CN108775875A (zh) * | 2018-08-31 | 2018-11-09 | 苏州大学 | 一种基于色散光谱编码的微结构形貌测量方法及其装置 |
-
2019
- 2019-04-25 CN CN201910336447.9A patent/CN110207609B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08152418A (ja) * | 1994-11-29 | 1996-06-11 | Nikon Corp | 光電子分光計測装置 |
| JP2007101250A (ja) * | 2005-09-30 | 2007-04-19 | Fujifilm Corp | 光断層画像化方法 |
| CN101680749A (zh) * | 2007-04-13 | 2010-03-24 | 迈克尔·施韦特纳 | 具有深度鉴别的光学再现的方法和装置 |
| CN101872064A (zh) * | 2009-04-24 | 2010-10-27 | 陈亮嘉 | 线型多波长共焦显微镜模块以及其共焦显微方法与系统 |
| US20140187931A1 (en) * | 2012-12-05 | 2014-07-03 | Fred Wood | System for Detecting Fluorescence and Projecting a Representative Image |
| CN104458665A (zh) * | 2014-12-28 | 2015-03-25 | 冶金自动化研究设计院 | Libs成分分析中光谱空间分布的测量装置及方法 |
| CN106950560A (zh) * | 2017-01-16 | 2017-07-14 | 东莞市三姆森光电科技有限公司 | 一种多维光谱共焦测距软件 |
| CN107621235A (zh) * | 2017-08-26 | 2018-01-23 | 东莞市三姆森光电科技有限公司 | 基于光谱共焦技术的手机曲面外壳轮廓测量方法及其测量设备 |
| CN108775875A (zh) * | 2018-08-31 | 2018-11-09 | 苏州大学 | 一种基于色散光谱编码的微结构形貌测量方法及其装置 |
Non-Patent Citations (3)
| Title |
|---|
| CUI MA等: "An efficient calibration method for multi-spectral imaging", 《OPTICS COMMUNICATIONS》 * |
| 朱清溢等: "基于最大色差彩色组合编码的三维面形测量方法", 《激光技术》 * |
| 李绪琴等: "基于正交光栅投影的快速调制度测量轮廓术", 《光子学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111406198A (zh) * | 2020-02-24 | 2020-07-10 | 长江存储科技有限责任公司 | 用于半导体芯片表面形貌计量的系统和方法 |
| CN111406198B (zh) * | 2020-02-24 | 2021-02-19 | 长江存储科技有限责任公司 | 用于半导体芯片表面形貌计量的系统和方法 |
| US11243067B2 (en) | 2020-02-24 | 2022-02-08 | Yangtze Memory Technologies Co., Ltd. | Systems and methods for semiconductor chip surface topography metrology |
| US11448499B2 (en) | 2020-02-24 | 2022-09-20 | Yangtze Memory Technologies Co., Ltd. | Systems and methods for semiconductor chip surface topography metrology |
| US11454491B2 (en) | 2020-02-24 | 2022-09-27 | Yangtze Memory Technologies Co., Ltd. | Systems having light source with extended spectrum for semiconductor chip surface topography metrology |
| US11562919B2 (en) | 2020-02-24 | 2023-01-24 | Yangtze Memory Technologies Co., Ltd. | Systems and methods for semiconductor chip surface topography metrology |
| US11796307B2 (en) | 2020-02-24 | 2023-10-24 | Yangtze Memory Technologies Co., Ltd. | Systems and methods for semiconductor chip surface topography metrology |
| CN112747822A (zh) * | 2020-07-17 | 2021-05-04 | 奕目(上海)科技有限公司 | 一种三维成像系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110207609B (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110207609A (zh) | 基于多种光谱的主动光的三维成像方法、装置及存储介质 | |
| US11889979B2 (en) | System and method for camera calibration | |
| US9801548B2 (en) | Apparatus and method for fluorescence imaging and tomography using spatially structured illumination | |
| CN104515469B (zh) | 用于检查微观样本的光显微镜和显微镜学方法 | |
| TW200417753A (en) | Fast 3D height measurement method and system | |
| CN113375583A (zh) | 光路系统、单目三维图像采集系统及三维应变检测系统 | |
| CN104024793A (zh) | 形状检查方法及其装置 | |
| CN111288902B (zh) | 一种双视场光相干断层扫描成像系统及材料厚度检测法 | |
| CN112833812B (zh) | 用于检验样品的测量仪器和用于确定样品高度图的方法 | |
| CN115950890B (zh) | 用于工业检测的谱域光学相干层析成像检测方法及系统 | |
| US11986311B2 (en) | System and method for 3D reconstruction | |
| CN108291870A (zh) | 用于确定样本介质的波长相关折射率的光显微镜和方法 | |
| EP3849396A1 (en) | Apparatus and methods for calibrating optical measurements | |
| Middendorf et al. | Miniaturization of borescopic fringe projection systems for the inspection in confined spaces: a methodical analysis | |
| CN108955568A (zh) | 无需轴向扫描的表面三维形貌检测装置及其使用方法 | |
| US11231375B2 (en) | Apparatus for high-speed surface relief measurement | |
| Nadeau et al. | Component and system evaluation for the development of a handheld point-of-care spatial frequency domain imaging (SFDI) device | |
| Mielke | Metrics and characterization of 3D cameras for facial biometric applications | |
| CN105008903A (zh) | 用于分析衬底的表面的方法和设备 | |
| Ammann et al. | Enhancing the performance of light field camera by pattern projection | |
| Hernández-Montes et al. | Finding the position of tumor inhomogeneities<? xpp qa?> in a gel-like model of a human breast using 3-D pulsed digital holography | |
| CN116045841B (zh) | 聚焦曲线的拟合方法、拟合装置及测量系统 | |
| US20240168272A1 (en) | Method and device for microscopy | |
| RU2236032C1 (ru) | Способ определения группы рассеивающих частиц в оптически прозрачных средах | |
| CN110411983A (zh) | 一种高分辨率衍射成像方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |