CN108088386B - 一种微纳米量级的二元面结构光检测方法及系统 - Google Patents

Abstract

本发明提供一种微纳米量级的二元面结构光检测方法及系统，该方法采用二元面结构光，采用LED光照射后采集的反射光强信息和图像确定目标物体的轮廓信息，再由计算机控制机械手臂位移一定距离坐标至目标大概位置，之后由光纤束传输投射编码面结构光，采集放大后的调制光信息图像进行三维重建获取微小目标的三维信息，最终引导机器人获得微纳米器件的精准位置及结构状态，使机器人实现微纳米器件的检测及组装功能。本发明的有益效果是：本发明基于面结构光的三维点云和由曲面深度变化引起的光辐照度变化获得的三维信息，光强变化的信息可以生成另外一组三维数据，利用两种不同特性参量的点云数据，将点云数据融合，增强系统结构光测量的精度。

Description

一种微纳米量级的二元面结构光检测方法及系统

技术领域

本发明涉及三维重建技术领域，尤其涉及一种微纳米量级的二元面结构光检测方法及系统。

背景技术

迄今为止，众多国内外学者及公司对微纳米级测量进行了研究并取得一些成功。常见的微纳米测量技术根据其工作原理可分为触发式和非接触式测量。1981年美国IBM公司研制成功的扫描隧道显微镜(STM)，把人们带入了微观世界。STM具有极高的空间分辨率，平行和垂直于表面的分辨率分别达到0.1nm和0.01nm，即可分辨出单个原子，广泛用于表面科学，材料科学和生命科学等研究领域。为了弥补STM只限于观测导体和半导体表面结构的缺陷，G.Binnig等人发明了原子力显微镜(AFM),AFM利用微探针在样品表面划过时带动高敏感的微悬臂梁随表面起伏而上下运动，通过光学方法或隧道电流检测出微悬臂梁的位移,实现探针尖段原子与表面原子间排斥力检测，从而得到表面形貌信息，但AFM的缺点在于成像范围太小，速度慢，受探头的影响太大。1988年中国科学院化学所研制成功国内首台具有原子分辨率的AFM。安装有微型光纤传导激光干涉三维测量系统，可自校准和进行绝对测量的计量型原子力显微镜可使目前纳米测量技术定量化。1989年R.C.Reddick等制成光子扫描隧道显微镜PSTM，其机理与STM相似，分辨率优于光波半波长值。而且可以利用光学显微镜成熟的多种成像机制和方法研究观察大气条件下的透明体等一般电子显微镜和扫描隧道显微镜难以解决的课题。英国National Physical Laboratory(NPL)研制了以电容传感器构建检测系统、以铍青铜悬臂为主构建灵敏杠杆机构的微纳米测头系统，分辨力为3nm，三维测量不确定度为50nm。德国联邦物理技术研究所(physikalisch technischebundesantalt,PTB)研制的基于Werth的三坐标测量机由一个光学测量系统和两个接触式三维微传感系统组成，分辨力为10nm,该测头可以实现宽30μm，深100μm的微槽内尺寸测量。

国内的清华大学李达成等研制成功在线测量超光滑表面粗糙度的激光外差干涉仪，该仪器以稳频半导体激光器作为光源，共光路设计提高了抗外界环境干扰的能力，其纵向和横向分辨率分别为0.39nm和0.73μm。中国计量科学研究院、清华大学等研制了用于大范围纳米测量的差拍法―珀干涉仪，其分辨率为0.3nm，测量范围±1.1μm，总不确定度优于3.5nm。台湾大学和合肥工业大学的范光照教授等人研制出的接触触发式测头，使用四只DVD光学读取头作为位移传感器而开发的三维纳米测头，该探头的接触力为109μN,触发重复性为10nm。

尽管在国内外很多研究机构已经在多种微纳米级的测量上已经突破了一些技术瓶颈，基于三维纳米测量(Nano-CMM)技术我国也已有国家课题支持。但总体上还是有一些缺陷：

(1)对于接触式测量，横向力影响图像质量，横向力与粘着力的合力导致图像空间分辨率降低，而且针尖刮擦样品会损坏软质样品。

(2)测速：对于接触式测头，为保证测量力，则要使测头的刚度减小，从而导致谐振频率低，动态响应慢。系统自身的抖动也可能降低其测量质量。

(3)对于目前已有的设备，大多数都为系统庞大、设备昂贵、不能移动等因素，不利于各种灵活测量，且需要在特定的环境下完成测量。

发明内容

本发明提供了一种，包括如下步骤：

第一步：对CCD摄像机及面结构光投影仪进行标定；

第二步：由LED灯发出定向光源，经过物方像方远心镜组，将光源面积缩小后进入光纤束，光源经过光纤束投射至微小目标物体所在场景，反射的光线通过高倍显微镜放大，CCD摄像机获取放大后的图像并将图像传送至视觉处理系统，由视觉处理系统的自适应目标轮廓识别模块匹配出与目标物体近似的轮廓，得出待测物在平面的坐标及复杂度信息，对目标物体的位置进行粗略对准；

第三步：根据自适应目标识别轮廓模块得出的轮廓信息，然后根据显微透镜参数计算出的原始未放大的图像的相对面积，对结构光进行编码，使面结构光的精度满足目标物体的复杂度及大小，面结构光经过物方像方远心镜组，将面结构光投影仪投射出的光缩小后进入光纤束，经光纤束传输，从光纤束末端投射出至第二步中粗对准的微小目标物体表面；

第四步：CCD摄像机获取经由高倍显微镜放大后的结构光调制图像，然后对图像进行解码，利用光学三角法进行三维坐标变换，求解图像的深度信息。

作为本发明的进一步改进，该二元面结构光检测方法还包括：

第五步：在放大后的调制图像中进行坐标变换得到的结构光三维点后，将结构光特征点和LED光轮廓获取的梯度信息、边缘强度信息参量结合，将轮廓的多参量信息与三维点云的分割信息结合，在像素平面中，将邻接的结构光点生成网格线，在网格线和梯度信息的交叉处插入新的三维点，更新插入新三维点云后进一步细化三维网格，新插入三维点的深度信息由细分规则得出；进行曲面拟合，得到最终的三维图像。

作为本发明的进一步改进，面结构光投影仪采用现场标定方法，步骤如下：

第1步：获取标定棋盘及投影光源照片；

第2步：平面的世界坐标系获取，通过4组标定板照片上的特征点照片，可以获取4组标定板所在平面的世界坐标系；

第3步：平面上各个角点世界坐标的获取，由于标定板所在的平面世界坐标系和网格结构光所在的平面为同一平面，根据各网格的交点在图像上的坐标，可以获得所有网格相交的角点所在的世界坐标系上的空间位置，通过对网格照片的阈值化，检测亚像素级角点，获取所有网格角点在图像坐标系中的位置；

第4步：各网格角点标定参数的获取，令被测物体的世界坐标系为{W}，摄像机坐标系为{C}，结构光坐标系为{P}，角点P_p(U_p,V_p)，照射到被测物上点P_w(X_w,Y_w,Z_w)，P_w在图像平面上成像点位P_c(U_c,V_c),光平面上的结构光点P_p(U_p,V_p)，和在世界坐标系上的坐标值P_w(X_w,Y_w,Z_w)，可以推出其满足以下关系：

式中:K是非零系数；A_P是光信息编码结构光的内约束参数矩阵，R与T分别表示结构光坐标系关于靶标所在世界坐标系之间的旋转矩阵和平移向量，即需要通过标定，求得A_P，R与T的值，得到网格角点在光平面和世界坐标系上的转换公式，根据4组各角点所在的世界坐标系上的位置，代入角点在光平面和世界坐标系上的转换公式(1)，可以求得A_P，R与T的值，即得到角点在光平面和世界坐标系上的转换公式。

作为本发明的进一步改进，在所述第1步中，包括如下步骤：

第(1)步：在工作台上，放置一四角高低可调平面板，在平面板上放置摄像机平面标图案，该标定板的设计采用2*2像素为一格，总数为11*15格的黑白微小棋盘板，通过微调节螺母改变标定板的姿态，CCD摄像机拍摄一张经由显微透镜组放大后的标定板图像；

第(2)步：拿走标定板，保持可调平面板不动，打开结构光源后再由CCD摄像机拍摄一张照片；

第(3)步：移动平面物件的姿态和位置，重复第(1)步和第(2)步，共计获取4组照片，其中标定板画面照片4张，结构光画面图片4张。

作为本发明的进一步改进，所述CCD摄像机标定的方法包括如下步骤：

A.在工作台上，放置一四角高低可调平面板，在平面板上放置制作好的微小标定棋盘格，通过调节改变标定板的姿态，由CCD摄像机拍摄多张经由显微透镜组放大后的标定板图像；

B.检测出各个放大后标定板中的特征点；

C.根据特征点求出CCD摄像机的内参数和外参数；

D.根据内外参数求出畸变系数；

E.最后优化参数，减少运算量，保证校正精度；

标定软件提取每张不同姿态的图片中标定板上特征点的位置，标定完成后，生成标定参数文件，通过标定后，利用标定参数对图像进行校正，使畸变的图像恢复正常。

作为本发明的进一步改进，在所述第五步中，光电探测器获取场景中的各个物体的轮廓反射光强信息，对场景轮廓与目标物体本身轮廓进行对比，确定与目标物体相对应的轮廓区域，并确定目标物体与其所在区域的占比面积，通过对目标区域的初步确定及面积大小的判断，系统自适应的给出一定波长的面结构光光源进行投影，该结构光的参量如光点间隔依据物件的大体轮廓而定。用CCD摄像机采集经物体表面调制变形的结构光图像，通过对变形结构光图像的分析，建立投影到物体表面上一点的结构光投影点和其在变形结构光图像中成像点之间的对应关系，然后根据三角测量原理计算出物体表面结构光点出的深度。

作为本发明的进一步改进，在所述第五步中，包括如下步骤：

a.利用LED光反射辐照度信息，进行不同光波长过滤后通道提取和利用Sobel算子，分别得到RGB三通道在锐利边缘处的梯度信息；

b.利用辐照度变化的关系消除因面结构光衍射部分带来的误差；

c.由稳定光源LED定向光确定的微小物体的轮廓，在轮廓处由步骤a得到的梯度信息，光强信息，结合结构光相邻点云的梯度信息进一步细化目标物体的曲面程度；

d.将结构光点和梯度信息结合，在像素平面中，将邻接的结构光点连线，在连线和梯度信息的交叉处插入新的三维点，新插入三维点的深度信息由细分规则得出。

作为本发明的进一步改进，在所述步骤c中，如场景中的物体是方形体或梯形体，得到相应的规则约束，从而可以选择平面细分规则；如果场景中的物体是曲面体，则选择曲面细分规则。

作为本发明的进一步改进，LED光的光辐照度标定方法包括如下步骤：

1)对目标物体的自然光反射辐照度进行检测，得到目标物体的初始光辐照度分布图；

2)将LED光经由光纤束发射，投影至纯白色标定板，并进行不同距离与角度投射测试；

3)对光纤束探头发射出的光进行不同距离的光反射辐照度检测，得到反射光辐照度I与距离D的关系，在此处用多项式函数拟合，在多项式中,a_k为系数，过高的阶数并不适合光辐照变化曲线特性，符合特征的函数k以2至4阶多项式为宜；

4)将LED光投影至微纳米器件上，LED反射光进入光纤束中，经过环形器进入光电探测器，对反射光的各个RGB通道分别计算反射光各点的相对值，相对值为反射后的光辐照度减去初始光辐照度，去除背景噪声之后得到目标物体各部分的相对深度；三维重建模块获取相对光强值，以X,Y轴为平面信息，相对光辐照值为Z轴深度信息，将得到的深度信息与面结构光计算得出的三维深度进行融合，最后对精确细化后的点云实现网格化和曲面拟合，得到三维图像。

本发明还提供了一种微纳米量级的二元面结构光检测系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。

本发明的有益效果是：本发明基于面结构光的三维点云和由曲面深度变化引起的光辐照度变化获得的三维信息，光强变化的信息可以生成另外一组三维数据，利用两种不同特性参量的点云数据，将点云数据融合，增强系统结构光测量的精度。

附图说明

图1是本发明的原理图。

具体实施方式

随着集成光学的发展，每平方毫米单元上混合集成着大量的纳米及微纳米的光学器件，用人工去完成装备和检测及其困难。为解决其微纳米级器件三维尺寸检测及装备困难问题，本发明在传统面结构光三维测量基础上，设计了一种微纳米级的二元面结构光三维检测和引导技术。采用编码面结构光与LED光经过光纤束组合投影的方法，设计的组合光称之为二元面结构光。采用LED光照射后采集的反射光强信息和图像确定目标物体的轮廓信息，再由计算机控制微操控机械手臂位移一定的距离坐标至目标大概位置，达到目标粗对准效果，之后由光纤束传输投射编码面结构光，采集放大后的调制光信息图像进行三维重建获取微小目标的三维信息，最终引导机器人获得微纳米器件的精准位置及结构状态，使机器人能够实现微纳米器件的检测及组装功能。

本发明公开了一种微纳米量级的二元面结构光检测方法，包括如下步骤：

第一步：对CCD摄像机及面结构光投影仪进行标定。

第二步：由LED灯发出定向光源，经过物方像方远心镜组，将光源面积缩小后进入光纤束，此处光纤束由几万根光纤芯组合而成，此组合的光纤束可以传送大面积缩小后的光源，光源经过光纤束投射至微小目标物体所在场景，反射的光线通过高倍显微镜放大，可以使目标场景放大至毫米或厘米级，CCD摄像机处于目镜之上，CCD摄像机获取放大后的图像并将图像传送至视觉处理系统，由视觉处理系统的自适应目标轮廓识别模块匹配出与目标物体近似的轮廓，得出待测物在平面的坐标及复杂度信息；机械臂按照图像坐标转换后所对应的空间坐标，移动至目标物体所在的大致位置，达到粗对准的目的，从而完成对目标物体的位置进行粗略对准。

第三步：根据自适应目标识别轮廓模块得出的轮廓信息，轮廓信息包含轮廓的形状，大小，轮廓质心及所在的图像坐标，轮廓面积，形状的凸包，轮廓边缘的梯度信息，轮廓边缘光强度信息等。然后根据显微透镜参数计算出的原始未放大的图像的相对面积，对结构光进行编码，使面结构光的精度满足目标物体的复杂度及大小。面结构光经过物方像方远心镜组，将投影仪投射出的光缩小后进入光纤束，经光纤束传输，从光纤束末端投射出至第2步中粗对准的微小目标物体表面。

第四步：CCD摄像机获取经由高倍显微镜放大后的结构光调制图像，然后对图像进行解码，利用光学三角法进行三维坐标变换，求解图像的深度信息；由于是微小面结构光，采集的图像难免会由于光的衍射导致光条纹边界模糊，此处可采用对图像进行曲波变换方法消除边缘模糊。

第五步：在放大后的调制图像中进行坐标变换得到的结构光三维点后，将结构光特征点和LED光轮廓获取的梯度信息、边缘强度信息参量结合，将轮廓的多参量信息与三维点云的分割信息结合，在像素平面中，将邻接的结构光点生成网格线，在网格线和梯度信息的交叉处插入新的三维点，更新插入新三维点云后进一步细化三维网格，新插入三维点的深度信息由细分规则得出；进行曲面拟合，得到最终的三维图像。通过梯度信息与结构光的结合，得到比传统结构光更多的曲面梯度变化信息，使重建后的曲面更加精细，在微小目标物体边缘处的三维信息也将更精确。

面结构光投影仪采用现场标定方法，步骤如下：

第1步：获取标定棋盘及投影光源照片；

第2步：平面的世界坐标系获取，通过4组标定板照片上的特征点照片，可以获取4组标定板所在平面的世界坐标系；

第3步：平面上各个角点世界坐标的获取，由于标定板所在的平面世界坐标系和网格结构光所在的平面为同一平面，根据各网格的交点在图像上的坐标，可以获得所有网格相交的角点所在的世界坐标系上的空间位置，通过对网格照片的阈值化，检测亚像素级角点，获取所有网格角点在图像坐标系中的位置；

第4步：各网格角点标定参数的获取，令被测物体的世界坐标系为{W}，摄像机坐标系为{C}，结构光坐标系为{P}，角点P_p(U_p,V_p)，照射到被测物上点P_w(X_w,Y_w,Z_w)，P_w在图像平面上成像点位P_c(U_c,V_c),光平面上的结构光点P_p(U_p,V_p)，和在世界坐标系上的坐标值P_w(X_w,Y_w,Z_w)，可以推出其满足以下关系：

式中:K是非零系数；A_P是光信息编码结构光的内约束参数矩阵，R与T分别表示结构光坐标系关于靶标所在世界坐标系之间的旋转矩阵和平移向量，即需要通过标定，求得A_P，R与T的值，得到网格角点在光平面和世界坐标系上的转换公式，根据4组各角点所在的世界坐标系上的位置，代入角点在光平面和世界坐标系上的转换公式(1)，可以求得A_P，R与T的值，即得到角点在光平面和世界坐标系上的转换公式。

在所述第1步中，包括如下步骤：

第(1)步：在工作台上，放置一四角高低可调平面板，四个角的高低由螺母旋转调节，在平面板上放置摄像机平面标图案，该标定板的设计采用2*2像素为一格，总数为11*15格的黑白微小棋盘板，通过微调节螺母改变标定板的姿态，CCD摄像机拍摄一张经由显微透镜组放大后的标定板图像；

第(2)步：拿走标定板，保持可调平面板不动，打开结构光源后再由CCD摄像机拍摄一张照片；

第(3)步：移动平面物件的姿态和位置，重复第(1)步和第(2)步，共计获取4组照片，其中标定板画面照片4张，结构光画面图片4张。

CCD摄像机标定的方法包括如下步骤：

A.在工作台上，放置一四角高低可调平面板，在平面板上放置制作好的微小标定棋盘格，四个角的高低由螺母旋转调节。通过调节螺母改变标定板的姿态，由CCD摄像机拍摄多张经由显微透镜组放大后的标定板图像；

B.检测出各个放大后标定板中的特征点；

C.根据特征点求出CCD摄像机的内参数和外参数；

D.根据内外参数求出畸变系数；

E.最后优化参数，减少运算量，保证校正精度；

标定板放置时，要求能够覆盖到摄像机的所有视野范围，以便得到最精确的标定参数。标定软件提取每张不同姿态的图片中标定板上特征点的位置，标定完成后，生成标定参数文件，通过标定后，利用标定参数对图像进行校正，使畸变的图像恢复正常。此处目标物体由显微透镜组放大后的实像与虚像的位置可由透镜成像公式计算得出，即标定板的实际位置与放大后的虚拟位置之间有固定的变换。由于标定板所在位置与待测目标物的处于同一工作平台，所以由CCD摄像机拍摄的经过显微透镜放大后标定板的像计算出的旋转矩阵、平移矩阵、内外参数已经包含了由实际物体到显微放大透镜组的成像转换。故可以适用于实际目标物体的坐标变换。

LED轮廓信息与面结构光图像结合：

采用光强均匀分布的面阵LED光源，将LED光源经由光纤束对场景中的微小目标物进行光照投射，根据CCD摄像机获取的图像信息，其中包括轮廓的形状，轮廓面积，目标区域占比，轮廓质心及所在的图像坐标，形状的凸包，边缘梯度信息，复杂度等。光电探测器获取场景中的各个物体的轮廓反射光强信息，如轮廓边缘光强度信息，各区域反射光强度。对场景轮廓与目标物体本身轮廓进行对比，通过模式识别，机器学习识别，轮廓匹配等方法，确定与目标物体相对应的轮廓区域，并确定目标物体与其所在区域的占比面积。通过对目标区域的初步确定及面积大小的判断，系统自适应的给出一定波长的面结构光光源进行投影，该结构光的参量如光点间隔依据物件的大体轮廓而定。用摄像机采集经物体表面调制变形的结构光图像，通过对变形结构光图像的分析，建立投影到物体表面上一点的结构光投影点和其在变形结构光图像中成像点之间的对应关系，然后根据三角测量原理计算出物体表面结构光点出的深度。在微纳米结构中，由于结构光所投影面积太小和光学透镜的分辨率极限原因，并不能无限放大其拍摄的图像。为提高模型精度，在此处提出的解决方法步骤为：

a.利用LED光反射辐照度信息，进行不同光波长过滤后通道提取和利用Sobel算子，分别得到RGB三通道在锐利边缘处的梯度信息；

b.在相对平坦面的光反射辐照度几乎不变，在锐利变化和曲面变化的地方辐照度因反射光的方向发散，所测得的反射辐照度将会产生变化。利用辐照度变化的关系消除因面结构光衍射部分带来的误差。

c.由稳定光源LED定向光确定的微小物体的轮廓，在轮廓处由步骤a得到的梯度信息，光强信息，结合结构光相邻点云的梯度信息进一步细化目标物体的曲面程度；如场景中的物体是方形体或梯形体，得到相应的规则约束，从而可以选择平面细分规则。如果场景中的物体是曲面体，则选择曲面细分规则。

d.将结构光点和梯度信息结合，在像素平面中，将邻接的结构光点连线，在连线和梯度信息的交叉处插入新的三维点，新插入三维点的深度信息由细分规则得出，通过梯度信息的结合，得到更高的三维模型精度。

应用二元面结构光在微纳米量级的三维重建：

在微纳米量级的场景中，如图1，首先通过光纤探头向微场景发出特殊的LED定向光源，光电探测器获取整块LED投影反射光，经由采集卡反馈的光强，反射辐照度等信息到视觉主机处理器。经CCD摄像机第一次采集的LED光照图像，由计算机处理后产生全局图像轮廓。通过计算机轮廓匹配识别模块处理全局图像轮廓与采集卡反馈光强信息后，获得场景内目标物平面轮廓和大体位置及轮廓边缘光强梯度信息，得出待测物在平台的坐标。再引导的具有微操控机械手臂接近微纳米器件。然后向目标物体发出多参量的光信息编码的面结构光，该结构光的参量如结构图案间隔、大小等依据物件的大体轮廓而定，反射光过通过显微透镜组，CCD检测获得面结构光调制变形后的图像。在获得面结构光图像后要对其进行背景去噪处理，只留下面结构光所覆盖区域。调制变形后的编码结构光图像经过解码，就能和投射图案一一对应，进行符号识别，提取相应的特征点，进行三维信息的测量。

在此处用光纤束和光电检测器检测得到反射LED光轮廓信息和边缘强度信息之前，由于外部光线干扰，需要先对LED光的光辐照度进行标定，标定方法如下：

1)对目标物体的自然光反射辐照度进行检测，得到目标物体的初始光辐照度分布图。

2)将LED光经由光纤束发射，投影至纯白色标定板，并进行不同距离与角度投射测试。

3)对光纤束探头发射出的光进行不同距离的光反射辐照度检测，得到反射光辐照度I与距离D的关系，在此处用多项式函数拟合，在多项式中,a_k为系数，过高的阶数并不适合光辐照变化曲线特性，符合特征的函数k以2至4阶多项式为宜。

4)将LED光投影至微纳米器件上，LED反射光进入光纤束中，经过环形器进入光电探测器。对反射光的各个RGB通道分别计算反射光各点的相对值，相对值为反射后的光辐照度减去初始光辐照度，去除背景噪声之后得到目标物体各部分的相对深度。三维重建模块获取相对光强值，以X,Y轴为平面信息，相对光辐照值为Z轴深度信息，将得到的深度信息与面结构光计算得出的三维深度进行融合，按照步骤(3)中所述的提高模型的精度。最后对精确细化后的点云实现网格化和曲面拟合，得到三维图像。对于在微纳米量级三维重建中的网格化三维细分，关键也通过编码面结构光与轮廓光强、梯度信息相结合确定更加精密的梯度和深度信息。

本发明具有如下有益效果：

1.本方法基于面结构光的三维点云和由曲面深度变化引起的光辐照度变化获得的三维信息，光强变化的信息可以生成另外一组三维数据。利用两种不同特性参量的点云数据，将点云数据融合，增强系统结构光测量的精度。

2.针对微纳米级的目标，使用光反射变化测量深度信息。采用类似空间光通信中ATP伺服系统原理，引导视觉机器人实现先粗对准后精对准的重建方法。实现微纳米三维测量的引导技术，可以有效提高工业机器人在微纳米器件装配上的精准度。

3.本系统使用光纤束作为光传导介质，利用光纤束的自由度大，光路可以跟随机械臂灵活运动，可以灵活的进行不同环境的三维检测和引导。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种微纳米量级的二元面结构光检测方法，其特征在于，包括如下步骤：

第一步：对CCD摄像机及面结构光投影仪进行标定；

第二步：由LED灯发出定向光源，经过物方像方远心镜组，将光源面积缩小后进入光纤束，光源经过光纤束投射至微小目标物体所在场景，反射的光线通过高倍显微镜放大，CCD摄像机获取放大后的图像并将图像传送至视觉处理系统，由视觉处理系统的自适应目标轮廓识别模块匹配出与目标物体近似的轮廓，得出待测物在平面的坐标及复杂度信息，对目标物体的位置进行粗略对准；

第三步：根据自适应目标识别轮廓模块得出的轮廓信息，然后根据显微透镜参数计算出的原始未放大的图像的相对面积，对结构光进行编码，使面结构光的精度满足目标物体的复杂度及大小，面结构光经过物方像方远心镜组，将面结构光投影仪投射出的光缩小后进入光纤束，经光纤束传输，从光纤束末端投射出至第二步中粗对准的微小目标物体表面；

第四步：CCD摄像机获取经由高倍显微镜放大后的结构光调制图像，然后对图像进行解码，利用光学三角法进行三维坐标变换，求解图像的深度信息；

该二元面结构光检测方法还包括：

第五步：在放大后的调制图像中进行坐标变换得到的结构光三维点后，将结构光特征点和LED光轮廓获取的梯度信息、边缘强度信息参量结合，将轮廓的多参量信息与三维点云的分割信息结合，在像素平面中，将邻接的结构光点生成网格线，在网格线和梯度信息的交叉处插入新的三维点，更新插入新三维点云后进一步细化三维网格，新插入三维点的深度信息由细分规则得出；进行曲面拟合，得到最终的三维图像。

2.根据权利要求1所述的二元面结构光检测方法，其特征在于，面结构光投影仪采用现场标定方法，步骤如下：

第1步：获取标定棋盘及投影光源照片；

第2步：平面的世界坐标系获取，通过4组标定板照片上的特征点照片，可以获取4组标定板所在平面的世界坐标系；

第3步：平面上各个角点世界坐标的获取，由于标定板所在的平面世界坐标系和网格结构光所在的平面为同一平面，根据各网格的交点在图像上的坐标，可以获得所有网格相交的角点所在的世界坐标系上的空间位置，通过对网格照片的阈值化，检测亚像素级角点，获取所有网格角点在图像坐标系中的位置；

第4步：各网格角点标定参数的获取，令被测物体的世界坐标系为{W}，摄像机坐标系为{C}，结构光坐标系为{P}，角点P_p(U_p,V_p)，照射到被测物上点P_w(X_w,Y_w,Z_w)，P_w在图像平面上成像点位P_c(U_c,V_c),光平面上的结构光点P_p(U_p,V_p)，和在世界坐标系上的坐标值P_w(X_w,Y_w,Z_w)，可以推出其满足以下关系：

式中:K是非零系数；A_P是光信息编码结构光的内约束参数矩阵，R与T分别表示结构光坐标系关于靶标所在世界坐标系之间的旋转矩阵和平移向量，即需要通过标定，求得A_P，R与T的值，得到网格角点在光平面和世界坐标系上的转换公式，根据4组各角点所在的世界坐标系上的位置，代入角点在光平面和世界坐标系上的转换公式(1)，可以求得A_P，R与T的值，即得到角点在光平面和世界坐标系上的转换公式。

3.根据权利要求2所述的二元面结构光检测方法，其特征在于，在所述第1步中，包括如下步骤：

第(1)步：在工作台上，放置一四角高低可调平面板，在平面板上放置摄像机平面标图案，该标定板的设计采用2*2像素为一格，总数为11*15格的黑白微小棋盘板，通过微调节螺母改变标定板的姿态，CCD摄像机拍摄一张经由显微透镜组放大后的标定板图像；

第(2)步：拿走标定板，保持可调平面板不动，打开结构光源后再由CCD摄像机拍摄一张照片；

第(3)步：移动平面物件的姿态和位置，重复第(1)步和第(2)步，共计获取4组照片，其中标定板画面照片4张，结构光画面图片4张。

4.根据权利要求1所述的二元面结构光检测方法，其特征在于，所述CCD摄像机标定的方法包括如下步骤：

A.在工作台上，放置一四角高低可调平面板，在平面板上放置制作好的微小标定棋盘格，通过调节改变标定板的姿态，由CCD摄像机拍摄多张经由显微透镜组放大后的标定板图像；

B.检测出各个放大后标定板中的特征点；

C.根据特征点求出CCD摄像机的内参数和外参数；

D.根据内外参数求出畸变系数；

E.最后优化参数，减少运算量，保证校正精度；

标定软件提取每张不同姿态的图片中标定板上特征点的位置，标定完成后，生成标定参数文件，通过标定后，利用标定参数对图像进行校正，使畸变的图像恢复正常。

5.根据权利要求1所述的二元面结构光检测方法，其特征在于，在所述第五步中，光电探测器获取场景中的各个物体的轮廓反射光强信息，对场景轮廓与目标物体本身轮廓进行对比，确定与目标物体相对应的轮廓区域，并确定目标物体与其所在区域的占比面积，通过对目标区域的初步确定及面积大小的判断，系统自适应的给出一定波长的面结构光光源进行投影，该结构光的参量如光点间隔依据物件的大体轮廓而定。用CCD摄像机采集经物体表面调制变形的结构光图像，通过对变形结构光图像的分析，建立投影到物体表面上一点的结构光投影点和其在变形结构光图像中成像点之间的对应关系，然后根据三角测量原理计算出物体表面结构光点出的深度。

6.根据权利要求5所述的二元面结构光检测方法，其特征在于，在所述第五步中，包括如下步骤：

a.利用LED光反射辐照度信息，进行不同光波长过滤后通道提取和利用Sobel算子，分别得到RGB三通道在锐利边缘处的梯度信息；

b.利用辐照度变化的关系消除因面结构光衍射部分带来的误差；

c.由稳定光源LED定向光确定的微小物体的轮廓，在轮廓处由步骤a得到的梯度信息，光强信息，结合结构光相邻点云的梯度信息进一步细化目标物体的曲面程度；

d.将结构光点和梯度信息结合，在像素平面中，将邻接的结构光点连线，在连线和梯度信息的交叉处插入新的三维点，新插入三维点的深度信息由细分规则得出。

7.根据权利要求6所述的二元面结构光检测方法，其特征在于，在所述步骤c中，如场景中的物体是方形体或梯形体，得到相应的规则约束，从而可以选择平面细分规则；如果场景中的物体是曲面体，则选择曲面细分规则。

8.根据权利要求1所述的二元面结构光检测方法，其特征在于，LED光的光辐照度标定方法包括如下步骤：

1)对目标物体的自然光反射辐照度进行检测，得到目标物体的初始光辐照度分布图；

2)将LED光经由光纤束发射，投影至纯白色标定板，并进行不同距离与角度投射测试；

3)对光纤束探头发射出的光进行不同距离的光反射辐照度检测，得到反射光辐照度I与距离D的关系，在此处用多项式函数拟合，在多项式中,a_k为系数，过高的阶数并不适合光辐照变化曲线特性，符合特征的函数k以2至4阶多项式为宜；

4)将LED光投影至微纳米器件上，LED反射光进入光纤束中，经过环形器进入光电探测器，对反射光的各个RGB通道分别计算反射光各点的相对值，相对值为反射后的光辐照度减去初始光辐照度，去除背景噪声之后得到目标物体各部分的相对深度；三维重建模块获取相对光强值，以X,Y轴为平面信息，相对光辐照值为Z轴深度信息，将得到的深度信息与面结构光计算得出的三维深度进行融合，最后对精确细化后的点云实现网格化和曲面拟合，得到三维图像。

9.一种微纳米量级的二元面结构光检测系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-8中任一项所述的方法的步骤。