CN107677216A - 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法 - Google Patents
一种基于光度立体视觉的多个磨粒三维形貌同步获取方法 Download PDFInfo
- Publication number
- CN107677216A CN107677216A CN201710794153.1A CN201710794153A CN107677216A CN 107677216 A CN107677216 A CN 107677216A CN 201710794153 A CN201710794153 A CN 201710794153A CN 107677216 A CN107677216 A CN 107677216A
- Authority
- CN
- China
- Prior art keywords
- abrasive particle
- image
- formula
- dimensional appearance
- stereo vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 12
- 230000003595 spectral effect Effects 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims abstract description 4
- 238000000926 separation method Methods 0.000 claims abstract description 4
- 238000005259 measurement Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 229910052742 iron Inorganic materials 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007430 reference method Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 10
- CWYNVVGOOAEACU-UHFFFAOYSA-N Fe2+ Chemical compound [Fe+2] CWYNVVGOOAEACU-UHFFFAOYSA-N 0.000 abstract description 9
- 238000012876 topography Methods 0.000 abstract description 4
- 238000001000 micrograph Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 239000010687 lubricating oil Substances 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
- G01N15/0227—Investigating particle size or size distribution by optical means using imaging; using holography
Landscapes
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Dispersion Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，通过将铁谱技术与三维重构技术相结合，首先利用铁谱技术制作包含多个磨粒的谱片，然后针对铁谱显微镜拍摄图片存在畸变的状况，利用张正友标定法对其进行矫正。基于此方法结合所建立的光源系统，通过显微镜摄像机获取了不同光源磨粒图像，结合自适应阈值法与差分法实现了磨粒与背景的分离，之后，基于光度立体视觉，通过选择合适的反射模型计算磨粒表面法向量，进而构造深度值，重构了磨粒的三维形貌。这样，利用铁谱显微镜获取具有多个磨粒的谱片图像，不需要变换显微镜焦距，通过切换不同角度的光源就可以同步重构出多个磨粒的三维形貌,本专利有效地将铁谱技术与光度立体视觉相结合，解决了目前磨粒分析领域磨粒三维形貌特征缺乏的问题。
Description
技术领域
本发明属于机器故障诊断领域的铁谱分析技术，特别涉及一种基于光度立体视觉的多个磨粒三维形貌同步获取方法。
背景技术
广泛存在于摩擦副当中的磨损现象会直接导致能源和材料的消耗，影响设备运行的可靠性、安全性和可维护性。磨粒作为摩擦副接触表面的相互作用的直接产物，携带丰富的磨损状态信息，准确的磨粒特征识别对实现磨损状态实时监测具有重要的意义。磨粒的数量、大小、颜色和形貌等特征表征了摩擦学系统的磨损方式以及磨损部位，反映了设备的磨损状态。因此，磨粒分析(WDA)技术已经成为设备磨损程度判断及磨损机理分析的重要手段，为装备状态监测及维修维护决策提供有效依据。
近年来，铁谱技术由于分析精度高、准确性好等特点，成为了摩擦学系统磨粒分析的主要方法。目前，铁谱技术已经建立了非常成熟的知识系统，已在工业领域如船舶、航空发动机、风力齿轮箱获得了广泛的应用。该方法利用高梯度磁场将机械摩擦副产生的磨损颗粒从润滑油液中分离出来沉积在玻片上，进而利用铁谱显微镜进行分析。通过图像处理可以同时对多个磨粒进行分析获取其形态、颜色等特征。但是该方法只能提供磨粒的二维平面图像，而不能获取磨粒的空间特征信息，导致其无法反映具有不规则性磨粒的真实形状。例如粘着磨损磨粒、层状磨损磨粒与严重滑动磨粒这三类磨粒代表了不同的磨损机理，但是它们具有相似的形状和边缘特征，但其三维表面形貌确大不相同，粘着磨损磨粒表面粗糙、严重拉毛、有擦痕，轮廓不规则；层状磨损磨粒厚度极小，表面有孔洞、折皱等缺陷；严重滑动磨粒表面带有明显平行滑痕或开裂迹象。铁谱技术由于其方法固有的缺陷，无法通过平面特征对其进行有效的分析，进而造成磨粒分析准确率低。
磨粒属于不规则的立体状物体，其三维表面形貌是其固有的特征属性。普通的光学显微镜难以提供磨粒的表面形貌特征。随着电子显微技术的发展，使得磨粒的三维表面形貌获提取成为可能。当前已经有学者利用原子力显微镜(AFM)、激光共焦扫描显微镜(LSCM)、激光干涉量程仪(IM)以及立体电子显微镜(3-DSEM)等获得磨粒的三维表面形貌，然而这些设备不但操作复杂、成本较高，而且应用范围也存在一些问题，如原子力显微镜测量精度高，但是量程有限，对于工程应用最感兴趣的5μm以上的磨粒无能为力；激光共聚焦显微镜比较适合生物颗粒的三维形貌获取；激光干涉仪横向分辨率不高，深度方向也容易产生畸变。同时润滑油中存在着大量的磨损颗粒，这些方法仅针对单个磨粒进行分析，无法同时实现多个磨粒三维形貌的获取，这些因素限制了磨粒分析方法在机械设备运行状态监测邻域的推广应用。
总体而言，目前磨粒分析手段在设备监测领域取得了一定的工程效果。但是由于其方法本身固有的缺陷，如：铁谱技术仅能提取二维特征无法提取磨粒三维形貌；三维扫描设备仅仅针对单个磨粒进行分析等，而无法给出润滑油中全面、准确的磨粒统计信息。
发明内容
为了克服上述现有技术的缺陷，本发明的目的在于提供一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，通过将铁谱技术与三维重构技术相结合，利用铁谱技术制作包含多个磨粒的谱片，然后通过显微镜摄像机获取不同光源磨粒图像，由于摄像机图像存在畸变，需要对图像进行矫正，使图像更加接近真实物体，之后进行磨粒分割，将磨粒与背景进行分离，最后通过光度立体视觉方法对磨粒表面重构，实现磨粒三维形貌的重构，进而为磨粒分析以及后续的重大装备健康监测和寿命预测提供参考依据。
为实现上述目的，本发明采用如下技术方案：
一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，包括以下步骤：
步骤一、利用张正友标定法对铁谱显微镜摄像机存在的畸变进行矫正，得到矫正图像；
步骤二、利用均匀分布的多个光源依次照射铁谱谱片，从而获取不同光源的磨粒图像；
步骤三、光源方向标定，测量光源相对于磨粒的位置(X,Y,Z),并进行归一化来近似估计各个光源的光线入射方向，如公式(1)所示：
公式(1)：
其中，X,Y,Z分别表示为光源相对于磨粒在三个方向上的距离；
步骤四、基于自适应阈值法，通过全光源图像计算mask图；
步骤五、基于差分法，利用mask图对不同光源的磨粒图像进行处理，将重构物体与背景分离，
公式(6)：
公式(6)中Di(x,y)表示第i个光源差分之后的图像，fi(x,y)表示第i个光源的图像初始图像(x,y)处像素值，f0(x,y)为mask图(x,y)处像素值；
步骤六、基于光度立体视觉对磨粒表面进行重构，具体步骤如下：
S1，反射模型选择，选定物体的反射模型为Phong模型；
S2，基于Phong模型，计算8张磨粒图像的亮度矩阵和相应的光源方向矩阵，进而采用最小二乘法原理计算，最后单位化得到法向量；
S3，根据测量材质的法向信息，计算测量的梯度场信息，并将其作为输入，采用最小二乘的曲面重建方法计算测量材质的深度信息，完成磨粒三维形貌重构。
所述的步骤一，具体步骤如下：
S1，选取标准棋盘格，单元格尺寸：0.1mm*0.1mm，作为标定板，将其贴于平面上；
S2，变化标定板的位置角度，倾角不超过5°，采集14张不同角度的标定板图像；
S3，应用Opencv的摄像机标定函数，对摄像机进行标定，以获取摄像机的畸变系数，标定方法采用的是张正友平面标定法；
S4，根据畸变系数，对所有图像进行矫正。
所述的步骤S3中摄像机畸变系数的标定，具体包括以下步骤：
(1)通过在VS2010中创建一个MFC项目，添加“标定图片输入”按钮，读入14张不同角度的标定板图像；
(2)利用OpenCV的findChessboardCorners函数得到标定板所有图像上角点位置；
(3)角点正确提取后，利用calibrateCamera函数，通过计算单应性矩阵，得到摄像机的内参数和外参数；
(4)应用最小二乘法估算求出畸变系数，并输出矫正图像。
所述的步骤二，具体步骤如下：
S1，所测磨粒尺寸小于200μm，选定光源距离磨粒尺寸大于40mm，在显微镜物镜外侧放置光圈，光圈周向均匀分布八个LED灯，每一个LED灯都可以单独控制点亮和熄灭，所述光圈半径40mm，高度30mm；
S2，八个光源依次打开照射磨粒，并利用显微镜的成像摄像机拍摄磨粒，得到一组在不同光源的磨粒图像；
S3，八个光源全部打开拍摄磨粒，获取全光源磨粒图像，为计算mask图做准备。
所述的步骤四，具体步骤如下：
S1，将图像中的每个像素点(x,y)的RGB值按照公式(2)进行灰度化处理，得到灰度图像；
公式(2)：f(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y)
公式(2)中R(x,y)、G(x,y)、B(x,y)代表图像中坐标(x,y)处像素点的R、G、B分量值；
S2，按照从上到下、从左到右的顺序依次遍历图像各个像素点，定义一个3×3的中值滤波器滑动窗口，读取窗口中的灰度值x1,x2,x3,…,x9，将这些灰度值从小到大进行排序xi1≤xi2≤xi3≤…≤xi9，然后将中值xi5赋给窗口中心位置的像素，完成磨粒图像的滤波处理；
S3，迭代阈值分割具体步骤如下：
(1)求出图像的最大灰度值和最小灰度值，分别记为Max和Min，按照公式(3)求出初始阈值T0；
公式(3)：T0＝(Max+Min)/2
(2)根据当前阈值T0将图像分割为前景和背景，分别求出两者的平均灰度值Z0和Zb；
公式(3)：T0＝(Max+Min)/2
(3)根据公式(4)求出新的阈值Tk；
公式(4)：Tk＝(Z0+Zb)/2
(4)指定一个极小值ε，如果|Tk+1-Tk|<ε，Tk+1满足要求,Tk+1即为阈值，否则,令Tk+1＝Tk，重新执行第2步，直到满足误差要求；
(5)再将灰度化图像按照公式(5)进行二值化运算，得到磨粒为白色，背景为黑色的黑白图像，即mask图：
公式(5)：
有益效果：
本发明应用于机械设备磨损状态监测领域，具有以下有益效果：
1、本发明将铁谱分析技术与光度立体视觉相结合，利用铁谱显微镜获取具有多个磨粒的谱片图像，不需要改变显微镜焦距，通过切换不同角度的光源就可以同步重构出磨粒的三维形貌，适用于铁谱分析领域所有磨粒的三维形貌获取；
2、本发明基于光度立体视觉，通过摄像机标定对图像畸变进行矫正，针对重构物体选择了合适的光源与光源位置，为磨粒重构提供了可靠的多光源图像；
3、本文基于光度立体视觉，选择了适合磨粒材质的Phong反射模型，提高了磨粒表面法向量与深度信息的计算精度，进而提高了重构磨粒三维形貌的精度；
附图说明
图1为基于光度立体视觉方法对磨粒进行三维形貌获取的总体流程图。
图2为磨粒图像，其中图2(a)-(h)为八个不同光源采集的磨粒图像；图2(i)为全光源采集的磨粒图像。
图3为计算目标图像对应mask图方法的流程图。
图4(a)为实例中待重构形貌的磨粒图像。
图4(b)为去除背景后的磨粒图像。
图4(c)为重构出的法向图。
图4(d)为重构出的磨粒三维形貌。
具体实施方式
下面结合附图对本方法进行说明。
参照图1，一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，包括以下步骤：
步骤一、所有光学相机镜头都存在畸变的问题，主要由于焦平面上不同区域对影像的放大率不同而形成的画面扭曲变形，使得成像的几何失真。畸变会引起摄像机成像时的画面变形，歪曲拍摄实物的几何特征，因此需要对铁谱显微镜摄像机进行标定，以得到真实的磨粒图像。因此，利用张正友标定法对铁谱显微镜摄像机存在的畸变进行矫正，首先拍摄不同角度的标定板图像，然后利用Harris角点提取方法提取图像中的角点，通过角点之间的位置约束关系计算畸变系数，对图像进行矫正，得到矫正图像，具体步骤如下：
S1，选取标准棋盘格(单元格尺寸：0.1mm*0.1mm)作为标定板，将其贴于平面上；
S2，变化标定板的位置角度,由于显微镜的景深较小，所以标定板的倾角不应超过5°，采集14张不同角度的标定板图像；
S3，应用Opencv的摄像机标定函数，对摄像机进行标定，以获取摄像机的畸变系数，标定方法采用的是张正友平面标定法；
S4，根据畸变系数，对所有图像进行矫正。
上述步骤(S3)中摄像机畸变系数的标定，具体包括以下步骤：
(1)通过在VS2010中创建一个MFC项目，添加“标定图片输入”按钮，读入14张不同角度的标定板图像；
(2)利用OpenCV的findChessboardCorners函数提取标定板所有图像上角点位置；
(3)角点正确提取后，利用calibrateCamera函数，通过计算单应性矩阵，得到摄像机的内参数和外参数；
(4)应用最小二乘法估算求出畸变系数，并输出矫正图像。
步骤二、利用多光源依次照射铁谱谱片，获取不同光源的磨粒图像，如图2所示，具体步骤如下：
S1，光度立体视觉方法要求光源距离物体无穷远，光线为平行入射，由于所重构的磨损颗粒尺寸一般小于200μm，当光源距离磨粒一定距离时可以认定入射到磨粒表面的光为平行光，因此选定光源距离磨粒尺寸大于40mm。在显微镜物镜外侧放置光圈，光圈周向均匀分布八个LED灯，每一个LED灯都可以单独控制点亮和熄灭，所述光圈半径40mm，高度30mm；
S2，八个光源依次打开照射磨粒，并利用显微镜的成像摄像机拍摄磨粒，得到一组在不同光源的磨粒图像，如图2(a)-(h)所示；
S3，八个光源全部打开拍摄磨粒，获取全光源磨粒图像如图2(i)所示，为计算mask图做准备。
步骤三、光源方向标定，因所测磨粒较小，无法采用传统的高光黑球标定法，所以直接测量光源相对于磨粒的位置(X,Y,Z),并进行归一化来近似估计各个光源的光线入射方向，如公式(1)所示：
公式(1)：
其中，X,Y,Z分别表示为光源相对于磨粒在三个方向上的距离；
步骤四、为了提高重构速度，需要将不同光源磨粒图像中的物体与背景进行分离。因此，基于自适应阈值法处理全光源图像计算mask图，即为二值图像，如图3所示，具体步骤如下：
S1，将图像中的每个像素点(x,y)的RGB值按照公式(2)进行灰度化处理，得到灰度图像，
公式(2)：f(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y)
公式(2)中R(x,y)、G(x,y)、B(x,y)代表图像中坐标(x,y)处像素点的R、G、B分量值；
S2，按照从上到下、从左到右的顺序依次遍历图像各个像素点，定义一个3×3的中值滤波器滑动窗口，读取窗口中的灰度值x1,x2,x3,…,x9，将这些灰度值从小到大进行排序xi1≤xi2≤xi3≤…≤xi9，然后将中值xi5赋给窗口中心位置的像素，完成磨粒图像的滤波处理；
S3，迭代阈值分割具体步骤如下：
1)求出图像的最大灰度值和最小灰度值，分别记为Max和Min，按照公式(3)求出初始阈值T0；
公式(3)：T0＝(Max+Min)/2
2)根据当前阈值T0将图像分割为前景和背景，分别求出两者的平均灰度值Z0和Zb；
3)根据公式(4)求出新的阈值Tk；
公式(4)：Tk＝(Z0+Zb)/2
4)指定一个极小值ε，如果|Tk+1-Tk|<ε，Tk+1满足要求,Tk+1即为阈值，否则,令Tk+1＝Tk，重新执行第2步，直到满足误差要求；
5)再将灰度化图像按照公式(5)进行二值化运算，得到磨粒为白色，背景为黑色的黑白图像，即mask图：
公式(5)：
公式(5)中f(x,y)表示全光源图像的灰度图；
步骤五、基于差分法，如公式(6)所示，利用mask图对不同光源的图4(a)所示磨粒图像进行处理，将重构物体与背景分离，如图4(b)所示。
公式(6)：
公式(6)中Di(x,y)表示第i个光源差分之后的图像，fi(x,y)表示第i个光源的图像初始图像(x,y)处像素值，f0(x,y)为mask图(x,y)处像素值；
步骤六、得到上述分割图像与光线入射方向后，便可基于光度立体视觉方法进行磨粒三维形貌的重构，具体步骤如下：
S1，反射模型选择，所重构的磨粒为金属材质，表面存在着镜面反射，因此，为了接近真实情况的反射情况，选定物体的反射模型为Phong模型；
S2，基于Phong模型，计算8张磨粒图像的亮度矩阵和相应的光源方向矩阵，进而采用最小二乘法原理计算，最后单位化得到法向量，如图4(c)所示；
S3，根据测量材质的法向信息，计算测量的梯度场信息，并将其作为输入，采用最小二乘的曲面重建方法计算测量材质的深度信息，完成磨粒三维形貌重构，如图4(d)所示。
Claims (5)
1.一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，利用铁谱显微镜获取具有多个磨粒的谱片图像，不需要变换显微镜焦距，通过切换不同角度的光源就可以同步重构出磨粒的三维形貌，其特征在于：
步骤一、利用张正友标定法对铁谱显微镜摄像机存在的畸变进行矫正，得到矫正图像；
步骤二、利用均匀分布的多个光源依次照射铁谱谱片，从而获取不同光源的磨粒图像；
步骤三、光源方向标定，测量光源相对于磨粒的位置(X,Y,Z),并进行归一化来近似估计各个光源的光线入射方向，其中X,Y,Z分别表示为光源相对于磨粒在三个方向上的距离；
步骤四、基于自适应阈值法，通过全光源图像计算mask图；
步骤五、基于差分法，利用mask图对不同光源的磨粒图像进行处理，将重构物体与背景分离，
步骤六、基于光度立体视觉对磨粒形貌进行重构；
S1，反射模型选择，选定物体的反射模型为Phong模型；
S2，基于Phong模型，计算8张磨粒图像的亮度矩阵和相应的光源方向矩阵，进而采用最小二乘法原理计算，最后单位化得到法向量；
S3，根据测量材质的法向信息，计算测量的梯度场信息，并将其作为输入，采用最小二乘的曲面重建方法计算测量材质的深度信息，完成磨粒三维形貌重构。
2.根据权利要求1所述的一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，其特征在于，所述的步骤一，具体步骤如下：
S1，选取标准棋盘格，单元格尺寸：0.1mm*0.1mm，作为标定板，将其贴于平面上；
S2，变化标定板的位置角度，倾角不超过5°，采集14张不同角度的标定板图像；
S3，应用Opencv的摄像机标定函数，对摄像机进行标定，以获取摄像机的畸变系数，标定方法采用的是张正友平面标定法；
S4，根据畸变系数，对所有图像进行矫正。
3.根据权利要求2所述的一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，其特征在于，所述的步骤S3中摄像机畸变系数的标定，具体包括以下步骤：
(1)通过在VS2010中创建一个MFC项目，添加“标定图片输入”按钮，读入14张不同角度的标定板图像；
(2)利用OpenCV的findChessboardCorners函数得到标定板所有图像上角点位置；
(3)角点正确提取后，利用calibrateCamera函数，通过计算单应性矩阵，得到摄像机的内参数和外参数；
(4)应用最小二乘法估算求出畸变系数，并输出矫正图像。
4.根据权利要求1所述的一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，其特征在于，所述的步骤二，具体步骤如下：：
S1，所测磨粒尺寸小于200μm，选定光源距离磨粒尺寸大于40mm，在显微镜物镜外侧放置光圈，光圈周向均匀分布八个LED灯，每一个LED灯都可以单独控制点亮和熄灭，所述光圈半径40mm，高度30mm；
S2，八个光源依次打开照射磨粒，并利用显微镜的成像摄像机拍摄磨粒，得到一组在不同光源的磨粒图像；
S3，八个光源全部打开拍摄磨粒，获取全光源磨粒图像，为计算mask图做准备。
5.根据权利要求1所述的一种基于光度立体视觉的多个磨粒三维形貌同步获取方法，其特征在于，所述的步骤四，具体步骤如下：
S1，将图像中的每个像素点(x,y)的RGB值按照公式(2)进行灰度化处理，得到灰度图像；
公式(2)：f(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y)
公式(2)中R(x,y)、G(x,y)、B(x,y)代表图像中坐标(x,y)处像素点的R、G、B分量值；
S2，按照从上到下、从左到右的顺序依次遍历图像各个像素点，定义一个3×3的中值滤波器滑动窗口，读取窗口中的灰度值x1,x2,x3,…,x9，将这些灰度值从小到大进行排序xi1≤xi2≤xi3≤…≤xi9，然后将中值xi5赋给窗口中心位置的像素，完成磨粒图像的滤波处理；
S3，迭代阈值分割具体步骤如下：
(1)求出图像的最大灰度值和最小灰度值，分别记为Max和Min，按照公式(3)求出初始阈值T0；
公式(3)：T0＝(Max+Min)/2
(2)根据当前阈值T0将图像分割为前景和背景，分别求出两者的平均灰度值Z0和Zb；
公式(3)：T0＝(Max+Min)/2
(3)根据公式(4)求出新的阈值Tk；
公式(4)：Tk＝(Z0+Zb)/2
(4)指定一个极小值ε，如果|Tk+1-Tk|<ε，Tk+1满足要求,Tk+1即为阈值，否则,令Tk+1＝Tk，重新执行第2步，直到满足误差要求；
(5)再将灰度化图像按照公式(5)进行二值化运算，得到磨粒为白色，背景为黑色的黑白图像，即mask图：
公式(5)：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710794153.1A CN107677216B (zh) | 2017-09-06 | 2017-09-06 | 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710794153.1A CN107677216B (zh) | 2017-09-06 | 2017-09-06 | 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107677216A true CN107677216A (zh) | 2018-02-09 |
| CN107677216B CN107677216B (zh) | 2019-10-29 |
Family
ID=61135126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710794153.1A Active CN107677216B (zh) | 2017-09-06 | 2017-09-06 | 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107677216B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108414409A (zh) * | 2018-05-11 | 2018-08-17 | 中国矿业大学 | 一种旋转式铁谱仪谱片图像采集系统及方法 |
| CN108446706A (zh) * | 2018-02-27 | 2018-08-24 | 西安交通大学 | 一种基于颜色主分量提取的磨粒材质自动识别方法 |
| CN108895982A (zh) * | 2018-07-03 | 2018-11-27 | 清华大学 | 高速结构光产生装置及三维单像素成像系统 |
| CN109059800A (zh) * | 2018-05-24 | 2018-12-21 | 东南大学 | 一种三维重建装置的光源位置校准方法 |
| CN109801291A (zh) * | 2019-03-12 | 2019-05-24 | 西安交通大学 | 一种运动磨粒多表面三维形貌的获取方法 |
| CN110263192A (zh) * | 2019-06-06 | 2019-09-20 | 西安交通大学 | 一种基于条件生成对抗网络的磨粒形貌数据库创建方法 |
| CN110487214A (zh) * | 2019-08-26 | 2019-11-22 | 中国计量大学 | 一种基于光度立体技术和结构光技术相结合的产品合格率的检测系统及其检测方法 |
| CN111951376A (zh) * | 2020-07-28 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 融合结构光和光度学的三维对象重建方法及终端设备 |
| CN112241066A (zh) * | 2020-11-11 | 2021-01-19 | 中国矿业大学 | 多角度成像显微镜和铁谱磨粒三维形貌重建方法 |
| CN112378979A (zh) * | 2020-09-15 | 2021-02-19 | 郑州磨料磨具磨削研究所有限公司 | 一种用于检测磨具表面磨粒尖锐程度的装置及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1567827A1 (de) * | 2002-11-29 | 2005-08-31 | OBE Ohnmacht & Baumgärtner GmbH & Co. KG | Verfahren und vorrichtung zur optischen formvermessung und/oder beurteilung |
| US20110311107A1 (en) * | 2010-06-16 | 2011-12-22 | Levesque Serge | Acquisition of 3d topographic images of tool marks using non-linear photometric stereo method |
| CN102607455A (zh) * | 2012-02-27 | 2012-07-25 | 华中科技大学 | 基于光学显微镜和变化光照的微观形貌三维测量方法 |
| CN105787989A (zh) * | 2016-03-18 | 2016-07-20 | 山东大学 | 一种基于光度立体视觉的测量材质几何特征重构方法 |
| CN106524909A (zh) * | 2016-10-20 | 2017-03-22 | 北京旷视科技有限公司 | 三维图像采集方法及装置 |
-
2017
- 2017-09-06 CN CN201710794153.1A patent/CN107677216B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1567827A1 (de) * | 2002-11-29 | 2005-08-31 | OBE Ohnmacht & Baumgärtner GmbH & Co. KG | Verfahren und vorrichtung zur optischen formvermessung und/oder beurteilung |
| US20110311107A1 (en) * | 2010-06-16 | 2011-12-22 | Levesque Serge | Acquisition of 3d topographic images of tool marks using non-linear photometric stereo method |
| CN102607455A (zh) * | 2012-02-27 | 2012-07-25 | 华中科技大学 | 基于光学显微镜和变化光照的微观形貌三维测量方法 |
| CN105787989A (zh) * | 2016-03-18 | 2016-07-20 | 山东大学 | 一种基于光度立体视觉的测量材质几何特征重构方法 |
| CN106524909A (zh) * | 2016-10-20 | 2017-03-22 | 北京旷视科技有限公司 | 三维图像采集方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 于辉 等: "基于立体视觉技术的磨粒显微测量方法", 《交通运输工程学报》 * |
| 王玉荣 等: "数字同轴全息油液磨粒形貌检测技术的研究", 《兵工学报》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446706A (zh) * | 2018-02-27 | 2018-08-24 | 西安交通大学 | 一种基于颜色主分量提取的磨粒材质自动识别方法 |
| CN108446706B (zh) * | 2018-02-27 | 2021-01-19 | 西安交通大学 | 一种基于颜色主分量提取的磨粒材质自动识别方法 |
| CN108414409A (zh) * | 2018-05-11 | 2018-08-17 | 中国矿业大学 | 一种旋转式铁谱仪谱片图像采集系统及方法 |
| CN108414409B (zh) * | 2018-05-11 | 2024-04-30 | 中国矿业大学 | 一种旋转式铁谱仪谱片图像采集系统及方法 |
| CN109059800B (zh) * | 2018-05-24 | 2020-04-24 | 东南大学 | 一种三维重建装置的光源位置校准方法 |
| CN109059800A (zh) * | 2018-05-24 | 2018-12-21 | 东南大学 | 一种三维重建装置的光源位置校准方法 |
| CN108895982A (zh) * | 2018-07-03 | 2018-11-27 | 清华大学 | 高速结构光产生装置及三维单像素成像系统 |
| WO2020007078A1 (zh) * | 2018-07-03 | 2020-01-09 | 清华大学 | 高速结构光产生装置及三维单像素成像系统 |
| CN109801291A (zh) * | 2019-03-12 | 2019-05-24 | 西安交通大学 | 一种运动磨粒多表面三维形貌的获取方法 |
| CN109801291B (zh) * | 2019-03-12 | 2021-05-04 | 西安交通大学 | 一种运动磨粒多表面三维形貌的获取方法 |
| CN110263192B (zh) * | 2019-06-06 | 2021-04-27 | 西安交通大学 | 一种基于条件生成对抗网络的磨粒形貌数据库创建方法 |
| CN110263192A (zh) * | 2019-06-06 | 2019-09-20 | 西安交通大学 | 一种基于条件生成对抗网络的磨粒形貌数据库创建方法 |
| CN110487214A (zh) * | 2019-08-26 | 2019-11-22 | 中国计量大学 | 一种基于光度立体技术和结构光技术相结合的产品合格率的检测系统及其检测方法 |
| CN111951376A (zh) * | 2020-07-28 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 融合结构光和光度学的三维对象重建方法及终端设备 |
| CN112378979A (zh) * | 2020-09-15 | 2021-02-19 | 郑州磨料磨具磨削研究所有限公司 | 一种用于检测磨具表面磨粒尖锐程度的装置及方法 |
| CN112378979B (zh) * | 2020-09-15 | 2023-03-21 | 郑州磨料磨具磨削研究所有限公司 | 一种用于检测磨具表面磨粒尖锐程度的装置及方法 |
| CN112241066A (zh) * | 2020-11-11 | 2021-01-19 | 中国矿业大学 | 多角度成像显微镜和铁谱磨粒三维形貌重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107677216B (zh) | 2019-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107677216B (zh) | 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法 | |
| CN110490914B (zh) | 一种基于亮度自适应和显著性检测的图像融合方法 | |
| Russ | Computer-assisted microscopy: the measurement and analysis of images | |
| CN101441320B (zh) | 一种基于显微成像检测的高动态图像获取装置及其方法 | |
| CN104112269B (zh) | 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统 | |
| Wang et al. | Real-time underwater onboard vision sensing system for robotic gripping | |
| CN106846289B (zh) | 一种红外光强与偏振图像融合方法 | |
| CN105184779B (zh) | 一种基于快速特征金字塔的车辆多尺度跟踪方法 | |
| CN102930334B (zh) | 视频人体轮廓识别计数器 | |
| CN110889844B (zh) | 一种基于深度聚类分析的珊瑚分布及健康状况评估方法 | |
| CN105447825B (zh) | 图像去雾方法及其系统 | |
| US20200258300A1 (en) | Method and apparatus for generating a 3d reconstruction of an object | |
| CN104616274A (zh) | 一种基于显著性区域提取的多聚焦图像融合算法 | |
| CN107657604A (zh) | 一种基于近场非标准光源的磨痕三维形貌原位获取方法 | |
| CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
| Chen et al. | The enhancement of catenary image with low visibility based on multi-feature fusion network in railway industry | |
| Chen et al. | A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery | |
| Agresti et al. | Stereo and ToF data fusion by learning from synthetic data | |
| Fang et al. | Image quality assessment on image haze removal | |
| Haiyang et al. | Earthquake-collapsed building extraction from LiDAR and aerophotograph based on OBIA | |
| CN104123569B (zh) | 一种基于有监督学习的视频人数信息统计方法 | |
| Huang et al. | Visual measurement of grinding surface roughness based on feature fusion | |
| CN109443319A (zh) | 基于单目视觉的障碍物测距系统及其测距方法 | |
| Culibrk | Neural network approach to Bayesian background modeling for video object segmentation | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221213 Address after: 710061 Fengxi New Town, Xixian New District, Xi'an, Shaanxi Patentee after: Shaanxi Zhipu Weichuang Information Technology Co.,Ltd. Address before: Beilin District Xianning West Road 710049, Shaanxi city of Xi'an province No. 28 Patentee before: XI'AN JIAOTONG University |
|
| TR01 | Transfer of patent right |