CN103413141A - 环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法 - Google Patents

环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法 Download PDF

Info

Publication number
CN103413141A
CN103413141A CN2013103234726A CN201310323472A CN103413141A CN 103413141 A CN103413141 A CN 103413141A CN 2013103234726 A CN2013103234726 A CN 2013103234726A CN 201310323472 A CN201310323472 A CN 201310323472A CN 103413141 A CN103413141 A CN 103413141A
Authority
CN
China
Prior art keywords
cutter
image
value
light source
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013103234726A
Other languages
English (en)
Other versions
CN103413141B (zh
Inventor
何卫平
郭改放
王伟
曹西征
林清松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201310323472.6A priority Critical patent/CN103413141B/zh
Publication of CN103413141A publication Critical patent/CN103413141A/zh
Application granted granted Critical
Publication of CN103413141B publication Critical patent/CN103413141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法,用于解决现有环形光源无法准确获取刀具全部纹理信息的技术问题。技术方案是由主光源和背光源组成,主光源由四个固定在底板上的LED点光源形成的同心圆发光带组成,发光带由间距相等的LED组成,对拍摄到的刀具纹理保持旋转不变性。背光源由支撑板、漫反射板、箱体、光源和反射层组成;箱体由PVC板制作,反射层是一层反射薄膜,该反射薄膜均匀地贴附在箱体的内表面,LED间隔均匀地设置在箱体的下底板上形成光源,漫反射板位于光源的上面、支撑板的下面,产生亮度较低、均匀性较好的散射光束,去除刀具在自然光下的阴影效果,获取刀具全部纹理信息。

Description

环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法
技术领域
本发明涉及一种环形光源,还涉及一种利用环形光源照明基于刀具形状纹理重量的融合识别方法。
背景技术
实时准确地获取离散制造企业车间底层刀具的信息,并且实时地将这些信息反馈到调度层、计划层,是实现刀具实时追踪和刀具高效调度的关键。数据的高度共享导致刀具管理系统对数据信息的及时性和准确性要求很高,信息的不及时必然影响系统的效率,而数据的不准确将降低系统的可信度。刀具管理系统本身具有很多缺点。刀具的标识对于刀具的跟踪、追溯与监控都起着至关重要的作用。
文献1“专利公开号是CN102354363A的中国发明专利”公开了一种标刻在柱面金属上的二维条码的识别算法,该方法经过初定位二维条码区域,校正柱面光照不均,精确定位条码四边缘,判断输出数据是否满足校验函数,采集多幅图像并融合,仿射变换校正图像,划分网格,迭代提取信息等步骤得到二维条码模块信息矩阵。该专利将二维条码作为刀具的唯一标识来对刀具进行全生命周期管理的追踪,识别正确率达到了70%。
将二维条码作为刀具的标识来进行追溯有以下几个问题:
1、对于大曲率刀具而言,由于刀具的反光作用,二维条码便会被反光带遮挡,影响识读效果。
2、由于刀具流通环境恶劣,易污染、易磨损,因此在长时间的流通过程中二维条码会产生磨损,二维条码的磨损直接使得刀具的追溯失效,从而影响了刀具的全生命周期管理的进行。
刀具标识对于刀具的全生命周期管理具有决定性作用,一旦标识失效,刀具的追踪就会终止,因此刀具的自动识别还需要考虑在标识失效的情况下依然能够以高的效率进行识别。本专利从刀具自身的信息出发,充分利用刀具的形状纹理信息以及刀具的重量信息,引用多信息融合的思想,采用基于不精确推理的融合决策——DS证据理论进行融合,进而从数据库中识别出最佳的匹配刀具。
刀具形状是刀具的一个重要特征,不同的刀具差异很大,然而由于刀具是立体结构的,有一定的纵深,因此在自然光条件下提取的刀具形状可能受刀具本身阴影的影响,导致无法精确定位刀具边缘,造成提取的刀具形状信息不准确。刀具一般是金属材质,具有较强的反光度,在不同的光照条件下,刀具表面的反光区域和反光度有较强的变化;加之在同一普通光源条件下,不同的旋转角度也可能造成刀具反光区域的变化。用于获取刀具的形状和纹理信息的照明方法一般分别采用前景照明和背景照明。
文献2“专利授权公开号是CN201508322U的中国实用新型质量”公开了一种环形光源的检测设备,用于锡焊焊点的检测,该发明包含摄像头、环绕于摄像头的光源、位于摄像头和光源下方的承载台、用于进行图像对比的计算机,其中光源为4个环形光源,分别为从上到下依次排列的白色环形光源、红色环形光源、绿色环形光源、蓝色环形光源,各环形光源的入射角大于相邻的位于上方的环形光源的入射角且小于相邻的位于下方的环形光源的入射角,蓝色环形光源由252颗发光二极管组成。但是该照明设计的目的仅是为了凸显局部纹理信息,无法准确获取刀具的全部纹理信息,同时刀具旋转对刀具的表面纹理会产生影响。
文献3“沈振权,,专利公开号是CN102162976A的中国发明专利”公开了一种箱式文档拍摄仪背光照明系统设计方法及该背光照明系统,文献公开了用于形状或者纹理信息提取的照明设计,但是该照明设计单一地用于纹理信息的提取,无法实现同时用于刀具形状信息和刀具表面纹理信息的提取,同时保证在提取这两种信息时相互之间没有干扰。
发明内容
为了克服现有环形光源无法准确获取刀具全部纹理信息的不足,本发明提供一种环形光源。该环形光源由一个主光源和一个背光源组成,主光源由四个固定在底板上的LED点光源形成的同心圆发光带组成,发光带由间距相等的LED组成,对拍摄到的刀具纹理保持旋转不变性。背光源由支撑板、漫反射板、箱体、光源和反射层组成;箱体由PVC板制作,反射层是一层反射薄膜,该反射薄膜均匀地贴附在箱体的内表面,LED间隔均匀地设置在箱体的下底板上形成光源,漫反射板位于光源的上面、支撑板的下面,产生亮度较低、均匀性较好的散射光束,去除刀具在自然光下的阴影效果,可以准确获取刀具全部纹理信息。
本发明还提供利用环形光源照明基于刀具形状纹理重量的融合识别方法。
本发明解决其技术问题所采用的技术方案是:一种环形光源,其特点是:包括一个主光源2和一个背光源3,主光源2由四个固定在底板5上的LED点光源4形成的同心圆发光带组成,底板5下表面设置反射层10。背光源3由支撑板6、漫反射板7、箱体8、光源9和反射层10组成;箱体8是上面开口的长方体,反射层10均匀地贴附在箱体8的内表面,LED点光源4间隔均匀地设置在箱体8的下底板上形成光源9,漫反射板7位于支撑板6的下面并固定在箱体8的上面。背光源3的箱体8下底板上间隔均匀地设置LED点光源4,在LED点光源4的上方设置反射层10,采用支撑板6封盖固定箱体8。形状纹理信息采集相机1位于主光源2中心位置,背光源3位于形状纹理信息采集采集相机1的正下方。形状纹理信息采集相机1的下表面与主光源2的下表面在同一平面内,主光源2下表面与背光源3上表面之间放置刀具,确保形状纹理信息采集相机1的视场区域尺寸大于待识别刀具的尺寸。定位点11位于支撑板6的上表面正中央,形状纹理信息采集相机1的正下方,是一个与周围颜色对比度大的圆形区域,用于作为刀具放置位置的参考点。
所述支撑板6的材料是毛玻璃。
一种利用上述环形光源照明基于刀具形状纹理重量的融合识别方法,其特点是包括以下步骤:
步骤1、形状信息提取。
设输入的图像为A,宽度为w,高度为h,pixi,j代表图像中i行j列像素点的像素值。对输入的图像A灰值化,得到图像A1
对A1进行大津阈值分割,得到二值化图像A2
步骤1.1:寻找刀具的主方向。
首先对图像A1做灰值形态学边缘梯度运算:
Figure BDA00003586006300031
Figure BDA00003586006300032
为灰值膨胀运算,Θ为灰值腐蚀运算。g表示结构元素。得到梯度图像A3。然后确定刀具的大致方向。
步骤1.1.1:建立一个二维条码边缘方向数组: { value ( d i ) | d i ∈ ( - π 2 + iπ 16 , - π 2 + ( i + 1 ) π 16 ) } i = 0 15 . 每个di代表一个11.25°的区间。
步骤1.1.2:扫描二值化图像A2,若pixi,j=255,求取此点在梯度图像A3中的sobel梯度方向drei,j=arctan(dyi,j/dxi,j),其中:
dyi,j=(pixi-1,j+1+2pixi,j+1+pixi+1,j+1)-(pixi-1,j-1+2pixi,j-1+pixi+1,j-1)
dxi,j=(pixi+1,j+1+2pixi+1,j+pixi+1,j-1)-(pixi-1,j+1+2pixi-1,j+pixi-1,j-1)
若drei,j∈di,则value(di)加1,直至扫描完二值化图像A2中全部像素点。
步骤1.1.3:遍历
Figure BDA00003586006300041
计算区间加权值:
valued=0.3×value(di-1)+0.4×value(di)+0.3×value(di+1)
其中,di-1表示di逆时针方向上一个取值,di+1表示di顺时针方向下一个取值。设在区间di处加权值最大,记di中点值mainDre,刀具的大致主方向为mainDre。
步骤1.2:通过加邻域模板的霍夫变换精确确定刀具的主方向。
步骤1.2.1:对梯度图像A3进行大津阈值分割,得到图像A4
步骤1.2.2:定义一个缓存区buf,对图像A4和buf中所有像素为255的像素做霍夫变换,得到ρ-θ坐标系下的霍夫变换域,其中ρ是极半径。θ是极角。
步骤1.2.3:给定一个阈值thrDre,置梯度方向范围之内的目标点为背景点。如果当前点的梯度方向与大致主方向mainDre的差的绝对值小于thrDre或π与当前点的梯度方向与大致主方向mainDre的差的绝对值的差的绝对值小于thrDre,把该点记为主方向的目标点。
步骤1.2.4:对上述所求得的主方向的目标点进行霍夫变换,然后遍历其霍夫域,找到其最大的霍夫点,该霍夫点的纵坐标就是maxA所求的主方向。
步骤1.3:寻找刀具的包络矩形。
步骤1.3.1:首先设主方向的直线方程为y=tan(61°)x,然后遍历二值化图像A2,当像素值为0时,计算该点与直线y=tan(61°)x的距离D,找出最大的距离时的坐标pixi,j,此时得到最大距离点的坐标tempX=472,tempY=299。包络矩形的第一条边的直线方程为y=tan(61°)(x-472)+299。
步骤1.3.2:继续遍历二值化图像A2,当像素值为0时,计算该点与直线y=tan(61°)(x-472)+299的距离D2,找出最大距离maxD2时的坐标pixi,j,此时记tempX2=360,tempY2=153。包络矩形与第一条边平行的边的直线方程为y=1.80405×(x-360)+172。
步骤1.3.3:包络矩形在与刀具主方向垂直的两条边的斜率为k=-0.55431,根据该斜率依照上述的方法找到与刀具主方向垂直的两条边分别为y=-0.55431×(x-498)+383和y=-0.55431×(x-360)+153。
步骤1.4:确定形状信息参数,包络矩形的长、宽以及矩形度。
步骤1.4.1:包络矩形长和宽的确定。找到包络矩形四条边所在的直线后,通过直线两两求交点的方法得出包络矩形的四个交点。分别求出四条边的长度,然后同向的两条边的长度求平均值就得出来包络矩形的长和宽,分别记为h1和w1。
步骤1.4.2:矩形度的确定。矩形的面积用sq表示,sq=h1×w1。刀具的面积采用多边形面积公式计算。首先对图像A1进行去噪处理,对于图像A1中包络矩形外部的像素点的像素值置为220,得到图像A5,然后对图像A5进行直方图均衡,得到图像A6,得到具有完整轮廓形状的刀具图像。对图像A6进行边界追踪,然后从图像A6左下方开始遍历找到第一个黑色像素点,作为边界追踪的起始点,记为startPot,然后扫描这个起始点的邻域,找到下个像素为0的点,以此类推,直到回到起始点为止,此时边界追踪结束,得到刀具的边缘图像A7
采用多边形的面积计算公式
Figure BDA00003586006300051
求得刀具的面积为
Figure BDA00003586006300052
其中(xi,yi)是刀具边缘上的点。
记矩形度为RecRatio,RecRatio=SumA/sq。
步骤2、纹理信息提取。
步骤2.1:把图像A1的中心平移到刀具的质心,得到图像A8,然后逆时针旋转图像A8,旋转角度为刀具的主方向角度,得到图像A9,然后以刀具包络矩形扩展后的四条边裁剪图像A9,去除刀具的背景,得到完整的无背景干扰刀具图像A10
步骤2.2:提取无背景干扰刀具图像A10的纹理特征。
采用协方差矩阵来描述刀具的纹理特征,选取五个特征作为协方差矩阵的特征向量,分别是:
a.像素点到刀具质心的距离d;
b.像素点的灰度值P(x,y)
c.像素点的sobel梯度x方向Gx
d.像素点的sobel梯度y方向Gy
e.像素点的高斯——拉普拉斯算子Gl
得到的特征向量为:hk=[d,P(x,y),Gx,Gy,Gl]。
步骤2.3:构造协方差矩阵。
设无背景干扰刀具图像A10的长和宽分别为M和N。特征向量的平均值为:
u R = Σ i = 1 MN h i .
协方差矩阵CR为:
C R = 1 MN Σ k = 1 MN ( h k - u R ) T ( h k - u R ) .
步骤3、基于DS证据理论的多信息融合识别。
步骤3.1:利用SQL建立刀具的数据库,数据库中存储每把刀具的形状特征、纹理特征和重量信息。
步骤3.2:把形状纹理信息采集相机1所获取刀具的形状特征和纹理特征与重力传感器所测量的刀具的重量信息与数据库中的特征进行对比:
对于长、宽、矩形度和重量信息,采用欧氏距离来描述测试刀具与数据库中的刀具的相似度。设测试样本的特征为a,数据库中刀具的相关特征为b,则测试刀具与数据库中刀具在该特征的相似度为:
m = 1 - | a - b | a + b .
对于纹理特征,即灰度协方差矩阵,利用矩阵的距离公式来描述相似度。设测试刀具的协方差矩阵为,数据库中刀具的协方差矩阵为,则纹理特征的相似度表示为:
Figure BDA00003586006300064
其中n为特征向量的维数,λi为下式的解:
det(λP-Q)=0。
步骤3.3:构造识别框架和基本概率分配。
采用DS证据理论进行融合识别,识别框架为Θ={H1,H2,...HN},其中N为数据库中刀具的个数。
融合的五个特征分别为长、宽、矩形度、纹理特征和重量,其对应的五个信度分配函数分别为:m1,m2,m3,m4,m5
对于信度分配函数,根据每个特征对于数据库中每把刀具的相似度进行归一化,得到每个特征对于每把刀具的分配函数的值。
步骤3.4:根据证据理论的组合公式进行融合。
首先搜索数据库中刀具的形状纹理特征及重量信息,与形状纹理信息采集相机1所采集的信息进行比较求的相似度,对相似度归一化,对每个特征进行概率分配,然后进行多信息融合。
所述ρ的取值范围是
Figure BDA00003586006300071
Figure BDA00003586006300072
所述θ的取值范围是[-90,90]。
本发明的有益效果是:该环形光源由一个主光源和一个背光源组成,主光源由四个固定在底板上的LED点光源形成的同心圆发光带组成,发光带由间距相等的LED组成,对拍摄到的刀具纹理保持旋转不变性。背光源由支撑板、漫反射板、箱体、光源和反射层组成;箱体由PVC板制作,反射层是一层反射薄膜,该反射薄膜均匀地贴附在箱体的内表面,LED间隔均匀地设置在箱体的下底板上形成光源,漫反射板位于光源的上面、支撑板的下面,产生亮度较低、均匀性较好的散射光束,去除刀具在自然光下的阴影效果,可以准确获取刀具全部纹理信息。由于刀具的形状、纹理及重量信息是刀具自身的属性,不会随着刀具的污染磨损而改变。本发明通过光源的作用,能够对任意角度旋转倾斜的刀具进行识别,对于污染磨损严重的刀具,识别正确率在83%以上;对于刀具质量较好的刀具,识别正确率在95%以上,在识别时间上,数据库中百把刀具的识别时间在2s以内。
以下结合附图和实施例详细说明本发明。
附图说明
图1是本发明环形光源发光带的示意图。
图2是本发明环形光源的背光源示意图。
图3是本发明环形光源的整体示意图。
图4是本发明利用环形光源照明基于刀具形状纹理重量的融合识别方法的流程图。
图中,1-形状纹理信息采集相机,2-主光源,3-背光源,4-LED点光源,5-底板,6-支撑板,7-漫反射板,8-箱体,9-光源,10-定位点。
具体实施方式
实施例1。参照图1-4。环形光源一个主光源2和一个背光源3组成,主光源2由四个固定在底板5上的LED点光源4形成的同心圆发光带组成,对拍摄到的刀具纹理保持旋转不变性。背光源3由支撑板6、漫反射板7、箱体8、光源9和反射层10组成;箱体8由PVC板制作、上面开口的长方体,反射层是一层反射薄膜,该反射薄膜均匀地贴附在箱体的内表面,LED点光源4间隔均匀地设置在箱体8的下底板上形成光源9,漫反射板7位于支撑板6的下面并固定在箱体8的上面。主光源1采用142个LED点光源4布置在底板5上形成环形发光带,用来保证刀具的纹理在光源的照明下具有旋转不变的特点。背光源3的箱体8下底板上间隔均匀地设置50个LED点光源4,在LED点光源4的上方设置反射层10,反射层10是一层漫反射布,最后采用支撑板6毛玻璃来封盖固定箱体8。用来去除刀具在自然光下的阴影效果。形状纹理信息采集相机1位于主光源2中心位置,背光源3位于形状纹理信息采集采集相机1的正下方。所述底板5下表面为一反射层,其表面具有良好的反光特性。形状纹理信息采集相机1的下表面与主光源2的下表面在同一平面内,使得主光源2不会干扰形状纹理信息采集相机1工作。所述主光源2下表面与背光源3上表面之间放置刀具,确保形状纹理信息采集相机1的视场区域尺寸大于待识别刀具的尺寸。背光源3产生亮度较低、均匀性较好的散射光束,所述支撑板6是半透明的平板,本实施例采用毛玻璃。定位点11位于支撑板6的上表面正中央,形状纹理信息采集相机1的正下方,是一个与周围颜色对比度大的圆形区域,用于作为刀具放置位置的参考点。
实施例2。采用环形光源基于刀具形状纹理重量的融合识别方法具体步骤如下。
本实施例中形状纹理信息采集相机1为维视数字图像技术有限公司的MV1300型号工业相机,相机距离待测目标为30cm。
本实施例在刀具数据库中选取刀具编号为0008号、刀具直径为φ10的柱面刀具,并拍摄它的形状、纹理以及通过重力传感器获取它的重量信息。在主光源2和背光源3两个光源的支持下,选取快门速度为20ms,增益调节为0,视屏模式640*512,采集速度高速。在识读工装下用MV1300工业相机采集的图像作为实施实例,图像大小为640*512像素。
在该实施例中,设输入的图像为A,宽度为w,高度为h,pixi,j代表图像中i行j列像素点的像素值。
步骤1、形状信息提取。
对输入图像A灰值化,得到图像A1。
对A1进行大津阈值分割,得到二值化图像A2
步骤1.1:寻找刀具的主方向。
首先对图像A1做灰值形态学边缘梯度运算:
Figure BDA00003586006300095
Figure BDA00003586006300096
为灰值膨胀运算,Θ为灰值腐蚀运算。g表示结构元素。得到梯度图像A3。然后确定刀具的大致方向,方法如下:
步骤1.1.1:建立一个二维条码边缘方向数组: { value ( d i ) | d i ∈ ( - π 2 + iπ 16 , - π 2 + ( i + 1 ) π 16 ) } i = 0 15 . 每个di代表着一个11.25°的区间。
步骤1.1.2:扫描A2,若pixi,j=255,求取此点在A3中的sobel梯度方向drei,j=arctan(dyi,j/dxi,j),其中:
dyi,j=(pixi-1,j+1+2pixi,j+1+pixi+1,j+1)-(pixi-1,j-1+2pixi,j-1+pixi+1,j-1)
dxi,j=(pixi+1,j+1+2pixi+1,j+pixi+1,j-1)-(pixi-1,j+1+2pixi-1,j+pixi-1,j-1)
若drei,j∈di,则value(di)加1,直至扫描完A2中全部像素点。
步骤1.1.3:遍历
Figure BDA00003586006300092
计算区间加权值:
valued=0.3×value(di-1)+0.4×value(di)+0.3×value(di+1)
其中,di-1表示di逆时针方向上一个取值,di+1表示di顺时针方向下一个取值。设在区间di处加权值最大,记di中点值mainDre,刀具的大致主方向为mainDre。
步骤1.2:通过加邻域模板的霍夫变换精确确定刀具的主方向。
步骤1.2.1:对A3进行大津阈值分割,得到图像A4
步骤1.2.2:定义一个缓存区buf,对A4中所有像素点为255的像素,buf对应的像素也是255,对buf中所有像素为255的像素做霍夫变换,得到ρ-θ坐标系下的霍夫变换域,其中ρ是极半径,取值范围
Figure BDA00003586006300093
Figure BDA00003586006300094
θ是极角,取值范围[-90,90]。
步骤1.2.3:给定一个阈值thrDre为20°,置梯度方向在范围之内的目标点为背景点。如果当前点的梯度方向与大致主方向mainDre的差的绝对值小于thrDre或π与当前点的梯度方向与大致主方向mainDre的差的绝对值的差的绝对值小于thrDre,把该点记为主方向的目标点。
步骤1.2.4:对上述所求得的主方向的目标点进行霍夫变换,然后遍历其霍夫域,找到其最大的霍夫点,该霍夫点的纵坐标就是maxA所求的主方向,求得刀具的主方向maxA为61°。
步骤1.3:寻找刀具的包络矩形。
步骤1.3.1:首先设主方向的直线方程为y=tan(61°)x,然后遍历图像A2,当像素值为0时,计算该点与直线y=tan(61°)x的距离D,找出最大的距离时的坐标pixi,j,此时得到最大距离点的坐标tempX=472,tempY=299。包络矩形的第一条边的直线方程为y=tan(61°)(x-472)+299。
步骤1.3.2:继续遍历图像A2,当像素值为0时,计算该点与直线y=tan(61°)(x-472)+299的距离D2,找出最大距离maxD2时的坐标pixi,j,此时记tempX2=360,tempY2=153。包络矩形与第一条边平行的边的直线方程为y=1.80405×(x-360)+172。
步骤1.3.3:包络矩形在与刀具主方向垂直的两条边的斜率为k=-0.55431,根据该斜率依照上述的方法找到与刀具主方向垂直的两条边分别为y=-0.55431×(x-498)+383和y=-0.55431×(x-360)+153。
步骤1.4:确定形状信息参数。
形状信息参数为三个:包络矩形的长、宽以及矩形度(刀具面积与包络矩形的面积之比)。
步骤1.4.1:包络矩形长和宽的确定。找到包络矩形四条边所在的直线后,通过直线两两求交点的方法得出包络矩形的四个交点分别为(482,392)、(352,157)、(513,374)和(384,140)。分别求出四条边的长度,然后同向的两条边的长度求平均值就得出来包络矩形的长和宽,分别记为h1和w1,得到刀具的长为267,宽为35。
步骤1.4.2:矩形度的确定。矩形度即为刀具的面积与包络矩形的面积的比值。矩形的面积用sq表示,sq=h1×w1。刀具的面积采用多边形面积公式计算。首先对A1进行去噪处理,对于A1中包络矩形外部的像素点的像素值置为220,得到图像A5,然后对A5进行直方图均衡,得到图像A6,得到具有完整轮廓形状的刀具图像。对图像A6进行边界追踪,然后从图像左下方开始遍历找到第一个黑色像素点,作为边界追踪的起始点,记为startPot,然后扫描这个起始点的邻域,找到下个像素为0的点,以此类推,直到回到起始点为止,此时边界追踪结束,得到刀具的边缘图A7
采用多边形的面积计算公式求得刀具的面积为
Figure BDA00003586006300112
其中(xi,yi)是刀具边缘上的点。
记矩形度为RecRatio,RecRatio=SumA/sq。利用该公式求得刀具的矩形度为0.5484。
步骤2、纹理信息提取。
步骤2.1:把图像A1的中心平移到刀具的质心(即刀具包络矩形的中心),得到图像A8,然后逆时针旋转图像A8,旋转角度为刀具的主方向角度,得到图像A9,然后以刀具包络矩形扩展后的四条边裁剪图像A9,去除刀具的背景,得到完整的无背景干扰刀具图像A10
步骤2.2:提取图像A10的纹理特征。
采用协方差矩阵来描述刀具的纹理特征,选取五个特征作为协方差矩阵的特征向量,分别是:
a.像素点到刀具质心的距离d;
b.像素点的灰度值P(x,y)
c.像素点的sobel梯度x方向Gx
d.像素点的sobel梯度y方向Gy
e.像素点的高斯——拉普拉斯算子Gl
得到的特征向量为:hk=[d,P(x,y),Gx,Gy,Gl]。
步骤2.3:构造协方差矩阵。
设刀具图像A10的长和宽分别为M和N。特征向量的平均值为:
u R = Σ i = 1 MN h i .
协方差矩阵CR为:
C R = 1 MN Σ k = 1 MN ( h k - u R ) T ( h k - u R ) .
利用该算法得到的刀具的协方差矩阵为
5798.4054 70.93786 - 1264.1986 - 979.0742 458.1058 70.93786 6409.9128 47410.2473 - 100.5279 245.8861 - 1264.1986 47410.2473 906376.1956 - 328.9499 2242.0528 - 979.0742 - 100 . 5279 - 328.9499 6856.0063 - 1092.2730 458.1058 245.8861 2242.0528 - 1092.2730 46654.0834 .
步骤3、基于DS证据理论的多信息融合识别。
步骤3.1:利用SQL建立刀具的数据库,数据库中存储每把刀具的形状特征(长、宽、矩形度)、纹理特征(协方差矩阵)和重量信息。
步骤3.2:把相机所获取刀具的形状特征和纹理特征与重力传感器所测量的刀具的重量信息与数据库中的特征进行对比:
对于长、宽、矩形度和重量信息,采用欧氏距离来描述测试刀具与数据库中的刀具的相似度。设测试样本的特征为a,数据库中刀具的相关特征为b,则测试刀具与数据库中刀具在该特征的相似度为:
m = 1 - | a - b | a + b .
对于纹理特征,即灰度协方差矩阵,利用矩阵的距离公式来描述相似度。设测试刀具的协方差矩阵为,数据库中刀具的协方差矩阵为,则纹理特征的相似度表示为:
其中n为特征向量的维数,λi为下式的解:
det(λP-Q)=0。
步骤3.3:构造识别框架和基本概率分配。
采用DS证据理论进行融合识别,识别框架为Θ={H1,H2,...HN},其中N为数据库中刀具的个数。
融合的五个特征分别为长、宽、矩形度、纹理特征和重量,其对应的五个信度分配函数分别为:m1,m2,m3,m4,m5
对于信度分配函数,根据每个特征对于数据库中每把刀具的相似度进行归一化,得到每个特征对于每把刀具的分配函数的值。
步骤3.4:根据证据理论的组合公式进行融合。
利用该算法对该刀具的形状纹理信息进行融合,由重力传感器得到该刀具的重量为0.0522kg,首先搜索数据库中27把刀具的形状纹理特征及重量信息,与所采集的信息进行比较求的相似度,对相似度归一化,对每个特征进行概率分配,然后进行多信息融合,分配结果及融合结果如表所示:
刀具编号 重量 矩形度 纹理矩阵 融合结果
0001 0.04152 0.03715 0.03718 0.04176 0.04528 0.04810
0002 0.03295 0.03848 0.04056 0.03736 0.05092 0.04339
0003 0.03499 0.03833 0.03718 0.04115 0.05018 0.04566
0004 0.02359 0.03536 0.03187 0.03878 0.03519 0.01609
0005 0.03579 0.03854 0.03675 0.04035 0.04754 0.04311
0006 0.05278 0.04077 0.04399 0.04090 0.05517 0.09472
0007 0.04682 0.03541 0.04399 0.03860 0.04537 0.05665
0008 0.05233 0.04084 0.04399 0.03847 0.05897 0.10024
0009 0.04044 0.03688 0.04462 0.03730 0.04643 0.05111
0010 0.04250 0.03778 0.04119 0.03920 0.04758 0.05470
0011 0.04250 0.03805 0.04192 0.03907 0.01367 0.01605
0012 0.03234 0.04030 0.03539 0.03872 0.03773 0.02988
0013 0.03323 0.03206 0.03140 0.04032 0.01912 0.01144
0014 0.03496 0.03796 0.02918 0.04012 0.01109 0.00764
0015 0.02434 0.02931 0.02800 0.03648 0.01522 0.00492
0016 0.01841 0.03195 0.02550 0.04076 0.00035 0.00009
0017 0.02206 0.03306 0.02550 0.04022 0 0
0018 0.02857 0.03814 0.03155 0.03270 0.03341 0.01665
0019 0.02452 0.03648 0.03187 0.03347 0.02791 0.01181
0020 0.02521 0.03767 0.03187 0.03279 0.03776 0.01662
0021 0.02818 0.04014 0.03155 0.03361 0.03224 0.01715
0022 0.05323 0.04045 0.04399 0.03290 0.05225 0.07221
0023 0.04044 0.03535 0.04399 0.03232 0.04572 0.04121
0024 0.05322 0.03796 0.04338 0.03336 0.05054 0.06553
0025 0.05147 0.03574 0.04119 0.03283 0.03960 0.04368
0026 0.04182 0.03796 0.04119 0.03326 0.04954 0.04778
0027 0.04182 0.03787 0.04119 0.03320 0.05123 0.04920
通过融合结果可知,该刀具与0008号匹配的概率最大,因此识别结果为0008号刀具。

Claims (5)

1.一种环形光源,其特征在于:包括一个主光源(2)和一个背光源(3),主光源(2)由四个固定在底板(5)上的LED点光源(4)形成的同心圆发光带组成,底板(5)下表面设置反射层(10);背光源(3)由支撑板(6)、漫反射板(7)、箱体(8)、光源(9)和反射层(10)组成;箱体(8)是上面开口的长方体,反射层(10)均匀地贴附在箱体(8)的内表面,LED点光源(4)间隔均匀地设置在箱体(8)的下底板上形成光源(9),漫反射板(7)位于支撑板(6)的下面并固定在箱体(8)的上面;背光源(3)的箱体(8)下底板上间隔均匀地设置LED点光源(4),在LED点光源(4)的上方设置反射层(10),采用支撑板(6)封盖固定箱体(8);形状纹理信息采集相机(1)位于主光源(2)中心位置,背光源(3)位于形状纹理信息采集采集相机(1)的正下方;形状纹理信息采集相机(1)的下表面与主光源(2)的下表面在同一平面内,主光源(2)下表面与背光源(3)上表面之间放置刀具,确保形状纹理信息采集相机(1)的视场区域尺寸大于待识别刀具的尺寸;定位点(11)位于支撑板(6)的上表面正中央,形状纹理信息采集相机(1)的正下方,是一个与周围颜色对比度大的圆形区域,用于作为刀具放置位置的参考点。
2.根据权利要求1所述的环形光源,其特征在于:所述支撑板(6)的材料是毛玻璃。
3.一种利用权利要求1所述环形光源照明基于刀具形状纹理重量的融合识别方法,其特征在于包括以下步骤:
步骤1、形状信息提取;
设输入的图像为A,宽度为w,高度为h,pixi,j代表图像中i行j列像素点的像素值;对输入的图像A灰值化,得到图像A1
对A1进行大津阈值分割,得到二值化图像A2
步骤1.1:寻找刀具的主方向;
首先对图像A1做灰值形态学边缘梯度运算:
Figure FDA00003586006200011
Figure FDA00003586006200012
为灰值膨胀运算,Θ为灰值腐蚀运算;g表示结构元素;得到梯度图像A3;然后确定刀具的大致方向;
步骤1.1.1:建立一个二维条码边缘方向数组: { value ( d i ) | d i ∈ ( - π 2 + iπ 16 , - π 2 + ( i + 1 ) π 16 ) } i = 0 15 ; 每个di代表一个11.25°的区间;
步骤1.1.2:扫描二值化图像A2,若pixi,j=255,求取此点在梯度图像A3中的sobel梯度方向drei,j=arctan(dyi,j/dxi,j),其中:
dyi,j=(pixi-1,j+1+2pixi,j+1+pixi+1,j+1)-(pixi-1,j-1+2pixi,j-1+pixi+1,j-1)
dxi,j=(pixi+1,j+1+2pixi+1,j+pixi+1,j-1)-(pixi-1,j+1+2pixi-1,j+pixi-1,j-1)
若drei,j∈di,则value(di)加1,直至扫描完二值化图像A2中全部像素点;
步骤1.1.3:遍历
Figure FDA00003586006200022
计算区间加权值:
valued=0.3×value(di-1)+0.4×value(di)+0.3×value(di+1)
其中,di-1表示di逆时针方向上一个取值,di+1表示di顺时针方向下一个取值;设在区间di处加权值最大,记di中点值mainDre,刀具的大致主方向为mainDre;
步骤1.2:通过加邻域模板的霍夫变换精确确定刀具的主方向;
步骤1.2.1:对梯度图像A3进行大津阈值分割,得到图像A4;.
步骤1.2.2:定义一个缓存区buf,对图像A4和buf中所有像素为255的像素做霍夫变换,得到ρ-θ坐标系下的霍夫变换域,其中ρ是极半径;θ是极角;
步骤1.2.3:给定一个阈值thrDre,置梯度方向范围之内的目标点为背景点;如果当前点的梯度方向与大致主方向mainDre的差的绝对值小于thrDre或π与当前点的梯度方向与大致主方向mainDre的差的绝对值的差的绝对值小于thrDre,把该点记为主方向的目标点;
步骤1.2.4:对上述所求得的主方向的目标点进行霍夫变换,然后遍历其霍夫域,找到其最大的霍夫点,该霍夫点的纵坐标就是maxA所求的主方向;
步骤1.3:寻找刀具的包络矩形;
步骤1.3.1:首先设主方向的直线方程为y=tan(61°)x,然后遍历二值化图像A2,当像素值为0时,计算该点与直线y=tan(61°)x的距离D,找出最大的距离时的坐标pixi,j,此时得到最大距离点的坐标tempX=472,tempY=299;包络矩形的第一条边的直线方程为y=tan(61°)(x-472)+299;
步骤1.3.2:继续遍历二值化图像A2,当像素值为0时,计算该点与直线y=tan(61°)(x-472)+299的距离D2,找出最大距离maxD2时的坐标pixi,j,此时记tempX2=360,tempY2=153;包络矩形与第一条边平行的边的直线方程为y=1.80405×(x-360)+172;
步骤1.3.3:包络矩形在与刀具主方向垂直的两条边的斜率为k=-0.55431,根据该斜率依照上述的方法找到与刀具主方向垂直的两条边分别为y=-0.55431×(x-498)+383和y=-0.55431×(x-360)+153;
步骤1.4:确定形状信息参数,包络矩形的长、宽以及矩形度;
步骤1.4.1:包络矩形长和宽的确定;找到包络矩形四条边所在的直线后,通过直线两两求交点的方法得出包络矩形的四个交点;分别求出四条边的长度,然后同向的两条边的长度求平均值就得出来包络矩形的长和宽,分别记为h1和w1;
步骤1.4.2:矩形度的确定;矩形的面积用sq表示,sq=h1×w1;刀具的面积采用多边形面积公式计算;首先对图像A1进行去噪处理,对于图像A1中包络矩形外部的像素点的像素值置为220,得到图像A5,然后对图像A5进行直方图均衡,得到图像A6,得到具有完整轮廓形状的刀具图像;对图像A6进行边界追踪,然后从图像A6左下方开始遍历找到第一个黑色像素点,作为边界追踪的起始点,记为startPot,然后扫描这个起始点的邻域,找到下个像素为0的点,以此类推,直到回到起始点为止,此时边界追踪结束,得到刀具的边缘图像A7
采用多边形的面积计算公式
Figure FDA00003586006200031
求得刀具的面积为
Figure FDA00003586006200032
其中(xi,yi)是刀具边缘上的点;
记矩形度为RecRatio,RecRatio=SumA/sq;
步骤2、纹理信息提取;
步骤2.1:把图像A1的中心平移到刀具的质心,得到图像A8,然后逆时针旋转图像A8,旋转角度为刀具的主方向角度,得到图像A9,然后以刀具包络矩形扩展后的四条边裁剪图像A9,去除刀具的背景,得到完整的无背景干扰刀具图像A10
步骤2.2:提取无背景干扰刀具图像A10的纹理特征;
采用协方差矩阵来描述刀具的纹理特征,选取五个特征作为协方差矩阵的特征向量,分别是:
a.像素点到刀具质心的距离d;
b.像素点的灰度值P(x,y)
c.像素点的sobel梯度x方向Gx
d.像素点的sobel梯度y方向Gy
e.像素点的高斯——拉普拉斯算子Gl
得到的特征向量为:hk=[d,P(x,y),Gx,Gy,Gl];
步骤2.3:构造协方差矩阵;
设无背景干扰刀具图像A10的长和宽分别为M和N;特征向量的平均值为:
u R = Σ i = 1 MN h i ;
协方差矩阵CR为:
C R = 1 MN Σ k = 1 MN ( h k - u R ) T ( h k - u R ) ;
步骤3、基于DS证据理论的多信息融合识别;
步骤3.1:利用SQL建立刀具的数据库,数据库中存储每把刀具的形状特征、纹理特征和重量信息;
步骤3.2:把形状纹理信息采集相机(1)所获取刀具的形状特征和纹理特征与重力传感器所测量的刀具的重量信息与数据库中的特征进行对比:
对于长、宽、矩形度和重量信息,采用欧氏距离来描述测试刀具与数据库中的刀具的相似度;设测试样本的特征为a,数据库中刀具的相关特征为b,则测试刀具与数据库中刀具在该特征的相似度为:
m = 1 - | a - b | a + b ;
对于纹理特征,即灰度协方差矩阵,利用矩阵的距离公式来描述相似度;设测试刀具的协方差矩阵为,数据库中刀具的协方差矩阵为,则纹理特征的相似度表示为:
Figure FDA00003586006200051
其中n为特征向量的维数,λi为下式的解:
det(λP-Q)=0;
步骤3.3:构造识别框架和基本概率分配;
采用DS证据理论进行融合识别,识别框架为Θ={H1,H2,...HN},其中N为数据库中刀具的个数;
融合的五个特征分别为长、宽、矩形度、纹理特征和重量,其对应的五个信度分配函数分别为:m1,m2,m3,m4,m5
对于信度分配函数,根据每个特征对于数据库中每把刀具的相似度进行归一化,得到每个特征对于每把刀具的分配函数的值;
步骤3.4:根据证据理论的组合公式进行融合;
首先搜索数据库中刀具的形状纹理特征及重量信息,与形状纹理信息采集相机(1)所采集的信息进行比较求的相似度,对相似度归一化,对每个特征进行概率分配,然后进行多信息融合。
4.根据权利要求3所述的方法,其特征在于:所述ρ的取值范围是
Figure FDA00003586006200052
l = h 2 + w 2 2 .
5.根据权利要求3所述的方法,其特征在于:所述θ的取值范围是[-90,90]。
CN201310323472.6A 2013-07-29 2013-07-29 环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法 Active CN103413141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310323472.6A CN103413141B (zh) 2013-07-29 2013-07-29 环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310323472.6A CN103413141B (zh) 2013-07-29 2013-07-29 环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法

Publications (2)

Publication Number Publication Date
CN103413141A true CN103413141A (zh) 2013-11-27
CN103413141B CN103413141B (zh) 2017-02-22

Family

ID=49606148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310323472.6A Active CN103413141B (zh) 2013-07-29 2013-07-29 环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法

Country Status (1)

Country Link
CN (1) CN103413141B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787487A (zh) * 2016-02-24 2016-07-20 昆明理工大学 一种剪切工具图片的相似度匹配方法
CN107121535A (zh) * 2017-02-24 2017-09-01 上海博历机械科技有限公司 一种有效的农作物生长环境监测系统
CN108363942A (zh) * 2017-12-26 2018-08-03 新智数字科技有限公司 一种基于多特征融合的刀具识别方法、装置以及设备
CN109241948A (zh) * 2018-10-18 2019-01-18 杜海朋 一种数控刀具视觉识别方法及装置
CN110076629A (zh) * 2019-04-25 2019-08-02 武汉企鹅能源数据有限公司 刀具失效过程实时检测及优化数据分析系统
CN113191974A (zh) * 2021-04-29 2021-07-30 青岛科技大学 一种基于机器视觉获取船舶全景影像的方法及系统
CN113624461A (zh) * 2021-08-19 2021-11-09 中国科学院合肥物质科学研究院 基于线结构光的薄膜均匀性检测系统
CN114648052A (zh) * 2020-12-18 2022-06-21 武汉智行者科技有限公司 一种基于ds证据理论的多传感器信息融合算法
TWI788505B (zh) * 2018-01-16 2023-01-01 日商迪思科股份有限公司 切削刀的管理方法及切削裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023663A (en) * 1996-04-08 2000-02-08 Samsung Electronics Co., Ltd. Method and apparatus for inspecting a solder joint using a correlation neural network
CN2833640Y (zh) * 2005-10-18 2006-11-01 贵阳新天光电科技有限公司 分区、分圈、分弧度控制的led环形光源系统
CN201508322U (zh) * 2009-10-16 2010-06-16 苏州明富自动化设备有限公司 环形光源自动检测设备
CN102354363A (zh) * 2011-09-15 2012-02-15 西北工业大学 高反光柱面金属上的二维条码图像识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023663A (en) * 1996-04-08 2000-02-08 Samsung Electronics Co., Ltd. Method and apparatus for inspecting a solder joint using a correlation neural network
CN2833640Y (zh) * 2005-10-18 2006-11-01 贵阳新天光电科技有限公司 分区、分圈、分弧度控制的led环形光源系统
CN201508322U (zh) * 2009-10-16 2010-06-16 苏州明富自动化设备有限公司 环形光源自动检测设备
CN102354363A (zh) * 2011-09-15 2012-02-15 西北工业大学 高反光柱面金属上的二维条码图像识别方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787487A (zh) * 2016-02-24 2016-07-20 昆明理工大学 一种剪切工具图片的相似度匹配方法
CN105787487B (zh) * 2016-02-24 2019-04-12 昆明理工大学 一种剪切工具图片的相似度匹配方法
CN107121535A (zh) * 2017-02-24 2017-09-01 上海博历机械科技有限公司 一种有效的农作物生长环境监测系统
CN108363942A (zh) * 2017-12-26 2018-08-03 新智数字科技有限公司 一种基于多特征融合的刀具识别方法、装置以及设备
TWI788505B (zh) * 2018-01-16 2023-01-01 日商迪思科股份有限公司 切削刀的管理方法及切削裝置
CN109241948A (zh) * 2018-10-18 2019-01-18 杜海朋 一种数控刀具视觉识别方法及装置
CN110076629A (zh) * 2019-04-25 2019-08-02 武汉企鹅能源数据有限公司 刀具失效过程实时检测及优化数据分析系统
CN114648052A (zh) * 2020-12-18 2022-06-21 武汉智行者科技有限公司 一种基于ds证据理论的多传感器信息融合算法
CN113191974A (zh) * 2021-04-29 2021-07-30 青岛科技大学 一种基于机器视觉获取船舶全景影像的方法及系统
CN113191974B (zh) * 2021-04-29 2023-02-03 青岛科技大学 一种基于机器视觉获取船舶全景影像的方法及系统
CN113624461A (zh) * 2021-08-19 2021-11-09 中国科学院合肥物质科学研究院 基于线结构光的薄膜均匀性检测系统
CN113624461B (zh) * 2021-08-19 2024-04-30 中国科学院合肥物质科学研究院 基于线结构光的薄膜均匀性检测系统

Also Published As

Publication number Publication date
CN103413141B (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN103413141A (zh) 环形光源及利用环形光源照明基于刀具形状纹理重量的融合识别方法
CN107516077B (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
Wang et al. Photovoltaic panel extraction from very high-resolution aerial imagery using region–line primitive association analysis and template matching
JP4377665B2 (ja) 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム
CN102930268B (zh) 一种用于污染及多视角情况下DataMatrix码的精确定位方法
Mishra et al. Segmenting “simple” objects using RGB-D
CN103761534A (zh) 一种用于qfp元件视觉定位的检测方法
CN110288612B (zh) 铭牌定位与校正方法及设备
CN105068918B (zh) 一种页面测试方法及装置
Liang et al. Automatic plot-wise tree location mapping using single-scan terrestrial laser scanning
Kang et al. Voxel-based extraction and classification of 3-D pole-like objects from mobile LiDAR point cloud data
CN107451982A (zh) 一种基于无人机影像的高郁闭度林分树冠面积获取方法
TW201339975A (zh) 條碼辨識方法及其電腦程式產品
CN109829906A (zh) 一种基于方向场与纹理特征的工件缺陷检测与分类方法
CN105335973A (zh) 运用于带钢加工生产线的视觉处理方法
CN102721364A (zh) 一种工件的定位方法及其装置
CN103530590A (zh) Dpm二维码识别系统
CN107918953B (zh) 基于三维空间的激光扫描电力线点云的提取方法及装置
JP2016166853A (ja) 位置推定装置および位置推定方法
CN102799887B (zh) 结构变形检测图像传感器灵敏度自动标定方法
CN105783786A (zh) 一种基于结构光视觉的零件倒角测量方法与装置
CN102750530B (zh) 一种字符识别方法及装置
US11170215B1 (en) System and method for discriminating and demarcating targets of interest in a physical scene
CN110175997A (zh) 显示屏坏点检测方法、装置、计算机设备和存储介质
WO2022134277A1 (zh) 显示屏子像素的图像位置标记方法、设备以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant