CN112683787A - 物件表面检测系统及其基于人工神经网络的检测方法 - Google Patents
物件表面检测系统及其基于人工神经网络的检测方法 Download PDFInfo
- Publication number
- CN112683787A CN112683787A CN201910987155.1A CN201910987155A CN112683787A CN 112683787 A CN112683787 A CN 112683787A CN 201910987155 A CN201910987155 A CN 201910987155A CN 112683787 A CN112683787 A CN 112683787A
- Authority
- CN
- China
- Prior art keywords
- light
- image
- detection
- photosensitive element
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 144
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 68
- 238000001228 spectrum Methods 0.000 claims abstract description 85
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 238000007689 inspection Methods 0.000 claims description 38
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000003746 surface roughness Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
一种物件表面检测系统及其基于人工神经网络的检测方法,所述基于人工神经网络的物件表面检测方法包括:接收若干个物件影像,其中若干个物件影像具有互不相同的若干个光谱,且各物件影像具有若干个光谱的其中之一;转换物件影像为矩阵,其中矩阵具有通道数,且此通道数代表对应物件影像的光谱;以及以矩阵执行深度学习程序以建立识别物件的目标表面型态的预测模型。利用本发明的物件表面检测系统及其基于人工神经网络的检测方法,能提升识别物件的目标表面型态的速度,进而提升产品的良率。
Description
【技术领域】
本发明是关于一种物件表面检测系统及基于人工其神经网络的物件表面检测方法,尤其是一种可以学习并且自动检测物件表面的各种槽孔、裂缝、凸块及纹理的物件表面检测系统及其神经网络训练系统。
【背景技术】
各种安全性保护措施是通过许多小型结构元件所组成,例如安全带。若是这些小型结构元件强度不足或是有其他缺陷则可以令安全性保护措施产生安全上的疑虑。
这些小型或微型结构元件在制造过程中可能因为各种原因,例如不慎碰撞或模具缺陷,而导致其表面产生微小的槽孔、裂缝、凸块及纹理,这些微小的缺陷并不容易被查觉。现有的缺陷检测方法的其中之一是人工以肉眼观察或以双手触摸待检测的产品,然而,以人工方式检测产品是否具有缺陷的效率较差,且极容易发生误判的情形。
【发明内容】
有鉴于此,本发明提出一种物件表面检测系统及基于人工神经网络的物件表面检测方法,其能提供精准的检测结果,迅速的检测出元件表面上的微小缺陷及/或辨识出细微纹理。于此,微小缺陷为三维结构。
在一实施例中,一种物件表面检测系统,其包括驱动组件、光源组件、感光元件及分光组件。驱动组件承载一物件,物件的表面沿第一方向划分为若干个表面区块,且驱动组件还用于依序位移若干个表面区块的其中之一至检测位置。光源组件面向检测位置配置,并提供多频谱光线以照射检测位置,其中多频谱光线具有若干个光谱的子光线,且相对于位于检测位置的表面区块的正向法线。于此,光线的一光入射角大于临界角度且小于或等于90度。感光元件面向检测位置配置,其中感光元件的一感光轴平行于正向法线或介于正向法线与第一方向之间。分光组件位于感光元件与检测位置之间,具有分别对应若干个光谱的若干个滤光区,其中感光元件通过各滤光区于各该光谱的该子光线下撷取位于该检测位置上的该表面区块的检测影像。
在一实施例中,一种物件表面检测系统,其包括驱动组件、光源组件及感光元件。驱动组件承载一物件,其中物件的表面沿第一方向划分为若干个表面区块,且驱动组件还用于依序位移若干个表面区块的其中之一至检测位置。光源组件面向检测位置配置,并依序提供若干个光谱的光线以照射检测位置,其中相对于位于检测位置的表面区块的正向法线,各光谱的光线的光入射角大于临界角度且小于或等于90度。感光元件面向检测位置配置,于各光谱的光线下撷取位于检测位置上的表面区块的检测影像,其中感光元件的感光轴平行于正向法线或介于正向法线与第一方向之间。
在一实施例中,一种基于人工神经网络的物件表面检测方法,其包括接收若干个物件影像,其中若干个物件影像具有互不相同的若干个光谱,各物件影像具有若干个光谱的其中之一;转换若干个物件影像为矩阵,其中矩阵具有一通道数,且若干个通道分别代表若干个光谱。以矩阵执行深度学习程序以建立识别物件的目标表面型态的预测模型。
综上所述,在本发明一实施例的物件表面检测系统及基于人工神经网络的物件表面检测方法中,其可以通过控制发光频谱或收光频谱来提供同一物件不同成像效果的物件影像,借以提高物件的各种目标表面型态在影像检测下的区别性。在本发明一实施例的物件表面检测系统及基于人工神经网络的物件表面检测方法中,可整合多频谱的表面纹理的影像,以提升物件的目标表面型态的识别,进而得到物件的表面粗糙度以及细致纹理型态。根在本发明一实施例的物件表面检测系统及基于人工神经网络的物件表面检测方法中,能通过人工神经网络系统自行判定物件的目标表面型态,如此检测者并不需要以肉眼观察物件或是以双手触摸物件,因此将大幅地提升目标表面型态的识别效率,且能降低人为误判的情况。
【附图说明】
图1为本发明一实施例的物件表面检测系统的立体外观示意图。
图2为本发明另一实施例的物件表面检测系统的侧视示意图。
图3为本发明一实施例的物件表面检测系统的方框图。
图4为本发明一实施例的物件表面检测系统的光线方向示意图。
图5为本发明又一实施例的物件表面检测系统的立体外观示意图。
图6为本发明又一实施例的物件表面检测系统的光线方向示意图。
图7为本发明另一实施例的物件表面检测系统的光线方向示意图。
图8为本发明一实施例的检测影像示范图。
图9为本发明另一实施例的检测影像示范图。
图10为图7的物件上的表面型态的一实施态样的示意图。
图11为本发明一实施例物件影像图。
图12为本发明另一实施例的物件表面检测系统的立体外观示意图。
图13为本发明另一实施例物件影像图。
图14为本发明一实施例基于人工神经网络的物件表面检测方法流程图。
图15为本发明另一实施例基于人工神经网络的物件表面检测方法流程图。
【具体实施方式】
图1是本发明一实施例的物件表面检测系统的立体外观示意图。图2是本发明另一实施例的物件表面检测系统的侧视示意图。图3是本发明一实施例的物件表面检测系统的方框图。参考图1及图2,在一实施例中,物件表面检测系统1适用以扫描物件10以得到物件10在不同光谱下的检测影像。在一些实施例中,物件10的表面可具有至少一表面型态(如槽孔、裂缝、凸块、高低起伏、边缘、表面缺陷、表面粗糙度、细微纹理等表面结构),而在对应的检测影像也会呈现表面型态的影像区块。其中,表面缺陷为三维结构。于此,三维结构为次微米(<1μm,例如是0.1μm~1μm)尺寸到微米(μm)尺寸,即三维细微结构的最长边或最长直径介于次微米到微米之间。例如三维结构可以是300nm到6μm的微结构。
于此,物件表面检测系统1包括驱动组件20、光源组件30、感光模组40。驱动组件20用以承载物件10,且驱动组件20具有一检测位置。光源组件30与感光模组40分别从不同角度面向检测位置配置。
图4是本发明一实施例的物件表面检测系统的光线方向示意图。在物件表面检测系统1的运作过程中,物件10的表面可沿第一方向A划分为若干个表面区块10a/10b/10c,驱动组件20会依序位移若干个表面区块10a/10b/10c的其中之一至检测位置。在一些实施例中,以物件10的表面划分为九个表面区块为例,于图4中示范性标示其中的三个表面区块10a/10b/10c。然本案不以此为限制,物件10的表面也可依据实际需求划分为其他数量的表面区块,如3块、5块、11块、15块、20块等任意数量。
光源组件30提供光线以照射检测位置。感光模组40会在光源组件30提供的光线下撷取依序位于检测位置上的物件10的表面区块的检测影像。在一实施例中,光源组件30提供来自侧向或斜向的不同光谱的光线。
在一实施例中,若以物件10为圆筒状而言,通过驱动组件20带动物件10沿第一方向A转动,以将物件10的表面区块10a/10b/10c依序移动到检测位置供感光模组40取得检测影像。在一些实施例中,第一方向A可以是顺时针方向或逆时针方向。
在一实施例中,驱动组件20包含承载元件22及步进马达24。步进马达24连接于承载元件22,在物件表面检测系统1的运作过程中,承载元件22承载物件10,且步进马达24转动承载元件22以带动物件10旋转并依序位移若干个表面区块至检测位置。
在一示范例中,承载元件22可为相距有一既定距离的二滚筒,并且步进马达24耦接二滚筒的转轴。于此,既定距离小于物件10的直径(本体的最小直径)。因此,物件10能可移动地设置在二滚筒之间。并且,于步进马达24转动二滚筒时,物件10因物件10与二滚筒之间的表面摩擦力而被带动而转动。
在另一范例中,承载元件22可为一转轴,并且步进马达24耦接转轴的一端。此时,转轴的另一端具有嵌设件(如插孔)。此时,物件10可能可移除地嵌设于嵌设件中。并且,于步进马达24转动转轴时,物件10由转轴带动而转动。
举例来说,在检测程序中,驱动组件20先位移表面区块10a至检测位置,并且在以光源组件30提供的检测光线照射表面区块10a下,感光元件42撷取表面区块10a的检测影像。接着,驱动组件20再位移物件10以使表面区块10b至检测位置,并且在以光源组件30提供的检测光线照射表面区块10b下,感光元件42再撷取表面区块10b的检测影像。接着,驱动组件20位移物件10以使移表面区块10c至检测位置,并且在以光源组件30提供的检测光线照射表面区块10c下,感光元件42再撷取表面区块10c的检测影像。依此类推,直至撷取到所有表面区块的检测影像。
图5本发明又一实施例的物件表面检测系统的立体外观示意图。在一实施例中,在物件表面检测系统的运作过程中,承载元件22承载物件10,且步进马达24转动承载元件22以带动物件10沿第一方向移动若干个表面区块至检测位置。在一实施例中,若以物件10为板件而言,也就是说物件10的表面可为具有曲率等于零或趋近于零的非曲面。物件10通过驱动组件20将物件10沿第一方向E移动,以将物件10的表面区块10a/10b/10c依序移动到检测位置供感光模组40取得检测影像。于此,前述的第一方向E可为物件10的表面的任一边长(如长边)的延伸方向。在一示范例中,承载元件22可为平面乘载板,并且驱动马达24耦接平面乘载板的一侧边。此时,在检测程序中,物件10为可移除地设置在平面乘载板上。驱动马达24驱使平面乘载板沿第一方向E移动而带动物件10位移,以使一表面区块对准至检测位置。于此,驱动马达24每次驱使平面乘载板位移一既定距离,并透过反复驱动平面乘载板位移以使各表面区块10a/10b/10c依序位移至检测位置。于此,既定距离大致上等于各表面区块10a/10b/10c沿第一方向E的宽度。
图6本发明又一实施例的物件表面检测系统的光线方向示意图。同时参考图4及图6。在一实施例中,感光模组40包括感光元件42及分光组件46。分光组件46位于感光元件42与检测位置之间,也可以说分光组件46位于感光元件42与物件10之间。分光组件46具有分别对应若干个光谱的若干个滤光区462/464/466以及位移组件460。此时,光源组件30提供一多频谱光线以照射检测位置。于此,多频谱光线具有若干个光谱的子光线。因此透过切换分光组件46的滤光区462/464/466来驱使此些滤光区462/464/466分别位移至感光元件42的感光轴上,以致使感光元件42通过各滤光区462/464/466于各光谱的子光线下撷取位于检测位置上的表面区块的多个不同光谱的检测影像。也就是说,于多频谱光线从光源组件30照射到检测位置上的物件10时,物件10表面会使多频谱光线反射,而反射的光线通过分光组件46的任一滤光区462/464/466滤光为具有对应滤光区的光谱的子光线,而后射入感光元件42的感测区,此时,抵达感光元件42的子光线仅剩下具单一光谱(光波段的中间值)。当同一滤光区462/464/466对准感光元件42的感光轴时,驱动组件20每次位移一表面区块10a/10b/10c至检测位置,并且于每次位移后感光元件42会撷取一次当前位于检测位置上的表面区块10a/10b/10c的检测影像,借以得到同一光谱下的所有表面区块10a/10b/10c的检测影像。而后分光组件46在切换成另一滤光区462/464/466对准感光元件42的感光轴,并再次依序位移表面区块并撷取表面区块10a/10b/10c的检测影像。以此类推,即可得到具有对应于各滤光区462/464/466的光谱的检测影像。
在一些实施例中,感光模组40可包括有位移组件460,且位移组件460耦接分光组件46与处理器60。于物件表面检测系统1的运作过程中,在处理器60的控制下,位移组件460依序移动分光组件46的滤光区462/464/466的其中之一至感光元件42的感光轴D上。
在一些实施例中,光源组件30提供的多频谱光线的光波段可位于300nm至2100nm之间,而分光组件46的多个滤光区462/464/466个别允许通过的光波段可分别为300nm至2100nm之间的任意不重叠区段。于此,分光组件46的多个滤光区462/464/466个别允许通过的光波段可为连续或不连续。举例来说,当多频谱光线的光波段可位于300nm至2100nm之间时,分光组件46的多个滤光区个别允许通过的光波段可分别为300nm-600nm、600nm-900nm、900nm-1200nm、1200nm-1500nm、1500-1800nm、1800nm-2100nm。在另一示范例中,当多频谱光线的光波段可位于380nm至750nm之间时,分光组件46的多个滤光区个别允许通过的光波段可分别为380nm-450nm、495nm-570nm及620nm-750nm。
在另一示范例中,检测光线的光波长值可位于380nm至3000nm的范围之间,例如光波长值在380nm-450nm范围之间的紫光至光波长值在800nm-3000nm范围之间的远红外光,如此,检测光线可使物件10表面上具有次微米(如300nm)的量级的缺陷在检测影像中成像。
图7本发明另一实施例的物件表面检测系统的光线方向示意图。在一些实施例中,光源组件30利用多个不同频谱的发光元件32、34、38以提供若干个光谱的光线,各不同频谱的发光元件依序启动,以使感光元件42可以取得多个不同光谱的检测影像。于此,此些发光元件分别对应不重叠的多个光波段,且此些光波段可连续或不连续。在一些实施例中,各发光元件可由一个或多个发光二极体(LED)实现;在一些实施例中,各发光元件可由一雷射光源实现。
举例而言,光源组件30包括红光LED(如发光元件32)、蓝光LED(如发光元件34)和绿光LED(如发光元件38),并使不同的LED依序发光,以分别取得红光光谱的检测影像、蓝光光谱的检测影像和绿光光谱的检测影像。
参考图6。在又一些实施例中,光源组件30包括一发光元件32以及一分光组件36。分光组件36位于发光元件32与检测位置之间,也可以说分光组件36位于发光元件32与物件10之间。分光组件36具有分别对应若干个光谱的若干个滤光区362/364/366以及位移组件360。此时,发光元件32提供一多频谱光线向检测位置照射。于此,多频谱光线具有若干个光谱的子光线。因此透过切换分光组件36的滤光区362/364/366来驱使其中一个滤光区位移至发光元件32之前,以致使发光元件32通过各滤光区362/364/366于各光谱的子光线下照射到检测位置上物件10的表面区块,以致使感光元件42撷取得多个不同光谱的检测影像。也就是说,于发光元件32发出的多频谱光线通过分光组件36的任一滤光区362/364/366滤光为具有对应滤光区的光谱的子光线,而后照射到检测位置上的物件10时,物件10表面会使子光线反射以抵达感光元件42。当同一滤光区362/364/366对准发光元件32时,驱动组件20每次位移一表面区块10a/10b/10c至检测位置,并且于每次位移后感光元件42会撷取一次当前位于检测位置上的表面区块10a/10b/10c的检测影像,借以得到同一光谱下的所有表面区块10a/10b/10c的检测影像。而后分光组件36在切换成另一滤光区362/364/366对准发光元件32,并再次依序位移表面区块并撷取表面区块10a/10b/10c的检测影像。以此类推,即可得到具有对应于各滤光区362/364/366的光谱的检测影像。换言之,光源组件30采用一个发光元件发射的多频谱的光线以照射检测位置,再将多频谱的光线透过分光组件36以形成单一光谱的子光线以照射检测位置,以使感光元件42可以取得多个不同光谱的检测影像。
图8本发明一实施例的检测影像示范图。图9本发明另一实施例的检测影像示范图。在一些实施例中,蓝光波段下所得到的检测影像如图8所示,以及绿光波段下所得到的检测影像如图9所示。参照图8及图9,由于在不同波段的光线下检测影像所呈现出来的细节并不相同,蓝光波段下检测影像中所呈现的凹槽较为明显,而绿色波段下检测影像中所呈现的凸块陷较为明显。
续参考图4及图6。在一实施例中,感光元件42面向检测位置配置,并且感光元件42的感光轴D(虚线所绘)平行于正向法线C或介于正向法线C与第一方向A之间。意即相对于位于检测位置的表面区块的正向法线C,光线L的一光入射角θ小于或等于90度。于此,光入射角θ是指检测光线L的入射方向与位于检测位置表面区块的正向法线C之间的夹角,光入射角θ大于0度且小于或等于90度,也就是相对于正向法线C,检测光线以大于0度且小于或等于90度的光入射角θ照射到位于检测位置的表面区块。
图10为图7的物件上的表面型态的一实施态样的示意图。在一些实施例中,光入射角θ可大于或等于一临界角度且小于或等于90度,以得到在欲进行检测的波长下的最佳目标特征的撷取效果。于此,临界角度可相关于预期检测的表面型态(以下称之为目标表面型态)。在一些实施例中,光入射角θ与目标表面型态的一纵深比有关。于此,目标表面型态可为使用者希望检测到的表面型态中最小尺寸的表面型态。在一些实施例中,临界角度可为反正切(arctangent)(r/d),其中d为目标表面型态的孔深,而r为目标表面型态的孔半径。举例来说,参照图10,以目标表面型态为一缺陷为例,此缺陷包含孔深d及孔半径r为例。于此,孔半径r为此缺陷内的任一侧表面至正向法线C之间的距离。孔半径r与孔深d之间的比值(r/d)即为此缺陷的纵深比(r/d)。此时,光入射角θ即大于或等于反正切(arctangent)(r/d)。
在一实施例中,感光元件42的感光轴D可平行于正向法线C或介于正向法线C与物件10位于检测位置上的表面区块的切线之间,如图4及图6所示。在一示范例中,感光元件42的感光轴D平行于正向法线C,如图4所示。在另一示范例中,感光元件42的感光轴D与正向法线C之间的夹角(以下称为光反射角α)。在一些实施例中,光反射角α不等于光入射角θ,借以降低眩光的产生,进而能取得更清淅的检测影像。
在一些实施例中,参照图1、图3及图5,针对物件表面检测系统1还可包括一处理器60。处理器60耦接光源组件30、感光模组40及驱动组件20。进一步而言,处理器60耦接光源组件30、感光元件42、分光组件46、分光组件36及驱动组件20的步进马达24,并且用以控制如上述各组件的运作。
图11本发明一实施例物件影像图。在一些实施例中,于感光元件42撷取到所有表面区块10a-10c的检测影像时,处理器60可进一步将撷取到的检测影像100依撷取顺序拼接成一物件影像M。
在一实施例中,感光元件42可为一线型感光元件。其中,线型感光元件可由线(linear)型影像感测器来实现。此时,感光元件42撷取到的检测影像100无须进行裁接,即可由处理器60进行拼接。
在另一实施例中,感光元件42是一二维感光元件。其中,二维感光元件可由面型影像感测器来实现。此时,于感光元件42撷取到表面区块10a-10c的检测影像100时,处理器60基于检测影像100的短边撷取检测影像100的中段区域。然后,处理器60再将对应所有表面区块10a-10c的中段区域拼接为物件影像M。
在一实施例中,参照图5,针对物件表面检测系统1可设置单一个感光元件42,并且此感光元件42进行多个表面区块10a~10c的影像撷取以得到分别对应表面区块10a~10c的多个检测影像。在另一实施例中,参照图1,针对物件表面检测系统1可设置多个感光元件401/402/403,并且各个感光元件401/402/403合称为感光模组40,并且此些感光元件401/402/403面向检测位置且沿着物件10的长轴(第二方向B)配置于框架45上。此些感光元件401/402/403分别撷取物件10不同区段位于检测位置的表面区块的检测影像。
在一实施例中,第二方向B大致上垂直于第一方向A。也就是说感光元件401/402/403的感光轴D与正向法线C平行。
在一示范例中,假设物件10为圆筒状且针对物件表面检测系统1设置单一个感光元件42。感光元件42可对物件10的本体(即中段)进行多个表面区块10a~10c的影像撷取以得到分别对应表面区块10a~10c的多个检测影像100,再由处理器60拼接表面区块10a-10c的检测影像100为物件影像M,如图11所示。
图12是本发明另一实施例的物件表面检测系统的立体外观示意图。图13是本发明另一实施例物件影像图。在另一示范例中,假设物件10为圆筒状且针对物件表面检测系统1设置多个感光元件401/402/403,如图12所示。此些感光元件401/402/403分别截取物件10位于检测位置的不同区段位置的表面的检测影像101/102/103,再由处理器60拼接同一光谱下所取得的所有检测影像101/102/103为物件影像M,如图13所示。
续参考图12。在一些实施例中,感光元件401的感光轴与正向法线C之间具有大于0度且小于90度的夹角,感光元件402的感光轴与正向法线C平行,感光元件403的感光轴与正向法线C具有夹角。举例而言,由于物件10也可能为椎状物件或其他不规则形状,通过调整感光轴401/402/403与正向法线C的夹角可以取得更为清晰的影像。
举例来说,假设感光元件401/402/403的数量可为三,并且处理器60根据三个感光元件401/402/403撷取得的检测影像101/102/103拼接出物件10的物件影像M,如图13所示。其中,物件影像M包含三感光元件401/402/403中的第一感光元件401撷取到的所有表面区块10a-10c的检测影像101所拼接成的子物件影像m01(图13中的物件影像M的上段)、三感光元件401/402/403中的第二感光元件402撷取到的所有表面区块10a-10c的检测影像102所拼接成的子物件影像m02(图12中的物件影像M的中段)、以及三感光元件401/402/403中的第三感光元件403撷取到的所有表面区块10a-10c的检测影像103所拼接成的子物件影像m03(图12中的物件影像M的下段)。
图14是本发明一实施例基于人工神经网络的物件表面检测方法流程图。参照图14,基于人工神经网络的物件表面检测方法适用于一人工神经网络系统。人工神经网络系统具有学习阶段(即训练)及预测阶段。
在学习阶段,人工神经网络系统接收若干个物件影像(步骤S110),其中若干个物件影像具有互不相同的若干个光谱,且各物件影像具有若干个光谱的其中之一。于此,此些物件影像皆为同一种物件的相同相对位置的表面。在一些实施例中,此些物件影像也可为呈现同一物件10的表面位置。举例而言,若干个物件影像可以是在不同光谱下进行同一物件10的同一表面的影像撷取所取得如图11或图13的物件影像。接着,人工神经网络系统将转换若干个物件影像为矩阵(步骤S120),即转换物件影像的资料格式为人工神经网络的输入通道所支援的格式(如影像矩阵)。其中,人工神经网络系统中的人工神经网络(如其是以深度学习程序实现)具有用以输入对应矩阵(Matrix)的若干个影像矩阵输入通道,且此些影像矩阵输入通道分别代表若干个光谱的取像条件。也就是说,将各种不同光谱下的物件影像转换为矩阵内的长、宽、像素型态、像素深度、通道数等信息,其中通道数表示对应物件影像的取像条件。并且,转换后的矩阵会依据物件影像的取像条件汇入至对应的影像矩阵输入通道中,以利于进行下一步的处理。
在一实施例中,人工神经网络系统还包括代表灰阶的影像矩阵输入通道,即其用以汇入灰阶的物件影像的矩阵。就也是说,人工神经网络系统会先将物件影像M依照物件影像M的亮度转换成灰阶影像,再将灰阶影像转成矩阵。
于后,人工神经网络系统以矩阵执行深度学习程序以建立识别物件的目标表面型态的预测模型(步骤S130)。在一些实施例中,深度学习可以一卷积神经网络(CNN)演算法实现,然本案不以此为限制。
也就是说,存于处理器60内的人工神经网络系统,在学习阶段,人工神经网络系统能接收具有不同光谱的影像,以前述物件表面检测系统为例,不同表面型态的影像可为具有不同缺陷的影像,或是不具有缺陷的影像,或是具有不同的表面粗糙度的影像,或是以不同角度的光线照射表面区块所产生不同对比度而呈现不同纵深比的缺陷的影像,人工神经网络系统根据前述的各种不同表面型态的影像进行深度学习,以建立辨识各种目标表面型态的预测模型(或称预测程序)。在一实施例中,目标表面型态为槽孔、裂缝、凸块及纹理,换言之,预测模型可以识别出物件表面是否有槽孔、裂缝、凸块、纹理或没有缺陷。
图15是本发明另一实施例基于人工神经网络的物件表面检测方法流程图。参照图15,于人工神经网络接收若干个物件影像(步骤S110)后,人工神经网络系统正规化(Normalization)若干个物件影像(步骤S121)。于此,正规化是指一种结构化的分析与设计,以建构更为明确的资料模式。接下来,人工神经网络系统转换正规化后的若干个物件影像为矩阵(步骤S122),即将正规化后的物件影像的影像格式为深度学习程序的输入通道所支援资料矩阵格式。如此,借以降低学习资料之间的不对称性,同时提高学习效率。
在一些实施例中,在学习阶段,人工神经网络系统接收到的物件影像为已知表面型态,并且人工神经网络系统输出的表面缺陷类别也是设定好的。换言之,用以进行深度学习的各物件影像M均已标记有存在的物件型态。举例来说,在一示范例中,当物件为不合格物件时,物件的表面会具有一种或多种人工神经网络已学习并尝试撷取的表面型态,使人工神经网络将其选别出来;反之,当物件为合格物件时,物件的表面则不具有任何已被记录用以激发人工神经网络的选别动作的表面型态。此时,人工神经网络系统所接收到的物件影像,一部分为具有一种或多种表面型态的标记,而另一部分为无任何表面型态的标记。并且,人工神经网络系统的输出即会根据此些表面型态预设好若干个表面型态分类。在另一示范例中,当物件为不合格物件时,物件的表面会具有一种或多种第一类表面型态;反之,当物件为合格物件时,物件的表面则具有另一种或多种第二类表面型态。此时,人工神经网络系统所接收到的物件影像,一部分为具有一种或多种第一类表面型态的标记,而另一部分为具有一种或多种第二类表面型态的标记。并且,人工神经网络系统的输出即会根据此些表面型态预设好若干个表面型态分类。
在一些实施例中,在学习阶段,人工神经网络系统利用已知表面缺陷的物件影像进行训练,以生成预测模型中的各神经元的判断项目及/或调整任二神经元的连接的权重,以致使各物件影像的预测结果(即输出的表面缺陷类别)符合其已知并已被标记学习的表面缺陷,因而建立识别物件的目标表面型态的预测模型。于预测阶段,人工神经网络系统能通过建立的预测模型对未知表面型态的物件影像进行分类预测。在一些实施例中,人工神经网络系统是依据目标表面型态类别对物件影像进行百分比预测,即判断各物件影像可能落入各目标表面型态类别的百分比。
在一些实施例中,人工神经网络系统包括输入层以及多层隐藏层。输入层耦接隐藏层。输入层用以执行上述步骤S110-S120(及步骤S121-S122)的运作。隐藏层用以执行上述步骤S130。
在另一些实施例中,人工神经网络系统包括预处理单元及神经网络单元。预处理单元耦接神经网络单元。预处理单元用以执行上述步骤S110-S120(及步骤S121-S122)。神经网络单元用以执行上述步骤S130。其中,神经网络单元包括输入层以及多层的隐藏层,且输入层耦接隐藏层。
在一些实施例中,处理器60可具有前述的人工神经网络系统,以自动地根据拼接后的物件影像M进行目标表面型态的分类,借以自动判定物件10的表面的目标表面型态。换言之,在学习阶段,处理器60产生的物件影像M可接续由前述的人工神经网络系统进行训练,以建立识别物件的目标表面型态的预测模型。在预测阶段,处理器60产生的物件影像M可接续由前述的人工神经网络系统进行预测,以通过预测模型执行物件影像M的分类预测。
在一些实施例中,处理器60产生的物件影像M能馈入至具有前述的人工神经网络系统的另一处理器,以由人工神经网络系统自动地根据拼接后的物件影像M进行目标表面型态的分类,借以自动判定物件10的表面的目标表面型态。换言之,人工神经网络系统会对馈入的物件影像M自动进行训练或预测。
在一些实施例中,根据本发明的基于人工神经网络的物件表面型态的检测方法可由一电脑程式产品实现,以致于当电脑(即其处理器)载入程式并执行后可完成根据本发明任一实施例的基于人工神经网络的物件表面型态的检测方法。在一些实施例中,电脑程式产品可为一非暂时性电脑可读取记录媒体,而上述程式则储存在非暂时性电脑可读取记录媒体中供一电脑(即其处理器)载入。在一些实施例中,上述程式本身即可为电脑程式产品,并且通过有线或无线的方式传输至电脑中。
综上所述,在本发明一实施例的物件表面检测系统及基于人工神经网络的物件表面检测方法中,其可以通过控制光源入射发光频谱,或收光频谱来提供同一物件不同成像效果的物件影像,借以提高物件的各种目标表面型态在影像检测下的区别性。在本发明一实施例的物件表面检测系统及基于人工神经网络的物件表面检测方法中,可整合多频谱的表面纹理的影像,以提升物件的目标表面型态的识别,进而得到物件的表面粗糙度以及细致纹理型态。在本发明一实施例的物件表面检测系统及基于人工神经网络的物件表面检测方法中,能通过人工神经网络系统自行判定物件的目标表面型态,如此检测者并不需要以肉眼观察物件或是以双手触摸物件,因此将大幅地提升目标表面型态的识别效率,且能降低人为误判的情况。
本发明的技术内容已以较佳实施例揭示如上述,然其并非用以限定本发明,任何熟习此技艺者,在不脱离本发明的精神所做些许的更动与润饰,皆应涵盖于本发明的范畴内,因此本发明的保护范围当视后附的申请专利范围所界定者为准。
Claims (28)
1.一种物件表面检测系统,其特征在于,包括:
一驱动组件,承载一物件,其中该物件的表面沿一第一方向划分为若干个表面区块,且该驱动组件还用于依序位移该若干个表面区块的其中之一至一检测位置;
一光源组件,面向该检测位置配置,提供一多频谱光线以照射该检测位置,其中该多频谱光线具有若干个光谱的子光线,且相对于位于该检测位置的该表面区块的一正向法线,该多频谱光线的一光入射角大于一临界角度且小于或等于90度;
一感光元件,面向该检测位置配置,其中该感光元件的一感光轴平行于该正向法线或介于该正向法线与该第一方向之间;
一分光组件,位于该感光元件与该检测位置之间,具有分别对应该若干个光谱的若干个滤光区,其中该感光元件通过各该滤光区于各该光谱的该子光线下撷取位于该检测位置上的该表面区块的检测影像。
2.如权利要求1所述的物件表面检测系统,其特征在于,该感光轴与该正向法线相距一夹角,且该夹角不等于该光入射角。
3.如权利要求1所述的物件表面检测系统,其特征在于,该驱动组件包含:
一承载元件,承载该物件;
一步进马达,连接于该承载元件,转动该承载元件以带动该物件旋转。
4.如权利要求1所述的物件表面检测系统,其特征在于,该驱动组件包含:
一承载元件,承载该物件;
一步进马达,连接于该承载元件,沿该第一方向移动该承载元件以带动该物件沿该第一方向移动。
5.如权利要求1所述的物件表面检测系统,其特征在于,该感光元件为一二维感光元件。
6.如权利要求5所述的物件表面检测系统,其特征在于,还包含:
一处理器,耦接于该感光元件,基于各该检测影像的短边撷取各该检测影像的中段区域,且拼接同一该光谱下分别对应该若干个表面区块的该若干个中段区域为呈现该物件的该表面的一物件影像。
7.如权利要求6所述的物件表面检测系统,其特征在于,该处理器还包含一人工神经网络系统,该人工神经网络系统具有若干个影像矩阵输入通道,分别对应于该若干个光谱的该若干个物件的影像,以执行一深度学习程序以建立识别该物件的目标表面型态的一预测模型。
8.如权利要求1所述的物件表面检测系统,其特征在于,该感光元件为一线型感光元件。
9.如权利要求8所述的物件表面检测系统,其特征在于,还包含:
一处理器,耦接于该感光元件,拼接同一该光谱下的该若干个检测影像为一物件影像。
10.如权利要求9所述的物件表面检测系统,其特征在于,该处理器还包含一人工神经网络系统,用于依据分别对应于该若干个光谱的该若干个物件影像执行一深度学习程序以建立识别该物件的目标表面型态的一预测模型。
11.一种物件表面检测系统,其特征在于,包括:
一驱动组件,承载一物件,其中该物件的表面沿一第一方向划分为若干个表面区块,且该驱动组件还用于依序位移该若干个表面区块的其中之一至一检测位置;
一光源组件,面向该检测位置配置,依序提供若干个光谱的光线以照射该检测位置,其中相对于位于该检测位置的该表面区块的一正向法线,各该光谱的该光线的一光入射角大于一临界角度且小于或等于90度;
一感光元件,面向该检测位置配置,于各该光谱的该光线下撷取位于该检测位置上的该表面区块的检测影像,其中该感光元件的一感光轴平行于该正向法线或介于该正向法线与该第一方向之间。
12.如权利要求11所述的物件表面检测系统,其特征在于,该感光轴与该正向法线相距一夹角,且该夹角不等于该光入射角。
13.如权利要求11所述的物件表面检测系统,其特征在于,该驱动组件包含:
一承载元件,承载该物件;
一步进马达,连接于该承载元件,转动该承载元件以带动该物件旋转。
14.如权利要求11所述的物件表面检测系统,其特征在于,该驱动组件包含:
一承载元件,承载该物件;
一步进马达,连接于该承载元件,沿该第一方向移动该承载元件以带动该物件沿该第一方向移动。
15.如权利要求11所述的物件表面检测系统,其特征在于,该感光元件为一二维感光元件。
16.如权利要求15所述的物件表面检测系统,其特征在于,还包含:
一处理器,耦接于该感光元件,基于各该检测影像的短边撷取各该检测影像的中段区域,且拼接同一该光谱下分别对应该若干个表面区块的该若干个中段区域为一物件影像。
17.如权利要求17所述的物件表面检测系统,其特征在于,该处理器还包含一人工神经网络系统,该人工神经网络系统具有若干个的影像矩阵输入通道,分别对应于该若干个光谱的该若干个物件的影像,执行一深度学习程序以建立识别该物件的目标表面型态的一预测模型。
18.如权利要求11所述的物件表面检测系统,其特征在于,该感光元件为一线型感光元件。
19.如权利要求18所述的物件表面检测系统,其特征在于,还包含:
一处理器,耦接于该感光元件,拼接同一该光谱下的该若干个检测影像为一物件影像。
20.如权利要求19所述的物件表面检测系统,其特征在于,该处理器还包含一人工神经网络系统,用于依据分别对应于该若干个光谱的该若干个物件影像执行一深度学习程序以建立识别该物件的目标表面型态的一预测模型。
21.如权利要求11所述的物件表面检测系统,其特征在于,该光源组件包括若干个发光元件,该若干个发光元件分别对应该若干个光谱,且各该发光组件用于发射对应各该光谱的各该光线。
22.如权利要求11所述的物件表面检测系统,其特征在于,该光源组件包括一发光元件以及一分光组件,该发光元件用于发射一多频谱光线,该分光组件位于该发光元件与该检测位置之间且具有分别对应该若干个光谱的若干个滤光区,以及各该滤光区用于将该多频谱光线分成对应该光谱的该光线。
23.一种基于人工神经网络的物件表面检测方法,其特征在于,包括:
接收若干个物件影像,其中该若干个物件影像具有互不相同的若干个光谱,各该物件影像具有该若干个光谱的其中之一;
转换各该物件影像为一矩阵,其中该矩阵具有一通道数,且该通道数代表该物件影像的该光谱;
以该若干个资料矩阵执行一深度学习程序以建立识别一物件的目标表面型态的一预测模型。
24.如权利要求23所述的基于人工神经网络的物件表面检测方法,其特征在于,各该物件影像是呈现同一该物件的表面位置。
25.如权利要求23所述的基于人工神经网络的物件表面检测方法,其特征在于,该转换该若干个物件影像为该矩阵的步骤包括:
正规化这些物件影像;
转换正规化后的这些物件影像的影像格式为该深度学习程序的输入通道所支援的资料矩阵格式。
26.如权利要求23所述的基于人工神经网络的物件表面检测方法,其特征在于,该预测模型识别的该目标表面型态为该槽孔、裂缝、凸块及纹理。
27.如权利要求23所述的基于人工神经网络的物件表面检测方法,其特征在于,该深度学习程序以一卷积神经网络演算法实现。
28.如权利要求23所述的基于人工神经网络的物件表面检测方法,其特征在于,各该物件影像是由若干个检测影像拼接而成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910987155.1A CN112683787A (zh) | 2019-10-17 | 2019-10-17 | 物件表面检测系统及其基于人工神经网络的检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910987155.1A CN112683787A (zh) | 2019-10-17 | 2019-10-17 | 物件表面检测系统及其基于人工神经网络的检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112683787A true CN112683787A (zh) | 2021-04-20 |
Family
ID=75444669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910987155.1A Pending CN112683787A (zh) | 2019-10-17 | 2019-10-17 | 物件表面检测系统及其基于人工神经网络的检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112683787A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101832941A (zh) * | 2010-03-19 | 2010-09-15 | 天津大学 | 一种基于多光谱图像的水果品质评价装置 |
CN201637681U (zh) * | 2010-02-04 | 2010-11-17 | 阳程科技股份有限公司 | 光学检测机 |
CN103400103A (zh) * | 2006-07-19 | 2013-11-20 | 光谱辨识公司 | 光谱生物测定传感器 |
US20150212008A1 (en) * | 2012-08-07 | 2015-07-30 | Toray Engineering Co., Ltd. | Device for testing application state of fiber reinforced plastic tape |
CN105938620A (zh) * | 2016-04-14 | 2016-09-14 | 北京工业大学 | 一种小口径管内焊缝表面缺陷识别装置 |
CN108765416A (zh) * | 2018-06-15 | 2018-11-06 | 福建工程学院 | 基于快速几何对准的pcb表面缺陷检测方法及装置 |
CN110044928A (zh) * | 2019-04-23 | 2019-07-23 | 华中科技大学 | 一种空间编码光场对曲面玻璃表面缺陷的检测装置 |
CN110175971A (zh) * | 2019-05-27 | 2019-08-27 | 大连海事大学 | 一种多光谱单像素成像的深度学习图像重构方法 |
CN110308152A (zh) * | 2019-07-26 | 2019-10-08 | 上海御微半导体技术有限公司 | 一种光学检测装置和光学检测方法 |
-
2019
- 2019-10-17 CN CN201910987155.1A patent/CN112683787A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400103A (zh) * | 2006-07-19 | 2013-11-20 | 光谱辨识公司 | 光谱生物测定传感器 |
CN201637681U (zh) * | 2010-02-04 | 2010-11-17 | 阳程科技股份有限公司 | 光学检测机 |
CN101832941A (zh) * | 2010-03-19 | 2010-09-15 | 天津大学 | 一种基于多光谱图像的水果品质评价装置 |
US20150212008A1 (en) * | 2012-08-07 | 2015-07-30 | Toray Engineering Co., Ltd. | Device for testing application state of fiber reinforced plastic tape |
CN105938620A (zh) * | 2016-04-14 | 2016-09-14 | 北京工业大学 | 一种小口径管内焊缝表面缺陷识别装置 |
CN108765416A (zh) * | 2018-06-15 | 2018-11-06 | 福建工程学院 | 基于快速几何对准的pcb表面缺陷检测方法及装置 |
CN110044928A (zh) * | 2019-04-23 | 2019-07-23 | 华中科技大学 | 一种空间编码光场对曲面玻璃表面缺陷的检测装置 |
CN110175971A (zh) * | 2019-05-27 | 2019-08-27 | 大连海事大学 | 一种多光谱单像素成像的深度学习图像重构方法 |
CN110308152A (zh) * | 2019-07-26 | 2019-10-08 | 上海御微半导体技术有限公司 | 一种光学检测装置和光学检测方法 |
Non-Patent Citations (2)
Title |
---|
师丽娟: "《中外农业工程学科发展比较研究》", 30 June 2017, 中国农业大学出版社, pages: 166 - 167 * |
王文生 等: "《应用光学》", 31 August 2019, 华中科技大学出版社, pages: 310 - 313 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200364559A1 (en) | System for detecting surface type of object and artificial neural network-based method for detecting surface type of object | |
KR102539921B1 (ko) | 자동으로 생성된 결함 피처를 가진 반도체 구조의 검사를 위한 방법 및 시스템 | |
JP4908995B2 (ja) | 欠陥分類方法及びその装置並びに欠陥検査装置 | |
JP2017053764A (ja) | ウェーハ検査方法およびウェーハ検査装置 | |
US9594021B2 (en) | Apparatus of detecting transmittance of trench on infrared-transmittable material and method thereof | |
US20170131219A1 (en) | Wafer inspection apparatus and wafer inspection method | |
KR102640295B1 (ko) | 웨이퍼 검사 장치 | |
CN112683924A (zh) | 基于人工神经网络的物件表面型态的筛选方法 | |
CN112683923A (zh) | 基于人工神经网络的物件表面型态的筛选方法 | |
CN112683787A (zh) | 物件表面检测系统及其基于人工神经网络的检测方法 | |
US11756186B2 (en) | Workpiece inspection and defect detection system utilizing color channels | |
CN112683789A (zh) | 物件表面型态检测系统及其基于人工神经网络的检测方法 | |
KR102554478B1 (ko) | 적외선 이미지기반 딥러닝을 이용한 실시간 공구 마모 측정 시스템 | |
CN112686831B (zh) | 基于人工神经网络的物件表面型态的检测方法 | |
CN112683786B (zh) | 物件对位方法 | |
FR3113325A1 (fr) | Système et Procédé de Reconnaissance Automatique des Interfaces dans des Profils de Produits des Pneumatiques | |
CN112683925A (zh) | 物件表面可能缺陷的影像检测扫描方法及其系统 | |
CN112683788A (zh) | 物件表面可能缺陷的影像检测扫描方法及其系统 | |
CN112683790A (zh) | 物件表面可能缺陷的影像检测扫描方法及其系统 | |
KR102575508B1 (ko) | Ai 기반 신발 부품용 직물 패턴 검사 시스템 | |
JP2022190983A (ja) | ワーク検査装置およびワーク検査方法 | |
CN112683921A (zh) | 针对金属表面的影像扫描方法及其影像扫描系统 | |
Martin et al. | Laser Diffuse Lighting in a Visual Inspection System for Defect Detection in Wood Laminates |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |