CN112700399B - 缺陷检测视觉化方法及其系统 - Google Patents

缺陷检测视觉化方法及其系统 Download PDF

Info

Publication number
CN112700399B
CN112700399B CN201911091856.3A CN201911091856A CN112700399B CN 112700399 B CN112700399 B CN 112700399B CN 201911091856 A CN201911091856 A CN 201911091856A CN 112700399 B CN112700399 B CN 112700399B
Authority
CN
China
Prior art keywords
defect
sub
tested
time
detection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911091856.3A
Other languages
English (en)
Other versions
CN112700399A (zh
Inventor
杨杰棋
高盟超
刘文光
李沧兴
盘立平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN112700399A publication Critical patent/CN112700399A/zh
Application granted granted Critical
Publication of CN112700399B publication Critical patent/CN112700399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/18—Details of the transformation process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L21/14—Transforming into visible information by displaying frequency domain information
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Otolaryngology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

一种缺陷检测视觉化方法及其系统，此方法包括下列步骤：输出测试音频信号至待测物件，并且接收待测物件对于测试音频信号的响应信号，以产生收音音频信号。针对收音音频信号进行信号处理，以产生时频谱图。根据时频谱图，视觉化判断待测物件是否具有缺陷。本发明所提出的缺陷检测方法及其系统，其可从时频谱图中以计算机视觉技术来检测待测物件是否具有缺陷。如此一来，本发明除了可提供比人耳主观判定更为精确的缺陷检测，更可以降低相关的职业伤害。

Description

缺陷检测视觉化方法及其系统
技术领域
本发明是有关于一种检测技术，且特别是一种缺陷检测视觉化方法及其系统。
背景技术
扬声器是一种把电信号转变为声信号的换能器，其广泛地应用于音响、耳机等设备，而其性能影响此些设备的使用。扬声器的组装缺陷以往是由丰富经验的听者在生产线末端进行检测。此种检测需要对扬声器施正弦对数扫频讯(log-swept sine chirps)，并且利用人的听觉检测分析其响应信号是否正常。然而，此种以人耳评估而检测出的结果会随着听者的年龄、情绪变化、听觉疲劳等主观因素而有所不同，并且容易造成听者的职业伤害。
发明内容
本发明提供一种缺陷检测视觉化方法及其系统，其可从时频谱图中以计算机视觉技术来检测待测物件是否具有缺陷。
在本发明的一实施例中，上述的方法包括下列步骤。输出测试音频信号至待测物件，并且接收待测物件对于测试音频信号的响应信号，以产生收音音频信号。针对收音音频信号进行信号处理，以产生时频谱图，并且根据时频谱图，视觉化判断待测物件是否具有缺陷。
在本发明的一实施例中，上述的系统包括信号输出装置、麦克风、模拟数字转换器以及处理装置。信号输出装置用以输出测试音频信号至待测物件。麦克风用以接收待测物件对于测试音频信号的响应信号。模拟数字转换器用以将响应信号转换为收音音频信号。处理装置用以针对收音音频信号进行信号处理，以产生时频谱图，以及根据时频谱图，视觉化判断待测物件是否具有缺陷。
综上所述，本发明所提出的缺陷检测方法及其系统，其可从时频谱图中以计算机视觉技术来检测待测物件是否具有缺陷。如此一来，本发明除了可提供比人耳主观判定更为精确的缺陷检测，更可以降低相关的职业伤害。
附图说明
图1为根据本发明一实施例所绘示的缺陷检测系统的方块图；
图2为根据本发明一实施例所绘示的缺陷检测视觉化方法的流程图；
图3A为根据本发明一实施例所绘示的时频谱图的示意图一；
图3B为根据本发明一实施例所绘示的时频谱图的示意图二；
图4为根据本发明一实施例所绘示的建构分类器的功能方块流程图；
图5为根据本发明一实施例所绘示的空间特征的取得方法的功能方块流程图；
图6为根据本发明一实施例所绘示的缺陷检测视觉化方法的功能方块流程图；
图7A根据本发明一实施例所绘示的时频谱图的示意图一；
图7B根据本发明一实施例所绘示的时频谱图的示意图二。
符号说明
100：缺陷检测系统
110：信号输出装置
120：麦克风
130：模拟数字转换器
140：处理装置
T：待测物件
S202～S210：步骤
310、320、710、720：时频谱图
315、325：检测区域
RB：异音特征
402～414、602～614：流程
H：图像金字塔
T1、T0：图像
T11、T01：子区块
R1、R0：参考模型
R11、R01：参考子区块
FE：特征撷取
M：分类器
具体实施方式
本发明的部份实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法与系统的范例。
图1为根据本发明一实施例所绘示的缺陷检测系统的方块图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍缺陷检测系统中的所有构件以及配置关系，详细功能将配合图2一并揭露。
请参照图1，缺陷检测系统100包括信号输出装置110、麦克风120、模拟数字转换器130以及处理装置140，其用以检测待测物件T是否有缺陷。
信号输出装置110用以将测试音频信号输出至待测物件T，其可以例如是具有数字音频输出接口的电子装置，并且利用无线或是有线的方式将测试音频信号输出至待测物件T。麦克风120用以将待测物件T对于测试音频信号的响应进行收音，其可以是设置于待测物件T的邻近处或是相对于待测物件T的最佳收音的位置。模拟数字转换器130连接于麦克风120，用以将麦克风120所接收到的模拟声音信号转换成数字声音信号。
处理装置140连接至模拟数字转换器130，用以将自模拟数字转换器130所接收到的数字声音信号进行处理，以检测待测物件U是否有缺陷。处理装置140包括存储器以及处理器。存储器可以例如是任意型式的固定式或可移动式随机存取存储器(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。处理器可以例如是中央处理单元(central processingunit，CPU)、应用处理器(application processor，AP)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)或其他类似装置、集成电路及其组合。
必须说明的是，在一实施例中，信号输出装置110、麦克风120、模拟数字转换器130以及处理装置140可以分属四个独立装置。在一实施例中，信号输出装置110以及处理装置140可以整合至同一装置，而处理装置140可控制信号输出装置110的输出。在一实施例中，信号输出装置110、麦克风120、模拟数字转换器130以及处理装置140更可以为单一整合(all-in-one)计算机系统。本发明不针对信号输出装置110、麦克风120、模拟数字转换器130以及处理装置140的整合做任何设限，只要是包括此些装置的系统皆属于缺陷检测系统100的范畴。
以下即列举实施例说明缺陷检测系统100针对待测物件T执行缺陷检测方法的详细步骤。在以下的实施例中将以具有扬声器的电子装置做为待测物件T来进行说明，而缺陷检测系统100所检测的缺陷为待测物件T的组装异音(rub and buzz)。
图2为根据本发明一实施例所绘示的缺陷检测视觉化方法的流程图，图2流程将以图1的缺陷检测系统100来执行。
请同时参照图1以及图2，信号输出装置110将输出测试音频信号至待测物件T(步骤S202)，麦克风120将接收待测物件T对于测试音频信号的响应信号(步骤S204)，模拟数字转换器130将转换响应信号为收音音频信号(步骤S206)。在此，测试音频信号的音频范围可以是1K～20Hz，其中1K～500Hz的振幅为-25dB，500Hz～300Hz的振幅为-15dB，300Hz～20Hz的振幅为-8dB。然而，由于组装异音会与测试音频信号的特定频率点产生共振，而为了避免非组装异音的共振影响异音的检测(例如按钮共振)，因此测试音频信号的音频范围与振幅会依照待测物件T的不同而有所调整。待测物件T将会对测试音频信号产生响应信号，而麦克风120将接收来自待测物件T的响应信号。接着，模拟数字转换器130会将模拟的响应信号进行模拟数字转换，以产生数字的响应信号(以下称为“收音音频信号”)。
处理装置140将针对收音音频信号进行信号处理，以产生时频谱图(步骤S208)，并且根据时频谱图，视觉化判断待测物件T是否具有缺陷(步骤S210)。处理装置140可以是针对收音音频信号进行快速傅立叶转换(Fast Fourier Transform，FFT)，以产生时频谱图。在此将收音音频信号转换成时频谱图的原因在于异音在收音音频信号并没有显著特征，但是异音与测试音频信号产生共振时具有时间连续性，因此若将时间域信号转换成时频谱图后，异音特征在时频谱图中将会呈现时间连续并且能量群聚的现象，以利用计算机视觉技术来达到待测物件的缺陷检测。
以图3A及图3B根据本发明一实施例所绘示的时频谱图的示意图为例，时频谱图310对应于无异音的声音信号，时频谱图320对应于异音的声音信号。必须说明的是，本领域技术人员应明了，时频谱图代表信号强度随着时间以及频率的分布，而时频谱图310以及时频谱图320仅以曲线来简易地示意出明显的信号强度来进行说明。在此，异音的声音信号在时频谱图320中有时间连续与能量群聚的特征，如异音特征RB。因此，若是利用处理装置140以计算机视觉技术来分析时频谱图，则可从中判断出待测装置T是否有因组装上的缺陷而产生异音。
在以下的实施例中，将会以分类器来进行图像辨识，因此在处理装置140在判断待测物件T是否具有缺陷之前，将会取得已训练好的分类器。在此的分类器可以是由处理装置140自行训练，或者是自其它处理装置取得已训练好的分类器，本发明不在此设限。
图4为根据本发明一实施例所绘示的建构分类器的功能方块流程图，自以下的说明当中将以类似于处理装置140(以下称为“训练系统”)来进行分类器的建构。
请参照图4，首先，训练系统将会搜集多笔训练数据402。在此的训练数据可以是N1个无缺陷训练物件以及N2个缺陷训练物件以类似步骤S202～S204的方式所分别产生的N1笔无缺陷训练声音样本以及N2笔缺陷训练声音样本，其中此N1+N2个训练物件与待测物件T为相同物件，但是已经预先经过缺陷检测。
接着，训练系统会将训练数据转换成时频谱图404。为了降低运算复杂度，以及为了避免低频噪音以及高频噪声的图像，训练系统将选取例如是3K～15K Hz的预设频率范围做为检测区域。以图3A及图3B为例，区域315为时频谱图310的检测区域，而区域325为时频谱图320的检测区域。为了方便说明，以下将对应于无缺陷训练声音样本的时频谱图中的检测区域称为“无缺陷检测区域图像”，而对应于缺陷训练声音样本的时频谱图中的检测区域称为“缺陷检测区域图像”。
之后，训练系统将会取得各个缺陷检测区域图像以及各个无缺陷检测区域图像中不同区域所对应的特征值，并且取得各个缺陷检测区域图像以及无缺陷检测区域图像分别与参考模型408之间的纹理相关性(texture correlation)406，以做为空间特征410来训练分类器412，进而产生用来检测待测物件T是否有缺陷的分类器414。
在此，训练系统会先将所有缺陷检测区域图像以及无缺陷检测区域图像进行图像分割，以产生多个相同尺寸的子区块(例如40×200的像素尺寸)。在本实施例中，若是子区块的尺寸太大，将会降低异音特征的比重，而若是子区块的尺寸太小，将会无法涵盖异音特征而影响后续的辨识结果。因此，训练系统可以例如是以图5根据本发明一实施例所绘示的功能方块流程图来取得各个缺陷检测区域图像以及无缺陷检测区域图像的空间特征。
请参照图5，训练系统会将各个缺陷检测区域图像以及无缺陷检测区域图像分别进行图像金字塔处理H(image pyramid)，以产生不同尺度(scale)的图像。本实施例将会具有两个尺度，即原始图像大小以及原始图像大小的1/4(将原始图像的长与宽分别缩小为原本的1/2)。在此将以其中一张缺陷检测区域图像来进行图5流程的说明，而本领域技术人员可以类推其它缺陷检测区域图像以及无缺陷检测区域图像的处理方式。假设T1为其中一张缺陷检测区域图像，其像素尺寸为1000×800。T11为图像分割后的其中一个子区块(以下称为“训练子区块”)，其像素尺寸为40×200。另一方面，T0为T1经过图像金字塔处理(缩小处理)后所产生的图像，其像素尺寸为500×400。T01为图像分割后的其中一个训练子区块，其像素尺寸将与训练子区块T11相同，即40×200的像素尺寸。
接着，训练系统将会针对各个不同尺度的无缺陷检测区域图像以及缺陷检测区域图像所分割出的每个训练子区块进行特征撷取FE。在本实施例中，训练系统可以例如是计算各个尺度的每个训练子区块的像素值的标准差σ(standard deviation)以及直方图偏态k(Kurtosis)至少之一者来做为每个训练子区块的特征值，然而本发明不以此为限。此外，为了提高无缺陷与缺陷的差异性，训练系统更可以根据N1个无缺陷检测区域图像来产生关联于无缺陷的参考模型。举例来说，训练系统可以是将相同尺度的N1个无缺陷检测区域图像的像素值进行平均，以获得参考模型。因此，各个尺度分别有其对应的参考模型。在本实施例中，训练系统将会产生对应于图像T1的参考模型R1以及对应于图像T0的参考模型R0。在此的图像T1与参考模型R1具有相同尺度，因此图像T1中的训练子区块将会在参考模型R1中找到对应的子区块(以下称为“参考子区块”)。类似地，T0与参考模型R0具有相同尺度，因此图像T0中的训练子区块将会在参考模型R0中找到对应的参考子区块。
接着，训练系统将会计算各个尺度的每个子区块及其所对应的参考模型中的参考子区块之间的纹理相关性。具体来说，训练系统将会计算训练子区块T11与参考子区块R11之间的纹理相关性以及计算子区块T01与参考子区块R01之间的纹理相关性。在此的纹理相关性可以是子区块与参考子区块之间的局部二值模式(local binary pattern，LBP)的相关系数coeff(coefficient)。
在此，每个子区块将会有各自的特征向量f＝{σ,k,coeff}，每张图像将会有各自的图像特征向量F＝{f1,f2,…,fn}，其中n为子区块的数量。以图5为例，缺陷检测区域图像T1将会有图像特征向量其中n1为缺陷检测区域图像T1中训练子区块的数量。类似地，图像T0将会有图像特征向量/>其中n0为图像T0中训练子区块的数量。之后，训练系统可将两个尺度的图像特征向量连接(concatenate)为特征向量来输入至分类器M。
当训练系统输入完所有N1+N2笔训练数据所对应的特征向量至分类器后，将会开始对分类器M进行训练。在此的分类器可以是支撑向量机(support vector machines，SVM)分类器，而训练系统将会计算出SVM分类器的最佳分割超平面(optimal separatinghyperplane)，以做为分辨待测物件T是否具有缺陷的依据。
图6为根据本发明一实施例所绘示的缺陷检测方法的功能方块流程图，而图6的流程适用于缺陷检测系统100。在进行图6的流程前，处理装置140将会预先存储图5所提到的参考模型以及分类器。
请同时参照图1以及图6，首先，类似于步骤S206以及步骤S208，处理装置140将会取得测试数据602(即，对应于待测物件T的收音音频信号)，并且将测试数据转换成时频谱图604。而在此的测试数据即为步骤S206的收音音频信号。
接着，处理装置140将取得关联于时频谱图的多个子区块，以从中取得空间特征610，以输入至分类器612。在本实施例中，处理装置140同样将选取例如是3K～15K Hz的预设频率范围做为检测区域，以产生检测区域图像。在一实施例中，处理装置140可以是直接将检测区域图像进行分割，而直接产生多个大小相同的子区块。在另一实施例中，处理装置140可以是将检测区域图像进行图像金字塔处理，以产生不同尺度的多张检测区域图像。接着，处理装置140再将不同尺度的检测区域图像进行分割，以产生多个大小相同的子区块。
之后，处理装置140将会取得各个子区块的特征值，并且取得各个子区块分别与参考模型608之间的纹理相关性606。在此的特征值例如是子区块的像素值的标准差以及直方图偏态至少之一者，但需要符合预先存储的分类器的输入需求。在此的纹理相关性可以是子区块与参考模型所对应的参考子区块之间的局部二值模式的相关系数。接着，处理装置140再将各个子区块所对应的特征值以及纹理相关性输入至分类器612，以产生输出结果，而此输出结果将指出待测物件T是否具有缺陷。
在本实施例中，为了达到更为严谨的检测，以避免实际上有缺陷的待测物件T被误判为无缺陷，处理装置140更可以在输出结果指出待测物件T不具有缺陷时，更进一步地根据输出结果的信赖度做更进一步的确认。详细来说，以SVM分类器为例，处理装置140可以是取得输出结果的信心值(confidence level)，并且判断信心值是否大于预设信心阀值614，其中预设信心阀值可以是0.75。若是，则处理装置140将判定待测物件T不具有缺陷。反之，则处理装置140将判定待测物件T具有缺陷。
在本实施例中，缺陷检测系统100所检测的缺陷为待测物件T的组装异音。由于不同种类的组装异音会在播放特定音频信号时产生共振谐波，处理装置140更可以进一步地利用异音在时频谱图的频率与谐波频率范围来判断待测物件T中造成组装异音的部件。以另一观点来说，处理装置140将根据时频谱图的特定区域，来判别造成组装异音的部件。
举例来说，图7A及图7B根据本发明一实施例所绘示的时频谱图的示意图，而以下仅示意出时频谱图中的部份区域。时频谱图710以及时频谱图720皆具有组装异音。由于螺丝未锁紧时的共振频率点为460Hz的单点共振，因此处理装置140可从时频谱图710中得出待测装置T的螺丝未锁紧。由于扬声器单体中铁屑造成的共振音会在460～350Hz均有共振，因此处理装置140可从时频谱图720中得出待测装置T中存在铁屑。
综上所述，本发明所提出的缺陷检测方法及其系统，其可从时频谱图中以计算机视觉技术来检测待测物件是否具有缺陷。如此一来，本发明除了可提供比人耳主观判定更为精确的缺陷检测，更可以降低相关的职业伤害。

Claims (13)

1.一种缺陷检测视觉化方法，其特征在于，包括：
输出测试音频信号至待测物件；
接收所述待测物件对于所述测试音频信号的响应信号，以产生收音音频信号；
针对所述收音音频信号进行快速傅立叶转换，以产生时频谱图；以及
根据所述时频谱图，视觉化判断所述待测物件是否具有缺陷；
其中，所述根据所述时频谱图，视觉化判断所述待测物件是否具有所述缺陷的步骤包括：
取得关联于所述时频谱图的多个子区块，其中各所述子区块的尺寸相同；
利用所述子区块以及分类器，产生输出结果；以及
根据所述输出结果，判断所述待测物件是否具有所述缺陷，其中，所述缺陷为所述待测物件的组装异音；
其中，当判定所述待测物件具有所述缺陷时，所述方法还包括：
根据所述时频谱图的特定区域，判别所述待测物件中造成所述组装异音的部件。
2.如权利要求1所述的方法，其特征在于，接收所述待测物件对于所述测试音频信号的所述响应信号，以产生所述收音音频信号的步骤包括：
利用麦克风接收所述响应信号；以及
针对所述响应信号进行模拟数字转换，以产生所述收音音频信号。
3.如权利要求1所述的方法，其特征在于，取得关联于所述时频谱图的所述子区块的步骤包括：
设定所述时频谱图的检测区域，以产生检测区域图像，其中所述检测区域对应于预设频率范围；以及
分割所述检测区域图像，以产生所述子区块。
4.如权利要求3所述的方法，其特征在于，取得关联于所述时频谱图的所述子区块的步骤包括：
针对所述检测区域图像进行不同尺度的图像金字塔处理，以分别产生多个不同尺度的检测区域图像；以及
分割各所述不同尺度的检测区域图像，以产生所述子区块。
5.如权利要求1所述的方法，其特征在于，利用所述子区块以及所述分类器，产生所述输出结果的步骤包括：
计算各所述子区块的至少一特征值；
计算各所述子区块与关联于无缺陷的参考模型之间的纹理相关性；以及
利用所述分类器，根据各所述子区块的所述特征值以及所述纹理相关性，产生所述输出结果。
6.如权利要求5所述的方法，其特征在于，各所述子区块的所述特征值包括所述子区块的多个像素值的标准差以及直方图偏态至少之一者。
7.如权利要求5所述的方法，其特征在于，各所述子区块与所述参考模型之间的所述纹理相关性为所述子区块与所述参考模型之间的局部二值模式的相关系数。
8.如权利要求1所述的方法，其特征在于，所述分类器为支持向量机分类器，而根据所述输出结果，判定所述待测物件是否具有所述缺陷的步骤包括：
当所述输出结果指出所述待测物件具有所述缺陷时，判定所述待测物件具有所述缺陷；以及
当所述输出结果指出所述待测物件不具有所述缺陷时：
取得所述输出结果的信心值；
判断所述输出结果的所述信心值是否大于预设信心阀值；
当所述输出结果的所述信心值大于所述预设信心阀值时，判定所述待测物件不具有所述缺陷；以及
当所述输出结果的所述信心值不大于所述预设信心阀值时，判定所述待测物件具有所述缺陷。
9.如权利要求1所述的方法，其特征在于，所述分类器的建构方法包括：
取得多个无缺陷训练物件的多个无缺陷检测区域图像以及多个缺陷训练物件的多个缺陷检测区域图像，其中所述无缺陷训练物件以及所述缺陷训练物件与所述待测物件为相同物件；
针对各所述无缺陷检测区域图像以及各所述缺陷检测区域图像进行不同尺度的图像金字塔处理，以分别产生多个不同尺度的无缺陷检测区域图像以及多个不同尺度的缺陷检测区域图像；
分割各所述不同尺度的无缺陷检测区域图像以及各所述不同尺度的缺陷检测区域图像，以产生多个训练子区块，其中各所述训练子区块的尺寸相同；以及
利用所述训练子区块训练所述分类器。
10.如权利要求9所述的方法，其特征在于，更包括：
根据所述无缺陷检测区域图像，产生关联于无缺陷的参考模型，其中所述参考模型具有对应于各所述训练子区块的参考子区块。
11.如权利要求1所述的方法，其特征在于，所述待测物件为具有扬声器的电子装置。
12.一种缺陷检测系统，其特征在于，包括：
信号输出装置，用以输出测试音频信号至待测物件；
麦克风，用以接收待测物件对于所述测试音频信号的响应信号；
模拟数字转换器，用以转换所述响应信号为收音音频信号；以及
处理装置，用以针对所述收音音频信号进行快速傅立叶转换，以产生时频谱图，以及根据所述时频谱图，视觉化判断所述待测物件是否具有缺陷；
其中，所述处理装置更预先存储分类器，所述处理装置用以：
取得关联于所述时频谱图的多个子区块，其中各所述子区块的尺寸相同；
利用所述子区块以及所述分类器，产生输出结果；以及
根据所述输出结果，判断所述待测物件是否具有所述缺陷，其中，所述缺陷为所述待测物件的组装异音；
其中，当所述处理装置判定所述待测物件具有所述缺陷时，还根据所述时频谱图的特定区域，判别所述待测物件中造成所述组装异音的部件。
13.如权利要求12所述的系统，其特征在于，所述待测物件为具有扬声器的电子装置。
CN201911091856.3A 2019-10-21 2019-11-07 缺陷检测视觉化方法及其系统 Active CN112700399B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108137945 2019-10-21
TW108137945A TWI761715B (zh) 2019-10-21 2019-10-21 缺陷檢測視覺化方法及其系統

Publications (2)

Publication Number Publication Date
CN112700399A CN112700399A (zh) 2021-04-23
CN112700399B true CN112700399B (zh) 2023-12-19

Family

ID=73653677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911091856.3A Active CN112700399B (zh) 2019-10-21 2019-11-07 缺陷检测视觉化方法及其系统

Country Status (3)

Country Link
US (1) US10863294B1 (zh)
CN (1) CN112700399B (zh)
TW (1) TWI761715B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11326935B2 (en) * 2019-10-21 2022-05-10 Wistron Corporation Method and system for vision-based defect detection
TWI774472B (zh) * 2021-07-13 2022-08-11 緯創資通股份有限公司 異音檢測方法及裝置
CN117129480B (zh) * 2023-10-25 2024-02-13 深圳市吉方工控有限公司 基于机器视觉的计算机主板元器件智能检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108518A (ja) * 1999-08-03 2001-04-20 Mitsui Eng & Shipbuild Co Ltd 異常検知方法および装置
US6304865B1 (en) * 1998-10-27 2001-10-16 Dell U.S.A., L.P. Audio diagnostic system and method using frequency spectrum and neural network
JP2015230715A (ja) * 2014-06-06 2015-12-21 株式会社デンソーアイティーラボラトリ 特徴量演算装置、特徴量演算方法、及び特徴量演算プログラム
CN106920219A (zh) * 2015-12-28 2017-07-04 力晶科技股份有限公司 物品缺陷检测方法、图像处理系统与计算机可读记录介质
CN109040940A (zh) * 2018-09-20 2018-12-18 歌尔股份有限公司 一种扬声器的检测方法及装置
CN109461458A (zh) * 2018-10-26 2019-03-12 合肥工业大学 一种基于生成对抗网络的音频异常检测方法
WO2019050108A1 (ko) * 2017-09-06 2019-03-14 주식회사 씨티아이랩 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술
CN109977920A (zh) * 2019-04-11 2019-07-05 福州大学 基于时频谱图及卷积神经网络的水轮机组故障诊断方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7059191B2 (en) * 2001-09-21 2006-06-13 Texas Instruments Incorporated Determining defective devices which generate sound during operation
US8379876B2 (en) * 2008-05-27 2013-02-19 Fortemedia, Inc Audio device utilizing a defect detection method on a microphone array
CN104130498A (zh) 2014-06-27 2014-11-05 苏州市盛百威包装设备有限公司 一种聚丙烯薄膜包装材料及其制备方法
JP6060989B2 (ja) * 2015-02-25 2017-01-18 カシオ計算機株式会社 音声録音装置、音声録音方法、及びプログラム
CN106323452B (zh) 2015-07-06 2019-03-29 中达电子零组件(吴江)有限公司 一种设备异音的检测方法及检测装置
US9930463B2 (en) * 2016-03-31 2018-03-27 Sonos, Inc. Defect detection via audio playback
CN205812392U (zh) * 2016-05-16 2016-12-14 梯西爱尔爱麦克斯（上海）数字技术有限公司 音箱检测装置
US20180213340A1 (en) * 2017-01-26 2018-07-26 W. L. Gore & Associates, Inc. High throughput acoustic vent structure test apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304865B1 (en) * 1998-10-27 2001-10-16 Dell U.S.A., L.P. Audio diagnostic system and method using frequency spectrum and neural network
JP2001108518A (ja) * 1999-08-03 2001-04-20 Mitsui Eng & Shipbuild Co Ltd 異常検知方法および装置
JP2015230715A (ja) * 2014-06-06 2015-12-21 株式会社デンソーアイティーラボラトリ 特徴量演算装置、特徴量演算方法、及び特徴量演算プログラム
CN106920219A (zh) * 2015-12-28 2017-07-04 力晶科技股份有限公司 物品缺陷检测方法、图像处理系统与计算机可读记录介质
WO2019050108A1 (ko) * 2017-09-06 2019-03-14 주식회사 씨티아이랩 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술
CN109040940A (zh) * 2018-09-20 2018-12-18 歌尔股份有限公司 一种扬声器的检测方法及装置
CN109461458A (zh) * 2018-10-26 2019-03-12 合肥工业大学 一种基于生成对抗网络的音频异常检测方法
CN109977920A (zh) * 2019-04-11 2019-07-05 福州大学 基于时频谱图及卷积神经网络的水轮机组故障诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
模式识别技术在扬声器故障诊断中的应用;卢学军;储标;许增朴;殷伟;;天津科技大学学报(第01期);全文 *

Also Published As

Publication number Publication date
TWI761715B (zh) 2022-04-21
CN112700399A (zh) 2021-04-23
US10863294B1 (en) 2020-12-08
TW202118316A (zh) 2021-05-01

Similar Documents

Publication Publication Date Title
CN112700399B (zh) 缺陷检测视觉化方法及其系统
US11636583B2 (en) Method and system for vision-based defect detection
JP5732994B2 (ja) 楽曲検索装置および方法、プログラム、並びに記録媒体
TWI684366B (zh) 來自複合信號之暫態失真之隔絕、擷取及評估
WO2018014673A1 (zh) 一种啸叫检测方法和装置
CN111866690A (zh) 一种麦克风的测试方法及装置
CN113259832B (zh) 麦克风阵列的检测方法、装置、电子设备及存储介质
CN109903775B (zh) 一种音频爆音检测方法和装置
US7929933B2 (en) Noise suppression apparatus, FM receiving apparatus and FM receiving apparatus adjustment method
JP6891662B2 (ja) 音声評価プログラム、音声評価方法および音声評価装置
US11579012B1 (en) Abnormal sound detection method and apparatus
TW201826254A (zh) 嬰兒哭聲偵測電路及相關的偵測方法
CN116684806A (zh) 扬声器异音测试方法
TWI744177B (zh) 缺陷檢測視覺化方法及其系統
CN114974301A (zh) 一种异音检测方法、计算机可读存储介质及电子设备
JP6891736B2 (ja) 音声処理プログラム、音声処理方法および音声処理装置
CN114385977B (zh) 信号的有效频率检测方法、终端设备及存储介质
CN114900782A (zh) 音频芯片的测试方法、存储介质和计算机设备
JP7026026B2 (ja) びりつき音源探査システムおよびくし型フィルタの設定方法
TWI792607B (zh) 雜音偵測裝置及其方法
TWI595791B (zh) 音訊檢測方法
CN111917495B (zh) 一种自适应门限实时生成方法
CN117395587A (zh) 基于机器视觉的音响检测方法、装置、设备及介质
CN118155658A (zh) 一种异音识别方法、装置及电子设备
Wenhua et al. A Method of Loudspeaker’s Pure Tone Fault Detection Based on Time-Frequency Image Fractal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant