CN114544772B - 基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法 - Google Patents

基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法 Download PDF

Info

Publication number
CN114544772B
CN114544772B CN202210441556.9A CN202210441556A CN114544772B CN 114544772 B CN114544772 B CN 114544772B CN 202210441556 A CN202210441556 A CN 202210441556A CN 114544772 B CN114544772 B CN 114544772B
Authority
CN
China
Prior art keywords
egg
sound
knocking
duck
duck egg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210441556.9A
Other languages
English (en)
Other versions
CN114544772A (zh
Inventor
肖德琴
康俊琪
殷建军
刘又夫
黄一桂
陈淼彬
刘克坚
闫志广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202210441556.9A priority Critical patent/CN114544772B/zh
Publication of CN114544772A publication Critical patent/CN114544772A/zh
Application granted granted Critical
Publication of CN114544772B publication Critical patent/CN114544772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/045Analysing solids by imparting shocks to the workpiece and detecting the vibrations or the acoustic waves caused by the shocks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/12Analysing solids by measuring frequency or resonance of acoustic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4409Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
    • G01N29/4418Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with a model, e.g. best-fit, regression analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481Neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00Indexing codes associated with group G01N29/00
    • G01N2291/02Indexing codes associated with the analysed material
    • G01N2291/028Material parameters
    • G01N2291/0289Internal structure, e.g. defects, grain size, texture
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法,属于鸭蛋裂纹检测技术领域,所述装置包括:传送模块、对射式光电传感器、微处理器、敲击锤、声音收集箱、声音数字信号处理器,所述方法通过利用所述鸭蛋裂纹检测装置实现分类得到裂纹蛋和完好蛋,完成鸭蛋裂纹检测,本发明基于卷积神经网络和声音频谱检测解决了鸭蛋壳表面一些微小的裂纹漏采,检测误差大的问题。

Description

基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法
技术领域
本发明属于蛋壳裂纹检测技术领域,尤其涉及一种基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法。
背景技术
蛋壳裂纹检测是蛋产品加工过程和储存过程中的重要环节之一。
传统的蛋壳检测是工人通过肉眼直接观看蛋壳表面是否存在裂纹缺陷,人工经验法不仅耗费人力物力,而且由于人的主观性影响,存在可靠性低,精度波动大等缺点。利用计算机视觉技术检测裂纹,计算机视觉技术的精度取决于摄像机的分辨率,而且蛋壳表面一些微小的裂纹无法被检测到,无法实现蛋壳全表面采集,容易造成漏采,误差较大。
发明内容
针对现有技术中的上述不足,本发明提供的一种基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法基于卷积神经网络和声音频谱检测,解决了鸭蛋壳表面一些微小的裂纹漏采,检测误差大的问题。
为了达到上述发明目的,本发明采用的技术方案为:
本发明提供一种基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置,包括:
传送模块,用于通过滚动蛋辊带动多排输蛋轨道传送待检测的鸭蛋;
对射式光电传感器,用于针对各鸭蛋通过声音收集箱阻挡光路,输出开关控制信号至微处理器;
微处理器,用于根据接收到的开关控制信号,驱动敲击锤敲击声音收集箱;
敲击锤,用于敲击待检测的鸭蛋,得到鸭蛋敲蛋声音信号;
声音收集箱,用于通过敲击锤敲击声音收集箱侧面,并获取敲蛋声音数字信号;
声音数字信号处理器,用于处理敲蛋声音数字信号得到敲蛋音频图像集,并利用敲蛋音频图像集训练鸭蛋裂纹音频识别神经网络,并基于已训练的鸭蛋裂纹音频识别神经网络对鸭蛋裂纹进行检测。
本发明的有益效果为:本方案提供一种基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置,通过传送模块将鸭蛋传送经过声音收集箱,在鸭蛋进入声音收集箱时阻挡对射式光电传感器的光路,则传输给微处理器开关控制信号,微处理器控制敲击锤敲击声音收集箱,则声音收集箱获取到敲蛋声音数字信号,并将敲蛋声音数字信号传输至声音数字信号处理器,通过对敲蛋声音数字信号处理并通过训练好的鸭蛋裂纹音频识别神经网络,即可准确对裂纹鸭蛋与完好鸭蛋进行分类,完成通过卷积神经网络和声音频谱的鸭蛋裂纹检测,其检测精度远高于计算机视觉技术的检测精度,且有效减少裂纹漏采情况,识别效率高且能准确识别裂纹鸭蛋。
进一步地,所述声音收集箱包括:
麦克风咪头子模块,用于采集鸭蛋敲蛋声音信号;
声音放大子模块,用于将鸭蛋敲蛋声音信号放大,得到放大后的鸭蛋敲蛋声音信号;
A/D转换器子模块,用于将放大后的鸭蛋敲蛋声音信号转换得到敲蛋声音数字信号。
采用上述进一步方案的有益效果为:所述声音收集箱通过麦克风咪头子模块采集鸭蛋敲蛋声音信号,并通过声音放大子模块将鸭蛋敲蛋声音信号放大,在经A/D转换器子模块转换为数字信号传输至声音数字信号处理器,为根据鸭蛋敲蛋声音识别裂纹鸭蛋提供基础。
进一步地,所述声音数字信号处理器包括:
敲蛋声音数字信号处理子模块,用于对敲蛋声音数字信号进行预加重、分帧、加窗、去噪以及端点检测,得到处理后的敲蛋声音信号;
敲蛋声音特征提取子模块,用于将处理后的敲蛋声音信号进行预加重滤波和划分短时帧,并将各短时帧加载汉明窗以及傅里叶变换,得到敲蛋声音功率谱;
敲蛋声音频谱图获取子模块,用于通过梅尔尺度滤波器组处理敲蛋声音功率谱,得到敲蛋声音频谱图;
敲蛋音频图像集获取子模块,用于通过离散余弦变换处理敲蛋声音频谱图提取梅尔频率倒谱系数MFCC,并通过图像归一化处理均值归一化的梅尔频率倒谱系数MFCC,得到敲蛋音频图像,其中,敲蛋音频图像大小为;
鸭蛋裂纹音频识别神经网络构建子模块,用于构建鸭蛋裂纹音频识别神经网络;
鸭蛋裂纹音频识别神经网络训练子模块,用于根据敲蛋音频图像训练鸭蛋裂纹音频识别神经网络,得到训练好的鸭蛋裂纹音频识别神经网络;
鸭蛋裂纹检测子模块,利用敲蛋音频图像集训练鸭蛋裂纹音频识别神经网络,并基于已训练的鸭蛋裂纹音频识别神经网络对鸭蛋裂纹进行检测。
采用上述进一步方案的有益效果为:所述声音数字信号处理器通过对敲蛋声音数字信号处理、特征提取和频率谱图像归一化后,利用训练好的鸭蛋裂纹音频识别神经网络对敲蛋音频图像进行识别分类,得到裂纹蛋和完好蛋,完成通过卷积神经网络和声音频谱的鸭蛋裂纹检测。
进一步地,所述梅尔尺度滤波器组中带通滤波器
Figure DEST_PATH_IMAGE001
的表达式如下:
Figure DEST_PATH_IMAGE002
其中,m表示第m个带通滤波器,f(m)表示第m个带通滤波器的中心频率对应的快速傅里叶变换点数,f(m-1)表示第m-1个带通滤波器的中心频率对应的快速傅里叶变换点数,f(m+1)表示第m+1个带通滤波器的中心频率对应的快速傅里叶变换点数,k表示敲蛋声音功率谱对应的快速傅里叶变换点数。
采用上述进一步方案的有益效果为:通过所述梅尔尺度滤波器组将梅尔刻度为40Mel尺度上的三角形滤波器应用于功率谱以提取频带,得到敲蛋声音频谱图。
进一步地,所述鸭蛋裂纹音频识别神经网络包括:
依次连接的敲蛋音频图像输入层、第一卷积层、第一Relu激励单元、第一CBAM注意力机制单元、第一最大池化层、第二卷积层、第二Relu激励单元、第二CBAM注意力机制单元、第二最大池化层、第三卷积层、第三Relu激励单元、第三CBAM注意力机制单元、第四卷积层、第四Relu激励单元、第四CBAM注意力机制单元、第五卷积层、第五CBAM注意力机制单元、第三最大池化层、第一全连接层、第二全连接层、第三全连接层和裂纹鸭蛋检测结果输出层。
采用上述进一步方案的有益效果为:所述鸭蛋裂纹音频识别神经网络在获取敲蛋音频图像各个位置的局部信息时,会产生各种冗余信息,因此引入CBAM注意力机制单元对卷积神经网络进行优化,提升鸭蛋裂纹音频识别神经网络的识别效率与精度。
进一步地,所述裂纹鸭蛋检测结果输出层采用Softmax函数作为激励函数;
所述Softmax函数的计算表达式如下:
Figure DEST_PATH_IMAGE003
其中,
Figure DEST_PATH_IMAGE004
表示第i个神经元
Figure DEST_PATH_IMAGE005
的输出,
Figure DEST_PATH_IMAGE006
表示第k个神经元
Figure DEST_PATH_IMAGE007
的输出,
Figure DEST_PATH_IMAGE008
表示K个神经元的输出之和,
Figure DEST_PATH_IMAGE009
表示第i个神经元
Figure 338314DEST_PATH_IMAGE005
的Softmax分类结果,其中,i=1,2,3,…,k,…,KK表示神经元总数。
采用上述进一步方案的有益效果为:通过Softmax函数实现对裂纹鸭蛋和完好鸭蛋的二分类检测。
本发明还提供一种基于卷积神经网络和声音频谱的鸭蛋裂纹检测方法,包括如下步骤:
S1、驱动传送模块滚动蛋辊带动多排输蛋轨道传送待检测的鸭蛋;
S2、利用对射式光电传感器针对各鸭蛋通过声音收集箱阻挡光路,输出开关控制信号至微处理器;
S3、通过微处理器根据接收到的开关控制信号,驱动敲击锤敲击声音收集箱;
S4、通过声音收集箱获取敲蛋声音数字信号;
S5、通过声音数字信号处理器处理敲蛋声音数字信号得到敲蛋音频图像集,并利用敲蛋音频图像集训练鸭蛋裂纹音频识别神经网络,并基于已训练的鸭蛋裂纹音频识别神经网络对鸭蛋裂纹进行检测,完成鸭蛋裂纹检测。
本发明的有益效果为:本方法为基于上述基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置的鸭蛋裂纹检索方法,能够通过利用所述鸭蛋裂纹检测装置实现分类得到裂纹蛋和完好蛋,完成鸭蛋裂纹检测。
进一步地,所述S4包括如下步骤:
S41、利用麦克风咪头子模块采集鸭蛋敲蛋声音信号;
S42、利用声音放大子模块(5)将鸭蛋敲蛋声音信号放大,得到放大后的鸭蛋敲蛋声音信号;
S43、利用A/D转换器子模块(3)将放大后的鸭蛋敲蛋声音信号转换得到敲蛋声音数字信号。
进一步地,所述S5包括如下步骤:
S51、利用敲蛋声音数字信号处理子模块对敲蛋声音数字信号进行预加重、分帧、加窗、去噪以及端点检测,得到处理后的敲蛋声音信号;
S52、利用敲蛋声音特征提取子模块将处理后的敲蛋声音信号通过预加重滤波和划分短时帧,并将各短时帧加载汉明窗以及傅里叶变换,得到敲蛋声音功率谱;
S53、利用敲蛋声音频谱图获取子模块通过梅尔尺度滤波器组处理敲蛋声音功率谱得到敲蛋声音频谱图;
S54、利用敲蛋音频图像集获取子模块通过离散余弦变换处理敲蛋声音频谱图提取梅尔频率倒谱系数MFCC,并通过图像归一化处理均值归一化的梅尔频率倒谱系数MFCC,得到敲蛋音频图像,其中,敲蛋音频图像大小为;
S55、利用鸭蛋裂纹音频识别神经网络构建子模块构建鸭蛋裂纹音频识别神经网络;
S56、利用鸭蛋裂纹音频识别神经网络训练子模块根据敲蛋音频图像训练鸭蛋裂纹音频识别神经网络,得到训练好的鸭蛋裂纹音频识别神经网络;
S57、利用鸭蛋裂纹检测子模块基于训练好的鸭蛋裂纹音频识别神经网络识别敲蛋音频图像,分类得到裂纹蛋和完好蛋,完成鸭蛋裂纹检测。
附图说明
图1为本发明实施例中基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置的结构示意图。
图2为本发明实施例中鸭蛋裂纹检测装置获取敲蛋声音数字信号部分装置的俯视图。
图3为本本发明实施例中基于卷积神经网络和声音频谱的鸭蛋裂纹检测方法的步骤流程图。
其中:1、传送模块;2、对射式光电传感器;3、A/D转换器子模块;4、微处理器;5、声音放大子模块;6、敲击锤;7、声音数字信号处理器。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
实施例1
如图1和图2所示,在本发明的一个实施例中,本发明提供一种基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置,包括:
传送模块1,用于通过滚动蛋辊带动多排输蛋轨道传送待检测的鸭蛋;
对射式光电传感器2,用于针对各鸭蛋通过声音收集箱阻挡光路,输出开关控制信号至微处理器4;
所述对射式光电传感器2采用的型号为W12-2Laser的传感器,其长×宽×高为15mm×49mm×41.5mm,外壳形状为方形,材料为金属,光源种类为可见红光,分别将发光器与收光器安装在声音收集箱两侧底部,当待检测的鸭蛋通过时,将阻挡光路,收光器便输出一个开关控制信号;
微处理器4,用于根据接收到的开关控制信号,驱动敲击锤6敲击声音收集箱;
所述微处理器4采用型号为STM32 RISC的微处理器,其以ARM Cortex-M3为内核,具有单周期乘法和硬件除法,代码执行效率高,工作频率可达72MHz,具有良好的处理速度;片上集成512K Flash,64K SRAM,为复杂固件程序和系统数据集中所需要的大容量缓存提供了足够空间,芯片内置UART、SPI和SDIO等接口,可满足敲蛋装置需求;
敲击锤6,用于敲击待检测的鸭蛋,得到鸭蛋敲蛋声音信号;
所述敲击锤6包括圆条型锤柄与椭圆形锤头,锤头材料为木制,锤头与锤柄由铝制金属环连接,敲蛋锤安装于声音收集箱内两侧,由微处理器4控制,当收到微处理器4传来的控制信息时,便操作小锤进行敲击操作;
所述敲击锤6设于声音收集箱内两侧;
声音收集箱,用于采集鸭蛋敲蛋声音信号,并通过放大和数字化处理得到敲蛋声音数字信号;
所述声音收集箱的长×宽×高为35cm×15cm×30cm的长方体铝合金盒,且其底部设有长径为20cm、短径为12cm的椭圆开口,用于多排输蛋轨道与待检测的鸭蛋通过;
声音数字信号处理器7,用于处理敲蛋声音数字信号得到敲蛋音频图像集,并利用敲蛋音频图像集训练鸭蛋裂纹音频识别神经网络,并基于已训练的鸭蛋裂纹音频识别神经网络对鸭蛋裂纹进行检测;
所述声音收集箱包括:
麦克风咪头子模块,用于采集鸭蛋敲蛋声音信号;
声音放大子模块5,用于将鸭蛋敲蛋声音信号放大,得到放大后的鸭蛋敲蛋声音信号;
A/D转换器子模块3,用于将放大后的鸭蛋敲蛋声音信号转换得到敲蛋声音数字信号;
所述A/D转换器子模块3采用型号为ADS7804的转换器,ADS7804的转换器为12位A/D转换器,芯片采用28脚0.3寸PDIP封装,两列管脚间距为0.3英寸,采用CMOS工艺制造,使用逐次逼近式工作原理,单通道输入,模拟输入电压的范围为±10V,采样速率为100KHz。该转换器分辨率高,转换速度快,电路简单、应用灵活,可将模拟信号转换为数字信息;
所述声音数字信号处理器7包括:
敲蛋声音数字信号处理子模块,用于对敲蛋声音数字信号进行预加重、分帧、加窗、去噪以及端点检测,得到处理后的敲蛋声音信号;采集到的数据中敲击声与环境噪声相互叠加,环境噪声影响模型的判断效果,采用谱减去噪法对敲蛋声音信号进行有效去噪;
敲蛋声音特征提取子模块,用于将处理后的敲蛋声音信号进行预加重滤波和划分短时帧,并将各短时帧加载汉明窗以及傅里叶变换,得到敲蛋声音功率谱,其中,各所述短时帧长度为40ms,帧移为10ms;通过预加重滤波能够平衡频谱、避免在傅里叶变换操作期间出现数值问题以及改善信号噪声比;
敲蛋声音频谱图获取子模块,用于通过梅尔尺度滤波器组处理敲蛋声音功率谱,得到敲蛋声音频谱图;通过所述梅尔尺度滤波器组将梅尔刻度为40Mel尺度上的三角形滤波器应用于功率谱以提取频带,得到敲蛋声音频谱图,其中各三角形滤波器中心频率处的响应为1,并朝0线性减小,直到其到达两个相邻滤波器的中心频率,其中响应为0;
敲蛋音频图像集获取子模块,用于通过离散余弦变换处理敲蛋声音频谱图提取梅尔频率倒谱系数MFCC,并通过图像归一化处理均值归一化的梅尔频率倒谱系数MFCC,得到敲蛋音频图像,其中,敲蛋音频图像大小为;
鸭蛋裂纹音频识别神经网络构建子模块,用于构建鸭蛋裂纹音频识别神经网络;
鸭蛋裂纹音频识别神经网络训练子模块,用于根据敲蛋音频图像训练鸭蛋裂纹音频识别神经网络,得到训练好的鸭蛋裂纹音频识别神经网络;
鸭蛋裂纹检测子模块,利用敲蛋音频图像集训练鸭蛋裂纹音频识别神经网络,并基于已训练的鸭蛋裂纹音频识别神经网络对鸭蛋裂纹进行检测;
所述梅尔尺度滤波器组中带通滤波器
Figure 222831DEST_PATH_IMAGE001
的表达式如下:
Figure 471410DEST_PATH_IMAGE002
其中,m表示第m个带通滤波器,f(m)表示第m个带通滤波器的中心频率对应的快速傅里叶变换点数,f(m-1)表示第m-1个带通滤波器的中心频率对应的快速傅里叶变换点数,f(m+1)表示第m+1个带通滤波器的中心频率对应的快速傅里叶变换点数,k表示敲蛋声音功率谱对应的快速傅里叶变换点数;
所述鸭蛋裂纹音频识别神经网络包括:
依次连接的敲蛋音频图像输入层、第一卷积层、第一Relu激励单元、第一CBAM注意力机制单元、第一最大池化层、第二卷积层、第二Relu激励单元、第二CBAM注意力机制单元、第二最大池化层、第三卷积层、第三Relu激励单元、第三CBAM注意力机制单元、第四卷积层、第四Relu激励单元、第四CBAM注意力机制单元、第五卷积层、第五CBAM注意力机制单元、第三最大池化层、第一全连接层、第二全连接层、第三全连接层和裂纹鸭蛋检测结果输出层;
所述第一卷积层采用大小为11x11的卷积核,步长为4;述第一最大池化层大小为3x3,步长为2;所述第二卷积层采用大小为5x5的卷积核,并采用图像填充操作保持输入尺度不变,所述第二池化层大小为3x3,步长为2;所述第三卷积层、第四卷积层和第五卷积层均采用大小为3x3的卷积核,且均通过图像填充操作保持图像尺度大小不变,且所述第第三最大池化层、第四最大池化层和第五最大池化层大小均为3x3,步长为2;所述第一全连接层维度为4096;所述第二全连接层和第三全连接层维度均为2048;
所述第一Relu激励单元、第二Relu激励单元、第三Relu激励单元和第四Relu激励单元均采用Relu函数作为激励函数:
所述Relu函数的计算表达式如下:
Figure DEST_PATH_IMAGE010
其中,x表示输入向量,
Figure DEST_PATH_IMAGE011
表示对输入向量x的激励结果。
所述裂纹鸭蛋检测结果输出层采用Softmax函数作为激励函数;
所述Softmax函数的计算表达式如下:
Figure 273144DEST_PATH_IMAGE003
其中,
Figure 556358DEST_PATH_IMAGE004
表示第i个神经元
Figure DEST_PATH_IMAGE012
的输出,
Figure DEST_PATH_IMAGE013
表示第k个神经元
Figure 50924DEST_PATH_IMAGE007
的输出,
Figure 285334DEST_PATH_IMAGE008
表示K个神经元的输出之和,
Figure 953076DEST_PATH_IMAGE009
表示第i个神经元
Figure 90796DEST_PATH_IMAGE005
的Softmax分类结果,其中,i=1,2,3,…,k,…,KK表示神经元总数。
本发明的有益效果为:本方案提供一种基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置,通过传送模块将鸭蛋传送经过声音收集箱,在鸭蛋进入声音收集箱时阻挡对射式光电传感器的光路,则传输给微处理器开关控制信号,微处理器控制敲击锤敲击声音收集箱,则声音收集箱获取到敲蛋声音数字信号,并将敲蛋声音数字信号传输至声音数字信号处理器,通过对敲蛋声音数字信号处理并通过训练好的鸭蛋裂纹音频识别神经网络,即可准确对裂纹鸭蛋与完好鸭蛋进行分类,完成通过卷积神经网络和声音频谱的鸭蛋裂纹检测,其检测精度远高于计算机视觉技术的检测精度,且有效减少裂纹漏采情况,识别效率高且能准确识别裂纹鸭蛋。
实施例2
如图3所示,本发明还提供一种基于卷积神经网络和声音频谱的鸭蛋裂纹检测方法,包括如下步骤:
S1、驱动传送模块1滚动蛋辊带动多排输蛋轨道传送待检测的鸭蛋;
S2、利用对射式光电传感器2针对各鸭蛋通过声音收集箱阻挡光路,输出开关控制信号至微处理器4;
S3、通过微处理器4根据接收到的开关控制信号,驱动敲击锤敲击声音收集箱;
S4、通过声音收集箱获取敲蛋声音数字信号;
所述S4包括如下步骤:
S41、利用麦克风咪头子模块采集鸭蛋敲蛋声音信号;
S42、利用声音放大子模块5将鸭蛋敲蛋声音信号放大,得到放大后的鸭蛋敲蛋声音信号;
S43、利用A/D转换器子模块3将放大后的鸭蛋敲蛋声音信号转换得到敲蛋声音数字信号。
S5、通过声音数字信号处理器7处理敲蛋声音数字信号得到敲蛋音频图像集,并利用敲蛋音频图像集训练鸭蛋裂纹音频识别神经网络,并基于已训练的鸭蛋裂纹音频识别神经网络对鸭蛋裂纹进行检测,完成鸭蛋裂纹检测;
所述S5包括如下步骤:
S51、利用敲蛋声音数字信号处理子模块对敲蛋声音数字信号进行预加重、分帧、加窗、去噪以及端点检测,得到处理后的敲蛋声音信号;
S52、利用敲蛋声音特征提取子模块将处理后的敲蛋声音信号通过预加重滤波和划分短时帧,并将各短时帧加载汉明窗以及傅里叶变换,得到敲蛋声音功率谱;
S53、利用敲蛋声音频谱图获取子模块通过梅尔尺度滤波器组处理敲蛋声音功率谱得到敲蛋声音频谱图;
S54、利用敲蛋音频图像集获取子模块通过离散余弦变换处理敲蛋声音频谱图提取梅尔频率倒谱系数MFCC,并通过图像归一化处理均值归一化的梅尔频率倒谱系数MFCC,得到敲蛋音频图像,其中,敲蛋音频图像大小为;
S55、利用鸭蛋裂纹音频识别神经网络构建子模块构建鸭蛋裂纹音频识别神经网络;
S56、利用鸭蛋裂纹音频识别神经网络训练子模块根据敲蛋音频图像训练鸭蛋裂纹音频识别神经网络,得到训练好的鸭蛋裂纹音频识别神经网络;
所述步骤S56包括如下步骤:
S561、将敲蛋音频图像输入至鸭蛋裂纹音频识别神经网络,并采用正则化项对敲蛋音频图像中的特征变量进行逻辑计算,得到各特征变量逻辑计算结果;
S562、计算鸭蛋裂纹音频识别神经网络各层神经元的输出,并在第一全连接层和第二全连接层内采用随机丢弃率为0.5舍弃部分神经元的输出;
S563、计算逻辑回归的成本函数,得到权值和偏置向量值;
S564、利用随机梯度下降法求出合适的权值与偏置向量值,使逻辑回归的成本函数最小化;
S565、重复步骤S561至S565,直至准确度达到预设准确度,得到训练好的鸭蛋裂纹音频识别神经网络;
S57、利用鸭蛋裂纹检测子模块基于训练好的鸭蛋裂纹音频识别神经网络识别敲蛋音频图像,分类得到裂纹蛋和完好蛋,完成鸭蛋裂纹检测。
本发明的有益效果为:本方法为基于上述基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置的鸭蛋裂纹检索方法,能够通过利用所述鸭蛋裂纹检测装置实现分类得到裂纹蛋和完好蛋,完成鸭蛋裂纹检测。

Claims (6)

1.一种基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置,其特征在于,包括:
传送模块(1),用于通过滚动蛋辊带动多排输蛋轨道传送待检测的鸭蛋;
对射式光电传感器(2),用于针对各鸭蛋通过声音收集箱阻挡光路,输出开关控制信号至微处理器(4);
微处理器(4),用于根据接收到的开关控制信号,驱动敲击锤(6)敲击待检测的鸭蛋;
敲击锤(6),用于敲击待检测的鸭蛋,得到鸭蛋敲蛋声音信号;
声音收集箱,用于通过敲击锤(6)敲击声音收集箱侧面,并获取敲蛋声音数字信号;
所述声音收集箱的长×宽×高为35cm×15cm×30cm的长方体铝合金盒,且其底部设有长径为20cm、短径为12cm的椭圆开口,用于多排输蛋轨道与待检测的鸭蛋通过;
声音数字信号处理器(7),用于处理敲蛋声音数字信号得到敲蛋音频图像集,并利用敲蛋音频图像集训练鸭蛋裂纹音频识别神经网络,并基于已训练的鸭蛋裂纹音频识别神经网络对鸭蛋裂纹进行检测;
所述声音数字信号处理器(7)包括:
敲蛋声音数字信号处理子模块,用于对敲蛋声音数字信号进行预加重、分帧、加窗、去噪以及端点检测,得到处理后的敲蛋声音信号;
敲蛋声音特征提取子模块,用于将处理后的敲蛋声音信号进行预加重滤波和划分短时帧,并将各短时帧加载汉明窗以及傅里叶变换,得到敲蛋声音功率谱;
敲蛋声音频谱图获取子模块,用于通过梅尔尺度滤波器组处理敲蛋声音功率谱,得到敲蛋声音频谱图;
通过所述梅尔尺度滤波器组将梅尔刻度为40Mel尺度上的三角形滤波器应用于功率谱以提取频带,得到敲蛋声音频谱图,其中各三角形滤波器中心频率处的响应为1,并朝0线性减小,直到其到达两个相邻滤波器的中心频率,其中响应为0;
敲蛋音频图像集获取子模块,用于通过离散余弦变换处理敲蛋声音频谱图提取梅尔频率倒谱系数MFCC,并通过图像归一化处理均值归一化的梅尔频率倒谱系数MFCC,得到敲蛋音频图像,其中,敲蛋音频图像大小为224×224;
鸭蛋裂纹音频识别神经网络构建子模块,用于构建鸭蛋裂纹音频识别神经网络;
鸭蛋裂纹音频识别神经网络训练子模块,用于根据敲蛋音频图像训练鸭蛋裂纹音频识别神经网络,得到训练好的鸭蛋裂纹音频识别神经网络;
所述鸭蛋裂纹音频识别神经网络包括:
依次连接的敲蛋音频图像输入层、第一卷积层、第一Relu激励单元、第一CBAM注意力机制单元、第一最大池化层、第二卷积层、第二Relu激励单元、第二CBAM注意力机制单元、第二最大池化层、第三卷积层、第三Relu激励单元、第三CBAM注意力机制单元、第四卷积层、第四Relu激励单元、第四CBAM注意力机制单元、第五卷积层、第五CBAM注意力机制单元、第三最大池化层、第一全连接层、第二全连接层、第三全连接层和裂纹鸭蛋检测结果输出层;
鸭蛋裂纹检测子模块,利用敲蛋音频图像集训练鸭蛋裂纹音频识别神经网络,并基于已训练的鸭蛋裂纹音频识别神经网络对鸭蛋裂纹进行检测。
2.根据权利要求1所述的基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置,其特征在于,所述声音收集箱包括:
麦克风咪头子模块,用于采集鸭蛋敲蛋声音信号;
声音放大子模块(5),用于将鸭蛋敲蛋声音信号放大,得到放大后的鸭蛋敲蛋声音信号;
A/D转换器子模块(3),用于将放大后的鸭蛋敲蛋声音信号转换得到敲蛋声音数字信号。
3.根据权利要求1所述的基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置,其特征在于,所述梅尔尺度滤波器组中带通滤波器
Figure 91168DEST_PATH_IMAGE001
的表达式如下:
Figure 867363DEST_PATH_IMAGE002
其中,m表示第m个带通滤波器,f(m)表示第m个带通滤波器的中心频率对应的快速傅里叶变换点数,f(m-1)表示第m-1个带通滤波器的中心频率对应的快速傅里叶变换点数,f(m+1)表示第m+1个带通滤波器的中心频率对应的快速傅里叶变换点数,k表示敲蛋声音功率谱对应的快速傅里叶变换点数。
4.根据权利要求1所述的基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置,其特征在于,所述裂纹鸭蛋检测结果输出层采用Softmax函数作为激励函数;
所述Softmax函数的计算表达式如下:
Figure 115941DEST_PATH_IMAGE003
其中,
Figure 855358DEST_PATH_IMAGE004
表示第i个神经元
Figure 138572DEST_PATH_IMAGE005
的输出,
Figure 695455DEST_PATH_IMAGE006
表示第k个神经元
Figure 555964DEST_PATH_IMAGE007
的输出,
Figure 223706DEST_PATH_IMAGE008
表示K个神经元的输出之和,
Figure 992118DEST_PATH_IMAGE009
表示第i个神经元
Figure 454323DEST_PATH_IMAGE010
的Softmax分类结果,其中,i=1,2,3,…,k,…,KK表示神经元总数。
5.一种利用权利要求1-4任意一项所述的基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置的检测方法,其特征在于,包括如下步骤:
S1、驱动传送模块(1)滚动蛋辊带动多排输蛋轨道传送待检测的鸭蛋;
S2、利用对射式光电传感器(2)针对各鸭蛋通过声音收集箱阻挡光路,输出开关控制信号至微处理器(4);
所述声音收集箱的长×宽×高为35cm×15cm×30cm的长方体铝合金盒,且其底部设有长径为20cm、短径为12cm的椭圆开口,用于多排输蛋轨道与待检测的鸭蛋通过;
S3、通过微处理器(4)根据接收到的开关控制信号,驱动敲击锤(6)敲击待检测的鸭蛋;
S4、通过声音收集箱获取敲蛋声音数字信号;
S5、通过声音数字信号处理器(7)处理敲蛋声音数字信号得到敲蛋音频图像集,并利用敲蛋音频图像集训练鸭蛋裂纹音频识别神经网络,并基于已训练的鸭蛋裂纹音频识别神经网络对鸭蛋裂纹进行检测,完成鸭蛋裂纹检测;
所述S5包括如下步骤:
S51、利用敲蛋声音数字信号处理子模块对敲蛋声音数字信号进行预加重、分帧、加窗、去噪以及端点检测,得到处理后的敲蛋声音信号;
S52、利用敲蛋声音特征提取子模块将处理后的敲蛋声音信号通过预加重滤波和划分短时帧,并将各短时帧加载汉明窗以及傅里叶变换,得到敲蛋声音功率谱;
S53、利用敲蛋声音频谱图获取子模块通过梅尔尺度滤波器组处理敲蛋声音功率谱得到敲蛋声音频谱图;
通过所述梅尔尺度滤波器组将梅尔刻度为40Mel尺度上的三角形滤波器应用于功率谱以提取频带,得到敲蛋声音频谱图,其中各三角形滤波器中心频率处的响应为1,并朝0线性减小,直到其到达两个相邻滤波器的中心频率,其中响应为0;
S54、利用敲蛋音频图像集获取子模块通过离散余弦变换处理敲蛋声音频谱图提取梅尔频率倒谱系数MFCC,并通过图像归一化处理均值归一化的梅尔频率倒谱系数MFCC,得到敲蛋音频图像,其中,敲蛋音频图像大小为;
S55、利用鸭蛋裂纹音频识别神经网络构建子模块构建鸭蛋裂纹音频识别神经网络;
S56、利用鸭蛋裂纹音频识别神经网络训练子模块根据敲蛋音频图像训练鸭蛋裂纹音频识别神经网络,得到训练好的鸭蛋裂纹音频识别神经网络;
所述鸭蛋裂纹音频识别神经网络包括:
依次连接的敲蛋音频图像输入层、第一卷积层、第一Relu激励单元、第一CBAM注意力机制单元、第一最大池化层、第二卷积层、第二Relu激励单元、第二CBAM注意力机制单元、第二最大池化层、第三卷积层、第三Relu激励单元、第三CBAM注意力机制单元、第四卷积层、第四Relu激励单元、第四CBAM注意力机制单元、第五卷积层、第五CBAM注意力机制单元、第三最大池化层、第一全连接层、第二全连接层、第三全连接层和裂纹鸭蛋检测结果输出层;
S57、并利用敲蛋音频图像集训练鸭蛋裂纹音频识别神经网络,并基于已训练的鸭蛋裂纹音频识别神经网络对鸭蛋裂纹进行检测,完成鸭蛋裂纹检测。
6.根据权利要求5所述的基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置的检测方法,其特征在于,所述S4包括如下步骤:
S41、利用麦克风咪头子模块采集鸭蛋敲蛋声音信号;
S42、利用声音放大子模块(5)将鸭蛋敲蛋声音信号放大,得到放大后的鸭蛋敲蛋声音信号;
S43、利用A/D转换器子模块(3)将放大后的鸭蛋敲蛋声音信号转换得到敲蛋声音数字信号。
CN202210441556.9A 2022-04-26 2022-04-26 基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法 Active CN114544772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210441556.9A CN114544772B (zh) 2022-04-26 2022-04-26 基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210441556.9A CN114544772B (zh) 2022-04-26 2022-04-26 基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法

Publications (2)

Publication Number Publication Date
CN114544772A CN114544772A (zh) 2022-05-27
CN114544772B true CN114544772B (zh) 2022-08-05

Family

ID=81667631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210441556.9A Active CN114544772B (zh) 2022-04-26 2022-04-26 基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法

Country Status (1)

Country Link
CN (1) CN114544772B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1358059A (en) * 1970-10-29 1974-06-26 Basf Ag Moulding compositions containing polyethylene and polyisobutylene or an ethylene copolymer
US5131274A (en) * 1987-06-18 1992-07-21 Terpa Poultry B.V. Method and apparatus for testing eggs for cracks or holes
EP1198708A1 (en) * 1999-07-30 2002-04-24 FPS Food Processing Systems B.V. Method and device for determining the hardness of products such as fruit
CN1934072A (zh) * 2004-01-30 2007-03-21 派普林生物脂股份有限公司 治疗和载体分子
CN103584173A (zh) * 2013-11-21 2014-02-19 天津市奇果科技有限公司 一种快速生产无铅多口味千层皮蛋的方法及系统
CN106455979A (zh) * 2013-12-31 2017-02-22 纪念斯隆-凯特琳癌症中心 用于荧光源实时多通道成像的系统、方法和设备
CN108463780A (zh) * 2015-11-16 2018-08-28 厨师步骤有限公司 数据整合和个性化远程控制的烹饪设备
CN111642420A (zh) * 2019-03-04 2020-09-11 湘潭大学 一种蛋品无损检测分拣装置及其蛋品声学信号采集单元
CN111838575A (zh) * 2020-07-17 2020-10-30 周玉军 一种皮蛋生产免敲蛋技术
CN112730611A (zh) * 2020-12-15 2021-04-30 江苏大学 一种基于LabVIEW的禽蛋裂纹在线检测系统及其检测方法
CN113514544A (zh) * 2020-12-29 2021-10-19 大连理工大学 一种基于声音特征的移动机器人路面材质识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050037374A1 (en) * 1999-11-08 2005-02-17 Melker Richard J. Combined nanotechnology and sensor technologies for simultaneous diagnosis and treatment
CN101701938B (zh) * 2009-11-23 2011-01-12 中国计量学院 一种采用振型频率组合的工件缺陷类型音频检测方法
CN108717523B (zh) * 2018-04-26 2020-07-31 华南农业大学 基于机器视觉的母猪发情行为检测方法
CN111136027B (zh) * 2020-01-14 2024-04-12 广东技术师范大学 一种基于卷积神经网络的咸鸭蛋品质分检装置及方法
CN111724770B (zh) * 2020-05-19 2022-04-01 中国电子科技网络信息安全有限公司 一种基于深度卷积生成对抗网络的音频关键词识别方法
US11493906B2 (en) * 2020-05-19 2022-11-08 Mistras Group, Inc. Online monitoring of additive manufacturing using acoustic emission methods

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1358059A (en) * 1970-10-29 1974-06-26 Basf Ag Moulding compositions containing polyethylene and polyisobutylene or an ethylene copolymer
US5131274A (en) * 1987-06-18 1992-07-21 Terpa Poultry B.V. Method and apparatus for testing eggs for cracks or holes
EP1198708A1 (en) * 1999-07-30 2002-04-24 FPS Food Processing Systems B.V. Method and device for determining the hardness of products such as fruit
CN1934072A (zh) * 2004-01-30 2007-03-21 派普林生物脂股份有限公司 治疗和载体分子
CN103584173A (zh) * 2013-11-21 2014-02-19 天津市奇果科技有限公司 一种快速生产无铅多口味千层皮蛋的方法及系统
CN106455979A (zh) * 2013-12-31 2017-02-22 纪念斯隆-凯特琳癌症中心 用于荧光源实时多通道成像的系统、方法和设备
CN108463780A (zh) * 2015-11-16 2018-08-28 厨师步骤有限公司 数据整合和个性化远程控制的烹饪设备
CN111642420A (zh) * 2019-03-04 2020-09-11 湘潭大学 一种蛋品无损检测分拣装置及其蛋品声学信号采集单元
CN111838575A (zh) * 2020-07-17 2020-10-30 周玉军 一种皮蛋生产免敲蛋技术
CN112730611A (zh) * 2020-12-15 2021-04-30 江苏大学 一种基于LabVIEW的禽蛋裂纹在线检测系统及其检测方法
CN113514544A (zh) * 2020-12-29 2021-10-19 大连理工大学 一种基于声音特征的移动机器人路面材质识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Livestock vocalisation classification in farm soundscapes;James C. Bishopa et;《Computers and Electronics in Agriculture》;20191231;第572-578页 *
REVIEW: APPLICATION OF INFRARED THERMOGRAPHY IN LIVESTOCK MONITORING;C. Zhang,et;《Transactions of the ASABE》;20201231;第389-399页 *
基于热图像的种蛋气室变化监测算法;刘又夫 等,;《光谱学与光谱分析》;20210228;第41卷(第2期);第531-542页 *

Also Published As

Publication number Publication date
CN114544772A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN108369813B (zh) 特定声音识别方法、设备和存储介质
KR102276964B1 (ko) 잡음 환경에 강인한 동물 종 식별 장치 및 방법
CN113405825B (zh) 一种基于声音信号的带式输送机故障诊断方法
CN111048114A (zh) 一种设备异常声音检测的设备及方法
CN107811649B (zh) 一种基于深度卷积神经网络的心音多分类方法
CN108701469A (zh) 咳嗽声音识别方法、设备和存储介质
CN113192532A (zh) 一种基于mfcc-cnn的矿井提升机故障声学分析方法
CN113436726B (zh) 一种基于多任务分类的肺部病理音自动化分析方法
CN108520758B (zh) 一种视听觉跨模态物体材质检索方法及系统
CN112580486B (zh) 一种基于雷达微多普勒信号分离的人体行为分类方法
CN109060371A (zh) 一种汽车零部件异响检测装置
CN111695413A (zh) 联合U-Net和Temporal Ensembling的信号初至拾取方法及装置
CN111832507A (zh) 基于麦穗顶部光谱信息的小麦赤霉病遥感识别方法
CN114544772B (zh) 基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法
CN113345399A (zh) 一种强噪声环境下的机器设备声音监测方法
Kumar et al. A Novel Zero-Shot Learning Approach for Multi-Classification of Orange Sooty Mold Disease Severity Levels
CN113990303B (zh) 基于多分辨率空洞深度可分卷积网络的环境声音辨识方法
CN115273908B (zh) 一种基于分类器融合的生猪咳嗽声音识别方法
CN116879409A (zh) 一种基于气体传感器的水果果实损伤的分析检测方法
CN116821840A (zh) 一种基于特征级融合多模态的滚动轴承故障检测方法
CN111862991A (zh) 一种婴儿哭声的识别方法及系统
CN114581705A (zh) 基于YOLOv4模型和卷积神经网络的水果成熟检测方法和系统
Satyasai et al. A gammatonegram based abnormality detection in PCG signals using CNN
CN114299993A (zh) 一种基于数据蒸馏的多枪声混合智能分类识别系统及方法
CN112201226A (zh) 一种发声方式判别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant