CN110444230A - 一种基于音频技术的肉鸡呼吸道疾病自动识别装置 - Google Patents
一种基于音频技术的肉鸡呼吸道疾病自动识别装置 Download PDFInfo
- Publication number
- CN110444230A CN110444230A CN201910600724.2A CN201910600724A CN110444230A CN 110444230 A CN110444230 A CN 110444230A CN 201910600724 A CN201910600724 A CN 201910600724A CN 110444230 A CN110444230 A CN 110444230A
- Authority
- CN
- China
- Prior art keywords
- sound
- formula
- respiratory disease
- audiotechnica
- automatic identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000287828 Gallus gallus Species 0.000 title claims abstract description 84
- 235000013330 chicken meat Nutrition 0.000 title claims abstract description 37
- 208000023504 respiratory system disease Diseases 0.000 title claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 27
- 206010011224 Cough Diseases 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 16
- 206010041235 Snoring Diseases 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 206010064097 avian influenza Diseases 0.000 claims description 5
- 206010006451 bronchitis Diseases 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000001524 infective effect Effects 0.000 claims description 5
- 208000014085 Chronic respiratory disease Diseases 0.000 claims description 4
- 208000010359 Newcastle Disease Diseases 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 235000013372 meat Nutrition 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000000241 respiratory effect Effects 0.000 abstract description 8
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 3
- 230000005856 abnormality Effects 0.000 abstract description 2
- 230000008447 perception Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 8
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000009395 breeding Methods 0.000 description 4
- 230000001488 breeding effect Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 208000037656 Respiratory Sounds Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 206010037833 rales Diseases 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003612 virological effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003181 co-melting Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 235000013594 poultry meat Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/40—Animals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
- G10L2025/786—Adaptive threshold
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Pulmonology (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于音频技术的肉鸡呼吸道疾病自动识别装置，其特征在于它包括音频采集装置、传输装置、处理装置、预警装置，音频采集装置采集整个鸡舍的实时音频数据，音频数据基于传输装置输入处理装置，处理装置发送处理结果至预警装置。本装置对肉鸡呼吸道异常声音进行实时监测，多节点设计的群智感知方法可以保证数据来源的可靠性、完整性，wifi传输介质可以实现远程控制、灵活布局，web端软件可以实时、直观的反应肉鸡呼吸道异常声监测情况，方便鸡场管理人员及时发现异常并作出应对。
Description
技术领域
本发明涉及音频技术、无线传感网、数据转换、数据可视化、语音识别等技术领域，是多学科交叉共融的结果，是一种结合了音频技术的无线传感网在智慧农业领域的发明应用。
背景技术
目前，在国家政策的正确引导下，我国肉鸡养殖行业正处于蓬勃发展期，生产技术突飞猛进。据统计，我国鸡肉年总产量已超过1000万吨，仅次于美国，是世界第二大鸡肉生产国。因此，肉鸡的健康养殖将直接关系到整个社会的食品安全。
但是，在养殖企业的集约化生产过程中任存在着诸多亟待解决的问题。企业过分的追求利润，不断增大肉鸡饲养密集度，不愿投入资金改善肉鸡养殖环境，加上管理不善，致使鸡舍环境恶劣，出现大量病死鸡，其中呼吸道疾病是影响肉鸡生长的几类主要疾病之一。肉鸡在患有呼吸道疾病时，会出现咳嗽、甩鼻、打喷嚏等异常行为。现阶段判断肉鸡是否患有呼吸道疾病，主要是通过饲养员夜间巡舍时听音识别，这种方式不仅浪费人力，效率低下，而且存在较强的主观性，很容易形成错误判断，不能及时处理患病肉鸡。因此，本专利提出的基于音频技术的自动监测装置有更好的应用前景，是未来肉鸡养殖行业发展的趋势。
CN109243470A公开了一种基于音频技术的肉鸡咳嗽监测方法，位于采音室的拾音器将实时采集其发声信息，并通过数据线传输至音频存储单元保存；PC上位机定时读取存储单元里的音频数据，并对读取的音频数据进行预处理；通过人工选取音频中鸡只咳嗽状态的时间段，对时间段内的肉鸡咳嗽声数据进行特征提取，采用SVM分类器训练决策模型；肉鸡声音在经过模型分类后若识别为咳嗽且达到程序设定的预警值时，PC端将发出肉鸡异常警告。本发明通过对肉鸡的咳嗽声音进行分析实现肉鸡呼吸道疾病自动识别报警，为肉鸡呼吸系统疾病的早期发现及处理提供了自动化判断方法，一定意义上实现了肉鸡自动化养殖。
但是，根据动医专家研究，肉鸡在发生呼吸道疾病时，除了咳嗽声还伴有啰音(呼噜声)，该专利并未针对两种异常声音做出综合的研究，属不严谨、不准确。
发明内容
技术方案：
一种基于音频技术的肉鸡呼吸道疾病自动识别装置，它包括音频采集装置、传输装置、处理装置、预警装置，音频采集装置采集整个鸡舍的实时音频数据，音频数据基于传输装置输入处理装置，处理装置发送处理结果至预警装置；其中：处理装置执行以下步骤：
S1、筛选整理采集到的音频数据并分类标记：采用人工试听方法对样本辨别干扰声、肉鸡异常声音，并进行样本分类标记；其中，肉鸡异常声音包括肉鸡的呼噜声和咳嗽声；
S2、对采集到的音频数据进行预处理；
S3、采用基于小波变换的MFCC特征优化方法对预处理输出数据进行特征参数提取；
S4、分别建立干扰声、呼噜声、咳嗽声的隐马尔可夫HMM模型，分别对特征参数进行训练、识别，选择输出概率最大的模型对应的声音分类作为输出结果。
优选的，它还执行步骤S5、呼吸道疾病的预测：
I 5min内发出的异常声音数量为[0，50)次，判定肉鸡情况正常；
II 5min内发出的异常声音数量为[51，100)次，判定肉鸡患有慢性呼吸道疾病；
III 5min内发出的异常声音数量为[101，150)次，判定肉鸡患有传染性支气管炎；
IV 5min内发出的异常声音数量为[151，200)次，判定肉鸡患有新城疫；
V 5min内发出的异常声音数量为[201，+∞)次，判定肉鸡患有禽流感。
优选的，音频采集装置采用CC3200LP+CC3200BP套件组合成音频采集节点的形式进行音频数据采集，多个音频采集节点均匀分布在鸡舍环境内；音频录制参数为采样精度16 位、采样频率48KHz，保存格式wav；在鸡舍关灯的时间段内，进行音频数据采集。
优选的，传输装置为路由器建局域网进行无线传输。
优选的，S2中，所述预处理包括预加重、分帧加窗、滤波去噪、端点检测，具体的：
预加重：
使用数字滤波器实现预加重，预加重处理输入和输出的关系为：
H(z)＝1-αz-1,0.9≤α≤1.0
式中：α为预加重系数；
分帧加窗：
选用汉明窗，表达式如下：
式中：N为窗长；
滤波去噪：
采用改进后的MMSE谱减法进行去噪，得到最终的信号估计器为：
式中，表示增强后的声音信号；Y(ω)表示带噪语音信号，表示增强且平滑后的语音信号；μ为频谱下限常数，为0.12；
端点检测：
采用基于倒谱距离的端点检测算法，对于不同的信号S0(n)和S1(n)，倒谱距离dc表示为：
c0(n)和c1(n)分别对应S0(w)和S1(w)的倒谱系数；
然后逐帧计算dc值，并利用判决门限进行判断当前帧是否为有声帧，采用动态门限的方式进行判决，设定两个门限T1和T2：
Ti＝dcepsil×Ki，i＝1，2
式中：dcepsil为背景噪声倒谱距离的估计值，Ki分别为两个门限的系数，并且使K2＞K1，以保证T2大于T1，K1取1.5，K2取2.0；
采用自适应的方法对向量c0和dcepsil进行更新，更新方法如下：
c0＝γc0+(1-γ)c1
dcepsil＝γdcepsil+(1-γ)dc
式中：γ为更新系数，本文取0.9；同时为了防止截取声音段过长，减少误判的情况发生，设定有效声音段最大长度Lmax＝3630ms。
优选的，S3中，利用小波变换替换MFCC提取过程中的傅里叶变换，对帧数据进行顺序处理如下：离散小波变换、分层FFT、频率合成、Mei滤波、取对数、DCT，获得MFCC 特征；其中，离散小波变换通过下式进行：
式中：a0是尺度因子，b0是位移因子，ψ*(t)是小波函数的共轭形式。
选取贡献率高的MFCC特征分量并乘以对应的贡献率作为特征参数，贡献率使用Fisher 准则进行评价，Fisher准则的F比定义为：
式中：rFisher为特征分量的F比；σwithin为特征分量的类内离散度，即同一类声音特征分量方差的平均值；σbetween为类间离散度，即不同类声音分量均值的方差；其中，σwithin和σbetween通过下式获得：
式中：k为MFCC特征的维数；μk为所有声音类别的特征参数第k个分量的均值；为第i类声音特征参数第k维的均值；ni为第i类声音的样本数；c为声音类别数量；为第i个声音类别的第j个声音样本特征序列第k维分量，当rFisher越大时就说明该分量越适合当分类特征。
优选的，S4中，采用隐马尔可夫模型HMM对干扰声、呼噜声、咳嗽声进行训练、识别，训练时采用十折交叉验证的方法验证模型。
优选的，预警装置采用的是32位的ARM-JQ8900-16P语音模块，采样率为48KHz，该模块选用的是SOC方案，集成了一个专门针对音频解码的ADSP，采用硬解码的方式，更加保证了系统的稳定性和音质，能够根据PC端处理识别的结果，并结合疾病预测标准实现的语音播报预警功能。
本发明的有益效果
(1)本系统对肉鸡呼吸道异常声音进行实时监测，多节点设计的群智感知方法可以保证数据来源的可靠性、完整性，wifi传输介质可以实现远程控制、灵活布局，web端软件可以实时、直观的反应肉鸡呼吸道异常声监测情况，方便鸡场管理人员及时发现异常并作出应对。
(2)采用融合了MFCC特征参数两种优化方法的HMM模型，可以显著的提高肉鸡异常声音的识别率，进而判断出肉鸡的呼吸道疾病，提高肉鸡生产率。
(3)通过使用肉鸡呼吸道疾病自动监测系统，不仅节省人力成本，而且提高了识别效率，避免时有人为误判情况的发生，为肉鸡生产提供一种科学、准确的方法，促进智慧农业发展。
附图说明
图1为本发明的系统结构图
图2为倒谱提取流程图
图3为端点检测流程图
图4为WMFCC特征提取过程图
图5为HMM识别分类流程图
图6为实施例中WMFCC混合参数F比
图7为实施例中WMFCC混合参数CDF比
具体实施方式
下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：
结合图1，一种基于音频技术的肉鸡呼吸道疾病自动识别装置，它包括音频采集装置1 (采用CC3200LP+CC3200BP套件组合成音频采集节点，多个音频采集节点均匀分布在鸡舍环境内；音频录制参数为采样精度16位、采样频率48KH，保存格式wav)、传输装置2 (路由器建局域网进行无线传输)、处理装置3、预警装置4(32位的ARM-JQ8900-16P语音模块，采样率为48KHz，该模块选用的是SOC方案，集成了一个专门针对音频解码的 ADSP，采用硬解码的方式，更加保证了系统的稳定性和音质，能够根据PC端处理识别的结果，并结合疾病预测标准实现的语音播报预警功能)，音频采集装置1采集整个鸡舍的实时音频数据，音频数据基于传输装置2输入处理装置3，处理装置3发送处理结果至预警装置4；其中：处理装置3执行以下步骤：
S1、筛选整理采集到的音频数据并分类标记：采用人工试听方法对样本辨别干扰声、肉鸡异常声音，并进行样本分类标记；其中，肉鸡异常声音包括肉鸡的呼噜声和咳嗽声；
S2、对采集到的音频数据进行预处理；所述预处理包括预加重、分帧加窗、滤波去噪、端点检测。
本申请之所以采取频域分析，未选用时域分析，是因为：
时域分析包括短时能量Ei、TEO能量ETEO、短时平均过零率Zn三个声音信号时域特征，其中：
短时能量Ei通过下式获得：
式中，xi(n)为声音样本经分帧处理后的第i帧，n为声音帧的第n个点；N为一帧的长度；
TEO(TeagerEnergyOperator)能量也能很好地表征声信号幅度随时间的变化情况。Teager能量算子在连续域可以定义为信号x(t)的一阶和二阶导数的函数，即：
ψ[x(t)]＝(x′(t))2-x(t)x″(t)
短时平均过零率Zn通过下式获得：
式中，xn(m)表示第m帧声信号；sgn[x]是符号函数：
频域分析中：首先用离散傅里叶变换求得声信号的频谱，通过下式获得第m帧声信号频率范围fb至fe的功率Wm：
式中，fr为频率分辨率；Pi为频率i处的功率谱密度。
申请人研究5000Hz以下频谱图。分析结论为：鸣叫声(干扰声的一种)频率主要集中在400Hz和850Hz两处；咳嗽和呼噜声频率分布则是比较宽泛，在低于3000Hz部分都有分布。咳嗽声的频率峰值位于1300Hz处，整体分布驼峰状。呼噜声的频率峰值位于900Hz处，集中分布在600Hz至1700Hz部分。分析结果是：时域特征下不能很好的区分三种声音；而通过频域分析，发现干扰声、呼噜声、咳嗽声有着较大的差异，可以用来作区分。
在频域分析中，对采集到的音频数据进行预处理；所述预处理包括预加重、分帧加窗、滤波去噪、端点检测。
其中，滤波去噪方案的原理如下：
在采集肉鸡呼吸道异常声音过程中，因为通风设备、控温控湿设备的使用，使得采集到的音频数据中存在干扰信息，会对后续的端点检测、特征提取等工作造成影响，进而影响最终的识别率。因此需要进行滤波去噪的处理，减少声信号中的干扰频率波段。在众多语音增强的方法中，谱减法是最常用的方法，这种方法简单快速，实用性很强。不过传统的谱减法存在“音乐噪声”的缺点，因此使用改进后的MMSE谱减法，能够在均方误差意义下最优地选择减法参数。谱减法的基本公式为：
y(i)＝x(i)+n(i)
式中：y(i)为带噪音的声音；x(i)为噪声。对其进行傅里叶变换后得到的频域表示为：
Yω＝Xω+Nω
因为背景噪声为加性噪声，所以x(i)与n(i)相互独立，可得谱减法的通用形式：
式中：表示增强后的声音信号；Y(ω)表示带噪语音信号；为噪声估计谱。P 表示谱减法类型，为1时，表示幅度谱减法，为2时表示功率谱减法。MMSE谱减法通过计算最小化频谱的均方误差得到最优减法参数，进而得到纯净语音信号估计谱如下：
式中：δp对于给定的p为常数(p等于1/2/3时，δp分别对应0.2146/0.5/0.7055)；ξp(ω) 是先验信噪比，对应信号能量与噪声能量的比值，近似于：
式中：η为平滑系数(设为0.96)，为前一帧的增强谱。上式其实是对当前信噪比和过去信噪比的加权平均。为了防止对低能量有声段的过渡抑制，针对式3-15采用一个谱下限。通过对衰减后的带噪有声谱μY(ω)(0＜μ＜1)和前一帧增强且平滑后的语音谱进行平均，可以得到平滑的频谱下限：
若纯净语音信号估计谱增强后的频谱值小于μY(ω)，则将其设为得到最终的信号估计器为：
式中：μ为频谱下限常数，本文设为0.12。
端点检测方案的原理如下：
本设计中，在对声音进行预加重和分帧加窗后，进行端点检测。端点检测主要是用来准确定位一段音频数据中有声段的起始位和终止位，从而将剩余的大量无用干扰信息删除，以起到缩短后续信号处理时间、提高算法效率和准确率的作用。相比基于声音时域特征的短时能量、短时平均过零率的端点检测算法，本专利采用基于倒谱距离的端点检测算法。倒谱在定义上是对信号傅里叶变换后经过对数运算后再进行傅里叶反变换得到的谱，他的计算流程如图2所示。
由图2得到如下公式：
式中：c(n)表示倒谱系数，且c(n)＝c(-n)，为实数。其中：
根据Parseval定理，对于两个不同信号S0(n)和S1(n)，其倒谱距离表示为：
式中：c0(n)和c1(n)分别对应S0(w)和S1(w)的倒谱系数。上式可以近似为：
之后逐帧计算dc值，并利用判决门限进行判断当前帧是否为有声帧，采用动态门限的方式进行判决，设定两个门限T1和T2：
Ti＝dcepsil×Ki，i＝1，2
式中：dcepsil为背景噪声倒谱距离的估计值，Ki分别为两个门限的系数，并且使K2＞K1，以保证T2大于T1，本文经过多次实验K1取1.5，K2取2.0。同时因为背景噪声变化无规律，因此采用自适应的方法对向量c0和dcepsil进行更新，更新方法如下：
c0＝γc0+(1-γ)c1
dcepsil＝γdcepsil+(1-γ)dc
式中：γ为更新系数。同时为了防止截取声音段过长，减少误判的情况发生，设定有效声音段最大长度Lmax＝3630ms。确定有声段起点和终点的具体过程如图3所示。
S3、利用小波变换替换MFCC提取过程中的傅里叶变换。
传统的MFCC特征使用傅里叶变换对信号进行时频域转换，但是傅里叶本身是一种将信号当做稳定信号处理的方法，而声音信号是一种典型的非平稳信号，因此，使用傅里叶变换进行MFCC参数提取本身就是存在一定的缺陷的，其会使声音的细节特征模糊。
针对此MFCC特征的缺陷，本专利将从两个方面对MFCC特征进行优化、融合：
(一)是利用小波变换替换MFCC提取过程中的傅里叶变换，从提取方式上进行优化。将优化后的MFCC命名为WMFCC特征。
一维连续小波变换定义如下：
式中：a是尺度因子；b是位移因子，ψ(t)是小波函数，ψ∧*(t)是它的共轭形式。连续小波变换中a和b两个因子都是连续变换的，这是利用计算机无法做到的，因此在此基础上通过对这两个因子进行离散化处理即可得到离散小波变换，其定义为：
使用小波变换提取MFCC特征的过程如图4所示。
(二)是利用特征选择的方法选取贡献率高的特征分量作为特征参数，并将其乘以对应的贡献率，从而提高贡献率高的特征分量在分类时的重要性，降低贡献率低的特征分量的影响，以从排除冗余信息的角度对MFCC特征进行优化。
目前常使用Fisher准则评价MFCC特征各分量参数对模型分类识别的贡献率，Fisher准则的F比定义为：
式中：rFisher为特征分量的F比；σwithin为特征分量的类内离散度，即同一类声音特征分量方差的平均值；σbetween为类间离散度，即不同类声音分量均值的方差。σwithin和σbetween定义如下：
式中：k为MFCC特征的维数；μk为所有声音类别的特征参数第k个分量的均值；为第i类声音特征参数第k维的均值；ni为第i类声音的样本数；c为声音类别数量；为第i个声音类别的第j个声音样本特征序列第k维分量。当rFisher越大时就说明该分量越适合当分类特征。
CDF比定义为：
式中：D为相关距离，FFisher为特征分量的F比。
对本文声音样本的48维MFCC混合特征参数利用Fisher准则和基于相关距离的Fisher 准则分别计算F比和CDF比。
通过实验发现，小波变换优化MFCC参数在45维时获得最优的综合识别率，因此说明该特征具有很深的优化潜力。所以本文将两者结合起来，试验两者融合后改进的MFCC 参数对模型的优化能力。选用48维WMFCC特征进行测试。计算的每维特征分量的贡献率如图6-图7所示。
从图7可以发现，贡献率较高的特征分量主要集中在25维至32维。通过统计CDF比，仍然分别选取F比与CDF比前一半特征分量进行测试，试验结果如表4-8所示。
表4-8不同WMFCC混合特征的声音识别试验结果
Tab.4-8 Test results of different dimensions of WMFCC+WMFCC′+WMFCC″
通过表4-8，可以看出将两种识别方法融合使用时，识别率的提升非常理想。在使用 CDF比的24维WMFCC混合参数时相比48维WMFCC混合特征参数时有4.8％的识别率提升。在使用CDF比加权的WMFCC混合特征时总识别率最高，可以达到93.8％，对比48维 WMFCC特征，识别率提升了8.8％，对比WMFCC最优识别率提升6.6％，对比48维 MFCC特征参数，识别率提升了12.5％，对比MFCC最优识别率提升11.2％。这种识别率已经可以满足实际使用需要。
S4、结合图5，分别建立干扰声、呼噜声、咳嗽声的隐马尔可夫HMM模型，分别对MFCC特征参数进行训练(训练时采用十折交叉验证的方法验证模型)、识别，选择输出概率最大的模型对应的声音分类作为输出结果；
在对声信号进行特征提取后，需要对肉鸡呼吸道异常声音识别的HMM进行训练建模。在训练前需要确定声音隐状态数N，以及模型参数[A,B,π]初始化：根据先验知识将隐藏状态数设为5；HMM模型中的初始状态概率和状态转移矩阵的初始值对模型的训练影响不大，因此使用随机生成的非0数；参数B则使用高斯混合分布来描述，高斯分布数量为3，并使用训练数据的全局均值和方差对其进行初始化。
训练时使用十折交叉验证的方法验证模型，为咳嗽声、呼噜声和干扰声分别建立一个 HMM模型。对于一个待识别声音样本，肉鸡呼吸道异常声音识别的HMM模型的分类策略是通过计算模型得分来实现的，即判断当前输入声信号在各模型的输出概率，然后选择概率最大的模型作为分类结果。肉鸡呼吸道异常声音识别模型HMM识别分类流程如图5所示。
为了优化HMM模型对肉鸡咳嗽声、呼噜声、干扰声等三种异常声音的识别能力，本专利将基于小波变换优化的MFCC参数和基于特征加权优化的MFCC参数进行融合，可以显著提升识别效果。
S5、呼吸道疾病的预测：
常见的肉鸡呼吸道疾病分为细菌性疾病和病毒性疾病。其中，细菌性疾病中的慢性呼吸道疾病，病毒性疾病中的传染性支气管炎、新城疫、禽流感，病发症状皆有咳嗽声和呼噜声 (啰音)，而不同病发出异常声程度是不同的。
因此，本专利将根据肉鸡异常声发生的急促度(单位时间内发出的异常声次数，这里采用单位：次/min)来作为肉鸡是否患有某种呼吸道疾病预测的标准。为了准确反映肉鸡发出异常声的急促度，本专利将对5min内的异常声次数进行统计并取平均值，然后根据得到的平均每分钟发出异常声次数，也就是急促度，来预测肉鸡是否患有某种呼吸道疾病。最终，系统将根据预测判断的结果，进行语音播报提醒。优选的，报警装置采用的是32位的ARM-JQ8900-16P语音模块，采样率为48KHz,该模块选用的是SOC方案，集成了一个专门针对音频解码的ADSP，采用硬解码的方式，更加保证了系统的稳定性和音质，能够根据 PC端处理识别的结果，并结合疾病预测标准实现的语音播报预警功能。
具体的预测标准为：如果在5min内发出异常声(包括咳嗽声、呼噜声)的急促度低于 10次/分钟，则预测为情况正常；急促度在11～20次/分钟，则预测为慢性呼吸道疾病；急促度在21～30次/分钟，则预测为传染性支气管炎；急促度在31～40次/分钟，则预测为新城疫；急促度高于41次/分钟，则预测为禽流感。
最终得到结论为：
I 5min内发出的异常声音数量为[0，50)次，判定肉鸡情况正常；
II 5min内发出的异常声音数量为[51，100)次，判定肉鸡患有慢性呼吸道疾病；
III 5min内发出的异常声音数量为[101，150)次，判定肉鸡患有传染性支气管炎；
IV 5min内发出的异常声音数量为[151，200)次，判定肉鸡患有新城疫；
V 5min内发出的异常声音数量为[201，+∞)次，判定肉鸡患有禽流感。
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (8)
1.一种基于音频技术的肉鸡呼吸道疾病自动识别装置，其特征在于它包括音频采集装置、传输装置、处理装置、预警装置，音频采集装置采集整个鸡舍的实时音频数据，音频数据基于传输装置输入处理装置，处理装置发送处理结果至预警装置；其中：处理装置执行以下步骤：
S1、筛选整理采集到的音频数据并分类标记：采用人工试听方法对样本辨别干扰声、肉鸡异常声音，并进行样本分类标记；其中，肉鸡异常声音包括肉鸡的呼噜声和咳嗽声；
S2、对采集到的音频数据进行预处理；
S3、采用基于小波变换的MFCC特征优化方法对预处理输出数据进行特征参数提取；
S4、分别建立干扰声、呼噜声、咳嗽声的隐马尔可夫HMM模型，分别对特征参数进行训练、识别，选择输出概率最大的模型对应的声音分类作为输出结果。
2.根据权利要求1所述的一种基于音频技术的肉鸡呼吸道疾病自动识别装置，其特征在于它还执行步骤S5、呼吸道疾病的预测：
I5min内发出的异常声音数量为[0，50)次，判定肉鸡情况正常；
II5min内发出的异常声音数量为[51，100)次，判定肉鸡患有慢性呼吸道疾病；
III5min内发出的异常声音数量为[101，150)次，判定肉鸡患有传染性支气管炎；
IV5min内发出的异常声音数量为[151，200)次，判定肉鸡患有新城疫；
V5min内发出的异常声音数量为[201，+∞)次，判定肉鸡患有禽流感。
3.根据权利要求1所述的一种基于音频技术的肉鸡呼吸道疾病自动识别装置，其特征在于音频采集装置采用CC3200LP+CC3200BP套件组合成音频采集节点的形式进行音频数据采集，多个音频采集节点均匀分布在鸡舍环境内；音频录制参数为采样精度16位、采样频率48KHz，保存格式wav；在鸡舍关灯的时间段内，进行音频数据采集。
4.根据权利要求1所述的一种基于音频技术的肉鸡呼吸道疾病自动识别装置，其特征在于传输装置为路由器建局域网进行无线传输。
5.根据权利要求1所述的一种基于音频技术的肉鸡呼吸道疾病自动识别装置，其特征在于S2中，所述预处理包括预加重、分帧加窗、滤波去噪、端点检测，具体的：
预加重：
使用数字滤波器实现预加重，预加重处理输入和输出的关系为：
H(z)＝1-αz-1,0.9≤α≤1.0
式中：α为预加重系数；
分帧加窗：
选用汉明窗，表达式如下：
式中：N为窗长；
滤波去噪：
采用改进后的MMSE谱减法进行去噪，得到最终的信号估计器为：
式中，表示增强后的声音信号；Y(ω)表示带噪语音信号，表示增强且平滑后的语音信号；μ为频谱下限常数，为0.12；
端点检测：
采用基于倒谱距离的端点检测算法，对于不同的信号S0(n)和S1(n)，倒谱距离dc表示为：
c0(n)和c1(n)分别对应S0(w)和S1(w)的倒谱系数；
然后逐帧计算dc值，并利用判决门限进行判断当前帧是否为有声帧，采用动态门限的方式进行判决，设定两个门限T1和T2：
Ti＝dcepsil×Ki,i＝1,2
式中：dcepsil为背景噪声倒谱距离的估计值，Ki分别为两个门限的系数，并且使K2>K1，以保证T2大于T1，K1取1.5，K2取2.0；
采用自适应的方法对向量c0和dcepsil进行更新，更新方法如下：
c0＝γc0+(1-γ)c1
dcepsil＝γdcepsil+(1-γ)dc
式中：γ为更新系数。
6.根据权利要求1所述的一种基于音频技术的肉鸡呼吸道疾病自动识别装置，其特征在于S3中，利用小波变换替换MFCC提取过程中的傅里叶变换，对帧数据进行顺序处理如下：离散小波变换、分层FFT、频率合成、Mei滤波、取对数、DCT，获得MFCC特征；其中，离散小波变换通过下式进行：
式中：a0是尺度因子，b0是位移因子，ψ*(t)是小波函数的共轭形式。
选取贡献率高的MFCC特征分量并乘以对应的贡献率作为特征参数，贡献率使用Fisher准则进行评价，Fisher准则的F比定义为：
式中：rFisher为特征分量的F比；σwithin为特征分量的类内离散度，即同一类声音特征分量方差的平均值；σbetween为类间离散度，即不同类声音分量均值的方差；其中，σwithin和σbetween通过下式获得：
式中：k为MFCC特征的维数；μk为所有声音类别的特征参数第k个分量的均值；为第i类声音特征参数第k维的均值；ni为第i类声音的样本数；c为声音类别数量；为第i个声音类别的第j个声音样本特征序列第k维分量，当rFisher越大时就说明该分量越适合当分类特征。
7.根据权利要求1所述的一种基于音频技术的肉鸡呼吸道疾病自动识别装置，其特征在于S4中，采用隐马尔可夫模型HMM对干扰声、呼噜声、咳嗽声进行训练、识别，训练时采用十折交叉验证的方法验证模型。
8.根据权利要求1所述的一种基于音频技术的肉鸡呼吸道疾病自动识别装置，其特征在于预警装置采用的是32位的ARM-JQ8900-16P语音模块，采样率为48KHz，该模块选用的是SOC方案，集成了一个专门针对音频解码的ADSP，采用硬解码的方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910600724.2A CN110444230A (zh) | 2019-07-04 | 2019-07-04 | 一种基于音频技术的肉鸡呼吸道疾病自动识别装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910600724.2A CN110444230A (zh) | 2019-07-04 | 2019-07-04 | 一种基于音频技术的肉鸡呼吸道疾病自动识别装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110444230A true CN110444230A (zh) | 2019-11-12 |
Family
ID=68428616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910600724.2A Pending CN110444230A (zh) | 2019-07-04 | 2019-07-04 | 一种基于音频技术的肉鸡呼吸道疾病自动识别装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110444230A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028862A (zh) * | 2019-12-17 | 2020-04-17 | 北京海益同展信息科技有限公司 | 处理语音数据的方法、装置、计算机设备和存储介质 |
| CN112331231A (zh) * | 2020-11-24 | 2021-02-05 | 南京农业大学 | 基于音频技术的肉鸡采食量检测系统 |
| CN113456055A (zh) * | 2021-07-05 | 2021-10-01 | 自牧机器人(青岛)有限公司 | 一种基于人工智能的家禽呼吸道实时监测系统 |
| CN113870903A (zh) * | 2021-09-28 | 2021-12-31 | 平安科技（深圳）有限公司 | 病理语音的识别方法、装置、设备及存储介质 |
| CN117016430A (zh) * | 2023-09-22 | 2023-11-10 | 江苏省家禽科学研究所 | 一种基于智能监测的肉鸡养殖系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894551A (zh) * | 2010-07-02 | 2010-11-24 | 华南理工大学 | 一种咳嗽自动识别方法及装置 |
| CN102006824A (zh) * | 2008-04-16 | 2011-04-06 | 皇家飞利浦电子股份有限公司 | 用于睡眠/清醒状况估计的方法和系统 |
| US20110208521A1 (en) * | 2008-08-14 | 2011-08-25 | 21Ct, Inc. | Hidden Markov Model for Speech Processing with Training Method |
| WO2013179254A1 (en) * | 2012-05-31 | 2013-12-05 | Ben Gurion University Of The Negev Research And Development Authority | Apparatus and method for diagnosing sleep quality |
| CN103854662A (zh) * | 2014-03-04 | 2014-06-11 | 中国人民解放军总参谋部第六十三研究所 | 基于多域联合估计的自适应语音检测方法 |
| CN106847293A (zh) * | 2017-01-19 | 2017-06-13 | 内蒙古农业大学 | 设施养殖羊应激行为的声信号监测方法 |
| CN108207771A (zh) * | 2016-12-15 | 2018-06-29 | 宜宾市翠屏区远鹏养殖种植专业合作社 | 蛋鸡的饲养方法 |
| CN109243470A (zh) * | 2018-08-16 | 2019-01-18 | 南京农业大学 | 基于音频技术的肉鸡咳嗽监测方法 |
-
2019
- 2019-07-04 CN CN201910600724.2A patent/CN110444230A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102006824A (zh) * | 2008-04-16 | 2011-04-06 | 皇家飞利浦电子股份有限公司 | 用于睡眠/清醒状况估计的方法和系统 |
| US20110208521A1 (en) * | 2008-08-14 | 2011-08-25 | 21Ct, Inc. | Hidden Markov Model for Speech Processing with Training Method |
| CN101894551A (zh) * | 2010-07-02 | 2010-11-24 | 华南理工大学 | 一种咳嗽自动识别方法及装置 |
| WO2013179254A1 (en) * | 2012-05-31 | 2013-12-05 | Ben Gurion University Of The Negev Research And Development Authority | Apparatus and method for diagnosing sleep quality |
| CN103854662A (zh) * | 2014-03-04 | 2014-06-11 | 中国人民解放军总参谋部第六十三研究所 | 基于多域联合估计的自适应语音检测方法 |
| CN108207771A (zh) * | 2016-12-15 | 2018-06-29 | 宜宾市翠屏区远鹏养殖种植专业合作社 | 蛋鸡的饲养方法 |
| CN106847293A (zh) * | 2017-01-19 | 2017-06-13 | 内蒙古农业大学 | 设施养殖羊应激行为的声信号监测方法 |
| CN109243470A (zh) * | 2018-08-16 | 2019-01-18 | 南京农业大学 | 基于音频技术的肉鸡咳嗽监测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王博等: "基于倒谱距离的语音端点检测改进算法", 《空军工程大学学报》 * |
| 罗艾洲等: "《语音增强 理论与实践》", 31 December 2012, 成都：电子科技大学出版社 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028862A (zh) * | 2019-12-17 | 2020-04-17 | 北京海益同展信息科技有限公司 | 处理语音数据的方法、装置、计算机设备和存储介质 |
| CN111028862B (zh) * | 2019-12-17 | 2022-09-06 | 京东科技信息技术有限公司 | 处理语音数据的方法、装置、计算机设备和存储介质 |
| CN112331231A (zh) * | 2020-11-24 | 2021-02-05 | 南京农业大学 | 基于音频技术的肉鸡采食量检测系统 |
| CN112331231B (zh) * | 2020-11-24 | 2024-04-19 | 南京农业大学 | 基于音频技术的肉鸡采食量检测系统 |
| CN113456055A (zh) * | 2021-07-05 | 2021-10-01 | 自牧机器人(青岛)有限公司 | 一种基于人工智能的家禽呼吸道实时监测系统 |
| CN113870903A (zh) * | 2021-09-28 | 2021-12-31 | 平安科技（深圳）有限公司 | 病理语音的识别方法、装置、设备及存储介质 |
| CN117016430A (zh) * | 2023-09-22 | 2023-11-10 | 江苏省家禽科学研究所 | 一种基于智能监测的肉鸡养殖系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110444230A (zh) | 一种基于音频技术的肉鸡呼吸道疾病自动识别装置 | |
| CN109258509B (zh) | 一种生猪异常声音智能监测系统与方法 | |
| CN105118502B (zh) | 语音识别系统的端点检测方法及系统 | |
| CN105513605B (zh) | 手机麦克风的语音增强系统和语音增强方法 | |
| CN109243470B (zh) | 基于音频技术的肉鸡咳嗽监测方法 | |
| CN107393555B (zh) | 一种低信噪比异常声音信号的检测系统及检测方法 | |
| Jin et al. | A supervised learning approach to monaural segregation of reverberant speech | |
| CN106653032B (zh) | 低信噪比环境下基于多频带能量分布的动物声音检测方法 | |
| CN109034046B (zh) | 一种基于声学检测的电能表内异物自动识别方法 | |
| CN102623009B (zh) | 一种基于短时分析的异常情绪自动检测和提取方法和系统 | |
| CN109493874A (zh) | 一种基于卷积神经网络的生猪咳嗽声音识别方法 | |
| CN112164408A (zh) | 基于深度学习的猪咳嗽声监测与预警系统 | |
| CN103280220A (zh) | 一种实时的婴儿啼哭声识别方法 | |
| CN101976564A (zh) | 昆虫声音识别方法 | |
| CN104167207A (zh) | 一种基于变电站巡检机器人的设备声音识别方法 | |
| CN104795064A (zh) | 低信噪比声场景下声音事件的识别方法 | |
| CN105448291A (zh) | 基于语音的帕金森症检测方法及检测系统 | |
| CN109545191A (zh) | 一种歌曲中人声起始位置的实时检测方法 | |
| CN110189756A (zh) | 一种用于监测生猪异常声音的方法及系统 | |
| CN112331231B (zh) | 基于音频技术的肉鸡采食量检测系统 | |
| CN108694953A (zh) | 一种基于Mel子带参数化特征的鸟鸣自动识别方法 | |
| CN106558308A (zh) | 一种互联网音频数据质量自动打分系统及方法 | |
| CN109631104A (zh) | 油烟机的风量自动调节方法、装置、设备及存储介质 | |
| CN115410711B (zh) | 基于声音信号特征和随机森林的白羽肉鸡健康监测方法 | |
| CN111540368B (zh) | 一种稳健的鸟声提取方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |