CN113984741A - 基于深度学习和声音信号液体识别系统及方法 - Google Patents

基于深度学习和声音信号液体识别系统及方法 Download PDF

Info

Publication number
CN113984741A
CN113984741A CN202111149838.3A CN202111149838A CN113984741A CN 113984741 A CN113984741 A CN 113984741A CN 202111149838 A CN202111149838 A CN 202111149838A CN 113984741 A CN113984741 A CN 113984741A
Authority
CN
China
Prior art keywords
liquid
deep learning
identification
data
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111149838.3A
Other languages
English (en)
Other versions
CN113984741B (zh
Inventor
房鼎益
邓文文
卫旭东
孙雪
陈晓江
许鹏飞
牛思莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN202111149838.3A priority Critical patent/CN113984741B/zh
Publication of CN113984741A publication Critical patent/CN113984741A/zh
Application granted granted Critical
Publication of CN113984741B publication Critical patent/CN113984741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Plasma & Fusion (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明是公开一种基于深度学习和声音信号的液体识别的系统,至少包括:待测液体及容器,还包括声学感知设备、无线传输系统、后端服务设备,其中声学感知设备用于采集至少包括扬声设备、声音收录设备以及声学模数转换设备;无线传输系统用于在数据采集设备和后端服务设备之间提供传输服务,实现无线感知;后端服务设备,用于支持液体分类和识别模块运行环境,对声学感知设备获取数据,利用液体声学传播特性进行数据处理,完成液体识别。本发明实现低成本、安全可靠、便携的液体识别系统,在位置相对固定的情况下,可以实现对20余种液体的区分。

Description

基于深度学习和声音信号液体识别系统及方法
技术领域
本发明属于无线感知液体材质识别的技术领域,特别涉及一种基于深度学习(DeepLearning,以下简称DL)以及声音信号液体识别方法及系统。
背景技术
近年来,液体测试引起了高度的研究关注,因为它可以用于检测水污染,掺假,饮料中的食品添加剂,以及使用尿液分析检测肾脏疾病。
现有的液体识别方法利用的是光信号和电磁信号。虽然这类方法准确性高,但是部分光信号如X-Ray对人的身体健康有影响、产生特定波段的红外线成本高昂。电磁信号如RFID的识别技术则需要额外的标签、利用探针进行识别通常分析设备体型大,不易携带还会侵入并污染液体。此外,电磁信号在识别电介质液体,比如可乐时会遇到反射的影响,导致识别不准确。声音作为普适广泛的无线信号能够很好的弥补以上缺陷。然而现有的利用声信号进行材质识别依然困难,一是液体的种类繁多复杂,很多液体之间的差异很小。二是,在回声信号中提取可以用于识别的无接触特征是困难的,这类特征往往有环境噪声以及多径的影响。
目前液体识别技术主要有三大类:分别是基于人体感知的、基于物理特性的、以及基于电化学特性的。
最传统的方式则是基于人体感知的液体识别方法,包括人体的视觉、味觉、以及嗅觉。视觉感知特点是利用液体的可见特征来区别两种,例如液体透明程度,液体的颜色。但是由于液体种类繁多复杂,两种不同的牛奶,或者两种不同的墨水之间这种可见特征差异很小无法区分,这种识别方式有很大的局限性,不能广泛应用。嗅觉和味觉特点则是利用液体的不可见特征,如液体的气味、酸、甜、苦、辣、咸,虽然有所改进,但带来了安全的问题,也不能有效区分。
基于物理特性的液体识别方法则是利用液体的物理学特点,例如声表面波传播速度,液体的浓度,沸点等物理特征来识别和分类。为了测得液体表面张力,需要产生震动形成明暗条纹图案,计算明暗条纹之间的像素获得液体表面张力,从而进行识别。或者专业的检测粘稠度的设备以及专业的人员。其不足之处,一是设备需要与容器或者溶液接触,会增加卫生安全隐患。二是在需要不断修改计算方式。三是容器限制、特殊的专业设备和特殊的专业人员不易获得。
基于电化学的方式实现的液体识别方法则是利用液体的电化学特点,直接分析其导电特性,化学反应从而识别液体。例如使用压电换能器这一设备通过模拟感觉器官,液体的味道区分不同液体。这种方式的主要缺陷在于,需要特殊的设备不能做到无处不在计算和大规模的广泛应用。
综上,现有的方法主要有以下三类问题:1.检测效果不好;2.需要专业的设备和人员;3.不易广泛普及使用;4.安全性不能保证。这些问题导致现有的液体时别方法,有较多的限制条件,带来不便和新的安全挑战。
发明内容
鉴于以上现有技术的缺点,本发明提供基于深度学习和声音信号液体识别方法及系统。该系统能够有效降低材质识别的成本。其次,其提高了安全性,减少浪费,合理范围内的声音信号不会对人体的健康产生损害,保障用户的健康。最后,该系统兼顾了便携性和用户的高可控性。
本发明在不污染液体,无线感知情况下实现液体的识别功能。
为了实现上述技术任务,本发明采用如下技术方案予以实现:
一种基于深度学习和声音信号的液体识别的系统,至少包括:待测液体及容器,还包括声学感知设备、无线传输系统、后端服务设备,其中声学感知设备用于采集至少包括扬声设备、声音收录设备以及声学模数转换设备;无线传输系统用于在数据采集设备和后端服务设备之间提供传输服务,实现无线感知;后端服务设备,用于支持液体分类和识别模块运行环境,对声学感知设备获取数据,利用液体声学传播特性进行数据处理,完成液体识别。
进一步地,本发明的整体基于深度学习和声音信号的液体识别的系统为可分离、可远程控制的感知系统。
进一步地,后端服务设备至少包括数据采集模块、数据处理模块、液体特征提取模块、液体分类和识别模块;所述的数据采集模块用于控制声学感知设备声波信号收发,收集经待测液体表面返回声波数据信息,并将采集到的数据以无线的形式发送给数据处理模块;数据处理模块用于对数据采集模块获取的数据进行清洗、去噪、分割;所述的液体特征提取模块基于液体声学传播特性,采用DASD特征及基于传递函数的特征进行液体特征提取;液体分类和识别模块利用深度学习网络模型,将液体特征提取模块结果对深度学习网络模型进行训练,得到液体识别类别、液体浓度含量,实现液体感知识别。
进一步地,深度学习网络模型至少包括5个CNN通过Bagging机制和Voting机制实现的集成模型,每个CNN均包括输入层,4个残差结构,输出层和监督优化器。
与此同时,本发明还公开了一种基于深度学习和声音信号的液体识别的方法,该方法包括如下步骤:
步骤1:通过声学感知设备,借助无线传输系统收集经待测液体表面返回声波数据信息;
步骤2:通过后端服务设备数据采集模块控制声学感知设备声波信号收发,利用数据处理模块对数据采集模块获取的数据进行清洗、去噪、分割;
步骤3:通过液体特征提取模块,利用液体声学传播特性,提取校准功率谱密度(DASD)液体特征及基于传递函数(TF)的液体特征;
步骤4:利用液体分类和识别模块的深度学习网络模型,将液体特征提取模块结果对深度学习网络模型进行训练,得到液体识别类别、液体浓度含量,实现液体感知识别。
所述的步骤1还包括确定声学感知设备数据传输的类型和频率范围。
所述的基于深度学习和声音信号的液体识别的方法,所述的液体特征提取模块中校准功率谱密度(DASD)液体特征提取方法如下:
首先R(t)表示由声音收录设备所接收的信号,可用如下余弦式表示,R(t)是由多条路径的回波信号叠加形成,公式中用符号∑表示,i表示多条不同路径,M表示不同路径数目,Ai表示第i条径路径的衰减系数,f表示第i条路径信号的频率,
Figure BDA0003286568870000041
表示第i条路径信号的相位,t表示时间刻度,π是圆周率常量:
Figure BDA0003286568870000042
其次,在计算DASD特征之前需要分别计算待测液体x和标准液体y的功率谱密度(ASD)特征,可通过如下公式计算:
ASD=FFT(R(t))
其中,ASD表示计算结果,FFT表示对接收信号R(t)做傅里叶变换。
以ASDy(R(t))表示计算标准液体y接受信号的ASD特征的结果,ASDx(R(t))表示计算待测液体x接收信号的ASD特征的结果;
最终,计算出待测液体x相对于标准液体y的DASD特征,用符号DASD(x,y)(f)表示:
DASD(x,y)(f)=ASDx(R(t))-ASDy(R(t))
所述的液体特征提取模块中基于传递函数(TF)的液体特征提取计算方法如下:
两个麦克风的接收信号声压之比称为传递函数H,可表示为
Figure BDA0003286568870000043
其中P1表示第一个麦克风的接收信号声压,P2表示第二个麦克风的接收信号声压,x1表示信号到麦克风1的路径长度,x2表示信号到麦克风2的路径长度,R表示材料吸收系数,j为虚数常量,k为常量,e为自然数常量。
x1,x2是两个麦克风的传播路径。传递函数H能反映液体反射R。虽然具体的传播路径(x1,x2)难以获得,但从传递函数计算式可知,可以从待测液体和标准液体的接收信号声压比值中,提取到能够表示液体反射系数R的特征。
具体来说,接收信号的声压pr可以表示为
pr(x,t)=poejwt(ejkx+Re-jkx)
其中po为声压幅值,w为声角频率,e表示自然数常量。其中x是路径的长度,k是波数,它与频率,声速,以及路径长度有关。R是液体反射率,可表示为,
Figure BDA0003286568870000051
其中Zair为空气声本征阻抗,Zliquid为液体声本征阻抗。因此,pr的变化受液体的固有阻抗,即液体的振动的影响分子和振动频率。
所述液体分类和识别模块的深度学习网络模型至少包括5个CNN通过Bagging机制和Voting机制实现的集成模型,每个CNN均包括输入层,4个残差结构,输出层和监督优化器;每个CNN通过Bagging机制获得各不相同、等大小、有重复的训练数据集,经过输入层传给深度神经网络,神经网络在经过4个残差结构进一步进行液体特征提取,在监督优化器的监督下优化权重参数,达到去除冗余,之后经过输出层,形成标签与所属类别概率之间的映射关系,最后将5个CNN的输出,通过Votting机制,将票数最多的结果作为最终结果输出。
进一步地看,所述的声学感知设备频率范围为10kHz-16kHz。
本发明与现有技术相比,具有以下有益效果:
1.能够以无线的形式实现液体的识别和分类,可以实现远程控制感知行为,无需侵入和污染待测液体,提高系统安全性。
2.无需额外的设备,利用现存具备计算能力的音频设备集成的声学硬件就可以对液体进行识别,减少液体识别的开销和成本,克服试验室场景的限制。
3.提取能够表示液体信息的关键特征的TF和DASD,利用CNN集成深度模型的方式,实现液体的识别和分类,可以提高系统的健壮性。
4.使用了早停机制,智能控制训练过程,可以及时停止,减少时间上的浪费。对于集成模型,动态的调整每个模型的训练轮数,灵活的同时还能减少人为参与。
附图说明
图1为本发明系统的构成图。
图2为本发明系统中后端服务设备的数据采集模块业务模块示意图。
图3为本发明系统中后端服务设备的数据处理模块业务模块示意图。
图4为本发明系统中后端服务设备的液体特征提取模块内部组成构成以及特征提取步骤和关系。
图5为本发明系统中,液体分类和识别模块的组成结构以及关系。
图6为本发明的方法的流程图。
图7为本发明系统中声学感知设备的信号的时频图谱。
图8为本发明系统液体分类和识别模块的深度学习网络模型训练中间过程的效果展示。
图9为本发明系统中,液体分类和识别模块的深度学习网络模型结构示意图。
图10为本发明系统,液体分类和识别模块的深度学习网络模型部分残差结构的构成图,其中一个残差块的构成要素,以及数据流动方向流程图。
图11为本发明系统,液体分类和识别模块的深度学习网络模型的具体配置参数示意图。
图12为本发明实验结果图,表示本发明能够识别20余种液体。
图13为本发明实验结果图,表示液体的识别精度、F1分数、召回率等评价指标
图14为本发明识别五种不同水源的结果图,表示本发明能够区别不同水质。
图15为本发明识别浓度的结果图,表示本发明能够从人工尿液中识别其中的蛋白含量以及准确度。
图16为本发明实验中不同体积的条件下,不同溶液的两种特征区分性情况。
图17为本发明实验中反射信号7个和300个频点及其差异大小情况。
图18为本发明实验中阐述选取多个频点作为特征提取对象的原因,表示仅观察某一频点数据,无法对液体进行区分。
图19为本发明实验中不同的手机位置对液体识别精度的影响情况。
图20为本发明实验在同一液体在不同浓度下的幅值具有高度相似性。
图21为本发明实验中集成模型所集成CNN的个数对识别精度的影响以及时间耗费的影响。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参见图1,一种基于深度学习和声音信号的液体识别的系统,至少包括:待测液体及容器,还包括声学感知设备、无线传输系统、后端服务设备,共同构成识别系统,每个模块之间联系紧密,各模块之间串行衔接。
其中声学感知设备用于采集至少包括扬声设备、声音收录设备以及声学模数转换设备。声音收录设备可以为麦克风等能够实现声音收录的声学设备。
无线传输系统用于在数据采集设备和后端服务设备之间提供传输服务,实现无线感知。后端服务设备,用于支持液体分类和识别模块运行环境,对声学感知设备获取数据,利用液体声学传播特性进行数据处理,完成液体识别。
后端服务设备至少包括数据采集模块、数据处理模块、液体特征提取模块、液体分类和识别模块;参见附图2,所述的数据采集模块用于控制声学感知设备声波信号收发,收集经待测液体表面返回声波数据信息,并将采集到的数据以无线的形式发送给数据处理模块。
参见附图3,数据处理模块用于对数据采集模块获取的数据进行清洗、去噪、分割,去除错误和无用数据,提供清洁和有代表性的数据,减少数据中存在的噪声和多径效应的影响,便于后续特征提取。
参见附图4,液体特征提取模块负责从清洁后数据中提取识别模块使用的特征信息,将数字信息转化表示成特征图的形式,以备识别模块的使用。液体特征提取模块基于液体声学传播特性,采用DASD特征及基于传递函数的特征进行液体特征提取。
参见附图5,液体分类和识别模块利用深度学习网络模型,将液体特征提取模块结果对深度学习网络模型进行训练,建立映射匹配机制,对输入特征进行回归分析,得到液体识别类别、液体浓度含量,实现液体感知识别。
参见附图5,液体分类和识别模块至少包括分类识别网络模型,回归分析网络模型两部分组成,用于感知液体的种类和浓度。
液体分类和识别模块的深度学习网络模型至少包括5个CNN通过Bagging机制和Voting机制实现的集成模型,每个CNN均包括输入层,4个残差结构,输出层和监督优化器。
参见附图6,本发明还给出基于深度学习和声音信号的液体识别的方法,所述的方法包括如下步骤:
步骤1,通过声学感知设备,借助无线传输系统收集经待测液体表面返回声波数据信息。
基于深度学习和声音信号的液体识别系统可以是无线的形式,远程控制声学感知设备包括扬声器、声音收集设备(麦克风)设备进入工作状态。在采集数据时,需将声学感知设备正对于容器,收到发送控制指令后,声学感知设备不间断的发送带有PN前导码的10kHz-16kHz的FMCW线性调频声波信号,参见附图7时频图谱所示。前导码在一次检测只出现一次,用于同步信号。每个FMCW线性调频声波信号以0.05秒为一个周期。声波经过液体的吸收,透射,容器反射和液面反射后,再回传到声学采集设备。采集信号时,采样率为48kHz,因此一个周期为2400个数据点。
步骤2:通过后端服务设备数据采集模块控制声学感知设备声波信号收发,利用数据处理模块对数据采集模块获取的数据进行清洗、去噪、分割。
后端服务设备数据采集模块控制声学感知设备收发回声波数据并进行保存并以周期分段。进一步将这些分段后的信息保存在.mat格式的文件中,完成数据的采集。
利用数据处理模块对数据采集模块获取的数据进行清洗、去噪、分割,该步骤如下,首先收集的原始数据,例如声学感知设备的麦克风慢启动,还没有开始工作,未能接收到数据,这样的数据整体都会滞后半个周期左右,部分数据不完全,这属于错误数据,对识别有很大影响,应舍弃或补全数据。
其次,通过对每组数据的观察发现,采集前期,数据噪声很大,变化非常明显,这种变化是由系统引起,并不适合用于识别。在数据平稳后,相邻周期之间的区别很小,含有的特征信息不足。基于以上的两个原因,采取消除直流分量,带通滤波,选取数据噪声较小、变化相较平稳的中间数据段,作为深度学习网络模型的训练数据集。
步骤3,通过液体特征提取模块,利用液体声学传播特性,提取校准功率谱密度(DASD)液体特征及基于传递函数(TF)的液体特征。
预处理之后的数据之间差异并不明显,不能直接用于识别,需要进一步的处理和特征提取,放大数据之间的差异性,便于识别模块捕获特征,实现正确分类。液体特征提取方法包括如下步骤:
1)去除环境噪声和多径影响。采用纯水作为标准液体,利用采集的20组纯水的数据,求出功率谱密度特征(ASD)的均值。ASD特征计算步骤如下:R(t)表示由声音收录设备所接收的信号,可用如下余弦式表示,R(t)是由多条路径的回波信号叠加形成,公式中用符号∑表示,i表示多条不同路径,M表示不同路径数目,Ai表示第i条径路径的衰减系数,f表示第i条路径信号的频率,
Figure BDA0003286568870000103
表示第i条路径信号的相位,t表示时间刻度,π是圆周率常量:
Figure BDA0003286568870000101
其次,在计算DASD特征之前需要分别计算待测液体x和标准液体y的功率谱密度(ASD)特征,可通过如下公式计算:
ASD=FFT(R(t))
其中,ASD表示计算结果,FFT表示对接收信号R(t)做傅里叶变换。
2)校准功率谱密度(DASD)特征提取。由于接收信号的幅值变化不仅受液体的影响,还受容器的影响,以及传播路径的长度的影响,如液体体积的变化,感知设备位置的变化。但是发现当容器和信号传播路径长度不变时,反射信号的振幅变化主要受液体的影响。同时,当发送信号经过两种不同液体的相同传播路径时,两种液体的ASD的微分(即DASD)可以消除与液体因素。在步骤1中计算分别计算标准液体和待测液体的ASD特征后,选取相同位置的300个关键频点,作为DASD特征。具体来说,对于同一传播路径和长度的两类液体x和y:以ASDy(R(t))表示计算标准液体y接受信号的ASD特征的结果,ASDx(R(t))表示计算待测液体x接收信号的ASD特征的结果,至此,可以计算出待测液体x相对于标准液体y的DASD特征,用符号DASD(x,y)(f)表示:
DASD(x,y)(f)=ASDx(R(t))-ASDy(R(t))
3)传递函数(TF)特征提取。由于仅依靠DASD特征在区分类似液体时是不准确的,无法利用单一DASD特征进行区分,因此加入了传递函数特征。两个麦克风的接收信号声压之比称为传递函数H,可表示为
Figure BDA0003286568870000102
其中P1表示第一个麦克风的接收信号声压,P2表示第二个麦克风的接收信号声压,x1表示信号到麦克风1的路径长度,x2表示信号到麦克风2的路径长度,R表示材料吸收系数,j为虚数常量,k为常量,e为自然数常量。
x1,x2是两个麦克风的传播路径。传递函数H能反映液体反射R。虽然具体的传播路径(x1,x2)难以获得,但从传递函数计算式可知,可以从待测液体和标准液体的接收信号声压比值中,提取到能够表示液体反射系数R的特征。
具体来说,接收信号的声压pr可以表示为
pr(x,t)=poejwt(ejkx+Re-jkx)
其中po为声压幅值,w为声角频率,e表示自然数常量。其中x是路径的长度,k是波数,它与频率,声速,以及路径长度有关。R是液体反射率,可表示为,
Figure BDA0003286568870000111
其中Zair为空气声本征阻抗,Zliquid为液体声本征阻抗。因此,pr的变化受液体的固有阻抗,即液体的振动的影响分子和振动频率。
基于以上特征提取步骤,本发明根据声学传播特性,设计了基于DASD的特征以及基于传递函数的特征来反映不同液体的特点,实现液体识别。
步骤4:利用液体分类和识别模块的深度学习网络模型,将液体特征提取模块结果对深度学习网络模型进行训练,得到液体识别类别、液体浓度含量,实现液体感知识别。
本发明识别模块主体是深度学习的卷积网络,它常用于图像处理,能够学习到图像的局部特征。因此将数值数据转换成图片数据,作为液体识别模块的输入。以图的形式表示数值数据,扩充了数据量,增加了可区分性。
具体在经过特征提取模块后,得到了2种特征,经过特征合成扩增数据维数,简单拼接组合形成一个合成特征图。合成后的数据用imagesc绘图形成特征图,作为识别模块的输入,分类结果作为模块的输出。最终识别特征图像参见附图8第一行所示。
液体识别模块深度学习网络模型结构如说明附图9所示,采用了4个残差结构,残差结构如说明附图10所示,每个结构有6层,包括2层保存大量训练参数的权重层、2层减少训练过拟合风险的正则化层,和2层增加模型的表达能力的激活函数层。然而,在实践环节,识别液体还需如下考虑:
第一,本发明采用CNN模型和集成模型的概念,将5个同质的CNN模型分别训练,构成一个集体,增加可信度与泛化能力,保证每个CNN之间的独立性。以解决单个模型,在分类上存在一定的偶然性,学习到了非关键的特征或泛化能力有限的问题。在数据采样时,采取Bagging采样的方式,将训练数据集打乱,有放回的抽出一个与训练集大小一致的数据集进行模型训练。如此,五个同质的CNN,既能保证每个所用的训练集不同,整体又能保证涵盖绝大部分数据。在集成时,将五个模型的预测值做一个Voting投票,采取众数的策略,增加预测的可信度。
第二,在方法选择上采用最大池化层,尽可能的保留纹理特征。图片数据的纹理就蕴含着识别信息,但平均池化层不能够很好的保留数据的纹理特征,可能会影响识别的效果,不利于模型学习和训练。
第三,本发明在构建模型过程中使用了Early Stopping技术,以解决人为干预训练导致的过早停止学习不够成分,不能提高精确度,或者过晚停止训练,学习到非液体自身的特征,识别精度低,以及过拟和的问题。当损失值降低到可以容忍的范围内,并且模型识别精度无明显提高,此时可以及时停止,减少时间上的浪费。对于集成模型,EarlyStopping技术动态的调整每个模型的训练轮数,能够减轻人工负担,提高灵活性。
在网络模型训练中,每个批次的图像个数为85,训练轮次为45次(由数据量决定),使用Adamax作为优化器,SparseCategoricalCrossEntropy作为损失函数,度量学习效果。最终确定的模型参数细节如说明附图11所示。
第四、本发明使用python软件工具库tensorflow的keras框架构建上述模型结构,并使用服务器进行模型的训练,再将训练好的模型文件,嵌入到Matlab服务端程序或者智能计算设备运行模型推断,得到结果输出。
并将最终的识别结果以文字和图像的方式呈现在用户界面上。
具体实验效果
为了体现本发明的便利性和普适性,实施例使用智能手机作为声音感知设备,PC作为后端服务设备,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。本实验应用中包括容器、PC、智能手机。容器用于盛放待测液体;手机中的麦克风和扬声器构成声学感知设备一组声信号收发节点;PC作为后端服务设备,配置信号,接收手机采集的信号用于分析。
手机通过局域网(即无线传输系统)接收来自服务端的信号配置(持续时间、频率范围等)信息,通过自带的扬声器设备,连续发送多个Chirp信号。发送节点近场为球面波,远场可视为平面波。手机自带有多个扬声器,可通过装载在手机端的App配置发送位置。
接收经过空气传播、液体吸收后的连续的回响信号。手机自带有多个麦克风,可通过装载在手机端的App配置接收位置。
云服务端接收回响信号,进行周期分段。将分段处理后的数据,进行声信号特征提取,用于残差卷积模型推断,并将结果发送给手机端,从而实现液体的识别。
具体的操作过程:启动手机App和服务端程序,通过无线传输网络建立连接,服务端控制手机扬声器发送声信号,手机麦克风记录回响信号,通过无线传输网络发送给服务端处理,云端进行滤波去噪等预处理操作,计算DASD和TF特征,并将其组合形成特征图像,通过训练好的模型进行分类,并将结果由无线传输网络发回到手机以展示结果,从而实现液体的识别。
1液体种类识别实验
实验通过基于深度学习以及声音信号液体识别方法及系统去识别不同类型的液体。为此采集了20种不同的饮料,有可口可乐,百事可乐,无糖百事可乐,两种果汁、全脂牛奶、脱脂牛奶、三种浓度(1%、5%、10%的酒精、盐、蔗糖溶液),以及四种不同品牌的咖啡。在识别过程中,使用500ml的标准玻璃量杯作为测试容器,将手机放置在量杯的中心位置去接收液体的反射数据。参见附图12以混淆矩阵的形式显示了识别结果。不同的行代表实际的液体,不同的列代表预测的结果。从附图12中,观察到基于深度学习以及声信号的液体识别方法及系统对不同液体的识别准确度达到97.9%以上。具体性能如附图13所示。可以看到系统的准确率大于98.1%,召回率和F1评分均在97%以上。
2不同种水源识别实验
通过基于深度学习以及声信号的液体识别方法及系统区分不同种水源。根据日常生活环境,比较了5种不同的水源:
1)矿泉水(从地下深处自然涌出的或者是经人工揭露的、未受污染的地下矿水;含有一定量的矿物盐、微量元素或二氧化碳气体)。
2)泉水(来自未受污染的山区,干净的天然饮用水)。
3)纯净水(将天然水经过多道工序处理、提纯和净化的水。经过多道工序后的纯净水除去了对人体有害的物质、部分矿物质元素,同时除去了细菌,因此可以直接饮用。)
4)另一种品牌的纯净水
5)自来水(自来水是指通过自来水处理厂净化、消毒后生产出来的符合相应标准的供人们生活、生产使用的水)。
绘制了不同水的探测结果。我们发现这五种水资源都有很强区别性,易于识别。参见附图14结果显示了可以使用基于深度学习以及声音信号液体识别方法及系统去检测不同类型的水源。
3蛋白质浓度的检测实验
本发明还希望通过本发明的系统及方法帮助患者在家里检测尿蛋白。由于尿液的物质很难控制,我们利用模拟尿液成分和pH值的人工尿液代替真实尿液。人工尿液是一种混合液,主要由钙等一系列物质组成,例如:氯化钠、氯化镁、硫酸钠、氯化钾等。在本实验中,利用人血清白蛋白而不是尿蛋白,因为人血清白蛋白和尿蛋白都属于人血清白蛋白和白蛋白有相似的物理性质1以评估溶液蛋白的可预测性浓度。对每种蛋白质溶液进行了10次独立实验。其结果如附图15所示,结果表明系统可以检测不同浓度的蛋白质,即使它们之间有微小的差异。从附图15可以看出,随着蛋白浓度的增加,识别准确率逐渐提高。
虽然在0.5mg/100ml下我们只能达到70.76%的准确率,但是当蛋白浓度增加到1mg/100ml时准确率可以达到92.3%以上。然而当尿液中的蛋白质浓度高于3mg/100mL时,说明患者它表明了患者有微量白蛋白尿的并发症。因此,这些结果表明可以利用本发明去检测肾脏疾病。
此外,实验对如下几个方面进行了验证:
参见附图16为本发明实验中不同体积的条件下,不同溶液的两种特征区分性情况。附图17为本发明实验中反射信号7个和300个频点及其差异大小情况。附图18为本发明实验中阐述选取多个频点作为特征提取对象的原因,表示仅观察某一频点数据,无法对液体进行区分。附图19为本发明实验中不同的手机位置对液体识别精度的影响情况。附图20为本发明实验在同一液体在不同浓度下的幅值具有高度相似性。附图21为本发明实验中集成模型所集成CNN的个数对识别精度的影响以及时间耗费的影响。
总之,本发明的有益效果在于:
1.能够以无线的形式实现液体的识别和分类,可以实现远程控制感知行为,无需侵入和污染待测液体,提高系统安全性。
2.无需额外的设备,利用现存具备计算能力的音频设备集成的声学硬件就可以对液体进行识别,减少液体识别的开销和成本,克服试验室场景的限制。
3.提取能够表示液体信息的关键特征的TF和DASD,利用CNN集成深度模型的方式,实现液体的识别和分类,可以提高系统的健壮性。
4.使用了早停机制,智能控制训练过程,可以及时停止,减少时间上的浪费。对于集成模型,动态的调整每个模型的训练轮数,灵活的同时还能减少人为参与。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习和声音信号的液体识别的系统,至少包括:待测液体及容器,其特征在于:还包括声学感知设备、无线传输系统、后端服务设备,其中声学感知设备用于采集至少包括扬声设备、声音收录设备以及声学模数转换设备;无线传输系统用于在数据采集设备和后端服务设备之间提供传输服务,实现无线感知;后端服务设备,用于支持液体分类和识别模块运行环境,对声学感知设备获取数据,利用液体声学传播特性进行数据处理,完成液体识别。
2.如权利要求1所述的基于深度学习和声音信号的液体识别的系统,其特征在于:后端服务设备至少包括数据采集模块、数据处理模块、液体特征提取模块、液体分类和识别模块;所述的数据采集模块用于控制声学感知设备声波信号收发,收集经待测液体表面返回声波数据信息,并将采集到的数据以无线的形式发送给数据处理模块;数据处理模块用于对数据采集模块获取的数据进行清洗、去噪、分割;所述的液体特征提取模块基于液体声学传播特性,采用基于校准功率谱密度特征及基于传递函数的特征进行液体特征提取;液体分类和识别模块利用深度学习网络模型,将液体特征提取模块结果对深度学习网络模型进行训练,得到液体识别类别、液体浓度含量,实现液体感知识别。
3.如权利要求1或2所述的基于深度学习和声音信号的液体识别的系统,其特征在于:所述的深度学习网络模型至少包括5个CNN通过Bagging机制和Voting机制实现的集成模型,每个CNN均包括输入层,4个残差结构,输出层和监督优化器。
4.如权利要求3所述的基于深度学习和声音信号的液体识别的系统,其特征在于:所述的声学感知设备至少包括一个声音发送设备以及一个声音收录设备。
5.一种利用权利要求1-4任意一项权利要求所述的装置实现基于深度学习和声音信号的液体识别的方法,其特征在于:所述的方法包括如下步骤:
步骤1:通过声学感知设备,借助无线传输系统收集经待测液体表面返回声波数据信息;
步骤2:通过后端服务设备数据采集模块控制声学感知设备声波信号收发,利用数据处理模块对数据采集模块获取的数据进行清洗、去噪、分割;
步骤3:通过液体特征提取模块,利用液体声学传播特性,提取基于校准功率谱密度液体特征及基于传递函数的液体特征;
步骤4:利用液体分类和识别模块的深度学习网络模型,将液体特征提取模块结果对深度学习网络模型进行训练,得到液体识别类别、液体浓度含量,实现液体感知识别。
6.如权利要求5所述的基于深度学习和声音信号的液体识别的方法,其特征在于:所述的步骤1还包括确定声学感知设备数据传输的类型和频率范围。
7.如权利要求5所述的基于深度学习和声音信号的液体识别的方法,其特征在于:所述的液体特征提取模块中基于校准功率谱密度液体特征提取方法如下:
计算出待测液体相对于标准液体的校准功率谱密度特征,用符号DASD(x,y)(f)表示:
DASD(x,y)(f)=ASDx(R(t))-ASDy(R(t))
其中ASDy(R(t))表示计算标准液体接受信号的功率谱密度特征的结果,ASDx(R(t))表示计算待测液体接收信号的功率谱密度特征的结果。
8.如权利要求5所述的基于深度学习和声音信号的液体识别的方法,其特征在于:所述的液体特征提取模块中基于传递函数的液体特征提取计算方法如下:
Figure FDA0003286568860000031
其中H表示两个声音收录装置的接收信号声压之比称为传递函数,P1表示第一个声音收录设备的接收信号声压,P2表示第二个声音收录的接收信号声压,x1表示信号到声音收录设备1的路径长度,x2表示信号到声音收录设备2的路径长度,R表示材料吸收系数,j为虚数常量,k为常量,e为自然数常量。
9.如权利要求5所述的基于深度学习和声音信号的液体识别的方法,其特征在于:所述液体分类和识别模块的深度学习网络模型至少包括5个CNN通过Bagging机制和Voting机制实现的集成模型,每个CNN均包括输入层,4个残差结构,输出层和监督优化器;每个CNN通过Bagging机制获得各不相同、等大小、有重复的训练数据集,经过输入层传给深度神经网络,神经网络在经过4个残差结构进一步进行液体特征提取,在监督优化器的监督下优化权重参数,达到去除冗余,之后经过输出层,形成标签与所属类别概率之间的映射关系,最后将5个CNN的输出,通过Voting机制,将票数最多的结果作为最终结果输出。
10.如权利要求5所述的基于深度学习和声音信号的液体识别的方法,其特征在于:所述的声学感知设备频率范围10kHz-16kHz。
CN202111149838.3A 2021-09-29 2021-09-29 基于深度学习和声音信号液体识别系统及方法 Active CN113984741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111149838.3A CN113984741B (zh) 2021-09-29 2021-09-29 基于深度学习和声音信号液体识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111149838.3A CN113984741B (zh) 2021-09-29 2021-09-29 基于深度学习和声音信号液体识别系统及方法

Publications (2)

Publication Number Publication Date
CN113984741A true CN113984741A (zh) 2022-01-28
CN113984741B CN113984741B (zh) 2024-07-12

Family

ID=79737206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111149838.3A Active CN113984741B (zh) 2021-09-29 2021-09-29 基于深度学习和声音信号液体识别系统及方法

Country Status (1)

Country Link
CN (1) CN113984741B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116773650A (zh) * 2023-06-19 2023-09-19 中南大学 基于耳机的材料检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109186752A (zh) * 2018-09-22 2019-01-11 天津大学 基于图形处理器的水下声学信号采集、传输和检测系统
CN111325095A (zh) * 2020-01-19 2020-06-23 西安科技大学 基于声波信号的设备健康状态智能检测方法和系统
CN111345841A (zh) * 2018-12-20 2020-06-30 深圳迈瑞生物医疗电子股份有限公司 一种尿流率测量方法、超声装置及计算机存储介质
US20200233397A1 (en) * 2019-01-23 2020-07-23 New York University System, method and computer-accessible medium for machine condition monitoring
CN111771042A (zh) * 2017-10-11 2020-10-13 英国石油勘探运作有限公司 使用声学频域特征来检测事件
CN112183185A (zh) * 2020-08-13 2021-01-05 天津大学 基于光流法和cnn-svm的液体泄漏检测方法
US20210199533A1 (en) * 2019-12-31 2021-07-01 Industrial Technology Research Institute Positioning method for specific sound source
CN113191479A (zh) * 2020-01-14 2021-07-30 华为技术有限公司 联合学习的方法、系统、节点及存储介质
KR20210098197A (ko) * 2020-01-31 2021-08-10 한림대학교 산학협력단 기계학습을 기반으로 하는 액체 속성 판별장치 및 이를 이용한 핸드폰

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111771042A (zh) * 2017-10-11 2020-10-13 英国石油勘探运作有限公司 使用声学频域特征来检测事件
CN109186752A (zh) * 2018-09-22 2019-01-11 天津大学 基于图形处理器的水下声学信号采集、传输和检测系统
CN111345841A (zh) * 2018-12-20 2020-06-30 深圳迈瑞生物医疗电子股份有限公司 一种尿流率测量方法、超声装置及计算机存储介质
US20200233397A1 (en) * 2019-01-23 2020-07-23 New York University System, method and computer-accessible medium for machine condition monitoring
US20210199533A1 (en) * 2019-12-31 2021-07-01 Industrial Technology Research Institute Positioning method for specific sound source
CN113191479A (zh) * 2020-01-14 2021-07-30 华为技术有限公司 联合学习的方法、系统、节点及存储介质
CN111325095A (zh) * 2020-01-19 2020-06-23 西安科技大学 基于声波信号的设备健康状态智能检测方法和系统
KR20210098197A (ko) * 2020-01-31 2021-08-10 한림대학교 산학협력단 기계학습을 기반으로 하는 액체 속성 판별장치 및 이를 이용한 핸드폰
CN112183185A (zh) * 2020-08-13 2021-01-05 天津大学 基于光流法和cnn-svm的液体泄漏检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116773650A (zh) * 2023-06-19 2023-09-19 中南大学 基于耳机的材料检测方法
CN116773650B (zh) * 2023-06-19 2024-02-23 中南大学 基于耳机的材料检测方法

Also Published As

Publication number Publication date
CN113984741B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN102866237A (zh) 一种基于视频识别的水质安全在线生物预警监测系统
CN113984741B (zh) 基于深度学习和声音信号液体识别系统及方法
Lester et al. Automatic classification of daily fluid intake
CN110456320A (zh) 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN109583295A (zh) 一种基于卷积神经网络的转辙机缺口自动检测方法
WO2021237958A1 (zh) 基于特征提取和神经网络的水声目标测距方法
CN112284619A (zh) 一种漏油实时监测装置和检测方法
Boittiaux et al. Eiffel Tower: A deep-sea underwater dataset for long-term visual localization
Barua et al. In situ digital holographic microscopy for rapid detection and monitoring of the harmful dinoflagellate, Karenia brevis
CN102707025B (zh) 一种湖库营养状态的智能判别系统
CN112198232A (zh) 一种排水管道工况检测和识别方法
CN101644771A (zh) 一种用于水生哺乳动物的声学监测系统及方法
CN106610401A (zh) 一种西瓜监测装置
CN117668648A (zh) 一种基于人工智能技术的宠物状态识别装置
MX2022011822A (es) Sistema y metodo para el monitoreo y modelado predictivo de analitos.
CN115859186B (zh) 基于格拉米角场的分布式光纤传感事件识别方法及系统
CN111257890A (zh) 一种跌倒行为识别方法及装置
CN116862885A (zh) 超声图像病变检测的分割引导去噪知识蒸馏方法及装置
CN100383552C (zh) 声学多普勒海流剖面仪的宽带信号处理方法
CN114414577A (zh) 一种基于太赫兹技术对塑料产品检测的方法及系统
CN112907660B (zh) 面向小样本的水下激光目标检测仪
CN115187815A (zh) 一种基于无线信号技术的尿布湿度检测方法
CN115219472A (zh) 一种定量识别混合水体多污染源的方法及系统
Wang et al. Seafloor classification based on deep-sea multibeam data—Application to the southwest Indian Ridge at 50.47° E
CN205788436U (zh) 基于磁性分布图像的纸币真伪识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant