CN113159210B - 物体剩余量检测模型训练方法、检测方法、系统及设备及存储介质 - Google Patents
物体剩余量检测模型训练方法、检测方法、系统及设备及存储介质 Download PDFInfo
- Publication number
- CN113159210B CN113159210B CN202110479383.5A CN202110479383A CN113159210B CN 113159210 B CN113159210 B CN 113159210B CN 202110479383 A CN202110479383 A CN 202110479383A CN 113159210 B CN113159210 B CN 113159210B
- Authority
- CN
- China
- Prior art keywords
- target object
- sound data
- residual
- residual amount
- container
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 166
- 238000012549 training Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000008569 process Effects 0.000 claims abstract description 9
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 26
- 239000012634 fragment Substances 0.000 claims description 25
- 230000001133 acceleration Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 18
- 230000005236 sound signal Effects 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000000540 analysis of variance Methods 0.000 claims 3
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 235000013336 milk Nutrition 0.000 description 21
- 239000008267 milk Substances 0.000 description 21
- 210000004080 milk Anatomy 0.000 description 21
- 230000006870 function Effects 0.000 description 7
- 239000007788 liquid Substances 0.000 description 7
- 238000004806 packaging method and process Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000009830 intercalation Methods 0.000 description 2
- 230000002687 intercalation Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 235000008939 whole milk Nutrition 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000001237 Raman spectrum Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种物体剩余量检测模型训练方法、检测方法、系统及设备及存储介质，属于物体剩余量检测技术领域。本发明通过将物体剩余量转换为多任务识别，进而可通过用户来采集基于用户采集的各个类别下的容器在晃动时的音频数据对用于检测目标物体的剩余量的检测模型进行训练，进而可以使得基于训练好的检测模型进行目标物体的剩余量的实时监测，用户只需要采集一段目标物体容器在晃动时的音频数据，则可基于该训练好的检测模型得到当前的物体剩余量检测结果，从而简化检测过程，对物体剩余量的检测的普适性高，能广泛适用于家庭用户，本发明可借助于手机实现对容器盛放的生活物品进行剩余量的检测，如牛奶、颗粒药物、果蔬汁等的剩余量检测。
Description
技术领域
本发明属于物体剩余量检测技术领域，具体涉及一种物体剩余量检测模型训练方法、检测方法、系统及设备及存储介质。
背景技术
物体剩余量检测是指检测盛放物体的容器中该物体的剩余量，其中容器带有容器口且能通过容器口盖进行封闭，而被检测的物体可以是液体、颗粒状物理(如药物)等。在现有技术中，可以基于物体的物理特性，通过专有的检测设备实现对物体剩余量的检测。例如对于液体的检测，所涉及的物理特性包括相对介电常数，拉曼光谱，X射线，表面张力等，在检测方式上，可以基于射频信号的变化来实现对容器中液体的剩余量的检测，其核心思想是通过检测射频信号的变化来间接检测液体，因为射频信号在穿过一些液体后会发生一定程度的变化，所以才能通过检测这些变化来检测不同的液体，一般这种射频信号包括射频识别RFID，超宽带UWB，信道状态信息CSI等。
即当前对物体剩余量的检测方式主要存在以下问题：
(1)需要部署额外设备，这对家庭用户的使用有一定的使用门槛；
(2)使用的检测设备普及性不足，不是大多数人所拥有的设备。
而随着移动终端的快速发展，有必要研究一种可借助于移动终端所携带的传感器(例如麦克风传感器)来实现对物体剩余量的检测。
发明内容
本发明实施例提供了一种物体剩余量检测模型训练方法、检测方法、系统及设备及存储介质，以提升物体剩余量检测的智能化和实时性。
一方面，本发明实施例提供了一种物体剩余量检测模型训练方法，包括：
对待检测的目标物体，将盛放目标物体的容器中的目标物体剩余量划分为多种剩余量类别，每种剩余量类别对应一个目标物体剩余量或者目标物体剩余量取值区间；
对每个剩余量类别，采集所述容器在晃动时的第一原始声音数据，所述第一原始声音数据的长度大于或等于预设的第一时长，且采集时的容器晃动幅度在预设的指定幅度范围内；
对各第一原始声音数据进行数据分割，获取多个声音数据片段，其中每个声音数据片段的长度相同；
对每个声音数据片段进行滤波处理，以去除环境噪音，将每个滤波处理后的声音数据片段作为一个样本数据，并基于该样本数据的类别设置样本标签；
采用多种音频信号特征提取方式，对每个样本数据进行特征提取，得到每个样本数据的N个特征，其中N为大于1的正整数；
对N个特征进行特征筛选处理，得到一组最优特征子集，基于最优特征子集得到每个样本数据的特征向量，即样本数据的特征向量由最优特征子集中所包括的特征所对应的特征值构成；
将样本数据的特征向量输入预设的物体剩余量检测模型执行模型参数训练，所述物体剩余量检测模型为基于机器学习的模型，且输出为当前输入特征向量的各剩余量类别概率的预测值。
在一种可能的实现方式中，对第一原始声音数据进行数据分割，获取多个声音数据片段具体为：在第一原始声音数据的中间部分截取多个长度相同且非重叠的声音数据片段。
一种可能的实现方式中，采用的音频信号特征提取方式包括：短时傅里叶变换，短时平均过零率，频谱质心，小波变换，梅尔频率倒谱系数和音符起始点检测；且在各音频信号特征提取方式中，提取的特征包括：均值、标准差、最大值、峰度、极大值均值和周期估计值。
在一种可能的实现方式中，特征筛选处理的具体方式包括但不限于：过滤法(Filter)、包装法(Wrapper)、嵌入法(Embedded)。
在一种可能的实现方式中，物体剩余量检测模型为基于支持向量机的模型或基于神经网络的模型。
另一方面，本发明实施例提供了一种物体剩余量的检测方法，包括：
步骤1：获取目标物体的剩余量检测器：
基于本发明实施例所提供的物体剩余量检测模型训练方法，对预设的物体剩余量检测模型进行训练，当满足预设的训练结束条件时，将训练好的物体剩余量检测模型作为目标物体的剩余量检测器；
步骤2：基于目标物体的剩余量检测器对目标物体的剩余量进行实时检测：
步骤201：采集目标物体的容器在晃动时的第二原始声音数据，其中所述第二原始声音数据的长度大于或等于预设的第二时长，且采集时的容器晃动幅度在预设的指定幅度范围内；
步骤202：从所述第二原始声音数据中提取至少一段长度与训练时的声音数据片段相同的数据片段作为待检测的声音数据片段，并对每个待检测的声音数据片段进行滤波处理，得到待检测信号序列；
步骤203：基于步骤1中确定的最优特征子集，提取待检测信号序列的特征向量，并输入目标物体的剩余量检测器；基于目标物体的剩余量检测器的输出确定目标物体的剩余量检测结果；
所述目标物体的剩余量检测结果为：
若待检测信号序列的数量为1，则将目标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别作为目标物体的剩余量检测结果；
若待检测信号序列的数量大于1，则首先确定各待检测信号序列的检测结果：标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别，再对多个待检测信号序列的检测结果的众数判决确定目标物体的剩余量检测结果。
此外，在本发明实施例提供的训练方法和检测方法中，最优特征子集可以是直接预设的，例如直接将最优特征子集设置为：短时傅里叶变换的均值、短时傅里叶变换的标准差、短时傅里叶变换的周期估计值、频谱质心的均值、频谱质心的标准差、频谱质心的最大值、小波变换的第三层小波变换细节系数的标准差、小波变换的第一层小波变换细节系数的周期估计值、小波变换的第三层小波变换细节系数的峰度、梅尔频率倒谱系数的均值、梅尔频率倒谱系数的最大值、梅尔频率倒谱系数的峰度、音频起始点检测的强度包络的周期估计值和音频起始点检测的强度包络的最大值。
在一种可能的实现方式中，所述采集时的容器晃动幅度在预设的指定幅度范围内的实现方式为：将采集终端和容器一起晃动，并基于采集终端内置的加速度传感器获取采集终端的当前加速度，当所述加速度在指定的加速度范围内时，则容器晃动幅度在预设的指定幅度范围内。
另一方面，本发明实施例提供了一种物体剩余量检测模型训练系统，包括用户终端和训练服务器；
所述用户终端用于设置待检测的目标物体的剩余量类别，并将类别设置结果上传至训练服务器，其中目标物体的剩余量类别为：将盛放目标物体的容器中的目标物体剩余量划分为多种类别，每种类别对应一个目标物体剩余量或者目标物体剩余量取值区间；
训练服务器向用户终端发起为每个剩余量类别采集样本数据的请求信息；
用户终端基于内置的麦克风传感器采集对应各剩余量类别时的目标物体的容器在晃动时的第一原始声音数据并上传至训练服务器；其中，所述第一原始声音数据不低于请求信息中所包括的第一时长，采集时的容器晃动幅度在预设的指定幅度范围内，每个剩余量类别对应多个第一原始声音数据；
训练服务器对接收的第一原始声音数据进行数据分割，获取多个声音数据片段，其中每个声音数据片段的长度相同；并对每个声音数据片段进行滤波处理，得到样本数据，基于所述样本数据对应的剩余量类别设置样本数据的类别标签，得到训练样本集；
训练服务器基于预设的最优特征子集，提取各训练样本的特征向量，将训练样本的特征向量输入预置的物体剩余量检测模型进行模型参数训练，所述物体剩余量检测模型为基于机器学习的模型，输出为当前输入特征向量的各剩余量类别概率的预测值。
另一方面，本发明实施例提供了一种物体剩余量检测系统，包括用户终端和检测服务器；
其中，用户终端基于内置的麦克风传感器采集目标物体的容器在晃动时的第二原始声音数据并上传至检测服务器，且采集时的容器晃动幅度在预设的指定幅度范围内；
检测服务器检测第二原始声音数据的长度(时长)是否大于或等于预设的第二时长，若否，则提示用户终端重新采集；若是，则从所述第二原始声音数据中提取至少一段长度为指定长度(与检测服务器中预置的目标物体的剩余量检测器在训练时的声音数据片段长度相同)的数据片段作为待检测的声音数据片段，并对每个待检测的声音数据片段进行滤波处理，得到待检测信号序列；
检测服务器提取待检测信号序列的特征向量并输入预置的目标物体的剩余量检测器中，基于目标物体的剩余量检测器的输出确定目标物体的剩余量检测结果并发送至用户终端；
其中，所述目标物体的剩余量检测结果为：
若待检测信号序列的数量为1，则将目标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别作为目标物体的剩余量检测结果；
若待检测信号序列的数量大于1，则首先确定各待检测信号序列的检测结果：标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别，再对多个待检测信号序列的检测结果的众数判决确定目标物体的剩余量检测结果。
另一方面，本发明实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现上述任一所述的训练方法或检测方法。
另一方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现上述任一所述的训练方法或检测方法。
本发明实施例提供的技术方案至少带来如下有益效果：
在本发明实施例中，通过将物体剩余量转换为多任务识别，进而可通过用户来采集基于用户采集的各个类别下的容器(盛放目标物体)在晃动时的音频数据对用于检测目标物体的剩余量的检测模型进行训练，进而可以使得基于训练好的检测模型进行目标物体的剩余量的实时监测，用户只需要采集一段目标物体容器在晃动时的音频数据，则可基于该训练好的检测模型得到当前的物体剩余量检测结果，从而简化检测过程，对物体剩余量的检测的普适性高，能广泛适用于家庭用户，例如用户基于带有麦克风传感器的终端(如手机)则可以实现对容器盛放的生活物品进行剩余量的检测，如瓶装(非透明)、桶装或盒装牛奶、瓶装(非透明)的颗粒药物、果蔬汁等等的剩余量检测。
本发明实施例中，在原始声音数据的中间部分截取多个长度相同且非重叠的声音数据，可以去除原始声音数据中开始和结尾部分的无效数据，且目标容器在晃动过程中，中间部分的晃动会较为稳定，进而提升得到的声音数据片段的稳定性，以进一步提升对剩余量检测的准确性。而基于特征的筛选所得到的最优特征子集可以进一步提升所提取的特征向量对剩余量的特征表达的准确性，进而提升对目标物体的剩余量检测的检测精度。
基于本发明的训练系统以及检测系统，用于可以基于训练训练实现对目标物体的剩余量检测模型的在线训练，进而可以实现满足用户需求的定制化的检测模型的训练。
基于本发明的检测系统，用户可以基于其携带的智能终端所采集的目标物体的容器在晃动时的音频数据并上传给检测服务器，检测服务器可以基于其所内置的对应目标物体的剩余量检测模型进行实时的检测并向用户反馈检测结果。即检测服务器中可内置多个不同物体的剩余量检测模型，以供用户选择。进一步的，结合本发明的训练系统和检测系统，用户也可以训练检测服务器中未设置的某个物体的检测模型，以实现对检测系统中所预置的剩余量检测模型的扩展。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中，信号极大值的示意图；
图2是本发明实施例中，信号的小波变换示意图；
图3是本发明实施例提供的一种物体剩余量检测模型训练方法的训练过程示意图；
图4是本发明实施例提供的一种物体剩余量检测模型训练系统的工作流程图；
图5是本发明实施例提供的一种一种物体剩余量检测系统的工作流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
为了便于理解，对本发明实施例中涉及的信号处理中的多个名词进行解释。
(1)均值：
其中，x1,x2,...,xn表示信号的n个离散点。
(2)标准差：
其中，
表示均值，即序列x1,x2,...,xn的均值。
(3)最大值：一组数据中的最大值。
(4)峰度：
即峰度(Kurtosis)是表征概率密度分布曲线在平均值处峰值高低的特征数，其中，
表示均值。
(5)极大值均值：波形中极大值的均值。
参见图1所示，图中虚线所处X轴位置为极大值对应的位置，因此，极大值的均值为虚线对应的Y值的均值。
(6)周期估计值：通过信号波形图来估计信号的周期
即周期预估值就是计算图1中的相邻虚线之间的X轴差值，最后再取其均值。
(7)短时傅里叶变换(STFT)：主要思想就是通过加窗操作，将信号分割成固定时间间隔的信号片段，然后在每个信号片段上再用傅里叶变换进行分析；
(8)短时平均过零率(ZCR)：通过加窗操作，将一个信号分割成固定时间间隔的信号片段，这样一段信号片段称之为帧，随后再计算每一帧信号的过零率。即信号经过计算ZCR之后得到一组随帧数变化的数据，其含义为每帧信号的过零率。
(9)频谱质心(CENT)：用于描述频谱特征的一个指标，即频谱中的质心所在位置。
计算频谱质心同样是基于滑动窗口，每一个窗口称为帧。将信号分成一帧一帧的，随后将每帧进行快速傅里叶变换计算频谱质心，其含义为每帧信号的频谱中的质心所在频率。
(10)小波变换(WT)：对信号通过离散小波变换将得到两个系数，一个为近似系数(cA)，另一个为细节系数(cD)。
本发明实施例中，对音频信号的小波变换处理的示意图如图2所示，所采用的进行的所有离散小波变换的小波函数为Haar小波，用于提取特征的小波变换细节系数cD3如图2所示，即图2中的cD表示第一层小波变换细节系数，cD2表示第二层小波变换细节系数，cD3表示第三层小波变换细节系数。
(11)梅尔频率倒谱系数(MFCC)：一组m x n的数据，其中m为帧数，n为返回梅尔频率倒谱系数的维度，一般取值为20。
为了方便提取特征，可将每列数据进行求和得到一组一维的数据，其含义为每帧信号的梅尔频率倒谱系数之和。
(12)音符起始点检测(ONSET)：基于信号中的频域能量获取能量谱，并基于能量谱进行起始点检测，获取基于起始点检测的强度包络。
本发明实施例提供了一种物体剩余量检测模型训练方法，请参考图3，该训练方法包括：
步骤S1：设置目标物体的剩余量类别：
对待检测的目标物体，将盛放目标物体的容器中的目标物体剩余量划分为多种剩余量类别，每种剩余量类别对应一个目标物体剩余量或者目标物体剩余量取值区间；
步骤S2：采集各剩余量类别的第一原始声音数据：
对每个剩余量类别，采集所述容器在晃动时的第一原始声音数据，所述第一原始声音数据的长度大于或等于预设的第一时长，采集时的容器晃动幅度在预设的指定幅度范围内；
步骤S3：设置训练样本：
对各第一原始声音数据进行数据分割，获取多个声音数据片段，其中每个声音数据片段的长度相同，将声音数据片段长度记为len；
对每个声音数据片段进行滤波处理，以去除声音数据片段种的环境噪音，将每个滤波处理后的声音数据片段作为一个样本数据，并基于该样本数据的类别设置样本标签；
步骤S4：设置最优特征子集：
采用多种音频信号特征提取方式，对每个样本数据进行特征提取，得到每个样本数据的N(N＞1)个特征；
对N个特征进行特征筛选处理，得到一组最优特征子集；
步骤S5：基于最优特征子集对样本进行特征提取：
基于最优特征子集得到每个样本数据的特征向量，即样本数据的特征向量由最优特征子集中所包括的特征所对应的特征值构成；
步骤S6：对目标物体的物体剩余量检测模型的模型参数进行机器学习：
将样本数据的特征向量输入预设的物体剩余量检测模型执行模型参数训练，所述物体剩余量检测模型为基于机器学习的模型，且输出为当前输入特征向量的各剩余量类别概率的预测值。
需要说明的是，在步骤S1中，设置目标物体的剩余量类别可以是容器内的剩余量的检测，也可以是对容器已倒出量的检测(即检测容器中的空气体积情况)。示例性的，以牛奶作为目标对象，容器为牛奶盒，检测的是容器已倒出牛奶量，以便于掌握用户的牛奶摄入情况。例如对于整盒奶量为1500ML的牛奶盒，将倒出牛奶量分为下述四个类别(即将整盒容量均分得到多个类别)：
I类：倒出牛奶容量为375ML的情况，此时牛奶盒中的空气体积为375ML，即在静置情况下，从牛奶盒的当前液体表明到牛奶盒顶之间的“空气柱”的体积为375ML，整盒牛奶剩余量为I类；
II类：倒出牛奶容量为750ML，牛奶盒中的“空气柱”的体积为750ML的情况，整盒牛奶剩余量为II类；
III类：倒出牛奶容量为1125ML，牛奶盒中的“空气柱”的体积为1125ML的情况，整盒牛奶剩余量为III类；
IV类：倒出牛奶容量为1500ML，牛奶盒中的“空气柱”的体积为1500ML的情况，整盒牛奶剩余量为IV类。
此外，在进行音频数据(第一或第二原始声音数据)采集时，为了更好的捕捉声音信号的特征以及符合实际需求，优选的采样率为44100Hz。并且，采集时的优选晃动方向为：左右晃动。
作为一种优选的方式，本发明实施例中，在获取原始音频数据的多个声音数据片段时，可将长度len设置为1秒，并且是从原始音频数据的中间点往两边进行分割。例如对于一个15秒左右的原始音频数据从中分割成8个1秒的数据，这样一来也能够去除原始数据中开始和结尾部分的无效数据。除此之外，取中间8个1秒的数据还有一个优点在于，目标容器在(左右)晃动过程中，中间部分的晃动会较为稳定，这样可以提高得到数据的稳定性。
需要说明的是，一般在频域分析中，往往需要获得特定频率区域的信号时，就需要用到低通滤波，高通滤波和带通滤波处理方法，本发明实施例中，对声音数据片段的滤波处理是为了去除其中的环境噪音，通常环境噪声主要是低频噪声，其频段在500Hz以下，因而本发明实施例可以采用高通滤波处理，即将过滤低于所设置的截止频率的信号频率，其中，优选的截止频率为600Hz。
一种可能的实现方式中，步骤S4中，提取的特征包括：
(1)短时傅里叶变换(STFT)的5个特征的特征名及其含义如下：
“stft_mean”：STFT的均值。
“stft_std”：STFT的标准差。
“stft_period”：STFT的周期估计值。
“stft_max_mean”：STFT的极大值均值。
“stft_kurtosis”：STFT的峰度。
(2)基于短时平均过零率(ZCR)的4个特征的特征名及其含义如下：
“zcr_mean”:ZCR的均值。
“zcr_std”:ZCR的标准差。
“zcr_max”:ZCR的最大值。
“zcr_kurtosis”:ZCR的峰度。
(3)基于频谱质心(CENT)的4个特征的特征名及其含义如下：
“cent_mean”:CENT的均值。
“cent_std”:CENT的标准差。
“cent_max_mean”:CENT的极大值均值。
“cent_max”:CENT的最大值。
(4)基于小波变换(WT)的5个特征的特征名及其含义如下：
“wt_mean”:cD3的均值。
“wt_std”:cD3的标准差。
“wt_period”:cD的周期估计值。
“wt_max_mean”:cD经过短时傅里叶变换之后的极大值均值。
“wt_kurtosis”:cD3的峰度。
(5)基于梅尔频率倒谱系数(MFCC)的4个特征的特征名及其含义如下：
“mfcc_mean”:MFCC的均值。
“mfcc_std”:MFCC的标准差。
“mfcc_max”:MFCC的最大值。
“mfcc_kurtosis”:MFCC的峰度。
(6)基于音符起始点检测(ONSET)的强度包络4个特征的特征名及其含义如下：
“onset_mean”:ONSET的均值。
“onset_period”:ONSET的周期估计值。
“onset_max”:ONSET的最大值。
“onset_number”:ONSET的非零值的数量。
本发明实施例中，设置最优特征子集可以直接设置，也可以通过特征筛选的方式进行设置，特征筛选是为了剔除一些不相关的特征和冗余特征，最终选出一组最优特征子集。
一般来说，特征筛选主要有三类方法。首先是过滤法(Filter)，即选择某种指标来对各个特征进行评分，例如方差，皮尔森相关系数，互信息等指标，然后设定一个阈值，根据每个特征的评分结果和阈值来进行筛选特征。其次是包装法(Wrapper)，其核心思想是迭代。包装法通过某种评价模型好坏的指标，例如准确率，召回率，F1分数等，根据模型结果和指标来不断的加入特征和剔除特征。其中应用较为广泛的是递归特征消除法(RFE)，它的核心思想就是多次训练一个模型，每次训练根据一定的指标来剔除一些特征，比如第一轮学习过程，RFE会将所有的特征用于训练模型，然后根据每个特征的系数或者是特征的重要度，剔除重要度小的特征，然后再将剩下的特征继续训练模型，如此不断重复训练下去，直至满足需求，得到效果最好的若干个特征。最后是嵌入法(Embedded)，一定程度上嵌入法包含了过滤法和包装法的优点。对于有些机器学习算法而言，模型对于每一个特征都有其贡献度，每次训练根据特征贡献度进行排序，剔除贡献度较低的特征。
本发明实施例中，通过三种方法进行特征筛选，其中两种方法是基于过滤法的，分别为通过特征方差和特征相关系数进行筛选，另外一种方法是基于包装法，为递归特征消除法。其中，特征相关性分析是对各个特征之间进行分析，从而衡量特征之间的相关密切程度。相关性分析有很多种方法，例如画图分析，计算协方差，相关系数，回归分析等，本发明实施例中采用皮尔森相关系数和互信息法。
以上上述所提取的26个初始特征所构成的初始特征集为例，本发明首先通过方差分析法剔除了9个方差小于1的特征，分别为：zcr_std，zcr_mean，zcr_max，wt_max_mean，stft_max_mean，cent_max_mean，stft_kurtosis，onset_mean，zcr_kurtosis；即首先将方差小于1从初始特征集中删除；然后，基于综合考虑皮尔森相关系数和互信息法剔除了1个特征，mfccs_std；最后通过递归特征消除法剔除了2个特征：onset_number，wt_mean。将剩余的14个特征作为本发明实施例的最优特征子集。
在一种可能的实现方式中，物体剩余量检测模型为基于支持向量机的模型或基于神经网络的模型。例如基于筛选后的14个特征训练生成一个用于牛奶剩余量检测的支持向量机模型，通过仿真验证显示该支持向量机模型其准确率达0.9240，F1分数为0.9208，AUC(Area Under Curve)值为0.9857。
在一种可能的实现方式中，本发明实施例提供了一种基于本发明的训练方法的物体剩余量的检测方法，包括：
步骤1：获取目标物体的剩余量检测器：
基于本发明实施例所提供的物体剩余量检测模型训练方法，对预设的物体剩余量检测模型进行训练，当满足预设的训练结束条件时，将训练好的物体剩余量检测模型作为目标物体的剩余量检测器；
其中，训练结束条件通常可以设置为检测准确度达到指定阈值，或者训练次数达到最大的次数。
步骤2：基于目标物体的剩余量检测器对目标物体的剩余量进行实时检测：
步骤201：采集目标物体的容器在晃动时的第二原始声音数据，其中所述第二原始声音数据的长度大于或等于预设的第二时长，且采集时的容器晃动幅度在预设的指定幅度范围内；即训练时和实时检测时的容器晃动幅度所对应的指定幅度范围相同，从而实现对训练和实时检测时所采集的原始声音数据的数据规范。
步骤202：从所述第二原始声音数据中提取至少一段长度为len的数据片段作为待检测的声音数据片段，并对每个待检测的声音数据片段进行滤波处理，得到待检测信号序列；
步骤203：基于最优特征子集，提取待检测信号序列的特征向量，并输入目标物体的剩余量检测器；基于目标物体的剩余量检测器的输出确定目标物体的剩余量检测结果；
所述目标物体的剩余量检测结果为：
若待检测信号序列的数量为1，则将目标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别作为目标物体的剩余量检测结果；
若待检测信号序列的数量大于1，则首先确定各待检测信号序列的检测结果：标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别，再对多个待检测信号序列的检测结果的众数判决确定目标物体的剩余量检测结果。
参见图4，本发明实施例还提供了一种物体剩余量检测模型训练系统，包括用户终端和训练服务器；
所述用户终端用于设置待检测的目标物体的剩余量类别，并将类别设置结果上传至训练服务器，其中目标物体的剩余量类别为：将盛放目标物体的容器中的目标物体剩余量划分为多种类别，每种类别对应一个目标物体剩余量或者目标物体剩余量取值区间；
训练服务器向用户终端发起为每个剩余量类别采集样本数据的请求信息；
用户终端基于内置的麦克风传感器采集对应各剩余量类别时的目标物体的容器在晃动时的第一原始声音数据并长传至训练服务器；其中，所述第一原始声音数据不低于请求信息中所包括的第一时长，采集时的容器晃动幅度在预设的指定幅度范围内，每个剩余量类别对应多个第一原始声音数据；
训练服务器对接收的第一原始声音数据进行数据分割，获取多个声音数据片段，其中每个声音数据片段的长度相同，均为len；并对每个声音数据片段进行滤波处理，得到样本数据，基于所述样本数据对应的剩余量类别设置样本数据的类别标签，得到训练样本集；
训练服务器基于预设的最优特征子集，提取各训练样本的特征向量，将训练样本的特征向量输入预置的物体剩余量检测模型进行模型参数训练，所述物体剩余量检测模型为基于机器学习的模型，输出为当前输入特征向量的各剩余量类别概率的预测值。
本发明实施例还提供了一种物体剩余量检测系统，包括用户终端和检测服务器；
其中，用户终端基于内置的麦克风传感器采集目标物体的容器在晃动时的第二原始声音数据并上传至检测服务器，采集时的容器晃动幅度在预设的指定幅度范围内；
检测服务器检测第二原始声音数据的长度(时长)是否大于或等于预设的第二时长，若否，则提示用户终端重新采集；若是，则从所述第二原始声音数据中提取至少一段长度为len的数据片段作为待检测的声音数据片段，并对每个待检测的声音数据片段进行滤波处理，得到待检测信号序列；
检测服务器提取待检测信号序列的特征向量并输入预置的目标物体的剩余量检测器中，基于目标物体的剩余量检测器的输出确定目标物体的剩余量检测结果并发送至用户终端；
其中，所述目标物体的剩余量检测结果为：
若待检测信号序列的数量为1，则将目标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别作为目标物体的剩余量检测结果；
若待检测信号序列的数量大于1，则首先确定各待检测信号序列的检测结果：目标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别，再对多个待检测信号序列的检测结果的众数判决确定目标物体的剩余量检测结果。
需要说明的是，本发明实施例中，训练服务器和检测服务器可以是同一服务器，例如该服务器包括两个处理设备，其中一个处理设备用于完成训练服务器的功能，并将训练好的目标物体的物体剩余量检测模型作为目标物体的剩余量检测器并发送至第二处理设备，或存入服务器的存储单元中，以供第二处理设备读取；第二处理设备用于完成检测服务器的功能，基于接收的获知从存储单元中读取对应目标物体的剩余量检测器进行实时的剩余量检测。
需要说明的是，采集时的容器晃动幅度在预设的指定幅度范围内可以借助于采集终端(用户终端)来实现：即将采集终端(用户终端)和容器一起晃动，并基于采集终端(用户终端)内置的加速度传感器获取采集终端的当前加速度，当所述加速度在指定的加速度范围内时，则容器晃动幅度在预设的指定幅度范围内。
示例性的，可基于采集终端(用户终端)中内置的性加速度计和陀螺仪的数据来实现晃动幅度的检测判定。其中，性加速度计用于获取采集终端的加速度信息，包括水平方向(X轴)的加速度、垂直方向(Y轴)的加速度和前进方向(Z轴)的加速度；而陀螺仪用于获取转向角速度，包括X轴、Y轴和Z轴的转向角速度，基于三轴的转向角速度的平方和再开方可以得到陀螺仪三轴数据的模。对应于上述优选的晃动方向为“左右晃动”，本示例中可基于线性加速度计的X轴确定部分的晃动姿势的，因为在左右晃动的情况下，晃动的激烈与否是可以通过X轴的加速度看出来的，晃动越激烈，X轴加速度越大。同时借助于螺仪三轴数据的模能有效地反映晃动牛奶正常姿势。即本实施例中，基于所对应的线性加速度计在容器晃动方向上加速度值和陀螺仪三轴数据的模来进行晃动幅度的检测判定：当线性加速度计在容器晃动方向上加速度值和陀螺仪三轴数据的模的峰值均在其指定范围内时，则认为采集时的容器晃动幅度在预设的指定幅度范围内。例如对于左右晃动方式，当线性加速度X轴的峰值的绝对值处于10与18之间，并且陀螺仪三轴数据的模的峰值处于4到8之间时，认为采集时的容器晃动幅度在预设的指定幅度范围内。即，线性加速度计在容器晃动方向上加速度值的峰值的绝对值的指定范围为[10，18]，陀螺仪三轴数据的模的峰值的指定范围为[4，8]。
需要说明的是，上述实施例提供的系统在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的系统与方法实施例属于同一构思，其具体实现过程详见方法实施例，此处不再赘述。
在一种可能实现方式中，用户终端是智能手机、平板电脑、笔记本电脑、智能音箱、智能手表等，但并不局限于此。服务器(训练服务器和检测服务器)可以是独立的服务器，也可以是多个服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据块、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。用户终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明在此不做限制。
本领域技术人员应能理解上述用户终端和服务平台仅为举例，其他现有的或今后可能出现的用户终端或服务平台如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行，以实现上述任一种训练方法或检测方法。
在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以实现上述任一种训练方法或检测方法。
在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROMD)、磁带和光数据存储设备等。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例方式并不代表与本发明相一致的所有实施方式。想法，它们仅是与如所附权利要求书中所详细的、本发明的一些方面相一致的装置和方法的例子。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (6)
1.一种物体剩余量检测模型训练方法，其特征在于，包括：
对待检测的目标物体，将盛放目标物体的容器中的目标物体剩余量划分为多种剩余量类别，每种剩余量类别对应一个目标物体剩余量或者目标物体剩余量取值区间；
对每个剩余量类别，通过采集终端内置的麦克风传感器采集所述容器在晃动时的第一原始声音数据，所述第一原始声音数据的长度大于或等于预设的第一时长，且采集时的容器晃动幅度在预设的指定幅度范围内；其中，采集时的容器晃动幅度在预设的指定幅度范围内的实现方式为：将采集终端和容器一起晃动，并基于采集终端内置的线性加速度计和陀螺仪的数据进行晃动幅度的检测判定：当线性加速度计在容器晃动方向上的加速度值和陀螺仪三轴数据的模的峰值均在其指定范围内时，则认为采集时的容器晃动幅度在预设的指定幅度范围内；
对各第一原始声音数据进行数据分割，获取多个声音数据片段：在第一原始声音数据的中间部分截取多个长度相同且非重叠的声音数据片段；其中，每个声音数据片段的长度相同；
对每个声音数据片段进行滤波处理，以去除环境噪音，将每个滤波处理后的声音数据片段作为一个样本数据，并基于该样本数据的类别设置样本标签；
采用多种音频信号特征提取方式，对每个样本数据进行特征提取，得到每个样本数据的N个特征，其中N为大于1的正整数；其中，采用的音频信号特征提取方式包括：短时傅里叶变换，短时平均过零率，频谱质心，小波变换，梅尔频率倒谱系数和音符起始点检测；且在各音频信号特征提取方式中，提取的特征包括：均值、标准差、最大值、峰度、极大值均值和周期估计值；
对N个特征进行特征筛选处理，得到一组最优特征子集，基于最优特征子集得到每个样本数据的特征向量，即样本数据的特征向量由最优特征子集中所包括的特征所对应的特征值构成；
将样本数据的特征向量输入预设的物体剩余量检测模型执行模型参数训练，所述物体剩余量检测模型为基于机器学习的模型，且输出为当前输入特征向量的各剩余量类别概率的预测值；
对N个特征进行特征筛选处理，得到一组最优特征子集具体为：首先通过方差分析法剔除方差小于1的特征，然后再基于皮尔森相关系数和互信息法对剩余的特征进行筛选，最后通过递归特征消除法进行特征筛选。
2.一种物体剩余量的检测方法，其特征在于，包括：
步骤1：获取目标物体的剩余量检测器：
基于权利要求1所述的物体剩余量检测模型训练方法，对预设的物体剩余量检测模型进行训练，当满足预设的训练结束条件时，将训练好的物体剩余量检测模型作为目标物体的剩余量检测器；
步骤2：基于目标物体的剩余量检测器对目标物体的剩余量进行实时检测：
步骤201：通过采集终端内置的麦克风传感器采集目标物体的容器在晃动时的第二原始声音数据，其中所述第二原始声音数据的长度大于或等于预设的第二时长，且采集时的容器晃动幅度在预设的指定幅度范围内；
步骤202：从所述第二原始声音数据中提取至少一段长度与训练时的第一原始声音数据的声音数据片段相同的数据片段作为待检测的声音数据片段，并对每个待检测的声音数据片段进行滤波处理，得到待检测信号序列；
步骤203：基于步骤1中确定的最优特征子集，提取待检测信号序列的特征向量，并输入目标物体的剩余量检测器；基于目标物体的剩余量检测器的输出确定目标物体的剩余量检测结果；
所述目标物体的剩余量检测结果为：
若待检测信号序列的数量为1，则将目标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别作为目标物体的剩余量检测结果；
若待检测信号序列的数量大于1，则首先确定各待检测信号序列的检测结果：目 标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别，再对多个待检测信号序列的检测结果的众数判决确定目标物体的剩余量检测结果。
3.一种物体剩余量检测模型训练系统，其特征在于，包括用户终端和训练服务器；
所述用户终端为移动终端，用于设置待检测的目标物体的剩余量类别，并将类别设置结果上传至训练服务器，其中目标物体的剩余量类别为：将盛放目标物体的容器中的目标物体剩余量划分为多种类别，每种类别对应一个目标物体剩余量或者目标物体剩余量取值区间；
训练服务器向用户终端发起为每个剩余量类别采集样本数据的请求信息；
用户终端基于内置的麦克风传感器采集对应各剩余量类别时的目标物体的容器在晃动时的第一原始声音数据并上传至训练服务器，所述第一原始声音数据不低于请求信息中所包括的第一时长，且采集时的容器晃动幅度在预设的指定幅度范围内，每个剩余量类别对应多个第一原始声音数据；其中，采集时的容器晃动幅度在预设的指定幅度范围内的实现方式为：将用户终端和容器一起晃动，并基于用户终端内置的线性加速度计和陀螺仪的数据进行晃动幅度的检测判定：当线性加速度计在容器晃动方向上的加速度值和陀螺仪三轴数据的模的峰值均在其指定范围内时，则认为采集时的容器晃动幅度在预设的指定幅度范围内；
训练服务器对接收的第一原始声音数据进行数据分割，获取多个声音数据片段，其中每个声音数据片段的长度相同；并对每个声音数据片段进行滤波处理，得到样本数据，基于所述样本数据对应的剩余量类别设置样本数据的类别标签，得到训练样本集；
训练服务器基于预设的最优特征子集，提取各训练样本的特征向量，将训练样本的特征向量输入预置的物体剩余量检测模型进行模型参数训练，所述物体剩余量检测模型为基于机器学习的模型，输出为当前输入特征向量的各剩余量类别概率的预测值；
其中，最优特征子集的获取方式为：
对N个特征进行特征筛选处理，得到一组最优特征子集具体为：首先通过方差分析法剔除方差小于1的特征，然后再基于皮尔森相关系数和互信息法对剩余的特征进行筛选，最后通过递归特征消除法进行特征筛选；
其中，N个特征为：采用多种音频信号特征提取方式，对每个样本数据进行特征提取，得到每个样本数据的N个特征，其中N为大于1的正整数；且所述音频信号特征提取方式包括：短时傅里叶变换，短时平均过零率，频谱质心，小波变换，梅尔频率倒谱系数和音符起始点检测；且在各音频信号特征提取方式中，提取的特征包括：均值、标准差、最大值、峰度、极大值均值和周期估计值。
4.一种物体剩余量检测系统，其特征在于，包括用户终端和检测服务器；
其中，用户终端基于内置的麦克风传感器采集目标物体的容器在晃动时的第二原始声音数据并上传至检测服务器，且采集时的容器晃动幅度在预设的指定幅度范围内；其中，采集时的容器晃动幅度在预设的指定幅度范围内的实现方式为：将用户终端和容器一起晃动，并基于用户终端内置的线性加速度计和陀螺仪的数据进行晃动幅度的检测判定：当线性加速度计在容器晃动方向上的加速度值和陀螺仪三轴数据的模的峰值均在其指定范围内时，则认为采集时的容器晃动幅度在预设的指定幅度范围内；
检测服务器检测第二原始声音数据的长度是否大于或等于预设的第二时长，若否，则提示用户终端重新采集；若是，则从所述第二原始声音数据中提取至少一段指定长度的数据片段作为待检测的声音数据片段；并对每个待检测的声音数据片段进行滤波处理，得到待检测信号序列；
检测服务器基于预设的最优特征子集，提取得到待检测片段 的特征向量，并输入目标物体的剩余量检测器；基于目标物体的剩余量检测器的输出确定目标物体的剩余量检测结果并发送至用户终端；
其中，所述目标物体的剩余量检测结果为：
若得到待检测片段 的数量为1，则将目标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别作为目标物体的剩余量检测结果；
若得到待检测信号序列断的数量大于1，则首先确定各待检测信号序列的检测结果：目标物体的剩余量检测器输出的各剩余量类别概率的预测值中的最大预测值所对应的剩余量类别，再对多个待检测信号序列的检测结果的众数判决确定目标物体的剩余量检测结果；
其中，最优特征子集的获取方式为：
对N个特征进行特征筛选处理，得到一组最优特征子集具体为：首先通过方差分析法剔除方差小于1的特征，然后再基于皮尔森相关系数和互信息法对剩余的特征进行筛选，最后通过递归特征消除法进行特征筛选；
其中，N个特征为：采用多种音频信号特征提取方式，对每个样本数据进行特征提取，得到每个样本数据的N个特征，其中N为大于1的正整数；且所述音频信号特征提取方式包括：短时傅里叶变换，短时平均过零率，频谱质心，小波变换，梅尔频率倒谱系数和音符起始点检测；且在各音频信号特征提取方式中，提取的特征包括：均值、标准差、最大值、峰度、极大值均值和周期估计值。
5.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如权利要求1至2任一所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现如权利要求1至2任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110479383.5A CN113159210B (zh) | 2021-04-30 | 2021-04-30 | 物体剩余量检测模型训练方法、检测方法、系统及设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110479383.5A CN113159210B (zh) | 2021-04-30 | 2021-04-30 | 物体剩余量检测模型训练方法、检测方法、系统及设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113159210A CN113159210A (zh) | 2021-07-23 |
| CN113159210B true CN113159210B (zh) | 2022-11-08 |
Family
ID=76872955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110479383.5A Expired - Fee Related CN113159210B (zh) | 2021-04-30 | 2021-04-30 | 物体剩余量检测模型训练方法、检测方法、系统及设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113159210B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810374A (zh) * | 2013-12-09 | 2014-05-21 | 中国矿业大学 | 一种基于mfcc特征提取的机器故障预测方法 |
| CN104597124A (zh) * | 2014-12-05 | 2015-05-06 | 广东省自动化研究所 | 一种基于声音频谱拟合的金属罐装产品质量在线检测方法 |
| WO2021026263A1 (en) * | 2019-08-05 | 2021-02-11 | Innerview Technologies Limited | Computer-implemented processing for non-destructive evaluation of wooden specimen |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016526471A (ja) * | 2013-07-12 | 2016-09-05 | オシラリ リミテッド ライアビリティ カンパニー | 音声に基づく薬物送達モニター |
| WO2017156459A1 (en) * | 2016-03-11 | 2017-09-14 | Magical By Design, Llc | Hydration container with liquid volume measurement |
| WO2019157208A1 (en) * | 2018-02-08 | 2019-08-15 | Optimist Inhaler LLC | Security features for an electronic metered-dose inhaler system |
| WO2019168108A1 (ja) * | 2018-03-02 | 2019-09-06 | ウミトロン ピーティーイー エルティーディー | 自動給餌支援装置、自動給餌支援方法、および記録媒体 |
| CA3104847A1 (en) * | 2018-06-27 | 2020-01-02 | Juul Labs, Inc. | Connected vaporizer device systems |
-
2021
- 2021-04-30 CN CN202110479383.5A patent/CN113159210B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810374A (zh) * | 2013-12-09 | 2014-05-21 | 中国矿业大学 | 一种基于mfcc特征提取的机器故障预测方法 |
| CN104597124A (zh) * | 2014-12-05 | 2015-05-06 | 广东省自动化研究所 | 一种基于声音频谱拟合的金属罐装产品质量在线检测方法 |
| WO2021026263A1 (en) * | 2019-08-05 | 2021-02-11 | Innerview Technologies Limited | Computer-implemented processing for non-destructive evaluation of wooden specimen |
Non-Patent Citations (2)
| Title |
|---|
| "Learning Audio Feedback for Estimating Amount and Flow of Granular Material";Samuel Clarke等;《Proceedings of The 2nd Conference on Robot Learning》;20181031;第529-550页 * |
| "Making Sense of Audio Vibration for Liquid Height Estimation in Robotic Pouring";Hongzhuo Liang等;《https://arxiv.org/abs/1903.00650》;20190721;第1-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113159210A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107928673B (zh) | 音频信号处理方法、装置、存储介质和计算机设备 | |
| CN101292280B (zh) | 导出音频输入信号的一个特征集的方法 | |
| CN102317770B (zh) | 用于对发声过程进行分类的方法和装置 | |
| Sawhney et al. | Situational awareness from environmental sounds | |
| US20160300579A1 (en) | Detecting distorted audio signals based on audio fingerprinting | |
| US20200265864A1 (en) | Segmentation-based feature extraction for acoustic scene classification | |
| US20090012638A1 (en) | Feature extraction for identification and classification of audio signals | |
| CN104887263B (zh) | 一种基于心音多维特征提取的身份识别算法及其系统 | |
| CN103280220A (zh) | 一种实时的婴儿啼哭声识别方法 | |
| Zeng et al. | Classifying watermelon ripeness by analysing acoustic signals using mobile devices | |
| CN107595249B (zh) | 基于脉搏波的怀孕女性筛查方法 | |
| CN109949823A (zh) | 一种基于dwpt-mfcc与gmm的车内异响识别方法 | |
| CN107507626A (zh) | 一种基于语音频谱融合特征的手机来源识别方法 | |
| You et al. | Novel feature extraction method for cough detection using NMF | |
| CN111208508A (zh) | 运动量测量方法、装置及电子设备 | |
| CN112985574B (zh) | 基于模型融合的光纤分布式声波传感信号高精度分类识别方法 | |
| US20210121125A1 (en) | Apparatus for estimating mental/neurological disease | |
| CN107582077A (zh) | 一种基于手机触摸行为的人体精神状态分析方法 | |
| CN109584904A (zh) | 应用于基础音乐视唱教育的视唱音频唱名识别建模方法 | |
| Ouattara et al. | Knn and svm classification for chainsaw identification in the forest areas | |
| CN113159210B (zh) | 物体剩余量检测模型训练方法、检测方法、系统及设备及存储介质 | |
| CN104036785A (zh) | 语音信号的处理方法和装置、以及语音信号的分析系统 | |
| WO2014162316A2 (en) | System and method for power effective participatory sensing | |
| CN115910381A (zh) | 一种心肺复苏操作流程的规范性确定方法及系统 | |
| CN107993666A (zh) | 语音识别方法、装置、计算机设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221108 |