CN113257277A - 刷牙行为监控方法、装置、设备、介质及芯片系统 - Google Patents

刷牙行为监控方法、装置、设备、介质及芯片系统 Download PDF

Info

Publication number
CN113257277A
CN113257277A CN202110516787.7A CN202110516787A CN113257277A CN 113257277 A CN113257277 A CN 113257277A CN 202110516787 A CN202110516787 A CN 202110516787A CN 113257277 A CN113257277 A CN 113257277A
Authority
CN
China
Prior art keywords
brushing
audio
user
feature extraction
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110516787.7A
Other languages
English (en)
Inventor
费成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202110516787.7A priority Critical patent/CN113257277A/zh
Publication of CN113257277A publication Critical patent/CN113257277A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Abstract

本发明提供了一种刷牙行为监控方法、装置、设备、介质及芯片系统，该方法可以应用于可穿戴设备，可穿戴设备采集用户刷牙时的音频信号和传感器数据，然后识别该音频信号和传感器数据，得到识别结果，根据该识别结果，确定用户的刷牙行为状态，当该刷牙状态不符合预设的行为规范时，发出提醒信息。该方法结合音频信号和传感器数据得到识别结果，并根据该识别结果确定当前的刷牙行为状态是否符合预设的行为规范，因此可以准确地识别用户的刷牙行为是否规范。

Description

刷牙行为监控方法、装置、设备、介质及芯片系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种刷牙行为监控方法、装置、设备、介质及芯片系统。
背景技术
刷牙是保护牙齿健康的一种重要的方法，同时刷牙质量对牙齿健康有着重要的影响。正确的刷牙可以帮助人们去除牙菌斑、软垢和食物残渣。然而随着社会的发展，人们生活节奏的加快，对牙齿的健康管理有着不同程度的忽视，这将导致口腔问题频繁出现，降低了人们的生活质量并提高了牙齿护理费用。
可见，养成良好的刷牙习惯在一定程度上可以帮助人们保持口腔清洁，这便对刷牙质量提出了一定的要求。虽然，部分高端电动牙刷可以通过内置传感器和软件对用户的刷牙质量进行评估，但由于其价格高昂，不便于大规模普及。
发明内容
本发明的目的在于提供一种刷牙行为监控方法、装置、设备、介质及芯片系统，用于准确识别用户的刷牙行为，提高用户刷牙的质量。
为实现上述目的，第一方面，本发明公开的刷牙行为监控方法，应用于可穿戴设备，包括：
可穿戴设备采集用户刷牙时的音频信号和传感器数据，可穿戴设备识别该音频信号和传感器数据，得到识别结果，根据该识别结果，可穿戴设备确定用户的刷牙行为状态，当该刷牙状态不符合预设的行为规范时，发出提醒信息。
本发明的有益效果在于：根据音频信号和传感器数据得到识别结果，并根据该识别结果确定当前的刷牙行为状态是否符合预设的行为规范，通过将音频信号和传感器数据结合的方式提高了刷牙行为不规范的识别率，有效的提高了用户刷牙的质量。
在一种可能的实现中，该方法还包括：接收用户的开启操作，响应与该开启操作，控制所述可穿戴设备开启刷牙检测模式；其中，所述刷牙检测模式下，音频采集器和传感器处于工作状态。
在一种可能的实现中，包括：响应于所述开启操作，开启计时器，所述计时器用于记录用户刷牙的时长。其有益效果在于：从而便于用户知道刷牙的时长，控制刷牙行为的时间。
在一种可能的实现中，该方法还包括：可穿戴设备接收用户的关闭操作；响应于所述关闭操作，控制所述可穿戴设备关闭所述刷牙检测模式；其中，在非所述刷牙检测模式下，所述音频采集器处于休眠状态。其有益效果在于：在非刷牙检测模式下，音频采集器处于休眠状态，减少了功率的消耗。
在一种可能的实现中，所述识别所述音频信号和所述传感器数据，得到识别结果包括，对音频信号进行特征提取，得到特征提取结果，将特征提取结果输入至深度置信网络模型，得到刷牙音频的分类结果，对传感器数据进行低通滤波处理，将处理好的传感器数据进行快速傅里叶变换，得到频域信号，根据频域信号，计算出用户手臂的摆动频率。根据识别结果，确定用户的刷牙行为状态，包括：根据刷牙音频的分类结果和摆动频率，确定用户的刷牙行为状态。其有益效果在于：根据刷牙音频的分类结果和摆动频率，提高了对用户刷牙行为的识别率。
在一种可能的实现中，当该刷牙行为状态不符合预设的行为规范时，发出提醒信息包括：当该刷牙音频的分类结果不符合设定的规范的音频分类范围，和/或该摆动频率不符合设定的摆动频率范围，发出提醒信号。
在一种可能的实现中，该特征提取结果是利用梅尔频率倒谱系数特征提取方法对该音频信号进行特征提取，得到低频音频特征。其有益效果在于：利用梅尔频率倒谱系数特征提取方法将人耳的听觉感知特性和语音的产生机制二者相结合，得到低频音频特征，更好的提取音频信号。
在一种可能的实现中，还包括：获取用户刷牙时的音频信号样本；预先利用梅尔频率倒谱系数特征提取方法对所述音频信号样本进行特征提取；将该音频信号样本的特征提取结果作为训练集输入至待训练的深度置信网络模型进行训练，得到该深度置信网络模型。
第二方面，本发明实施例提供一种刷牙行为监控的装置，包括采集模块，用于采集用户刷牙时的音频信号和传感器数据。处理模块，用于识别该音频信号和该传感器数据，得到识别结果，并根据所述识别结果，确定所述用户当前的刷牙行为状态，当所述刷牙行为状态不符合预设的行为规范时，发出提醒指令。
本发明的有益效果在于：结合音频信号和传感器数据得到识别结果，并根据该识别结果确定当前的刷牙行为状态是否符合预设的行为规范，通过将音频信号和传感器数据结合的方式大大提高了刷牙行为不规范的识别率。
在一种可能的实现中，还包括接收模块，该接收模块用于接收用户的开启操作。处理模块，用于响应于该开启操作，控制装置开启刷牙检测模式，其中，在刷牙检测模式下，音频采集器和传感器处于工作状态。
在一种可能的实现中，该处理模块，还用于响应于开启操作，开启计时器，该计时器用于记录用户刷牙的时长。其有益效果在于：便于监控用户刷牙的时长，控制刷牙行为的时间。
在一种可能的实现中，接收模块，还用于接收用户的关闭操作，处理模块，还用于响应于关闭操作，控制装置关闭刷牙检测模式。其中，在非刷牙检测模式下，音频采集器处于休眠状态。其有益效果在于：关闭操作下，音频采集器处于休眠状态，减少了装置功耗。
在一种可能的实现中，处理模块在识别该音频信号和该传感器数据，得到识别结果时，具体用于：对该音频信号进行特征提取，得到特征提取结果，将该特征提取结果输入至深度置信网络模型，得到刷牙音频的分类结果，对该传感器数据进行低通滤波处理，将处理好的传感器数据进行快速傅里叶变换，得到频域信号，根据频域信号，计算出用户手臂的摆动频率。根据该刷牙音频的分类结果和该摆动频率，确定用户当前的刷牙行为状态。
第三方面，本发明实施例提供一种可穿戴设备，包括存储器、处理器及存储在该存储器上并可在处理器上运行的计算机程序，该处理器执行该计算机程序时实现上述监控方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述监控方法的步骤。
第五方面，本发明实施例提供一种芯片系统，该芯片系统与存储器耦合，用于读取并执行该存储器中存储的程序指令，以实现如上述监控方法的步骤。
附图说明
图1为本发明的刷牙行为监控装置在检测模式下的流程图；
图2为深度置信网络模型的结构示意图；
图3为本发明的刷牙行为监控方法的流程示意图；
图4为本发明的刷牙行为监控方法的原理框图；
图5为本发明的刷牙行为监控装置的结构框图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
刷牙监控的目的，就是为了提醒人们在日常刷牙的过程中注意刷牙动作的规范，矫正刷牙时不规范动作。但是目前刷牙检测设备的缺点是检测误判较高，起到的刷牙监控的作用有限。
针对现有技术存在的问题，本发明的实施例提供了一种刷牙监控方法，应用于可穿戴设备，如图1所示，一方面，可穿戴设备中的音频采集器采集音频数据，并对音频数据进行识别，识别为刷牙声音；另一方面，可穿戴设备中的传感器采集传感器数据，并对传感器数据进行识别，识别为刷牙动作；最终可穿戴设备综合音频识别结果和传感器识别结果判断为刷牙状态，作出刷牙规范提醒。
本发明实施例中，对音频数据进行识别的方法主要依赖梅尔频率倒谱系数(mel-frequency cepstral coefficients，MFCC)特征提取方法和深度置信网络模型，下文先对深度置信网络模型的训练方法进行说明。具体的，可穿戴设备预先采集用户刷牙时的音频信号样本，并采用梅尔频率倒谱系数(mel-frequency cepstral coefficients，MFCC)特征提取方法对音频信号样本进行特征提取，然后将该音频信号样本的特征结果作为训练集输入至待训练的深度置信网络(deep belief networks，DBN)模型进行训练，尽可能的将特征结果中的特征信息保存，得到该DBN模型。
具体来说，采用MFCC特征提取方法对音频信号样本进行特征提取方法步骤具体包括：先使用音频采集器先获取一个连续的音频信号样本，为了更符合人耳的听觉特性，将音频信号样本中高频的音频信号过滤掉，只保留低频的音频信号。当然，也可以通过预加重提升音频信号的高频部分，使音频信号样本中的频谱变得平坦，保持在低频到高频的整个频带中，能用同样的信噪比求频谱。接着，为了方便对音频信号样本的分析，进行分帧处理，由于语音在长范围内是不停变动的，没有固定的特性无法处理，所以将每帧带入窗函数，窗外的值设定为0，其目的是消除各个帧两端可能会造成的信号不连续性。常用的窗函数有方窗、汉明窗和汉宁窗等，根据窗函数的频域特性，本实施例将分帧处理后的每一帧乘以汉明窗。
本发明实施例中，由于音频信号在时域上的变换通常很难看出信号的特性，所以通常将它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同语音的特性。所以在乘上汉明窗后，每帧还必须再经过快速傅里叶变换以得到音频信号样本中在频谱上的能量分布。对分帧加窗后的各帧的信号进行快速傅里叶变换得到各帧的频谱。并对音频信号样本的频谱取模平方得到语音信号的功率谱。接着将功率谱通过滤波器，可对频谱进行平滑化，并消除谐波。然后计算从滤波器组输出的对数能量，并将对数能量带入离散余弦变换计算得出MFCC系数，即完成对音频信号样本的特征提取。接着将音频信号样本的特征提取结果作为训练集输入至待训练的深度置信网络模型进行训练。
值得说明的是，参考图2所示，图2为深度置信网络结构示意图，深度置信网络是由若干层受限玻尔兹曼机201(restrictedboltzmann machine，RBM)和一层反向神经网络202(backpropagation，BP)组成。深度置信网络模型的过程中主要分为两步，第一步：预训练，DBN分别单独无监督地训练每一层RBM201层,具体过程为：首先对训练集引入特征提取，假设获得第一层RBM201的输入层V0，再根据输入层特征向量采用对比散度(contrastivedivergence，CD)算法计算RBM201的输出层H0。而在训练了第一层RBM201后，则将H0作为第二层RBM201的输入层，并按照训练第一层RBM201的方法对第二层RBM201进行训练，以此类推顺次展开全部的RBM201训练确保将训练集中的特征向量映射到不同特征空间，尽可能多的保留特征提取中的信息。
第二步：微调，在DBN的最后一层设置BP 202网络，接收RBM201的输出特征向量作为它的输入特征向量,有监督地训练实体关系分类器。而且每一层RBM 201网络只能确保自身层内的权值对该层特征向量映射达到最优，并不是对整个DBN的特征向量映射达到最优,所以反向传播网络还将错误信息自上向下传播至每一层RBM201，微调整个DBN网络。
通过上述的方式，即完成了将提取的音频信号样本进行刷牙行为规范和不规范的音频分类范围的划分，即形成对刷牙行为进行分类的深度置信网络模型。
如图3所示，图3为本发明实施例提供的一种刷牙行为监控的方法流程图，该方法包括：
S301：可穿戴设备采集用户刷牙时的音频信号和传感器数据。
本实施例中，传感器数据可以为在用户刷牙时可穿戴设备的传感器所检测到的加速度信息、重力信息等。用户刷牙时的音频信号可以指的是可穿戴设备的音频采集器所采集的声音。
S302：可穿戴设备识别音频信号和传感器数据，得到识别结果。
其中，一方面，可穿戴设备对该音频信号采用上述提到MFCC特征提取的方式进行声音的特征提取处理，从而得到特征提取结果，然后将特征提取结果输入至深度置信网络模型，得到刷牙音频的分类结果。另一方面，可穿戴设备对传感器数据进行低通滤波处理，将处理好的传感器数据进行快速傅里叶变换，得到频域信号；根据频域信号，计算出用户手臂的摆动频率。
S303：可穿戴设备根据识别结果，确定用户的刷牙行为状态。
具体来说，可穿戴设备可以根据刷牙音频的分类结果和摆动频率，确定用户的刷牙行为状态。示例性地，当刷牙音频的分类结果显示声音的频率为设定声音频率，且摆动频率满足设定摆动频率范围，示例性，设定摆动频率范围为0.5HZ-10HZ，则说明用户的刷牙行为状态为非常规范的行为，否则，若摆动频率过低则说明用户处于刷牙行动缓慢的行为状态。
S304：当刷牙行为状态不符合预设的行为规范时，可穿戴设备发出提醒信息。
在该步骤中，一种可能的实现方式是，当刷牙音频的分类结果不符合设定的规范的音频分类范围，发出提醒信号；当摆动频率不符合设定的摆动频率范围，发出提醒信号；当刷牙音频的分类结果不符合设定的规范的音频分类范围，和摆动频率不符合设定的摆动频率范围，发出提醒信号。示例性地，当刷牙行为状态不符合预设的行为规范时，可穿戴设备可以通过扬声器发出语音提醒，或者通过接近光传感器进行灯光闪烁，又或者可穿戴设备可以控制马达进行振动提醒，从而提醒用户纠正刷牙行为。
在一种可能的实施例中，可穿戴设备可以预设刷牙开关模式，当接收到来自用户的开启操作时，响应于该开启操作，可穿戴设备开启刷牙检测模式。可以理解的是，在刷牙检测模式下，用于采集音频信号的音频采集器和用于收集传感器数据的传感器处于工作状态。可选的，可穿戴设备还可以在启动刷牙检测模式时，同时开启计时器，开启计时器可以用于记录用户刷牙的时长，最终用于提醒用户刷牙时长是否达到规范时长。
在另一种可能的实施例中，可穿戴设备接收用户的关闭操作，响应于该关闭操作，可穿戴设备关闭刷牙检测模式。因可穿戴设备关闭了刷牙检测模式，所以可避免穿戴设备始终打开音频采集器(如麦克风)采集声音而引起的功耗增加。在非刷牙检测模式下，音频采集器处于休眠状态，从而可以节省可穿戴设备电量，提高了可穿戴设备的使用时长。
本申请进一步结合图4所示的刷牙行为监控方法的原理框图，对刷牙行为监控方法的过程进行阐述,参考图4所示，监控方法包括以下步骤：
S400：可穿戴设备接收用户的开启操作，可穿戴设备开启刷牙检测模式。
可以理解的是，可穿戴设备在接收到用户开启操作时，才开启刷牙检测模式，此时音频采集器和传感器处于工作状态。需要说明的是，在非刷牙检测模式下，音频采集器为休眠状态，从而节省了可穿戴设备的功耗。
S401：可穿戴设备采集用户刷牙时的音频信号。
此时进行刷牙时音频信号的采集，同时传感器进行传感器数据的采集，在本实施例中，传感器采集的是刷牙时的加速度。
S402：可穿戴设备对音频信号进行特征提取，得到特征提取结果。
在本实施例中，采用MFCC特征提取方法对音频信号进行特征提取，得到特征提取结果。
S403：可穿戴设备将特征提取结果输入至深度置信网络模型，得到分类结果。通过MFCC特征提取的方法将特征提取结果再输入至深度置信网络模型中，进行预训练、微调直至得到分类结果，其中，分类结果按照音频信号划分出规范刷牙行为和不规范刷牙行为。
S404：可穿戴设备采集用户刷牙时的传感器数据。
需要说明的是，在本实施例中传感器数据为加速度。具体的，可包括重力加速度或摆动时的加速度。
S405：可穿戴设备对传感器数据进行低通滤波处理，将处理好的传感器数据进行快速傅里叶变换，得到频域信号，根据频域信号，计算出用户手臂的摆动频率。
此时，即完成了音频信号与传感器数据的采集和处理的过程。
S406：可穿戴设备刷牙行为识别，得到识别结果。
可穿戴设备根据分类结果和摆动频率，确定用户的刷牙行为状态，并根据刷牙行为状态得到识别的结果。
S407：可穿戴设备根据识别结果，判断用户当前刷牙的行为状态当刷牙行为状态不符合预设的行为规范时，发出提醒信息。
其中，识别结果包括：当刷牙时收集的音频信号的分类结果不符合设定的规范的音频分类范围，或摆动频率不符合设定的摆动频率范围，或音频信号的分类结果不符合设定的规范的音频分类范围和摆动频率不符合设定的摆动频率范围时，发出提醒信号，其中预先设定的摆动幅度范围在0.5HZ-10HZ。
S408：可穿戴设备启动计时器，计时器用于记录用户刷牙的时长。从进行刷牙检测模式开始，计时器即开始进行计时，用于监控用户的刷牙时间。
在本发明公开的另一个实施例中，一种刷牙行为监控的装置，参考图5所示，需要说明的是，在本实施例中，该装置为可穿戴设备。该装置包括：采集模块502用于采集用户刷牙时的音频信号和传感器数据。处理模块503，用于识别音频信号和传感器数据，并得到识别结果，然后处理模块503根据识别结果确定用户当前的刷牙行为状态，当刷牙行为状态不符合预设的行为规范时，发出提醒指令。
在另一种可能的实施例中，该装置还包括接收模块501，接收模块501用于接收用户的开启操作。处理模块503响应于开启操作，控制装置开启刷牙检测模式，其中，在刷牙检测模式下，音频采集器和传感器处于工作状态，用于获取音频信号和传感器数据。并且，处理模块503响应于开启操作，开启计时器，通过计时器记录用户的刷牙时长，便于监控用户的刷牙时长。
当接收模块501接收到用户的关闭操作时，处理模块503响应于关闭操作，控制装置关闭刷牙检测模式，在非刷牙检测模式下，音频采集器处于休眠状态。
其中，处理模块503识别音频信号和传感器数据，得到识别结果时，具体用于对音频信号进行特征提取，并得到特征提取结果，然后将特征提取结果输入至深度置信网络模型，先进行预训练，然后微调得到刷牙音频的分类结果。于此同时的，处理模块503对传感器数据进行低通滤波处理，将处理好的传感器数据进行快速傅里叶变换，得到频域信号，根据频域信号，处理模块503计算出用户手臂的摆动频率，最后根据刷牙音频的分类结果和摆动频率，确定出用户当前的刷牙行为状态。当判断出刷牙行为状态不符合预设的行为规范时，发出提醒指令告诉用户，用于提醒用户刷牙动作的纠正。
虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (16)

1.一种刷牙行为监控方法，应用于可穿戴设备，其特征在于，包括：
采集用户刷牙时的音频信号和传感器数据；
识别所述音频信号和所述传感器数据，得到识别结果；
根据所述识别结果，确定所述用户的刷牙行为状态；
当所述刷牙行为状态不符合预设的行为规范时，发出提醒信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收用户的开启操作；
响应于所述开启操作，控制所述可穿戴设备开启刷牙检测模式；
其中，所述刷牙检测模式下，音频采集器和传感器处于工作状态。
3.根据权利要求2所述的方法，其特征在于，还包括：
响应于所述开启操作，开启计时器，所述计时器用于记录用户刷牙的时长。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
接收用户的关闭操作；
响应于所述关闭操作，控制所述可穿戴设备关闭所述刷牙检测模式；
其中，在非所述刷牙检测模式下，所述音频采集器处于休眠状态。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述识别所述音频信号和所述传感器数据，得到识别结果，包括：
对所述音频信号进行特征提取，得到特征提取结果；
将所述特征提取结果输入至深度置信网络模型，得到刷牙音频的分类结果；
对所述传感器数据进行低通滤波处理，将处理好的所述传感器数据进行快速傅里叶变换，得到频域信号；
根据所述频域信号，计算出用户手臂的摆动频率；
所述根据所述识别结果，确定所述用户的刷牙行为状态，包括：
根据所述刷牙音频的分类结果和所述摆动频率，确定所述用户的刷牙行为状态。
6.根据权利要求5所述的方法，其特征在于，所述当所述刷牙行为状态不符合预设的行为规范时，发出提醒信息包括：
当所述刷牙音频的分类结果不符合设定的规范的音频分类范围，和/或所述摆动频率不符合设定的摆动频率范围，发出提醒信号。
7.根据权利要求5所述的方法，其特征在于，所述特征提取结果是利用梅尔频率倒谱系数特征提取方法，对所述音频信号的低频进行特征提取，得到低频音频特征。
8.根据权利要求1至4任一项所述的方法，其特征在于，还包括：
获取用户刷牙时的音频信号样本；
预先利用梅尔频率倒谱系数特征提取方法对所述音频信号样本进行特征提取；
将所述音频信号样本的特征提取结果作为训练集，输入至待训练的深度置信网络模型进行训练，得到所述深度置信网络模型。
9.一种刷牙行为监控的装置，其特征在于，包括：
采集模块，用于采集用户刷牙时的音频信号和传感器数据；
处理模块，用于识别所述音频信号和所述传感器数据，得到识别结果，并根据所述识别结果，确定所述用户当前的刷牙行为状态，当所述刷牙行为状态不符合预设的行为规范时，发出提醒指令。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括接收模块；
所述接收模块，用于接收用户的开启操作；
所述处理模块，用于响应于所述开启操作，控制所述装置开启刷牙检测模式；
其中，所述刷牙检测模式下，音频采集器和传感器处于工作状态。
11.根据权利要求10所述的装置，其特征在于，所述处理模块，还用于响应于所述开启操作，开启计时器，所述计时器用于记录用户刷牙的时长。
12.根据权利要求11所述的装置，其特征在于，所述接收模块，还用于接收用户的关闭操作；
所述处理模块，还用于响应于所述关闭操作，控制所述装置关闭所述刷牙检测模式；
其中，在非所述刷牙检测模式下，所述音频采集器处于休眠状态。
13.根据权利要求9至12任一项所述的装置，其特征在于，所述处理模块在识别所述音频信号和所述传感器数据，得到识别结果时，具体用于：
对所述音频信号进行特征提取，得到特征提取结果；
将所述特征提取结果输入至深度置信网络模型，得到刷牙音频的分类结果；
对所述传感器数据进行低通滤波处理，将处理好的所述传感器数据进行快速傅里叶变换，得到频域信号；
根据所述频域信号，计算出用户手臂的摆动频率；
根据所述刷牙音频的分类结果和所述摆动频率，确定所述用户当前的刷牙行为状态。
14.一种可穿戴设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。
16.一种芯片系统，其特征在于，所述芯片系统与存储器耦合，用于读取并执行所述存储器中存储的程序指令，以实现如权利要求1至8任一项所述的方法。
CN202110516787.7A 2021-05-12 2021-05-12 刷牙行为监控方法、装置、设备、介质及芯片系统 Pending CN113257277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110516787.7A CN113257277A (zh) 2021-05-12 2021-05-12 刷牙行为监控方法、装置、设备、介质及芯片系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110516787.7A CN113257277A (zh) 2021-05-12 2021-05-12 刷牙行为监控方法、装置、设备、介质及芯片系统

Publications (1)

Publication Number Publication Date
CN113257277A true CN113257277A (zh) 2021-08-13

Family

ID=77222964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110516787.7A Pending CN113257277A (zh) 2021-05-12 2021-05-12 刷牙行为监控方法、装置、设备、介质及芯片系统

Country Status (1)

Country Link
CN (1) CN113257277A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103565101A (zh) * 2013-11-20 2014-02-12 江南大学 一种加速度和压力传感器在牙刷上的安装方法
CN205597440U (zh) * 2016-01-27 2016-09-28 北京小牙兽健康科技有限公司 儿童智能牙刷和儿童智能刷牙设备
CN107714227A (zh) * 2017-11-15 2018-02-23 北京朗萌科技发展有限公司 刷牙行为的监控方法、装置和智能牙刷
CN108354315A (zh) * 2017-12-05 2018-08-03 牛家祺 一种基于双单元非对称声场的刷牙质量检测系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103565101A (zh) * 2013-11-20 2014-02-12 江南大学 一种加速度和压力传感器在牙刷上的安装方法
CN205597440U (zh) * 2016-01-27 2016-09-28 北京小牙兽健康科技有限公司 儿童智能牙刷和儿童智能刷牙设备
CN107714227A (zh) * 2017-11-15 2018-02-23 北京朗萌科技发展有限公司 刷牙行为的监控方法、装置和智能牙刷
CN108354315A (zh) * 2017-12-05 2018-08-03 牛家祺 一种基于双单元非对称声场的刷牙质量检测系统及方法

Similar Documents

Publication Publication Date Title
US11172909B2 (en) Sensor fusion to validate sound-producing behaviors
JP6259094B2 (ja) コンピューティングデバイスの音声認識プロセスの制御
US20220225930A1 (en) Apnea monitoring method and apparatus
CN109346075A (zh) 通过人体振动识别用户语音以控制电子设备的方法和系统
CN110364143A (zh) 语音唤醒方法、装置及其智能电子设备
TWI749663B (zh) 發聲監控之方法及系統
CN113539294A (zh) 一种生猪异常状态声音采集及识别方法
Dupont et al. Combined use of close-talk and throat microphones for improved speech recognition under non-stationary background noise
Godino-Llorente et al. Support vector machines applied to the detection of voice disorders
Alexander et al. Screening of heart sounds using hidden Markov and Gammatone filterbank models
CN110689887A (zh) 音频校验方法、装置、存储介质及电子设备
Rougui et al. Audio sound event identification for distress situations and context awareness
CN116057627A (zh) 提供用于自动婴幼儿啼哭评估的数据的计算机实施的方法
Luo et al. Design of embedded real-time system for snoring and OSA detection based on machine learning
CN111554325B (zh) 一种嗓音识别方法及系统
CN113257277A (zh) 刷牙行为监控方法、装置、设备、介质及芯片系统
Ali et al. Intelligent pathological voice detection
Godino-Llorente et al. Discriminative methods for the detection of voice disorders
CN113409809B (zh) 语音降噪方法、装置及设备
CN110956949B (zh) 一种口含式缄默通信方法与系统
Dai et al. An improved model of masking effects for robust speech recognition system
JP2023517175A (ja) 音声録音と体内からの音の聴音を使用した医学的状態の診断
CN111048089A (zh) 提高智能穿戴设备语音唤醒成功率的方法、电子设备、计算机可读存储介质
Godino-Llorente et al. Automatic detection of voice impairments due to vocal misuse by means of gaussian mixture models
CN117014761B (zh) 交互式脑控耳机控制方法及装置、脑控耳机、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813

RJ01 Rejection of invention patent application after publication