CN110265135A - 一种基于惯性传感器的冲牙质量检测评估系统及方法 - Google Patents
一种基于惯性传感器的冲牙质量检测评估系统及方法 Download PDFInfo
- Publication number
- CN110265135A CN110265135A CN201910696148.6A CN201910696148A CN110265135A CN 110265135 A CN110265135 A CN 110265135A CN 201910696148 A CN201910696148 A CN 201910696148A CN 110265135 A CN110265135 A CN 110265135A
- Authority
- CN
- China
- Prior art keywords
- stamping
- data
- inertial sensor
- user
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012372 quality testing Methods 0.000 title claims abstract description 11
- 210000000214 mouth Anatomy 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000001133 acceleration Effects 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000010801 machine learning Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 239000012634 fragment Substances 0.000 claims abstract description 8
- 230000009467 reduction Effects 0.000 claims abstract description 4
- 238000004140 cleaning Methods 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000035772 mutation Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims 2
- 238000012546 transfer Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 abstract description 4
- 230000007812 deficiency Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 241000628997 Flos Species 0.000 description 5
- 230000001055 chewing effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 4
- 230000001680 brushing effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 235000010585 Ammi visnaga Nutrition 0.000 description 2
- 244000153158 Ammi visnaga Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000007115 recruitment Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010006326 Breath odour Diseases 0.000 description 1
- 208000032139 Halitosis Diseases 0.000 description 1
- 206010028024 Mouth haemorrhage Diseases 0.000 description 1
- 208000010641 Tooth disease Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002788 crimping Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 208000024693 gingival disease Diseases 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 208000012310 mouth bleeding Diseases 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
- A61C17/02—Rinsing or air-blowing devices, e.g. using fluid jets or comprising liquid medication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Dentistry (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提出一种基于惯性传感器的冲牙质量检测评估系统及方法，用于冲牙监测的应用领域。本系统包括安装在冲牙器手柄上的惯性传感器、蓝牙通信模块和微型单片机，安装在智能设备上的口腔智能卫士应用程序APP，以及Web云平台。本方法通过惯性传感器采集用户冲牙过程中的三轴加速度和角速度，对每轴数据进行分片和特征提取；然后利用标定的特征数据集进行机器学习模型训练，获得分类效果最好的几个模型；对模型的输入向量进行降维后保存在智能设备上使用。本发明所使用的硬件设备简单、成本低，便于普及，通过学习传感器数据与口腔区域的映射关系定位到用户当前清洗的牙面，实现了冲牙区域的检测，填补了冲牙领域缺乏智能检测系统的不足。
Description
技术领域
本发明涉及传感器、信号处理、移动计算和人工智能技术领域，具体是一种基于惯性传感器的冲牙质量检测评估系统及方法。
背景技术
随着社会不断进步，现代生活节奏的不断加快，以及日渐丰富的各种娱乐活动，人们对事业和生活投入了更多的精力和时间，但对自身健康问题的重视程度有所下降，城市不断增长的亚健康人口数量就是表现之一。其中，口腔健康被忽视的现象也日益显著。科学规范的刷牙是保持口腔卫生的基本方法；然而，在牙龈边缘，以及牙与牙之间的缝隙等区域最易藏污纳垢，也是最容易引起牙齿及牙龈疾病的区域。有研究指出“有多达40％的牙齿表面无法用牙刷清洁”，主要包括牙龈沟和牙缝两个区域。虽然用牙线(或牙签)能够清除牙齿表面堆积物，但微观上，凸凹不平的牙齿表面无法通过这种方式实现完全清洁。通过增压驱动水流进行清洁，既能够更加全面彻底的清理不平整的牙齿表面，又能够通过流体的变化覆盖牙刷和压线难以清洁的牙齿死角，从原理上讲是最理想的口腔清洁方式。据美国有关机构研究显示，带有压力的水柱能冲进牙龈沟到50-90％的深度，实现牙龈边缘缝隙的清洁。压力水柱不仅能清洁到各种缝隙孔洞和凸凹面，而且其效果可以达到微观的彻底“清洁”而不只是宏观的粗略“清除”，从而提高口腔清洁的总体水平。
冲牙器(又名水牙线)，通过压缩空气给水流施压，以脉冲水流冲击的方式来清洁牙齿、牙缝；冲牙器除有清洁牙齿口腔的功能外，水流对牙龈还有按摩作用，帮助促进牙龈的血液循环，增强局部组织抗病力，同时还能消除因口腔卫生问题产生的口臭。冲牙器的高速水流有其独特的清洁保健功能并且用法简单，它可以有效的减少牙刷、牙线和牙签在口腔清洁过程中造成的出血现象；同时，由于其使用液体的清洁方式，它也被广泛用于牙齿矫正患者的口腔清洁。
刷牙需要有正确的方法，使用水牙线亦如此。不规范的冲牙过程可能会造成部分区域清洁过度，而部分区域清洁力度不足。不同于一些智能电动牙刷可以记录和检测用户的刷牙状况，当前市面上的水牙线还不能检测识别用户的动作，也不具备相关的记录功能。检测记录功能可以帮助用户了解自己的冲牙过程，合适的反馈可以让他们口腔清洁过程更高效，同时相关的记录数据也可以作为临床的一些参考信息，供牙医进行治疗方案的制定和病情评估。
发明内容
本发明针对目前缺少对用户冲牙相关动作及冲牙效果的记录和检测，为用户的冲牙提供一种基于惯性传感器的冲牙质量检测评估系统及方法，使用安装在喷头握把上的惯性传感器来检测用户在冲牙过程中的手部/握把动作，不同动作模式对应不同的冲牙区域，利用机器学习建模的方法学习“传感器数据—手部姿势—冲牙区域”之间的映射关系，从而实现对用户的冲牙过程进行实时检测、记录和评估。
本发明提供的一种基于惯性传感器的冲牙质量检测系统，包括：安装在冲牙器手柄上的惯性传感器、蓝牙通信模块和微型单片机，安装在智能设备上的口腔智能卫士应用程序APP以及Web云平台。
所述的惯性传感器包含三轴加速度传感器和三轴角速度传感器，用于获取用户冲牙过程中的手部动作信息，采集三轴加速度和三轴角速度的数据。所述的蓝牙通信模块用于冲牙器和设备端应用程序之间进行数据传送。所述的微型单片机对惯性传感器采集的数据进行解包和量程转换，输出的数据通过蓝牙通信模块传输给智能设备端。
所述的口腔智能卫士APP包括：冲牙数据标定模块、特征提取模块、模型训练模块和实时冲牙检测评估模块。冲牙数据标定模块对接收到的三轴加速度和三轴角速度数据，进行18个口腔冲牙检测事件的标定，18个检测事件包括16个牙齿区域以及漱口和噪声事件。特征提取模块对接收到的三轴加速度和三轴角速度数据进行归一化处理后，对数据使用傅里叶变化分析后的最佳窗口分片，对时间片内每一轴的加速度、角速度进行统计特征提取，抽取的统计特征包括最大值、最小值、平均值、众数、标准差、中位数和上、下四分位数共八个特征，一个时间片内提取的统计特征组成一条特征向量。对标定的惯性传感器数据提取特征向量后形成训练数据集。模型训练模块将训练数据集划分为训练集和测试集，选取多个不同的机器学习模型，进行模型训练，选取其中分类效果最佳的模型集成最终模型。模型训练模块对选取的模型采用主成分分析法进行优化，以减少输入的特征数量，并将优化后的最终模型存储到口腔智能卫士APP中的实时冲牙检测评估模块中。
实时冲牙检测评估模块在用户冲牙时运行。惯性传感器实时采集用户冲牙过程中的手部动作信息数据，经解包和量程转换后传输给特征提取模块；特征提取模块对接收到的三轴加速度和三轴角速度数据进行归一化处理和特征提取，将得到的特征向量输入实时冲牙检测评估模块；实时冲牙检测评估模块对输入的特征向量通过最终模型检测事件，记录16个口腔区域的清洁时间，在APP界面对当前用户正在冲洗的牙面通过动画进行高亮闪烁显示，在用户一次冲牙结束后，对未达到目标时间的口腔区域进行标示，同时将用户的冲牙数据同步上传到Web云平台。
本发明提供的基于惯性传感器的冲牙质量检测方法，包括：
步骤1，采集冲牙过程中的惯性传感器数据，并进行事件标定；
启动智能端的口腔智能卫士APP，打开数据采集与标注界面，利用手柄上安装有惯性传感器、蓝牙通信模块和微型单片机的冲牙器进行冲牙，惯性传感器实时采集冲牙过程中的数据，经微型单片机解包和量程转换后，通过蓝牙通信模块传输给口腔智能卫士APP；
口腔智能卫士APP标定18个检测事件，包括16个口腔区域、吐水和噪声事件；在冲牙过程中根据用户动作对上传的数据进行事件标定；惯性传感器采集的数据包括三轴加速度和三轴角速度；
步骤2，对标定的惯性传感器数据进行特征提取；
首先，对标定的惯性传感器数据进行归一化处理；然后，使用傅里叶变化分析后的最佳窗口大小对数据进行滑动分片，对每一轴的加速度、角速度在每个滑动窗口内的数据，提取统计特征，包括最大值、最小值、标准差、平均值、众数、中位数、上四分位数和下四分位数；每个滑动窗口内的数据生成一列特征向量，特征向量与标定结果共同构建训练数据集；
步骤3，构建冲牙检测模型；
将训练数据集按照七比三的比例划分为训练集和测试集，然后使用不同的机器学习算法进行模型训练，选取其中分类效果最好的机器学习模型集成最终模型；
对选取的机器学习模型使用主成分分析法，对输入的特征向量进行降维，将优化后的集成模型发送给智能设备；
步骤4，用户在冲牙时，惯性传感器实时采集数据，经微型单片机处理后通过蓝牙通信模块传输到智能设备上，智能设备对接收的三轴加速度和三轴角速度数据进行归一化处理和特征提取，将提取的特征向量输入本地存储的集成模型，识别出分类结果，分类结果为18个检测事件；在用户一次冲牙结束后，智能设备记录16个口腔区域的清洁时间，并对未达到目标时间的口腔区域进行标示，同时将用户的冲牙数据同步上传到Web云平台；
步骤5，Web云平台储存用户所有的冲牙数据，生成冲牙日志，根据时间周期绘制可视化的图表供用户查看。
本发明与现有技术相比，具有以下优势：
(1)本发明改造了传统的冲牙器，所使用的硬件设备简单、成本低，便于普及；本发明系统及方法创新性地给冲牙手柄加入惯性传感器来检测冲牙过程中水流冲击区域，通过学习传感器数据与口腔区域的映射关系定位到用户当前清洗的牙面，实现了冲牙区域的检测，填补了冲牙领域缺乏智能检测系统的不足。
(2)本发明在手柄上除了加装传感器，还加装了低功耗蓝牙模块和微型单片机，单片机可以对传感器采集生成的数据进行解包和量程转换，蓝牙模块可以使采集到的数据实时发送到智能手机端的APP上，保证了标注数据和实时检测的可靠性，无线的连接更加方便，受环境影响更小。
(3)本发明通过获取三轴的加速度信号和三轴的角速度信号，对不同窗口大小下的数据进行归一化处理，降低了不同使用者因身高、臂长、站立姿态不同等因素造成的影响；然后抽取多个统计特征来组成特征集，同时对特性向量使用主成分分析法进行降维，减少了对模型分类结果影响较小的无用参数，有效的降低了计算量，减少了智能手机在进行实时检测时的功耗，增加了续航时间。
(4)考虑到冲牙动作具有一定的周期性，故使用快速傅立叶变化对传感器数据进行分析处理，找到了用户平均的动作周期，使用该周期来确定特征抽取阶段滑动窗口的大小，这样提高了模型识别的准确率。
(5)本发明通过对比多种不同的机器学习算法，选取最优模型，同时随着数据量的不断增大，引入深度学习的方法，使用卷积神经网络和长短期记忆网络对数据进行训练，免去了人工进行特征工程的麻烦，最终使用集成学习的方法，对不同算法的返回值进行多数表决，进一步提高了模型的准确率。
(6)本发明可以在使用过程中，实时对用户的冲牙情况给予反馈和提示，APP会将不同用户的所有冲牙数据上传保存在Web云平台上，云平台会根据时间周期生成冲牙日志，同时绘制可视化图表方便用户查看，以此达到冲牙质量检测、提高口腔健康水平的目标。
附图说明
图1为本发明采用的口腔检测区域划分示意图；
图2为本发明提供的一种冲牙器示意图；
图3为本发明中冲牙数据采集和标定的界面示意图；
图4为本发明使用的基于惯性传感器的冲牙质量检测的流程图；
图5为本发明中采集惯性传感器数据的示意图；
图6为本发明中实时冲牙检测界面示意图；
图7为本发明中冲牙结束后的效果评估界面示意图；
图8为本发明中Web云平台页面冲牙情况示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细和深入描述。
本发明提出的一种基于惯性传感器的冲牙质量检测评估系统及方法，利用惯性传感器和人工智能技术相结合，配合信号处理分析技术，来实现对用户冲牙效果的实时检测、评估和记录，帮助人们更好的维护日常口腔卫生。
首先，根据口腔的结构特征，将其划分为16个待检测区域，如图1所示：全口牙齿首先分为上颌和下颌牙两大部分，每部分又分为前面门牙区和左右两个后牙区，上下两个门牙区各包含外侧和内侧两个区，四个后牙区各包含内侧、外侧和咀嚼面三个区，整个口腔的牙齿划分为16个区域。本发明在进行冲牙质量检测时，还另外加入了吐水和噪声这两个事件，由于用户在冲牙过程中会在不同的口腔区域之间移动，所以将这些移动过程标记为噪声，以增强模型的鲁棒性，故一共有18个检测目标事件。
本发明实施例实现的基于惯性传感器的冲牙质量检测评估系统，包括惯性传感器、蓝牙通信模块、微型单片机、口腔智能卫士应用程序APP以及Web云平台。口腔智能卫士应用程序APP安装在智能手机上。
如图2所示，为本发明提供的一种冲牙器。本发明改造了市面上传统的冲牙器，将一个包含三轴加速度传感器和三轴角速度传感器的惯性传感器固定到了冲牙器握把上，同时冲牙器上加装了低功耗蓝牙通信模块和微型单片机。惯性传感器通过三轴加速度传感器和三轴角速度传感器捕获用户冲牙过程中的手部动作信息，包括三轴加速度和三轴角速度。微型单片机对惯性传感器采集的原始数据进行解包，分割出不同轴对应的数据，然后进行量程转化，最后由蓝牙通信模块实时传输到手机上的口腔智能卫士APP中。
口腔智能卫士APP包括：冲牙数据标定模块、特征提取模块、模型训练模块和实时冲牙检测评估模块。手机口腔智能卫士APP对采集到的冲牙过程中的三轴加速度和角速度数据进行预处理、特征提取、输入学习模型计算等一系列操作，然后实时的输出用户的冲牙区域信息。
冲牙数据标定模块对惯性传感器采集的动作数据进行标定，标定事件共18个，如图3所示，为本发明中冲牙数据采集和标定的界面；标定的界面包括口腔16个区域、吐水和噪声事件。如图3中16个区域的命名标准是，上、下代表上颌、下颌，左后、右后代表左、右后牙区，前代表门牙区，内、外代表牙齿内侧、外侧，中代表后牙区的咀嚼面。由于用户在冲牙过程中，需要调整手部的动作，来使水流冲洗到相应的区域，显然用户在冲洗不同的口腔区域时，握把的运动状态都不同，本发明就是应用这个原理，来使用机器学习的方法学习到其中的映射关系，从而达到检测分类的目的。
冲牙数据标定模块对传感数据进行标定时，在用户冲牙过程中，使用手机APP的冲牙数据标定模块的界面，点击相对应的事件按钮，实现对传感器数据的事件标定。
特征提取模块使用滑动窗口对原始数据进行切片，对不同时间片内的数据进行统计特征提取，所使用的特征包括加速度信号和角速度信号，每个信号都包括x、y、z三轴的最大值、最小值、平均值、众数、标准差、中位数和上下四分位数共八个特征，一个时间片内提取的统计特征组成一条特征向量，对已经标定好的传感器数据，提取特征向量，每条特征向量和已有的标定组成一条训练数据。
模型训练模块对获得的训练数据按照7:3的比例划分训练集和测试集，对训练集选取机器学习模型和深度学习模型进行训练，将训练效果最好的模型进行组合，采用多数表决的方法确定最终的分类结果，并将最后的集成学习模型存储到实时冲牙检测评估模块中。
实时冲牙检测评估模块，在用户冲牙过程中持续对冲牙情况进行检测和反馈，同时累计记录各个口腔区域的清洁时间，在冲牙结束后生成反馈报告，并将数据上传至Web云平台。
本发明提供的基于惯性传感器的冲牙质量检测方法，系统工作流程如图4所示，具体包括以下几个步骤：
步骤1：利用冲牙器中惯性传感器数据采集和标定。
本发明使用惯性传感器、微型单片机和低功耗蓝牙通信模块构成新型冲牙器。首先通过招募志愿者，采集大量的用户冲牙过程中的惯性传感器原始数据，同时需要有一个助手来根据用户当前冲刷的牙面进行类别标注，具体标注方法是使用手机口腔智能卫士APP，调用冲牙数据标定模块，打开数据采集与标注界面，在不同的冲牙过程中点击相对应的类别按钮，这样标签信息会自动加到每条数据向量中，建立丰富的冲牙数据集，这为后面的机器学习提供了数据基础。
本发明的一个具体采集过程是：通过固定在冲牙器握把上的惯性传感器，对正在进行冲牙用户的动作，捕获其冲牙过程中的动作姿态数据，用户需要用相对规范的方式抓握冲牙器握把，保证检测的可辨识性；通过对大量用户进行数据采集，冲牙数据标定模块对采集的惯性传感器数据进行标定，标定出18个检测事件，包括16个口腔区域、吐水和噪声事件。
步骤2：对传感器采集的数据进行统计特征提取，构建训练数据库。
首先，由于传感器单位、数值区间和灵敏度不同，因此先对传感器原始数据进行归一化处理。然后，采用使用傅里叶变化分析后的最佳窗口大小对数据进行滑动分片，对分片后的传感器数据进行统计特征提取，对每个轴的加速度和角速度，使用最大值、最小值、均值、方标准差、众数、标准差、中位数和上、下四分位数作为特征，抽取特征后组成特征向量，每个滑动窗口内的数据生成一列特征向量，多个特征向量组成特征集。
在滑动窗口大小的选择上，需要考虑用户冲牙动作的周期性，这里使用快速傅立叶变换，将惯性传感器原始数据从值域变换到频域，变换后可以明显的看到除了一些噪声外，在1Hz的位置有一个主峰，这说明用户冲牙的动作周期是1s，也即1s可以覆盖一个完整的动作周期，因此滑动窗口的长度设定为1s，滑动步长根据经验值选取窗口长度的一半，即0.5s。
本发明实施例中，提取的统计特征具体描述如表1所示。
表1统计特征表
对标定的传感器数据提取统计特征，与标定结果一起构建冲牙过程的训练数据库。
步骤3：构建冲牙检测模型。
将已经生成的训练数据库进行训练集和测试集的划分，使用不同的学习算法来对训练集进行训练，生成多个模型，分别对所选取的机器学习模型进行训练和参数调整，寻求分类结果较好的模型，通过准确率、召回率、平均均方误差和F-score四种指标对模型准确性和性能进行对比，选出最优的几个模型进行集成，使用多数表决的方法确定最终的分类结果，同时将集成学习模型嵌入到智能手机口腔智能卫士APP中。
选取的机器学习模型包括：支持向量机(Support Vector Machine,SVM)、朴素贝叶斯(NaiveBayes)、k近邻(k-NearestNeighbor)、决策树(C4.5)和随机森林(RandomForest)，深度学习模型包括卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Long Short-Term Memory,LSTM)。机器学习模型的输入是经过特征提取的多维特征值，机器学习模型输出是对应的检测事件-刷牙区域、吐水或噪声事件。
机器学习模型是在计算机上训练的，虽然检测的准确率很高，但由于特征参数过多，导致模型的体积过于庞大，很难将其集成到计算资源有限的智能手机中，故使用主成分分析对训练好的模型进行优化，即降维处理，删除一些对模型最终分类结果影响不大的特征，只保留最重要的一些特征，这会大幅度的减小模型的规模，虽然模型检测准确率有很少的下降，但仍处于可接受范围内，这样可以确保其可以应用到智能手机APP中。经过主成分分析对模型进行优化，减小模型规模后将其嵌入手机存储到实时冲牙检测评估模块中。
步骤4：实时检测和冲牙质量评估。
如图5所示，实时采集用户冲牙过程中的惯性传感器数据，数据经微型单片机处理后通过蓝牙通信模块传输到智能手机口腔智能卫士应用程序APP，输入到已经训练好的优化的集成学习模型中进行计算，最后输出分类结果，分类结果为18个检测事件，包括16个不同的口腔区域和两个额外事件(吐水和噪声)。实时冲牙检测评估模块记录用户对每个牙齿区域的清洁时间。用户可以自行根据口腔情况设定理想冲洗时间，实时冲牙检测评估模块会对冲牙结果进行评估，并在手机端显示出尚未全面清洁的区域。图5为采集的一段惯性传感器数据，sequence表示时间序列，value表示传感器值，Accz signal表示此图显示的是传感器z轴的加速度信号。
步骤5：数据同步和日志生成。
每次用户冲牙结束后，口腔智能卫士应用程序APP会自动将本次冲牙相关数据(包括传感器数据和冲牙时间信息)同步到Web云平台，Web云平台保存数据并生成日志，同时根据不同的时间周期绘制可视化图表，方便用户查看自己的口腔清洁情况。
用户在冲牙时，口腔智能卫士APP的实时冲牙检测界面如图6所示，冲洗完毕后口腔智能卫士APP的反馈冲牙效果评估界面如图7所示，冲牙总时间是1分38秒，得分87.2分，合格牙面：上左后外、上前外、上右后外、上左后中、上右后中和上左后内冲牙时间均在4s以上；不合格牙面：下右后内冲牙时间只有1s；每次冲牙完毕后口腔智能卫士APP还自动将数据上传至Web云平台，生成冲牙日志，并生成可视化图表方便用户查看，Web云平台界面如图8所示。图8中提供了两个图表，左边是根据上次的冲牙数据，为用户统计的一周内的牙面清洁频度，右边的图表为统计的16个区域内的牙面清洁分数，其中UFO为上前牙外表面，DFO为下前牙外表面，ULBO为上左后牙外表面，DLBO为下左后牙外表面，ULBM为上左后牙的咀嚼面，DLBM为下左后牙的咀嚼面，UFI为上前牙内表面，DFI为下前牙内表面，URBO为上右后牙外表面，DRBO为下右后牙外表面，URBM为上右后牙的咀嚼面，DRBM为下右后牙的咀嚼面，URBI为上右后牙的内表面，DRBI为下右后牙的内表面，ULBI为上左后牙的内表面，DLBI为下左后牙的内表面。Web云平台对分数低的牙面进行提醒，并给出冲牙建议。
具体实验表明，在保证有足够已标注数据的前提下，训练出的集成学习模型有较高的识别准确率，可以到达97.18％。
Claims (6)
1.一种基于惯性传感器的冲牙质量检测评估系统，包括：安装在冲牙器手柄上的惯性传感器、蓝牙通信模块和微型单片机，安装在智能设备上的口腔智能卫士应用程序APP，以及Web云平台；
所述的惯性传感器包含三轴加速度传感器和三轴角速度传感器，用于采集用户冲牙过程中的手部动作信息数据；所述的微型单片机对惯性传感器采集的数据进行解包和量程转换，输出的三轴加速度和三轴角速度数据通过蓝牙通信模块传输给智能设备端；
所述的口腔智能卫士APP包括冲牙数据标定模块、特征提取模块、模型训练模块和实时冲牙检测评估模块；冲牙数据标定模块对接收到的三轴加速度和三轴角速度数据，进行18个口腔冲牙检测事件的标定，18个检测事件包括16个牙齿区域以及漱口和噪声事件；特征提取模块对接收到的三轴加速度和三轴角速度数据进行归一化处理后，对数据使用傅里叶变化分析后的最佳窗口分片，对时间片内每一轴的加速度、角速度进行统计特征提取，抽取的统计特征包括最大值、最小值、平均值、众数、标准差、中位数和上、下四分位数共八个特征，一个时间片内提取的统计特征组成一条特征向量；对标定的惯性传感器数据提取特征向量后形成训练数据集；模型训练模块将训练数据集划分为训练集和测试集，选取多个不同的机器学习模型，进行模型训练，选取其中分类效果最佳的模型集成最终模型；模型训练模块对选取的模型采用主成分分析法进行优化，以减少输入的特征数量，并将优化后的最终模型存储到口腔智能卫士APP中的实时冲牙检测评估模块中；
实时冲牙检测评估模块在用户冲牙时运行；惯性传感器实时采集用户冲牙过程中的手部动作信息数据，经解包和量程转换后传输给特征提取模块；特征提取模块对接收到的三轴加速度和三轴角速度数据进行归一化处理和特征提取，将得到的特征向量输入实时冲牙检测评估模块；实时冲牙检测评估模块对输入的特征向量通过最终模型检测事件，记录16个口腔区域的清洁时间，在APP界面对当前用户正在冲洗的牙面通过动画进行高亮闪烁显示，在用户一次冲牙结束后，对未达到目标时间的口腔区域进行标示，同时将用户的冲牙数据同步上传到Web云平台。
2.根据权利要求1所述的冲牙质量检测系统，其特征在于，所述的特征提取模块在分片时，设置滑动窗口的长度为1s，滑动步长为0.5s。
3.根据权利要求1所述的冲牙质量检测系统，其特征在于，所述的Web云平台接收实时冲牙检测评估模块上传的用户冲牙数据，生成冲牙日志。
4.一种基于惯性传感器的冲牙质量检测方法，其特征在于，包括如下步骤：
步骤1，采集冲牙过程中的惯性传感器数据，并进行事件标定；
启动智能端的口腔智能卫士APP，打开数据采集与标注界面，利用手柄上安装有惯性传感器、蓝牙通信模块和微型单片机的冲牙器进行冲牙，惯性传感器实时采集冲牙过程中的数据，经微型单片机解包和量程转换后，通过蓝牙通信模块传输给口腔智能卫士APP；
口腔智能卫士APP标定18个检测事件，包括16个口腔区域、吐水和噪声事件；在冲牙过程中根据用户动作对上传的数据进行事件标定；惯性传感器采集的数据包括三轴加速度和三轴角速度；
步骤2，对标定的惯性传感器数据进行特征提取；
首先，对标定的惯性传感器数据进行归一化处理；然后，使用傅里叶变化分析后的最佳窗口大小对数据进行滑动分片，对每一轴的加速度、角速度在每个滑动窗口内的数据，提取统计特征，包括最大值、最小值、标准差、平均值、众数、中位数、上四分位数和下四分位数；每个滑动窗口内的数据生成一列特征向量，特征向量与标定结果共同构建训练数据集；
步骤3，构建冲牙检测模型；
将训练数据集按照七比三的比例划分为训练集和测试集，然后使用不同的机器学习算法进行模型训练，选取其中分类效果最好的机器学习模型集成最终模型；
对选取的机器学习模型使用主成分分析法，对输入的特征向量进行降维，将优化后的集成模型发送给智能设备；
步骤4，用户在冲牙时，惯性传感器实时采集数据，经微型单片机处理后通过蓝牙通信模块传输到智能设备上，智能设备对接收的三轴加速度和三轴角速度数据进行归一化处理和特征提取，将提取的特征向量输入本地存储的集成模型，识别出分类结果，分类结果为18个检测事件；在用户一次冲牙结束后，智能设备记录16个口腔区域的清洁时间，并对未达到目标时间的口腔区域进行标示，同时将用户的冲牙数据同步上传到Web云平台；
步骤5，Web云平台储存用户所有的冲牙数据，生成冲牙日志，根据时间周期绘制可视化的图表供用户查看。
5.根据权利要求4所述的一种基于惯性传感器的冲牙质量检测方法，其特征在于，所述的步骤4中，在用户一次冲牙结束后，记录的冲牙数据包括：本次冲牙总时长，每个口腔区域的冲牙时间、合格的口腔区域以及不合格的口腔区域。
6.根据权利要求4所述的一种基于惯性传感器的冲牙质量检测方法，其特征在于，所述的步骤5中，Web云平台根据用户上次的冲牙数据，统计冲牙的清洁频率，以图表显示16个口腔区域内的牙面清洁分数，并对分数低的牙面进行提醒，给出冲牙建议。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910696148.6A CN110265135A (zh) | 2019-07-30 | 2019-07-30 | 一种基于惯性传感器的冲牙质量检测评估系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910696148.6A CN110265135A (zh) | 2019-07-30 | 2019-07-30 | 一种基于惯性传感器的冲牙质量检测评估系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110265135A true CN110265135A (zh) | 2019-09-20 |
Family
ID=67912367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910696148.6A Pending CN110265135A (zh) | 2019-07-30 | 2019-07-30 | 一种基于惯性传感器的冲牙质量检测评估系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110265135A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111049684A (zh) * | 2019-12-12 | 2020-04-21 | 闻泰通讯股份有限公司 | 数据分析方法、装置、设备和存储介质 |
| CN111569240A (zh) * | 2020-05-28 | 2020-08-25 | 重庆东登科技有限公司 | 用于移动医院的洗消系统 |
| CN111651038A (zh) * | 2020-05-14 | 2020-09-11 | 香港光云科技有限公司 | 基于ToF的手势识别控制方法及其控制系统 |
| GB2602087A (en) * | 2020-12-17 | 2022-06-22 | Dyson Technology Ltd | Oral treatment device |
| GB2602086A (en) * | 2020-12-17 | 2022-06-22 | Dyson Technology Ltd | Oral treatment device |
| GB2602088A (en) * | 2020-12-17 | 2022-06-22 | Dyson Technology Ltd | Oral treatment device |
| WO2022129842A1 (en) * | 2020-12-17 | 2022-06-23 | Dyson Technology Limited | Oral treatment device |
| GB2602448A (en) * | 2020-12-17 | 2022-07-06 | Dyson Technology Ltd | Oral treatment device |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104546198A (zh) * | 2015-01-16 | 2015-04-29 | 郑洪� | 一种用于数据采集的口腔专用手持基座 |
| CN105411165A (zh) * | 2015-08-31 | 2016-03-23 | 浙江大学 | 交互式口腔清洁工具套装 |
| CN106798540A (zh) * | 2016-06-29 | 2017-06-06 | 郑洪� | 口腔检查装置、手持部件及内窥镜 |
| CN108366668A (zh) * | 2015-12-15 | 2018-08-03 | 皇家飞利浦有限公司 | 用于跟踪口腔护理装置的系统及方法 |
| CN108354315A (zh) * | 2017-12-05 | 2018-08-03 | 牛家祺 | 一种基于双单元非对称声场的刷牙质量检测系统及方法 |
| US10080522B2 (en) * | 2016-04-06 | 2018-09-25 | At&T Intellectual Property I, L.P. | Connected dental device |
| CN109152471A (zh) * | 2016-03-14 | 2019-01-04 | 科里布里公司 | 具有视觉识别功能以用于监测依从性的口腔卫生系统 |
| US20190159825A1 (en) * | 2017-11-29 | 2019-05-30 | Megadyne Medical Products, Inc. | Smoke evacuation device remote activation system |
| CN208942448U (zh) * | 2018-05-04 | 2019-06-07 | 陈清 | 一种冲牙器及口腔装置 |
| CN109963481A (zh) * | 2016-11-10 | 2019-07-02 | 皇家飞利浦有限公司 | 用于确定与引导清洁会话的相符性的方法和系统 |
-
2019
- 2019-07-30 CN CN201910696148.6A patent/CN110265135A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104546198A (zh) * | 2015-01-16 | 2015-04-29 | 郑洪� | 一种用于数据采集的口腔专用手持基座 |
| CN105411165A (zh) * | 2015-08-31 | 2016-03-23 | 浙江大学 | 交互式口腔清洁工具套装 |
| CN108366668A (zh) * | 2015-12-15 | 2018-08-03 | 皇家飞利浦有限公司 | 用于跟踪口腔护理装置的系统及方法 |
| CN109152471A (zh) * | 2016-03-14 | 2019-01-04 | 科里布里公司 | 具有视觉识别功能以用于监测依从性的口腔卫生系统 |
| US10080522B2 (en) * | 2016-04-06 | 2018-09-25 | At&T Intellectual Property I, L.P. | Connected dental device |
| CN106798540A (zh) * | 2016-06-29 | 2017-06-06 | 郑洪� | 口腔检查装置、手持部件及内窥镜 |
| CN109963481A (zh) * | 2016-11-10 | 2019-07-02 | 皇家飞利浦有限公司 | 用于确定与引导清洁会话的相符性的方法和系统 |
| US20190159825A1 (en) * | 2017-11-29 | 2019-05-30 | Megadyne Medical Products, Inc. | Smoke evacuation device remote activation system |
| CN108354315A (zh) * | 2017-12-05 | 2018-08-03 | 牛家祺 | 一种基于双单元非对称声场的刷牙质量检测系统及方法 |
| CN208942448U (zh) * | 2018-05-04 | 2019-06-07 | 陈清 | 一种冲牙器及口腔装置 |
Non-Patent Citations (1)
| Title |
|---|
| BOYU FAN 等: "Smart Water Flosser: A Novel Smart Oral Cleaner with IMU Sensor", 《2018 IEEE GLOBAL COMMUNICATIONS CONGERENCE(GLOBECOM)》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111049684A (zh) * | 2019-12-12 | 2020-04-21 | 闻泰通讯股份有限公司 | 数据分析方法、装置、设备和存储介质 |
| CN111651038A (zh) * | 2020-05-14 | 2020-09-11 | 香港光云科技有限公司 | 基于ToF的手势识别控制方法及其控制系统 |
| CN111569240A (zh) * | 2020-05-28 | 2020-08-25 | 重庆东登科技有限公司 | 用于移动医院的洗消系统 |
| CN111569240B (zh) * | 2020-05-28 | 2021-03-16 | 重庆东登科技有限公司 | 用于移动医院的洗消系统 |
| GB2602088A (en) * | 2020-12-17 | 2022-06-22 | Dyson Technology Ltd | Oral treatment device |
| GB2602086A (en) * | 2020-12-17 | 2022-06-22 | Dyson Technology Ltd | Oral treatment device |
| GB2602087A (en) * | 2020-12-17 | 2022-06-22 | Dyson Technology Ltd | Oral treatment device |
| WO2022129842A1 (en) * | 2020-12-17 | 2022-06-23 | Dyson Technology Limited | Oral treatment device |
| WO2022129843A1 (en) * | 2020-12-17 | 2022-06-23 | Dyson Technology Limited | Oral treatment device |
| GB2602448A (en) * | 2020-12-17 | 2022-07-06 | Dyson Technology Ltd | Oral treatment device |
| GB2602450A (en) * | 2020-12-17 | 2022-07-06 | Dyson Technology Ltd | Oral treatment device |
| GB2602088B (en) * | 2020-12-17 | 2023-06-14 | Dyson Technology Ltd | Oral treatment device |
| GB2602448B (en) * | 2020-12-17 | 2023-09-06 | Dyson Technology Ltd | Oral treatment device |
| GB2602450B (en) * | 2020-12-17 | 2023-09-06 | Dyson Technology Ltd | Oral treatment device |
| GB2602087B (en) * | 2020-12-17 | 2023-09-06 | Dyson Technology Ltd | Oral treatment device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110265135A (zh) | 一种基于惯性传感器的冲牙质量检测评估系统及方法 | |
| CN113168910B (zh) | 用于操作个人梳理器具或家用清洁器具的设备和方法 | |
| CN110269389B (zh) | 牙刷系统和牙刷系统评分监测方法 | |
| Bi et al. | AutoDietary: A wearable acoustic sensor system for food intake recognition in daily life | |
| CN112107386B (zh) | 采集和处理用户健康数据的系统和方法 | |
| CN107167133B (zh) | 一种刷牙评价方法 | |
| US20190295729A1 (en) | Universal non-invasive blood glucose estimation method based on time series analysis | |
| CN108354315B (zh) | 一种基于双单元非对称声场的刷牙质量检测系统及方法 | |
| CN106388771B (zh) | 一种自动检测人体生理状态的方法及运动手环 | |
| CN107890339B (zh) | 一种睡眠分期检测方法及可穿戴式睡眠分期检测装置 | |
| CN108805390B (zh) | 一种智能的刷牙过程评价方法 | |
| CN111973152A (zh) | 五官及外科医疗数据采集分析诊断机器人，平台 | |
| CN106725326A (zh) | 基于人体hrv测量的睡眠质量评估系统及方法 | |
| CN104257434A (zh) | 一种用于实时跟踪监测个人生理状况的智能牙刷 | |
| WO2016082784A1 (zh) | 一种儿童刷牙智能训练系统 | |
| CN113160921A (zh) | 一种基于血流动力学的数字人体心血管系统的构建方法和应用 | |
| CN108958482A (zh) | 一种基于卷积神经网络的相似性动作识别装置及方法 | |
| Hussain et al. | Do you brush your teeth properly? an off-body sensor-based approach for toothbrushing monitoring | |
| CN109380860A (zh) | 一种通过时长判断有效刷牙的智能刷牙方法及系统 | |
| CN109222403A (zh) | 一种智能刷牙方法及系统 | |
| CN109222402A (zh) | 一种通过压力判断有效刷牙的智能刷牙方法及系统 | |
| CN114903475A (zh) | 基于PCANet神经网络和多传感器信息融合的健康检测仪及其方法 | |
| CN108538366A (zh) | 一种基于中医养生知识库的自我健康评测方法 | |
| CN205849445U (zh) | 一种融合多传感器的人体生理特征信息采集装置 | |
| CN113903470A (zh) | 一种血液透析后患者的生活智能提醒方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190920 |
|
| WD01 | Invention patent application deemed withdrawn after publication |