CN112884132A - 基于神经网络的刷牙检测方法、装置、电动牙刷及介质 - Google Patents
基于神经网络的刷牙检测方法、装置、电动牙刷及介质 Download PDFInfo
- Publication number
- CN112884132A CN112884132A CN202110296716.0A CN202110296716A CN112884132A CN 112884132 A CN112884132 A CN 112884132A CN 202110296716 A CN202110296716 A CN 202110296716A CN 112884132 A CN112884132 A CN 112884132A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- oral cavity
- neural network
- brushing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001680 brushing effect Effects 0.000 title claims abstract description 205
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 148
- 210000000214 mouth Anatomy 0.000 claims abstract description 145
- 230000033001 locomotion Effects 0.000 claims abstract description 142
- 238000003062 neural network model Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000002372 labelling Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000035568 catharsis Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
- A61C17/16—Power-driven cleaning or polishing devices
- A61C17/22—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供一种基于神经网络的刷牙检测方法、装置、电动牙刷及存储介质，用于得到准确的刷牙信息。其中，方法部分包括：采集电动牙刷在口腔不同区域的运动数据和实时姿态数据；将所述运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型；通过所述神经网络模型检测用户的刷牙区域和刷牙动作。
Description
技术领域
本发明涉及电动牙刷技术领域，提供了一种基于神经网络的刷牙检测方法、装置、电动牙刷及存储介质。
背景技术
随着口腔健康问题越来越受到人们的重视，电动牙刷逐渐成为更多人首选的刷牙方式。目前通过记录刷牙时的初始位置和实时位置，并根据两者的差别以及对口腔的先验知识，得到电动牙刷目前所处的刷牙区域，由于个体口腔情况具有差异性，不存在固定的口腔数据模型，导致电动牙刷对刷牙区域的识别存在误差。
因此，传统方案中，为解决对刷牙区域的识别存在误差的问题，通常对获得的位置数据，与手动输入的口腔特征和口腔区域进行一一匹配，最后根据匹配好的位置信息对刷牙时对应的实际口腔区域进行识别。
然而，由于每次刷牙时，人的头部会在前后左右方向发生运动，导致实际口腔区域的位置信息与预先匹配好的口腔区域的位置信息发生偏移，造成电动牙刷对实际口腔区域识别的误差，无法得到准确的刷牙信息。
发明内容
本发明的目的在于提供一种基于神经网络的刷牙检测方法、装置、电动牙刷及存储介质，以解决现有技术中造成电动牙刷对实际口腔区域识别的误差，无法得到准确的刷牙信息的技术问题。
为解决上述技术问题，本发明采用如下技术方案：
第一方面，提供了一种基于神经网络的刷牙检测方法，该方法包括：
采集电动牙刷在口腔不同区域的运动数据和实时姿态数据；
将运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型；
通过神经网络模型检测用户的刷牙区域和刷牙动作。
进一步的，该神经网络模型通过如下方式获取：
获取多组电动牙刷在不同区域的运动数据和姿态数据，并对每一组运动数据和姿态数据对应进行刷牙类型标注，得到多组训练运动数据和训练姿态数据，刷牙类型标注包括刷牙区域类型标注和刷牙动作类型标注；
对每组训练运动数据和训练姿态数据进行预处理，得到多组标准训练运动数据和标准训练姿态数据；
通过多组标准训练运动数据和标准训练姿态数据，对神经网络进行训练，直至神经网络参数符合预设条件，得到神经网络模型。
进一步的，获取多组电动牙刷在不同区域的运动数据和姿态数据，并对每一组运动数据和姿态数据对应进行刷牙类型标注，得到多组训练运动数据和训练姿态数据，包括：
a、获取第一口腔位置数据；
b、获取第二口腔位置数据；
c、通过第一口腔位置数据和第二口腔位置数据，对应计算第一口腔位置到第二口腔位置的姿态数据；
d、对第一口腔位置数据、第二口腔位置数据和姿态数据，进行相应的刷牙类型标注，得到已标注运动数据和姿态数据
e、改变刷牙动作并重复上述a-e，直至获取多组已标注运动数据和姿态数据，并将多组已标注运动数据和姿态数据，作为多组训练运动数据和训练姿态数据。
进一步的，获取第一口腔位置数据，包括：
实时检测是否接收到电动牙刷贴于牙齿的第一贴面信号；
当接收到电动牙刷贴于牙齿的第一贴面信号时，采集当前的口腔位置数据作为第一口腔位置数据；
获取第二口腔位置数据，包括：
当接收到电动牙运动至下一位置的第二贴面信号时，采集当前的口腔位置数据作为第二口腔位置数据。
进一步的，通过方向余弦矩阵方式计算所述口腔位置数据和姿态数据。
进一步的，通过神经网络模型检测用户的刷牙区域和刷牙动作之后，该方法还包括：
对预设时段内神经网络模型检测的刷牙区域和刷牙动作进行分析，得到用户的刷牙评估结果；
输出刷牙评估结果。
进一步的，对每组训练运动数据和训练姿态数据进行预处理，得到多组标准训练运动数据和标准训练姿态数据，包括：
对每组训练运动数据和训练姿态数据进行去噪和滤波处理，得到多组初始标准训练运动数据和初始标准训练姿态数据；
按照神经网络的输入要求，对每组初始标准训练运动数据和初始标准训练姿态数据进行切割处理，得到多组标准训练运动数据和标准训练姿态数据。
第二方面，提供了一种基于神经网络的刷牙检测装置，该装置包括：
采集模块，用于采集电动牙刷在口腔不同区域的运动数据和实时姿态数据；
训练模块，用于将运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型；
检测模块，用于通过神经网络模型检测用户的刷牙区域和刷牙动作。
进一步的，该训练模块用于：
对多组在不同区域的运动数据和姿态数据进行对应刷牙类型标注，得到多组训练运动数据和训练姿态数据，刷牙类型标注包括刷牙区域类型标注和刷牙动作类型标注；
对每组训练运动数据和训练姿态数据进行预处理，得到多组标准训练运动数据和标准训练姿态数据；
通过多组标准训练运动数据和标准训练姿态数据，对深度学习网络进行训练，直至深度学习网络参数符合预设条件，得到神经网络模型。
第三方面，提供了一种电动牙刷，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如前述刷牙检测方法，或实现如前述刷牙检测装置的功能。
第四方面，提供了一种可读存储介质，可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如前述刷牙检测方法的步骤，或实现如前述刷牙检测装置的功能。
上述提供的基于神经网络的刷牙检测方法、装置、电动牙刷及存储介质所实现的方案中，采集电动牙刷在口腔不同区域的运动数据和实时姿态数据；将运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型；最后通过神经网络模型检测用户的刷牙区域和刷牙动作，由于神经网络模型是电动牙刷在口腔不同区域的运动数据和实时姿态数据训练得到，其包括了电动牙刷在不同区域时的位置和姿态变化，在不同区域转换时，姿态数据能反映真实的刷牙动作和区域，通过神经网络模型能准确检测用户的刷牙区域和刷牙动作，能得到准确的刷牙信息，且在识别时，能够用相对较少的数据取得良好识别准确率，也无须需要人工介入调整匹配口腔，较为便利，具有较好的应用场景。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于神经网络的刷牙检测方法的一个流程示意图；
图2是神经网络模型的训练过程具体流程示意图；
图3是本发明实施例提供的一种基于神经网络的刷牙检测装置的一个结构示意图；
图4是本发明一种实施例提供的电动牙刷的一个结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员可以获得其他的所有其他实施例，都属于本发明保护的范围。
首先，本发明提供了一种基于神经网络的刷牙检测方法，该刷牙检测方法可应用于各种各样的智能电动牙刷，为了说明本发明的技术方案，下面通过具体实施例来进行说明。
本发明实施例提供了一种基于神经网络的刷牙检测方法，如图1所示，该刷牙检测方法包括如下步骤：
S10：采集电动牙刷在口腔不同区域的运动数据和实时姿态数据。
对于步骤S10，当用户使用电动牙刷刷牙过程中，电动牙刷在用户人体口腔中的刷牙姿态和区域是会变化的，本发明中，为便于后续得到准确的检测模型，需先采集电动牙刷在口腔不同区域的运动数据和实时姿态数据，以用于后续训练神经网络。
在本发明中，会在人体口腔中预先定义有多个口腔区域，该预设口腔区域可以是精确到每一颗牙齿的区域和方位，也可以是对口腔区域的大致划分，为便于描述，示例性的，本发明中可以将口腔区域分为：左下咬合，左下内侧，左下外侧、中下外侧，中下内侧，中下咬合、右下外侧，右下咬合，右下内侧，右上外侧，右上咬合，右上内侧，中上外侧，中上内侧，中上咬合、左上外侧，左上咬合，左上内侧区域。
需要说明的是，上述对于口腔内的区域的划分定义在此仅为示例性说明，不对本发明造成限定。在实际应用中，还可以根据需求或应用场景进行再定义，举个简单例子，将左下咬合，左下内侧，左下外侧作为一个左下区域，将左上咬合，左上内侧，左上外侧作为一个左上口腔区域，右边和中间口腔区域处理方式类似；又例如，还可以分别对上述划分的各个小口腔区域进行再细分，如对左下咬合等口腔区域再细分，以细分至每一颗牙齿，具体本发明不做限定。
作为一种实施例，所述运动数据还包括口腔区域位置数据，其中，在划分出口腔区域之后，为了准确判定刷牙姿态所处的口腔区域，需先设定每个口腔区域与口腔位置数据的对应关系，具体地，在一些实施方式中，可以通过多次手动输入的方式将口腔位置数据与预先定义的口腔区域一一对应；在另一些实施方式中，也可以对口腔内对应每一个口腔区域建立位置信息阀值描述，将符合信息阀值描述的口腔位置数据与口腔位置一一对应。
如前述，在本发明实施前，需先定义口腔内的多个预设口腔区域，在该实施例中，可以预先以用户的人体口腔建立基准坐标系，其中，值得说明的是，该基准坐标系是用于衡量所需定义的口腔内的口腔区域，且与电动牙刷传感器坐标系为不同的坐标系，该基准坐标系会随着头部而变化。在一些实施方式中，可以通过方向余弦矩阵方式(DirectionConsine Matrix，DCM)在所述用户的人体口腔建立基准坐标系，具体不做限定。
需要说明的是，DCM矩阵，通常也称为旋转矩阵，其可以定义了一个本体坐标系相对于另一个全局坐标系的旋转，在本案中，以口腔建立的基准坐标系可以为全局坐标系，传感器坐标系可以为本体坐标系，如利用电动牙刷传感器实时获取到某个刷牙姿态位置信息，也即知道某个刷牙姿态下在传感器坐标系中的坐标，那么，可以利用DCM矩阵确定该刷牙姿态在基准坐标系中的坐标，也即知道该某个刷牙姿态在基准坐标系中的位置信息，也即知道某个刷牙姿态下在口腔中的哪个预设口腔区域，反之亦然。
为了快速了解传感器坐标系和口腔基准坐标系之间的对应关系，本发明中，预先以用户的人体口腔通过DCM方式建立基准坐标系，并在所述基准坐标系上构建上述口腔区域。其中，构建的多个口腔区域可如前述例子所示，这里不再重复说明。在划分多个口腔区域之后，便可以通过DCM矩阵方式，对口腔内对应每一个口腔区域，建立刷牙姿态位置信息阀值描述，此阈值描述用于划分每个预设口腔区域的位置。
在划分完口腔区域，并设定好口腔位置数据与口腔区域的对应关系之后，便能采集电动牙刷在口腔不同区域运动时的运动数据，例如，电动牙刷从口腔区域1到口腔区域2的运动数据，电动牙刷从口腔区域2到口腔区域3的运动数据，以此类推，从而采集电动牙刷在口腔不同区域的运动数据。在一实施例中，在采集电动牙刷在口腔不同区域的运动数据过程中，检测电动牙刷在不同区域运动时的姿态变化，形成姿态数据，例如，电动牙刷从口腔区域1到口腔区域2的姿态数据，电动牙刷从口腔区域2到口腔区域3的姿态数据，以此类推，采集得到电动牙刷在不同区域运动时的姿态数据。其中，不同区域运动时的姿态数据，可以通过对应的口腔位置数据计算得到。如前述，每个口腔区域可以通过DCM矩阵方式，在得到任意两个口腔区域的口腔位置数据之后，通便能通过两个口腔区域的口腔位置数据计算出姿态数据。也就是说，在不同口腔区域的运动数据可以用DCM矩阵计算得到，对应的姿态数据也可以通过DCM矩阵计算得到，具体计算过程在此不详细说明。
S20：将所述运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型。
在采集到大量的电动牙刷在口腔不同区域的运动数据和姿态数据之后，便能将运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型。
其中，本发明中的神经网络可以采用成熟的神经网络实现，例如如卷积神经网络等，本发明不做限定，只要能训练出所需的神经网络模型的神经网络均可采用。
在一些实施例中，该神经网络模型通过如下方式获取得到：
S21：对多组在不同区域的运动数据和姿态数据进行对应刷牙类型标注，得到多组训练运动数据和训练姿态数据，刷牙类型标注包括刷牙区域类型标注和刷牙动作类型标注。
如前述，本发明中，在训练神经网络之前，需先获取多组不同区域的运动数据和姿态数据，为了训练出能准确输出刷牙区域和刷牙动作的刷牙信息，需先对多组在不同区域的运动数据和姿态数据进行对应的刷牙类型标注，以得到多组训练运动数据和训练姿态数据，该刷牙类型标注可以包括刷牙区域类型标注和刷牙动作类型标注。其中，需要说明的是，刷牙区域类型是依据的具体的运动数据和姿态数据，从上述定义的口腔区域中对应选取得到，刷牙动作指的是电动牙刷从一口腔区域移动至另一口腔区域的动作，如从口腔区域1到口腔区域2。值得注意的是，本发明中，可以通过多次手动输入的方式将刷牙动作类型对每一组数据进行刷牙动作类型标注，也可以通过设置角速度数据、加速度数据和/或姿态数据阀值的方式，自动识别刷牙动作，从而进行刷牙动作类型标注，具体本发明不做限定。
进一步的，在一些实施例中，上述获取多组电动牙刷在不同区域的运动数据和姿态数据，并对每一组运动数据和姿态数据对应进行刷牙类型标注，得到多组训练运动数据和训练姿态数据，具体可以包括如下步骤：
a、获取第一口腔位置数据。
由于运动数据是用于神经网络的数据，因此，可以需通过重复多组刷牙动作，以对应获取多组数据用于训练。在试验的刷牙过程中，可以先获取第一刷牙姿态下的第一口腔位置数据。具体地，通过检测信号采集模块检测是否接收到电动牙刷贴于牙齿的第一贴面信号；当接收到电动牙刷贴于牙齿的第一贴面信号时，采集当前的口腔位置数据作为第一口腔位置数据，并用可以用DCM矩阵方式表示。
b、获取第二口腔位置数据。
当通过信号采集模块接收到电动牙刷运动至下一位置的第二贴面信号时，采集当前的口腔位置数据作为第二口腔位置数据，同样，第二口腔位置数据可以用DCM矩阵方式表示。需要说明的是，所述信号采集模块可以为压力传感器，当电动牙刷的刷头置于牙齿上的时候，可以通过压力传感器检测电动牙刷开始刷牙的贴面信号。
c、通过第一口腔位置数据和第二口腔位置数据，对应计算第一口腔位置到第二口腔位置的姿态数据。
在得到第一口腔位置数据和第二口腔位置数据之后，便能通过第一口腔位置数据和第二口腔位置数据，对应计算第一口腔位置到第二口腔位置的姿态数据。由于第一、二口腔位置数据可以用DCM矩阵，本发明实施例中，可以通过第一、二口腔位置对应的DCM矩阵，通过DCM方式计算得到姿态数据。
d、对第一口腔位置数据、第二口腔位置数据和姿态数据，进行相应的刷牙类型标注。
至此，已经得到一组第一口腔位置数据、第二口腔位置数据和姿态数据，随后对这些数据进行刷牙类型标注，包括刷牙动作类型和刷牙区域类型标注。例如，首先将电动牙刷从第一口腔位置运动至第二口腔位置，如从牙齿1移到牙齿2，将此过程获取到的第一口腔位置数据、第二口腔位置数据和姿态数据，对应标注的刷牙动作为牙齿1运动到牙齿2，刷牙区域为牙齿2，得到一组已标注运动数据和姿态数据。
e、改变刷牙动作并重复上述a-e，直至获取多组已标注运动数据和姿态数据，并将多组已标注运动数据和姿态数据，作为多组训练运动数据和训练姿态数据。
重复改变刷牙动作，获取每一组刷牙动作下对应的数据，可以得到多组已标注运动数据和姿态数据，并将多组已标注运动数据和姿态数据作为多组训练运动数据和训练姿态数据。具体可以参阅前述第一组训练运动数据和训练姿态数据的获取过程，在此不一一举例说明。
S22：对每组训练运动数据和训练姿态数据进行预处理，得到多组标准训练运动数据和标准训练姿态数据。
S23：通过多组标准训练运动数据和标准训练姿态数据，对神经网络进行训练，直至神经网络参数符合预设条件，得到神经网络模型。
对于步骤S22-S23，在得到多组训练运动数据和训练姿态数据，为了提高训练精度和效率等需求，需对每组训练运动数据和训练姿态数据进行预处理，得到多组标准训练运动数据和标准训练姿态数据。在一些实施方式中，上述预处理指的是对每组所述训练运动数据和训练姿态数据进行去噪和滤波处理，得到多组初始标准训练运动数据和初始标准训练姿态数据，具体地滤波处理方式本发明不做限定。并按照所述神经网络的输入要求，对每组所述初始标准训练运动数据和初始标准训练姿态数据进行切割处理，以符合神经网络的输入，得到多组所述标准训练运动数据和标准训练姿态数据。其中，示例性的，这里的切割处理指的是对部分数据进行裁剪或者整合，具体不做限定。
在得到多组标准训练运动数据和标准训练姿态数据，通过多组标准训练运动数据和标准训练姿态数据，对神经网络进行训练，直至神经网络参数符合预设条件，便能得到神经网络模型。需要说明的是，神经网络参数符合预设条件，指的是此时的神经网络收敛所对应的神经网络参数，或者是训练次数达到所需训练次数所对应的神经网络参数，具体本发明也不做限定。
可以看出，本发明中，一方面，通过去噪和滤波处理，可以减少干扰数据的影响，值得注意的是，还可以使得姿态解算过程前滤除了传感器的噪声和干扰，使得姿态数据更能体现各时刻刷牙动作的空间特征，有利于提高模型最后的检测精度，另一方面，对数据进行切割处理，使之符合神经网络的输入，减少模型输入数据，可以提高模型的训练效率和精度。
S30：通过所述神经网络模型检测用户的刷牙区域和刷牙动作。
在得到关于刷牙动作和刷牙区域的神经网络模型，最后通过该神经网络模型便能快速检测用户的刷牙区域和刷牙动作，具体地，用户刷牙过程中，电动牙刷可以实时获取到运动数据和姿态数据，输入至已训练好的神经网络模型中，从而使得神经网络模型实时检测用户的刷牙区域和刷牙动作。在一些实施例中，在用户的刷牙区域和刷牙动作之后，可以输出上述刷牙信息检测结果。
上述提供的基于神经网络的刷牙检测方法中，通过采集电动牙刷在口腔不同区域的运动数据和实时姿态数据；将运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型；最后通过神经网络模型检测用户的刷牙区域和刷牙动作，由于神经网络模型是电动牙刷在口腔不同区域的运动数据和实时姿态数据训练得到，其包括了电动牙刷在不同区域时的位置和姿态变化，在不同区域转换时，姿态数据能反映真实的刷牙动作和区域，通过神经网络模型能准确检测用户的刷牙区域和刷牙动作，能得到准确的刷牙信息，且在识别时，能够用相对较少的数据取得良好识别准确率，也无须需要人工介入调整匹配口腔，较为便利，具有较好的应用场景。
在一些实施例中，通过所述神经网络模型检测用户的刷牙区域和刷牙动作之后，所述方法还包括如下步骤：
S40：对预设时段内所述神经网络模型检测的刷牙区域和刷牙动作进行分析，得到所述用户的刷牙评估结果；
S50：输出所述刷牙评估结果。
对于步骤S40-S50，当用户使用电动牙刷时，通过上述基于神经网络的刷牙检测方法，可以实时检测到用户每天的刷牙信息检测结果，在该实施例中，可以在预设时间内(例如一周、一个月或三个月)的刷牙信息结果进行分析统计，最后得到用户的刷牙评估结果，给刷牙评估结果可以包括用户刷牙动作类别、个数、动作时序、动作轨迹等输出，在此基础上可进行用户刷牙动作评估，给用户提供更好的刷牙指导和建议。并输出至用户的手机等终端，便于用户查阅自己的刷牙状况，极大了提高了用户的使用体验，具有较好的应用场景。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于神经网络的刷牙检测装置，该刷牙检测装置与上述实施例中基于神经网络的刷牙检测方法一一对应。如图3所示，该刷牙检测装置包括采集模块301、训练模块302和检测模块303，各功能模块详细说明如下：
采集模块301，用于采集电动牙刷在口腔不同区域的运动数据和实时姿态数据；
训练模块302，用于将所述运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型；
检测模块303，用于通过所述神经网络模型检测用户的刷牙区域和刷牙动作。
在一实施例中，训练模块具体用于：
获取多组电动牙刷在不同区域的运动数据和姿态数据，并对每一组运动数据和姿态数据对应进行刷牙类型标注，得到多组训练运动数据和训练姿态数据，所述刷牙类型标注包括刷牙区域类型标注和刷牙动作类型标注；
对每组所述训练运动数据和训练姿态数据进行预处理，得到多组标准训练运动数据和标准训练姿态数据；
通过所述多组标准训练运动数据和标准训练姿态数据，对所述神经网络进行训练，直至所述神经网络参数符合预设条件，得到所述神经网络模型。
在一实施例中，训练模块具体用于：
a、获取第一口腔位置数据；
b、获取第二口腔位置数据；
c、通过所述第一口腔位置数据和第二口腔位置数据，对应计算所述第一口腔位置到所述第二口腔位置的姿态数据；
d、对所述第一口腔位置数据、第二口腔位置数据和姿态数据，进行相应的刷牙类型标注，得到已标注运动数据和姿态数据；
e、改变刷牙动作并重复上述a-e，直至获取多组已标注运动数据和姿态数据，并将所述多组已标注运动数据和姿态数据，作为所述多组训练运动数据和训练姿态数据。
在一实施例中，所述训练模块具体用于：
实时检测是否接收到所述电动牙刷贴于牙齿的第一贴面信号；
当接收到所述电动牙刷贴于牙齿的第一贴面信号时，采集当前的口腔位置数据作为所述第一口腔位置数据；
当接收到所述电动牙运动至下一位置的第二贴面信号时，采集当前的口腔位置数据作为所述第二口腔位置数据。
在一实施例中，通过方向余弦矩阵方式计算所述口腔位置数据和姿态数据。
在一实施例中，该装置还包括输出模块；
所述输出模块，用于对预设时段内所述神经网络模型检测的刷牙区域和刷牙动作进行分析，得到所述用户的刷牙评估结果；输出所述刷牙评估结果。
在一实施例中，所述训练模块用于：
对每组所述训练运动数据和训练姿态数据进行去噪和滤波处理，得到多组初始标准训练运动数据和初始标准训练姿态数据；
按照所述神经网络的输入要求，对每组所述初始标准训练运动数据和初始标准训练姿态数据进行切割处理，得到多组所述标准训练运动数据和标准训练姿态数据。
需要说明的是，上述神经网络模型也可以是服务器训练得到，刷牙检测装置直接通过已训练好的神经网络模型对用户的刷牙区域和刷牙动作进行检测，具体不做限定。
上述提供的基于神经网络的刷牙检测装置中，通过采集电动牙刷在口腔不同区域的运动数据和实时姿态数据；将运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型；最后通过神经网络模型检测用户的刷牙区域和刷牙动作，由于神经网络模型是电动牙刷在口腔不同区域的运动数据和实时姿态数据训练得到，其包括了电动牙刷在不同区域时的位置和姿态变化，在不同区域转换时，姿态数据能反映真实的刷牙动作和区域，通过神经网络模型能准确检测用户的刷牙区域和刷牙动作，能得到准确的刷牙信息，且在识别时，能够用相对较少的数据取得良好识别准确率，也无须需要人工介入调整匹配口腔，较为便利，具有较好的应用场景。
关于刷牙检测装置的具体限定可以参见上文中对于刷牙检测方法的限定，在此不再赘述。上述刷牙检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电动牙刷的处理器或微控制单元中，也可以以软件形式存储于电动牙刷中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电动牙刷，其内部结构图可以如图4所示。该电动牙刷包括通过系统总线连接的处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序。其中，该电动牙刷的处理器用于提供计算和控制能力。该电动牙刷的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种基于神经网络的刷牙检测方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上文所述的基于神经网络的刷牙检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于神经网络的刷牙检测方法，其特征在于，所述方法包括：
采集电动牙刷在口腔不同区域的运动数据和实时姿态数据；
将所述运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型；
通过所述神经网络模型检测用户的刷牙区域和刷牙动作。
2.如权利要求1所述的刷牙检测方法，其特征在于，所述神经网络模型通过如下方式获取：
获取多组电动牙刷在不同区域的运动数据和姿态数据，并对每一组运动数据和姿态数据对应进行刷牙类型标注，得到多组训练运动数据和训练姿态数据，所述刷牙类型标注包括刷牙区域类型标注和刷牙动作类型标注；
对每组所述训练运动数据和训练姿态数据进行预处理，得到多组标准训练运动数据和标准训练姿态数据；
通过所述多组标准训练运动数据和标准训练姿态数据，对所述神经网络进行训练，直至所述神经网络参数符合预设条件，得到所述神经网络模型。
3.如权利要求2所述的刷牙检测方法，其特征在于，所述获取多组电动牙刷在不同区域的运动数据和姿态数据，并对每一组运动数据和姿态数据对应进行刷牙类型标注，得到多组训练运动数据和训练姿态数据，包括：
a、获取第一口腔位置数据；
b、获取第二口腔位置数据；
c、通过所述第一口腔位置数据和第二口腔位置数据，对应计算所述第一口腔位置到所述第二口腔位置的姿态数据；
d、对所述第一口腔位置数据、第二口腔位置数据和姿态数据，进行相应的刷牙类型标注，得到已标注运动数据和姿态数据；
e、改变刷牙动作并重复上述a-e，直至获取多组已标注运动数据和姿态数据，并将所述多组已标注运动数据和姿态数据，作为所述多组训练运动数据和训练姿态数据。
4.如权利要求3所述的刷牙检测方法，其特征在于，所述获取第一口腔位置数据，包括：
实时检测是否接收到所述电动牙刷贴于牙齿的第一贴面信号；
当接收到所述电动牙刷贴于牙齿的第一贴面信号时，采集当前的口腔位置数据作为所述第一口腔位置数据；
所述获取第二口腔位置数据，包括：
当接收到所述电动牙运动至下一位置的第二贴面信号时，采集当前的口腔位置数据作为所述第二口腔位置数据。
5.如权利要求3或4所述的刷牙检测方法，其特征在于，通过方向余弦矩阵方式计算所述口腔位置数据和姿态数据。
6.如权利要求1-5任一项所述的刷牙检测方法，其特征在于，所述通过所述神经网络模型检测用户的刷牙区域和刷牙动作之后，所述方法还包括：
对预设时段内所述神经网络模型检测的刷牙区域和刷牙动作进行分析，得到所述用户的刷牙评估结果；
输出所述刷牙评估结果。
7.如权利要求2所述的刷牙检测方法，其特征在于，所述对每组所述训练运动数据和训练姿态数据进行预处理，得到多组标准训练运动数据和标准训练姿态数据，包括：
对每组所述训练运动数据和训练姿态数据进行去噪和滤波处理，得到多组初始标准训练运动数据和初始标准训练姿态数据；
按照所述神经网络的输入要求，对每组所述初始标准训练运动数据和初始标准训练姿态数据进行切割处理，得到多组所述标准训练运动数据和标准训练姿态数据。
8.一种基于神经网络的刷牙检测装置，其特征在于，所述装置包括：
采集模块，用于采集电动牙刷在口腔不同区域的运动数据和实时姿态数据；
训练模块，用于将所述运动数据和姿态数据输入神经网络进行训练，得到关于刷牙动作和刷牙区域的神经网络模型；
检测模块，用于通过所述神经网络模型检测用户的刷牙区域和刷牙动作。
9.一种电动牙刷，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述刷牙检测方法，或实现如权利要求8所述刷牙检测装置的功能。
10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述刷牙检测方法的步骤，或实现如权利要求8所述刷牙检测装置的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110296716.0A CN112884132B (zh) | 2021-03-19 | 2021-03-19 | 基于神经网络的刷牙检测方法、装置、电动牙刷及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110296716.0A CN112884132B (zh) | 2021-03-19 | 2021-03-19 | 基于神经网络的刷牙检测方法、装置、电动牙刷及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884132A true CN112884132A (zh) | 2021-06-01 |
| CN112884132B CN112884132B (zh) | 2024-04-30 |
Family
ID=76041456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110296716.0A Active CN112884132B (zh) | 2021-03-19 | 2021-03-19 | 基于神经网络的刷牙检测方法、装置、电动牙刷及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884132B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114699200A (zh) * | 2022-04-20 | 2022-07-05 | 中山极冠科技有限公司 | 一种基于传感器的牙齿区域识别算法的刷牙引导系统 |
| CN115331092A (zh) * | 2022-10-11 | 2022-11-11 | 成都佳发安泰教育科技股份有限公司 | 基于神经网络的违禁品位置探测方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107714227A (zh) * | 2017-11-15 | 2018-02-23 | 北京朗萌科技发展有限公司 | 刷牙行为的监控方法、装置和智能牙刷 |
| CN107811722A (zh) * | 2017-11-29 | 2018-03-20 | 薛开国 | 一种智能电动牙刷、牙刷空间姿态获取系统及方法 |
| CN108594640A (zh) * | 2018-03-28 | 2018-09-28 | 郭剑东 | 一种智能电动变频牙刷、控制系统及方法 |
| CN110495962A (zh) * | 2019-08-26 | 2019-11-26 | 赫比（上海）家用电器产品有限公司 | 监测牙刷位置的方法及其牙刷和设备 |
| CN111742327A (zh) * | 2018-02-19 | 2020-10-02 | 博朗有限公司 | 用于实施可移动处理装置的定位的设备和方法 |
-
2021
- 2021-03-19 CN CN202110296716.0A patent/CN112884132B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107714227A (zh) * | 2017-11-15 | 2018-02-23 | 北京朗萌科技发展有限公司 | 刷牙行为的监控方法、装置和智能牙刷 |
| CN107811722A (zh) * | 2017-11-29 | 2018-03-20 | 薛开国 | 一种智能电动牙刷、牙刷空间姿态获取系统及方法 |
| CN111742327A (zh) * | 2018-02-19 | 2020-10-02 | 博朗有限公司 | 用于实施可移动处理装置的定位的设备和方法 |
| CN108594640A (zh) * | 2018-03-28 | 2018-09-28 | 郭剑东 | 一种智能电动变频牙刷、控制系统及方法 |
| CN110495962A (zh) * | 2019-08-26 | 2019-11-26 | 赫比（上海）家用电器产品有限公司 | 监测牙刷位置的方法及其牙刷和设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114699200A (zh) * | 2022-04-20 | 2022-07-05 | 中山极冠科技有限公司 | 一种基于传感器的牙齿区域识别算法的刷牙引导系统 |
| CN114699200B (zh) * | 2022-04-20 | 2023-09-22 | 中山极冠科技有限公司 | 一种基于传感器的牙齿区域识别算法的刷牙引导系统 |
| CN115331092A (zh) * | 2022-10-11 | 2022-11-11 | 成都佳发安泰教育科技股份有限公司 | 基于神经网络的违禁品位置探测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112884132B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112884132A (zh) | 基于神经网络的刷牙检测方法、装置、电动牙刷及介质 | |
| CN108829232B (zh) | 基于深度学习的人体骨骼关节点三维坐标的获取方法 | |
| CN108904085B (zh) | 基于智能牙刷的刷牙评价方法、装置、设备及存储介质 | |
| US20200397346A1 (en) | Annotation method, annotation device, storage medium, and identification system | |
| US20210170580A1 (en) | Action imitation method and robot and computer readable medium using the same | |
| US20210090272A1 (en) | Method, system and computer readable storage media for registering intraoral measurements | |
| CN113516175B (zh) | 刷牙区域的识别方法、装置、刷牙设备和存储介质 | |
| CN112990321A (zh) | 基于树状网络的刷牙区域识别方法、装置、牙刷及介质 | |
| CN111685899A (zh) | 基于口内图像和三维模型的牙齿正畸治疗监测方法 | |
| CN107811722B (zh) | 一种智能电动牙刷、牙刷空间姿态获取系统及方法 | |
| CN107838917A (zh) | 机器人模拟装置 | |
| US11071372B2 (en) | System and method for detecting movement of a user of an oral health care device and providing feedback | |
| CN112101124A (zh) | 一种坐姿检测方法及装置 | |
| CN109758253A (zh) | 电动牙刷控制系统和方法 | |
| AT514490A1 (de) | System und Verfahren zur Bestimmung von Bewegungsmustern bei einer Zahnbehandlung | |
| CN113767424A (zh) | 使用沙漏预测器生成对象的方法 | |
| CN113995538A (zh) | 一种辅助智能电动牙刷精准定位刷头运行轨迹的方法 | |
| CN113902766A (zh) | 一种基于最短路径的牙齿三维模型分割方法及系统 | |
| CN114357753A (zh) | 一种可用于冲牙器的稳压控制系统 | |
| CN113096236A (zh) | 用于牙齿冠桥功能性咬合面的虚拟牙合架设计方法 | |
| CN116934821B (zh) | 一种个性化假牙三维图像模型配准方法及系统 | |
| CN115944277B (zh) | 基于数据分析的脉诊仪辅助诊脉系统 | |
| CN116630350B (zh) | 假发佩戴监测管理方法及系统 | |
| CN116035732A (zh) | 面中线及牙齿矫治位置的确定方法、制造方法及系统 | |
| CN113538396A (zh) | 一种基于注射针加工的计数提示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 206, Building 4, Software Industry Base, No. 19, 17, 18, Haitian 1st Road, Binhai Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong, 518000 Applicant after: Youpin International Science and Technology (Shenzhen) Co.,Ltd. Address before: 518000 room 304, wanwei building, No.5, Gongye 5th Road, Shekou street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: Youpin International Science and Technology (Shenzhen) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant |