CN107423669A - 一种基于视觉传感器的刷牙行为参数获取方法 - Google Patents

Abstract

本发明公开了一种基于视觉传感器的刷牙行为参数获取方法，涉及智能算法领域。所述方法：获取视觉传感器捕获的发生的刷牙行为的序列图像，识别并跟踪序列图像中的刷牙主体和刷牙行为执行端；所述刷牙主体为刷牙行为人与口腔联动的部位；所述刷牙行为执行端包括执行刷牙行为的工具及与所述工具联动的部位；在所述刷牙主体和所述刷牙执行端的基础上，得到所述图片上的口腔和牙刷刷头的估计位置；完成所述序列图像中口腔和牙刷刷头的估计位置后，将估计结果整理得到牙刷刷头相对于口腔的真实运动轨迹；基于牙刷刷头的真实运动轨迹估算得到刷牙行为参数。本发明通过视觉传感器获取连续图像信息，然后利用人工智能算法，感知使用者刷牙行为参数，包括刷牙位置、方向、频率、时长等。

Description

一种基于视觉传感器的刷牙行为参数获取方法

技术领域

本发明涉及智能算法领域，尤其涉及一种基于视觉传感器的刷牙行为参数获取方法。

背景技术

刷牙行为参数估计是通过智能设备引导正确的刷牙行为，特别是培养儿童正确刷牙习惯的基础技术。目前公开方法均采用在牙刷上安装机电设备，然后通过陀螺仪、加速度计等传感器感知基本运动参数，通过单片机等微处理器实现在线计算，从而得到刷牙行为参数，如频率，方向等。但是现有方法存在三个显著缺陷：

第一是成本高，由于附加机电设备，增加牙刷造价；

第二是便捷性低，由于牙刷体积增加，使得握持不够方便，尤其是对于儿童；

第三是参数有限，由于现有方法仅能感知牙刷运动，不能感知刷牙主体本身的状态，所述主体为儿童或成人，因此可以感知的刷牙行为参数有限，比如不能估计重要的刷头位置参数。

发明内容

本发明的目的在于提供一种基于视觉传感器的刷牙行为参数获取方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明所述基于视觉传感器的刷牙行为参数获取方法，所述方法包括：

S1，获取视觉传感器捕获的发生的刷牙行为的序列图像，识别并跟踪序列图像中的刷牙主体和刷牙行为执行端；所述刷牙主体为刷牙行为人与口腔联动的部位；所述刷牙行为执行端包括执行刷牙行为的工具及与所述工具联动的部位；

S2，在所述刷牙主体和所述刷牙执行端的基础上，得到所述图片上的口腔和牙刷刷头的估计位置；

S3，完成所述序列图像中口腔和牙刷刷头的估计位置后，将估计结果整理得到牙刷刷头相对于口腔的真实运动轨迹；

S4，基于牙刷刷头的真实运动轨迹估算得到刷牙行为参数；

所述刷牙行为参数包括：牙刷刷头位置、牙刷刷头方向、刷牙频率和刷牙时长。

优选地，步骤S1，所述识别所述图片中的刷牙主体，具体为：

通过关键部位与关键特征识别得到所述图片中的刷牙主体；

所述关键部位包括：刷牙行为人的脸部、五官、颈部和肩部；

所述关键特征包括：刷牙行为人脸部关键特征点、身体轮廓和皮肤颜色。

更优选地，在进行刷牙主体识别前，先判断所述图片中刷牙行为人在图片中所占的区域是否超过预先设置的阈值，如果是，则所述图片的背景单一；如果否，则所述图片的背景复杂；

所述图片的背景单一时，将所述脸部作为关键部位，将所述脸部关键特征点作为关键特征进行刷牙主体的识别；

所述图片的背景复杂时，将所述脸部作为关键部位，将所述脸部关键特征点、所述人脸部关键特征点、所述身体轮廓和皮肤颜色作为关键特征进行刷牙主体的识别。

优选地，步骤S1，识别所述刷牙行为执行端，具体为：

通过执行刷牙行为的工具本体、与所述工具本体联动的部位、附着在工具上的特定视觉标识块中的任意一种或几种的组合进行刷牙行为执行端的识别；

与所述工具本体联动的部位包括刷牙行为人的手部、腕部和前臂；

所述特定视觉标识块附着在执行刷牙行为的工具本体，具有显著的颜色和显著的几何特征。

更优选地，在进行识别所述刷牙行为执行端前，先判断所述图片中执行刷牙行为的工具本体的形状是否为预先存储的样式，如果是，则通过执行刷牙行为的工具本体、与所述工具本体联动的部位的任意一种或两者的组合进行刷牙行为执行端的识别；如果否，则通过执行刷牙行为的工具本体、与所述工具本体联动的部位和附着在工具本体上的特定视觉标识块的组合进行刷牙行为执行端的识别。

优选地，步骤S2和S3，具体按照下述步骤实现：

在所述刷牙主体和所述刷牙执行端的基础上，首先估算得到所述图片中的口腔图像和口腔物理世界位置；

然后估算得到所述图片中的牙刷刷头在口腔中的图像和所述刷头的物理世界位置；

接着；完成所述序列图像中口腔和牙刷刷头的估计位置；

最后，根据序列图像中的口腔图像、口腔物理世界位置、牙刷刷头在口腔中的图像和牙刷刷头的物理世界位置，获得所述牙刷刷头相对于所述口腔的真实运动轨迹。

更优选地，所述图片中的口腔图像和口腔物理世界位置是根据口腔与刷牙主体和刷牙行为执行端的空间位置统计关联估算得到的。

更优选地，所述牙刷刷头位置表示一段时间内牙刷刷头位于口腔的区域；

所述牙刷刷头方向表示一段时间内刷头相对于口腔的运动朝向；

所述刷牙频率表示单位时间内刷头周期性往返的次数。

本发明的有益效果是：

本发明通过视觉传感器获取连续图像信息，然后利用人工智能算法，感知使用者刷牙行为参数，包括刷牙位置、方向、频率、时长等。

附图说明

图1是基于视觉传感器的刷牙行为参数获取方法的流程示意图；

图2是行为主体与刷牙行为执行端示意图的实例示意图；

图3是口腔坐标系示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例

本实施例基于视觉传感器的刷牙行为参数获取方法，所述方法包括：

S1，获取视觉传感器捕获的发生的刷牙行为的序列图像，识别序列图像中的刷牙主体和刷牙行为执行端；所述刷牙主体为刷牙行为人与口腔联动的部位；所述刷牙行为执行端为执行刷牙行为的牙刷及牙刷联动部位；

S2，在所述刷牙主体和所述刷牙执行端的基础上，得到所述图片上的口腔和牙刷刷头的估计位置；

S3，完成所述序列图像中口腔和牙刷刷头的估计位置后，将所有图片的估计结果整理得到牙刷刷头相对于口腔的真实运动轨迹；

S4，基于牙刷刷头的真实运动轨迹估算得到刷牙行为参数；

所述刷牙行为参数包括：牙刷刷头位置、牙刷刷头方向、刷牙频率和刷牙时长。

更详细的解释说明：

(一)主体识别是口腔的物理世界定位的前提。

步骤S1，所述识别所述图片中的刷牙主体，具体为：通过关键部位与关键特征识别得到所述图片中的刷牙主体；所述关键部位包括：刷牙行为人的脸部、五官、颈部和肩部；所述关键特征包括：刷牙行为人脸部关键特征点、身体轮廓和皮肤颜色。

在进行刷牙主体识别前，先判断所述图片中刷牙行为人在图片中所占的区域是否超过预先设置的阈值，如果是，则所述图片的背景单一；如果否，则所述图片的背景复杂；

所述图片的背景单一时，将所述脸部作为关键部位，将所述脸部关键特征点作为关键特征进行刷牙主体的识别；

所述图片的背景复杂时，将所述脸部作为关键部位，将所述脸部关键特征点、所述人脸部关键特征点、所述身体轮廓和皮肤颜色作为关键特征进行刷牙主体的识别。

(二)刷牙行为执行端的识别是实现刷头相对于口腔在物理世界定位的前提。

步骤S1，识别所述刷牙行为执行端，具体为：

通过牙刷本体、牙刷联动部位、附着在牙刷上的特定视觉标识块中的任意一种或几种的组合进行刷牙行为执行端的识别；

所述牙刷联动部位包括刷牙行为人的手部、腕部和前臂；

所述特定视觉标识块附着在牙刷本体上，具有显著的颜色和显著的几何特征。

在进行识别所述刷牙行为执行端前，先判断所述图片中牙刷本体的形状是否为预先存储的样式，如果是，则通过牙刷本体、牙刷联动部位的任意一种或两者的组合进行刷牙行为执行端的识别；如果否，则通过牙刷本体、牙刷联动部位和附着在牙刷上的特定视觉标识块的组合进行刷牙行为执行端的识别。

(三)步骤S2和S3，具体按照下述步骤实现：

在所述刷牙主体和所述刷牙执行端的基础上，首先估算得到所述图片中的口腔图像和口腔物理世界位置；

然后估算得到所述图片中的牙刷刷头在口腔中的图像和所述刷头的物理世界位置；

接着；完成所述序列图像中口腔和牙刷刷头的估计位置；

最后，根据序列图像中的口腔图像、口腔物理世界位置、牙刷刷头在口腔中的图像和牙刷刷头的物理世界位置，获得所述牙刷刷头相对于所述口腔的真实运动轨迹。

所述图片中的口腔图像和口腔物理世界位置是根据口腔与刷牙主体和刷牙行为执行端的空间位置统计关联估算得到的。

所述牙刷刷头位置表示一段时间内牙刷刷头位于口腔的区域；位置参数L由三维向量表示，其中每一维对应口腔坐标系的一个空间方向度量，如图3所示从横向维度来看，分为左部，中部，与右部；从纵向维度来看，分为上部与下部；从垂直于横向与纵向的为方向维度来看，分为内部，中部，与外部。

所述牙刷刷头方向表示一段时间内刷头相对于口腔的运动朝向；方向参数R由二维向量表示，分别对应口腔坐标系的横向与纵向，如图3所示；

所述刷牙频率表示单位时间内刷头周期性往返的次数。刷牙时长T指时长T指刷牙行为的时长。所述刷牙行为参数还包括刷牙行为发生的次数。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明摒弃现有方法在牙刷上附加机电设备的技术路线，采用基于视觉传感器的刷牙行为参数获取方法，通过结合带有视觉传感器的智能设备，如手机、平板电脑等，有效降低成本，提高便捷性，并能得到更完备的刷牙行为参数。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (8)

1.一种基于视觉传感器的刷牙行为参数获取方法，其特征在于，所述方法包括：

S1，获取视觉传感器捕获的发生的刷牙行为的序列图像，识别并跟踪序列图像中的刷牙主体和刷牙行为执行端；所述刷牙主体为刷牙行为人与口腔联动的部位；所述刷牙行为执行端包括执行刷牙行为的工具及与所述工具联动的部位；

S2，在所述刷牙主体和所述刷牙执行端的基础上，得到所述图片上的口腔和牙刷刷头的估计位置；

S3，完成所述序列图像中口腔和牙刷刷头的估计位置后，将估计结果整理得到牙刷刷头相对于口腔的真实运动轨迹；

S4，基于牙刷刷头的真实运动轨迹估算得到刷牙行为参数；

所述刷牙行为参数包括：牙刷刷头位置、牙刷刷头方向、刷牙频率和刷牙时长。

2.根据权利要求1所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，步骤S1，所述识别所述图片中的刷牙主体，具体为：

通过关键部位与关键特征识别得到所述图片中的刷牙主体；

所述关键部位包括：刷牙行为人的脸部、五官、颈部和肩部；

所述关键特征包括：刷牙行为人脸部关键特征点、身体轮廓和皮肤颜色。

3.根据权利要求2所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，在进行刷牙主体识别前，先判断所述图片中刷牙行为人在图片中所占的区域是否超过预先设置的阈值，如果是，则所述图片的背景单一；如果否，则所述图片的背景复杂；

所述图片的背景单一时，将所述脸部作为关键部位，将所述脸部关键特征点作为关键特征进行刷牙主体的识别；

所述图片的背景复杂时，将所述脸部作为关键部位，将所述脸部关键特征点、所述人脸部关键特征点、所述身体轮廓和皮肤颜色作为关键特征进行刷牙主体的识别。

4.根据权利要求1所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，步骤S1，识别所述刷牙行为执行端，具体为：

通过执行刷牙行为的工具本体、与所述工具本体联动的部位、附着在工具上的特定视觉标识块中的任意一种或几种的组合进行刷牙行为执行端的识别；

与所述工具本体联动的部位包括刷牙行为人的手部、腕部和前臂；

所述特定视觉标识块附着在执行刷牙行为的工具本体，具有显著的颜色和显著的几何特征。

5.根据权利要求4所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，在进行识别所述刷牙行为执行端前，先判断所述图片中执行刷牙行为的工具本体的形状是否为预先存储的样式，如果是，则通过执行刷牙行为的工具本体、与所述工具本体联动的部位的任意一种或两者的组合进行刷牙行为执行端的识别；如果否，则通过执行刷牙行为的工具本体、与所述工具本体联动的部位和附着在工具本体上的特定视觉标识块的组合进行刷牙行为执行端的识别。

6.根据权利要求1所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，步骤S2和S3，具体按照下述步骤实现：

在所述刷牙主体和所述刷牙执行端的基础上，首先估算得到所述图片中的口腔图像和口腔物理世界位置；

然后估算得到所述图片中的牙刷刷头在口腔中的图像和所述刷头的物理世界位置；

接着；完成所述序列图像中口腔和牙刷刷头的估计位置；

最后，根据序列图像中的口腔图像、口腔物理世界位置、牙刷刷头在口腔中的图像和牙刷刷头的物理世界位置，获得所述牙刷刷头相对于所述口腔的真实运动轨迹。

7.根据权利要求6所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，所述图片中的口腔图像和口腔物理世界位置是根据口腔与刷牙主体和刷牙行为执行端的空间位置统计关联估算得到的。

8.根据权利要求6所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，所述牙刷刷头位置表示一段时间内牙刷刷头位于口腔的区域；

所述牙刷刷头方向表示一段时间内刷头相对于口腔的运动朝向；

所述刷牙频率表示单位时间内刷头周期性往返的次数。