CN107423669B - 一种基于视觉传感器的刷牙行为参数获取方法 - Google Patents

一种基于视觉传感器的刷牙行为参数获取方法 Download PDF

Info

Publication number
CN107423669B
CN107423669B CN201710253348.5A CN201710253348A CN107423669B CN 107423669 B CN107423669 B CN 107423669B CN 201710253348 A CN201710253348 A CN 201710253348A CN 107423669 B CN107423669 B CN 107423669B
Authority
CN
China
Prior art keywords
tooth brushing
brushing
oral cavity
behavior
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710253348.5A
Other languages
English (en)
Other versions
CN107423669A (zh
Inventor
刘智勇
柳振宇
杨旭
李川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guoke Zhitu Technology Co ltd
Original Assignee
Beijing Guoke Zhitu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guoke Zhitu Technology Co ltd filed Critical Beijing Guoke Zhitu Technology Co ltd
Priority to CN201710253348.5A priority Critical patent/CN107423669B/zh
Publication of CN107423669A publication Critical patent/CN107423669A/zh
Application granted granted Critical
Publication of CN107423669B publication Critical patent/CN107423669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Brushes (AREA)

Abstract

本发明公开了一种基于视觉传感器的刷牙行为参数获取方法，涉及智能算法领域。所述方法：获取视觉传感器捕获的发生的刷牙行为的序列图像，识别并跟踪序列图像中的刷牙主体和刷牙行为执行端；所述刷牙主体为刷牙行为人与口腔联动的部位；所述刷牙行为执行端包括执行刷牙行为的工具及与所述工具联动的部位；在所述刷牙主体和所述刷牙执行端的基础上，得到所述图片上的口腔和牙刷刷头的估计位置；完成所述序列图像中口腔和牙刷刷头的估计位置后，将估计结果整理得到牙刷刷头相对于口腔的真实运动轨迹；基于牙刷刷头的真实运动轨迹估算得到刷牙行为参数。本发明通过视觉传感器获取连续图像信息，然后利用人工智能算法，感知使用者刷牙行为参数，包括刷牙位置、方向、频率、时长等。

Description

一种基于视觉传感器的刷牙行为参数获取方法
技术领域
本发明涉及智能算法领域，尤其涉及一种基于视觉传感器的刷牙行为参数获取方法。
背景技术
刷牙行为参数估计是通过智能设备引导正确的刷牙行为，特别是培养儿童正确刷牙习惯的基础技术。目前公开方法均采用在牙刷上安装机电设备，然后通过陀螺仪、加速度计等传感器感知基本运动参数，通过单片机等微处理器实现在线计算，从而得到刷牙行为参数，如频率，方向等。但是现有方法存在三个显著缺陷：
第一是成本高，由于附加机电设备，增加牙刷造价；
第二是便捷性低，由于牙刷体积增加，使得握持不够方便，尤其是对于儿童；
第三是参数有限，由于现有方法仅能感知牙刷运动，不能感知刷牙主体本身的状态，所述主体为儿童或成人，因此可以感知的刷牙行为参数有限，比如不能估计重要的刷头位置参数。
发明内容
本发明的目的在于提供一种基于视觉传感器的刷牙行为参数获取方法，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明所述基于视觉传感器的刷牙行为参数获取方法，所述方法包括：
S1，获取视觉传感器捕获的发生的刷牙行为的序列图像，识别并跟踪序列图像中的刷牙主体和刷牙行为执行端；所述刷牙主体为刷牙行为人与口腔联动的部位；所述刷牙行为执行端包括执行刷牙行为的工具及与所述工具联动的部位；
S2，在所述刷牙主体和所述刷牙执行端的基础上，得到所述图片上的口腔和牙刷刷头的估计位置；
S3，完成所述序列图像中口腔和牙刷刷头的估计位置后，将估计结果整理得到牙刷刷头相对于口腔的真实运动轨迹；
S4，基于牙刷刷头的真实运动轨迹估算得到刷牙行为参数；
所述刷牙行为参数包括：牙刷刷头位置、牙刷刷头方向、刷牙频率和刷牙时长。
优选地，步骤S1，所述识别所述图片中的刷牙主体，具体为：
通过关键部位与关键特征识别得到所述图片中的刷牙主体；
所述关键部位包括：刷牙行为人的脸部、五官、颈部和肩部；
所述关键特征包括：刷牙行为人脸部关键特征点、身体轮廓和皮肤颜色。
更优选地，在进行刷牙主体识别前，先判断所述图片中刷牙行为人在图片中所占的区域是否超过预先设置的阈值，如果是，则所述图片的背景单一；如果否，则所述图片的背景复杂；
所述图片的背景单一时，将所述脸部作为关键部位，将所述脸部关键特征点作为关键特征进行刷牙主体的识别；
所述图片的背景复杂时，将所述脸部作为关键部位，将所述脸部关键特征点、所述人脸部关键特征点、所述身体轮廓和皮肤颜色作为关键特征进行刷牙主体的识别。
优选地，步骤S1，识别所述刷牙行为执行端，具体为：
通过执行刷牙行为的工具本体、与所述工具本体联动的部位、附着在工具上的特定视觉标识块中的任意一种或几种的组合进行刷牙行为执行端的识别；
与所述工具本体联动的部位包括刷牙行为人的手部、腕部和前臂；
所述特定视觉标识块附着在执行刷牙行为的工具本体，具有显著的颜色和显著的几何特征。
更优选地，在进行识别所述刷牙行为执行端前，先判断所述图片中执行刷牙行为的工具本体的形状是否为预先存储的样式，如果是，则通过执行刷牙行为的工具本体、与所述工具本体联动的部位的任意一种或两者的组合进行刷牙行为执行端的识别；如果否，则通过执行刷牙行为的工具本体、与所述工具本体联动的部位和附着在工具本体上的特定视觉标识块的组合进行刷牙行为执行端的识别。
优选地，步骤S2和S3，具体按照下述步骤实现：
在所述刷牙主体和所述刷牙执行端的基础上，首先估算得到所述图片中的口腔图像和口腔物理世界位置；
然后估算得到所述图片中的牙刷刷头在口腔中的图像和所述刷头的物理世界位置；
接着；完成所述序列图像中口腔和牙刷刷头的估计位置；
最后，根据序列图像中的口腔图像、口腔物理世界位置、牙刷刷头在口腔中的图像和牙刷刷头的物理世界位置，获得所述牙刷刷头相对于所述口腔的真实运动轨迹。
更优选地，所述图片中的口腔图像和口腔物理世界位置是根据口腔与刷牙主体和刷牙行为执行端的空间位置统计关联估算得到的。
更优选地，所述牙刷刷头位置表示一段时间内牙刷刷头位于口腔的区域；
所述牙刷刷头方向表示一段时间内刷头相对于口腔的运动朝向；
所述刷牙频率表示单位时间内刷头周期性往返的次数。
本发明的有益效果是：
本发明通过视觉传感器获取连续图像信息，然后利用人工智能算法，感知使用者刷牙行为参数，包括刷牙位置、方向、频率、时长等。
附图说明
图1是基于视觉传感器的刷牙行为参数获取方法的流程示意图；
图2是行为主体与刷牙行为执行端示意图的实例示意图；
图3是口腔坐标系示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
实施例
本实施例基于视觉传感器的刷牙行为参数获取方法，所述方法包括：
S1，获取视觉传感器捕获的发生的刷牙行为的序列图像，识别序列图像中的刷牙主体和刷牙行为执行端；所述刷牙主体为刷牙行为人与口腔联动的部位；所述刷牙行为执行端为执行刷牙行为的牙刷及牙刷联动部位；
S2，在所述刷牙主体和所述刷牙执行端的基础上，得到所述图片上的口腔和牙刷刷头的估计位置；
S3，完成所述序列图像中口腔和牙刷刷头的估计位置后，将所有图片的估计结果整理得到牙刷刷头相对于口腔的真实运动轨迹；
S4，基于牙刷刷头的真实运动轨迹估算得到刷牙行为参数；
所述刷牙行为参数包括：牙刷刷头位置、牙刷刷头方向、刷牙频率和刷牙时长。
更详细的解释说明：
(一)主体识别是口腔的物理世界定位的前提。
步骤S1，所述识别所述图片中的刷牙主体，具体为：通过关键部位与关键特征识别得到所述图片中的刷牙主体；所述关键部位包括：刷牙行为人的脸部、五官、颈部和肩部；所述关键特征包括：刷牙行为人脸部关键特征点、身体轮廓和皮肤颜色。
在进行刷牙主体识别前，先判断所述图片中刷牙行为人在图片中所占的区域是否超过预先设置的阈值，如果是，则所述图片的背景单一；如果否，则所述图片的背景复杂；
所述图片的背景单一时，将所述脸部作为关键部位，将所述脸部关键特征点作为关键特征进行刷牙主体的识别；
所述图片的背景复杂时，将所述脸部作为关键部位，将所述脸部关键特征点、所述人脸部关键特征点、所述身体轮廓和皮肤颜色作为关键特征进行刷牙主体的识别。
(二)刷牙行为执行端的识别是实现刷头相对于口腔在物理世界定位的前提。
步骤S1，识别所述刷牙行为执行端，具体为：
通过牙刷本体、牙刷联动部位、附着在牙刷上的特定视觉标识块中的任意一种或几种的组合进行刷牙行为执行端的识别；
所述牙刷联动部位包括刷牙行为人的手部、腕部和前臂；
所述特定视觉标识块附着在牙刷本体上，具有显著的颜色和显著的几何特征。
在进行识别所述刷牙行为执行端前，先判断所述图片中牙刷本体的形状是否为预先存储的样式，如果是，则通过牙刷本体、牙刷联动部位的任意一种或两者的组合进行刷牙行为执行端的识别；如果否，则通过牙刷本体、牙刷联动部位和附着在牙刷上的特定视觉标识块的组合进行刷牙行为执行端的识别。
(三)步骤S2和S3，具体按照下述步骤实现：
在所述刷牙主体和所述刷牙执行端的基础上，首先估算得到所述图片中的口腔图像和口腔物理世界位置；
然后估算得到所述图片中的牙刷刷头在口腔中的图像和所述刷头的物理世界位置；
接着；完成所述序列图像中口腔和牙刷刷头的估计位置；
最后，根据序列图像中的口腔图像、口腔物理世界位置、牙刷刷头在口腔中的图像和牙刷刷头的物理世界位置，获得所述牙刷刷头相对于所述口腔的真实运动轨迹。
所述图片中的口腔图像和口腔物理世界位置是根据口腔与刷牙主体和刷牙行为执行端的空间位置统计关联估算得到的。
所述牙刷刷头位置表示一段时间内牙刷刷头位于口腔的区域；位置参数L由三维向量表示，其中每一维对应口腔坐标系的一个空间方向度量，如图3所示从横向维度来看，分为左部，中部，与右部；从纵向维度来看，分为上部与下部；从垂直于横向与纵向的为方向维度来看，分为内部，中部，与外部。
所述牙刷刷头方向表示一段时间内刷头相对于口腔的运动朝向；方向参数R由二维向量表示，分别对应口腔坐标系的横向与纵向，如图3所示；
所述刷牙频率表示单位时间内刷头周期性往返的次数。刷牙时长T指时长T指刷牙行为的时长。所述刷牙行为参数还包括刷牙行为发生的次数。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
本发明摒弃现有方法在牙刷上附加机电设备的技术路线，采用基于视觉传感器的刷牙行为参数获取方法，通过结合带有视觉传感器的智能设备，如手机、平板电脑等，有效降低成本，提高便捷性，并能得到更完备的刷牙行为参数。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种基于视觉传感器的刷牙行为参数获取方法，其特征在于，所述方法包括：
S1，获取视觉传感器捕获的发生的刷牙行为的序列图像，识别并跟踪序列图像中的刷牙主体和刷牙行为执行端；所述刷牙主体为刷牙行为人与口腔联动的部位；所述刷牙行为执行端包括执行刷牙行为的工具及与所述工具联动的部位；
S2，在所述刷牙主体和所述刷牙执行端的基础上，得到所述序列图像上的口腔和牙刷刷头的估计位置；
S3，完成所述序列图像中口腔和牙刷刷头的估计位置后，将估计结果整理得到牙刷刷头相对于口腔的真实运动轨迹；
S4，基于牙刷刷头的真实运动轨迹估算得到刷牙行为参数；
所述刷牙行为参数包括：牙刷刷头位置、牙刷刷头方向、刷牙频率和刷牙时长；
步骤S2和S3，具体按照下述步骤实现：
在所述刷牙主体和所述刷牙执行端的基础上，首先估算得到所述序列图像中的口腔图像和口腔物理世界位置；
然后估算得到所述序列图像中的牙刷刷头在口腔中的图像和所述刷头的物理世界位置；
接着；完成所述序列图像中口腔和牙刷刷头的估计位置；
最后，根据序列图像中的口腔图像、口腔物理世界位置、牙刷刷头在口腔中的图像和牙刷刷头的物理世界位置，获得所述牙刷刷头相对于所述口腔的真实运动轨迹；
所述牙刷刷头位置表示一段时间内牙刷刷头位于口腔的区域；位置参数L由三维向量表示，其中每一维对应口腔坐标系的一个空间方向度量，从横向维度来看，分为左部，中部，与右部；从纵向维度来看，分为上部与下部；从垂直于横向与纵向的为方向维度来看，分为内部，中部，与外部；
所述牙刷刷头方向表示一段时间内刷头相对于口腔的运动朝向；方向参数R由二维向量表示，分别对应口腔坐标系的横向与纵向。
2.根据权利要求1所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，步骤S1，所述识别所述序列图像中的刷牙主体，具体为：
通过关键部位与关键特征识别得到所述序列图像中的刷牙主体；
所述关键部位包括：刷牙行为人的脸部、五官、颈部和肩部；
所述关键特征包括：刷牙行为人脸部关键特征点、身体轮廓和皮肤颜色。
3.根据权利要求2所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，在进行刷牙主体识别前，先判断所述序列图像中刷牙行为人在序列图像中所占的区域是否超过预先设置的阈值，如果是，则所述序列图像的背景单一；如果否，则所述序列图像的背景复杂；
所述序列图像的背景单一时，将所述脸部作为关键部位，将所述脸部关键特征点作为关键特征进行刷牙主体的识别；
所述序列图像的背景复杂时，将所述脸部作为关键部位，将所述脸部关键特征点、所述人脸部关键特征点、所述身体轮廓和皮肤颜色作为关键特征进行刷牙主体的识别。
4.根据权利要求1所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，步骤S1，识别所述刷牙行为执行端，具体为：
通过执行刷牙行为的工具本体、与所述工具本体联动的部位、附着在工具上的特定视觉标识块中的任意一种或几种的组合进行刷牙行为执行端的识别；
与所述工具本体联动的部位包括刷牙行为人的手部、腕部和前臂；
所述特定视觉标识块附着在执行刷牙行为的工具本体，具有显著的颜色和显著的几何特征。
5.根据权利要求4所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，在进行识别所述刷牙行为执行端前，先判断所述序列图像中执行刷牙行为的工具本体的形状是否为预先存储的样式，如果是，则通过执行刷牙行为的工具本体、与所述工具本体联动的部位的任意一种或两者的组合进行刷牙行为执行端的识别；如果否，则通过执行刷牙行为的工具本体、与所述工具本体联动的部位和附着在工具本体上的特定视觉标识块的组合进行刷牙行为执行端的识别。
6.根据权利要求1所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，所述序列图像中的口腔图像和口腔物理世界位置是根据口腔与刷牙主体和刷牙行为执行端的空间位置统计关联估算得到的。
7.根据权利要求1所述基于视觉传感器的刷牙行为参数获取方法，其特征在于，所述刷牙频率表示单位时间内刷头周期性往返的次数。
CN201710253348.5A 2017-04-18 2017-04-18 一种基于视觉传感器的刷牙行为参数获取方法 Active CN107423669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710253348.5A CN107423669B (zh) 2017-04-18 2017-04-18 一种基于视觉传感器的刷牙行为参数获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710253348.5A CN107423669B (zh) 2017-04-18 2017-04-18 一种基于视觉传感器的刷牙行为参数获取方法

Publications (2)

Publication Number Publication Date
CN107423669A CN107423669A (zh) 2017-12-01
CN107423669B true CN107423669B (zh) 2020-12-29

Family

ID=60424179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710253348.5A Active CN107423669B (zh) 2017-04-18 2017-04-18 一种基于视觉传感器的刷牙行为参数获取方法

Country Status (1)

Country Link
CN (1) CN107423669B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596162A (zh) * 2018-07-02 2018-09-28 孟薇 一种刷牙监测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630363A (zh) * 2009-07-13 2010-01-20 中国船舶重工集团公司第七○九研究所 复杂背景下彩色图像人脸的快速检测方法
CN102406502A (zh) * 2011-12-12 2012-04-11 苏州科雷芯电子科技有限公司 一种基于视觉技术的呼吸监测装置
WO2016020803A1 (en) * 2014-08-04 2016-02-11 Sarubbo Davide A system for checking a correct oral hygiene procedure
CN106333480A (zh) * 2016-11-02 2017-01-18 郑洪� 刷牙监测设备、刷牙监测方法及刷牙监测系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0109444D0 (en) * 2001-04-17 2001-06-06 Unilever Plc Toothbrush usage monitoring system
DE10224043A1 (de) * 2002-05-31 2003-12-18 Braun Gmbh Verfahren und Vorrichtung zur Zahnreinigung
JP6599656B2 (ja) * 2015-06-18 2019-10-30 オムロンヘルスケア株式会社 電動歯ブラシ及びブラッシング部位推定方法
CN105615285B (zh) * 2016-01-06 2018-01-12 京东方科技集团股份有限公司 一种口腔状况监测方法、装置及牙刷

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630363A (zh) * 2009-07-13 2010-01-20 中国船舶重工集团公司第七○九研究所 复杂背景下彩色图像人脸的快速检测方法
CN102406502A (zh) * 2011-12-12 2012-04-11 苏州科雷芯电子科技有限公司 一种基于视觉技术的呼吸监测装置
WO2016020803A1 (en) * 2014-08-04 2016-02-11 Sarubbo Davide A system for checking a correct oral hygiene procedure
CN106333480A (zh) * 2016-11-02 2017-01-18 郑洪� 刷牙监测设备、刷牙监测方法及刷牙监测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
低分辨率人脸识别算法研究;王智飞;《中国博士学位论文全文数据库 信息科技辑》;20130115(第1期);正文第114-116页5.2.2-5.2.3节 *

Also Published As

Publication number Publication date
CN107423669A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
AU2023202724B2 (en) Oral hygiene systems and methods
Hesse et al. Computer vision for medical infant motion analysis: State of the art and rgb-d data set
Yoo et al. Automated markerless analysis of human gait motion for recognition and classification
Parameswaran et al. View invariance for human action recognition
US9058663B2 (en) Modeling human-human interactions for monocular 3D pose estimation
CN110363867A (zh) 虚拟装扮系统、方法、设备及介质
JP2005505063A (ja) ４つの特徴点からの頭部運動推定
Zhong et al. Pedestrian motion trajectory prediction with stereo-based 3D deep pose estimation and trajectory learning
CN111582158A (zh) 一种基于人体姿态估计的摔倒检测方法
CN107811722B (zh) 一种智能电动牙刷、牙刷空间姿态获取系统及方法
CN111724877A (zh) 刷牙评价方法及装置、电子设备和存储介质
US20210035326A1 (en) Human pose estimation system
CN107423669B (zh) 一种基于视觉传感器的刷牙行为参数获取方法
Jatesiktat et al. Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units
Razzaq et al. Unskem: unobtrusive skeletal-based emotion recognition for user experience
Saboune et al. Markerless human motion capture for gait analysis
Iwasawa et al. Human body postures from trinocular camera images
US20240087142A1 (en) Motion tracking of a toothcare appliance
CN110705496B (zh) 一种基于九轴传感器的游泳姿势识别方法
Marcon et al. Smart toothbrushes: inertial measurement sensors fusion with visual tracking
JP5048381B2 (ja) 三次元形状復元装置
Yan et al. A neural network model for learning to represent 3D objects via tactile exploration.
Mamania et al. Markerless Motion Capture from Monocular Videos.
Wu et al. The Visual Footsteps Planning System for Exoskeleton Robots Under Complex Terrain
CN117911592B (zh) 一种动作修正模型的训练方法及动作驱动方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant