CN107949298A - 确定用户当前被护理的身体部分 - Google Patents

确定用户当前被护理的身体部分 Download PDF

Info

Publication number
CN107949298A
CN107949298A CN201680051862.4A CN201680051862A CN107949298A CN 107949298 A CN107949298 A CN 107949298A CN 201680051862 A CN201680051862 A CN 201680051862A CN 107949298 A CN107949298 A CN 107949298A
Authority
CN
China
Prior art keywords
user
candidate
body part
analyzer
pictured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680051862.4A
Other languages
English (en)
Inventor
I·凡特
H·里克
C·施图克拉斯
J-U·格巴斯
J·塞茨
A·厄恩斯特
M·博克施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Braun GmbH
Original Assignee
Braun GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=54072710&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN107949298(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Braun GmbH filed Critical Braun GmbH
Publication of CN107949298A publication Critical patent/CN107949298A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A46B15/0006—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means with a controlling brush technique device, e.g. stroke movement measuring device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/102—Brush specifically designed for massaging the skin or scalp
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/1066—Toothbrush for cleaning the teeth or dentures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Brushes (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供了一种方法，所述方法将以下两项结合用来确定使用个人卫生装置来护理的当前护理身体部分：用户在使用个人卫生装置对他/她的身体部分进行护理之时的图片化图示、以及从位于所述个人卫生装置中至少一个惯性传感器获得的传感器数据。可以较低的成本实现对摄像头和惯性传感器的提供。结合用于确定当前护理的所述用户身体部分的所述两项源在以下方面彼此互补：一项源弥补了另一项源的不足，反之亦然。

Description

确定用户当前被护理的身体部分
技术领域
本发明涉及确定用户使用个人卫生装置诸如(例如)牙刷护理的用户身体部分的概念。
背景技术
众所周知，由于各种原因，人们对“智能装置”市场的兴趣越来越浓，这些“智能装置”有助于用户正确操作相应装置。例如，“智能牙刷”可解除父母不得不检查他们的孩子们是否听话地刷了他们牙齿的负担。例如，从时间和频率立场以及正确刷洗技术与覆盖面而言，人类应当定期按照正确的方式刷洗他们的牙齿，诸如，一天两次，每次2分钟，刷遍所有牙齿，并且在2分钟内平均刷洗各个牙齿。
因此，存在对以下概念的需求：实现对带有智能功能的个人卫生装置诸如牙刷、剃须刀等的提供。然而，为了获得充足的市场认可度，此概念的实现方式应当简单且花费不大。在使用相应的个人卫生装置护理期间观察用户时，个人卫生装置诸如牙刷在很大程度上被挡住，这给像[13]中的基于视频的追踪系统带来问题。而且，可嵌入个人卫生装置中的位置确定系统要么昂贵，要么无法充分确定相应的个人卫生装置的位置，以致无法确定当前使用装置护理的用户头部部分。
自然也就出现了针对用于身体其它部分(不仅仅是头部或脸部)的其它个人卫生装置的上述需求和需要。
因此，存在对用于确定用户使用个人卫生装置来护理的用户身体部分的概念的需求，其中此概念的实现方式花费不大。有关用户所护理的头部部分的知识可以(例如)协助用户进行护理。
发明内容
根据一个方面，提供了用于确定用户使用个人卫生装置护理的用户身体部分的设备，包括
摄像头，该摄像头被配置成在使用个人卫生装置护理身体部分时，对用户进行拍摄，以获得用户的图片化图示；
接口，该接口被配置成接收位于个人卫生装置之中的至少一个惯性传感器的传感器数据；以及
分析仪，该分析仪被配置成分析图片化图示和传感器数据，以确定身体部分。
根据另一方面，提供了包括上述设备和个人卫生装置的系统。
根据另一方面，提供了用于确定用户使用个人卫生装置护理的用户身体部分的方法，包括
在使用个人卫生装置护理头部部分时，对用户进行拍摄，以获得用户的图片化图示；
接收位于个人卫生装置之中的至少一个惯性传感器的传感器数据；以及
分析图片化图示和传感器数据，以确定身体部分。
根据另一方面，提供了在计算机上运行时用于执行上述方法的计算机程序。
附图说明
本申请的示例性实现方式为从属权利要求的主题。而且，下面结合附图对本申请的示例性实施方案进行进一步说明，其中：
图1示出了根据实施方案，用于与卫生装置一起来确定用户当前使用卫生装置来护理的用户头部部分的设备；
图2示出了图1中的卫生装置和设备的可能实现方式；
图3示出了根据实施方案，可用于指导测试人员进行数据采集以训练分析仪的视频的视频快照；
图4示出了根据实施方案的示意图，此示意图示出了分析仪所执行的用以获得基于摄像头的刷洗区段分类的步骤序列；
图5a示出了与牙刷纵向轴线垂直的牙刷截面图，其经过对准，使得地球的重力向量垂直行进，以便示出转动角；
图5b示出了用户和牙刷的侧视图，以便示出俯仰角的位置；
图6示出了针对表1的十八个类别/区段所预计的转动角与俯仰角的散点图示例，该表使用三位测试人员在训练阶段期间的训练数据获得；
图7示意性地示出了分别基于摄像头和基于惯性传感器来确定当前护理部分，并随后结合/融合这两项确定结果以便得到更可靠的确定结果的概率，其中单项确定结果的不足得以互相弥补；
图8示出了呈混合矩阵形式的概率分布图：表2中6类模型的示例性视频输出数据整合成这些分布图，这些分布图已经分割成仓，为计算基于摄像头的分类结果的概率做准备；对角线的分布图表示正确的分类分布图；从上列至下列，分布状况涉及类别无(None)、左上(Left Top)、左下(Left Bottom)、右上(Right Top)、右下(Right Bottom)、前(Front)的实际刷洗情况，并且从左手至右手，分布状况涉及无(None)、左上(Left Top)、左下(LeftBottom)、右上(Right Top)、右下(Right Bottom)、前(Front)的分数；每个分布图描绘了以下两项的32个仓：沿着横轴的任意单位的分数、以及沿着纵轴的任意单位的相关联次数/测试数，针对这些次数/测试数，在相应的实际刷洗相应假设刷洗区段之时，已经获得了相应分数；分数越高(正)，此分数表示以下内容的概率越大：当前刷洗区段是已经计算出相应分数的区段，即，分布图(或分布图的列)属于包含相应分数的此区段；
图9示出了就以下项的真率而言的估算结果矩阵：从上到下，基于惯性传感器(INS)、摄像头(SHORE)和传感器融合(DZM；DZM＝齿区监测)的从左到右使用表2中的6类模型(1＝上左，2＝上右，3＝下左，4＝下右，5＝前)的分类、上下颌分类(1等于上颌；2等于下颌)、或左右侧分类(1等于左侧；2等于右侧)；
图10示出了估算结果矩阵，该矩阵使用惯性传感器(INS)、摄像头(SHORE)和传感器融合(DZM)的呈图9中的矩阵排列的采集数据，并且使用以条形图方式示出各个类别的真率且为真率/条形高度采用任意单位的模型；
图11示出了示意图，该图示出了用于执行基于摄像头的估算分析的两种替代方案；以及
图12示出了用于执行基于惯性传感器的估算分析的两种替代方案。
具体实施方式
下文所述的本申请实施方案示例性地集中于确定用户当前护理的身体部分，用户当前使用个人卫生装置对此身体部分进行护理，其处于用户头部之上或之内(其中之内是指用户头部腔体之内，例如，口腔之内)。因此，实施方案使用像牙刷、剃须刀等的示例作为个人卫生装置进行说明，但是应当明白，所有这些实施方案可被轻易地修改，以便配合其它个人卫生装置以及因此当前护理的其它身体部分操作。仅作为代表，以下描述集中于用户头部相关的个人卫生装置。
如介绍性部分所述，存在对以下概念的需求：用于确定用户使用个人卫生装置护理的用户头部部分(在本具体实施方式所用的“头部部分”之处，应当理解，此头部部分一般可以由“身体部分”替代)，其中此概念的实现方式花费不大。有关用户所护理的头部部分的知识可以(例如)协助用户进行护理。如使用随后所释的实施方案所述，此类概念可通过(例如)利用以下事实来提供：越来越多的用户已经拥有装置，这些装置继而提供有摄像头，并且使用此摄像头可补充其它功能。例如，智能手机大多包括摄像头，并且支持后续安装其它应用程序。而且，提供诸如具有惯性传感器的个人卫生装置的装置涉及的费用仅为适中的，这是因为此类惯性传感器广泛用于各式各样的装置中。因此结合以下两项成本较低：在使用个人卫生装置护理他/她的头部部分时用户的图片化图示，和从位于个人卫生装置中的惯性传感器获得的加速测量数据。然而，结合用于确定当前护理的用户头部部分的这两项源在以下方面彼此互补：一项源弥补了另一项源的不足，反之亦然。例如，由于个人卫生装置挡住了摄像头的视野，在区分用户对预定的不同头部部分进行护理的场景时，摄像头可能是不可靠的源。反过来，加速测量数据支持相当安全地识别当前所应用的场景。颠倒过来也可成立：加速测量数据可形成不可靠的用于区分某些当前护理的头部部分的源，然而，在使用个人卫生装置来护理头部部分之时另外提供用户的图片化图示的基础上，区分头部部分的过程能够被更安全地实现。
图1示出了设备10，用于确定用户使用个人卫生装置护理的用户头部部分，并且图1也示出了个人卫生装置12。设备10和个人卫生装置12形成系统。在图1的示例中，个人卫生装置12是电子牙刷，即，包括电子摆动刷头14的牙刷，但是也如下文进一步陈述，可随时在下文给出的说明的基础上，通过将其关于牙刷作为个人卫生装置的详情更改为设备10与任何其它个人卫生装置的组合，诸如不具有电子摆动刷头的牙刷或用于人体头部护理的一些其它个人卫生装置，诸如剃须刀、脸部按摩工具或任何其它脸部卫生装置，来获得本申请的另选实施方案。
图1的设备包括摄像头16，该摄像头被配置成拍摄显示用户脸部的画面，其中用户当前正使用卫生装置12对某头部部分进行护理。摄像头16可以是静态图片摄像头或摄像机。因此，显示了用户同时使用卫生装置12对头部部分进行护理的图片化图示可包括一张或多张静态图片、或由一序列帧/图片组成的视频。
设备10还包括接口18，该接口被配置成从反过来位于卫生装置12之中的惯性传感器20接收加速测量数据。接口18可以，如图1所示，被配置成从惯性传感器20无线接收加速测量数据。为此，卫生装置12可提供有通信接口22，此通信接口与惯性传感器20互连，以便从惯性传感器20接收加速测量数据，并且可操作以无线发出加速测量数据，以由设备10的接口18接收。然而，接口18可另选地使用有线连接，用以从惯性传感器20接收加速测量数据。
此外，设备10包括处理器24，此处理器耦接到摄像头16和(无线)接口18，并且承担分析仪26的工作，其功能在下文中有进一步描述。具体来说，分析仪26分析摄像头16获得的图片化图示、以及从惯性传感器20通过接口18接收到的加速测量数据，并且基于此两者确定用户当前使用个人卫生装置12护理的头部部分。
如后文结合图1所示系统与设备的硬件实现方式的具体示例所述，设备10可以(例如)在容纳了摄像头16、接口18和处理器24的便携式计算机或便携式通信装置诸如智能手机上实现。处理器24可以(例如)是微处理器，其中分析仪26实现为应用程序或计算机程序，在由处理器24执行时，此应用程序或计算机程序致使处理器24执行分析仪26的功能，如下文更详细所述。另选地，分析仪26的一些或所有功能可以在外部实现，诸如，容纳了摄像头和接口的便携式计算机或便携式通信装置的外部。例如，分析仪26的此类外部执行功能可以在服务器上执行，服务器被配置成通过互联网或一些其它网络接收图片化图示和加速测量数据。通过将此类功能外包至外部设备10可允许大大地减少设备10的当前能耗，由此实现节能。
为了完整起见，应当注意，图1显示，设备10可任选地包括观察仪28，用于用户观察当前护理的头部部分或者用于用户观察某信息，针对一组候选头部部分中每个候选头部部分，此信息表明了时间量度、或者基于时间量度所确定的针对相应候选头部部分的剩余护理需要的量度。例如，观察仪28可包括显示器或监视器。另外地，处理器24可任选地承担日志模块30的工作，用于记录针对刚刚所述那组候选头部部分中每部分的时间量度的日志，时间量度是相应候选头部部分经分析仪26确定为所述头部部分的时长，即，在哪段时距期间。
因此，图1中的设备10能够确定用户当前使用卫生装置12进行护理的用户头部部分。在卫生装置12为如图1所示牙刷的情况下，并且其作为示例性情况更详细地说明了下文进一步概述的更具体实施方案，当前护理头部部分是(例如)用户牙列的某部分，诸如，例如用户牙列的下颌左侧部分等。在卫生装置12为剃须刀的情况下，当前护理的头部部分(例如)可以是用户胡须部分的某部分。在卫生装置12为(例如)脸部按摩装置的情况下，当前护理的头部部分是(例如)用户脸部的任意部分。
如下文将更详细所述，将摄像头16和惯性传感器20用作自动确定当前护理的头部部分的源，这导致这两种源的不足得以互相弥补。例如，使用摄像头16获得的图片化图示允许分析仪26相当可靠地确定当前护理的头部部分是否位于用户左手侧或右手侧之内，但是就其纵向位置而言，图片化图示并非是分析仪26用以定位当前护理部分的不可靠源。反之，由惯性传感器20获得的加速测量数据可以为分析仪26提供机会，以可靠地辨别当前护理的头部部分沿着纵轴的位置发生变化的场景，而加速测量数据可以是用于确定当前护理的头部部分是否处于左手侧或右手侧的不可靠源。通过结合这两项信息源，即图片化图示和加速测量数据，分析仪26能够就左/右手侧辨别过程而言以及就沿着用户纵轴不同位置的辨别过程而言，更可靠地确定当前护理的头部部分。
根据下文进一步所述的实施方案，分析仪26被配置成通过从一组预定候选头部部分中选出当前护理的头部部分来执行对当前护理部分的确定。通过下文更详细所述的方式，例如，分析仪26不得不经过“训练”以能够当用源自摄像头16的图片化图示以及源自惯性传感器20的加速测量数据进行馈给时，从一组预定候选头部部分中选出当前护理的头部部分。这一组候选头部部分可以与用于训练的那组候选头部部分相一致。另选地，分析仪26从中选择当前护理的头部部分的这组候选头部部分可以表示对所关注的人头部部分的粗略划分。下文进一步描述了此方面的细节。对于训练分析仪26，分析仪26可以实现为神经网络，或者可能已经用统计法进行了训练。无论如何，这组预定候选头部部分表示对所关注的人头部部分的划分，即，在空间上将所关注的人头部部分细分为非重叠性节段的划分。例如，在牙刷作为卫生装置12的情况下，划分成分析仪26从中选择当前护理头部部分的这组候选头部部分的所关注的人头部部分可以是用户的牙列。在卫生装置12为剃须刀的情况下，这组预定候选头部部分可以表示对用户胡须区域的划分。在卫生装置为脸部按摩装置的情况下，分析仪26从中进行选择的这组预定候选头部部分表示对用户脸部的划分。
如刚刚所述，基于图片化图示和加速测量数据分析对当前护理的头部部分进行确定的结果是：分别就空间上左/右辨别过程和空间上沿纵轴辨别过程而言的不足之处的相互平衡。因此，这组预定候选头部部分可以例如将所关注的人头部部分划分成四个或更多候选头部部分。即，分析仪26从中进行选择的这组候选头部部分可包括“至少”四个候选头部部分，例如，即：第一候选头部部分，位于用户左手侧；第二候选部分，位于用户左手侧，但是沿着用户的纵轴相对于第一候选头部部分偏移；第三候选头部部分，位于用户右手侧；和第四候选头部部分，位于用户右手侧，但是沿着用户的纵轴相对于第三候选部分偏移。例如，在卫生装置12为牙刷的情况下，第一候选头部部分可以是用户牙列的上颌左侧部分，第二候选部分可以是用户牙列的下颌左侧部分，第三候选头部部分可以是用户牙列的上颌右侧部分，并且第四候选头部部分可以是用户牙列的下颌右侧部分。分析仪26从中进行选择的这组候选头部部分可另外包括第五候选头部部分，即用户牙列的前面部分，或者包括第五和第六候选头部部分，即用户牙列的上颌前面部分和下颌前面部分。在卫生装置12为剃须刀的情况下，例如，第一候选头部部分可以是用户左侧脸颊，第二候选头部部分可以是用户下巴左侧，第三候选头部部分可以是用户右侧脸颊，并且第四候选头部部分可以是用户下巴右侧。第五部分则可表示用户下巴正前侧。第六候选头部部分可以表示鼻子与嘴巴之间的那部分。在卫生装置12为脸部按摩装置的情况下，这组候选头部部分，除了针对剃须刀作为卫生装置12的示例所述的那些部分之外，可包括作为候选头部部分的前额。
图2示出了图1所示以及结合该图所述的系统与设备的具体实施方式示例。如上文已述，此处假设卫生装置为牙刷，但是可随时修改下文所作的说明，以便获得除了牙刷之外的卫生装置12的其它实现方式。
图2示出了作为电池驱动型牙刷或电动牙刷的卫生装置12，将牙刷12置于插座32上可以对牙刷电池再充电。设备10在图2中体现为容纳了摄像头16、处理器(图2未示出)和接口18的智能手机。接口18从牙刷的对应接口22接收加速测量数据。智能手机另外包括显示器形式的观察仪28。
设备10能够获取关于牙刷12和设备10的用户当前刷洗的口腔或牙列区段以及刷洗时长的信息。另外地，设备可以将由此获得的信息与(例如)通过牙刷12(在图1或图2中未示出)中的另一力传感器收集的刷洗压力相关信息合并。提供有惯性传感器的牙刷12在图2中没有示出，并且可能放置在牙刷12外壳之内或之上的任何地方。惯性传感器可以由惯性测量单元IMU组成。换句话说，惯性传感器可以体现为惯性测量单元IMU，此单元包括加速传感器和/或角速率传感器、以及任选地磁场传感器。作为明确示例，可以将3轴加速计用作传感器20，任选地附带有一个或多个多轴陀螺仪、以及一个或多个磁力仪。如图2所示，蓝牙数据连接可示例性地用于将接口22和18互连。
关于加速测量数据，应当注意，所谓的传感器融合，即，将加速传感器和/或角速率传感器的全部传感器数据打包成关于预定非牙刷相关性坐标系(诸如，与纵轴对齐的坐标系)的一组数据的方式，可以分别在牙刷12之内或分析仪之内进行，即，在设备或智能手机10之内进行。而且，传感器融合也可通过一些类型的集成将加速测量值转化为速度或位置数据，使得术语“加速测量数据”可以理解为囊括通过使用惯性传感器20所进行的加速测量获得的或者源自于加速测量的任何数据。例如，在牙刷中进行数据预处理目的可在于减少待经由接口22传输的数据量。另选地，整个分类/位置确定可以在牙刷中执行。
数据，即，图片化图示和加速测量数据，同步于摄像头16和惯性传感器20采集在分析仪26中。其可能是来自两项不同源，即摄像头16和传感器20的数据，异步抵达处理器24或分析仪26，并且处理器24或分析仪26承担起正确地从时间上注册或同步两条相应信息(即视频和传感器数据)的责任，以便将其拼接在一起。
可以用一些数据采集过程对分析仪26进行训练。例如，在数据采集过程中，可以向用户显示视频，此视频指导相应用户刷洗特定刷洗区段。此视频可以(例如)显示屏幕，诸如图3中所见的屏幕。牙列示于34处，并且一些形式的突出显示36向测试人员表明他/她将使用牙刷护理(即，刷洗)的牙列部分(区间)，同时采集摄像头16和惯性传感器20的数据。当前突出显示部分待进行刷洗期间的剩余时间段可以在视频屏幕的区间38处示出。在部分40处，视频屏幕可指示相应测试人员在数据采集过程中将按照顺序刷洗的辨别出的候选牙列部分的数目、以及在数据采集过程中正要轮到的当前候选部分。在图3的情况中，例如，视频目前显示测试人员牙列的第一候选部分是牙列上颌左手侧的外侧，当前被护理的这部分是十八个候选部分中的第一部分，其中直到下一候选部分轮到，还剩余八秒。
然后将包括图片化图示(即视频16拍摄到的画面)以及惯性传感器20获得的加速测量数据的采集数据用于对分析仪26的底层算法进行训练与测试，其实施方案在下文中有更详细的描述。例如，图3示出了十八个逻辑刷洗区段用于进行训练。
用户当前护理/刷洗部分的估算/确定可以在第一阶段，分别基于一只手上的图片化图示以及另一只手上的加速测量数据来进行，并且在第二阶段中，融合或结合这两项确定结果以便最终更可靠地确定当前护理/刷洗部分。为此，训练阶段的十八个刷洗区段可以(例如)全部在内用于训练基于惯性传感器来确定当前护理的牙列部分/区段，即，用于训练基于惯性传感器的区段分类。
十八个刷洗区段可以(例如)如表1所示进行定义。
表1包含多个类别，这些类别表示人牙列划分方式，并且因此表示候选头部部分的一组类别的示例，这些候选头部部分可用于个人卫生装置为牙刷的情况中。
根据表1，十八个刷洗区段在逻辑上沿三个维度排列，即分别是：辨别上颌与下颌的维度；辨别牙列左手侧和右手侧以及正前部的维度；以及辨别牙齿面向内一侧(即，面朝舌头一侧)、牙齿朝相反一侧或面向外一侧与咀嚼表面的维度。
例如，尽管基于加速测量数据对当前护理部分的估算经训练用以辨别所有十八个刷洗区段，但是此训练可以与牙列的粗略划分有关，此粗略划分为相对于基于摄像头16获得的图片化图示对当前刷洗部分所进行的估算/确定的粗略划分，诸如通过将十八个区段的相邻区段池化而产生自十八个区段的划分方式。而且，即使在对分析仪26进行了训练之后，稍后针对用户执行可视化的那组候选区段同样地可以不同于所述十八个区段。例如，表2示出了稍后可分别用于可视化和分析仪的一组候选区段，这组候选区段在上述十八个刷洗区段的基础上，通过将十八个刷洗区段减少至六个类别而得到。除了上文关于牙列已述的五个类别，还包括第六类别，第六类别包括“不刷洗”。
表2示出了具有一组简化的类别或候选部分的示例的表格，这组简化的类别或候选部分也涉及个人卫生装置为牙刷的情况；
针对图4，描述了运行模式，该模式关于图1和图2中的设备10在进行刷洗区段分类时如何运行，如何在初期仅仅基于摄像头运行。
在整个刷洗区段分类过程的第一步骤中，如图4中40所示，在刷洗他/她的牙齿并且被摄像头16拍摄时，用户42待在视频拍摄装置前面，即摄像头16前面。即，摄像头16拍摄的画面44包括用户42正在用牙刷12刷牙。如此使用摄像头16获得的图片化图示包括一个或多个所拍摄的视频图片/帧。所拍摄的一幅视频帧46在图4中示出。图片46显示了容纳牙刷12以便稍后伸进嘴中的用户42的脸部。
具体来说，图4专注于讨论基于摄像头的刷洗区段分类。因此，根据图4的实施方案，一幅或多幅视频帧46传送给脸部检测与追踪单元，使其经受脸部检测与追踪过程，该过程在图像或图片46中定位用户脸部48，此步骤在图4中的50处被标识。在步骤50中确定了图片46内的脸部区域52之后，分析仪26的脸部特征定位单元在步骤54中定位脸部区域52内的眼部56。然后在步骤58中，脸部区域规范化单元旋转并按比例缩放(即，扭曲)并从图片46中切割出清晰的图像区域60，在图片中此区域包括并围绕嘴部。脸部区域规范化可以将图片46中定位好的眼部位置56用作参考点。最后，分析仪26的刷洗区段分类单元可以在步骤62中提取规范化图像区域64中的特征，将此图像分类，并且为每个刷洗区段提供一个评分，该评分表征了用户当前刷洗相关联传感器的可能性。例如，图4示出了：基于摄像头的刷洗区段分类最终可变成对当前刷洗部分的估算，当前刷洗部分从六个逻辑类别中选出，即，表2所示的类别。
在图4中，步骤50、54、58和62由分析仪26完成。下文更详细地描述了结合图4所述的各个步骤。
如上文已述，摄像头16可以是能够拍摄画面的任何装置。例如，摄像头可以是能够拍摄图像序列的摄像机。例如，摄像机可以是移动手机或平板电脑，但也可以是连接到计算机的摄像头。为了进行基于摄像头的刷洗区段分类，视频拍摄装置16可以放在用户前面，使得摄像头16在用户刷牙时拍摄用户。例如，图2所示的移动手机可以放到移动手机支架中，该支架附接到浴室中的镜子。视频拍摄装置也可集成到镜子中。它也可以是具有摄像头的任何其它可穿戴装置，例如数据眼镜(例如，Google Glass)或智能手表。它对用户进行拍摄并提供图像帧，这些图像帧然后在步骤50中经受脸部检测与追踪。
在步骤50中的脸部检测与追踪期间，对视频拍摄装置16的图像帧进行处理以定位图片中用户的脸部。脸部检测可通过使用(例如)[3]、[4]、[5]、[6]、[9]、[10]中所述的任何方法来实现。如果脸部48可以检测出来，脸部检测提供图片46中用户脸部48的区域52。如果图片显示一个以上的脸部，脸部检测器可以通过图片46中脸部位置或大小来选择图片46中最突出的脸部。例如，可以将图像46中最大的脸部选择为用户的脸部。脸部检测也可选择与数据库中存储的用户脸部最相似的脸部。可例如在设置过程中教导分析仪26待进行识别与追踪的脸部。脸部也可用性别或年龄来表征。
脸部检测也可能无法检测出图片46中的用户脸部。失败原因可能是例如光照不足或刷洗期间手或牙刷柄挡住脸部。在脸部检测失败时，通常仍可通过脸部追踪而追踪到脸部。例如，通过例如如[8]中所述从当前帧中的脸部位置相邻处之内的最后一帧中找到出现的脸部区域52，可追踪到此脸部。脸部追踪也可使用任何其它方法来实现。
脸部追踪不仅可以用于增加稳健性，还可以用于减少所需的处理电能或能量消耗。这一点可如下来实现：对临时图像帧进行脸部检测，并且通过对后者进行脸部追踪将这些帧桥接于其间。为了实现这个目标，例如，参考[11]。脸部追踪是任选的，并且如果脸部检测(例如)已经满足了全部要求，可省略。
步骤54中的脸部特征定位定位图像46中用户的眼部。其使用脸部检测与追踪过程50提供的脸部区域52，并且仅仅在上脸部区域中，即，在区域52的上半部中搜索眼部。这减小了搜索空间以及所需的处理电能，并且增加了眼部定位的稳健性。脸部特征定位可使用任何脸部特征定位方法来实现，并且可具体地采用相同的用于检测脸部区域的算法。另外，算法可经过训练，以检测左眼和右眼，而非整个脸部区域，并且可以仅应用于相对于检测出的上脸部区域而言的限定区域。也可用任何其它方法来定位脸部特征。例如，可使用某方法将2D或3D形状模型匹配到图像46上，即，将人脸部的2D或3D形状模型的参数适配，使得其图像，例如，投影，与图片46中实际的脸部图像相一致。
与嘴部区域相反，上脸部部分不大可能在刷牙期间被用户的手挡住。因此，它可支持所述过程以将脸部特征用于上脸部区域而不是嘴部区域中。另一实现方式不仅可以定位眼部位置56，而且还可以定位其它脸部特征，例如，眉毛、鼻子、或脸部轮廓。
脸部特征常常可以比步骤50中脸部检测与追踪所提供的脸部区域更准确地进行脸部定位，以及更好地对刷洗区段分类进行校准。然而，例如，如果步骤50中脸部检测已经满足了需要，可另选地忽略脸部特征定位。
脸部区域规范化58的目的在于围绕图片46中的嘴部旋转，按比例缩放，并切割出预定区域60。为此，如通过脸部特征提取/定位过程54获得的脸部特征56可用作参考点。换句话说，脸部区域规范化58的目的在于确保其结果，即规范化图像区域60，总是显示脸部和围绕用户头部的相同部分，该部分与刷洗区段分类有关。其目的在于消除图片中用户脸部在外观上的至少一些差异，这些差异由头部旋转、以及用户在视频拍摄装置16前面的移动所导致。基于参考点，脸部区域规范化涉及：将图像区域60转变成规范化图像帧，使得脸部特征映射成预先定义在规范化图像区域之内或之外的参考点。其仅可使用作为参考点的眼部位置56、以及脸部特征点的任何其它组合来计算转变度。而且，如果省略了脸部特征定位，仅可使用脸部区域进行规范化。
刷洗区段分类62使用规范化脸部区域60，此区域显示用户脸部围绕嘴部以及围绕头部的相关部分，并且在刷洗时，通常也显示牙刷和用户手的多个部分。这示出于图4中。规范化脸部区域60的外观取决于当前刷洗的区段，即，当前进行护理的用户头部部分。例如，用户是否在刷洗牙列左侧或右侧，区域60看起来是不同的。这一点同样适用于牙列的其它区段。得益于这些外观的不同，刷洗区段分类得以确定当前正刷洗的区段。对规范化图像区域60的特征进行提取与分类，然后给候选刷洗区段组中的每个候选刷洗区段提供评分，该组候选刷洗区段与基于摄像头的刷洗区段分类相关联。评分表征了用户刷洗与相应评分相关联的区段的可能性。
可提取任意特征类型并将其用于分类：边缘、亮度差异、普查特征或结构特征、或它们的组合。例如，参考[3]、[4]、[6]。刷洗区段分类实现了一种或多种机器学习方法，此方法学习规范化脸部区域60通常如何通过估算所提取的特征来寻找正被刷洗的牙齿的每个区段。可以用任何机器学习方法对刷洗区段分类进行训练，例如，推进、支持向量机或神经网络。
机器学习方法通常需要注解性训练数据以用于学习：这里可使用具有已知或注解性刷洗区段的规范化脸部区域样本。训练样本可通过记录刷牙时的多个用户并提取规范化脸部区域来生成。训练样本中所示的刷洗区段可手动确定。也可以要求用户按照预定顺序刷洗牙齿的多个区段，如结合图3示例性所示，以及按照预定时长刷洗牙齿的多个区段，用以能够自动为训练数据分配刷洗区段。
牙列可分成：两个区段，例如，仅仅作左右或上下之间的辨别；或三个区段，例如，仅仅作左、右和前之间的辨别；或四个区段，即表2中的前四个区段；或五个区段，即表2中的前五个区段；或六个区段，即表2中的五个上区段，但将第五区段分别划分为上颌和下颌前部。也可使用任何其它可行数目的区段。另外地，可定义并训练单独的类别，即，类别“无(none)”，表明用户根本没有刷牙。而且，可训练能够区分用户正在用他的左手还是右手刷牙的另一分类器。
作为输出，刷洗区段分类单元可以提供用户当前刷洗的区段。此外或另选地，基于摄像头的刷洗区段分类可以给每个刷洗区段提供评分，该评分表征了用户当前刷洗相关联区段的可能性。
除了可实现基于摄像头的刷洗区段分类(如刚刚结合图4所述)的各个步骤之外，所述过程可能支持估算用户在摄像头16前面的头部位姿。位姿估算存在若干可能。
在3D模型匹配方案中，将3D脸部模型匹配到脸部的2D图像46中。例如，适配3D模型参数，使得其根据摄像头16的光投影参数的投影与图片46中用户脸部的外观相匹配。例如，可使用如[1]中所述的算法。由于此类方法处理能耗要求高，其常常需要采用精确度更小但是速度更快的算法。
对2D图像进行3D位姿估算的熟知方法是POSIT。例如，POSIT算法在[2]中有所描述。POSIT需要知道物体(本文为脸部)的近似3D模型、以及模型在2D图像中的相应点。POSIT需要至少4个相应点才能生效。由于刷牙期间嘴部可能被挡住，嘴角不能或不应当用作可靠特征点。为了使用POSIT算法，可以在脸部上半部分中找到合适的特征点。这些特征点可以在脸部特征定位54期间得以确定。
执行后估算的另一可能性是：通过仅仅考虑所检测出的眼部区域56的位置和大小来确定头部位姿。具有摄像头参数和平均人眼部距离，x、y和z方向上的平移、以及围绕y轴的旋转(将头扭向耳侧)可通过标准数学运算(最重要的是截线定理)进行计算。确定沿z轴的旋转角(头部左转或右转)可以用左右眼的相对检测大小差值来估算旋转角。这是基于如果头部转动则图片中眼睛大小不同的事实。
如上所述，通过脸部检测与追踪，可以确定图像帧46中用户脸部的区域，并将该区域用于进行基于摄像头的刷洗区段分类。然而，图像帧中用户头部的位置与大小也可用于例如检查用户是否定位在视频拍摄装置16前面的正确位置中。如果有必要，系统可以引导用户回到图像帧的正确位置中，例如，回到图像中心中或更靠近摄像头16。换句话说，分析仪26可被配置成持续调查用户脸部48在摄像头16的视野中的位置，并且在具有脱离摄像头16的视野或其所关注的预定区域(诸如，视野中间的某区域)的风险的情况下警告用户。例如，一旦用户靠近摄像头16视野的左右上下边界，就可开始报警。另外地或另选地，一旦用户距离摄像头太近或太远，就可开始报警。另外地或另选地，分析仪也可用图像46中脸部48的区域来检查光照情况并优化图像质量。例如，可以要求用户纠正光照，或者可根据脸部区域内的图像属性来调整摄像头设置。一种实现方式可采用[7]中所述的方法。
值得一提的是，基于摄像头的刷洗区段分类不仅仅可以应用于牙刷装置。实际上，甚至图4的示例也可适用于其它卫生装置，诸如对剃须刀在脸部等中的位置进行分类。
在描述了用于进行基于摄像头的刷洗区段分类的示例之后，以下段落论述了基于惯性传感器进行刷洗区段分类的可能性。
根据图5，针对基于惯性传感器的刷洗区段分类的主要特征是所计算出的转动角和俯仰角。转动角和俯仰角基于惯性传感器20所作的加速测量、以及将地球重力向量的方向用作附加信息来计算。
如从图5a中可以看出，转动角Θ可定义为：围绕其纵轴测量牙刷12的当前斜角，其中例如将纵轴70用作参考轴来测量斜角。在图5a中，纵轴70用箭头示出或表示，箭头用“1g”来表示，此箭头是地球重力向量的标志。例如，Θ＝0可定义为以下场景：其中牙刷刷毛面朝下，即，迎着地球重力向量的方向。在图5a中，牙刷专用坐标系使用具有x、y和z轴的笛卡尔坐标系进行说明，其中y轴形成牙刷12的纵轴，牙刷围绕该纵轴的旋转通过Θ进行测量，并且z轴指向与牙刷刷毛相反的方向。
为了说明可如何定义俯仰角Φ，图5b使用相同的名称。即，坐标系x、y、z是牙刷的局部坐标系，并且向量“1g”对应于沿着地球重力指向的向量。水平面，即与地球重力向量垂直的平面，即与水平线平行的平面在图5a和图5b中皆用虚线示出。如从图5b可以看出，俯仰角Φ测量的是牙刷相对于水平面的倾角，或换一种说法，与相对于地球重力向量1g所指向的轴的(90°-Φ)角度偏差相对应。
在上文结合图3所述的训练阶段，标记性测量数据例如采集于所定义的十八个刷洗区段。使用训练数据，计算了转动角和俯仰角，并且通过将数据映射成以下项也训练了18类别模型：转动平面和俯仰平面、以及所得的每个区段分布图的特征值偏差，例如，平均值和方差。示例性散点图在图8中示出。此散点图是数据映射成转动平面和俯仰平面的结果。在图6中，转动轴与纵轴相对应，并且俯仰轴与横轴相对应。除了转动角和俯仰角，其它特征可用于基于加速测量数据进行区段分类，像平均值、方差、信号模式、频谱等[13]。
因此，根据实施方案，分析仪26通过用加速测量数据计算转动角和俯仰角来进行基于加速测量数据的刷洗区段分类。另选地，加速测量数据已经表示出了转动角和俯仰角。转动角和俯仰角由分析仪26基于训练过的分类器估算。针对每个候选区段，计算该候选区段是当前刷洗区段的概率。另选地，可另外使用加速测量数据的其它特征，像平均值、方差、信号模式、频谱等[13]来计算每个区段的概率。
已结合图4和图5a以及图5b，对基于摄像头的刷洗区段分类以及基于惯性传感器的刷洗区段分类进行了描述。分析仪26可通过传感器融合方案结合这两项分类。应用传感器融合的目标在于用另一系统的优点来弥补一种系统的不足。传感器融合过程示例性地在图7中可见。分析仪26应用传感器融合的最简单方式可以是：将通过基于不同传感器(即，分别为摄像头传感器和惯性传感器)的不同分类所得的每个刷洗区段的概率相乘。
图7在80处示出，当前刷洗的牙列区段是表1列表中索引12的区段，即，上颌部分的左侧的内侧。如上所述，图片图示和加速测量数据由分析仪26接收与记录。然后单独在8处进行分类，从而得到权重值或概率值，即基于摄像头的刷洗区段分类的这组候选区段中每个候选区段一个权重值或概率值，这组概率值在图7中的84处示出，以及基于惯性传感器的刷洗区段分类的这组候选区段中每个候选区段的评级或概率值，这后一组概率值在图7中的86处示出。即，区段分类是单独进行的。采用表1中的索引名称，图7说明了以下情况：基于摄像头的刷洗区段分类确定了左边上的刷洗，并且基于惯性传感器的刷洗区段分类确定了在区间3、11或12中的刷洗。除此以外，在基于惯性传感器的刷洗区段分类所确定的三个区段中，区段3分配了最高概率值。这如80处所示，明显是不正确的。然而，通过传感器融合88，结果84和概率86通过此类方式结合，使得最终的确定结果或融合结果是如90处所示的区段12的正确分类。
为了实现基于摄像头的刷洗区段分类与基于惯性传感器的刷洗区段分类的传感器融合，针对大量训练数据，已经计算出了所计算的分数值的柱状图。所得的柱状图在图8中示出，第六类别模型，即融合之后可进行选择的这组候选部分。已经基于柱状图进行了核密度估算，用以计算图8中所示混合矩阵的条件性概率分布图。矩阵的项可如下读取：如果当前刷洗区段与所估算的类别相同，则使用该矩阵对角线上的相应分布图。如果当前刷洗区段和所估算的类别不同，则相应的分布图不处于对角线上。图8中的第一行显示了以下项的分布图：当前刷洗区段“BrushNone”；检测类别(从左至右)：“无(None)”、“左上(LeftTop)”、“左下(LeftBottom)”、“右上(RightTop)”、“右下(RightBottom)”和“前(Front)”。
估算结果如图9所定义以矩阵形式示出。已经计算出了类别上左(up-left)、上右(up-right)、下左(low-left)、下右(low-right)和前(front)的实际类别评级。使用惯性传感器(INS)与使用摄像头(SHORE)各自的分类评级与传感器融合(DZM)的结果一同示出。为了对比与分析，另外示出了两个简单模型的实际分类评级：辨别上颌和下颌，或者辨别左侧和右侧。模型的全部分类评级在附图标题中列出。图10展示了SHORE 6类别模型的全部估算结果。传感器融合提高了单个系统的分类评级。
因此，简略地总结与概括以上说明，需注意以下内容。分析仪26可被配置成使源自摄像头的图片图示经受第一估算分析。该第一估算分析已被称作基于摄像头的刷洗区段分类或SHORE，但是在卫生装置12不是牙刷的情况下，很明显应当也沿用此名称。第一估算分析得到第一组候选头部部分中每个候选头部部分的第一概率值，每个第一概率值表明了当前护理的头部部分是相应第一概率值所属的第一组中相应候选头部部分的可能性。第一估算分析再次结合图11进行说明。图11在其顶部处示出了图片图示92，其包括一张或多张图片，每张图片与某个时间戳t相关联。应当提及的是，摄像头拍摄的每张图片或者只有一小部分图片(诸如每个第二张图片)可以作为第一估算的受体。第一估算分析，即，基于摄像头的第一估算分析，可以如上所述以及如图11所示单独地对每张图片进行处理，以得到一组概率值。这组概率值的更新速率因此将与图片的速率相一致。根据另一方案，可以共同对一序列的图片进行估算，以得到一组概率值。因此，经受第一估算分析的序列可暂时重叠或不重叠。重叠可以是使得两个先后被分析的序列相对于彼此仅仅偏移一张图片，使得这组概率值的更新速率因此将与图片速率相一致。另选地，两个先后被分析的序列可以相对于彼此偏移，以便在没有任何重叠的情况下暂时彼此邻接，使得这组概率值的更新速率因此将对应于图片的速率除以每个序列中的图片数目。
实现第一估算分析的两种可能性在图11中示出。左手侧处所示的可能性对应于图4：每张图片(另选地，每个图片序列)经受特征提取94，然后是将所得特征映射96成前述的概率值，即基于摄像头的评估分析的这组候选区段98中每个候选区段一个概率值。特征提取94包括例如折叠具有某些特征模板的图片，以获得相应图片的特征图。此特征图可通过映射96成概率值进行映射。映射96可以由神经网络或由一些其它方式来完成，诸如，通过根据代表性特征图的一些距离量度来确定该特征图的距离，每张代表性特征图代表某候选区段偏移98。另选地，当前被分析的相应图片(或图片序列)可直接受神经网络支配，神经网络98直接生成组98中每个候选区段的分数/概率值。
图11已经说明了：两种用于实现基于摄像头的估算分析的替代方案，即特征提取而后映射、或者直接馈给神经网络，可以从嘴部区域定位与提取开始。例如，通过上文结合图4所列的方式，即，使用步骤50、54和58，可以在图片化图示92的图片中定位并提取嘴部区域，嘴部区域包括并围绕用户的嘴部。然后可根据图片中用户脸部的位置来扭曲嘴部区域，以对应于摄像头视野中用户脸部的预定位置。然后可以使用涉及步骤94和96的替代方案或者使用神经网络98，基于扭曲的嘴部区域来确定当前护理的用户头部部分。
上文所作的说明揭示了：分析仪26可被配置成，除了对摄像头16获得的图片图示进行图11中的第一估算分析之外，对惯性传感器20的加速测量数据进行第二估算分析。图12再次说明了对加速测量数据进行的估算分析。如图12所示，100处的加速测量数据可以例如表示一序列线性以及任选地旋转性加速参数组，这些参数测量了卫生装置12沿着/围绕卫生装置专用局部轴x、y和z的加速。例如，取样速率可以等于或不同于图片化图示92的图片速率。通过传感器融合102，分析仪26可以将加速值转化为包括转动角Θ和俯仰角Φ的图示，转动角和俯仰角与全局或非卫生装置专用坐标系相关。由此可以得到转动角Θ和俯仰角Φ在某取样速率下的一序列值。融合102可以分别对图片化图示92的多张图片、以及多对俯仰角与转动角进行时间匹配或至少暂时将其进行关联，使得每张图片和转动角/俯仰角信息相关部分形成每个时间戳下的数据项。
然后映射104可以将转动角/俯仰角数据(即，通过加速测量所获得的数据)映射成这组106候选部分中每个候选部分的概率值，用于进行基于惯性传感器的估算分析。基于惯性传感器的估算分析在上文表示为基于惯性传感器的刷洗区段分类或INS。
应当注意的是，可以不对单独一对转动角与俯仰角样本值进行映射104，然后针对每个随后的转动角/俯仰角样本对进行重复，此样本对说明了牙刷相应的即时位置。在此情况下，即，对于第一估算分析所获得的每组98概率值，一组106概率值将通过第二估算分析确定，第二估算分析仅仅在瞬时接近或处于时间戳上的时间点由一个转动角与俯仰角的即时样本来确定，时间戳是已经确定的组98的图片或图片序列的时间戳。另选地，可以针对转动值/俯仰值的每个时间序列执行映射104。序列在时间上通过与图片化图示的图片同步的方式来确定，即，使得它们各自在时间上与进行第一估算分析的相应图片或图片序列的时间戳相重叠。
重要的是，转动值/俯仰值的即时样本或序列(即转动角/俯仰角的时间间隔、为映射104可被执行的单位)的放置暂时无关于(即，独立于)图片化图示的内容，例如，无关于用户是否刚刚开始刷牙。而且，对连续转动角/俯仰角样本或时间间隔所进行的连续映射104是相互独立的，这是因为不需要局部“追踪”牙刷在嘴部中移动的路径。相反，独立于任何其它转动值/俯仰值序列，通过识别与组106的区间相关联的某些特征图，将每个即时转动角/俯仰角样本独立地映射成概率值组106，或者将转动值/俯仰值的每个时间序列映射104成组106的概率值。
映射104可使用神经网络或一些其它统计方法，诸如群集技术等，即可以像映射96一样执行。
类似于关于图11的说明，加速测量数据100可另选地直接受神经网络106支配，即，不需要任何融合102。
如图11和图12所示，基于摄像头的估算分析和基于惯性传感器的估算分析的候选部分98和106的组可以彼此不同。即，这两组候选部分可表示所关注的相同用户头部部分(即，本文示例性地为牙列)的不同划分方式。然而，另选地，这些组是相同的。通过相乘或通过其它合适方式结合与最后一组候选部分中共同定位的候选部分有关的概率值，分析仪26可以最终从最后一组候选部分中选出当前护理的头部部分，分析仪26可融合/结合两项估算分析的结果，从而实现上文所列的效果，即相互弥补用于确定当前护理的头部部分的各项源的不足。
因此，通过执行图11和图12中的第一和第二估算分析以及针对每个按时间校准的数据项(即，图片、以及相关联的转动角/俯仰角对、或转动角/俯仰角对序列)的数据融合/结合，分析仪26持续更新当前护理的头部部分的确定结果，使得日志模块30可以记录以下项的日志：针对最后一组候选头部部分中(即，数据融合之后相关的那组候选头部部分)每个候选头部部分，已确定相应候选头部部分为当前护理的头部部分的时长的时间量度。而且，观察仪可相应地更新当前护理的头部部分的可视画面和/或候选头部部分的可视画面，此候选头部部分需要更多的护理或者用于更新相应候选头部部分已经进行的护理时长的可视画面。
应当注意的是，分析仪26，诸如分析仪的神经网络，如果存在的话，可以现场进行教导。即，分析仪26可以在客户装置上进行本地教导，以优化他个人脸部的识别。这能够例如提高脸部追踪和位置确定的稳健性。在设置过程中，可引导用户完成一项教导过程，该过程类似于装运前所述系统最初在实验室内被训练的教导过程。在他/她的环境中，用户将在家完成学习周期。所述系统学习用户脸部、他/她浴室、他/她牙刷、乃至他/她个人的刷洗方式的特点。然后分析仪可以在本地或服务器上被修改。修改仅可由用户一个人完成，或者一些或全部学习数据可用于改进整个数据库。整个数据库可位于服务器上，用户所用的每个分析仪26从服务器上下载最新的分析仪软件。
因此，可以对上文揭示的视频/摄像头输出分数值的说明内容进行处理，以计算混合矩阵中所定义类别的概率分布图，并且这些分布图可用于传感器融合。可以用训练数据训练基于摄像头的分类以及基于加速传感器的分类。分类结果使用惯性传感器和摄像头获得并用于传感器融合。上文所列的实施方案不需要牙刷的任何其它起始位置。即，对于自动确定当前护理部分，用户无需从限定牙齿开始刷洗，也无需输入任何初始信息。只要涉及基于惯性传感器的这一侧，上述刷洗区段分类在任何时间都适用，并且不需要像惯性导航情况一样持续追踪卫生装置的位置。无需任何集成边界。相反，使用区段分类，可以通过用训练过的分类器来估算当前测量结果，以此来计算每个区段使用惯性快照数据和视频数据的可能性是可能的。
此外，不对刷牙作任何限制。用户可根据喜好以及习惯来刷他/她的牙齿。这一点同样适用于任何其它卫生装置的情况。这一点通过可能的快照分类实现。
此外，仅仅使用卫生装置中传感器采集的惯性数据，就已经可以用惯性传感器分类来计算当前护理部分的简单分类。然后可通过与基于摄像头的分类的传感器融合来改善此分类。按照相同的方式，可仅仅使用基于摄像头的分类进行简单分类，并且继而使用惯性传感器分类改善此分类。
应当注意的是，纳入其它传感器，诸如磁场传感器(指南针)和角速率传感器，可改善上述实施方案。然后可以改善电动牙刷取向(角度)的估算，并且可增添像指南针方位角的其它特征，用于以与使用加速数据分类一样的方式分类。使用另外的角速率，姿态过滤器，诸如基于卡尔曼过滤器的姿态过滤器，可用于估算卫生装置在地球惯性坐标系中的三维姿态。
尽管一些方面已经以设备为背景进行了说明，但是应当明白，这些方面也表示对相应方法所作的说明，其中一个方框或装置对应于一个方法步骤或方法步骤的特征。类似地，以方法步骤为背景来描述的方面也表示对相应设备的相应方框或项或特征所作的说明。一些或所有方法步骤可以由(或使用)硬件设备来执行，像例如，微处理器、可编程计算机、或电子电路。在一些实施方案中，某个或某些最重要的方法步骤可以由此类设备来执行。
根据某些实现方式的要求，本发明的实施方案可以在硬件或软件中实现。该实现方式可使用数字存储介质来完成，例如，软盘、DVD、蓝光光碟(Blu-Ray)、CD、ROM、PROM、RAM、EPROM、EEPROM、或闪存存储器，该介质上存储了电可读控制信号，其与(或能够与)可编程计算机系统配合，使相应方法得以执行。因此，数字存储介质可以是计算机可读介质。
根据本发明的一些实施方案包括具有电可读控制信号的数据载体，数据载体能够与可编程计算机系统配合，使本文所述多个方法中的一个方法得以执行。
一般地，本发明的实施方案可以作为计算机程序产品来实现，此计算机产品具有程序代码，当计算机程序产品在计算机上运行时，此程序代码可用于执行这些方法中的一个方法。程序代码可例如存储在机器可读载体上。
其它实施方案包括存储在机器可读载体中的计算机程序，此计算机程序用于执行本文所述多个方法中的一个方法。
换句话说，本发明方法的实施方案因此是个具有程序代码的计算机程序，当计算机程序在计算机上运行时，此计算机程序用于执行本文所述多个方法中的一个方法。
本发明方法的另一实施方案因此是数据载体(或数字存储介质、或计算机可读介质)，此数据载体包括记录在其上的用于执行本文所述多个方法中一个方法的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非过渡性的。
本发明方法的另一实施方案因此是数据流、或表示用于执行本文所述多个方法中一个方法的计算机程序的信号序列。数据流或信号序列可以例如被配置成通过数据通信连接(例如，通过互联网)传输。
另一实施方案包括处理部件，例如，计算机或可编程逻辑装置，其被配置成或适于执行本文所述多个方法中的一个方法。
另一实施方案包括在其上安装有用于执行本文所述多个方法中一个方法的计算机程序的计算机。
根据本发明的另一实施方案包括设备或系统，其被配置成向接收器传输(例如，以电子方式或光学方式)用于执行本文所述多个方法中一个方法的计算机程序。接收器可以例如是计算机、移动装置、存储器装置等。设备或系统可以例如包括文件服务器，用于向接收器传输计算机程序。
在一些实施方案中，可编程逻辑装置(例如，现场可编程门阵列)可用于执行本文所述多个方法中的一些或所有功能。在一些实施方案中，现场可编程门阵列可以与微处理器配合，以便执行本文所述多个方法中的一个方法。一般地，方法可以由任何硬件设备执行。
本文所述的设备可使用硬件设备，或使用计算机，或使用硬件设备与计算机的组合来实现。
本文所述的方法可使用硬件设备，或使用计算机，或使用硬件设备与计算机的组合来执行。
本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个这样的量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在表示“约40mm”。
上述实施方案仅仅是为了说明本发明的原理。应当理解，本文所述的布置和细节的修改与变型对于本领域其他技术人员而言将是显而易见的。因此，其意图在于仅仅受到所附专利权利要求书的范围的限制，而非受到通过说明与解释本文实施方案而展示的具体细节的限制。
参考文献
[1]J.Saragih，S.Lucey和J.Cohn，“Deformable Model Fitting by RegularizedLandmark Mean-Shifts”，International Journal of Computer Vision(IJCV)，2010年。
[2]DeMenthon，D.& Davis，L..Sandini，G.(Ed.)“Model-based object pose in25 lines of code，”Computer Vision ECCV’92，Springer Berlin Heidelberg，1992年，第335页-343页
[3]Christian Kueblbeck和Andreas Ernst：“Face detection and tracking invideo sequences using the modified census transformation”，Journal on Imageand Vision Computing，第24卷，第6期，第564页-572页，2006年，ISSN 0262-8856
[4]Christian Kueblbeck和Andreas Ernst：“Fast face detection andspecies classification of African great apes”，AVSS 2011，IEEE 8thInternational Conference on Advanced Video and Signal-based Surveillance，Klagenfurt，2011年。
[5]US 6,519,579；Reliable identification with preselection andrejection class，P.Plankensteiner和U.Dieckmann。
[6]US8320682B2；Evaluation of edge direction information，BernhardFroeba和Christian Kueblbeck。
[7]EP1593001 B1；Adjustment of an image recorder with dynamicmeasuring fields，Christian Kueblbeck和Bernhard Froeba。
[8]EP2406697 A1；Verfahren und System zum Erkennen eines Objektes，undVerfahren und System zum Erzeugen einer Markierung in einerBildschirmdarstellung mittels eines berührungslos Gestik-gesteuertenBildschirmzeigers，Thomas Wittenberg和Christian MüNZENMAYER和Christian KüBLBECK和Andreas Ernst。
[9]DE102009048117 A1；Verfahren und Vorrichtung zum Erkennen einerFehldetektion eines Objekts in einem Bild，Andreas Ernst和Christian KüBLBECK和Tobias Ruf。
[10]DE102009048118 A1；Verfahren und Vorrichtung zum Verwalten vonObjektansichtsdaten in einer Objektdatenbank，Andreas Ernst和Christian KüBLBECK和Tobias Ruf。
[11]EP13178529.7；专利申请中2013/07/30，apparatus and method forresource-adaptive object detection and tracking，Anton Papst和Andreas Ernst和Tobias Ruf和Jens Garbas。
[12]Bocksch，Marcus；Seitz，Jochen；Jahn，Jasper：Pedestrian ActivityClassification to Improve Human Tracking and Localization.In：Proceedings ofthe 4th International Conference on Indoor Positioning and Indoor Navigation(IPIN)，Montbeliard，法国，2013年，第667页-671页
[13]US 8,744,192 B2。

Claims (15)

1.一种设备，所述设备用于确定用户使用个人卫生装置(12)护理的用户的身体部分，所述设备包括
摄像头(16)，所述摄像头被配置成在使用所述个人卫生装置(12)对所述身体部分进行护理的同时，对所述用户进行拍摄，以获得所述用户的图片化图示；
接口(18)，所述接口被配置成接收位于所述个人卫生装置(12)之中的至少一个惯性传感器(20)的传感器数据；以及
分析仪(26)，所述分析仪被配置成分析所述图片化图示和所述传感器数据，以确定所述身体部分。
2.根据权利要求1所述的设备，其中所述分析仪(26)被配置成通过从候选身体部分的预定组中选择出所述身体部分而进行所述确定。
3.根据权利要求2所述的设备，其中候选身体部分的所述组至少包括：
第一候选头部部分，所述第一候选头部部分位于所述用户的左手侧处；
第二候选头部部分，所述第二候选头部部分位于所述用户的左手侧处，但是沿着所述用户的纵轴相对于所述第一候选头部部分偏移；
第三候选头部部分，所述第三候选头部部分位于所述用户的右手侧处；
第四候选头部部分，所述第四候选头部部分位于所述用户的右手侧处，但是沿着所述用户的纵轴相对于所述第三候选头部部分偏移。
4.根据权利要求2所述的设备，其中所述个人卫生装置(12)是牙刷，并且候选身体部分的所述组至少包括
所述用户的牙列的上颌左侧部分，
所述用户的牙列的下颌左侧部分，
所述用户的牙列的上颌右侧部分，以及
所述用户的牙列的下颌右侧部分。
5.根据权利要求1至4中任一项所述的设备，其中所述图片化图示包括一张或多张图片，并且所述分析仪被配置成将所述传感器数据的按时间校准的部分与所述一张或多张图片中的每个相关联，以获得按时间校准的混合的图片化/加速数据，并基于所述按时间校准的混合的图片化/加速数据来确定所述身体部分。
6.根据权利要求1至5中任一项所述的设备，其中所述分析仪(26)被配置成
对所述图片化图示进行第一估算分析，以获得第一组候选身体部分中每部分的第一概率值，所述第一概率值表明所述身体部分是所述第一组候选身体部分中所述相应候选身体部分的可能性，
对所述传感器数据进行第二估算分析，以获得第二组候选身体部分中每个候选身体部分的第二概率值，所述第二概率值表明所述身体部分是所述第二组候选身体部分中所述相应候选身体部分的可能性，以及
基于所述第一概率值和所述第二概率值，从第三组候选身体部分中选择出所述身体部分，
其中所述第一、第二和第三组候选身体部分表示对人头部部分的相同划分或不同划分。
7.根据权利要求1至6中任一项所述的设备，其中所述身体部分是头部部分，并且所述分析仪(26)被配置成
从所述图片化图示的图片中定位、以及从所述图片中提取嘴部区域，所述嘴部区域包括并围绕所述用户的嘴部，以及根据所述图片中所述用户的脸部的位置扭曲(58)所述嘴部区域以便对应于所述用户的脸部的预定位置，以及
基于所述扭曲的嘴部区域，确定(94；96；98)所述身体部分。
8.根据权利要求1至7中任一项所述的设备，其中所述分析仪(26)被配置成基于所述传感器数据来计算所述个人卫生装置的转动角和俯仰角，并且基于所述转动角和俯仰角来确定所述身体部分。
9.根据权利要求1至8中任一项所述的设备，其中所述图片化图示包括一序列的图片，每张图片与预定时间戳相关联，并且所述分析仪被配置成将所述传感器数据的按时间校准的部分与所述序列图片中的每张图片相关联，以获得一序列按时间校准的混合的图片化/加速数据项，在每个时间戳下具有按时间校准的混合的图片化/加速数据项，并且针对每个按时间校准的混合的图片化/加速数据项更新所述身体部分的确定结果。
10.根据前述权利要求中任一项所述的设备，其中所述分析仪(26)被配置成持续调查所述用户在所述摄像头的视野中的位置，并且在具有脱离所述摄像头的所述视野或其所关注的预定区域的风险的情况下警告所述用户。
11.根据前述权利要求中任一项所述的设备，所述设备还包括观察仪(28)，所述观察仪被配置成使所述用户观察到所述当前被护理的身体部分。
12.根据前述权利要求中任一项所述的设备，所述设备还包括
日志模块(30)，所述日志模块被配置成针对一组候选身体部分中每个候选身体部分，记录所述分析仪已确定所述相应候选身体部分为所述身体部分的时长的时间量度日志，以及
观察仪(28)，所述观察仪被配置成使所述用户针对每个候选身体部分观察所述时间量度、或者基于所述时间量度所确定的对所述相应候选身体部分的剩余护理需要的量度。
13.一种系统，所述系统包括
根据前述权利要求中任一项所述的设备(10)，以及
所述个人卫生装置(12)。
14.一种方法，所述方法用于确定所述用户使用个人卫生装置进行护理的用户的身体部分，所述方法包括
在使用所述个人卫生装置护理所述身体部分的同时，对所述用户进行拍摄，以获得所述用户的图片化图示；
接收位于所述个人卫生装置之中的至少一个惯性传感器的传感器数据；以及
分析所述图片化图示和所述传感器数据，以确定所述身体部分。
15.一种计算机程序，当在计算机上运行时，所述计算机程序用于执行根据权利要求14所述的方法。
CN201680051862.4A 2015-09-08 2016-09-01 确定用户当前被护理的身体部分 Pending CN107949298A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15184240.8 2015-09-08
EP15184240.8A EP3141151B1 (en) 2015-09-08 2015-09-08 Determination of a currently treated body portion of a user
PCT/IB2016/055244 WO2017042673A1 (en) 2015-09-08 2016-09-01 Determination of a currently treated body portion of a user

Publications (1)

Publication Number Publication Date
CN107949298A true CN107949298A (zh) 2018-04-20

Family

ID=54072710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680051862.4A Pending CN107949298A (zh) 2015-09-08 2016-09-01 确定用户当前被护理的身体部分

Country Status (7)

Country Link
US (1) US10702191B2 (zh)
EP (1) EP3141151B1 (zh)
JP (1) JP6549316B2 (zh)
CN (1) CN107949298A (zh)
CA (1) CA2996918C (zh)
ES (1) ES2964759T3 (zh)
WO (1) WO2017042673A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110495962A (zh) * 2019-08-26 2019-11-26 赫比（上海）家用电器产品有限公司 监测牙刷位置的方法及其牙刷和设备
CN112105316A (zh) * 2018-05-10 2020-12-18 皇家飞利浦有限公司 基于口腔状况调节个人护理设备行为的方法和系统
CN113710196A (zh) * 2019-04-16 2021-11-26 皇家飞利浦有限公司 用于齿间空间检测的口腔护理系统
CN115251760A (zh) * 2018-12-21 2022-11-01 宝洁公司 用于操作个人梳理器具或家用清洁器具的设备和方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10172552B2 (en) * 2013-06-19 2019-01-08 Benjamin Ohmer Method for determining and analyzing movement patterns during dental treatment
US10702206B2 (en) 2015-06-29 2020-07-07 Braun Gmbh Toothbrush for oral cavity position detection
EP3141151B1 (en) 2015-09-08 2023-10-18 Braun GmbH Determination of a currently treated body portion of a user
US20170206804A1 (en) * 2015-09-17 2017-07-20 Funbrush Ltd. Interactive add-on device for kids for a toothbrush and a platform for mobile devices containing games controlled by that device
US10993524B2 (en) * 2015-12-15 2021-05-04 Koninklijke Philips N.V. System and method for tracking an oral care device
EP3207823A1 (en) 2016-02-16 2017-08-23 Braun GmbH Interactive system setup concept
BR112019003640B1 (pt) 2016-08-22 2023-05-02 Kolibree SAS Sistema de higiene bucal para monitoramento de conformidade e sistema de teleodontologia
EP3375370A1 (en) * 2017-03-13 2018-09-19 Koninklijke Philips N.V. An apparatus and a method of estimating the position of a handheld personal care device relative to a user
GB201713034D0 (en) * 2017-08-14 2017-09-27 Playbrush Ltd Toothbrush coaching system
CN107468362B (zh) * 2017-08-16 2019-10-01 深圳市乐易电器科技有限公司 一种自动控制式电动牙刷
ES2795030T3 (es) 2017-09-22 2020-11-20 Braun Gmbh Dispositivo de higiene personal
JP2020536616A (ja) * 2017-10-13 2020-12-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． パーソナルケア装置のユーザを特徴付ける方法及びシステム
WO2019098466A1 (ko) * 2017-11-17 2019-05-23 엘지전자 주식회사 스마트 칫솔과 연동되는 양치 가이드 모듈 및 스마트 칫솔과 양치 가이드 모듈로 구성되는 스마트 칫솔 시스템
WO2019102480A1 (en) * 2017-11-26 2019-05-31 Dentlytec G.P.L. Ltd Tracked toothbrush and toothbrush tracking system
WO2019133287A1 (en) 2017-12-28 2019-07-04 Colgate-Palmolive Company Systems and methods for estimating a three-dimensional pose of an oral hygiene device with visual markers
RU2753629C1 (ru) * 2017-12-28 2021-08-18 Колгейт-Палмолив Компани Системы для гигиены полости рта
US11117276B2 (en) 2018-01-19 2021-09-14 The Gillette Company Llc Method for generating user feedback information from a shave event
US10589437B2 (en) 2018-01-19 2020-03-17 The Gillette Company Llc Personal appliance
US11247354B2 (en) 2018-01-19 2022-02-15 The Gillette Company Llc Personal appliance
US10647011B2 (en) 2018-01-19 2020-05-12 The Gillette Company Llc Networked shaving appliance system
US10960560B2 (en) 2018-01-19 2021-03-30 The Gillette Company Llc Method for generating user feedback information from a shave event
US20190224870A1 (en) 2018-01-19 2019-07-25 The Gillette Company Llc Shaving appliance including a notification cirucit for communicating shave stroke direction information
CN111742327B (zh) * 2018-02-19 2024-05-28 博朗有限公司 用于实施可移动处理装置的定位的设备和方法
CN112055550B (zh) * 2018-03-01 2023-06-02 皇家飞利浦有限公司 用于口腔护理设备的定位感测方法
DE102019117923A1 (de) 2018-07-19 2020-01-23 Benjamin Ohmer Verfahren und Vorrichtung zur Bestimmung von Bewegungen bei einer Zahnbehandlung
CN113395947B (zh) * 2019-02-05 2022-11-01 联合利华知识产权控股有限公司 牙刷运动分析
EP3708312A1 (en) * 2019-03-14 2020-09-16 Koninklijke Philips N.V. Determining a device location a body part
JP6960503B1 (ja) * 2020-05-29 2021-11-05 株式会社ポケモン ゲームプログラム、方法、情報処理装置、システム
JP7025823B2 (ja) * 2020-05-29 2022-02-25 株式会社ポケモン ゲームプログラム、方法、情報処理装置、システム
CN115835798A (zh) * 2020-06-22 2023-03-21 高露洁-棕榄公司 用于促进口腔卫生的口腔护理系统和方法
KR20220111526A (ko) * 2021-02-02 2022-08-09 자이메드 주식회사 실시간 생체 이미지 인식 방법 및 장치
JP7043157B1 (ja) 2021-10-11 2022-03-29 株式会社ポケモン ゲームプログラム、方法、情報処理装置、システム
JP2023116897A (ja) * 2022-02-10 2023-08-23 パナソニックＩｐマネジメント株式会社 速度算出装置、速度算出方法、及び速度算出プログラム
WO2024007098A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007888A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007091A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007106A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007100A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007117A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007113A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969878A (zh) * 2008-03-14 2011-02-09 欧姆龙健康医疗事业株式会社 电动牙刷
CN102215922A (zh) * 2008-11-20 2011-10-12 吉列公司 个人卫生装置、系统和方法
WO2014202438A1 (de) * 2013-06-19 2014-12-24 Benjamin Ohmer Verfahren zur bestimmung von bewegungsmustern bei einer zahnbehandlung

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US942708A (en) 1908-01-29 1909-12-07 Lucien P Blot Drop-hammer.
US3783364A (en) 1967-06-21 1974-01-01 Sunbeam Corp Electric appliance
US4716614A (en) 1985-11-07 1988-01-05 Jones Arthur R Device for monitoring the process of toothbrushing
US5561881A (en) 1994-03-22 1996-10-08 U.S. Philips Corporation Electric toothbrush
DE4439835C1 (de) 1994-11-08 1996-02-08 Braun Ag Zahnbürste und Verfahren zur Anzeige der Putzzeitdauer
DE19506129A1 (de) 1995-02-22 1996-08-29 Gimelli & Co Ag Zahnbürste
US5701629A (en) 1995-07-19 1997-12-30 Speciality Filaments, Inc. Hollow brush bristle with radiating spokes
JPH09168428A (ja) 1995-12-18 1997-06-30 Royal Kogyo Kk 幼児用歯磨き促進具
US5796325A (en) 1996-08-30 1998-08-18 Optiva Corporation Charging coil core insert for electric toothbrushes
US5864288A (en) 1996-10-11 1999-01-26 Hogan; Rory G. Talking toothbrush holder
ATE368261T1 (de) 1997-03-10 2007-08-15 Fraunhofer Ges Forschung Sichere identifikation mit vorauswahl und rückweisungsklasse
US6102284A (en) 1997-04-23 2000-08-15 Lxe Inc. Cradle for holding a device
US5944531A (en) 1998-04-21 1999-08-31 Foley; Rita S. Oral hygiene instructional display
JP3773655B2 (ja) 1998-06-09 2006-05-10 株式会社バンダイ 歯磨装置及び歯磨動作の評価装置
US6611780B2 (en) 1999-06-09 2003-08-26 Koninklijke Philips Electronics N.V. System for communicating operational data between an electric toothbrush and a separate control unit
US6754928B1 (en) 2000-02-08 2004-06-29 Howard Rosen Brushing behavior reinforcement toothbrush and enclosed electronic game switch with grid
US6536068B1 (en) * 1999-12-29 2003-03-25 Gillette Canada Company Toothbrushing technique monitoring
DE10026859C1 (de) 2000-05-31 2001-08-30 Braun Gmbh Elektromotorisch angetriebene Zahnbürste mit Signalgeber
US6808298B2 (en) 2000-08-21 2004-10-26 Todd Regan Christensen Lighting system
DE10043460C2 (de) 2000-09-04 2003-01-30 Fraunhofer Ges Forschung Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation
FR2832298B1 (fr) 2000-09-20 2004-02-20 Audians Dispositif de brossage de dents
DE10159395B4 (de) 2001-12-04 2010-11-11 Braun Gmbh Vorrichtung zur Zahnreinigung
KR100735645B1 (ko) 2001-03-14 2007-07-06 브라운 게엠베하 치아 세정 장치 및 방법
US20030115694A1 (en) 2001-12-20 2003-06-26 Koninklijke Philips Electronics N.V. Toothbrush having a brushhead portion which contains a memory device for communicating with a microcontroller in a handle portion of the toothbrush or other device
US6902397B2 (en) 2002-08-01 2005-06-07 Sunstar Americas, Inc. Enhanced dental hygiene system with direct UVA photoexcitation
US6752627B2 (en) 2002-09-13 2004-06-22 Chang Gung University Light emitting tooth brush having whitening and sterilizing effects
WO2004072725A1 (de) 2003-02-12 2004-08-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Einstellung eines bildaufnehmers mit dynamischen messfeldern
US20060040246A1 (en) 2004-08-18 2006-02-23 Min Ding Interactive Toothbrush Game
JP2008543418A (ja) 2005-06-20 2008-12-04 ジンサン ファン 歯磨きパターン分析校正装置、双方向歯磨き習慣校正方法およびシステム
WO2007032015A2 (en) 2005-09-18 2007-03-22 Emad Gith Toothbrush
US7748069B2 (en) 2005-12-15 2010-07-06 Cynthia A Dawley Multimedia toothbrush (toothpix)
EP3603570B2 (en) 2005-12-21 2024-04-03 Koninklijke Philips N.V. System for selecting modes of operation in a power toothbrush
US7411511B2 (en) 2006-02-07 2008-08-12 The Procter & Gamble Company Interactive packaging for development of personal hygiene habits
US7976388B2 (en) 2006-03-24 2011-07-12 Umagination Labs, L.P. Oral care gaming system with electronic game
CA2649473C (en) 2006-04-20 2015-06-30 Koninklijke Philips Electronics N.V. System for operating modes for an electric toothbrush
US20080109973A1 (en) 2006-11-15 2008-05-15 Farrell Mark E Personal care products and methods
US8201295B2 (en) 2007-02-16 2012-06-19 Colgate-Palmolive Company Oral care implement having user-interactive display and moving head
JP4992043B2 (ja) * 2007-08-13 2012-08-08 株式会社国際電気通信基礎技術研究所 行動識別装置、行動識別システムおよび行動識別方法
US7890193B2 (en) 2007-08-15 2011-02-15 Tingey Terrell F Oral device
KR100947046B1 (ko) 2007-11-19 2010-03-10 황진상 운동체 자세 추적 장치, 운동체 자세 추적 방법, 이를이용한 칫솔 자세 추적 장치 및 칫솔 자세 추적 방법
WO2009107047A1 (en) 2008-02-27 2009-09-03 Koninklijke Philips Electronics N.V. Dental position tracking system for a toothbrush
JP5359210B2 (ja) * 2008-03-14 2013-12-04 オムロンヘルスケア株式会社 電動歯ブラシ
WO2009136918A1 (en) * 2008-05-07 2009-11-12 Colgate-Palmolive Company Interactive toothbrush and removeable audio output module
FI20085488A0 (fi) 2008-05-23 2008-05-23 Pump & Brush Finland Oy Älykäs hammasharjamonitorointilaite
JP5251265B2 (ja) * 2008-06-02 2013-07-31 オムロンヘルスケア株式会社 電動歯ブラシ
DE102008027317B4 (de) 2008-06-07 2011-11-10 Gilbert Duong Zahnputznavigationssystem zur Kontrolle des Zähneputzens
US9072370B2 (en) 2008-06-19 2015-07-07 Colgate-Palmolive Company User health profiles derived from oral care implements
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
JP5365277B2 (ja) 2009-03-17 2013-12-11 オムロンヘルスケア株式会社 電動歯ブラシ
DE102009017772A1 (de) 2009-04-16 2010-11-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und System zum Erkennen eines Objektes, und Verfahren und System zum Erzeugen einer Markierung in einer Bildschirmdarstellung mittels eines berührungslos gestikgesteuerten Bildschirmzeigers
CN102405029A (zh) * 2009-05-08 2012-04-04 吉列公司 个人护理系统、产品和方法
WO2010151582A1 (en) 2009-06-26 2010-12-29 The Gillette Company Pressure indicator for a tooth brush
DE102009048118B4 (de) 2009-10-02 2020-06-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Verwalten von Objektansichtsdaten in einer Objektdatenbank
DE102009048117A1 (de) 2009-10-02 2011-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objektss in einem Bild
EP2512290B1 (en) 2009-12-17 2018-04-18 Unilever PLC Toothbrush tracking system
JP5482209B2 (ja) 2010-01-08 2014-05-07 オムロンヘルスケア株式会社 電動歯ブラシ
JP2011146049A (ja) 2011-02-04 2011-07-28 Denso Corp 人物検出装置、人物検出プログラム、作動制御装置、および衝突緩和装置
US8743051B1 (en) 2011-09-20 2014-06-03 Amazon Technologies, Inc. Mirror detection-based device functionality
US20140065588A1 (en) * 2012-08-31 2014-03-06 Ideas That Work, Llc Toothbrush Training System
JP6095053B2 (ja) * 2012-12-27 2017-03-15 日立マクセル株式会社 美容システム
EP2833325A1 (en) 2013-07-30 2015-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for resource-adaptive object detection and tracking
US10172443B2 (en) 2013-08-11 2019-01-08 Yong-Jing Wang Oral care tools and systems
US10064711B1 (en) 2013-09-23 2018-09-04 Click Care LLC Smart toothbrush and floss method and system
EP3192022B1 (en) 2014-08-04 2019-04-17 Sarubbo, Davide A system for checking a correct oral hygiene procedure
CN110731608B (zh) * 2014-12-22 2022-10-04 太阳星光齿磨公司 刷牙辅助系统
US10702206B2 (en) 2015-06-29 2020-07-07 Braun Gmbh Toothbrush for oral cavity position detection
CN107708483B (zh) 2015-06-29 2020-11-27 皇家飞利浦有限公司 用于使用霍尔效应传感器提取用户的运动特性以向用户提供反馈的方法和系统
EP3141151B1 (en) 2015-09-08 2023-10-18 Braun GmbH Determination of a currently treated body portion of a user
EP3207823A1 (en) 2016-02-16 2017-08-23 Braun GmbH Interactive system setup concept

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969878A (zh) * 2008-03-14 2011-02-09 欧姆龙健康医疗事业株式会社 电动牙刷
CN102215922A (zh) * 2008-11-20 2011-10-12 吉列公司 个人卫生装置、系统和方法
WO2014202438A1 (de) * 2013-06-19 2014-12-24 Benjamin Ohmer Verfahren zur bestimmung von bewegungsmustern bei einer zahnbehandlung

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112105316A (zh) * 2018-05-10 2020-12-18 皇家飞利浦有限公司 基于口腔状况调节个人护理设备行为的方法和系统
CN112105316B (zh) * 2018-05-10 2023-01-20 皇家飞利浦有限公司 基于口腔状况调节个人护理设备行为的方法和系统
CN115251760A (zh) * 2018-12-21 2022-11-01 宝洁公司 用于操作个人梳理器具或家用清洁器具的设备和方法
CN113710196A (zh) * 2019-04-16 2021-11-26 皇家飞利浦有限公司 用于齿间空间检测的口腔护理系统
CN110495962A (zh) * 2019-08-26 2019-11-26 赫比（上海）家用电器产品有限公司 监测牙刷位置的方法及其牙刷和设备

Also Published As

Publication number Publication date
CA2996918C (en) 2020-01-21
CA2996918A1 (en) 2017-03-16
US10702191B2 (en) 2020-07-07
WO2017042673A1 (en) 2017-03-16
EP3141151A1 (en) 2017-03-15
JP6549316B2 (ja) 2019-07-24
ES2964759T3 (es) 2024-04-09
EP3141151B1 (en) 2023-10-18
JP2019500632A (ja) 2019-01-10
US20170069083A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
CN107949298A (zh) 确定用户当前被护理的身体部分
Yan et al. Development of ergonomic posture recognition technique based on 2D ordinary camera for construction hazard prevention through view-invariant features in 2D skeleton motion
Hesse et al. Computer vision for medical infant motion analysis: State of the art and rgb-d data set
CN106647742B (zh) 移动路径规划方法及装置
Zhang et al. Leveraging depth cameras and wearable pressure sensors for full-body kinematics and dynamics capture
CN110546644B (zh) 识别装置、识别方法以及记录介质
Chakravorti et al. Design and implementation of an integrated performance monitoring tool for swimming to extract stroke information at real time
CN105740780A (zh) 人脸活体检测的方法和装置
CN105094335A (zh) 场景提取方法、物体定位方法及其系统
US9990857B2 (en) Method and system for visual pedometry
CN105760809A (zh) 用于头部姿态估计的方法和设备
WO2019125700A1 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping
CN109242887A (zh) 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
Oskiper et al. Stable vision-aided navigation for large-area augmented reality
CN109409962A (zh) 图像处理方法、装置、电子设备、计算机可读存储介质
US9361705B2 (en) Methods and systems for measuring group behavior
Xu et al. [Retracted] An Inertial Sensing‐Based Approach to Swimming Pose Recognition and Data Analysis
CN111448589B (zh) 用于检测患者的身体移动的设备、系统和方法
CN107256375A (zh) 一种电脑前人体坐姿监测方法
Ivanova et al. Video and sensor-based rope pulling detection in sport climbing
EP4394706A1 (en) Spatial positioning method and apparatus
Hwang et al. A rapport and gait monitoring system using a single head-worn IMU during walk and talk
Jatesiktat et al. Recovery of forearm occluded trajectory in kinect using a wrist-mounted inertial measurement unit
Boltes et al. Gathering of data under laboratory conditions for the deep analysis of pedestrian dynamics in crowds
CN113420667A (zh) 人脸活体检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420

RJ01 Rejection of invention patent application after publication