CN107708483A - 用于使用霍尔效应传感器提取用户的运动特性以向用户提供反馈的方法和系统 - Google Patents

用于使用霍尔效应传感器提取用户的运动特性以向用户提供反馈的方法和系统 Download PDF

Info

Publication number
CN107708483A
CN107708483A CN201680038975.0A CN201680038975A CN107708483A CN 107708483 A CN107708483 A CN 107708483A CN 201680038975 A CN201680038975 A CN 201680038975A CN 107708483 A CN107708483 A CN 107708483A
Authority
CN
China
Prior art keywords
user
oral hygiene
hygiene apparatuses
image
apparatuses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680038975.0A
Other languages
English (en)
Other versions
CN107708483B (zh
Inventor
V·珍妮
T·哈德曼
A·登哈默尔
M·J·爱德华兹
J·W·奥布雷布斯基
H·G·J·J·A·弗鲁曼
A·默克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN107708483A publication Critical patent/CN107708483A/zh
Application granted granted Critical
Publication of CN107708483B publication Critical patent/CN107708483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A46B15/0006Arrangements for enhancing monitoring or controlling the brushing process with a controlling means with a controlling brush technique device, e.g. stroke movement measuring device
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45BWALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
    • A45B15/00Umbrellas with detachable covers
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0038Arrangements for enhancing monitoring or controlling the brushing process with signalling means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/221Control arrangements therefor
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B2200/00Brushes characterized by their functions, uses or applications
    • A46B2200/10For human or animal care
    • A46B2200/1066Toothbrush for cleaning the teeth or dentures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0076Body hygiene; Dressing; Knot tying
    • G09B19/0084Dental hygiene

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Brushes (AREA)
  • Image Analysis (AREA)

Abstract

提供了用于在操作口腔卫生设备(10)的同时增强用户效率的系统和方法。在一个示例性实施例中,使用图像捕获部件(602)捕获至少一个图像,并且基于至少一个捕获的图像来确定用于操作口腔卫生设备的关注区(820)。提取与由用户操作的口腔卫生设备的运动对应的特性。对所提取的特性的分析发生,以确定口腔卫生设备的运动质量,并且向用户提供关于所确定的口腔卫生设备的运动质量的反馈。

Description

用于使用霍尔效应传感器提取用户的运动特性以向用户提供 反馈的方法和系统
技术领域
本发明一般地涉及口腔卫生设备,并且特别地涉及包括能够提取用户的刷牙运动特性的至少一个传感器的口腔卫生设备,使得能够基于所提取的特性向用户提供反馈。本发明一般地还涉及用于使用基于相机的系统来分析用户的刷牙运动特性,以根据所捕获的图像提取刷牙运动特性并且基于所提取的特性向用户提供反馈的系统和方法。
背景技术
虽然正确的口腔卫生很重要,校正个人的口腔卫生的技术往往是困难的。这个问题的一个解决方案是个体在口腔卫生专业人员(诸如牙医)在场时展示他们的口腔卫生技术,并且让口腔卫生专业人员校正由个体所犯的任何错误。然而,这具有固有的缺陷,因为个体可能不记得所有校正的方面,以及因为如下事实:在口腔卫生专业人员在场时,用户可能未执行他们真实的口腔卫生技术。此外,随着时间的推移,个体的口腔卫生技术可能会退化到先前的不正确的方式和/或新的不正确的风格,或者个体可能开发新的不正确的技术。
对这样的问题的一个提议的解决方案是创建一个“游戏”,其中执行正确的口腔卫生技术被奖励以个体赢得游戏,而不正确的口腔卫生技术导致个体游戏失败。虽然这个概念可能对儿童奏效,但对于成年人往往是不切实际和无效的。此外,玩游戏仅可以帮助个人在玩游戏的同时校正他们的口腔卫生技术,并且个体不能够看到他们的整体口腔卫生技术如何改进(或者当他们偏离正确的技术太远时)。更进一步地,这样的口腔卫生游戏通常不是可传送的,并且因此不能向个体提供关于他们的口腔卫生护理功效的实时反馈。
发明内容
因此,本发明的一个目的是提供一种口腔卫生设备(诸如电动牙刷),该口腔卫生设备能够提取操作口腔卫生设备的用户的运动特性并且向用户提供关于他们技术功效的反馈。根据本发明,通过如下方式来实现此目的:分析口腔卫生设备的运动特性,并且基于从包括在口腔卫生设备内的至少一个传感器或至少一个图像捕获部件获取的数据向用户提供反馈,向他们通知他们操作口腔卫生设备的功效。此外,本发明的另一个目的是提供一种能够检测操作口腔卫生设备的用户的运动特性的用户设备。该用户设备进一步可操作以提取操作口腔卫生设备的用户的运动特性,并且向用户提供反馈。
在第一示例性实施例中,提供了一种用于向操作包括至少一个传感器的口腔卫生设备的用户提供反馈的方法。在一个实施例中,接收由口腔卫生设备的至少一个传感器获取的数据。然后分析获取的数据以确定由用户操作的口腔卫生设备的运动质量。然后基于确定的运动质量向用户提供反馈。
在第二示例性实施例中,提供了一种口腔卫生设备。在一个实施例中,口腔卫生设备包括手柄,该手柄包括动力传动系统、附接组件、耦合到附接组件的传动系组件、可操作以产生磁场的磁体、安装在由磁体产生的磁场内的至少一个传感器、以及至少一个处理器。至少一个处理器可操作以从至少一个传感器获取数据。数据对应于磁场相对于至少一个传感器的变形,响应于附接组件在与正在操作口腔卫生设备的用户的关注区相互作用的同时具有对它施加的外力,出现变形。
在第三示例性实施例中,提供了一种用于增强在操作口腔卫生设备时的用户功效的方法。在一个实施例中,从图像捕获部件捕获至少一个图像。然后基于至少一个捕获的图像来确定用于操作口腔卫生设备的关注区。基于所确定的关注区,提取与由用户操作的口腔卫生设备的运动相对应的特性。然后分析所提取的与由用户操作的口腔卫生设备的运动相对应的特性,以确定口腔卫生设备的运动质量。然后将关于所确定的口腔卫生设备的运动质量的反馈提供给用户。
在第四示例性实施例中,提供了一种用于帮助用户增强操作口腔卫生设备的有效性的用户设备。该用户设备包括至少一个图像捕获部件、显示屏幕、通信电路、存储器和至少一个处理器。至少一个处理器可操作以使用至少一个图像捕获部件来捕获操作口腔卫生设备的用户的至少两个图像。响应于检测到用户在关注区中正在操作口腔卫生设备,从至少两个捕获的图像中提取口腔卫生设备的运动信息。然后,通过将提取的运动信息与存储在用户设备上的存储器中的用于口腔卫生设备的预定义目标运动进行比较,来分析所提取的由用户操作的口腔卫生设备的运动信息。比较确定口腔卫生设备的提取运动的质量。然后将反馈提供给操作口腔卫生设备的用户,其中提供的反馈包括提取的运动信息的质量。
附图说明
结合附图考虑下面的详细描述时,本发明的上述和其他特征、其性质和各种优点将更加明显,在附图中:
图1A是根据各种实施例的包括至少一个传感器的口腔卫生设备10的例示性图;
图1B是根据各种实施例的口腔卫生设备10的例示性图;
图1C是根据各种实施例的口腔卫生设备10和用户设备150的例示性图;
图2是根据各种实施例的用户界面200的例示性图;
图3A和3B分别是根据各种实施例的用户界面300和300'的例示性图;
图4是根据各种实施例的用户界面400的例示性图;
图5是根据各种实施例的过程500的例示性流程图;
图6是根据各种实施例的包括用户设备150和口腔卫生设备10的系统2的例示性图;
图7是根据各种实施例的用户设备150的例示性框图。
图8是根据各种实施例的用户的图像800的例示性图。
图9A和9B是根据各种实施例描述设备10的定位改变的例示性图;
图10是根据各种实施例的基于像素位置和帧的改变来描述设备10的定位改变的例示性图。
图11是根据各种实施例的基于设备10与参考对象之间的位置矢量的改变来描述设备10的定位改变的例示性图;
图12是根据各种实施例基于捕获图像的重心改变来描述设备10的定位改变的例示性图;
图13是根据各种实施例的各种用户界面的例示性图;以及
图14是根据各种实施例的过程1100的例示性流程图。
具体实施方式
本发明可以采取各种部件和部件布置以及各种技术、方法或者程序和步骤布置的形式。所参考的附图仅用于图示实施例的目的,而不被解释为限制本发明。下文描述各种发明特征,每个发明特征可以彼此独立地使用或与其他特征组合使用。此外,如本文所使用的,除非上下文另外清楚地规定,否则单数形式的“一”、“一个”和“该”包括复数引用。
图1A是根据各种实施例的包括至少一个传感器的口腔卫生设备10的例示性图。口腔卫生设备10包括壳体18,壳体18包含由电力系统14共振地驱动的传动系组件12,电力系统14包括电池和电子元件载体(例如,印刷电路板或PCB)。口腔卫生设备10进一步包括具有微处理器控件15的印刷电路板,用于创建用于电力系统14的驱动信号。从传动系组件12可拆卸地固定到驱动杆23的是附接组件20,附接组件20远端处是刷子构件21。传动系组件12的后端处是磁体30,并且安装在口腔卫生设备10内的还有至少一个传感器32。在一个示例性实施例中,至少一个传感器32是霍尔效应传感器。在共同受让的国际专利申请公开号WO2014/037856中,可以找到包括至少一个霍尔效应传感器的口腔卫生设备的更详细的描述,WO 2014/037856的整体内容通过引用并入本文。
在一个实施例中,传感器32是能够测量壳体18内的磁场强度的霍尔效应传感器。磁场能够由磁体30生成。在该示例性实施例中应用霍尔效应传感器测量相对于霍尔效应传感器的磁场强度。当外部负载或力被施加到附接组件20时,出现壳体18内的磁场的变形。该变形经由传感器32测量,并且可以提供关于施加到附接组件20的力的量的信息。
在一个实施例中,至少一个传感器32是力传感器。可以包括力传感器来代替霍尔效应传感器和/或与霍尔效应传感器结合。力传感器允许从口腔卫生设备10提取信息,该信息对应于施加到附接组件20的力的量。然而,在一个实施例中,施加到附接组件20的力的量也可以从霍尔效应传感器中提取。例如,在一个实施例中,可以使用洛伦兹力定律(LorentzForce law)来获得施加到附接组件20的力。
图1B是根据各种实施例的口腔卫生设备10的例示性图。在图示的示例性实施例中,口腔卫生设备10包括位于壳体18内的附加部件。
在图示的非限制性实施例中,口腔卫生设备10包括一个或多个处理器102、存储器106、通信电路108和输入/输出接口110。这些部件可以位于微处理器控件15上,或者可以位于壳体18内的其他地方。处理器102可以包括任何处理电路,诸如能够控制口腔卫生设备10的操作和功能的一个或多个处理器。在一个实施例中,处理器102便于设备10内的各种部件(例如,传感器32和通信电路108)之间的通信。
在一个实施例中,存储器106包括一个或多个存储介质。各种类型的存储介质包括但不限于硬盘驱动器、固态驱动器、闪速存储器、永久存储器(例如ROM)或任何其他存储类型或它们的任何组合。可以将任何形式的数据或内容存储在存储器106内,诸如照片、音乐文件、视频、联系人信息、应用程序、文档或任何其他文件或它们的任何组合。在一个实施例中,存储器106还包括高速缓存、半永久性存储器(例如RAM)或任何其他存储器类型或它们的任何组合。在一个实施例中,代替外部存储,和/或除了外部存储之外,可以使用存储器106以用于在口腔卫生设备10上存储数据。
在一个实施例中,通信电路108包括能够连接到通信网络和/或将通信(语音和/或数据)传输到一个或多个附加的用户设备和/或服务器的任何电路。通信电路108能够使用任何适合的通信协议来与通信网络进行接口,适合的通信协议包括但不限于Wi-Fi(例如,802.11协议)、蓝牙射频系统(例如,900MHz、1.4GHz和5.6GHz通信系统)、红外、GSM、GSM加EDGE、CDMA、四频带、VOIP或任何其他协议、或它们的任何组合。
在一个实施例中,输入/输出接口110包括用于接收来自操作口腔卫生设备10的用户的输入和/或向操作口腔卫生设备10的用户生成输出的任何适合的机构或部件。输入/输出接口110可以包括但不限于外部键盘、鼠标、操纵杆或任何其他合适的输入机构、或者它们的任何组合。在一个实施例中,输入/输出接口110包括能够在其上显示用户界面的显示器。
口腔卫生设备10可操作以从传感器32或驻留在口腔卫生设备10中的任何其他传感器获取数据,并且分析数据以确定操作口腔卫生设备10的用户的刷牙运动的质量。例如,传感器32可以是霍尔效应传感器或力传感器或两者。在一个特定示例中,可以使用霍尔效应传感器来提取力信息。作为另一示例,传感器32可以包括一个或多个加速度计。在一个实施例中,所分析的数据被用于经由输入/输出接口110向用户提供反馈。例如,输入/输出接口110可以包括可操作来显示用户界面的显示屏幕,该用户界面包括用户的刷牙质量的分析。作为另一示例,输入/输出接口110可以基于由至少一个传感器32获取的分析数据向用户提供音频、视觉或触觉反馈。本领域的普通技术人员也将认识到,尽管使用至少一个传感器32来获取数据,但是可以使用一个或多个附加的传感器。
图1C是根据各种实施例的口腔卫生设备10和用户设备150的例示性图。在图示的示例性实施例中,用户设备150包括一个或多个处理器102、存储设备104、存储器106、通信电路108和输入/输出接口110。在图示的示例性实施例中,口腔卫生设备10基本上类似于图1A的口腔卫生设备10,除了它还包括通信电路108',通信电路108'基本上类似于用户设备150的通信电路108。
在一个实施例中,通信电路108'使得能够将由传感器32获取的数据经由通信电路108从口腔卫生设备10传输到用户设备150。例如,来自口腔卫生设备10的传感器32(例如,霍尔效应传感器)的数据可以经由Wi-Fi连接、蓝牙连接和/或硬接线连接被传输到用户设备150。
由口腔卫生设备10的传感器32获取的数据对应于基于用户操作口腔卫生设备10在口腔卫生设备10的壳体18内形成的磁场的检测到的变形。例如,当外力或负载被施加到附接组件20时,壳体18内的磁场可能出现变形,其可由传感器32测量。数据能够从口腔卫生设备10发送到用户设备150,以用于处理、分析和/或向操作口腔卫生设备10的用户提供反馈。例如,由传感器32(诸如霍尔效应传感器)获取的数据可以使用存储在存储器106内的一个或多个算法在用户设备150上进行分析,该一个或多个算法确定用户刷牙的质量。然后能够向用户提供关于他们刷牙运动的所确定的质量的反馈。在一个实施例中,反馈被显示在呈现用户界面的显示屏幕上。
本领域的普通技术人员将认识到口腔卫生设备10可以指代任何能够致力于个体口腔卫生的产品,包括但不限于电动牙刷、非电动牙刷、牙线洁牙设备、水喷射器、舌头清洁器或任何其他口腔卫生设备、或它们的任何组合。此外,在至少一个实施例中,口腔卫生设备10可以指代诸如电动剃须刀、毛发修剪器、个人修整器等的个人卫生设备,并且前述说明不仅限于口腔卫生场景。
图2是根据各种实施例的用户界面200的例示性图。在一个实施例中,用户界面200被显示在包括显示屏幕(例如,用户设备150的输入/输出接口110)的用户设备上。例如,用户界面200可以显示在诸如智能电话或平板电脑的手持设备上找到的触敏显示屏幕上。作为另一示例,用户界面200可以被显示在电动牙刷的显示屏幕(例如,如图1B中所示的口腔卫生设备10的输入/输出接口110)上。
在图示的实施例中,用户界面200包括对应于操作包括一个或多个传感器32的口腔卫生设备10的用户的活动的信息。
在图示的实施例中,用户界面200包括图形段202和评论段204。图形段202显示从口腔卫生设备10的传感器32获得的数据的图形表示206,并且特别地,口腔卫生设备10在操作中的一段时间上的口腔卫生设备10的刷牙运动的幅度。图形段202允许操作口腔卫生设备10的用户在视觉上看到他们的刷牙技术如何随时间对他们的牙齿施加压力,并且允许用户校正他们的技术中可能发生的各种不一致性。例如,如果图形表示206具有持续高、低或通常不一致的幅度,则用户将能够在视觉上看到在图形段202内经由图形表示206表示的该信息。此外,图形表示206使用户能够可视化他们的刷牙运动的频率,并确定他们的刷牙技术是太快还是太慢。
在该例示性实施例中,评论段204包括通过用户设备150在用户界面200上显示而生成的、对应于用户的刷牙技术的评论。例如,如果用户正在向他们的牙齿施加正确量的压力,则陈述“压力看起来良好!”的消息可以被显示在用户界面200上,然而如果用户没有施加足够的压力,则陈述“压力太低”的消息可以被显示在用户界面200上。涉及与之前的刷牙会话相比的用户刷牙频率和/或用户刷牙质量的其他评论也能够被显示在评论段204内。
在一个实施例中,驻留在用户设备150和/或口腔卫生设备10上的一个或多个算法从传感器32(例如,霍尔效应传感器)获得数据并且将该数据转换成数值表示。然后可以将数值表示与用于刷牙压力、频率和/或质量的预定义值进行比较,这可操作以使一个或多个不同的消息显现在评论段204中。例如,查找表可以被包括在用户设备150和/或口腔卫生设备10上的存储器106中,当从传感器32获得的数据指示由操作口腔卫生设备10的用户正在施加正确量的压力时,查找表通知用户设备150和/或口腔卫生设备10在用户界面200的评论段204中显示消息“压力看起来良好!”。
图3A和3B分别是根据各种实施例的其他用户界面300和300'的例示性图。在例示性实施例中,用户界面300显示通知用户何时他们的刷牙运动低于目标刷牙运动的图形,然而用户界面300'显示通知用户何时他们的刷牙运动大于目标刷牙运动的图形。用户界面300、300'能够被显示在接收由口腔卫生设备10的传感器32获得的数据的用户设备的显示屏幕上,和/或位于口腔卫生设备10和/或用户设备150上的显示屏幕上。
在一个实施例中,目标刷牙运动被存储在显示用户界面300的用户设备150和/或口腔卫生设备10上的存储器106中。目标刷牙运动可以在任何刷牙活动出现之前被定义。例如,目标刷牙运动可由用户、用户的父母和/或用户的口腔卫生专业人员定义。当用户刷他们的牙齿时,口腔卫生设备10的传感器32获取涉及施加到口腔卫生设备10的外力的数据。例如,如果传感器32是霍尔效应传感器,则施加的外力将导致口腔卫生设备10的壳体18内的磁场的内部变形,并且相对于口腔卫生设备10的传感器32(例如霍尔效应传感器)来测量内部变形。在一个实施例中,霍尔效应传感器被设置为具有至少为预期的最大运动频率的两倍的数据采集速率,然而本领域的普通技术人员将认识到,可以使用任何适合的采集速率,并且上述仅仅是示例性的。
用户界面300包括目标刷牙运动窗口310,目标刷牙运动窗口310指示用于操作口腔卫生设备10的用户的目标刷牙运动的界限。在一个实施例中,用户的当前刷牙运动由标记304指示。随着刷牙运动随时间改变,显示指示刷牙期间标记304的各种位置的路径302。在一个实施例中,300、标记304和路径302指示用户的刷牙运动低于由目标刷牙运动窗口310定义的目标刷牙运动。用户可以能够视觉地看见呈现在显示屏幕(例如,输入/输出接口110)上的用户界面300,并且合适地校正他们的刷牙技术。例如,用户界面300的标记304和路径302可以指示用户的刷牙运动低于目标刷牙运动,并且因此用户可以增加他们的刷牙运动(例如,频率和/或幅度)。
在用户界面300'中,用户的刷牙运动大于目标刷牙运动。如图3B中所见,路径302示出了用户在点356处已经超过由目标刷牙运动窗口310定义的目标刷牙运动。在这种特别场景下,用户能够查看用户界面300',并且通过减少他们刷牙的频率和/或幅度来校正他们的刷牙,以返回到目标刷牙运动。
图4是根据各种实施例的另一用户界面400的例示性图。在一个实施例中,用户界面400被显示在显示屏幕(例如,输入/输出接口110)上。在一个实施例中,用户界面400包括得分信息图表402,得分信息图表402详述每次用户刷他们的牙齿时的用户的刷牙得分。例如,可以对每个刷牙会话给予得分,其中得分越高,刷牙会话越好,并且得分越低,刷牙会话越差。
在一个示例性实施例中,得分信息图表402包括一周的每一天的早上得分和晚上得分。本领域的普通技术人员将认识到,虽然仅显示七(7)天和每天两个会话,但是得分信息图表402内可以包括任何天数和任何数量的会话。在一个实施例中,在用户界面400内显示得分信息图形404,得分信息图形404图形地跟踪用户的刷牙得分,使得用户可视化他们的刷牙技术是否一天天地在改进。这对于父母和他们的孩子一起使用可能特别有用,以确保他们不断地刷他们的牙齿,并且他们正在学习恰当的口腔卫生护理,而不是重复相同的不正确的刷牙技术。
在该例示性实施例中,用户界面400还包括分享得分报告按钮406和保存得分报告按钮408。分享得分报告按钮406允许将包括在得分信息图表402和/或得分信息图形404内的数据与一个或多个联系人、社交媒体网站和/或用户设备分享。例如,特别为他们某一周的得分感到自豪的用户可以与他们的家庭成员或朋友分享他们的得分信息。作为另一示例,用户可以与他们的牙科专业人员分享他们的得分信息,以将他们的辛勤护理通知他们。
在一个实施例中,保存得分报告按钮408允许用户将他们的得分存储在他们的用户设备150上。例如,用户可以在他们的用户设备上一周一周地存储每个得分,使得可以产生鲁棒的数据集,以在他们的下次约会时与他们的牙科专业人员一起回顾。保存的得分信息可以被存储在用户设备150上的存储器中和/或云存储系统上,用户在该云存储系统上具有帐户,或者该云存储系统可以由其他个体(例如,父母、牙科专业人员等)访问。
图5A是根据各种实施例的用于向操作口腔卫生设备10的用户提供反馈的过程500的例示性流程图。过程500在步骤502开始。在步骤502处,在一个实施例中,从口腔卫生设备10的传感器32获取数据。例如,可以从位于口腔卫生设备10上的霍尔效应传感器获取数据。在另一个实施例中,从位于口腔卫生设备上的一个或多个附加传感器(诸如力传感器,和/或力传感器、霍尔效应传感器和/或加速度计的组合)获取数据。在一些实施例中,该数据可以经由通信电路108和108'被传输到用户设备150。数据可从口腔卫生设备10传送到用户设备150的各种方式包括但不限于蓝牙Wi-Fi、蜂窝数据和/或有线连接。
在一个实施例中,传感器32被设置以具有预期最大运动频率的至少两倍的采集速率。运动频率通常范围在0.1Hz与8Hz之间。例如,如果运动频率为0.1Hz,那么采集速率应该至少为0.2Hz,而如果运动频率是8Hz,那么采集速率应该至少为16Hz。在一个特别实施例中,采集速率被设置为大约30Hz。然而,本领域的普通技术人员将认识到,可以针对任何最大运动频率设置任何采集速率,并且前述仅仅是示例性的。
在步骤504,通过口腔卫生设备10和/或用户设备150的处理器102,通过存储在存储器106中的一个或多个算法,来执行对所获取的数据的预处理。在一个实施例中,预处理所获取的数据允许修改数据,使得可以更容易地分析数据。在一个实施例中,所获取的数据的预处理对应于对所获取的数据进行缩减或二次采样。在另一个实施例中,对获取的数据执行数据简化以强调刷牙运动信息。例如,可以对获取的数据执行经验模态分解(“EMD”)以转变原始刷牙运动信号,以创建本征模态函数(“IMF”)数据的集合,本征模态函数(“IMF”)数据的集合突出显示刷牙力信息的极值和/或过零点。在又一实施例中,所获取数据的预处理对应于应用带通滤波器以去除噪声/不相关频率信息。例如,可以施加4Hz的低通滤波器,其去除超过4Hz的所有频率信息。本领域的普通技术人员将认识到,在一个实施例中,因为最初获取的数据可能已经处于适合的格式,可以不需要对所获取的数据的预处理。
在步骤506,基于预处理的获取数据,分析口腔卫生设备10的刷牙运动。在一个实施例中,分析由口腔卫生设备100的处理器102执行,并且基于存储在口腔卫生设备10的存储器106中的一个或多个算法。在另一个实施例中,分析由用户设备150的处理器102执行,并且基于存储在用户设备150的存储器106中的一个或多个算法。例如,用户设备150可以对应于智能电话或平板电脑,并且因此可以包括比口腔卫生设备10更大的处理能力。一个或多个算法可操作以分解所获取的数据的可分析特征,诸如例如,刷牙运动频率和/或刷牙运动幅度。
在一个实施例中,使用傅里叶分析来提取刷牙运动频率,以使用最大幅度检测来检测主运动频率。例如,使用汉宁窗(Hanning window)对运动分量进行窗口化,并且然后将运动分量发送到快速傅立叶变换(“FFT”),以通过最大频率幅度的指数来提取主频率。作为另一示例,希尔伯特变换(Hilbert transformation)可以用于基本上瞬时的频率估计。
在另一示例性实施例中,刷牙运动频率通过提取运动分量中的极值或过零点的数目来确定。类似于频率估计,假设获得的信号中的主频率载波实际上是关注的频率,则提取极值和/或过零点使得整个系统能够与专家评估相关。
在又一示例性实施例中,使用三带通滤波器。例如,三带通滤波器能够以驻留在口腔卫生设备10或用户设备150上的软件来实施。三带通滤波器操作以相对于中频带中的能量的量,将三个频带的上下频带中的能量的量计算为方均根(“RMS”)值,来指示主刷牙频率。例如,在获得信号并且将该信号转换成频率域之后,确定三个频带中的每个频带中的能量的量。如果第一频带、第二频带和第三频带分别为从0.5-1.5Hz、1.5-2.5Hz以及从2.5Hz及更高,则提取每个频带的能量值,并且确定包括主要量的能量的频带。无论哪个频带包括主要量的能量,都将揭示包括主频率的区域。
在一个实施例中,刷牙运动幅度是通过确定运动信号的连续极值之间的距离而获得的。例如,两个连续极值之间的距离可以对应于两个最大或最小运动信号之间经过的时间量。运动信号的幅度可以随时间改变,因此连续极值之间的距离可被称为时间距离或连续极值之间的时间。在另一个实施例中,刷牙运动幅度是基于所获得的信号的傅立叶表示中的主频率的幅度来提取的。作为又一实施例,通过关于运动分量的包络化来获得刷牙运动幅度。
在一个示例性实施例中,基于所提取的刷牙运动频率和刷牙运动幅度,来分析刷牙运动的附加特征。信号的导数可以用于获得用户的刷牙模式的各种特性。例如,刷牙信号的一阶导数将产生对应于用户运动的速度读数。例如,该数据能够被用于确定用户多快地将口腔卫生设备10从一个牙齿移动到另一个牙齿。作为另一示例,刷牙信号的二阶导数将产生对应于用户的刷牙运动的加速度读数。
在步骤508,向操作口腔卫生设备10的用户提供反馈,其中反馈在一个实施例中基于用户的刷牙运动的分析。在一个实施例中,所提供的反馈对应于借助于用户界面显示的信息,该用户界面诸如为口腔卫生设备10和/或用户设备150上的用户界面200、300、350和/或400。其中显示的信息可以通知用户他们刷牙运动的质量。例如,显示屏幕300和350通过通知用户何时他们在低于目标刷牙运动或者高于目标刷牙运动的情况下刷牙,来指示用户多么好地遵守预定义的刷牙运动。作为另一示例,用户界面200指示用户的刷牙运动幅度和/或频率、以及信息性消息,让用户知道他们当前的刷牙运动与预定义目标刷牙运动多么相关。
在一个实施例中,基于他们的刷牙运动的分析,向用户提供音频、视觉和/或触觉反馈。例如,如果用户正施加比他们应该施加的更多的压力,则口腔卫生设备10和/或用户设备150可以提供振动、音频信号(例如,哗哗声)和/或视觉信号(例如,闪烁的光),通知用户他们的刷牙运动不正确。
在一个实施例中,口腔卫生设备10的尺寸决定向用户提供哪种类型的反馈。例如,如果用户设备150未被使用,并且口腔卫生设备10太小而不能包括显示屏幕,或者被定向成使得在刷牙的同时用户不能够查看显示屏幕,则视觉反馈可能是困难的或者无效的。在这种特别的场景下,音频信号或触觉响应可能更适合。然而,本领域的普通技术人员将认识到,可以以任何适合的方式向用户提供任何类型的反馈,并且前述仅仅是示例性的。例如,用户设备150上的显示屏幕可以显示用户界面300或350,用户界面300或350可以向操作口腔卫生设备10的用户指示他们的刷牙运动太低或太高,而同时音频信号可以由口腔卫生设备10生成,以表明用户的不正确的刷牙技术。
图6是根据各种实施例的包括用户设备150和口腔卫生设备10的系统2的例示性图。在一个例示性的非限制性实施例中,系统2的用户设备150包括相机602和显示屏幕604。例如,用户设备150可对应于用户的智能电话或平板电脑,智能电话或平板电脑可包括驻留在其上的软件,以在他们操作口腔卫生设备10的同时分析用户的刷牙运动。在一个实施例中,操作口腔卫生设备10的用户的运动能够被用户设备150的相机602查看/监视以用于分析,以及向操作口腔卫生设备10的用户提供反馈,这在下文更详细的解释。在一个实施例中,用户设备150和口腔卫生设备10可操作以经由连接手段610彼此耦合。连接手段610包括任何无线或有线连接,包括但不限于蓝牙Wi-Fi、蜂窝(例如LTE)和/或硬接线连接。在一个实施例中,连接手段610使得能够从用户设备150向口腔卫生设备10提供反馈,或反之亦然。在另一个实施例中,用户设备150进一步包括一个或多个附加组件,诸如处理电路、反馈电路和/或充电电路。在一个实施例中,用户设备150包括能够对口腔卫生设备10的电力系统14进行充电的充电电路656。例如,用户设备150可以是与口腔卫生设备10兼容的基站。
图7是根据各种实施例的用户设备150的例示性框图。用户设备150可以是智能电话或平板电脑,或者可以是用于口腔卫生设备10的基站。在又一示例性实施例中,用户设备150还包括用于捕获图像和/或视频的一个或多个相机602。
在该例示性的示例性实施例中,用户设备150包括一个或多个处理器102、存储设备104、存储器106、通信电路108和输入/输出接口110。在一个示例性实施例中,相机602对应于能够捕获图像和/或视频的任何图像捕获部件。例如,相机602可以捕获照片、照片序列、快速拍摄、视频、3D图像/视频、或任何其他图像类型、或它们的任何组合。
在该例示性实施例中,输入/输出接口110还可以包括显示器604和扬声器718,或用于生成输出的任何其他适合的机构或部件。在一个实施例中,显示器604对应于能够向用户和/或在用户设备150上呈现内容的任何类型的显示器。显示器604能够是任何尺寸并且位于用户设备150的一个或多个区域/侧面上。例如,显示器604可以完全占据用户设备150的第一侧面,或者可以仅占据第一侧面的一部分。各种显示器类型包括但不限于液晶显示器(“LCD”)、单色显示器、彩色图形适配器(“CGA”)显示器、增强图形适配器(“EGA”)显示器、可变图形阵列(“VGA”)显示器、或任何其他显示器类型、或它们的任何组合。在一个实施例中,显示器604是触摸屏幕和/或交互式显示器。在另一个实施例中,触摸屏幕包括耦合到用户设备150的处理器102的多点触摸面板。在又一实施例中,显示器604是包括电容感测面板的触摸屏幕。
在一个实施例中,扬声器718对应于用于输出音频信号的任何适合的机构。例如,扬声器718可以包括能够将音频信号和音频内容广播给与用户设备150接口的用户的一个或多个扬声器单元、换能器、或者扬声器和/或换能器阵列。在一个实施例中,扬声器718对应于能够将音频直接广播给操作用户设备150的用户的耳机或耳塞。
在一个示例性实施例中,用户设备150包括图1A的口腔卫生设备10的一个或多个部件。例如,用户设备150可以包括传感器32、磁体30、传动系组件12、动力系统14、微处理器控件15和附接组件20。本领域的普通技术人员将认识到,虽然用户设备150包括口腔卫生设备10的一个或多个特征,但是可以添加任何数目的附加部件,或者可以去除任何数目的部件,并且上述描述仅仅是示例性的。此外,在一个实施例中,用户设备150基本上类似于图1B的口腔卫生设备10,除了前者包括相机602、显示器604和/或扬声器718中的一个或多个。
在一个示例性实施例中,用户设备150对应于口腔卫生设备10,除了前者包括嵌入其中的相机602。在一个实施例中,相机602可以是外部的,使得相机602从口腔卫生设备10的壳体18突出,以在与用户的牙齿交互的同时捕获附接组件20(例如,刷子构件21)的图像。在另一个实施例中,相机602被嵌入附接组件20中。在这种特殊场景下,相机602可以包括一个或多个灯(例如,LED,红外)以照亮将与之交互的用户嘴的一部分。然后用户嘴内的各种标志可以用作参考点以确定刷牙活动的运动和/或质量。例如,用户的舌头、上颚和/或腭垂可以用作“标志”,以确定口腔卫生设备10位于用户嘴中的何处。在一个实施例中,基于一幅图像与后续图像之间的所捕获图像的改变,基于两幅图像之间的差异(诸如一颗或多颗牙齿相对于物理标志的位置差异),能够确定运动。
图8是根据各种实施例的用户的图像800的例示性图。图像800包括用户的面部802、颈部804和躯干806。头部802包括眼睛808、鼻子810和嘴812。在一个实施例中,可以包括一个或多个附加特征来描述用户,包括但不限于耳朵、眉毛、下巴、脸颊、头发和/或鼻孔。
在一个实施例中,关注区820被包括在用户的图像800内。在一个实施例中,关注区820对应于用户的相关部分,在该处将出现对应于操作口腔卫生设备10的用户的运动(诸如图9中所示的)。例如,当用户正在刷他们的牙齿时,关注区820可以对应于围绕嘴812的区域。作为另一示例,如果用户正在剃须,则关注区820可以稍微更大,使得包括用户面部802的可以剃须的部分。
在一个实施例中,关注区820可以由用户预定义。例如,用户可以在用户设备150的显示屏幕604上显示的用户界面上手动地绘制关注区820的轮廓。作为另一示例,可以向用户呈现由用户设备150近似的关注区820,并且用户可以手动地调整关注区820的边界,使得它们更合适地符合用户的面部结构。
在一个实施例中,关注区820基于由用户设备150检测用户的一个或多个面部或身体特征来确定。在一个示例性实施例中,使用任何适合的面部检测器来执行用户的面部802和躯干806的检测。例如,可以使用Viola-Jones对象检测框架来检测图像800内的关注区820。在一个实施例中,由用户设备150的相机602捕获的连续图像具有用于确定用户的图像800内的各种面部特征的定位的Viola-Jones面部检测器。在确定了各种面部特征(例如,鼻子810、嘴812等)之后,可以使用方程1来定义关注区820。
ROI=ROIprevious+FaceArea-[FaceCoordinates-1.5×Height]方程1
在方程1中,ROI是关注区,ROIprevious可以包括整个先前图像或者来自先前图像的手动输入的关注区,FaceArea是用户的图像800内的面部802的区域,FaceCoordinates是定义面部802在图像800内的何处的坐标,并且Height是用户的高度。本领域的普通技术人员将认识到,用户的Height的1.5倍的因子仅仅是用户嘴所在位置的近似,并且这些变量中的任何变量可相应地被修改或增大。
在另一示例性实施例中,检测图像800内的用户的面部特征。例如,可以使用监督下降法(“SDM”)来检测用户的面部特征。一般地,SDM学习一系列参数更新,该一系列参数更新递增地最小化训练中所有非线性最小二乘(“NLS”)函数的平均值。SDM在如下场景中特别有用:其中牛顿图像对准方法不起作用(例如,其中用于图像的黑塞矩阵(Hessian matrix)在局部最小值处为正定的,但在别处不可以,并且该函数是二次可微的)。
在一个实施例中,由用户设备150的相机602捕获的连续图像使用方程2将关注区定义为检测到的面部特征下方的区域。
ROI=ROIprevious+FFArea-[FaceCoordinates-1.5×Height]方程2
在方程2中,FFArea被定义为由相机602捕获的图像的[Min(X),Min(Y),Max(X),Max(Y)]。在一个实施例中,ROIprevious由整个图像800或手动输入的关注区组成。
在另一示例性实施例中,基于背景减除技术来检测图像800的关注区820。例如,用户设备150的相机602可以捕获一组用户的连续图像(诸如用户的视频),并且提取用户的前景图像/掩模。在一个实施例中,使用骨骼匹配提取面部区域(例如面部802),并且通过方程1定义关注区820。一般地,背景减除允许比较两个或更多的图像,使得图像的某个静态部分被去除以突出显示特殊部分。例如,叠加在静态背景上的移动图像可以使用背景减除来去除静态背景,因为静态背景在图像之间是一致的。
在又一示例性实施例中,基于3D建模来检测图像800的关注区820。各种类型的3D建模包括但不限于:匹配3D模型与形状分布,通过使用形状上下文进行对象识别的形状匹配,以及用于3D形状匹配的对称描述符,或者任何其他类型的3D建模技术,或它们的任何组合。例如,可以使用一个或多个3D建模技术来检测图像800的面部802以确定关注区820。作为另一示例,可以通过选择包括用户的特定身体部位(例如,用户的手)的图像800的区域来检测关注区。在又一示例中,可以使用3D形状匹配来使口腔卫生设备10与口腔卫生设备的预先计算的模型相匹配,以通过分析口腔卫生设备10在图像800内的何处来确定关注区820。
在再一示例性实施例中,关注区820的检测通过提取用户和/或口腔卫生设备10上的物理标志来执行。在一个实施例中,可以使用某个颜色、边缘、纹理或其他标识来指定关注区820应该在何处。例如,口腔卫生设备10可以具有暗红色的壳体18。在这个特殊的场景下,用户设备150可以分析由相机602捕获的图像并且突出显示红色的任何对象的运动,从而跟踪口腔卫生设备10。在另一个实施例中,使用诸如LED的基于光的标记来指定关注区820。例如,口腔卫生设备10可以包括一个或多个红外LED,该一个或多个红外LED可以由用户设备150识别以确定关注区820。
本领域的普通技术人员将认识到,可以使用用于确定用户的图像800内的关注区820的任何前述技术,或者可以使用任何附加的技术或方法,并且示例性实施例不被解释作为限制。此外,在关注区820被确定之后或者在与关注区820被确定的基本相同的时间,还可以使用前述技术中的一个或多个技术来确定用户的刷牙运动。上述技术中的一个或多个技术的更详细解释也将在下面和前面的附图中描述。
图9A和图9B是根据各种实施例的描述诸如口腔卫生设备10的用户设备的定位改变的例示性图。在一个实施例中,诸如所述用户的用户的第一图像900包括用户的面部802、眼睛808、鼻子810和嘴812。另外,第一图像900包括在一示例性实施例中对应于口腔卫生设备10的用户设备。当用户刷他们的牙齿时,相机(诸如相机602)在第二图像950中捕获口腔卫生设备10的新定位。第二图像950中的口腔卫生设备10处于与其在第一图像900中相对于用户不同的位置处。在一个实施例中,第一图像900和第二图像950是由相机602捕获的两个单独的图像;然而第一图像900和第二图像950也可以是经由相机602捕获的视频获得的连续图像。
图10是根据各种实施例基于像素位置和帧的改变来描述口腔卫生设备10的定位改变的例示性图。在该例示性实施例中,来自图9A的第一图像900的口腔卫生设备10具有初始像素位置P1,其具有二维第一像素阵列位置(X1,Y1)以及当第一图像900被捕获时的第一时间T1。第二图像950中的口腔卫生设备10具有第二像素位置P2,其中二维第二像素阵列位置是(X2,Y2)以及当第二图像950被捕获时的第二时间是T2。
基于第一图像900和第二图像950中的口腔卫生设备10的坐标(例如,像素和时间),垂直位移的改变(例如ΔY)和水平位移的改变(例如ΔX)能够被确定。结合时间改变(例如ΔT),可获得针对设备10的运动的近似。本领域的普通技术人员将认识到,上述仅仅是近似,并且诸如缩放、延迟和分辨率的各种附加因素也可以影响口腔卫生设备10的运动特性。
图11是根据各种实施例的基于口腔卫生设备10与参考对象之间的位置矢量的改变来描述口腔卫生设备10的定位改变的例示性图。在该例示性实施例中,第一位置矢量904A由用户设备150的处理器102确定,第一位置矢量904A表明口腔卫生设备10与参考对象(诸如用户的鼻子810)之间的距离和/或角度。本领域普通技术人员将认识到,可以使用任何其他参考对象,包括但不限于眼睛808,嘴812、颈部804、躯干806、或用户或背景的任何其他特征、或它们的任何组合。
在一个实施例中,第一位置矢量904A包括关于第一图像900中的口腔卫生设备10相对于用户的鼻子810的定位的信息。在第二图像950中,口腔卫生设备10的位置已经改变,并且关于口腔卫生设备10相对于用户的鼻子810的新位置的信息被包括在第二位置矢量904B中。由用户设备150分析位置矢量904A和904B中的每一个,并且基于位置矢量904A和904B的位置改变和改变的定时,来确定口腔卫生设备10的相对运动。可以使用包括但不限于3DRS和光流的各种技术,来使用位置矢量(诸如位置矢量904A和904B)估计连续图像900和950之间的运动。本领域的普通技术人员将认识到,可以使用任何运动提取技术,而前述仅仅是示例性的。
图12是根据各种实施例基于捕获图像的重心改变来描述口腔卫生设备10的定位改变的例示性图。在一个示例性实施例中,使用绝对帧差技术来执行运动提取。例如,使用方程3计算二元差值图像ImDiff:
ImDiff=abs(ImCurrent-ImPrevious)>Threshold方程3
在方程3中,ImCurrent对应于当前图像,并且ImPrevious对应于先前的图像。例如,ImCurrent可以对应于由用户设备150的相机602捕获的图9B的图像950,而ImPrevious可以对应于图9A的图像900。将ImCurrent与ImPrevious之间的差取为绝对值。此外,在方程3中,Threshold对应于可以由操作用户设备150的用户设置的变量,或者它可以由用户设备150预定义。例如,Threshold可以对应于与相机602相关联的和/或在背景环境中的噪声的量。
在一个实施例中,根据方程3的ImCurrent与ImPrevious之差沿着图像平面的x轴和y轴投影,使得形成两个信号ProjX和ProjY。在一个实施例中,ProjX被定义为对于所有值沿着y图像轴的ImDiff的总和,而ProjY被定义为对于所有值沿着x图像轴的ImDiff的总和。然后提取ProjX和ProjY两者的最大值,并且在一个实施例中,该最大值被用作运动的“重心”。例如,第一重心906A可以表示在图像900内的口腔卫生设备10与鼻子810之间的重心,而第二重心906B可以表示在图像950内的口腔卫生设备10与鼻子810之间的重心。在一个实施例中,基于该特定图像与它的先前图像之间的ImDiff,计算每个重心906A和906B。因此,例如,可以基于针对图像900和950的ProjX和ProjY两者的最大值来计算重心906B。在一个实施例中,使用连续的重心之间的差异来确定口腔卫生设备10的运动。例如,重心906A和906B之间的差异可以用于确定口腔卫生设备10的运动。
响应于提取运动特性,在一个示例性实施例中,执行用户运动的分析。通过分析和表征用户的运动,原始运动信号(例如,经由相机602和/或传感器32中的一个或多个获取的数据)可以被变换成各种运动特征,诸如运动频率、运动幅度和/或运动轨迹。
在一个实施例中,通过预处理所获取的数据来执行分析。例如,可以采用各种数据简化技术,来强调所获取的数据内对应于用户设备(例如,口腔卫生设备10)的运动的信息,并且该信息可以被组合成单个新的运动分量。各种数据简化技术包括但不限于:主分量分析(“PCA”)、独立分量分析(“ICA”)、低/高带通滤波器的应用、或任何其他数据简化技术、或者它们的任何组合。例如,可以使用具有4Hz截止频率的低带通滤波器来去除不想要的高频数据。
在另一个实施例中,分析包括执行频率表征。在一个实施例中,通过使用傅里叶分析来提取运动频率,以经由最大幅度检测找到主运动频率。例如,运动分量可以使用汉宁窗来窗口化,并且然后发送到FFT,在FFT处可以通过最大频率幅度的指数来提取主频率。在一个实施例中,频率表征包括:通过从运动分量提取极值(例如,极小值和/或极大值)或过零点的数目,来从获取的数据获得运动频率。此外,如前所讨论的,在一个实施例中,使用任何适合的技术来执行幅度表征。
在一个示例性实施例中,不需要数据简化技术。这里,使用一种或多种附加技术来获得运动特性(例如,幅度特性和/或频率特性)。例如,运动的x方向和/或y方向特性可以被组合。作为另一示例,可以使用运动的x方向和/或y方向特性的线性组合。在又一示例中,可以使用与关于幅度分量的最强频率分量对应的特性。在再一示例中,可以使用与最接近或最远离目标频率分量的频率分量对应的特性。本领域的普通技术人员将认识到,使用“x方向”和“y方向”仅仅是说明性的,并且代之,可以使用任何两个方向(例如,x方向和y方向、x方向和z方向、y方向和z方向)。此外,本领域的普通技术人员将认识到,目标频率和/或最强频率分量可以对应于系统频谱内的任何频率分量,并且可以在实施之前选择,和/或在执行数据分析时变化。
图13是根据各种实施例的各种用户界面的例示性图,各种用户界面显示包括提供给操作口腔卫生设备10或用户设备150的用户的反馈的各种图形。例如,如果确定用户正在太快地刷他们的牙齿,用户设备150的显示器604可以呈现用户反馈消息1002。作为另一示例,如果确定用户正在太慢地刷他们的牙齿,用户设备150的显示器604可以呈现用户消息1004,建议用户加速。作为又一示例,如果确定用户正在正确地刷他们的牙齿,那么用户设备150的显示器604可以呈现反馈消息1006。作为再一示例,如果确定用户正在刷他们牙齿的已经被刷过的部分,或者他们正在刷某个区域达太长的时间段,用户设备150的显示器604可以向用户呈现反馈消息1008,建议用户改变他们的刷牙位置。
图14是根据各种实施例的过程1100的例示性流程图。过程1100在步骤1102开始。在步骤1102,从位于用户设备上的一个或多个相机获取数据。例如,用户设备150的相机602可以捕获利用口腔卫生设备10刷他/她的牙齿的用户的一个或多个图像和/或视频。作为另一示例,可以使用CMOS或CDD图像传感器、以及或者除此之外3D相机系统来获取数据。此外,在一个实施例中,所获取的数据包括从一个或多个捕获的图像/视频和一个或多个传感器获得的数据,一个或多个传感器诸如为口腔卫生设备10的传感器32(例如,霍尔效应传感器、力传感器和/或加速度计)。例如,用户设备150可以使用口腔卫生设备10来捕获用户的视频,同时还从传感器32获得数据。
在一个实施例中,相机602的采集速率使得能够提取相关的运动信息。例如,运动频率和/或运动幅度可从由相机602捕获的图像中提取。在一个实施例中,相机602的采集速率被设置为至少是期望的最大运动频率的两倍。例如,如果预期的运动频率是10Hz,采集速率将是20Hz。
在一个示例性实施例中,出现预处理所获取的数据的附加步骤(未示出)。该可选步骤可以基本上类似于过程500的步骤504。例如,预处理所获取的数据可以将图像缩减四(4)倍,以简化由相机602捕获的相对大的图像。
在另一示例性实施例中,对于由用户设备150的相机602捕获的视频图像,可以出现视频通道简化。例如,可以使用方程4将捕获的视频的红色、绿色和蓝色通道转换成单个亮度通道:
Y=0.299R+0.587G+0.114B 方程4
在方程4中,Y是单个亮度通道,R是红色通道,G是绿色通道,并且B是蓝色通道。本领域的普通技术人员将认识到,取决于期望的设置,可以相应地修改红色、绿色和蓝色通道中的每一个通道的系数,并且方程4中的系数使用仅仅是示例性的。
作为另一示例,使用输入通道的任何线性或非线性组合,可以组合相机602捕获的视频的任何输入通道。作为又一其他示例,可以使用诸如绿色视频通道的仅一个视频通道。在这种特殊场景下,可以使用绿色视频通道,因为它通常包括大部分视频信号的能量。
在步骤1104,确定关注区。关注区是合适的运动分析将针对的用户图像的区域或部分。例如,刷他/她的牙齿的用户将具有对应于围绕并且包括他/她的嘴的区域的关注区820。对于诸如剃须、头发保养,牙线洁牙等的不同活动,关注区820可以相应地改变,以包括用户图像的部分,该部分包括将出现运动的意在区域。
可以使用各种技术来确定关注区。例如,关注区可以由用户和/或用户设备预定义,或者关注区可以由用户选择。在一个实施例中,基于特征检测自动地确定关注区。例如,可以使用Viola-Jones面部检测器或SMD结合方程2来检测用户的面部和胸部。作为另一示例,除3D建模和/或物理标记提取之外,可以使用背景减除技术来确定关注区。
在步骤1106,使用在步骤1104中确定的关注区来提取设备的运动。提取设备的运动可以使用各种技术来执行。在一个实施例中,运动估计技术被用于提取运动。例如,使用连续图像之间的运动估计(例如,使用3DRS和/或光流技术)来提取运动矢量。在一个实施例中,对象跟踪被用于提取运动。例如,通过跟踪真实或虚拟对象(例如,口腔卫生设备10)或者对象与标志之间的相对距离(例如口腔卫生设备10与用户的鼻子810之间的矢量),来提取运动。在又一实施例中,绝对帧差被用于提取运动。这里,计算第一图像与第二图像之间的二元差值图像,并且然后沿图像的每个轴的最大值被确定并且用作运动的重心。然后在连续的图像中使用各种重心来确定运动。
在步骤1108,提取的运动被分析并且分解为各种分量,诸如运动频率、运动幅度和/或运动轨迹。在一个实施例中,使用预处理来简化数据。例如,可以将PCA、ICA或带通滤波器应用于数据,以去除不相关或不需要的信息。在一个实施例中,执行频率表征来提取运动频率。例如,使用傅立叶分析来检测主运动频率,和/或通过提取运动分量中的极值或过零点,可以提取运动频率。在一个实施例中,执行幅度表征以提取运动幅度。例如,可以使用连续极值之间的距离、傅立叶表示中的主频率和/或运动分量的包络,来提取运动幅度。
在步骤1110,基于在步骤1108执行的分析向用户提供反馈。在一个实施例中,将运动特性与存储在用户设备上的目标运动进行比较。例如,刷他们的牙齿的用户的预定义目标运动可被存储在用户设备150上的存储设备1044或存储器106中。在提取用户设备(例如,口腔卫生设备10)的运动之后,可以通过将运动与预定义的目标运动进行比较来对运动进行分析。该分析的结果能够在用户设备150的显示器604上呈现给用户,使得用户能够修改他们的运动以符合预定义的目标运动。例如,显示器604可以呈现图11的用户界面1002、1004、1006或1008,或用户界面200、300、300'和/或400。
在一个实施例中,运动特性被用于计算实时或在运动被执行之后呈现给用户的得分。例如,如图4中所见,用户界面400包括针对刷牙会话的用户的各种得分。得分被计算并且能够被呈现给用户,使得他们能够看见他们刷牙好或坏时的日子或时间。作为另一示例,可以向用户呈现用户界面300或300',这可以允许用户实时看见他们多么好地遵守目标刷牙窗口310。如果他们的刷牙太低(例如,用户界面300),则用户可以修改他们的刷牙以增大压力和/或频率,而如果他们的刷牙太大(例如,用户界面300'),则用户可以修改他们的刷牙以减小压力或频率。
在权利要求中,放置在括号之间的任何附图标记都不应解释为限制权利要求。词语“包括”或“包含”不排除在权利要求中列出的那些之外的元件或步骤的存在。在列举了几个部件的设备权利要求中,这些部件中的几个部件可以由同一硬件项体现。元件之前的词语“一”或“一个”不排除多个这样的元件的存在。在列举了几个部件的设备权利要求中,这些部件中的几个部件可以由同一硬件项体现。某些元件在彼此不同的从属权利要求中被陈述的简单事实并不表明这些元件不能组合使用。
尽管为了说明目的而基于目前认为最实用和最优选的实施例对本发明做了详细的描述,应理解,这样的细节仅仅是为了该目的,并且本发明并不限于公开的实施例,而是相反的,旨在覆盖在所附权利要求的精神和范围内的修改和等同布置。例如,应理解的是,本发明设想尽可能地,任何实施例的一个或多个特征可与任何其他实施例的一个或多个特征组合。

Claims (15)

1.一种用于增强在操作口腔卫生设备(10)时的用户效率的方法,所述方法包括:
从图像捕获部件(602)捕获至少一个图像;
基于所捕获的至少一个图像确定用于操作所述口腔卫生设备的关注区(820);
基于所确定的关注区,提取与由所述用户操作的所述口腔卫生设备的运动相对应的特性;
分析所提取的与由所述用户操作的所述口腔卫生设备的所述运动相对应的特性,以确定所述口腔卫生设备的所述运动的质量;并且向所述用户提供关于所确定的所述口腔卫生设备的所述运动的质量的反馈。
2.根据权利要求1所述的方法,其中:
所述口腔卫生设备包括壳体部(18)和附接组件(20);
所述壳体部位于所述口腔卫生设备的第一端处,并且所述附接组件部位于所述口腔卫生设备的第二端处;并且
所述图像捕获部件(602)在所述第一端和所述第二端之一处位于所述口腔卫生设备上。
3.根据权利要求1所述的方法,其中,所述图像捕获部件位于用户设备(150)上,所述用户设备(150)能够在所述口腔卫生设备(10)由所述用户操作的同时捕获所述口腔卫生设备(10)的图像。
4.根据权利要求1所述的方法,进一步包括:
在确定所述关注区之前,对捕获的所述至少一个图像执行数据简化。
5.根据权利要求1所述的方法,其中,确定进一步包括:
检测所述用户的至少一个物理标志(804、806、808、810、812)。
6.根据权利要求5所述的方法,其中提取进一步包括:
使用所检测的所述用户的至少一个物理标志来跟踪所述口腔卫生设备的所述运动。
7.根据权利要求5所述的方法,其中:
所述至少一个物理标志包括以下中的至少一个:所述用户的鼻子、所述用户的耳朵、所述用户的眼睛、所述用户的上颚、所述用户的躯干和所述用户的舌头。
8.根据权利要求1所述的方法,其中,所述口腔卫生设备进一步包括至少一个加速度计(32)。
9.根据权利要求1所述的方法,其中,所提供的反馈包括以下中的至少一个:可听声音、视觉信号和触觉响应。
10.一种用户设备(150),用于帮助用户增强操作口腔卫生设备(10)的有效性,所述用户设备包括:
至少一个图像捕获部件(602);
显示屏幕(604);
通信电路(108);
存储器(106);以及
至少一个处理器(102),操作以:
使用所述至少一个图像捕获部件,捕获操作所述口腔卫生设备的所述用户的至少两个图像;
响应于检测到所述用户正在关注区(820)中操作所述口腔卫生设备,从所捕获的至少两个图像中提取所述口腔卫生设备的运动信息;
通过将所提取的运动信息与存储在所述用户设备上的所述存储器中的用于所述口腔卫生设备的预定义目标运动进行比较,来分析所提取的由所述用户操作的所述口腔卫生设备的运动信息,以确定所提取的所述口腔卫生设备的运动信息的质量;并且
向操作所述口腔卫生设备的所述用户提供反馈,其中所提供的反馈包括所确定的所提取运动信息的质量。
11.根据权利要求10所述的用户设备,其中:
所提供的反馈包括在所述用户设备的所述显示屏幕上显示的用户界面(200、300、300'、400)内呈现的视觉反馈。
12.根据权利要求10所述的用户设备,其中所述关注区是以下中的至少一个:
在所述用户设备的所述存储器中预定义的;
由所述用户手动地选择的;
基于操作所述口腔卫生设备的所述用户的至少一个物理标志(804、806、808、810、812),使用所述用户设备标识的;以及
基于在所述至少两个图像上执行的背景减除来确定的。
13.根据权利要求10所述的用户设备,其中所述至少一个处理器进一步操作以:
在所述分析之前,对所提取的运动信息施加低通滤波器,其中,所述低通滤波器具有4Hz的截止频率。
14.根据权利要求10所述的用户设备,其中,所捕获的所述至少两个图像包括视频,所述至少一个处理器进一步操作以进行以下中的至少一个:
使用红色、绿色和蓝色视频通道的组合,将所述视频转换成单个亮度通道以用于所述分析;以及
选择所述红色、绿色和蓝色视频通道之一以用于所述分析。
15.根据权利要求10所述的用户设备,其中,捕获的所述至少两个图像包括多个捕获图像,所述至少一个处理器进一步操作以:
对所述多个捕获图像执行绝对帧差分析,以确定所述多个捕获图像中的每个捕获图像的连续重心的差异。
CN201680038975.0A 2015-06-29 2016-06-28 用于使用霍尔效应传感器提取用户的运动特性以向用户提供反馈的方法和系统 Active CN107708483B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562185912P 2015-06-29 2015-06-29
US62/185,912 2015-06-29
PCT/EP2016/065005 WO2017001399A1 (en) 2015-06-29 2016-06-28 Methods and systems for extracting motion characteristics of a user using a hall effect sensor to provide feedback to the user

Publications (2)

Publication Number Publication Date
CN107708483A true CN107708483A (zh) 2018-02-16
CN107708483B CN107708483B (zh) 2020-11-27

Family

ID=56418490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680038975.0A Active CN107708483B (zh) 2015-06-29 2016-06-28 用于使用霍尔效应传感器提取用户的运动特性以向用户提供反馈的方法和系统

Country Status (6)

Country Link
US (1) US10595626B2 (zh)
EP (1) EP3313233A1 (zh)
JP (1) JP6741688B2 (zh)
CN (1) CN107708483B (zh)
RU (1) RU2719839C2 (zh)
WO (1) WO2017001399A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108783870A (zh) * 2018-04-21 2018-11-13 深圳缇铭科技有限公司 刷牙数据的呈现方法、呈现装置、呈现系统、存储设备、牙刷基座及牙刷
CN110495962A (zh) * 2019-08-26 2019-11-26 赫比(上海)家用电器产品有限公司 监测牙刷位置的方法及其牙刷和设备
CN110604629A (zh) * 2019-08-30 2019-12-24 深圳市云顶信息技术有限公司 电动牙刷控制方法、装置、电动牙刷及存储介质
CN111918620A (zh) * 2018-03-28 2020-11-10 皇家飞利浦有限公司 用于测量口弓几何形状和基于口弓测量选择牙套的系统和方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10702206B2 (en) * 2015-06-29 2020-07-07 Braun Gmbh Toothbrush for oral cavity position detection
EP3141151B1 (en) 2015-09-08 2023-10-18 Braun GmbH Determination of a currently treated body portion of a user
CN108366669B (zh) 2015-12-15 2021-08-27 皇家飞利浦有限公司 用于确定并通知用户何时更换牙齿清洁头的系统和方法
EP3207823A1 (en) 2016-02-16 2017-08-23 Braun GmbH Interactive system setup concept
USD858997S1 (en) * 2017-11-17 2019-09-10 Colgate-Palmolive Company Tracking module for an oral care implement
CN109793348B (zh) * 2017-11-17 2021-12-10 高露洁-棕榄公司 口腔护理设备
US10951879B2 (en) * 2017-12-04 2021-03-16 Canon Kabushiki Kaisha Method, system and apparatus for capture of image data for free viewpoint video
WO2019133287A1 (en) * 2017-12-28 2019-07-04 Colgate-Palmolive Company Systems and methods for estimating a three-dimensional pose of an oral hygiene device with visual markers
US11771213B2 (en) * 2018-01-10 2023-10-03 Koninklijke Philips N.V. Determining a position of an oral care device
WO2019152613A1 (en) 2018-01-31 2019-08-08 Quip NYC Inc. A toothbrush system
WO2019166386A1 (en) * 2018-03-01 2019-09-06 Koninklijke Philips N.V. Method and system for improved motion robustness during location measurement
CN108904085B (zh) * 2018-04-13 2020-09-08 深圳市力博得科技有限公司 基于智能牙刷的刷牙评价方法、装置、设备及存储介质
CN108606853B (zh) * 2018-04-13 2020-09-08 深圳市力博得科技有限公司 基于人工智能的刷牙推荐方法、装置、设备及存储介质
CA3050892C (en) 2018-08-02 2023-04-04 Ranir, Llc Pressure sensing system and method for an electric toothbrush
US11297933B2 (en) 2018-08-03 2022-04-12 Colgate-Palmolive Company Powered oral care implement including a tracking module and tracking module thereof
CN109316260A (zh) * 2018-11-27 2019-02-12 北京小米移动软件有限公司 电动牙刷控制方法、装置、电动牙刷及存储介质
EP3725263A1 (en) 2019-04-16 2020-10-21 Koninklijke Philips N.V. Fluid based tooth cleaning system
WO2021091362A1 (ko) * 2019-11-07 2021-05-14 주식회사 블루레오 어플리케이션과 연동 가능한 전동칫솔을 이용한 구강관리 방법
CN115835798A (zh) * 2020-06-22 2023-03-21 高露洁-棕榄公司 用于促进口腔卫生的口腔护理系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006137648A1 (en) * 2005-06-20 2006-12-28 Jin-Sang Hwang Tooth brushing pattern analyzing/modifying device, method and system for interactively modifying tooth brushing behavior
CN102215922A (zh) * 2008-11-20 2011-10-12 吉列公司 个人卫生装置、系统和方法
US20140065588A1 (en) * 2012-08-31 2014-03-06 Ideas That Work, Llc Toothbrush Training System
CN104619212A (zh) * 2012-09-07 2015-05-13 皇家飞利浦有限公司 使用霍尔效应传感器具有压力传感能力的谐振驱动的电动牙刷
CN104619211A (zh) * 2012-08-31 2015-05-13 皇家飞利浦有限公司 使用霍尔传感器为谐振驱动牙刷提供连续反馈的力传感器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69419671T2 (de) * 1993-03-24 2000-02-17 Koninkl Philips Electronics Nv Elektrische Zahnbürste
JP4543663B2 (ja) * 2003-11-25 2010-09-15 サンスター株式会社 電動歯ブラシ
US7976388B2 (en) * 2006-03-24 2011-07-12 Umagination Labs, L.P. Oral care gaming system with electronic game
PL2086458T3 (pl) * 2006-11-15 2017-01-31 The Gillette Company System do higieny jamy ustnej
US20090215015A1 (en) 2008-02-21 2009-08-27 Raindrop Network Ltd. Method and Apparatus for Developing a Proper Tooth Brushing Technique
FI20085488A0 (fi) * 2008-05-23 2008-05-23 Pump & Brush Finland Oy Älykäs hammasharjamonitorointilaite
KR20100052084A (ko) 2008-11-10 2010-05-19 한국과학기술원 어린이 구강위생 교육장치 및 방법
CN102405029A (zh) 2009-05-08 2012-04-04 吉列公司 个人护理系统、产品和方法
US20100309302A1 (en) 2009-06-09 2010-12-09 Jiandong Yang Apparatus and a System for Visualizing Teeth Cleaning
JP6088498B2 (ja) * 2011-06-22 2017-03-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用画像を処理するシステム及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006137648A1 (en) * 2005-06-20 2006-12-28 Jin-Sang Hwang Tooth brushing pattern analyzing/modifying device, method and system for interactively modifying tooth brushing behavior
CN102215922A (zh) * 2008-11-20 2011-10-12 吉列公司 个人卫生装置、系统和方法
US20110247156A1 (en) * 2008-11-20 2011-10-13 Braun Gmbh Oral Care System
US20140065588A1 (en) * 2012-08-31 2014-03-06 Ideas That Work, Llc Toothbrush Training System
CN104619211A (zh) * 2012-08-31 2015-05-13 皇家飞利浦有限公司 使用霍尔传感器为谐振驱动牙刷提供连续反馈的力传感器
CN104619212A (zh) * 2012-09-07 2015-05-13 皇家飞利浦有限公司 使用霍尔效应传感器具有压力传感能力的谐振驱动的电动牙刷

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918620A (zh) * 2018-03-28 2020-11-10 皇家飞利浦有限公司 用于测量口弓几何形状和基于口弓测量选择牙套的系统和方法
CN111918620B (zh) * 2018-03-28 2022-06-10 皇家飞利浦有限公司 用于测量口弓几何形状和基于口弓测量选择牙套的系统和方法
CN108783870A (zh) * 2018-04-21 2018-11-13 深圳缇铭科技有限公司 刷牙数据的呈现方法、呈现装置、呈现系统、存储设备、牙刷基座及牙刷
CN110495962A (zh) * 2019-08-26 2019-11-26 赫比(上海)家用电器产品有限公司 监测牙刷位置的方法及其牙刷和设备
CN110604629A (zh) * 2019-08-30 2019-12-24 深圳市云顶信息技术有限公司 电动牙刷控制方法、装置、电动牙刷及存储介质

Also Published As

Publication number Publication date
RU2719839C2 (ru) 2020-04-23
WO2017001399A1 (en) 2017-01-05
US20180192765A1 (en) 2018-07-12
JP2018519007A (ja) 2018-07-19
EP3313233A1 (en) 2018-05-02
RU2018103060A3 (zh) 2019-10-07
CN107708483B (zh) 2020-11-27
RU2018103060A (ru) 2019-07-30
JP6741688B2 (ja) 2020-08-19
US10595626B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
CN107708483A (zh) 用于使用霍尔效应传感器提取用户的运动特性以向用户提供反馈的方法和系统
US11786033B2 (en) Methods and systems for extracting brushing motion characteristics of a user using an oral hygiene device including at least one accelerometer to provide feedback to a user
EP3192022B1 (en) A system for checking a correct oral hygiene procedure
JP5662203B2 (ja) コンピュータグラフィックスアニメーション用に顔面筋および眼球の運動を追跡するためのシステムおよび方法
CN111465333A (zh) 口腔卫生系统
KR20170085477A (ko) 가상 현실 환경을 위한 가려진 얼굴 부분 재구성 방법 및 시스템
CN108495575A (zh) 用于基于位置和性能来提供引导和反馈的系统、方法和设备
JP5574407B2 (ja) 顔面動作推定装置及び顔面動作推定方法
CN107811722B (zh) 一种智能电动牙刷、牙刷空间姿态获取系统及方法
JPWO2021090921A1 (ja) 被験者の顎運動を測定するためのシステム、プログラム、および方法
WO2017002012A1 (en) Methods and systems for extracting motion characteristics of a user using a hall effect sensor to provide feedback to the user
JP2008186075A (ja) インタラクティブ画像表示装置
JPWO2020115922A1 (ja) 美容促進装置、美容促進システム、美容促進方法、および美容促進プログラム
US11830182B1 (en) Machine learning-based blood flow tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant