CN111491537B - 用于估计具有视觉标记的口腔卫生装置的三维姿势的系统和方法 - Google Patents

用于估计具有视觉标记的口腔卫生装置的三维姿势的系统和方法 Download PDF

Info

Publication number
CN111491537B
CN111491537B CN201880081561.5A CN201880081561A CN111491537B CN 111491537 B CN111491537 B CN 111491537B CN 201880081561 A CN201880081561 A CN 201880081561A CN 111491537 B CN111491537 B CN 111491537B
Authority
CN
China
Prior art keywords
oral hygiene
hygiene device
interest
region
markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880081561.5A
Other languages
English (en)
Other versions
CN111491537A (zh
Inventor
文森特·埃尔库比-贝尼舒
奥利维尔·希罗德
托马斯·塞瓦尔
扬·尼古拉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colgate Palmolive Co
Original Assignee
Colgate Palmolive Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colgate Palmolive Co filed Critical Colgate Palmolive Co
Publication of CN111491537A publication Critical patent/CN111491537A/zh
Application granted granted Critical
Publication of CN111491537B publication Critical patent/CN111491537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A46B15/0006—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means with a controlling brush technique device, e.g. stroke movement measuring device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/1066—Toothbrush for cleaning the teeth or dentures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于估计口腔卫生装置相对于位置的姿势的方法，所述口腔卫生装置包括图案和多组视觉标记，所述方法包括：(i)接收可再现为所述口腔卫生装置的至少一部分的图像的图像数据；(ii)分析所述图像数据以识别所述图像内的感兴趣区域；(iii)使用一个或多个处理器中的至少一个处理器识别所述感兴趣区域内的所有候选视觉标记；(iv)获得所述口腔卫生装置的第一建议的三维姿势；(v)验证所述口腔卫生装置的第一建议的三维姿势；以及(vi)基于经验证的第一建议的三维姿势获得所述口腔卫生装置的第二建议的三维姿势。

Description

用于估计具有视觉标记的口腔卫生装置的三维姿势的系统和 方法
技术领域
本公开大体上涉及运动跟踪，并且更具体地涉及用于估计口腔卫生装置 相对于位置的姿势的系统和方法。
背景技术
运动跟踪系统常常用于各种应用中，包括例如医疗领域、电影和电子游 戏行业等中。仍然还需要新的系统和方法以使用具有有限处理能力的装置 (例如，智能手机)来准确地跟踪对象在所有方向上的运动。本公开解决了 这些和其他问题。
发明内容
根据本公开的一些实施方式，一种用于估计口腔卫生装置相对于位置的 姿势的方法，所述口腔卫生装置包括图案和多组视觉标记，所述方法包括接 收可再现为所述口腔卫生装置的至少一部分的图像的图像数据。所述方法还 包括：使用一个或多个处理器分析所述图像数据以识别所述图像内的感兴趣 区域，所述感兴趣区域中包括所述图案的至少一部分；使用所述一个或多个 处理器中的至少一个处理器识别所述感兴趣区域内的所有候选视觉标记；以 及获得所述口腔卫生装置的第一建议的三维姿势。所述方法还包括：验证所 述口腔卫生装置的第一建议的三维姿势；以及基于经验证的第一建议的三维 姿势获得所述口腔卫生装置的第二建议的三维姿势。
根据本公开的其他实施方式，一种用于估计口腔卫生装置相对于位置的 姿势的方法，所述口腔卫生装置包括图案和多组视觉标记，所述方法包括： (a)接收可再现为所述口腔卫生装置的至少一部分的图像的图像数据；(b) 使用一个或多个处理器分析所述图像数据以识别所述图像内的感兴趣区域， 所述感兴趣区域中包括所述图案的至少一部分；(c)响应于识别所述感兴趣 区域，使用所述一个或多个处理器中的至少一个处理器将所述感兴趣区域分 割成多个子区域，所述多个子区域中的每一个子区域由具有共同颜色的多个 像素限定；(d)使用所述一个或多个处理器中的至少一个处理器识别所述感 兴趣区域内的所有候选视觉标记；(e)创建所述候选视觉标记的多个不同集 合；(f)选择所述候选视觉标记的多个不同集合中的第一集合；(g)选择与 所述口腔卫生装置的三维模型相关联的模型标记的多个不同集合中的第一集 合；(h)使用三点透视算法评估所述候选视觉标记的所选择集合和模型标记 的所选择集合以获得所述口腔卫生装置的建议的三维姿势；(i)基于所述口 腔卫生装置的建议的三维姿势，预测预定数量的候选视觉标记在所述感兴趣 区域内的位置；(j)将所述预定数量的候选视觉标记的预测位置与所有候选 视觉标记在所述感兴趣区域内的实际位置进行比较；(k)响应于确定所述预 测位置的至少大部分与所述实际位置对应，验证所述建议的三维姿势；以及 (1)响应于确定少于所述预测位置的大部分与所述实际位置对应，重复步骤 (f)-(k)。
根据本公开的其他实施方式，一种运动跟踪系统，包括：口腔卫生装置、 跟踪元件、摄像头、一个或多个处理器和存储器装置。所述口腔卫生装置包 括头部和手柄。所述跟踪元件联接到所述口腔卫生装置，并包括图案和多组 视觉标记。所述存储器装置存储指令，所述指令在由所述一个或多个处理器 中的至少一个处理器执行时使得所述运动跟踪系统：使用所述摄像头捕获所 述口腔卫生装置的至少一部分的图像；使用所述一个或多个处理器中的至少 一个处理器分析所述图像以识别所述图像内的感兴趣区域，所述感兴趣区域 中包括所述跟踪元件的图案的至少一部分；使用所述一个或多个处理器中的 至少一个处理器识别所述感兴趣区域内的所有候选视觉标记；创建所述候选 视觉标记的多个不同集合；选择所述候选视觉标记的多个不同集合中的第一 集合；选择与存储在所述存储器装置中的所述口腔卫生装置的三维模型相关 联的模型标记的多个不同集合中的第一集合；使用三点透视算法评估所述候 选视觉标记的所选择集合和模型标记的所选择集合，以获得所述口腔卫生装 置的建议的三维姿势；基于所述口腔卫生装置的建议的三维姿势，预测预定 数量的候选视觉标记在所述感兴趣区域内的位置；将所述预定数量的候选视 觉标记的预测位置与所有候选视觉标记在所述感兴趣区域内的实际位置进行 比较；以及响应于确定所述预测位置的至少大部分与所述实际位置对应，验 证所述建议的三维姿势。
根据本公开的其他实施方式，一种运动跟踪元件，其被构造成联接到口 腔卫生装置，所述运动跟踪元件包括：主体；图案，所述图案在所述主体的 外表面上；以及在所述主体的外表面上的多组视觉标记。
本公开的以上发明内容并不意图表示本公开的每个实施例或每个方面。 本公开的附加特征和益处从下文所阐述的详细描述和附图显而易见。
附图说明
图1是根据本公开的一些实施方式的运动跟踪系统的示意性图示；
图2A是根据本公开的一些实施方式的跟踪元件和口腔卫生装置的透视图；
图2B是图2A的跟踪元件的前视图；
图2C是图2A的跟踪元件的后视图；
图3是根据本公开的一些实施方式的用于估计口腔卫生装置相对于位置的 姿势的方法的流程图；以及
图4是示出了获得第一建议的三维姿势的步骤和验证第一建议的三维姿势 的步骤的流程图。
虽然本公开易于有各种修改和替代形式，但是在附图中以实例示出了具 体实施例并在本文中对其进行详细描述。然而，应理解，本公开并不意图局 限于所公开的特定形式。相反，本公开将涵盖落入本公开的精神和范围内的 所有修改、等同物和替代方案。
具体实施方式
参考图1，运动跟踪系统100包括口腔卫生装置110、跟踪元件120、摄 像头130、处理器140和存储器装置150。运动跟踪系统100通常用于估计口 腔卫生装置110在三维空间中相对于例如摄像头130的位置的姿势。
口腔卫生装置110包括头部112和手柄114。头部112联接至手柄114的 第一端，并且包括用于刷牙的多根刷毛。头部112和手柄114可以是整体的或 单件式的，或者替代地，头部112可以可移除地联接到手柄114，使得手柄 114(例如，与更换头部)可互换。手柄114具有大致圆柱形的形状，但更一 般地可以是任何合适的尺寸和形状。手柄114可包括人体工程学抓握以帮助用 户抓握手柄114。口腔卫生装置110可以包括电动机(未示出)，以振动和/或 振荡头部112或以其他方式向该头部提供运动以帮助刷牙。更一般地，口腔卫 生装置110可以是任何手动牙刷或电动牙刷。
跟踪元件120可以(直接地或间接地)可拆卸地联接到、固定地或刚性地 (直接地或间接地)联接到口腔卫生装置110的手柄114，或者与所述口腔卫 生装置的手柄一体地形成。此外，跟踪元件120可以联接到口腔卫生装置110 的手柄114，使得跟踪元件120的轴线与手柄114的轴线对应或与该手柄的轴 线同轴。跟踪元件120包括图案122和多个视觉标记124。跟踪元件120通常 由柔性材料制成。例如，跟踪元件120可以由非导电材料，诸如橡胶或弹性体 材料、聚合物材料或其任何组合制成。
摄像头130是数码摄像头，其通常用来捕获口腔卫生装置110和跟踪元件 120的至少一部分的静止图像、视频图像或两者。通常，口腔卫生装置110位 于用户101与摄像头130之间，使得摄像头130的视场涵盖口腔卫生装置110 的至少一部分和跟踪元件120的至少一部分。
处理器140通信地耦合到摄像头130和存储器装置150。处理器140执行 存储在存储器装置150中的指令(例如，相关联的应用程序)，以控制其通信 地耦合到的系统100的各种部件。
在一些实施方式中，系统100还包括外壳160。在此类实施方式中，摄像 头130、处理器140、存储器装置150或其任何组合可集成在外壳160中。例 如，外壳160可以是智能手机。替代地，所述各种部件中的一些或全部可以彼 此分离，并且一些可以包括在口腔卫生装置110的基站(未示出)中。
参考图2A-2C，与口腔卫生装置110相同或相似的口腔卫生装置210联接 到跟踪元件220，该跟踪元件与上文描述的跟踪元件120相同或相似。
口腔卫生装置210包括头部(未示出)和手柄214。头部联接到手柄214 的第一端，跟踪元件220联接到手柄214的与头部相对的第二端。
跟踪元件220包括上部部分222、下部部分226、图案230、第一组视觉 标记241、第二组视觉标记242和第三组视觉标记243。上部部分222具有大 体上圆柱形的构造并且包括腔224。腔224的尺寸和形状被设计成在其中接收 口腔卫生装置210的手柄214，以使用压配合或干涉配合将跟踪元件220可移 除地联接到手柄214。例如，上部部分222可由呈套筒形式的弹性体材料形成， 并且被构造和布置成接收并贴合手柄214的第二端。可替代地，可以使用其他 机构，例如，螺纹连接、粘合剂连接、钩环紧固件、突片和孔口系统、压配 合或干涉配合连接、卡扣配合连接、力配合连接、扭锁连接等，或其任何组 合将跟踪元件220联接到手柄214。替代性地，在一些实施方式中，跟踪元件 220包括凸形附接特征并且手柄214的第二端可以包括与腔224相似的腔，其 尺寸和形状被设计成在其中接收凸形附接特征的至少一部分。在此类实施方 式中，跟踪元件220的凸形附接特征和手柄214的腔可以使用上述紧固机构中 的任一个联接。有利地，在该构造中，如果用户在给定的刷牙过程期间不希 望使用跟踪元件220，则可以从口腔卫生装置210移除跟踪元件220。此外， 例如，当用户在使用寿命结束时更换口腔卫生装置210，或者在另一个用户希 望在另一个口腔卫生装置上使用跟踪元件220时，跟踪元件220可以从口腔卫 生装置210移除并联接到第二口腔卫生装置。替代性地，跟踪元件220和手柄214可以是整体的和/或单件式的。
如图2A-2C所示，跟踪元件220的下部部分226可以具有大体上球形构 造，但是其他尺寸和形状是可能的。如图所示，图案230形成在其外表面上并 且与下部部分226的外表面齐平，并且包括背景232和多个指示器234。
如图所示，多个指示器234中的每一个指示器具有大体上为圆形或椭圆形 的无定形形状。图2A-2C中所示的多个指示器234的形状是优选的，因为这 种形状使得在捕获口腔卫生装置210和跟踪元件220的图像时与他们的运动相 关联的模糊降至最低。替代性地，多个指示器234中的一个或多个指示器可具 有大致三角形形状、大致矩形形状、多边形形状或其任何组合。虽然多个指 示器234中的每一个指示器示出为具有相同形状和大小，但多个指示器234中 的每一个指示器可具有不同大小或基本上相同大小(例如，直径)。
多个指示器234中的每一个指示器具有第一颜色，背景232具有与第一颜 色不同的第二颜色。在一个实例中，背景232是橙色，多个指示器234中的每 一个指示器是黑色。替代性地，背景232可为黑色，多个指示器234中的每一 个指示器可为大体上橙色，但背景232和多个指示器234的其它颜色是可能的 (例如，红色、绿色、蓝色、黄色、橙色、紫色等)。一般来说，背景232与 多个指示器234中的每一个指示器的颜色之间的高对比度是优选的，以便清楚 地限定多个指示器234中的每一个指示器。在跟踪元件220上限定图案230的 多个指示器234可具有在约十个指示器和约一百个指示器之间、在约二十个指 示器和约六十个指示器之间、在约三十五个指示器和约四十五个指示器之间， 或任何合适数目的指示器。
图案230的多个指示器234和背景232可使用多种机制形成。例如，图案 230的多个指示器234中的至少一些和/或背景232可印刷或压印在跟踪元件 220的外表面上。替代性地，多个指示器234中的至少一些和/或背景232可与 下部部分226成一体。
参考图2A-2C，第一组视觉标记241、第二组视觉标记242和第三组视觉 标记243联接到下部部分226的外表面且从其突出。如图所示，视觉标记241、 242、243的组中的每个视觉标记具有大致卵形、穹顶状或半球形形状。第一 组视觉标记241、第二组视觉标记242和第三组视觉标记243可使用例如粘合 剂连接或更一般地任何其它合适的机制联接到下部部分226的外表面。替代性 地，每个视觉标记可以与跟踪元件220的下部部分226是整体的和/或单件式 的。
参考图2B和图2C，第一组视觉标记241包括第一视觉标记241a、第二 视觉标记241b、第三视觉标记241c和第四视觉标记241d。手柄214具有前表 面214a和后表面214b。头部(未示出)上的清洁元件(例如，刷毛)从手柄 214的前表面214a延伸。为了图示所有视觉标记，图2B是口腔卫生装置210 的前视图(即，包括前表面214a)，图2C是口腔卫生装置210的后视图(即， 包括后表面214b)。
在一些实施方式中，第一组视觉标记241沿着靠近上部部分222和手柄 214的下部部分226的第一周向长度延伸。如图所示，第一组视觉标记241中 的每一个视觉标记沿着第一周向长度彼此均匀地间隔开。
第二组视觉标记242包括第一视觉标记242a、第二视觉标记242b、第三 视觉标记242c和第四视觉标记242d。第二组视觉标记242沿着与第一周向长 度间隔开的下部部分226的第二周向长度延伸。如图所示，第二组视觉标记 242中的每一个视觉标记沿着第一周向长度彼此均匀地间隔开，但从第一组视 觉标记241中的视觉标记周向地偏移。具体地，第一视觉标记242a位于第一 组视觉标记241的第一视觉标记241a与第二视觉标记241b之间(图2B)， 第二视觉标记242b位于第一组视觉标记241的第二视觉标记241b与第三视觉 标记241c之间(图2B)，第三视觉标记242c位于第一组视觉标记241的第 三视觉标记241c与第四视觉标记241d之间(图2C)，第四视觉标记242d位 于第一组视觉标记241的第四视觉标记241d与第一视觉标记241a之间(图 2C)。
第三组视觉标记243包括第一视觉标记243a、第二视觉标记243b、第三 视觉标记243c和第四视觉标记243d。第三组视觉标记243沿着与第二周向长 度间隔开并且远离上部部分222和手柄214的下部部分226的第三周向长度延 伸。第一周向长度、第二周向长度和第三周向长度彼此均匀间隔开，使得第 一组视觉标记241、第二组视觉标记242和第三组视觉标记243彼此均匀间隔 开。
第三组视觉标记243包括第一视觉标记243a、第二视觉标记243b、第三 视觉标记243c和第四视觉标记243d。第一视觉标记243a与第一组视觉标记 241的第一视觉标记241a对齐，使得第一视觉标记243a位于第二组视觉标记 242的第四视觉标记242d与第一视觉标记242a之间。第二视觉标记243b与 第一组视觉标记241的第二视觉标记241b对齐，使得第二视觉标记243b位于 第二组视觉标记242的第一视觉标记242a与第二视觉标记242b之间。第三视 觉标记243c与第一组视觉标记241的第三视觉标记241c对齐，使得第三视觉 标记243c位于第二组视觉标记242的第二视觉标记242b与第三视觉标记242c 之间。第四视觉标记243d与第一组视觉标记241的第四视觉标记241d对齐， 使得第四视觉标记243d位于第二组视觉标记242的第三视觉标记242c与第四 视觉标记242d之间。
第一组视觉标记241、第二组视觉标记242和第三组视觉标记243中的每 个视觉标记具有不同颜色。例如，在第一组视觉标记241中，第一视觉标记 241a具有第一颜色，第二视觉标记241b具有第二颜色，第三视觉标记241c具 有第三颜色，第四视觉标记241d具有第四颜色。第一颜色、第二颜色、第三 颜色和第四颜色全部彼此不同。优选地，第一颜色、第二颜色、第三颜色和 第四颜色是沿色谱分开的单独且不同的颜色。例如，每种颜色可以与其它颜 色在色谱中间隔约150nm波长到15nm波长之间、在色谱中约100nm波长到 在色谱中约25nm波长之间，或在色谱中约75nm波长到在色谱中约50nm波 长之间等。例如，第一颜色、第二颜色、第三颜色和第四颜色可以是沿着色 谱基本上均等地散开的蓝色、绿色、紫色、黄色、红色或橙色。
在一个实例中，参照第一组视觉标记241，第一视觉标记241a为紫色， 第二视觉标记241b为蓝色，第三视觉标记241c为黄色，第四视觉标记241d 为绿色。参照第二组视觉标记242，第一视觉标记242a为黄色，第二视觉标 记242b为绿色，第三视觉标记241c为蓝色，第四视觉标记241d为紫色。参 照第三组视觉标记243，第一视觉标记243a为绿色，第二视觉标记243b为紫 色，第三视觉标记243c为蓝色，第四视觉标记243d为黄色。在此构造中，在各组视觉标记中四种颜色(蓝、绿、紫和黄)中的每一种颜色均匀分布并且 彼此间隔开。例如，黄色视觉标记不与另一个黄色视觉标记直接相邻，并且 蓝色视觉标记不与另一个蓝色视觉标记直接相邻。
在上述实例中，有三个紫色视觉标记、三个蓝色视觉标记、三个黄色视 觉标记和三个绿色视觉标记(即，具有四种不同颜色的标记)。虽然第一组 视觉标记241、第二组视觉标记242和第三组视觉标记243中的每一组示出为 包括四个视觉标记，但更一般地讲，附件220可包括含有至少一个视觉标记的 任何数量的视觉标记组。例如，附件220可包括第一组视觉标记、第二组视觉 标记、第三组视觉标记和第四组视觉标记，每组含有至少一个视觉标记。另 外，每组中的至少一个视觉标记具有与其他组中的视觉标记不同的颜色。另 外，虽然附件220(图2A-2B)示出为包括在第一组241、第二组242和第三 组243之间组合的十二个视觉标记，但是应理解，附件220可包括具有四种或 更多种不同颜色(例如，四种不同颜色、六种不同颜色、十种不同颜色、二 十种不同颜色等)的任何数量的视觉标记(例如，四个视觉标记、六个视觉 标记、十个视觉标记、二十个视觉标记、五十个视觉标记等)。如本文将更 详细地讨论的，具有四个或更多个具有不同颜色的视觉标记是优选的以准确 地且有效地跟踪跟踪元件220的运动。此外，虽然第一组视觉标记241、第二 组视觉标记242和第三组视觉标记243各自沿着下部部分226的周向长度定位 并且彼此均匀地间隔开，但是视觉标记可以在下部部分226的外表面上以任何 适当的布置(例如，随机地)相对于彼此定位。
参考图3，用于估计口腔卫生装置210相对于位置的姿势的方法300包括 例如第一步骤310、第二步骤320、第三步骤330、第四步骤340、第五步骤 350和第六步骤360。
第一步骤310包括从与上述摄像头130(图1)相同或类似的摄像头接收 图像数据，该图像数据可再现为口腔卫生装置210的至少一部分和跟踪元件 220的至少一部分的图像。例如，图像数据可以是由摄像头捕获的视频图像的 一帧。如上所述，摄像头相对于用户(例如，用户101)定位，使得口腔卫生 装置210和跟踪元件220定位在摄像头与用户之间。由于摄像头的视场涵盖口 腔卫生装置210、跟踪元件220和用户的至少一部分，所以捕获的视频或静止 图像包括所有这三者的至少一部分和摄像头的视场内的用户后面的背景。
第二步骤320包括分析来自第一步骤310的图像数据以识别图像内的感兴 趣区域。通常，感兴趣区域是在第一步骤310期间接收的包括跟踪元件220的 图像的区域。如上所述，在第一步骤310期间捕获的图像包括用户的至少一部 分和用户后面的背景。通过将感兴趣区域限制在跟踪元件220周围的区域，可 以减少方法300的后续步骤的处理要求。
为了分析图像数据并识别感兴趣区域，使用与上文描述的处理器140(图 1)相同或类似的一个或多个处理器来使用多个滤波器识别跟踪元件220(图 2A)的图案230。所述多个滤波器包括运动滤波器、滤色器和形状滤波器。运 动滤波器检测或识别图像内的移动。通常，运动滤波器通过区分图像中的移 动区域与图像的静止区域来检测移动。运动滤波器利用图案230可能由于口腔 卫生装置210和跟踪元件220的相应移动而移动的事实，通过消除图像的静止 背景来缩小可能是感兴趣区域(即，包含图案230的至少一部分)的图像的潜 在区域。滤色器和形状滤波器识别背景232与多个指示器234之间的颜色对比 以及多个指示器234中的每一个指示器的形状。已检测到包含图案230的图像 区域后，感兴趣区域被定义为该区域并且不可包括图像的剩余部分。
识别高分辨率或高清晰度图像中的感兴趣区域需要大量处理/计算时间。 为了降低识别感兴趣区域的处理要求，在第二步骤320期间分析的图像优选地 是低分辨率图像。接着对于方法300的步骤的其余部分，可以将感兴趣区域扩 大到较高分辨率图像。
在一些实施方式中，可以使用机器学习算法或人工智能算法过滤或检测 跟踪元件220的图案230以识别感兴趣区域。机器学习算法可采用多种形式。 例如，方法300可利用更基本的机器学习工具，诸如决策树(“DT”)或人工 神经网络(“ANN”)。DT程序由于其简单性和易于理解而被普遍使用。DT 是将输入数据与在决策树中每个连续步骤询问的问题进行匹配的分类图。DT 程序基于问题的回答向下移动树的“分支”。例如，第一分支可以询问图像的一 部分是否正在移动。如果是，第二分支可以询问图像的该部分是否包括图案230。在其它实例中，可以使用深度学习算法或其它更复杂的机器学习算法， 例如卷积神经网络。
机器学习算法(例如，Haar级联)需要训练数据以识别被设计成检测的 感兴趣特征。例如，可以利用各种方法来形成机器学习模型，包括为网络应 用随机分配的初始权重，并且使用反向传播来应用梯度下降以用于深度学习 算法。在其他实例中，在不使用这种技术进行训练时，可以使用具有一个或 两个隐藏层的神经网络。在一些实例中，将使用被标记的数据或表示特定特 征、特定动作或特性(包括特定颜色或特定形状)的数据，训练机器学习算 法。
第三步骤330包括识别在第二步骤320期间识别的感兴趣区域中的候选视 觉标记。通常，候选视觉标记是感兴趣区域的子区域，其可以是在跟踪元件 220上的实际视觉标记(例如，图2A-2C中的各组视觉标记241、242或243 中的一个视觉标记)。为了识别候选视觉标记，使用颜色分割算法将感兴趣 区域分割成多个子区域。每个子区域由具有共同颜色的感兴趣区域的多个像 素限定。
通常，颜色分割算法假设对象被不同地着色，并且试图识别图像中的相 邻像素之间的总色差。颜色分割算法使用L*a*b颜色空间，其根据光度(“L”) 限定颜色，其中颜色落在红-绿轴(“*a”)上，并且其中颜色落在蓝-黄轴 (“*b”)上。因此，如果需要，在第二步骤320中识别的感兴趣区域从RGB 颜色空间转换为L*a*b颜色空间以执行颜色分割算法。使用阈值，颜色分割 算法将具有不同颜色的相邻像素彼此分离以形成多个子区域。然后计算多个 子区域中的每一个子区域的L*a*b颜色空间中的平均颜色。
如上文所论述，第一组241、第二组242和第三组243中的视觉标记的颜 色优选为蓝色、绿色、紫色、黄色、红色或橙色中的一种。因此，具有蓝、 绿、紫或黄颜色的感兴趣区域的子区域可以是候选视觉标记。虽然感兴趣区 域限于包围跟踪元件220的区域，但感兴趣区域仍可包括用户的一部分或用户 后面的背景，这可能对于候选视觉标记产生假阳性。例如，用户可能正穿着 具有与视觉标记相同或相似颜色中的一种或多种颜色的衣服。
为了提高识别候选视觉标记的准确性，第三步骤330还包括形状滤波器和 尺寸滤波器。第一组视觉标记241、第二组视觉标记242和第三组视觉标记 243(图2A-2C)的视觉标记具有大致穹顶状或半球形形状。当在诸如感兴趣 区域的二维图像中观察时，这些视觉标记具有大致圆形形状。形状滤波器和 尺寸滤波器用于检测感兴趣区域中的大致圆形形状的视觉标记。这些滤波器 帮助区分视觉标记与例如用户的衣服。
第四步骤340包括获得口腔卫生装置210的第一建议的三维姿势。一般来 讲，第一建议的三维姿势包括口腔卫生装置210相对于摄像头的位置和取向 (旋转和平移)。如将在本文中更详细地论述的，在一些实施方式中，在第 三步骤330期间识别出至少四个候选视觉标记之前，第四步骤340将不会初始 化。如果在第三步骤330期间识别出少于四个候选视觉标记，则重复方法300 直到识别出至少四个候选视觉标记。
参考图4，第四步骤340包括第一子步骤342、第二子步骤348、第三子 步骤348和第四子步骤348。
第一子步骤342包括将在第三步骤330(图3)期间识别出的候选视觉标 记分组成候选视觉标记的离散集合。优选地，候选视觉标记的离散集合中的 每一个集合包括四个候选视觉标记。
类似地，第二子步骤348包括将来自口腔卫生装置210和跟踪元件220的 三维模型的模型标记分组成离散步骤。三维模型存储在存储器装置中，所述 存储器装置与上文所描述的存储器装置150相同或类似(图1)。三维模型是 实际口腔卫生装置210和跟踪元件220的表示。具体地，三维模型包括第一组 视觉标记241、第二组视觉标记242和第三组视觉标记243的表示。在模型标 记的离散集合中的每个集合中的模型标记的数量等于在第一步骤342期间分组 在一起的候选视觉标记的第一离散集合中的候选视觉标记的数量(例如，四个候选视觉标记和四个模型标记)。
第三子步骤348包括选择候选视觉标记的第一离散集合和模型标记的第一 离散集合。候选视觉标记的第一离散集合包括四个视觉标记，并且模型标记 的第一离散集合包括四个模型标记。
第四子步骤348包括将候选视觉标记的第一离散集合和在第三子步骤348 期间选择的模型标记的第一离散集合输入到三点透视(“P3P”)算法中。P3P 算法基于余弦定律并且用于估计相对于摄像头放置的对象姿势(旋转和平 移)。
通常，P3P算法将从图像获得的二维点与从三维模型获得的三维点进行比 较。为了求解P3P方程组，提供了在图像坐标系中限定的四个二维点和在三 维模型坐标系中限定的四个三维点。点的三个集合(每个集合包括二维点和 三维点)用于求解P3P方程组，并且确定二维点与摄像头的光学中心之间的 距离的最多四个可能集合。距离的这四个集合被转换成四个姿势配置。然后， 2D/3D点的第四集合用于针对四种建议选择最佳或最正确的姿势配置。用于求 解P3P方程组并获得估计的三维姿势的方法有很多种。例如，LaurentKneip 等人于2011年7月在IEEE Conference on Computer Vision and PatternRecognition(CVPR)上发表的文章“A Novel Parametrization of the Perspective-Three-Point Problem for a Direct Computation of Absolute Camera Position andOrientation”解释了一种此类方法，该文章在此以全文引用的方式并入本文中。
将候选视觉标记的第一离散集合和模型标记的第一离散集合输入到P3P 算法中并且求解方程组得到口腔卫生装置210的第一建议的三维姿势。第一建 议的三维姿势包括口腔卫生装置210的旋转位置和平移位置，其准许确定口腔 卫生装置210相对于摄像头的位置。如上文所论述，在一些实施方式中，在第 三步骤330期间识别出四个候选视觉标记之前，第四步骤340将不会初始化。 这是因为求解P3P算法需要四个候选视觉标记和四个模型标记。如果在第三 步骤330中识别出少于四个候选视觉标记，则如果没有更多数据通常就无法求 解P3P算法方程组。
第五步骤350(图3)包括验证在第四步骤340期间确定的口腔卫生装置 210的第一建议的三维姿势。在子步骤348中选择的候选视觉标记的第一离散 集合和模型标记的第一离散集合可能得到不正确的建议的三维姿势(例如， 物理上不可能的姿势)。因此，第五步骤350通常用于验证或拒绝在第四步骤 340期间获得的建议的三维姿势。
参考图4，第五步骤350包括第一子步骤352、第二子步骤354、第三子 步骤356和第四子步骤358。第一子步骤352包括预测候选视觉标记在感兴趣 区域内的位置。基于在第四步骤340期间计算出的第一建议的三维姿势以及来 自口腔卫生装置210和跟踪元件220的三维模型的视觉标记的已知位置，可以 预测视觉标记在感兴趣区域内的位置。换句话说，所预测的位置指示如果第 一建议的三维姿势正确，候选视觉标记应位于感兴趣区域中的位置，以及候 选视觉标记不应位于感兴趣区域中的位置。例如，可以预测，如果口腔卫生装置210与第一建议的三维姿势具有相同姿势，则在感兴趣区域中将有六个视 觉标记是可见的。从口腔卫生装置的三维模型确定这六个视觉标记在感兴趣 区域中相对于彼此的位置。
第二子步骤354包括将在感兴趣区域中识别出的候选视觉标记与视觉标记 的预测位置进行比较。更具体地，将候选视觉标记的数量和位置与视觉标记 的预测数量和预测位置进行比较(第五步骤350的第一子步骤354)。如果确 定预定数量的候选视觉标记的位置对应于预测位置，则第一建议的三维姿势 被验证(子步骤356)。如果少于预定数量的候选标记对应于预测位置，则第 一建议的三维姿势被拒绝(子步骤358)。
为了举例说明，第一子步骤352预测六个候选视觉标记在感兴趣区域中将 是可见的，并且预测这六个候选视觉标记中的每一个相对于彼此的位置。第 三步骤330识别出感兴趣区域内的十个候选视觉标记。例如，如果候选视觉标 记对应于这六个预测的视觉标记中的五个，则第一建议的三维姿势被验证 (子步骤356)且第五步骤350完成。其他四个候选视觉标记仅被视为噪声或 不准确的。替代性地，如果在第三步骤330期间识别出三十个候选视觉标记， 且例如三十个中的二十五个与预测位置不对应，那么可拒绝所建议的三维姿势。
验证建议的三维姿势所需的预定数量的对应性可以表示为百分比，并且 可以是视觉标记的预测位置的至少约50％对应于候选视觉标记的位置，视觉 标记的预测位置的至少约60％对应于候选视觉标记的位置，视觉标记的预测 位置的至少约70％对应于候选视觉标记的位置，视觉标记的预测位置的至少 约80％对应于候选视觉标记的位置，视觉标记的预测位置的至少约90％对应 于候选视觉标记的位置，或视觉标记的预测位置的100％对应于候选视觉标记 的位置。在一些实施方式中，预定数量是统计上的有效数字，使得可以适当 的统计确定性确定第一建议的三维姿势是正确的(例如，95％统计确定性、85％ 统计确定性、75％统计确定性等)。
如果第一建议的三维姿势被拒绝(子步骤358)，则重复第四步骤340的 第二子步骤348(图4)。在重复子步骤348期间，选择候选视觉标记的第二 离散集合和模型标记的第二离散集合。候选视觉标记的第二离散集合和模型 标记的第二离散集合中的至少一者包括候选视觉标记或模型标记的一个集合， 其与候选视觉标记的第一离散集合和/或模型标记的第二离散集合不同。然后 在子步骤348中将这些集合输入到P3P算法中，以获得口腔卫生装置210的第 二建议的三维姿势。接着在第五步骤350期间验证或拒绝第二建议的三维姿势。 重复步骤348到354，直到验证建议的三维姿势(子步骤356)。
在重复上述步骤以验证建议的三维姿势期间，可以将候选视觉标记和模 型标记的许多离散集合输入到P3P算法中，直到验证建议的姿势为止。因为 在图2A-2C中所示的实例中，第一组视觉标记241、第二组视觉标记242和第 三组视觉标记243(图2A-2C)之间总共存在十二个视觉标记，所以如果忽视 视觉标记的颜色，则存在四个视觉标记的469种可能的组合。换句话说，存在 四个模型标记的469种可能的离散集合。例如，如果在感兴趣区域中识别出十 六个候选视觉标记(在步骤330期间)，忽视颜色的话，则存在四个候选视觉 标记的1,820种组合(即，候选视觉标记的1,820种可能的离散集合)。这意 味着在一个建议的三维姿势被验证之前，可能存在可确定的超过900,000个建 议的三维姿势，从而需要大量的处理/计算时间。然而，如上文所述，第一组 视觉标记241、第二组视觉标记242和第三组视觉标记243中的每一组包括四 个视觉标记，并且每组中的四个视觉标记中的每一个具有不同颜色。然后可 进一步调节候选视觉标记和模型标记的分组，使得每个组不仅限于四个视觉 标记，而且四个组中的每个视觉标记具有不同颜色。以此方式，可能需要在 验证建议的三维姿势(子步骤356)之前输入到P3P算法(子步骤348)中的 可能组合的数量从例如几十万个减少到几百个。这降低了处理/计算要求，使 得可以在例如具有有限处理能力的智能手机上实施该方法。
第六步骤360包括基于口腔卫生装置210的经验证的第一建议的三维姿势 获得口腔卫生装置210的第二建议的三维姿势。以与在第五步骤350期间计算 第一建议的三维姿势类似的方式计算口腔卫生装置210的第二建议的三维姿势。 如上文所论述，在第五步骤350的第一子步骤352期间，预测感兴趣区域中的 每个视觉标记的位置。还如上文所论述，由于来自背景的噪声或颜色分割算 法中涉及的不准确性，在第三步骤330期间识别的候选视觉标记的数量可能比 预测的视觉标记的量更大。为了获得更加精确的姿势估计，第六步骤360仅选 择与预测的视觉标记对应的候选视觉标记(“正确候选视觉标记”)，而忽略基于预测位置不正确的候选视觉标记。然后，使用迭代姿势估计算法和线性回 归，将这些正确的候选视觉标记与口腔卫生装置210的三维模型的模型标记进 行比较，以获得口腔卫生装置210的第二建议的三维姿势。口腔卫生装置210 的第二建议的三维姿势通常比第一建议的三维姿势(第四步骤340)更准确， 但需要更多的处理/计算时间来确定。
参考图3，在完成第六步骤360之后，方法300可以重复一次或多次。在 方法300的第二次迭代中，第一步骤310重复并且包括接收可再现为口腔卫生 装置210和跟踪元件220的至少一部分的第二图像的图像数据。例如，第二图 像可以是在方法300的初始迭代期间使用的图像之后拍摄的视频图像的第二帧。
接着重复第二步骤320以识别在第一步骤310期间接收的第二图像中的第 二感兴趣区域。然而，在方法300的第二次迭代中，绕过检测跟踪元件220的 图案230以识别感兴趣区域这一操作。而是，使用第二三维姿势估计(第六步 骤360)选择第二感兴趣区域，并且第二感兴趣区域被定义为跟踪元件220的 至少一部分所位于的第二图像的区域。因为方法300的第二次迭代中的第二步 骤320不需要使用多个滤波器检测图案230，所以完成第二步骤320所需的处 理/计算时间减少。
然后使用上述颜色分割算法重复第三步骤330以识别第二感兴趣区域中的 所有候选视觉标记。通常，口腔卫生装置210将在浴室中使用，该浴室可具有 明亮或强烈的照明，该照明可以通过浴室镜子中的反射进一步放大。此外， 口腔卫生装置210的移动可能使感兴趣区域中的照明条件基于口腔卫生装置相 对于光源的位置而改变(例如，在特定姿势用户可以在口腔卫生装置210的一 部分上投射阴影)。口腔卫生装置210的照明条件和/或移动可能影响从跟踪 元件220的视觉标记反射的光的量。例如，可能难以在强烈或明亮的照明条件 或黑暗的照明条件下辨别蓝色与紫色。通过使用在第六步骤360期间获得的第二三维姿势估计，可以基于在方法300的第一次迭代的第六步骤360中获得的 三维姿势估计来调整颜色分割算法中区分颜色的阈值。随后，在重复方法300 时，每次完成第三步骤330时就更新此阈值。
然后以与上述相同或相似的方式重复第四步骤340、第五步骤350和第六 步骤360，以获得口腔卫生装置210的另一第二三维姿势估计。
然后，可以在上述第二次迭代之后重复步骤310至360多次(例如，十次、 五十次、一百次、一千次等)，以跟踪口腔卫生装置210的运动。第六步骤 360将在重复方法300时输出口腔卫生装置210的一系列估计的三维姿势，其 随后可以用于跟踪口腔卫生装置210随时间推移的移动。方法300的这种重复 可用于跟踪口腔卫生装置210在例如用户正在刷牙的刷牙过程期间的运动。可 以基于运动数据来收集和分析与用户刷牙质量或用户的牙齿的总体牙科健康 状况相关的数据。例如，可确定刷子行程类型(例如，侧对侧行程、角行程或圆行程)。
在一些实施方式中，系统100还可用于确定用户面部的位置和取向。例如， 使用摄像头104，系统100接收用户面部的至少一部分的图像。使用处理器140和存储器150以及面部识别算法，可确定面部的位置和取向。例如，系统 100可以使用例如多个滤波器、机器学习算法等来确定用户的眼睛、嘴或鼻子 (或其任何组合)的位置。在一个实例中，可基于用户的眼睛的位置以及用 户的眼睛与嘴之间的距离来估计用户的嘴的位置。
通过确定用户面部的位置和取向，口腔卫生装置210的位置不仅可以相对 于摄像头还可以相对于用户的嘴来确定。因此，口腔卫生装置相对于用户的 牙齿的位置因此被确定，并且可以确定用户是否已经刷了牙齿的某个部分。
在一些实施方式中，方法300还包括初始校准步骤以确定跟踪元件220相 对于口腔卫生装置210的旋转位置。例如，使用上述技术，校准步骤可以最初 确定跟踪元件220在口腔卫生装置210上的旋转位置，并且传送该位置以调节 三维模型，使得跟踪元件220在三维模型中的旋转位置与在实际口腔卫生装置 210上的旋转位置对应。在其他实施方式中，方法300不知道跟踪元件220联 接到口腔卫生装置210的手柄214的方式。
有利地，跟踪元件220可以用于使用方法300(或其他类似方法)跟踪口 腔卫生装置210的运动，而不需要跟踪元件220中的任何电子器件或传感器 (例如，加速度计)。虽然在一些实施方式中跟踪元件220可以包括这样的传 感器，以帮助跟踪口腔卫生装置210的运动，但是这样的传感器可以例如增加 跟踪元件220的成本，要求跟踪元件220在使用之前定期充电，或者增加跟踪 元件220的重量并且因此假如在口腔卫生装置210的端部增加重量时干扰用户 的(例如，儿童的)刷牙。
虽然系统100和方法300已经在本文中被示出并且描述为用于跟踪口腔卫 生装置(例如，口腔卫生装置210)的运动，但是系统100和方法300可以用 来跟踪联接到跟踪元件220的任何其他物体的运动。例如，与跟踪元件220相 同或相似的跟踪元件可以联接到具有与口腔卫生装置210相似的形状的物体 (诸如，棒球拍、曲棍球棒、高尔夫球棒等)的端部。此外，类似于跟踪元 件220的跟踪元件可更一般地附接到具有任何其他形状的对象以跟踪该对象的 运动。
虽然本公开易于有各种修改和替代形式，但是具体实施例及其方法已在 附图中通过实例示出并在本文中详细描述。然而，应理解，其并不意图将本 公开限于所公开的特定形式或方法，而是相反地，意图是涵盖落入本公开的 精神和范围内的所有修改、等同物和替代方案。
所选实施例
尽管以上描述和所附的权利要求书公开了多个实施例，但在以下另外的 实施例中公开了本公开的其他替代方面。
实施例1.一种用于估计口腔卫生装置相对于位置的姿势的方法，所述口 腔卫生装置包括图案和多组视觉标记，所述方法包括：接收可再现为所述口 腔卫生装置的至少一部分的图像的图像数据；使用一个或多个处理器分析所 述图像数据以识别所述图像内的感兴趣区域，所述感兴趣区域中包括所述图 案的至少一部分；使用所述一个或多个处理器中的至少一个处理器识别所述 感兴趣区域内的所有候选视觉标记；获得所述口腔卫生装置的第一建议的三 维姿势；验证所述口腔卫生装置的第一建议的三维姿势；以及基于经验证的 第一建议的三维姿势获得所述口腔卫生装置的第二建议的三维姿势。
实施例2.根据实施例1所述的方法，其中响应于识别所述感兴趣区域， 使用所述一个或多个处理器中的至少一个处理器将所述感兴趣区域分割成多 个子区域，所述多个子区域中的每一个子区域由具有共同颜色的多个像素限 定。
实施例3.根据实施例1和2实施例中任一项所述的方法，其中获得所述 口腔卫生装置的第一建议的三维姿势包括：创建所述候选视觉标记的多个不 同集合；选择所述候选视觉标记的多个不同集合中的第一集合；选择与所述 口腔卫生装置的三维模型相关联的模型标记的多个不同集合中的第一集合； 以及使用三点透视算法从与所述口腔卫生装置相关联的三维模型评估所述候 选视觉标记的集合和模型标记的集合以获得所述口腔卫生装置的所述建议的 三维姿势。
实施例4.根据实施例1-3中任一项所述的方法，其中验证所述第一建议 的三维姿势包括：基于所述口腔卫生装置的建议的三维姿势，预测预定数量 的候选视觉标记在所述感兴趣区域内的位置；以及将所述预定数量的候选视 觉标记的预测位置与所述感兴趣区域内的所有候选视觉标记的实际位置进行 比较；以及确定所述预测位置的至少大部分与所述实际位置对应。
实施例5.根据实施例1-4中任一项所述的方法，其中分析所述第一图像 数据包括使用一个或多个滤波器，所述一个或多个滤波器包括运动滤波器、 滤色器、形状滤波器或其任何组合。
实施例6.根据实施例1-5中任一项所述的方法，其中识别所有候选视觉 标记是基于所述多个子区域中的每一个子区域的形状和颜色。
实施例7.根据实施例1-6中任一项所述的方法，其中所述候选视觉标记 的多个不同集合中的每一个集合包括至少四个候选视觉标记，并且所述模型 标记的多个不同集合中的每一个集合包括至少四个模型标记。
实施例8.根据实施例1-7中任一项所述的方法，还包括：接收可再现为 所述口腔卫生装置的至少一部分的第二图像的图像数据的第二集合；基于所 述口腔卫生装置的经验证的三维姿势识别所述第二图像内的第二感兴趣区域。
实施例9.根据实施例1-8中任一项所述的方法，还包括：基于所述口腔 卫生装置的所述经验证的三维姿势调整用于分割所述第二感兴趣区域的阈值， 以帮助识别所述第二感兴趣区域中具有不同颜色的像素。
实施例10.一种用于估计口腔卫生装置相对于位置的姿势的方法，所述口 腔卫生装置包括图案和多组视觉标记，所述方法包括：(a)接收可再现为所 述口腔卫生装置的至少一部分的图像的图像数据；(b)使用一个或多个处理 器分析所述图像数据以识别所述图像内的感兴趣区域，所述感兴趣区域中包 括所述图案的至少一部分；(c)响应于识别所述感兴趣区域，使用所述一个 或多个处理器中的至少一个处理器将所述感兴趣区域分割成多个子区域，所 述多个子区域中的每一个子区域由具有共同颜色的多个像素限定；(d)使用 所述一个或多个处理器中的至少一个处理器识别所述感兴趣区域内的所有候 选视觉标记；(e)创建所述候选视觉标记的多个不同集合；(f)选择所述候 选视觉标记的多个不同集合中的第一集合；(g)选择与所述口腔卫生装置的 三维模型相关联的模型标记的多个不同集合中的第一集合；(h)使用三点透 视算法评估所述候选视觉标记的所选择集合和模型标记的所选择集合以获得 所述口腔卫生装置的建议的三维姿势；(i)基于所述口腔卫生装置的所述建 议的三维姿势，预测预定数量的候选视觉标记在所述感兴趣区域内的位置；(j)将所述预定数量的候选视觉标记的预测位置与所有候选视觉标记在所述 感兴趣区域内的实际位置进行比较；(k)响应于确定所述预测位置的至少大 部分与所述实际位置对应，验证所述建议的三维姿势；以及(1)响应于确定 少于所述预测位置的所述大部分与所述实际位置对应，重复步骤(f)-(k)。
实施例11.根据实施例10中任一项所述的方法，还包括响应于所述建议 的三维姿势被验证，使用算法比较所有候选视觉标记和所有模型标记以获得 所述口腔卫生装置的第二建议的三维姿势。
实施例12.根据实施例10和实施例11中任一项所述的方法，其中分析所 述第一图像数据包括使用一个或多个滤波器，所述一个或多个滤波器包括运 动滤波器、滤色器、形状滤波器或其任何组合。
实施例13.根据实施例10-12中任一项所述的方法，其中识别所有候选视 觉标记是基于所述多个子区域中的每一个子区域的形状和颜色。
实施例14.根据实施例10-13中任一项所述的方法，其中所述候选视觉标 记的多个不同集合中的每一个集合包括至少四个候选视觉标记，并且所述模 型标记的多个不同集合中的每一个集合包括至少四个模型标记。
实施例15.根据实施例10-14中任一项所述的方法，还包括：接收可再现 为所述口腔卫生装置的至少一部分的第二图像的图像数据的第二集合；基于 所述口腔卫生装置的经验证的三维姿势识别所述第二图像内的第二感兴趣区 域。
实施例16.根据实施例15中任一项所述的方法，还包括：基于所述口腔 卫生装置的所述经验证的三维姿势调整用于分割所述第二感兴趣区域的阈值， 以帮助识别所述第二感兴趣区域中具有不同颜色的像素。
实施例17.一种运动跟踪系统，包括：口腔卫生装置，所述口腔卫生装置 包括头部和手柄；联接到所述口腔卫生装置的跟踪元件，所述跟踪元件包括 图案和多组视觉标记；摄像头；一个或多个处理器；以及存储指令的存储器 装置，所述指令在由所述一个或多个处理器中的至少一个处理器执行时使得 所述运动跟踪系统：使用所述摄像头捕获所述口腔卫生装置的至少一部分的 图像；使用所述一个或多个处理器中的至少一个处理器分析所述图像以识别 所述图像内的感兴趣区域，所述感兴趣区域中包括所述跟踪元件的图案的至 少一部分；使用所述一个或多个处理器中的至少一个处理器识别所述感兴趣 区域内的所有候选视觉标记；创建所述候选视觉标记的多个不同集合；选择 所述候选视觉标记的多个不同集合中的第一集合；选择与存储在所述存储器 装置中的所述口腔卫生装置的三维模型相关联的模型标记的多个不同集合中 的第一集合；使用三点透视算法评估所述候选视觉标记的所选择集合和模型 标记的所选择集合，以获得所述口腔卫生装置的建议的三维姿势；基于所述 口腔卫生装置的建议的三维姿势，预测预定数量的候选视觉标记在所述感兴 趣区域内的位置；将所述预定数量的候选视觉标记的所述预测位置与所有候 选视觉标记在所述感兴趣区域内的实际位置进行比较；以及响应于确定所述 预测位置的至少大部分与所述实际位置对应，验证所述建议的三维姿势。
实施例18.根据实施例17中任一项所述的系统，其中所述跟踪元件包括 腔，以用于在所述腔中接收所述口腔卫生装置的手柄的一部分。
实施例19.根据实施例17和实施例18中任一项所述的系统，其中所述跟 踪元件的图案与所述跟踪元件的外表面齐平，并且所述多组视觉标记从所述 跟踪元件的外表面突出。
实施例20.根据实施例19中任一项所述的系统，其中所述多组视觉标记 中的每一组的视觉标记具有大致穹顶状形状。
实施例21.根据实施例17-20中任一项所述的系统，其中所述跟踪元件的 图案包括具有第一颜色的背景和覆盖在所述背景上的多个指示器，所述多个 指示器具有与所述第一颜色不同的第二颜色。
实施例22.根据实施例17-21中任一项所述的系统，其中所述多组视觉标 记中的第一组包括具有第一颜色的第一视觉标记、具有第二颜色的第二视觉 标记、具有第三颜色的第三视觉标记和具有第四颜色的第四视觉标记。
实施例23.根据实施例17-22中任一项所述的系统，其中所述多组视觉标 记中的第一组包括具有第一颜色的第一视觉标记、具有所述第一颜色的第二 视觉标记、具有所述第一颜色的第三视觉标记和具有所述第一颜色的第四视 觉标记。
实施例24.根据实施例17-23中任一项所述的系统，还包括移动装置，所 述移动装置包括外壳，其中，所述摄像头、所述一个或多个处理器、所述存 储器装置或其任何组合至少部分地设置在所述移动装置的外壳内。
实施例25.一种运动跟踪元件，其被构造成联接到口腔卫生装置，所述运 动跟踪元件包括：主体；在所述主体的外表面上的图案；以及在所述主体的 外表面上的多组视觉标记。
实施例26.根据实施例25所述的运动跟踪元件，其中所述主体包括第一 部分和第二部分。
实施例27.根据实施例25和实施例26中任一项所述的运动跟踪元件，其 中所述主体的第一部分被构造成联接到所述口腔卫生装置。
实施例28.根据实施例25-27中任一项所述的运动跟踪元件，其中所述主 体的第二部分具有大致球形形状。
实施例29.根据实施例25-28中任一项所述的运动跟踪元件，其中所述多 组视觉标记从所述主体的外表面突出。
实施例30.根据实施例25-29中任一项所述的运动跟踪元件，其中所述图 案印刷在所述主体的外表面上。
实施例31.根据实施例25-30中任一项所述的运动跟踪元件，其中印刷的 图案包括多个指示器和背景。
实施例32.根据实施例25-31中任一项所述的运动跟踪元件，其中所述背 景具有第一颜色并且所述多个指示器具有与所述第一颜色不同的第二颜色。
实施例33.根据实施例25-32中任一项所述的运动跟踪元件，其中所述多 组视觉标记包括至少第一组视觉标记、第二组视觉标记、第三组视觉标记和 第四组视觉标记，所述第一组视觉标记中的一个或多个视觉标记具有第一颜 色，所述第二组视觉标记中的一个或多个视觉标记具有第二颜色，所述第三 组视觉标记中的一个或多个视觉标记具有第三颜色，并且所述第四组视觉标 记中的一个或多个视觉标记具有第四颜色。
实施例34.根据实施例25-33中任一项所述的运动跟踪元件，其中所述第 一颜色、所述第二颜色、所述第三颜色和所述第四颜色是彼此不同且有差别 的。
实施例35.根据实施例25-34中任一项所述的运动跟踪元件，其中所述第 一颜色、所述第二颜色、所述第三颜色和第四颜色中的每一者是蓝色、绿色、 紫色、黄色、红色、橙色或其任何组合。

Claims (24)

1.一种用于估计口腔卫生装置相对于位置的姿势的方法，所述口腔卫生装置包括图案和多组视觉标记，所述方法包括：
接收可再现为所述口腔卫生装置的至少一部分的图像的图像数据；
使用一个或多个处理器分析所述图像数据以识别所述图像内的感兴趣区域，所述感兴趣区域中包括所述图案的至少一部分；
使用所述一个或多个处理器中的至少一个处理器从所述感兴趣区域内的所述多组视觉标记识别所有候选视觉标记；
获得所述口腔卫生装置的第一建议的三维姿势；
验证所述口腔卫生装置的第一建议的三维姿势；以及
基于经验证的第一建议的三维姿势获得所述口腔卫生装置的第二建议的三维姿势。
2.根据权利要求1所述的方法，其中响应于识别所述感兴趣区域，使用所述一个或多个处理器中的至少一个处理器将所述感兴趣区域分割成多个子区域，所述多个子区域中的每一个子区域由具有共同颜色的多个像素限定。
3.根据权利要求1所述的方法，其中获得所述口腔卫生装置的第一建议的三维姿势包括：
创建所述候选视觉标记的多个不同集合；
选择所述候选视觉标记的多个不同集合中的第一集合；
选择与所述口腔卫生装置的三维模型相关联的模型标记的多个不同集合中的第一集合；以及
使用三点透视算法评估所述候选视觉标记的集合和模型标记的集合以获得所述口腔卫生装置的建议的三维姿势。
4.根据权利要求1所述的方法，其中验证所述第一建议的三维姿势包括：
基于所述口腔卫生装置的建议的三维姿势，预测预定数量的候选视觉标记在所述感兴趣区域内的位置；以及
将所述预定数量的候选视觉标记的预测位置与所有候选视觉标记在所述感兴趣区域内的实际位置进行比较；以及
确定所述预测位置的至少大部分与所述实际位置对应。
5.根据权利要求1所述的方法，其中分析所述图像数据包括使用一个或多个滤波器，所述一个或多个滤波器包括运动滤波器、滤色器、形状滤波器或其任何组合。
6.根据权利要求2所述的方法，其中识别所有候选视觉标记是基于所述多个子区域中的每一个子区域的形状和颜色。
7.根据权利要求3所述的方法，其中所述候选视觉标记的多个不同集合中的每一个集合包括至少四个候选视觉标记，并且所述模型标记的多个不同集合中的每一个集合包括至少四个模型标记。
8.根据权利要求1所述的方法，还包括：
接收可再现为所述口腔卫生装置的至少一部分的第二图像的图像数据的第二集合；
基于所述口腔卫生装置的经验证的三维姿势识别所述第二图像内的第二感兴趣区域。
9.根据权利要求8所述的方法，还包括：
基于所述口腔卫生装置的经验证的三维姿势调整用于分割所述第二感兴趣区域的阈值，以帮助识别所述第二感兴趣区域中具有不同颜色的像素。
10.一种用于估计口腔卫生装置相对于位置的姿势的方法，所述口腔卫生装置包括图案和多组视觉标记，所述方法包括：
(a)接收可再现为所述口腔卫生装置的至少一部分的图像的图像数据；
(b)使用一个或多个处理器分析所述图像数据以识别所述图像内的感兴趣区域，所述感兴趣区域中包括所述图案的至少一部分；
(c)响应于识别所述感兴趣区域，使用所述一个或多个处理器中的至少一个处理器将所述感兴趣区域分割成多个子区域，所述多个子区域中的每一个子区域由具有共同颜色的多个像素限定；
(d)使用所述一个或多个处理器中的至少一个处理器从所述感兴趣区域内的所述多组视觉标记识别所有候选视觉标记；
(e)创建所述候选视觉标记的多个不同集合；
(f)选择所述候选视觉标记的多个不同集合中的第一集合；
(g)选择与所述口腔卫生装置的三维模型相关联的模型标记的多个不同集合中的第一集合；
(h)使用三点透视算法评估所述候选视觉标记的所选择集合和模型标记的所选择集合以获得所述口腔卫生装置的建议的三维姿势；
(i)基于所述口腔卫生装置的建议的三维姿势，预测预定数量的候选视觉标记在所述感兴趣区域内的位置；
(j)将所述预定数量的候选视觉标记的预测位置与所有候选视觉标记在所述感兴趣区域内的实际位置进行比较；
(k)响应于确定所述预测位置的至少大部分与所述实际位置对应，验证所述建议的三维姿势；以及
(I)响应于确定少于所述预测位置的大部分与所述实际位置对应，重复步骤(f)-(k)。
11.根据权利要求10所述的方法，还包括响应于所述建议的三维姿势被验证，使用算法比较所有候选视觉标记和所有模型标记以获得所述口腔卫生装置的第二建议的三维姿势。
12.根据权利要求10所述的方法，其中分析所述图像数据包括使用一个或多个滤波器，所述一个或多个滤波器包括运动滤波器、滤色器、形状滤波器或其任何组合。
13.根据权利要求10所述的方法，其中识别所有候选视觉标记是基于所述多个子区域中的每一个子区域的形状和颜色。
14.根据权利要求10所述的方法，其中所述候选视觉标记的多个不同集合中的每一个集合包括至少四个候选视觉标记，并且所述模型标记的多个不同集合中的每一个集合包括至少四个模型标记。
15.根据权利要求10所述的方法，还包括：
接收可再现为所述口腔卫生装置的至少一部分的第二图像的图像数据的第二集合；
基于所述口腔卫生装置的经验证的三维姿势识别所述第二图像内的第二感兴趣区域。
16.根据权利要求15所述的方法，还包括：
基于所述口腔卫生装置的经验证的三维姿势调整用于分割所述第二感兴趣区域的阈值，以帮助识别所述第二感兴趣区域中具有不同颜色的像素。
17.一种运动跟踪系统，包括：
口腔卫生装置，所述口腔卫生装置包括头部和手柄；
联接到所述口腔卫生装置的跟踪元件，所述跟踪元件包括图案和多组视觉标记；
摄像头；
一个或多个处理器；以及
存储指令的存储器装置，所述指令在由所述一个或多个处理器中的至少一个处理器执行时使得所述运动跟踪系统，
使用所述摄像头捕获所述口腔卫生装置的至少一部分的图像；
使用所述一个或多个处理器中的至少一个处理器分析所述图像以识别所述图像内的感兴趣区域，所述感兴趣区域中包括所述跟踪元件的图案的至少一部分；
使用所述一个或多个处理器中的至少一个处理器从所述感兴趣区域内的所述多组视觉标记识别所有候选视觉标记；
创建所述候选视觉标记的多个不同集合；
选择所述候选视觉标记的多个不同集合中的第一集合；
选择与存储在所述存储器装置中的所述口腔卫生装置的三维模型相关联的模型标记的多个不同集合中的第一集合；
使用三点透视算法评估所述候选视觉标记的所选择集合和模型标记的所选择集合，以获得所述口腔卫生装置的建议的三维姿势；
基于所述口腔卫生装置的建议的三维姿势，预测预定数量的候选视觉标记在所述感兴趣区域内的位置；
将所述预定数量的候选视觉标记的预测位置与所有候选视觉标记在所述感兴趣区域内的实际位置进行比较；以及
响应于确定所述预测位置的至少大部分与所述实际位置对应，验证所述建议的三维姿势。
18.根据权利要求17所述的系统，其中所述跟踪元件包括腔，以用于在所述腔中接收所述口腔卫生装置的手柄的一部分。
19.根据权利要求17所述的系统，其中所述跟踪元件的图案与所述跟踪元件的外表面齐平，并且所述多组视觉标记从所述跟踪元件的外表面突出。
20.根据权利要求19所述的系统，其中所述多组视觉标记中的每一组的视觉标记具有大致半球形形状。
21.根据权利要求17所述的系统，其中所述跟踪元件的图案包括具有第一颜色的背景和覆盖在所述背景上的多个指示器，所述多个指示器具有与所述第一颜色不同的第二颜色。
22.根据权利要求17所述的系统，其中所述多组视觉标记中的第一组包括具有第一颜色的第一视觉标记、具有第二颜色的第二视觉标记、具有第三颜色的第三视觉标记和具有第四颜色的第四视觉标记。
23.根据权利要求17所述的系统，其中所述多组视觉标记中的第一组包括具有第一颜色的第一视觉标记、具有所述第一颜色的第二视觉标记、具有所述第一颜色的第三视觉标记和具有所述第一颜色的第四视觉标记。
24.根据权利要求17所述的系统，还包括移动装置，所述移动装置包括外壳，其中，所述摄像头、所述一个或多个处理器、所述存储器装置或其任何组合至少部分地设置在所述移动装置的外壳内。
CN201880081561.5A 2017-12-28 2018-12-14 用于估计具有视觉标记的口腔卫生装置的三维姿势的系统和方法 Active CN111491537B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762611112P 2017-12-28 2017-12-28
US62/611,112 2017-12-28
PCT/US2018/065607 WO2019133287A1 (en) 2017-12-28 2018-12-14 Systems and methods for estimating a three-dimensional pose of an oral hygiene device with visual markers

Publications (2)

Publication Number Publication Date
CN111491537A CN111491537A (zh) 2020-08-04
CN111491537B true CN111491537B (zh) 2022-05-13

Family

ID=65003516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880081561.5A Active CN111491537B (zh) 2017-12-28 2018-12-14 用于估计具有视觉标记的口腔卫生装置的三维姿势的系统和方法

Country Status (9)

Country Link
US (3) US10799155B2 (zh)
EP (2) EP4418210A1 (zh)
CN (1) CN111491537B (zh)
AU (3) AU2018393954B2 (zh)
BR (1) BR112020012480B1 (zh)
CA (1) CA3085135A1 (zh)
MX (1) MX2020006659A (zh)
RU (1) RU2754316C1 (zh)
WO (1) WO2019133287A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
USD855330S1 (en) * 2017-12-28 2019-08-06 Colgate-Palmolive Company Toothbrush
EP3820355A4 (en) * 2018-07-13 2022-04-20 PLAQLESS Ltd. ORAL DISEASE AND RISK DETECTION DEVICE
CA3105878A1 (en) 2018-08-03 2020-02-06 Colgate-Palmolive Company Oral care system including an oral care implement and a tracking attachment, tracking attachment thereof, and method of assembling the same
US20230180924A1 (en) 2021-12-13 2023-06-15 Colgate-Palmolive Company Oral Care System Including Oral Care Implement with Motion Tracking Features
US20230316552A1 (en) * 2022-04-04 2023-10-05 Microsoft Technology Licensing, Llc Repairing image depth values for an object with a light absorbing surface
CN115607320A (zh) * 2022-10-25 2023-01-17 无锡赛锐斯医疗器械有限公司 一种口外扫描连接基台位姿测量仪及位姿参数确定方法
CN116993790B (zh) * 2023-09-27 2023-12-08 深圳卡尔文科技有限公司 一种种植导航配准方法、系统和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017001399A1 (en) * 2015-06-29 2017-01-05 Koninklijke Philips N.V. Methods and systems for extracting motion characteristics of a user using a hall effect sensor to provide feedback to the user

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0109444D0 (en) * 2001-04-17 2001-06-06 Unilever Plc Toothbrush usage monitoring system
US8330823B2 (en) 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
US20090215015A1 (en) 2008-02-21 2009-08-27 Raindrop Network Ltd. Method and Apparatus for Developing a Proper Tooth Brushing Technique
US9586135B1 (en) * 2008-11-12 2017-03-07 David G. Capper Video motion capture for wireless gaming
US10086262B1 (en) 2008-11-12 2018-10-02 David G. Capper Video motion capture for wireless gaming
RU2534519C2 (ru) * 2009-12-23 2014-11-27 Колгейт-Палмолив Компани Устройство диагностирования ротовой полости
EP3111800B1 (en) * 2009-12-23 2018-11-21 Colgate-Palmolive Company Device for identifying oral conditions
EP2836959A2 (en) * 2012-04-13 2015-02-18 Lightcraft Technology, LLC Hybrid precision tracking
JP6182263B2 (ja) * 2013-06-18 2017-08-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． デバイスリーダ及びデバイスリーダのための画像を生成する手段
BR112016009924B1 (pt) * 2013-11-06 2021-04-13 Koninklijke Philips N.V. Sistema para tratamento da cabeça de um usuário, e, método de tratamento da cabeça de um usuário mediante o uso de um dispositivo de tratamento
CN104660646A (zh) * 2013-11-20 2015-05-27 江南大学 一种基于多加速度传感器和ZigBee网络的牙刷动作采集系统
US9510757B2 (en) * 2014-05-07 2016-12-06 Align Technology, Inc. Identification of areas of interest during intraoral scans
CN106998900B (zh) * 2014-08-04 2019-10-25 达维德·萨波 用于检查正确口腔卫生操作的系统
ES2964759T3 (es) 2015-09-08 2024-04-09 Braun Gmbh Determinación de una parte del cuerpo actualmente tratada de un usuario
EP3410891B1 (en) 2016-03-14 2021-08-11 Kolibree Oral hygiene system with visual recognition for compliance monitoring
US10357342B2 (en) * 2016-09-21 2019-07-23 uLab Systems, Inc. Digital dental examination and documentation
US11213120B2 (en) * 2016-11-14 2022-01-04 Colgate-Palmolive Company Oral care system and method
CN107028672A (zh) * 2017-05-23 2017-08-11 乔元秀 高精度定位识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017001399A1 (en) * 2015-06-29 2017-01-05 Koninklijke Philips N.V. Methods and systems for extracting motion characteristics of a user using a hall effect sensor to provide feedback to the user

Also Published As

Publication number Publication date
US20190200902A1 (en) 2019-07-04
AU2022200066B2 (en) 2023-08-17
EP4418210A1 (en) 2024-08-21
CA3085135A1 (en) 2019-07-04
BR112020012480B1 (pt) 2023-11-21
US11006862B2 (en) 2021-05-18
EP3672448A1 (en) 2020-07-01
US10799155B2 (en) 2020-10-13
AU2018393954B2 (en) 2021-10-07
CN111491537A (zh) 2020-08-04
WO2019133287A1 (en) 2019-07-04
US20210228112A1 (en) 2021-07-29
MX2020006659A (es) 2020-08-31
RU2754316C1 (ru) 2021-09-01
AU2018393954A1 (en) 2020-07-30
BR112020012480A2 (pt) 2020-11-24
AU2022200066A1 (en) 2022-02-03
AU2023266234A1 (en) 2023-12-07
EP3672448B1 (en) 2024-09-18
US20200397347A1 (en) 2020-12-24
US11363971B2 (en) 2022-06-21

Similar Documents

Publication Publication Date Title
CN111491537B (zh) 用于估计具有视觉标记的口腔卫生装置的三维姿势的系统和方法
Aquino et al. vitisBerry: An Android-smartphone application to early evaluate the number of grapevine berries by means of image analysis
AU2012328140B2 (en) System and method for identifying eye conditions
Zion et al. Real-time underwater sorting of edible fish species
CN107103298B (zh) 基于图像处理的引体向上计数系统及计数方法
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
CN111563887A (zh) 一种口腔图像的智能分析方法与装置
CN107122744A (zh) 一种基于人脸识别的活体检测系统及方法
EP4083937A1 (en) System and method for hair analysis of user
JP2007130329A (ja) 画像による外観検査方法
CN106537217A (zh) 宽视野深度成像
CN104661580A (zh) 斜视检测
EP2638508A1 (en) System and method for identifying complex tokens in an image
CN106471523A (zh) 使用红外成像的颜色标识
Mansoor et al. A statistical modeling approach to computer-aided quantification of dental biofilm
CN113421231B (zh) 一种出血点检测方法、装置及系统
CN211962969U (zh) 一种健身实时监测系统
CN108256401A (zh) 一种获取目标属性特征语义的方法及装置
US10950007B2 (en) Color-based toy identification system
EP3900515B1 (en) Virtual spad meter
KR20180120908A (ko) 다중 입력 영상에서의 색상 보정을 위한 3차원 스캐닝 방법 및 그 장치
EP4197427A1 (en) Method and device for evaluating refraction of an eye of an individual using machine learning
CN118526194A (zh) 一种无接触式步态周期特征分析系统、方法及其应用
Barca et al. Noise filtering of new motion capture markers using modified k-means
CN108960040A (zh) 人眼检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant