CN106998900B - 用于检查正确口腔卫生操作的系统 - Google Patents

用于检查正确口腔卫生操作的系统 Download PDF

Info

Publication number
CN106998900B
CN106998900B CN201580044517.3A CN201580044517A CN106998900B CN 106998900 B CN106998900 B CN 106998900B CN 201580044517 A CN201580044517 A CN 201580044517A CN 106998900 B CN106998900 B CN 106998900B
Authority
CN
China
Prior art keywords
toothbrush
processing unit
marker
movement
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580044517.3A
Other languages
English (en)
Other versions
CN106998900A (zh
Inventor
达维德·萨波
马可·马尔孔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN106998900A publication Critical patent/CN106998900A/zh
Application granted granted Critical
Publication of CN106998900B publication Critical patent/CN106998900B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A46B15/0006—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means with a controlling brush technique device, e.g. stroke movement measuring device
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A46B15/0008—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means with means for controlling duration, e.g. time of brushing
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0085—Brushes provided with an identification, marking device or design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0076—Body hygiene; Dressing; Knot tying
    • G09B19/0084—Dental hygiene
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/1066—Toothbrush for cleaning the teeth or dentures

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Medical Informatics (AREA)
  • Development Economics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Educational Technology (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioethics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Brushes (AREA)

Abstract

本发明公开了一种用于检查正确口腔卫生操作的系统，所述系统的特征在于包括：摄像机，所述摄像机用于采集利用包括标记物的牙刷来刷牙的人的所述面部的图像；处理装置，所述处理装置用于分析所述图像并且用于定位人的所述面部的凸出的点；处理装置，所述处理装置用于分析所述图像并且用于定位所述牙刷；处理装置，所述处理装置用于跟踪所述凸出的点的移动；处理装置，所述处理装置用于跟踪所述牙刷的移动；处理装置，所述处理装置用于计算所述面部和所述牙刷之间的移动；处理装置，所述处理装置用于检查所述面部和所述牙刷之间的相对移动与相对的预设的移动相对应的情况；其中所述标记物被分成多个区域；并且其中所述多个区域中的每一个为有色的，其中颜色选自预定义数量的颜色，以最大化彼此靠近的所述区域之间的所述颜色对比度。

Description

用于检查正确口腔卫生操作的系统
具体实施方式
本发明涉及用于检查正确口腔卫生操作的系统，涉及相关的方法和相关的计算机程序。
根据儿童对每日牙齿清洁的低积极性，教育儿童进行正确口腔卫生对于教育家而言为当前困难的任务。在大多数情况下，在吸引儿童执行重复性活动的注意力和关注度的正确的量中，甚至使用示出他们喜欢的卡通人物的特定牙刷或者使用具有吸引人的颜色和调味剂的牙膏并未成功，在保证所述活动执行正确的方法和时间中也从未成功。所述活动通常不正确地执行，甚至成年人可因匆忙或其他偶然原因可慌忙地和不正确地执行该操作。
本发明的目标为提供用于检查正确口腔卫生操作的系统。
另一个目标为提供交互式的系统。
另一个目标为提供还同时为吸引人的和有趣的系统。
根据本发明，这些目标和其他目标通过用于检查正确口腔卫生操作的系统来实现，所述系统的特征在于包括：摄像机，所述摄像机用于采集利用包括标记物的牙刷来刷牙的人的面部的图像；处理装置，所述处理装置用于分析所述图像并且用于定位人的所述面部的凸出的点；处理装置，所述处理装置用于分析所述图像并且用于定位所述牙刷；处理装置，所述处理装置用于跟踪所述凸出的点的移动；处理装置，所述处理装置用于跟踪所述牙刷的移动；处理装置，所述处理装置用于计算所述面部和所述牙刷之间的移动；处理装置，所述处理装置用于检查所述面部和所述牙刷之间的相对移动与相对的预设的移动相对应的情况；其中所述标记物已被分成多个区域；并且其中所述多个区域中的每一个为有色的，其中颜色选自预定义数量的颜色，以最大化彼此靠近的所述区域之间的颜色对比度。
所述目标还通过用于检查正确口腔卫生操作的方法来实现，所述方法包括以下步骤：利用摄像机拍摄利用包括标记物的牙刷刷牙的人的面部；定位人的所述面部的凸出的点；定位所述牙刷；跟踪所述凸出的点的移动；跟踪所述牙刷的移动；计算所述所述面部和所述牙刷之间的相对移动；检查所述面部和所述牙刷之间的相对移动与相对的预设的移动相对应的情况。
其中所述牙刷包括标记物，将所述标记物分成多个区域；并且对所述标记物中的每个区域进行着色以最大化不同区域的颜色对比度。
所述目标也通过适于执行权利要求1所述的方法的计算机程序来实现。
本发明的其他特征在从属权利要求中有所描述。
相对于现有技术，该解决方案具有多个优点。
因此，本发明的系统旨在为教育家提供辅助性工具，以确保儿童以他们自己喜欢的并且同时获悉该每日任务的重要性交互式方式正确地清洁他们的牙齿，可以使用卡通人物。因此，该系统还为以下辅助性工具，所述辅助性工具用于成人检查专用于口腔卫生的刷牙技术和时间是否正确。
因此，在相对于面部的运动分析牙刷的运动时，在评估专用于口腔卫生的正确使用和时间时，该系统为适用的，但使用提供有适当的标记物的手动牙刷，所述标记物可通过便携式装置进行识别和定位。
减小尺寸的便携式计算机(例如平板电脑、笔记本计算机或智能电话)的广泛使用允许将它们定位在浴室中持续刷牙所必须的一段时间。具体地讲，本发明的系统使得使用所述装置允许使用者、牙刷之间的完全交互，允许该应用提供在正确口腔卫生中的正确使用和教育的分析，但具有类似数据获取和处理能力的其他装置也为可用的。
所述系统还允许目标的整个适当跟踪、待定位的空间中的牙刷的位置和相对于待分析的使用者的嘴的运动。
因此，可以使用设置在智能电话和平板电脑上的单一摄像机，以执行正确口腔卫生操作的准确分析和校正由使用者实现的任何错误。
为了使得该应用更吸引年轻的使用者，也可以利用强化现实技术使用卡通人物替换使用者的面部，因为事实上刷的3D位置和面部的取向为已知的。
通过以下对优选的实施方案的描述，本发明的其他特征和优点将变得更明显，所述实施方案通过附图中的图中的非限制性实施例示出，其中：
图1示出了根据本发明所述的附接有标记物的牙刷；
图2示出了根据本发明所述的利用平板电脑前方的牙刷来刷牙的男孩；
图3示出了根据本发明所述的标记物的上半球；
图4示出了根据本发明所述的标记物的下半球；
图5示出了根据本发明所述的标记物的侧视图；
特定标记物10固定(使用开槽或利用胶水)到牙刷11的端部(或者可制备已设置有所述标记物的牙刷)。所述标记物的目的为允许处理装置12(优选地平板电脑，这取决于其尺寸和实际应用，但也可使用计算机)使用位于平板电脑12的上部上的摄像机13，定位牙刷11的空间位置(取向和3D位置)以及还分析运动(另外在空间中)的方向。
另外，使用平板电脑12的前面上的摄像机13，还采集执行口腔卫生的人18的面部1.4并且将图像16显示在平板电脑12上。
标记物10被放置在牙刷的背对其头部15的端部处。
该系统能够通过摄像机13构建的一个或多个面部并且选择最接近它的一个。
所述操作使用现有技术形成的图像的数字处理技术来执行，例如在Viola P.和Jones M.J.,"Robust Real-Time Face Detection"in International Journal ofComputer Vision,Kluwer Academic Publishers,pages 137-f4,2004的文章中。
在最终的摘要中，假定存在面部的图像利用源自Haar转换的一系列二维滤光器在不同的数值范围上进行滤光，其中所述滤光器中的每一个在系统的练习阶段中已被视为良好的面部辨别器并且，具体地讲，其中不同的滤光器可阻止面部的定位中的多个问题，例如遮挡或阴影。
当适当数量的所述滤光器赋予施加到图像上的积极的结果时，由它们滤光的区域被辨别为图像中的尺寸和延长部分为已知的面部。
明显地，若干面部可存在于图像中，并且在大多数情况下，仅具有充足的尺寸的面部以及牙刷的标记物的正确追踪被视为可用的。所述算法的开放式源具体实施存在于公共图书馆中，例如得自http://opencv.org的OpenCV。
一旦面部14被定位，一系列凸出的部分17就被识别，例如眼、鼻和嘴，以便相对于构建的人18的嘴识别牙刷11的空间位置。
该系统将阻止面部14的局部遮挡，这种遮挡可取决于牙刷11的存在和保持牙刷的手。
还在这种情况下，对于面部14的凸出的部分17的定位而言，将使用现有技术中的技术，例如Cootes T.F.,Edwards G.J.,Taylor C.J.,"Active appearance models",IEEETransaction of Pattern Analysis and Machine Intelligence(2001)的文章中描述的那些。
在这种情况下，一旦图像中的面部(或多个面部)的定位为已知的，活动外观模型算法将被施加到它们中的每个，其中将面部的预定义模型放置在辨别为包含面部的区域内。具体地讲，预定义模型的每一个点均沿法向移动到所述模型，直到边缘相交在实际图像上。后续步骤需要测定最适应模型的点的新定位的模型的失真参数(描述人面部的掩模上的自由度)，并且因此估计模型的新构型。然后连续重复两个先前的步骤直到实现会聚。该算法还得自前述OpenCV图书馆中的开放式源。
如果需要，该系统还将能够根据标记物识别牙刷，并且因此将其与使用者相结合，以便检查所考虑的该系统的全部使用者利用设定的时间和方法清洁他们的牙齿。
一旦使用者的嘴和他们的面部的取向被定位，并且使用施加的目标的牙刷也被定位，牙刷的空间移动的暂时分析执行帧的序列，以便检查牙刷的移动为正确的移动。
具体地讲，由于上文所述，标记物的照相平移为已知的并且牙刷头部15的空间定位也为已知的。当根据上述活动外观模型技术知晓嘴的位置时，易于辨别使用者在牙齿的左侧或右侧操作。此外，当标记物的旋转因一个或多个极(图3的园的北部、中心点，或图4的南部、中心点)的位置的测定而为已知的时，可以限定标记物的极轴线并且因此确定牙刷的头部15是否相对于嘴的横向平面(上牙弧与下牙弧分开的平面)为垂直取向的并且因此静止在牙的咬合台上或者确定头部是否沿所述平面被取向并且因此静止在牙的横向表面上。
头部的运动使用施加到牙刷的端部处的标记物的光流分析算法进行分析，并且具体地讲，已选择了以下文档中指出的Lucas-Kanade算法：B.D.Lucas and T.Kanade(1981),"An iterative image registration technique with an application tostereo vision."'Proceedings of Imaging Understanding Workshop,121—130页。
在所述不同的方法中，假设不同帧之间的运动中的标记物的强度分量和颜色分量为恒定的，并且假设两个连续的帧之间的移动为小的(较少像素)，假设针对所考虑的点并且针对围绕该点的区域，两个帧之间的不同颜色分量的强度遵循均匀运动的电影法。利用I表示3个颜色分量中的一个并且利用Δχ和Ay表示像素中的移动并且利用Λη'表示当前的帧，可假设
I(x,y.n)＝I{x+Ax y+Ay,n+1)
其中：
dl 31 cl
I(x+Ax,v+Ay.n+i)＝l(x.y.n+—Δχ+—Δ+—-->'}1""1 dx dy 7 dt
两个图像之间的点的速度向量的估计因此必须满足下述公式：
Ix{x,y)Vx+I,(xty)V7＝-It(x,y)
其中Ix和Iy分别表示沿方向x和y的导数，反之Vx和Vy表示沿水平方向和竖直方向的速度分量。
延伸到围绕所考虑的像素的像素的这种操作允许噪音的较好阻隔以及待获得的标记物的运动的方向的良好估计。
当嘴的位置、头部的取向及其运动的方向(已通过分析标记物的运动进行估计)为已知的时，可以估计以下条件：
平面上的牙刷的头部垂直于横向平面，即该头部静止在磨牙和前磨牙的咬合台上并且在横向平面上平移：所述移动为正确的。
头部静止在牙弧的横向表面上并且旋转和垂直平移：正确的移动。
头部静止在牙弧的横向表面上并且在横向平面上旋转和平移：不正确的移动。
由于牙刷的空间位置的分析，将还可以分析两个牙弧是否经受清洁活动并且分析专用于清洁的时间总量是否对应于正确口腔卫生所需的时间相对应。
该系统的最后的步骤的目标在于使用以下方式增大儿童的口腔卫生过程的愉快感并且显示在平板电脑12上：使用“化身”的强化现实技术，即，在相同的空间位置中重叠在所构建的面部的图像上并且精确地重复相同的姿势的傀儡，并且使用牙刷本身的图像，当其空间位置因前述步骤而为已知的时，可通过使其卡通化而以强化现实的方式进行描述，或者将其描述为由儿童选择的或与化身相关联的另一个目标。
傀儡的面部的表情以及其刷牙过程期间所说的话也将允许使用者获悉该操作是否正确地执行并且是否执行正确的时间，或者获悉是否必须进行校正。
使用者具有观看各种“魔镜”的感觉，在魔镜中其面部被反射成傀儡的面部并且牙刷可转换成另一个、可能卡通化的目标，全部真实地、实时地反射面部和牙刷的移动。所述方面的目标在于吸引使用者的关注度并且使得刷牙具有交互式和愉快的经历。
标记物10为球形的并且施加到背对头部15的牙刷11的端部。原则上，可使用不同几何形状的标记物，前提条件是，摄像机的构建允许在刷牙期间在牙刷的全部空间构型中精确地估计位置和空间旋转。其因此可为立体的、圆锥形的或另一种形状；已选择球体形状，因为不考虑旋转，其通常看起来像由摄像机采集的图像的圆形，定位简单，并且如果儿童使用该系统，还不可具有可为不适合的任何边缘。
为了定位其空间位置并且跟踪其移动，根据位置和旋转，将基准制备成对中在摄像机13的光学中心上的坐标轴线的系统。
标记物10已被优选地分成16部分或楔块20。还在这种情况下，该选择还证明在口腔卫生操作期间由摄像机平均构建的每个部分(楔块)的像素的数量与估计角度或旋转的精确度之间的良好折衷。
例如，可能已采用目标在于测定牙刷的3D旋转平移的标记物的分开的其他类型，例如ID或2D条形码，但所采用的该选择还证明为稳定的，甚至在利用所构建的减小的尺寸的标记物采集的情况下(该标记物可因此由几百个像素来表示，因为其离摄像机较远)。.
在特定情况下，标记物已被分成8个经线20，通过中纬线21被分成两半以形成上半球22和下半球23。利用不同的颜色对经线20之间的区域进行均匀地着色。
两种颜色的标记物可能已被采用(例如具有黑色区域和白色区域)，但是由于用于便携式装置中的大多数摄像机为多种颜色，因此相比于两种颜色的标记物，与平均背景和彼此充分辨别的一组颜色的使用允许储存于标记物中的信息的密度更大，因此允许采用由此由摄像机能够易于定位的较大尺寸的均匀区域。
标记物10被定位并且其旋转平移通过分析所采集的图像的颜色分量来估计。在特定情况下，仅使用完全饱和的颜色来对标记物进行着色，所用的色彩能够利用配备有其他采集传感器(CMOS,CCD)的标准平板电脑12进行分辨。
平板电脑感知到通过称为Bayer矩阵的滤色器的矩阵的颜色，指出1为由Bayer滤色器的传感器下游的单元检测的最大强度值并且0为最小强度。
因此，对于每个像素而言，计算或估计相邻像素的红色、绿色和蓝色分量。
因此已选择用于创建标记物的颜色以最大化多个经线20的颜色对比度和识别球形标记物与其周围环境的能力。
此外，传统黑色和白色标记物(例如，条形码或OR码)之外的颜色分量的使用允许编码较大量的信息(与两种可能的黑色和白色的值相比，6种可能的颜色变体)。
在特定情况下，所用颜色为完全饱和的并且具有以下色彩：蓝色35、红色36、黄色37、绿色38、青色39、品红色40。
在实际系统中，将明显地存在降低标记物颜色的辨别的一系列元素，并且，为了改善颜色分量的识别，明显的是将R,G,B(红色、绿色和蓝色)空间的颜色空间转换成HSV(色彩、饱和度、值)空间。
从RGB颜色空间到HSV空间的转换判据如下。色彩在0°和360°之间的数值范围上表示，通常从0°处的红色开始，通过120°处的绿色和240°处的蓝色，然后返回360°处的红色。
色彩值H利用以下公式来测定：
M＝max(R,G,B)
m＝min(R,G,B)
C＝M-m
如果C＝0则H'＝无穷大
如果M＝R则H'＝((G-B)/C)mod 6
如果M＝G则H'＝((B-R)/C)+2
如果M＝B则H'＝((R-G)/C)+4
H■＝60°·H'
色彩值H可因此在0°和
360°之间变化。
值V利用以下判据来定义。
V＝M＝max(R,G,B)
V因此为强度(辐射能量)的类似指示器并且暗颜色将具有较低值。
饱和度S利用以下判据来计算。
如果C＝0则S＝0
否则S＝C/V
饱和度S将因此在红色、绿色和蓝色(多种灰色色调)的三种颜色分量相等时为0，在颜色分量之间的间隙较高时将较高，是指相对于三种分量主要由红色、绿色和蓝色的分量中的一种或两种形成的“纯净的”的颜色。
标记物将利用以下判据进行着色。
1.两个相邻的区域从不具有相同的颜色。
2.每个半球上的颜色的序列相对于极必须不具有旋转对称性，并且因此不接受因颜色的循环旋转而单独不同的序列。
3.两个半球之间邻接的区域之间的延伸必须为不同的。
4.属于上半球的颜色的序列必须不与下半球的那些混淆，以使得两个半球为可分辨的。
5.根据标记物离摄像机的通常距离并且考虑到平板电脑的通常较短的焦点，可假设整个序列中的平均仅三个颜色可被辨识并且因此需要能够识别的序列，并且其相对于根据仅3种颜色进行识别的摄像机旋转。因此必须可以根据3中连续的颜色分辨所考虑的半球及其角度位置。
存在具有这些限制的6种可能的颜色序列。附图示出它们中的一个，其中参考数字与相对的颜色相对应。
标记物使用从RGB空间到HSV空间的图像的转换而因该转换被定位，存在标记物的区域可易于被辨别为由具有高色彩变化的高饱和度来表征的区域(由于针对标记物的限定的上文限定的颜色的变化)并且就这种简单的方法而言，可以定义稳定的方法来定位标记物，而不考虑照明的存在。
后续步骤包括识别标记物相对于摄像机的基准的系统旋转的角度，并且具体地讲，通过横摆、俯仰和偏航空间中三个角度的旋转已使用对流来限定空间中的旋转。
考虑到摄像机的图像平面平行于平面Z-Y，所考虑的旋转因此为横摆(相对于轴线X在图像平面上旋转)、俯仰(相对于垂直轴线Z旋转)和偏航(相对于水平轴线Y旋转)。
利用以下过程来估计旋转的角度：一旦包含标记物的圆周(标记物球体在图像平面上的突起部)利用上述过程被定位，就可使用仅超过最大值50％的强度值来辨别不同颜色区域的区域(在像素中)。
它们以递减的区域顺序进行放置(其中区域为具有存在于图像中的相同的色彩的像素的量)并且估计第一和第二以及第二和第三区域之间的比率。该角度随后利用以下判据进行估计。
横摆角度通过评估由将上半球的区域与下半球的区域分开获得的区域的重心的位置和颜色来估计：分别针对两个半球估计同质的颜色区域的不同重心之间的相对的角度(该操作为可能的，因为由于上文所述的内容每个半球的颜色的序列为已知的并且不可为不明确的)。
对于俯仰和偏航角度而言，借助于使用基于光线追踪的虚拟情景的现实生成的程序的一系列回放，可以估计俯仰和偏航角度，也可通过改变摄像机的焦点和标记物的光线之间的比率、上述区域之间的比率(最大区域与仅小于其的区域的区域之间的比率以及后者与第三区域之间的比率)。具体地讲，可以使用对应的表来设置区域与俯仰和偏航的角度之间的比率。
在知晓颜色的序列以及标记物和牙刷之间的相对定位之前，允许使用可见颜色来直接并且大约估计俯仰，其中错误等于360°/8＝45°，其中"8"表示所用的楔块的数量。
对于角度的良好估计而言，因此生成由36行和18列形成的矩阵(与俯仰和偏航两者上的10°的分辨率相对应)，其中对于每个单元而言，3个比率被记录在普遍的颜色区域之间，即记录在包括像素的最高数量和对应颜色的标记物的图像的位置之间。
在识别阶段，随后寻找存在该比率的矩阵的单元和最类似于采集的那些的颜色(根据欧几里德距离)，并且俯仰和偏航教导因此被估计。
当摄像机的像素的焦点为已知的时，其离摄像机的距离还使用三角形之间的简单相似性根据标记物的直径来估计。
构建的人的面部的凸出的点及其移动使用串联的可变模型的来测定。
存在用于测定面部的凸出的点的各种方法，例如在Xiang Yu；Junzhou Huang；Shaoting Zhang；Wang Yan；Metaxas,D.N.,"Pose-Free Facial Landmark Fitting viaOptimized Part Mixtures and Cascaded Deformable Shape Mode,"Computer Vision(ICCV),2013IEEE International Conference,pp.1944,1951,1-8December的文章中所述.
在本发明的实施方案中，点的预定义的数量已被限定，由此辨识有问题的面部的眼、鼻和嘴。具体地讲，针对嘴使用6个点，针对每个眼使用4个点，针对两耳之间的颚线使用12个点，针对鼻使用10个点并且针对每个眉使用6个点。
在牙刷实施阶段，标记物相对于头部的旋转和距离必须为已知的，具体地讲，因为其目的在于测定赋予在牙刷头部相对于使用者的牙弧的位置和移动，甚至可通过可采用不同的选择，并且牙刷的北部极点已利用牙刷头部的刷毛的方向对准图3的圆周的中心。
当放置在牙刷的末端的标记物的位置和空间旋转(这在大多数牙齿清洁行动期间针对摄像机为可见的)为已知的时，可以辨别头部的位置和空间旋转，事实上在大多数牙齿清洁行动期间头部的位置和空间旋转隐藏在嘴中或由牙膏覆盖。当使用者的嘴的位置也为已知的时，可以辨别牙刷头部在牙弧上以及在弧的侧面上的定位。
然后通过光流算法来分析牙刷的运动，即如下算法，所述算法能够测定一组重要的点、其在不同帧之间的运动，因此限定向量场，在向量场每个向量均沿第一图像中的点的位置开始并且在第二图像中的对应位置中结束。
对于该目的而言，还存在不在现有技术中的方法，例如B.Horn and B Schunck,"Determining Optical Flow"Artificial Intelligence,16 185-203,1981的文章中描述的方法，该方法根据标记物的饱和的颜色从作为一个整体的图像高度分离而赋予良好的结果。
因此可以分析由使用者赋予的牙刷针对每个牙弧的每个表面的运动。根据牙刷的旋转和嘴的空间取向的共同分析，可以辨别牙刷毛是否静止在牙弧的表面上并且因此可以检查其移动是否正确。
正确的刷牙是指在牙弧的垂直表面上垂直移动并且在磨牙和前磨牙的接触表面上水平移动。可提供与上文不同的或其他附加的操作。
本发明的功能对于本领域的技术人员为清楚的，所述功能已进行了描述并且具体地讲如下文所述。
使用者将平板电脑12放置在他们的前方并且开始执行用于检查正确口腔卫生的程序。
摄像机13拍摄其前方的图像并且辨别人的面部18上的凸出的点17，尤其是嘴，但也可为针对测定面部的移动具有重要性的其他点。如果能够这样，则平板电脑12自动地辨别使用者的面部，或者可为进入使用者的名字的鉴别程序。
使用者保持牙刷11并且因此由于标记物10的存在而识别其位置。
计时器开始测定总刷牙时间。
按照牙刷与人的面部的移动来检查面部和牙刷之间的相对移动与多个正常的刷牙规则相对应情况，例如针对牙弧的垂直表面的垂直移动以及针对磨牙和前磨牙的水平移动。
如果与正常的规则不相对应的移动被记录，则可提供警告使用者的听觉/视觉警告，或者可提供指示使用者刷牙为错误的并且如何正确地执行刷牙的声音。
这些事件可以与使用者的名字相结合的方式进行储存以用于另外的分析。
在完成刷牙之后，使用者利用平板电脑12上的特定钥匙(虚拟)锁定该程序，并且在该点位，计算刷牙时间。该时间以与执行该操作的人的名字结合的方式进行储存。
针对每个人的清洁时间和任何错误因此被储存。

Claims (9)

1.一种用于检查正确口腔卫生操作的系统，所述系统的特征在于包括：摄像机(13)，所述摄像机(13)采集利用包括标记物(10)的牙刷(11)刷牙的人(18)的面部(14)的图像(16)；处理装置(12)，所述处理装置(12)用于分析所述图像(16)并且定位人(18)的所述面部(14)的凸出的点(17)；所述处理装置(12)用于分析所述图像(16)并且定位所述牙刷(11)；所述处理装置(12)用于跟踪所述凸出的点(17)的移动；所述处理装置(12)用于跟踪所述牙刷(11)的移动；所述处理装置(12)用于计算所述面部(14)和所述牙刷(11)之间的移动；所述处理装置(12)用于检查所述面部(14)和所述牙刷(11)之间的移动与相对的预设的移动相对应的情况；其中所述标记物(10)为球形的并且被分成由经线(20)限定的多个区域(35-40)，所述经线(20)通过中纬线(21)彼此分开；并且其中所述多个区域(35-40)中的每一个均为有色的，其中颜色选自预定义数量的颜色，以最大化彼此靠近的所述区域(35-40)之间的所述颜色对比度。
2.根据权利要求1所述的系统，所述系统的特征在于所述标记物(10)被放置在背对清洁头部(15)的所述牙刷(11)的端部处。
3.根据权利要求1所述的系统，所述系统的特征在于所述多个区域(35-40)中的两个相邻的区域从不具有相同的颜色。
4.根据权利要求1或3所述的系统，所述系统的特征在于所述中纬线(21)将所述标记物(10)分成两个半球(22,23)；并且所述系统基于识别三个相邻的颜色来辨别所述半球(22,23)及其角度位置。
5.根据权利要求1所述的系统，所述系统的特征在于包括与所述刷牙的人(18)通信的装置，以警告他们与所述预设的移动不相对应的不正确的口腔卫生操作。
6.根据权利要求1所述的系统，所述系统的特征在于包括指示所述刷牙的人(18)和刷牙所用的时间的基准的存储装置。
7.根据权利要求1所述的系统，所述系统的特征在于包括用于在屏幕上显示所述刷牙的人(18)的面部(14)的装置。
8.根据权利要求1或7所述的系统，所述系统的特征在于利用另一个虚拟面部来替换所述刷牙的人(18)的面部(14)。
9.一种用于检查正确口腔卫生操作的方法，所述方法包括以下步骤：利用摄像机(13)拍摄利用包括标记物(10)的牙刷(11)刷牙的人(18)的面部(14)；定位人(18)的所述面部(14)的凸出的点(17)；定位所述牙刷(11)；跟踪所述凸出的点(17)的移动；跟踪所述牙刷(11)的移动；计算所述所述面部(14)和所述牙刷(11)之间的相对移动；检查所述面部(14)和所述牙刷(11)之间的相对移动与相对的预设的移动相对应的情况；其中所述牙刷(11)包括标记物(10)；所述标记物(10)为球形的并且施加到背对清洁头部(15)的所述牙刷(11)的端部；将所述标记物(10)分成由经线(20)限定的多个区域(35-40)，所述经线(20)通过中纬线(21)彼此分开；并且对所述标记物(10)中的每个区域(35-40)进行着色以最大化不同区域的颜色对比度。
CN201580044517.3A 2014-08-04 2015-07-30 用于检查正确口腔卫生操作的系统 Expired - Fee Related CN106998900B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ITBG2014A000033 2014-08-04
ITBG20140033 2014-08-04
PCT/IB2015/055755 WO2016020803A1 (en) 2014-08-04 2015-07-30 A system for checking a correct oral hygiene procedure

Publications (2)

Publication Number Publication Date
CN106998900A CN106998900A (zh) 2017-08-01
CN106998900B true CN106998900B (zh) 2019-10-25

Family

ID=51703203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580044517.3A Expired - Fee Related CN106998900B (zh) 2014-08-04 2015-07-30 用于检查正确口腔卫生操作的系统

Country Status (5)

Country Link
US (1) US20170238692A1 (zh)
EP (1) EP3192022B1 (zh)
JP (1) JP2017532076A (zh)
CN (1) CN106998900B (zh)
WO (1) WO2016020803A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10702206B2 (en) 2015-06-29 2020-07-07 Braun Gmbh Toothbrush for oral cavity position detection
ES2964759T3 (es) 2015-09-08 2024-04-09 Braun Gmbh Determinación de una parte del cuerpo actualmente tratada de un usuario
EP3207823A1 (en) * 2016-02-16 2017-08-23 Braun GmbH Interactive system setup concept
DE102016002855A1 (de) * 2016-03-09 2017-09-14 Arnulf Deinzer Vorrichtung und Verfahren zur Ortsbestimmung eines Werkzeugs zur Mundraumhygiene
JP2019508183A (ja) * 2016-03-14 2019-03-28 コリブリー コンプライアンスの監視のための、視覚的認識を伴う口腔衛生システム
JP7100587B2 (ja) * 2016-04-15 2022-07-13 コーニンクレッカ フィリップス エヌ ヴェ 口腔ヘルスケアデバイスのユーザの動きを検出してフィードバックを提供するシステム及び方法
EP4360589A2 (en) 2016-08-22 2024-05-01 Kolibree SAS Oral hygiene system for compliance monitoring
US20190251860A1 (en) * 2016-09-14 2019-08-15 Koninklijke Philips N.V. A system and method for use in assisting a user to focus on performing a personal care activity
US10835028B2 (en) 2016-11-14 2020-11-17 Colgate-Palmolive Company Oral care system and method
US11043141B2 (en) 2016-11-14 2021-06-22 Colgate-Palmolive Company Oral care system and method
US11213120B2 (en) 2016-11-14 2022-01-04 Colgate-Palmolive Company Oral care system and method
US10582764B2 (en) 2016-11-14 2020-03-10 Colgate-Palmolive Company Oral care system and method
US11361672B2 (en) 2016-11-14 2022-06-14 Colgate-Palmolive Company Oral care system and method
CN107423669B (zh) * 2017-04-18 2020-12-29 北京国科智途科技有限公司 一种基于视觉传感器的刷牙行为参数获取方法
KR102006610B1 (ko) * 2017-07-27 2019-08-05 키튼플래닛 주식회사 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치
KR101972331B1 (ko) * 2017-08-29 2019-04-25 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
EP3713446B1 (en) 2017-11-26 2023-07-26 Dentlytec G.P.L. Ltd. Handheld dental tracking device
CN107811722B (zh) * 2017-11-29 2020-10-30 薛开国 一种智能电动牙刷、牙刷空间姿态获取系统及方法
BR112020012475B1 (pt) * 2017-12-28 2023-10-17 Colgate-Palmolive Company Método para promover cumprimento de uma rotina de higiene oral e sistema de higiene oral
USD855330S1 (en) 2017-12-28 2019-08-06 Colgate-Palmolive Company Toothbrush
WO2019133287A1 (en) * 2017-12-28 2019-07-04 Colgate-Palmolive Company Systems and methods for estimating a three-dimensional pose of an oral hygiene device with visual markers
KR102030421B1 (ko) * 2017-12-29 2019-11-18 동의대학교 산학협력단 미러 표시장치와 칫솔을 이용한 치아 관리 교육 시스템
US20190254413A1 (en) * 2018-02-20 2019-08-22 Dov Jacobson Toothbrush Tracking Apparatus and Method
CN108904085B (zh) * 2018-04-13 2020-09-08 深圳市力博得科技有限公司 基于智能牙刷的刷牙评价方法、装置、设备及存储介质
US11523678B2 (en) 2018-08-03 2022-12-13 Colgate-Palmolive Company Oral care system including an oral care implement and a tracking attachment, tracking attachment thereof, and method of assembling the same
US11297933B2 (en) 2018-08-03 2022-04-12 Colgate-Palmolive Company Powered oral care implement including a tracking module and tracking module thereof
CN108741612A (zh) * 2018-08-07 2018-11-06 南京林业大学 一种劝导式儿童刷牙系统和装置
US11093749B2 (en) * 2018-12-20 2021-08-17 L'oreal Analysis and feedback system for personal care routines
US20200202521A1 (en) 2018-12-21 2020-06-25 The Procter & Gamble Company Apparatus and method for operating a personal grooming appliance or household cleaning appliance
US10534948B1 (en) * 2019-03-18 2020-01-14 Capital One Services, Llc Optimizing detection of images in relation to targets based on colorspace transformation techniques
US10496862B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light
US10509991B1 (en) 2019-03-18 2019-12-17 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light
US10523420B1 (en) 2019-04-18 2019-12-31 Capital One Services, Llc Transmitting encoded data along transmission mediums based on colorspace schemes
WO2020252498A1 (en) * 2019-06-10 2020-12-17 The Procter & Gamble Company Method of generating user feedback information to enhance product use results
US10614635B1 (en) 2019-07-25 2020-04-07 Capital One Services, Llc Augmented reality system with color-based fiducial marker
CN110477594A (zh) * 2019-09-06 2019-11-22 王丹 一种可视化刷牙方法及牙刷
US10833852B1 (en) 2019-10-03 2020-11-10 Capital One Services, Llc Encoded data along tape based on colorspace schemes
US10867226B1 (en) 2019-11-04 2020-12-15 Capital One Services, Llc Programmable logic array and colorspace conversions
US10762371B1 (en) 2019-11-14 2020-09-01 Capital One Services, Llc Object detection techniques using colorspace conversions
US10878600B1 (en) 2019-12-10 2020-12-29 Capital One Services, Llc Augmented reality system with color-based fiducial marker utilizing local adaptive technology
CN113729388B (zh) * 2020-05-29 2022-12-06 华为技术有限公司 控制牙刷的方法、智能牙刷及牙刷系统
EP4167797A1 (en) * 2020-06-22 2023-04-26 Colgate-Palmolive Company Oral care system and method for promoting oral hygiene
US11302036B2 (en) 2020-08-19 2022-04-12 Capital One Services, Llc Color conversion between color spaces using reduced dimension embeddings
KR102461513B1 (ko) * 2020-12-30 2022-10-31 이상재 양치질과 손씻기 시간과 방법을 알려주는 도우미시스템
US20230180924A1 (en) * 2021-12-13 2023-06-15 Colgate-Palmolive Company Oral Care System Including Oral Care Implement with Motion Tracking Features
GB2615127A (en) * 2022-01-31 2023-08-02 Deirdre Odwyer A device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503640A (zh) * 2001-04-17 2004-06-09 牙刷使用监视系统
CN101454055A (zh) * 2006-03-24 2009-06-10 安美津内森实验室有限公司 口腔护理游戏系统和方法
EP2512290A1 (en) * 2009-12-17 2012-10-24 Unilever PLC Toothbrush tracking system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3192779B2 (ja) * 1992-11-05 2001-07-30 株式会社東芝 位置・姿勢計測装置
GB0622451D0 (en) * 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US20090215015A1 (en) * 2008-02-21 2009-08-27 Raindrop Network Ltd. Method and Apparatus for Developing a Proper Tooth Brushing Technique
EP2189198B1 (de) * 2008-11-20 2017-06-21 Braun GmbH Körperpflegegerät des persönlichen Bedarfs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503640A (zh) * 2001-04-17 2004-06-09 牙刷使用监视系统
CN101454055A (zh) * 2006-03-24 2009-06-10 安美津内森实验室有限公司 口腔护理游戏系统和方法
EP2512290A1 (en) * 2009-12-17 2012-10-24 Unilever PLC Toothbrush tracking system

Also Published As

Publication number Publication date
JP2017532076A (ja) 2017-11-02
EP3192022B1 (en) 2019-04-17
WO2016020803A1 (en) 2016-02-11
EP3192022A1 (en) 2017-07-19
US20170238692A1 (en) 2017-08-24
CN106998900A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
CN106998900B (zh) 用于检查正确口腔卫生操作的系统
US20200364939A1 (en) Method and System for Representing a Virtual Object in a View of a Real Environment
US10527846B2 (en) Image processing for head mounted display devices
Wechsler Reliable Face Recognition Methods: System Design, Impementation and Evaluation
US7606392B2 (en) Capturing and processing facial motion data
US8878949B2 (en) Camera based interaction and instruction
CN105556508B (zh) 虚拟镜子的装置、系统和方法
US11204495B2 (en) Device and method for generating a model of an object with superposition image data in a virtual environment
CN107211165A (zh) 用于自动延迟视频演示的装置、系统和方法
KR20130020717A (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
CN106203364B (zh) 一种3d眼镜互动试戴系统及方法
CN107656611A (zh) 体感游戏实现方法及装置、终端设备
US20220114784A1 (en) Device and method for generating a model of an object with superposition image data in a virtual environment
AU2006330460A1 (en) Eye movement data replacement in motion capture
CN107343151B (zh) 图像处理方法、装置和终端
CN114594851A (zh) 图像处理方法、服务器和虚拟现实设备
Shen et al. Virtual mirror by fusing multiple RGB-D cameras
Okun et al. Performance and Motion Capture
US11580778B2 (en) Video analysis for obtaining optical properties of a face
Yoon Metaverse in the Wild: Modeling, Adapting, and Rendering of 3D Human Avatars from a Single Camera
Jiddi Photometric registration of indoor real scenes using an RGB-D camera with application to mixed reality
KR20230057439A (ko) 얼굴의 광학적 특성들을 획득하기 위한 비디오 분석
ES2273539B1 (es) Procedimiento para obtener en un lapso temporal breve una secuencia de imagenes simulada copia de una secuencia de imagenes real.
Lunscher et al. IR Shape From Shading Enhanced RGBD for 3D Scanning
Diamanti Motion Capture in Uncontrolled Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191025

Termination date: 20200730