CN117677340A - 用于确定口腔健康状况的系统和方法 - Google Patents

Abstract

用于确定口腔内口腔护理病症的系统。所述系统可以包括口内装置，所述口内装置具有用于在口腔内发光的光源和用于捕获至少一颗牙齿和相邻牙龈的图像的摄像机。所述系统可以包括一个或更多个处理器，所述一个或更多个处理器被配置成：接收至少一颗牙齿和相邻牙龈的图像，将相邻的至少一颗牙齿和相邻牙龈区分为牙齿部分和牙龈部分，将牙龈部分输入到机器学习模型中，以及通过机器学习模型基于输入到机器学习模型中的牙龈部分确定口腔护理病症。

Description

用于确定口腔健康状况的系统和方法

相关申请的交叉引用

本申请要求于2021年7月21日提交的美国临时专利申请序列号63/224,020的优先权，其全部内容通过引用并入本文。

背景技术

用于促进使用者健康的技术是已知的。特别地，在消费者中已使用互联健康和消费级诊断装置以改善他们的长期健康护理。例如，可以使用生物识别装置来确保使用者四处行走和足够地活动，以防止长期的肌肉骨骼问题和其他健康状况。

然而，用于口腔卫生的综合消费级生物识别和诊断装置并不是普遍已知或可用的。已经提出了消费级口腔诊断装置，但这些装置经常缺乏改善口腔健康的功能，例如牙龈炎检测和健康产品推荐。此外，当前的装置全部都没有有效地利用消费级摄像机和机器学习技术来进行这样的诊断。因此，期望用于确定口腔病症例如牙龈炎的使用消费级摄像机的口内装置。

发明内容

在一个方面中，本公开内容可以涉及用于确定口腔内的牙龈炎病症的方法、装置和/或系统。例如，系统可以包括口内装置和/或一个或更多个处理器。口内装置可以包括：光源，所述光源被配置成在口腔内发光；摄像机，所述摄像机被配置成捕获口腔内的一个或更多个对象的图像。一个或更多个处理器可以被配置成接收口腔内的一个或更多个对象的图像，其中一个或更多个对象包括至少一颗牙齿和围绕至少一颗牙齿的牙龈；将至少一颗牙齿和围绕至少一颗牙齿的牙龈区分为牙齿部分和牙龈部分；将牙龈部分输入到机器学习模型中；以及通过机器学习模型基于输入到机器学习模型中的牙龈部分确定牙龈炎病症。摄像机可以为消费级摄像机。机器学习模型可以通过深度学习技术确定牙龈炎病症。

附图说明

根据具体实施方式和附图，将更充分地理解本公开内容，在附图中：

图1是如本文所述的一个示例性口内插入装置的正面透视图。

图2是包括如图1所示的口内插入装置的一个示例性系统。

图3示出了如本文所述使用机器学习模型来确定口腔护理病症的框图。

图4A至4D示出了如本文所述的图像中牙龈的检测和分割的一个实例。

图5A至5D示出了如本文所述的图像中牙龈的检测和分割的另一个实例。

图6描述了如本文所述使用口内插入装置来确定口腔护理病症(例如，牙龈炎)的一个示例性过程。

具体实施方式

以下对优选实施方案的描述本质上仅是示例性的，并且决不是旨在限制一项或更多项本发明。说明性实施方案的描述旨在结合附图来阅读，附图被认为是整个书面描述的一部分。在本文公开的示例性实施方案的描述中，对方向或取向的任何提及仅旨在便于描述，并不旨在以任何方式限制本发明的范围。诸如“下部”、“上部”、“水平”、“垂直”、“上方”、“下方”、“向上”、“向下”、“左”、“右”、“顶部”、“底部”、“前部”和“后部”及其派生词(例如，“水平地”、“向下地”、“向上地”等)的相对术语应被解释为是指如随后所描述的或者如所讨论的附图中所示的取向。除非这样明确指出，否则这些相对术语仅是为了便于描述，并不需要特定的取向。

除非另有明确说明，否则诸如“附接”、“附着”、“连接”、“联接”、“互连”、“固定”的术语和其他类似术语是指这样的关系：其中结构直接地彼此固定或附接或者通过中间结构间接地彼此固定或附接，以及两者是可移动或刚性的附接或关系。本文中的讨论描述和示出了特征的一些可能的非限制性组合，这些特征可以单独存在或者以特征的其他组合形式存在。此外，如本文所用，术语“或”应被解释为每当其操作数中的一者或更多者为真时导致真的逻辑操作符。此外，如本文所用，短语“基于”应被解释为意指“至少部分基于”，并因此不限于“完全基于”的解释。

如通篇所用，范围用作用于描述在该范围内的各个值和每个值的简写。可以选择该范围内的任何值作为该范围的端点。此外，本文引用的所有参考文献均在此通过引用整体并入。在本公开内容中的定义和引用的参考文献的定义发生冲突的情况下，以本公开内容为准。

本发明的特征可以在软件、硬件、固件或其组合中实施。本文所述的计算机程序不限于任何特定实施方案，并且可以在操作系统、应用程序、前台或后台进程、驱动程序、或其任何组合中实施。计算机程序可以在单个计算机或服务器处理器或者多个计算机或服务器处理器上执行。

本文所述的处理器可以为被配置用于执行计算机程序指令(例如，代码)的任何中央处理单元(CPU)、微处理器、微控制器、计算或可编程装置或电路。各种处理器可以实现在任何合适类型的计算机和/或服务器硬件(例如，台式电脑、膝上型电脑、笔记本电脑、平板电脑、蜂窝电话等)中并且可以包括形成功能数据处理装置所需的所有常用辅助组件，包括但不限于总线、软件和数据存储器例如易失性和非易失性存储器、输入/输出装置、图形用户界面(graphical user interface，GUI)、可移动数据存储器以及包括Wi-Fi、蓝牙、LAN等的有线和/或无线通信接口装置。

本文所述的计算机可执行指令或程序(例如，软件或代码)和数据可以被编程到非暂时性计算机可读介质中，并有形地实现在非暂时性计算机可读介质中，所述非暂时性计算机可读介质可由如本文所述的相应处理器访问和检索，所述相应处理器通过执行介质中编码的指令来配置和引导处理器进行期望的功能和过程。包括被配置成这样的非暂时性计算机可执行指令或程序的可编程处理器的装置可以被称为“可编程装置”或“装置”，并且相互通信的多个可编程装置可以被称为“可编程系统”。应注意，如本文所述的非暂时性“计算机可读介质”可以包括但不限于任何合适的易失性或非易失性存储器，包括随机存取存储器(RAM)及其各种类型、只读存储器(ROM)及其各种类型、USB闪存、以及磁或光数据存储装置(例如，内部/外部硬盘、软盘、磁带CD-ROM、DVD-ROM、光盘、ZIP^TM驱动器、蓝光光盘等)，其可以由可操作地连接至介质的处理器写入和/或读取。

在某些实例中，本发明可以以计算机实施的过程和设备例如基于处理器的数据处理和通信系统或用于实施这些过程的计算机系统的形式实现。本发明还可以以包含在非暂时性计算机可读存储介质中的软件或计算机程序代码的形式实现，所述软件或计算机程序代码在被加载到数据处理和通信系统或计算机系统中并由其执行时，计算机程序代码段将处理器配置成创建被配置成用于实施这些过程的特定逻辑电路。

关注其短期和/或长期健康护理的消费者可以使用健康和/或诊断装置(例如，互联健康和/或诊断装置)。本文可以描述一个或更多个口腔诊断装置(例如，消费级口腔诊断装置)。这些装置可以提供口腔护理病症(例如，牙龈炎)的检测和/或提供用于改善口腔健康的健康和/或产品建议。

一个或更多个口内摄像机(例如，成本有效的口内摄像机，如消费级摄像机)可以联接至口腔诊断装置和/或可以连接(例如，无线连接)至智能装置。智能装置可以包括移动电话、平板电脑、膝上型电脑等。口内摄像机可以允许使用者捕获(例如，有效地捕获)使用者口腔的彩色图像和/或视频。图像可以为RGB彩色图像或者与一个或更多个其他颜色空间相关的图像。如本文所述，口腔诊断装置可以基于捕获的图像和/或视频检测和/或确定口腔病症，例如牙龈炎。在另一些实例中，可以将图像和/或视频发送给一个或更多个人(例如口腔护理专业人员)以诊断口腔组织健康和卫生。

口腔诊断装置可以能够实时检测和/或诊断口腔内的一种或更多种病症。虽然本公开内容关注牙龈炎检测，但是这样的病症可以包括例如牙龈炎、牙菌斑、牙齿白度测量、过度刷牙测定、牙龈退缩、牙周炎、扁桃体炎等。口腔内病症的检测和/或诊断可以通过一种或更多种人工智能技术例如机器学习技术来进行。特别地，口腔内病症的检测和/或诊断可以通过深度学习技术来进行，如本文所述。

可以向使用者提供(例如，显示)诊断结果。例如，与使用者的牙龈炎诊断相关的结果可以通过口腔诊断装置、一个或更多个外部装置(例如移动装置)等来显示。可以向使用者显示其他信息，例如诊断的潜在健康影响、牙科就诊建议、对改善或优异的口腔健康的奖励和/或认可、和/或卫生产品推荐。可以将诊断结果保存到智能装置和/或发送(例如，直接发送)给口腔护理装置的使用者和/或口腔护理专业人员，从而允许监测口腔护理健康和/或卫生进展。在将智能装置与应用程序(例如智能手机应用程序)一起使用的实例中，可以激活虚拟助手以提供关于改善口腔健康的建议。例如，虚拟助手可以建议刷牙技术、口腔护理产品的使用说明等，以补救所诊断的口腔护理病症。

现在参照附图，图1示出了用于确定和/或诊断使用者口腔内的口腔护理病症(例如牙龈炎)的一个示例性口腔诊断装置100的示意图。牙龈炎是这样的病症：其中一颗或更多颗牙齿周围的牙龈变得发炎，使得牙龈敏感并可能出血。牙龈炎可能进展并导致牙周炎，伴随牙齿周围结构的严重炎症和感染。如果不进行治疗，则牙周病可能导致进行性骨破坏，并最终导致牙齿脱落。因此，使用装置100对牙龈炎的早期检测和治疗允许使用者治疗该病症并防止一个或更多个不令人满意的结果，例如牙齿脱落。

视觉检查和探测技术传统上用于检测和诊断患者口腔(例如牙龈)内的病症。虽然视觉检查可能是准确的，但是由于口腔护理专业人员的培训、经验和位置的差异，这样的技术可能是主观的，从而在口腔病症(例如牙龈炎)的早期诊断中产生错误。相比之下，如本文所述，人工智能(例如，机器学习和深度学习)技术可以提供数种疾病(例如，牙龈炎)的有效、自动化和准确的诊断。

图1示出了一个示例性装置100，其可以用于使用通过一个或更多个低成本(例如，消费级)口内摄像机获取的图像检测一种或更多种口腔护理病症(例如牙龈炎)。消费级摄像机可以为非专业摄像机、非医疗摄像机、在使用者家中使用的摄像机、镜头低于品质阈值的摄像机、成本低于价格阈值的摄像机等中的一者或更多者。例如，摄像机可以为1080P(1920×1080)摄像机。摄像机可以为2兆像素(MP)摄像机。摄像机可以是防水的，可以包括超小型镜头等。

图2示出了包括装置100的一个示例性系统200，其可以用于检测一种或更多种口腔护理病症。使用本文所述的装置和/或系统，可以用一个或更多个(例如，不同的)低成本、消费级的口内摄像机捕获不同口腔的图像。牙医可以对图像进行牙龈炎分析，并将其用于训练机器学习模型(例如，分类器)。经训练的模型可以接受牙龈和/或牙齿的口内图像，并提供牙龈炎病症的自动化检测、牙龈炎病症的严重性的诊断等。虽然本公开内容可能关注牙龈炎的检测和/或诊断，但是应理解，这样的实例仅用于说明目的。如本文所述，装置100和系统200可以用于确定和/或诊断各种口腔护理病症。

装置100可以包括光源102，所述光源102可以为发光二极管(LED)(例如，标准LED、有机LED等)、超发光二极管(SLED)、激光器、弧光灯、上述辐照源的组合、用于照亮口腔的其他紧凑型光源等。光源102可以位于装置100的一个或更多个部分上，例如位于装置100的手部或颈部的一个或更多个部分上。例如，光源102可以位于装置100的颈部的顶部、底部和/或侧面上。

装置100可以包括一个或更多个摄像机，例如摄像机104。摄像机104可以为可以用于捕获口腔内的对象(例如牙龈、牙齿等)的图像的消费级摄像机。摄像机104(例如，消费级摄像机)可以包括一个或更多个用于组织成像的RGB摄像机。摄像机104可以提供关于口腔组织健康的定性信息。例如，组织(例如牙龈组织)中的炎症可以被捕获和/或视觉诊断为可能不健康。摄像机104和光源102可以协同工作，例如被定向成在基本相同的方向上使得摄像机104可以捕获被良好照亮的图像。例如，摄像机104可以捕获使用者口腔内的至少一颗牙齿和/或与至少一颗牙齿相邻的牙龈的图像。至少一颗牙齿和/或牙龈可以被很好地照亮。可以将两个或更多个捕获的图像拼接在一起以形成口腔(例如，整个口腔)的完整视图。如本文所述，可以将一个或更多个单个图像提供给机器学习模型，和/或可以将一个或更多个拼接图像提供给机器学习模型。

摄像机104可以通过摄像机按钮106启动。按钮106可以在捕获图像之前使图像定格，并且按钮106可以用于使摄像机捕获图像。在实例中，按钮106的第一次触摸可以用于使摄像机104内的图像定格，以及按钮106的第二次(例如，连续)触摸可以用于捕获图像。在实例中，按钮106上的不同压力可以导致图像被定格和/或被摄像机104捕获。

装置100可以包括电源按钮108，所述电源按钮108可以用于打开装置100或关闭装置100。虽然可以使用物理按钮打开/关闭装置100、捕获图像、发光等，但应理解，这样的动作可以以一种或更多种不同的方式例如通过语音、轻击、接收的数字信号等来启动。在实例中，装置100可以包括手持件保持器110，所述手持件保持器110可以包括电源开/关功能(例如，自动开/关功能)。装置100可以包括磁传感器116，所述磁传感器116可以用于确定装置100是否连接至保持器。在实例中，在装置100连接至保持器时，装置可以传输与在口腔内捕获的图像相关的信息，如本文所述。

装置100可以包括处理器112，所述处理器112被配置成进行一个或更多个计算和/或引起一个或更多个动作。例如，处理器112可以处理数据(例如，图像数据)，例如在口腔内捕获的图像数据。示例性处理器可以为电子电路、系统、模块、子系统、子模块、装置及其组合，例如中央处理单元(CPU)、微处理器、微控制器、处理单元、控制单元、用于记录的有形介质和/或其组合。存储装置118可以被配置成存储来自处理器112的导出数据。

图2示出了系统200，其包括装置100(图1)以及一个或更多个外部装置，例如服务器或移动装置。装置100可以包括通信接口114，所述通信接口114可以促进装置100与一个或更多个装置通信。示例性通信接口114可以包括蓝牙、RFID、Wi-Fi、基于蜂窝的系统和其他无线技术。

装置100可以无线连接至移动电话210A和/或膝上型电脑210B(统称为移动装置210)。移动装置210可以包括一个或更多个其他装置，例如平板电脑、手表等。装置100可以无线连接至一个或更多个其他装置，例如外部服务器220(例如，互联网/云)。在一些实例中，装置100可以是独立的。在装置100是独立的实例中，机器学习(例如，深度学习)模型可以直接在装置100上实施。在另一些实例中，可以在装置100上进行预处理，和/或预处理数据可以被发送至外部处理器(例如，服务器220上)以执行机器学习技术。在独立的实例中，装置100可以连接(例如，无线连接)至智能用户装置或外部服务器(例如，互联网/云)，以更新机器学习算法、更新虚拟助手产品和推荐数据库、和/或向第三方发送数据。

如本文所述，机器学习可以用于诊断和/或评估组织健康和口腔卫生。例如，由摄像机(例如，消费级口内摄像机)捕获的图像可以捕获口腔内的图像，并将图像呈现给机器学习模型。机器学习模型可以为深度学习模型，但应理解，可以使用一个或更多个其他机器学习模型。

如本领域技术人员所知，机器学习可以与手工制作的特征和相对简单的可训练分类器一起工作。对于典型的机器学习，特征提取对于模型的训练和推理来说可能是耗时的。深度学习是基于具有代表性学习的人工神经网络的机器学习的一部分。深度学习具有内置的自动多阶段特征学习过程，该学习过程学习丰富的层次表示(例如，特征)。对于典型的深度学习模型，模型训练可能是耗时的，并且需要高的计算能力。预测可以非常快，并且不必需要高的计算能力。预测可以在边缘、智能手机、嵌入式装置等上进行。如本文所述，可以对图像进行深度学习，因为由于提取口腔内组织(例如牙龈)的炎症特征的困难，可能难以应用典型的机器学习。为了应用深度学习技术，可以进行牙龈检测和分割以去除图像的牙齿特征。可以例如对训练数据进行数据增强，使得可以通过深度学习模型来评估口腔的附加特征。

图3示出了使用机器学习(例如深度学习)来确定牙龈炎病症的一个示例性过程300。如图3所示，使用捕获的口腔内对象的图像来训练机器学习模型。经训练的模型用于预测稍后提交的图像(例如，提供给经训练的模型的图像)是否包括口腔护理病症(例如牙龈炎病症)、所确定的口腔护理病症的严重性等。深度学习技术可以确定(例如，自动确定)捕获的图像中的共同特征。例如，深度学习技术可以通过确定所捕获的图像内的共同特征来预测存在或不存在口腔护理病症，所述共同特征可以指示口腔内口腔护理病症的存在、程度或不存在。

在302处，可以识别和/或接收描绘口腔护理病症(例如，牙龈炎)的图像以及可以没有描绘口腔护理病症的图像。例如，可以提供显示出牙龈炎迹象的图像，以及可以提供未显示出牙龈炎迹象的图像。在描绘口腔护理病症的图像中，可以显示不同程度的口腔护理病症。例如，可以提供显示出严重牙龈炎情况、轻微牙龈炎情况、无牙龈炎等的图像。每个图像均可以标记有牙龈炎的严重性(或不存在)的指征。口腔护理病症的严重性的图像和相关指征可以由牙科专业人员例如牙医标记。口腔护理病症的存在和/或程度的图像和相关指征可以存储在数据库中，可以通过无线和/或无线方法等提供给训练模型。

可以对口腔图像内的对象进行分割。例如，图像内的口腔可以被分割成牙齿部分和组织(例如，牙龈)部分。被分割的图像可以有助于深度学习模型的训练，因为训练将基于口腔的相关部分。例如，牙龈炎检测是基于牙龈病症，而不是基于口腔内的牙齿病症。为了获得最佳的图像训练(例如，分类)结果，可以分割牙龈区域和牙齿区域。可以将牙龈区域(例如，仅牙龈区域)呈现给模型，使得牙齿特征不影响经训练的图像分类器。

对于牙龈检测和分割，可以将图像从RGB颜色空间转换为YCrCb颜色空间。可以将图像从RGB颜色空间转换为YCrCb颜色空间，因为许多(例如，大多数)牙龈区域可以具有最小-最大YCrCb颜色范围。例如，许多牙龈区域可以具有(0，138，77)至(255，173，127)的YCrCb颜色范围。然而，应理解，这样的范围是非限制性的，并且仅用于说明目的。YCrCb值可以根据所使用的口内摄像机而变化。由于牙龈区域可能具有异常值，例如光反射，因此可以使用后异常值去除和/或区域联合操作来获得牙龈区域(例如，整个牙龈区域)。除了使用颜色范围来进行牙龈图像阈值化之外，或者可替代地，可以使用后异常值去除。

在304处，可以将描绘口腔护理病症的图像和口腔护理病症的相关指征提供给用于训练的模型(例如，深度学习模型)。向用于训练的模型提供的图像(例如，数据)可以被增强，使得可以向训练模型提供另外的数据。例如，可以向训练模型提供图像(例如，原始图像)，并且可以将图像翻转(例如，水平或垂直翻转)以向训练模型提供另外的图像数据。在另一些实例中，可以将图像裁剪(例如，随机裁剪，例如通过将图像裁剪10％或20％)以向训练模型提供另外的图像数据。这样的增强技术仅旨在作为实例。可以使用一种或更多种用于增加图像/数据的其他技术。增加图像(例如，图像数据)可以提高口腔护理病症预测的准确性，因为训练数据可以具有供模型处理和学习的另外的数据。该模型(例如，机器学习模型)可以容纳在装置100上和/或一个或更多个其他装置例如外部服务器、移动装置等上。

向训练模型提供的图像可以是经分割的和/或未经分割的。例如，可以向训练模型提供经分割的牙龈部分。在训练阶段，可以对模型进行训练以识别一个或更多个数据集(例如，分类数据集)中数据的共同特征。例如，可以对模型进行训练以识别显示牙龈炎的存在或不存在、牙龈炎的程度(如果存在的话)等的图像的共同特征。可以通过将所提供的图像的属性与相关联的标识符关联来训练模型。例如，可以通过将向训练模型提供的口腔护理病症(例如牙龈炎)、口腔护理病症的程度以及相关指征关联来训练模型。如本文所提供的，相关病症可以包括口腔护理病症的指征，其中指征由一个或更多个来源例如牙医等提供。可以在模型训练期间跟踪验证准确性。当验证准确性和决断损失收敛时，可以结束模型的训练。

在306处，可以向经训练的模型呈现口腔图像。图像可以包括其中可能存在或不存在口腔护理病症的口腔。如果存在口腔护理病症例如牙龈炎，则口腔护理病症可以表现为不同程度(例如，严重、轻微等)。图像可以是经分割的或未经分割的。例如，图像可以包括牙齿和牙龈，或者图像可以仅包括牙龈。可以在模型确定口腔的口腔护理病症之前确定图像的品质。例如，图像的聚焦可以通过Tenengrad技术来确定。Tenengrad技术可以用Sobel算子对图像进行卷积，并对大于阈值的数值的平方进行求和。以下等式1.0示出了Tenengrad技术：

等式1.0

其中S和S′分别是Sobel的核及其相应的转置：

在308处，可以将图像呈现给模型(例如，经训练或学习的模型)。模型可以定位在装置100上，或者可以定位在装置100的外部。在310处，模型可以确定(例如，预测)所呈现的图像内口腔的口腔护理病症。口腔护理病症可以包括口腔护理病症的存在(例如，牙龈炎)、口腔护理病症的不存在(例如，口腔护理是健康的)、口腔内存在的口腔护理病症的位置、口腔护理病症的程度等。例如，预测的口腔护理病症可以包括预测图像中的牙龈是否发炎、可能在哪里发现病症(例如，炎症)、口腔护理病症的补救可能性等。该模型可以确定图像内的口腔在编号为29和30的牙齿处包括轻微牙龈炎情况。该模型可以指示装置的使用者应利用例如特殊的牙膏来治疗口腔护理病症。在另一个实例中，该模型可以预测牙龈炎的严重情况，并指示该装置的使用者应立即去看牙医以治疗牙龈炎。

图4A至4D和图5A至5D示出了图像中描绘的口腔的示例性分割。用于训练模型(例如，深度学习模型)的口腔图像可以被分割，并且其中口腔护理病症可以通过训练模型(例如，深度学习模型)来预测的口腔图像可以被分割。图像上显示的口腔内的一个或更多个对象可以被分割。可以将经分割的图像提供给机器学习(例如，深度学习)模型。

图4A至4D示出了其中所描绘的牙龈未受牙龈炎影响或者牙龈炎轻微的口腔的图像分割。图5A至5D示出了其中所描绘的牙龈受牙龈炎严重影响的口腔的图像分割。

图4A示出了口腔的图像。如图4A所示，图像可以包括一颗或更多颗牙齿402和牙龈406。可以对图像进行图像处理，例如确定图像的品质是否被批准用于输入到深度学习模型中以预测口腔护理病症。例如，图像的聚焦是否高于预定阈值。此外，或者可替代地，可以进行图像处理，该图像处理可以包括放大口腔的一个或更多个部分，例如一颗或更多颗牙齿、一个或更多个牙龈部分等。可以进行预处理，该预处理可以导致放大指示存在牙龈炎的牙龈部分，例如如果牙龈部分的颜色不同于牙龈的其他部分。

如图4B所示，可以开始进行图像的分割。可以通过区分牙齿区域和牙龈区域来进行分割。牙齿区域和牙龈区域可以以一种或更多种方式例如通过将区域与典型颜色、典型形状等进行比较来区分。例如，牙齿分割可以根据白色、灰白色或黄色和/或弯曲或锯齿状形状来限定。牙龈部分可以根据粉红色和/或球根状形状来限定。分割线408可以限定牙齿402和牙龈406部分。

图4C示出了牙齿和/或牙龈部分在图像中被分割。虽然图4C示出了在分割之后牙齿部分和牙龈部分保留(例如，所述部分的轮廓保留)，但是应理解，一个或两个部分可以在分割之后保留。图4D示出了经分割的牙龈部分414被提取。经分割的牙龈部分可以显示存在或不存在可能影响牙龈部分的口腔护理病症，例如牙龈炎。在经分割的牙龈部分414被提取的情况下，保留部分416可以被消隐(如图4D所示)。在另一些实例中，保留部分416可以用不同的颜色、形状、文本等来标示，用于在基于图4D所示的图像预测口腔护理病症时，指示模型不考虑保留部分。如本文所述，可以将分割的牙龈部分414提供给机器学习模型以确定口腔护理病症。

如本文所述，图5A至5D示出了其中所描绘的牙龈受牙龈炎严重影响的口腔的分割。图5A示出了尚未发生分割的口腔图像。如图5A所示，图像可以包括一颗或更多颗牙齿502和牙龈506。图5A还示出了影响牙龈506的口腔护理病症，例如牙龈炎病症504。可以对图像进行图像处理，例如确定图像的品质是否被批准用于输入到深度学习模型中以预测口腔护理病症。此外，或者可替代地，可以进行图像处理，该图像处理可以包括放大口腔的一个或更多个部分，例如一颗或更多颗牙齿、一个或更多个牙龈部分。例如，可以进行预处理，该预处理可以致使放大指示存在牙龈炎(例如，牙龈炎504)的牙龈部分。

如图5B所示，可以开始进行图像的分割。在一个实例中，可以通过区分牙齿区域和牙龈区域来进行分割。在另一些实例中，可以通过区分牙齿区域、牙龈区域和受口腔护理病症(例如牙龈炎)影响的区域来进行分割。所述区域可以以一种或更多种方式例如通过将区域与典型颜色、典型形状等进行比较来区分。例如，牙齿分割可以根据白色、灰白色或黄色来限定。牙龈炎分割可以根据与牙齿分割的颜色不同的灰白色、灰色或黄色来限定。牙龈部分可以根据粉红色来限定。分割线508可以限定牙齿502和牙龈506部分。在另一些实例中，分割线可以限定牙齿、牙龈炎和牙龈部分。

图5C示出了牙齿和/或牙龈部分512从图像中被分割。牙龈部分512可以包括受口腔护理病症影响的部分，如图5C所示。虽然图5C示出了牙齿和/或牙龈部分512从图像中被分割，但是在实例中，受口腔护理病症影响的部分可以从牙齿和/或牙龈部分中被分割(例如，单独分割)。图5C示出了在分割之后牙齿和牙龈部分(例如，所述部分的轮廓)保留。然而，应理解，一个或两个部分可以在分割之后保留。图5D示出了经分割的牙龈部分514被提取。经分割的牙龈部分可以显示存在或不存在可能影响牙龈部分的口腔护理病症，例如牙龈炎。在经分割的牙龈部分514被提取的情况下，保留部分516可以被消隐(如图5D所示)。在另一些实例中，保留部分516可以用不同的颜色、形状、文本等来标示，以在基于图5D所示的图像预测口腔护理病症时，指示模型不考虑保留部分。如本文所述，可以将分割的牙龈部分514提供给模型以确定口腔护理病症。

所述装置(例如，装置100)可以包括智能装置应用，所述智能装置应用可以包括虚拟助手以改善口腔健康、装置使用和/或理解结果的方便性。虚拟助手可以告知使用者口腔护理病症的诊断结果的意义和/或问题区域可能位于口腔中何处的位置信息。该助手可以基于个人诊断提供刷牙和/或产品建议以改善整体健康。诊断信息可以通过显示装置(例如在移动装置210的显示器上)传递给使用者，和/或可以通过外部服务器发送给第三方(例如，牙医)。

图6描述了使用装置100的一个示例性过程600。在602处，光源可以在口腔内或口腔周围发光。光源可以联接至和/或容纳在诸如装置100的装置上。在实例中，光源可以在装置通电时发光。在另一些实例中，光源可以在诸如灯按钮109(图2)的灯按钮启动之后发光。灯按钮可以给光源供电和/或执行光源的一个或更多个动作，例如改变由光源发出的光的强度。光源可以以一种或更多种波长、脉冲、强度等发射光。光源可以为发光二极管、超发光二极管、激光器、弧光灯等。

在604处，可以捕获口腔内的一个或更多个对象(例如，部分)的图像。该图像可以通过消费级摄像机来捕获。摄像机可以联接和/或容纳在诸如装置100的装置上。摄像机可以包括一个或更多个镜头，例如可以聚焦(例如，自动聚焦)的一个或更多个超宽镜头。该图像可以包括口腔内的牙龈和/或牙齿。

在606处，口腔的图像(例如，指示口腔的数据)可以由一个或更多个处理器接收。处理器可以定位在装置100、外部装置(例如移动装置或外部服务器)、或其组合上。如本文所述，该图像可以用于训练模型(例如，深度学习模型)或者用于确定口腔护理病症。在使用该图像来训练模型的实例中，可以向模型提供口腔护理病症的相关指征。例如，当使用图像来训练模型时，可以提供口腔护理病症(例如牙龈炎)、该病症的程度或不存在病症的指征。相关指征可以由牙科专业人员例如牙医提供。图像(例如，与图像相关的数据)可以通过例如旋转图像、裁剪图像等来增强。在将图像提供给模型(例如，经训练的模型)以确定(例如，预测)口腔护理病症的实例中，可以不提供口腔护理病症的相关指征。可以检查和/或筛选图像以确定图像是否具有足够的品质(例如，适当的聚焦)来训练模型和/或通过模型用于预测口腔护理病症。

在608处，可以分割图像内的口腔部分。例如，如本文所述，图像的牙齿和牙龈可以被分割。如果牙齿不提供与口腔护理病症例如牙龈炎病症相关的数据，则可以从图像中去除牙齿。可以从图像中提取牙龈，使得可以将牙龈提供给模型以训练模型或使用模型确定口腔护理病症。在610处，可以将分割的牙龈输入到模型(例如，深度学习模型)中以确定口腔护理病症。例如，可以将分割的牙龈输入到模型(例如，深度学习模型)中，以确定牙龈上是否存在牙龈炎、牙龈上是否不存在牙龈炎、和/或牙龈上存在牙龈炎的严重程度如何。

在612处，机器学习模型(例如，深度学习模型)可以确定图像中捕获的口腔内可能存在的口腔护理病症。机器学习模型可以确定口腔护理病症的存在、该病症的严重性、该病症的不存在等。可以将与口腔护理病症相关的信息提供给使用者或另外的实体(例如，牙医、虚拟助手等)。该装置可以在装置(例如，装置100)或外部装置(例如移动装置)上显示与所确定的口腔护理病症相关的信息。该装置可以提供口腔的哪个区域可能受口腔护理病症影响、可以进行什么补救步骤来治疗口腔护理病症、补救口腔护理病症的紧迫性等的指示。与口腔护理病症相关的信息可以被显示、有声提供、文本提供等。可以将与口腔护理病症相关的信息提供给装置的使用者和/或一个或更多个其他对象，例如使用者的牙医、用于订购补救产品的在线市场等。一个或更多个处理器可以执行过程600中描述的一个或更多个动作。

虽然已经针对具体实例(包括实施本发明的当前优选模式)描述了本发明，但本领域技术人员将理解，上述系统和技术存在多种变化和排列。应理解，在不脱离本发明的范围的情况下，可以利用另一些实施方案，并且可以进行结构和功能的修改。因此，本发明的精神和范围应如所附权利要求中所阐述的被宽泛地解释。

Claims (22)

1.一种用于确定口腔内口腔护理病症的系统，所述系统包括：

口内装置，所述口内装置包括：

光源，所述光源被配置成在所述口腔内发光；和

摄像机，所述摄像机被配置成捕获所述口腔内的至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的图像；以及

一个或更多个处理器，所述一个或更多个处理器被配置成：

接收所述至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的图像；

将所述至少一颗牙齿和与所述至少一颗牙齿相邻的所述牙龈区分为牙齿部分和牙龈部分；

将所述牙龈部分输入到机器学习模型中；以及

通过所述机器学习模型基于输入到所述机器学习模型中的所述牙龈部分确定所述口腔护理病症。

2.根据权利要求1所述的系统，其中所述摄像机为消费级摄像机，以及其中所述机器学习模型通过深度学习技术确定所述口腔护理病症。

3.根据权利要求1或权利要求2所述的系统，其中所述口内装置的所述光源包括复数个发光二极管(LED)灯，所述LED灯中的至少一者围绕所述摄像机。

4.根据权利要求1至3中任一项所述的系统，其中所述一个或更多个处理器被配置成通过将包括所述口腔内的所述至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的复数个训练图像输入到所述机器学习模型中来填充所述机器学习模型。

5.根据权利要求1至4中任一项所述的系统，其中所述一个或更多个处理器中的至少一者位于移动装置或服务器上。

6.根据权利要求1至5中任一项所述的系统，其中所述一个或更多个处理器还被配置成确定所述口腔护理病症的严重程度。

7.根据权利要求1至6中任一项所述的系统，其中所述一个或更多个处理器被配置成操作所接收的所述口腔内的所述至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的图像，对所接收的图像的所述操作包括翻转所接收的图像或裁剪所接收的图像。

8.根据权利要求7所述的系统，其中所述一个或更多个处理器被配置成：

基于所接收的图像的所述翻转或所接收的图像的所述裁剪，生成所述口腔内的所述至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的新图像；以及

将所述新图像的部分输入到所述机器学习模型中。

9.根据权利要求1至8中任一项所述的系统，其中所述口内装置包括：

具有按钮的主体部分，所述按钮被配置成使所述摄像机捕获所述口腔内的所述至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的图像；

容纳所述光源和所述摄像机的颈部部分；以及

其中所述摄像机位于所述口内装置的所述颈部的远端部分上。

10.根据权利要求1至9中任一项所述的系统，其中所述一个或更多个处理器被配置成使所确定的口腔护理病症显示在显示器上。

11.根据权利要求1至10中任一项所述的系统，其中所述口腔护理病症包括牙龈炎、牙菌斑、牙龈退缩、牙周炎或扁桃体炎中的至少一者。

12.一种用于确定口腔内的口腔护理病症的方法，所述方法包括：

通过可操作地联接至口内装置的光源在所述口腔内发光；

通过可操作地联接至所述口内装置的摄像机捕获所述口腔内的至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的图像；

接收所述口腔内的所述至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的图像；

将所述至少一颗牙齿和围绕所述至少一颗牙齿的牙龈区分为牙齿部分和牙龈部分；

将所述牙龈部分输入到机器学习模型中；以及

通过所述机器学习模型基于输入到所述机器学习模型中的所述牙龈部分确定所述口腔护理病症。

13.根据权利要求12所述的方法，其中所述摄像机为消费级摄像机。

14.根据权利要求12或权利要求13所述的方法，还包括通过将包括所述口腔内的所述至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的复数个训练图像输入到所述机器学习模型中来填充所述机器学习模型。

15.根据权利要求12至14中任一项所述的方法，其中所述口内装置的所述光源包括复数个发光二极管(LED)灯，所述LED灯中的至少一者围绕所述消费级摄像机。

16.根据权利要求12至15中任一项所述的方法，其中所述机器学习模型位于移动装置或服务器上。

17.根据权利要求12至16中任一项所述的方法，还包括通过所述机器学习模型确定所述口腔护理病症的严重程度。

18.根据权利要求12至17中任一项所述的方法，还包括操作所接收的所述口腔内的所述至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的图像，对所接收的图像的所述操作包括翻转所接收的图像或裁剪所接收的图像。

19.根据权利要求18所述的方法，还包括：

基于所接收的图像的所述翻转或所接收的图像的所述裁剪，生成所述口腔内的所述至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的新图像；以及

将所述新图像的部分输入到所述机器学习模型中。

20.根据权利要求12至19中任一项所述的方法，其中所述口内装置包括：

具有按钮的主体部分，所述按钮被配置成使所述摄像机捕捉所述口腔内的所述至少一颗牙齿和与所述至少一颗牙齿相邻的牙龈的图像；

容纳所述光源和所述摄像机的颈部部分；以及

其中所述摄像机位于所述口内装置的所述颈部的远端部分上。

21.根据权利要求12至20中任一项所述的方法，还包括将所确定的口腔护理病症显示在显示器上。

22.根据权利要求12至21中任一项所述的系统，其中所述口腔护理病症包括牙龈炎、牙菌斑、牙龈退缩、牙周炎或扁桃体炎中的至少一者。