CN116019584A - 一种带牙菌斑检测的口腔清洗方法、装置和系统 - Google Patents

一种带牙菌斑检测的口腔清洗方法、装置和系统 Download PDF

Info

Publication number
CN116019584A
CN116019584A CN202111232967.9A CN202111232967A CN116019584A CN 116019584 A CN116019584 A CN 116019584A CN 202111232967 A CN202111232967 A CN 202111232967A CN 116019584 A CN116019584 A CN 116019584A
Authority
CN
China
Prior art keywords
cleaning
dental plaque
plaque
water outlet
outlet nozzle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111232967.9A
Other languages
English (en)
Inventor
杨建辉
卢伟
李天成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangzhou Solex Smart Home Co Ltd
Original Assignee
Zhangzhou Solex Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhangzhou Solex Smart Home Co Ltd filed Critical Zhangzhou Solex Smart Home Co Ltd
Priority to CN202111232967.9A priority Critical patent/CN116019584A/zh
Priority to PCT/CN2022/125938 priority patent/WO2023066252A1/zh
Priority to JP2024520631A priority patent/JP2024537852A/ja
Publication of CN116019584A publication Critical patent/CN116019584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/02—Rinsing or air-blowing devices, e.g. using fluid jets or comprising liquid medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16—Power-driven cleaning or polishing devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16—Power-driven cleaning or polishing devices
    • A61C17/22—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明公开了一种带牙菌斑检测的口腔清洗方法、装置和系统，方法包括：基于带蓝光的摄像设备获取口腔图像；基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴喷射清水进行清洗。本发明能够快速自动检测出牙菌斑及定位出牙菌斑位置，并控制喷射牙菌斑清洗药水进行清洗，此外，本发明能够根据牙菌斑面积大小控制喷射流量、力度和时间，直至牙菌斑消失。

Description

一种带牙菌斑检测的口腔清洗方法、装置和系统
技术领域
本发明涉及口腔护理技术领域，特别是一种带牙菌斑检测的口腔清洗方法、装置和系统。
背景技术
当前市面上的牙菌斑检测一般包括两种：一种是通过菌斑显示剂，对口腔牙齿进行染色显示；另一种是通过牙菌斑观察仪，通过电子光源及采集图像显示检测。目前这两种方式最终都通过肉眼观察牙菌斑是否存在，且没有自动定位牙菌斑位置及进行自动治疗或自动冲洗功能，造成检测和治疗手续繁琐，耗时长且不能自动检测及治疗，去除牙菌斑的效率低下，浪费大量时间。由于操作过程过于繁琐和耗时时间长，使用者往往不愿意使用，导致一方面产品被闲置，另一方面使用者牙齿区域的牙菌斑不能及时清洗。
发明内容
本发明的主要目的在于提出一种带牙菌斑检测的口腔清洗方法、装置和系统，其克服了现有技术所存在的不足之处，能够快速自动检测出牙菌斑及定位出牙菌斑位置，并控制喷射牙菌斑清洗药水进行清洗，此外，能够根据牙菌斑面积大小控制喷射流量、力度和时间，直至牙菌斑消失。
本发明采用如下技术方案：
一方面，一种带牙菌斑检测的口腔清洗方法，包括：
基于带蓝光的摄像设备获取口腔图像；
基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴喷射清水进行清洗。
优选的，检测牙齿区域是否存在牙菌斑的方法，包括：
如果牙齿区域呈现绿色，则检测出无牙菌斑；如果牙齿区域呈现牙菌斑的特有颜色红色，则检测出存在牙菌斑。
优选的，所述控制出水嘴喷射牙菌斑清洗药水进行清洗之前，还包括：识别牙菌斑的位置信息；基于所述位置信息，控制出水嘴喷射牙菌斑清洗药水对牙菌斑进行清洗。
优选的，检测是否存在牙菌斑及识别牙菌斑的位置信息的方法包括：
将获取的口腔图像输入使用深度学习框架Pytorch训练好的模型，检测出是否存在牙菌斑，如果存在，识别出位置信息。
优选的，所述模型的训练过程包括：
S301，制作数据集样本，准备好已存储的牙菌斑图像作为训练样本并对其进行标注；
S302，采用深度学习框架Pytorch进行训练，并对其输出模型权重进行保存并导出；
S303，对训练好的模型权重pth文件进行推理，获得检测的分类和目标位置；所述分类包括训练图像是否属于牙菌斑图像，所述目标位置为识别出的牙菌斑的位置信息。
优选的，如果检测出存在牙菌斑，所述方法还包括：获取牙菌斑面积；基于所述牙菌斑面积，控制出水嘴喷射牙菌斑清洗药水的流量、力度和时间中的一种或几种。
优选的，控制出水嘴喷射牙菌斑清洗药水的流量，具体包括：控制喷射牙菌斑清洗药水的流量变大、变小或不变。
优选的，制出水嘴喷射牙菌斑清洗药水的力度，具体包括：控制喷射牙菌斑清洗药水的力度变大、变小或不变。
优选的，控制出水嘴喷射牙菌斑清洗药水的时间，具体包括：控制喷射牙菌斑清洗药水的时间变长、变短或不变。
另一方面，一种带牙菌斑检测的口腔清洗装置，包括：
口腔图像获取模块，用于基于带蓝光的摄像设备获取口腔图像；
牙菌斑检测及清洗模块，用于基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴506喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴506喷射清水进行清洗。
又一方面，一种带牙菌斑检测的口腔清洗系统，包括：
图像采集模块，包括带蓝光的摄像设备，用于获取口腔图像；
清水水箱，用于存储清水；
药水水箱，用于存储牙菌斑清洗药水；
泵组，与所述清水水箱、药水水箱和出水嘴分别相连接；
控制器，与所述图像采集模块和泵组分别相连接，基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制泵组从出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制泵组从出水嘴喷射清水进行清洗。
优选的，所述的带牙菌斑检测的口腔清洗系统，还包括：外部终端设备；所述外部终端设备与所述控制器相连接；所述控制器将获取到的口腔图像发送至所述外部终端设备，所述外部终端设备对所述口腔图像进行检测，将检测结果发送给所述控制器，所述控制器基于检测结果控制泵组从出水嘴喷射牙菌斑清洗药水进行清洗；或者，基于检测结果控制泵组从出水嘴喷射清水进行清洗。
优选的，所述泵组包括清水泵组和药水泵组；所述药水泵组与所述出水嘴和药水水箱分别相连接，当检测出存在牙菌斑时，所述控制器与所述药水泵组相连接以控制出水嘴喷射牙菌斑清洗药水进行清洗；所述清水泵组与所述出水嘴和药水水箱分别相连接，当检测出存在牙菌斑时，所述控制器与所述清水泵组相连接以控制出水嘴喷射清水进行清洗。
优选的，所述泵组包括一个；所述带牙菌斑检测的口腔清洗系统还包括电磁阀开关；所述控制器与所述电磁阀开关相连接，以在检测出存在牙菌斑时控制药水水箱出水，以及在检测出不存在牙菌斑时控制药水清水水箱出水。
再一方面，一种带牙菌斑检测的口腔清洗系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。
与现有技术相比，本发明的有益效果如下：
(1)本发明基于带蓝光的摄像设备获取口腔图像；基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴喷射清水进行清洗；使用带蓝光的摄像设备拍摄口腔图像，能够快速自动检测出牙菌斑，如果存在牙齿菌斑，控制喷射牙菌斑清洗药水进行清洗，如果不存在牙齿菌斑，控制出水嘴喷射清水进行清洗，实现多方位口腔护理；
(2)本发明通过深度学习算法框架Pytorch进行模型训练。Pytorch是具有灵活性、易用性以及可快速开发落地的深度学习框架。使用Pytorch训练好的深度学习模型进行自动分析检测及识别出牙菌斑，并定位出牙菌斑具体位置，再根据识别结果判断是否进行自动药水治疗及对此位置进行定点模式清洗以达到精准去除牙菌斑的目的；
(3)本发明在识别出牙菌斑具体位置的基础上，能够进一步识别出牙菌斑面积大小，并根据牙菌斑面积大小编号控制喷射流量、力度和时间变化，如有牙菌斑面积变小了，则控制药水用量减少，清洗力度减少减弱，如果牙菌斑完全消失则停止清洗，则进行其他区域检测；
(4)本发明如果没有检测到牙菌斑，则控制用清水进行清洗，同时清洗流量较小、清洗力度较柔和，清洗时间较短，防止力度过大时间过长导致牙齿损伤；
(5)本发明的牙菌斑检测和牙菌斑位置识别可通过外部终端设备实现，使用外部终端设备进行处理一方面能够使得处理速度更快，另一方面能够直观地观测到检测结果和清洗结果。
上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，从而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下列举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述及其它目的、优点和特征。
附图说明
图1为本发明实施例的带牙菌斑检测的口腔清洗方法的简要流程图；
图2为本发明实施例的带牙菌斑检测的口腔清洗方法的详细流程图；
图3为本发明实施例的使用深度学习框架Pytorch训练检测模型的流程图；
图4为本发明实施例的带牙菌斑检测的口腔清洗装置结构框图；
图5为本发明实施例的带牙菌斑检测的口腔清洗系统的结构框图一；
图6为本发明实施例的带牙菌斑检测的口腔清洗系统的结构框图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接，可以是机械连接，也可以是电连接，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参见图1和图2所示，本发明一种带牙菌斑检测的口腔清洗方法，包括：
S101，基于带蓝光的摄像设备获取口腔图像；
S102，基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴喷射清水进行清洗。
使用带蓝光的摄像设备拍摄口腔图像，能够快速自动检测出牙菌斑，如果存在牙齿菌斑，控制喷射牙菌斑清洗药水进行清洗，如果不存在牙齿菌斑，控制出水嘴喷射清水进行清洗，实现多方位口腔护理，提升用户满意度。
本实施例中，检测牙齿区域是否存在牙菌斑的方法，包括：
如果牙齿区域呈现绿色，则检测出无牙菌斑；如果牙齿区域呈现牙菌斑的特有颜色红色，则检测出存在牙菌斑。
具体的，牙菌斑的特有颜色是红色，牙菌斑是一种微生物群，在蓝光照射下会出现红色，其他正常牙齿区域会呈绿色。
进一步的，所述控制出水嘴喷射牙菌斑清洗药水进行清洗之前，还包括：识别牙菌斑的位置信息；基于所述位置信息，控制出水嘴喷射牙菌斑清洗药水对牙菌斑进行清洗。
本实施例中，检测是否存在牙菌斑及识别牙菌斑的位置信息的方法包括：
将获取的口腔图像输入使用深度学习框架Pytorch训练好的模型，检测出是否存在牙菌斑，如果存在，识别出位置信息。
进一步的，所述模型的训练过程包括：
S301，制作数据集样本，准备好已存储的牙菌斑图像作为训练样本并对其进行标注，再将其划分为训练、验证和测试三个用于不同任务的数据集；
S302，采用深度学习框架Pytorch进行训练，并对其输出模型权重进行保存并导出；
S303，对训练好的模型权重pth文件进行推理，获得检测的分类和目标位置；所述分类包括训练图像是否属于牙菌斑图像，所述目标位置为识别出的牙菌斑的位置信息。
具体的，所述S301包括：
准备好已经标注后的数据集，标注文件采用Pascal VOC信息存储结构，每一个图像对应一个xml文件。
具体的，所述S302包括：
S3021，创建模型文件models.py导入Pytorch搭建深度学习目标检测的神经网络，其中神经网络由骨干结构(Backbone)、颈部结构(Neck)以及检测头(Head)三大构建所组成，其中Backbone负责特征提取，Head负责将提取的特征进行回归和分类的分支路输出，Neck负责串联Backbone和Head之间数据的流向；
S3022，将检测网络设置为采用N*320*320*3的输入，其中表示为一组N张RGB三通道组成的320*320像素大小的照片，在Backbone网络中采用特征金字塔网络(FPN)，在网络中构成多尺度特征提取，可有效提取到各个不同大小的特征信息；
S3023，设计和调整检测框架的超参数文件hyp.scratch.yaml，对其修改训练过程中超参数如lr、warmup等；对其添加和修改图像增强扩充参数如degrees、mosaic、translate等；
S3024，编写训练主程序train.py文件，将Pytorch框架内的nn、tensor、torch、dataloader等模块和models.py一并导入。设计训练主程序的各个模块的代码，并将数据读取、数据预处理、网络结构加载以及迭代训练优化等模块进行串联；
S3025，从已导入的torch库中选用优化器函数SGD()构建训练过程中的优化器；
S3026，使用已导入的dataloader模块，并编写create_dataloader()函数构建数据生成器，用于读取和产生训练所使用的训练集和验证集数据，其中训练过程中采用训练集数据，每个迭代训练结束采用验证集数据进行验证；
S3027，编写ComputeLoss()函数，用于计算训练过程中真实值和预测值之间的损失，其中包含均方误差(Mean Squared Error)和交叉熵损失(Cross Entropy Loss)两种误差算法，分别用于计算坐标误差和分类误差，将其创建并初始化为模型的损失函数；
S3028，设计模型训练内部回调函数callback()，在模型执行自动迭代训练反向传播过程中，通过ComputeLoss()函数对训练过程中产出的模型权重采用验证集数据进行前向推理得到的输出结果进行误差计算，如果当前迭代误差小于上一个迭代，则将模型权重进行本地保存到指定路径last.pth文件；
S3029，设计对模型进行迭代训练的参数设置，在迭代中执行已经搭建好的模型中的训练方法model.train()进行迭代训练，并预设好迭代数量epochs常量；
S3030，编写好主函数后保存脚本直接执行即可开始训练模型。
具体的，所述S303包括：
S3031，通过S3029执行迭代训练后，经过预设好的epochs次迭代，最终保存下来的last.pth文件为后续需要用来进行预测牙菌斑位置的模型权重文件；
S3032，编写预测脚本predict.py，并导入模型文件models.py并使用其中模型的load_dict()函数加载已训练好的last.pth权重，组成最终需要用来推理的算法模型；
S3033，导入train.py主程序下的create_dataloader()方法，用于读取需要用来预测的测试集数据，测试集不参与到训练当中的数据集；
S3034，使用模型的load_dict()方法读取权重后，执行模型的__call__内置方法对create_dataloader()方法生成的数据进行推理预测；
S3035，使用模型推理预测方法__call__后获得的输出tensor进行解码操作，实现decode()函数，受模型中Backbone中的FPN影响，需要对输出的数据进行上采样操作，将tensor所包含的空间坐标信息缩放到320x320尺寸大小后，对特征进行按任务拆分为分类输出(classes)和目标框输出(boxes)；
S3036，对推理后得出的boxes和classes进行非极大值抑制(NMS)操作过滤掉一些位置较近的相同语义信息的位置框，仅保留classes中分数最高的框，编写和调用non_max_suppression()函数进行数据后处理操作后可解出检测的目标位置；
S3037，使用torch.onnx.export()方法，将模型权重文件从pth导出为onnx文件，调用onnx.checker.check_model()方法可检查onnx模型；使用导出的onnx执行上面推理的部分即可进行测试。
进一步的，本实施例以将上述训练好的模型应用到外部终端设备(如移动端设备)为例说明具体的实施过程。
具体的，选用MNN移动端推理框架，将模型进行转换后部署到移动端设备中运行，从而分析及检测出牙菌斑及其具体的坐标位置信息，包括如下步骤：
步骤a，编译MNN源码，使用MNNConver把onnx模型转换到mnn模型；
步骤b，导入MNN工具包，编写C++推理的部分，利用MNN::createFromFile创建模型解释器读取mnn模型和MNN::createSession创建模型推理会话；
步骤c，将读取的图像数据通过OpenCV进行前处理后，调用interpreter->getSessionInput()获取input对象的方法后，执行copyFromHostTensor方法对其进行数据拷贝；
步骤d，解释器执行runSession方法可运行会话执行推理，使用getSessionOutput方法获取模型推理的输出，执行copyToHostTensor将输出拷贝出来后执行后处理即可得到图像中牙菌斑目标的位置信息；
步骤f，编写native接口，编译对应移动端系统的动态或静态库进行链接使用。
需要说明的是，上述仅为在移动端设备上的实施例，具体应用时，还可以将训练好的模型导出后部署到控制器或其他能够运行程序的载体上，具体根据需要进行处理，本实施例不做限制。
本实施例中，如果检测出存在牙菌斑，所述方法还包括：获取牙菌斑面积；基于所述牙菌斑面积，控制出水嘴喷射牙菌斑清洗药水的流量、力度和时间中的一种或几种。
具体的，获取牙菌斑面积的方法可用现有的识别面积的方法，方法包括：
(1)采用传统的图像边缘检测如canny算子、sobel算子、霍夫变换以及搭配形态学变换更有效的对牙菌斑的像素区域面积进行提取，并进一步计算面积大小；
(2)采用深度学习语义分割算法，如UNet、PseNet等较为有效的分割网络，对检测出来的牙菌斑位置进行像素级的区域预测，并进一步计算像素区域的面积大小。
需要说明的是，还可以使用其他现有的识别面积的方法，本实施例不做具体限制。
具体的，控制出水嘴喷射牙菌斑清洗药水的流量，具体包括：控制喷射牙菌斑清洗药水的流量变大、变小或不变。
制出水嘴喷射牙菌斑清洗药水的力度，具体包括：控制喷射牙菌斑清洗药水的力度变大、变小或不变。
控制出水嘴喷射牙菌斑清洗药水的时间，具体包括：控制喷射牙菌斑清洗药水的时间变长、变短或不变。
进一步的，为了简化调节，可以对调节进行量化。即将牙菌斑面积转换成牙菌斑级别，如低、中、高等，对应的清洗调节档位也可以设置为低、中、高等。牙菌斑级别和清洗调节档位如何对应可根据需要进行设定，本实施例不做具体限制。
需要说明的是，上述的低、中、高级别只是一个示例，具体实施时，可根据需要设置更多或更少的级别，具体哪个级别对应多大的出水流量或出水力度也可根据实际需要进行设定，本实施例不做具体限制。
更进一步的，本实施例的带牙菌斑检测的口腔清洗方法还包括：
在清洗牙菌斑的同时，能够持续检测对应牙菌斑的面积变化，如面积变小，则调节药水用量减少，并减小清洗力度和时间，如果对应区域的牙菌斑完全消失则停止清洗，进行其他牙齿区域的检测。
此外，本实施例中，如果没有检测都牙菌斑，则控制用清水进行清洗，清洗的流量、力度或时间相应减小。
如上所述，本实施例的带蓝光的摄像设备采集到的视频流(口腔图像)可以通过无线或有线网络传送到外部终端设备如手机/电脑，在手机/电脑上进行分析处理后再返回给控制器控制出水嘴出水，同时在所述外部终端设备中进行语音、信息或图像提示。当然，也可以是带蓝光的摄像设备采集到的视频流(口腔图像)直接在所述控制器中进行分析处理后控制出水嘴出水，同时将分析处理结果通过无线或有线网络送到外部终端设备，在所述外部终端设备中进行语音、信息或图像提示。
参见图4所示，本发明一种带牙菌斑检测的口腔清洗装置，包括：
口腔图像获取模块401，用于基于带蓝光的摄像设备获取口腔图像；
牙菌斑检测及清洗模块402，用于基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴喷射清水进行清洗。
所述口腔图像获取模块401和牙菌斑检测及清洗模块402的具体实现参见一种带牙菌斑检测的口腔清洗方法，本处不做重复说明。
一实施例中，参见图5所示，本发明一种带牙菌斑检测的口腔清洗系统，包括：
图像采集模块501，包括带蓝光的摄像设备，用于获取口腔图像；
清水水箱502，用于存储清水；
药水水箱503，用于存储牙菌斑清洗药水；
泵组504，与所述清水水箱502、药水水箱503和出水嘴506分别相连接；
控制器505，与所述图像采集模块501和泵组504分别相连接，基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制泵组504从出水嘴506喷射牙菌斑清洗药水进行清洗；否则，控制泵组504从出水嘴506喷射清水进行清洗。
所述带牙菌斑检测的口腔清洗系统还包括：电磁阀开关507；所述控制器505与所述电磁阀开关507相连接，以在检测出存在牙菌斑时控制药水水箱503出水，以及在检测出不存在牙菌斑时控制药水清水水箱502出水。
进一步的，所述带牙菌斑检测的口腔清洗系统还包括电源模块508；所述电源模块508与所述控制器505和图像采集模块501分别相连接以供电。
进一步的，所述带牙菌斑检测的口腔清洗系统还包括控制开关509；所述控制开关509与所述控制器505相连接以控制所述控制器505的是否工作。
可以理解的是，尽管上述说明是以控制器自动控制为例，但“基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴喷射清水进行清洗”实际也可以通过手动控制，或者自动控制和手动控制功能同时存在。当自动控制和手动控制同时存在时，如果所述控制开关509打开，优先使用自动控制，如果所述控制开关509关闭，则使用手动控制。使用手动控制时，可设置一手动控制开关，同时设置一提示装置，当根据获取的口腔图像识别出需要进行牙齿清洗或需要调节出水流量时，可以通过提示装置进行提示，使用者根据提示进行控制或调节。
本实施例中，所述的图像采集模块501、清水水箱502、药水水箱503、泵组504、控制器505、出水嘴506、电磁阀开关507、电源模块508和控制开关509可以设置在冲牙器等设备上。所述冲牙器还包括冲牙器本体等，具体为现有实现，本实施例不做限制。
进一步的，所述的带牙菌斑检测的口腔清洗系统，还包括：外部终端设备510；所述外部终端设备510与所述控制器505相连接；所述控制器505将获取到的口腔图像发送至所述外部终端设备510，所述外部终端设备510对所述口腔图像进行检测，将检测结果发送给所述控制器505，所述控制器505基于检测结果控制泵组504从出水嘴506喷射牙菌斑清洗药水进行清洗；或者，基于检测结果控制泵组504从出水嘴506喷射清水进行清洗。
另一实施例中，参见图6所示，本发明一种带牙菌斑检测的口腔清洗系统，包括：
图像采集模块601，包括带蓝光的摄像设备，用于获取口腔图像；
清水水箱602，用于存储清水；
药水水箱603，用于存储牙菌斑清洗药水；
清水泵组604，与所述清水水箱602和出水嘴606分别相连接；
药水泵组607，与所述药水水箱603和出水嘴606分别相连接；
控制器605，与所述图像采集模块601和泵组分别相连接，基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制药水泵组607从出水嘴606喷射牙菌斑清洗药水进行清洗；否则，控制清水泵组604从出水嘴606喷射清水进行清洗。
本实施例中，所述药水泵组607与所述出水嘴606和药水水箱603分别相连接，当检测出存在牙菌斑时，所述控制器605与所述药水泵组607相连接以控制出水嘴606喷射牙菌斑清洗药水进行清洗；所述清水泵组604与所述出水嘴606和药水水箱603分别相连接，当检测出存在牙菌斑时，所述控制器605与所述清水泵组604相连接以控制出水嘴606喷射清水进行清洗。
进一步的，所述带牙菌斑检测的口腔清洗系统还包括电源模块608；所述电源模块608与所述控制器605和图像采集模块601分别相连接以供电。
进一步的，所述带牙菌斑检测的口腔清洗系统还包括控制开关609；所述控制开关609与所述控制器605相连接以控制所述控制器605的是否工作。
可以理解的是，尽管上述说明是以控制器自动控制为例，但“基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴喷射清水进行清洗”实际也可以通过手动控制，或者自动控制和手动控制功能同时存在。当自动控制和手动控制同时存在时，如果所述控制开关609打开，优先使用自动控制，如果所述控制开关609关闭，则使用手动控制。使用手动控制时，可设置一手动控制开关，同时设置一提示装置，当根据获取的口腔图像识别出需要进行牙齿清洗或需要调节出水流量时，可以通过提示装置进行提示，使用者根据提示进行控制或调节。
本实施例中，所述的图像采集模块601、清水水箱602、药水水箱603、清水泵组604、药水泵组607、控制器605、出水嘴606、电源模块608和控制开关609可以设置在冲牙器等设备上。所述冲牙器还包括冲牙器本体等，具体为现有实现，本实施例不做限制。
进一步的，所述的带牙菌斑检测的口腔清洗系统，还包括：外部终端设备610；所述外部终端设备610与所述控制器605相连接；所述控制器605将获取到的口腔图像发送至所述外部终端设备610，所述外部终端设备610对所述口腔图像进行检测，将检测结果发送给所述控制器605，所述控制器605基于检测结果控制药水泵组607从出水嘴606喷射牙菌斑清洗药水进行清洗；或者，基于检测结果控制清水泵组604从出水嘴606喷射清水进行清洗。
进一步的，本发明一种带牙菌斑检测的口腔清洗系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述带牙菌斑检测的口腔清洗方法的步骤。
具体的，所述处理器被配置为：
基于带蓝光的摄像设备获取口腔图像；
基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴喷射清水进行清洗。
本实施例中，所述存储器和处理器可以集成在所述控制器和/或外部终端设备上，由所述所述控制器和/或外部终端设备实现。
以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (15)

1.一种带牙菌斑检测的口腔清洗方法，其特征在于，包括：
基于带蓝光的摄像设备获取口腔图像；
基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴喷射清水进行清洗。
2.根据权利要求1所述的带牙菌斑检测的口腔清洗方法，其特征在于，检测牙齿区域是否存在牙菌斑的方法，包括：
如果牙齿区域呈现绿色，则检测出无牙菌斑；如果牙齿区域呈现牙菌斑的特有颜色红色，则检测出存在牙菌斑。
3.根据权利要求1所述的带牙菌斑检测的口腔清洗方法，其特征在于，所述控制出水嘴喷射牙菌斑清洗药水进行清洗之前，还包括：识别牙菌斑的位置信息；基于所述位置信息，控制出水嘴喷射牙菌斑清洗药水对牙菌斑进行清洗。
4.根据权利要求3所述的带牙菌斑检测的口腔清洗方法，其特征在于，检测是否存在牙菌斑及识别牙菌斑的位置信息的方法包括：
将获取的口腔图像输入使用深度学习框架Pytorch训练好的模型，检测出是否存在牙菌斑，如果存在，识别出位置信息。
5.根据权利要求4所述的带牙菌斑检测的口腔清洗方法，其特征在于，所述模型的训练过程包括：
S301，制作数据集样本，准备好已存储的牙菌斑图像作为训练样本并对其进行标注；
S302，采用深度学习框架Pytorch进行训练，并对其输出模型权重进行保存并导出；
S303，对训练好的模型权重pth文件进行推理，获得检测的分类和目标位置；所述分类包括训练图像是否属于牙菌斑图像，所述目标位置为识别出的牙菌斑的位置信息。
6.根据权利要求1所述的带牙菌斑检测的口腔清洗方法，其特征在于，如果检测出存在牙菌斑，所述方法还包括：获取牙菌斑面积；基于所述牙菌斑面积，控制出水嘴喷射牙菌斑清洗药水的流量、力度和时间中的一种或几种。
7.根据权利要求6所述的带牙菌斑检测的口腔清洗方法，其特征在于，控制出水嘴喷射牙菌斑清洗药水的流量，具体包括：控制喷射牙菌斑清洗药水的流量变大、变小或不变。
8.根据权利要求6所述的带牙菌斑检测的口腔清洗方法，其特征在于，制出水嘴喷射牙菌斑清洗药水的力度，具体包括：控制喷射牙菌斑清洗药水的力度变大、变小或不变。
9.根据权利要求6所述的带牙菌斑检测的口腔清洗方法，其特征在于，控制出水嘴喷射牙菌斑清洗药水的时间，具体包括：控制喷射牙菌斑清洗药水的时间变长、变短或不变。
10.一种带牙菌斑检测的口腔清洗装置，其特征在于，包括：
口腔图像获取模块，用于基于带蓝光的摄像设备获取口腔图像；
牙菌斑检测及清洗模块，用于基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制出水嘴喷射清水进行清洗。
11.一种带牙菌斑检测的口腔清洗系统，其特征在于，包括：
图像采集模块，包括带蓝光的摄像设备，用于获取口腔图像；
清水水箱，用于存储清水；
药水水箱，用于存储牙菌斑清洗药水；
泵组，与所述清水水箱、药水水箱和出水嘴分别相连接；
控制器，与所述图像采集模块和泵组分别相连接，基于获取的口腔图像检测是否存在牙菌斑，如果存在，控制泵组从出水嘴喷射牙菌斑清洗药水进行清洗；否则，控制泵组从出水嘴喷射清水进行清洗。
12.根据权利要求11所述的带牙菌斑检测的口腔清洗系统，其特征在于，还包括：外部终端设备；所述外部终端设备与所述控制器相连接；所述控制器将获取到的口腔图像发送至所述外部终端设备，所述外部终端设备对所述口腔图像进行检测，将检测结果发送给所述控制器，所述控制器基于检测结果控制泵组从出水嘴喷射牙菌斑清洗药水进行清洗；或者，基于检测结果控制泵组从出水嘴喷射清水进行清洗。
13.根据权利要求11所述的带牙菌斑检测的口腔清洗系统，其特征在于，所述泵组包括清水泵组和药水泵组；所述药水泵组与所述出水嘴和药水水箱分别相连接，当检测出存在牙菌斑时，所述控制器与所述药水泵组相连接以控制出水嘴喷射牙菌斑清洗药水进行清洗；所述清水泵组与所述出水嘴和药水水箱分别相连接，当检测出存在牙菌斑时，所述控制器与所述清水泵组相连接以控制出水嘴喷射清水进行清洗。
14.根据权利要求11所述的带牙菌斑检测的口腔清洗系统，其特征在于，所述泵组包括一个；所述带牙菌斑检测的口腔清洗系统还包括电磁阀开关；所述控制器与所述电磁阀开关相连接，以在检测出存在牙菌斑时控制药水水箱出水，以及在检测出不存在牙菌斑时控制药水清水水箱出水。
15.一种带牙菌斑检测的口腔清洗系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9中任意一项所述方法的步骤。
CN202111232967.9A 2021-10-22 2021-10-22 一种带牙菌斑检测的口腔清洗方法、装置和系统 Pending CN116019584A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111232967.9A CN116019584A (zh) 2021-10-22 2021-10-22 一种带牙菌斑检测的口腔清洗方法、装置和系统
PCT/CN2022/125938 WO2023066252A1 (zh) 2021-10-22 2022-10-18 带牙菌斑检测的口腔清洗方法、装置、系统及相关设备
JP2024520631A JP2024537852A (ja) 2021-10-22 2022-10-18 歯垢検出付き口腔洗浄方法、装置、システム及び関連デバイス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111232967.9A CN116019584A (zh) 2021-10-22 2021-10-22 一种带牙菌斑检测的口腔清洗方法、装置和系统

Publications (1)

Publication Number Publication Date
CN116019584A true CN116019584A (zh) 2023-04-28

Family

ID=86057922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111232967.9A Pending CN116019584A (zh) 2021-10-22 2021-10-22 一种带牙菌斑检测的口腔清洗方法、装置和系统

Country Status (3)

Country Link
JP (1) JP2024537852A (zh)
CN (1) CN116019584A (zh)
WO (1) WO2023066252A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116672115A (zh) * 2023-07-04 2023-09-01 深圳市宇华智界科技有限公司 带手柄的牙套清洗机控制系统、方法及清洗机
CN117292837A (zh) * 2023-09-13 2023-12-26 广州星际悦动股份有限公司 牙菌斑生成预测方法、装置、设备及存储介质
CN118476892A (zh) * 2024-07-15 2024-08-13 北京柔智缘科技有限公司 一种洁牙控制方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5974640B2 (ja) * 2012-06-01 2016-08-23 ソニー株式会社 歯用装置及び情報処理装置
CN106821529B (zh) * 2017-02-28 2018-12-11 厦门罗雅光科技有限公司 便携式牙齿检查装置及其控制方法
CN112043443A (zh) * 2019-06-07 2020-12-08 广州迪克医疗器械有限公司 可视洁牙机
CN112220573B (zh) * 2020-09-19 2021-06-22 西安交通大学 一种u型牙菌斑检测牙刷
CN113244008A (zh) * 2021-04-30 2021-08-13 黑蜂智造(深圳)科技有限公司 一种口腔护理器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116672115A (zh) * 2023-07-04 2023-09-01 深圳市宇华智界科技有限公司 带手柄的牙套清洗机控制系统、方法及清洗机
CN117292837A (zh) * 2023-09-13 2023-12-26 广州星际悦动股份有限公司 牙菌斑生成预测方法、装置、设备及存储介质
CN118476892A (zh) * 2024-07-15 2024-08-13 北京柔智缘科技有限公司 一种洁牙控制方法、装置及存储介质
CN118476892B (zh) * 2024-07-15 2024-09-20 北京柔智缘科技有限公司 一种洁牙控制方法、装置及存储介质

Also Published As

Publication number Publication date
WO2023066252A1 (zh) 2023-04-27
JP2024537852A (ja) 2024-10-16

Similar Documents

Publication Publication Date Title
CN116019584A (zh) 一种带牙菌斑检测的口腔清洗方法、装置和系统
CN109255297B (zh) 动物状态监测方法、终端设备、存储介质及电子设备
CN110689500B (zh) 一种人脸图像的处理方法、装置、电子设备及存储介质
US20160267675A1 (en) Image edge detection method and apparatus thereof, image target identification method and apparatus thereof
US20200311456A1 (en) Computer aided scanning method for medical device, medical device, and readable storage medium
CN111104910B (zh) 垃圾投递行为监督方法及相关产品
JPWO2020012872A1 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
CN109145837A (zh) 人脸情感识别方法、装置、终端设备和存储介质
CN113312957A (zh) 基于视频图像的脱岗识别方法、装置、设备及存储介质
CN112733676B (zh) 一种基于深度学习的电梯内垃圾检测识别方法
EP4224419A1 (en) Scanning result processing method and apparatus, and processor and scanning system
CN115601811B (zh) 面部痤疮的检测方法和装置
CN111626912A (zh) 水印去除方法及装置
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
JP2015092331A (ja) 画像処理装置、画像処理方法及びプログラム
WO2020096889A1 (en) Assessing endoscope channel damage using artificial intelligence video analysis
US20240087133A1 (en) Method of refining tissue specimen image, and computing system performing same
KR101225366B1 (ko) 화상을 통한 화장실 관리 시스템 및 방법
CN111493805A (zh) 一种状态检测装置、方法、系统及可读存储介质
CN111399662B (zh) 基于高真实感虚拟化身的人与机器人交互仿真装置及方法
CN106339658A (zh) 数据的处理方法和装置
CN112288697A (zh) 用于量化异常程度的方法、装置、电子设备及可读存储介质
CN109934342A (zh) 神经网络模型训练方法、深度图像修复方法及系统
Zhang et al. Extracting regions of interest in biomedical images
JP2009003842A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination