CN110349224B - 一种基于深度学习的牙齿颜色值判断方法及系统 - Google Patents
一种基于深度学习的牙齿颜色值判断方法及系统 Download PDFInfo
- Publication number
- CN110349224B CN110349224B CN201910525744.8A CN201910525744A CN110349224B CN 110349224 B CN110349224 B CN 110349224B CN 201910525744 A CN201910525744 A CN 201910525744A CN 110349224 B CN110349224 B CN 110349224B
- Authority
- CN
- China
- Prior art keywords
- tooth
- area
- image
- region
- chromaticity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013135 deep learning Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000007781 pre-processing Methods 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000002372 labelling Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 22
- 238000005520 cutting process Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明公开一种基于深度学习的牙齿颜色值判断方法及系统，该方法至少包括：通过牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标及置信度；基于置信度更新牙齿区域坐标，获得第一牙齿区域图；基于更新后的牙齿区域坐标对第一牙齿区域图进行预处理获得第二牙齿区域图；将第二牙齿区域图通过区域聚类分为牙齿区域及非牙齿区域，将非牙齿区域置为指定颜色得到第三牙齿区域图；通过牙齿色度判断模型对所述第三牙齿区域图进行色度预测，得到牙齿色度预测值并映射到比色卡中获得所述牙齿的颜色值。通过该方法，用户可以通过自己的手机向牙齿颜色值判断系统发送拍摄的包含牙齿图像的照片，获取牙齿颜色值的判断结果。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种基于深度学习的牙齿颜色值判断方法及系统。
背景技术
牙齿比色是通过特定的牙齿颜色模具(Shade Guide)与牙齿实物对照，得出牙齿的颜色值。该过程在口腔诊断、牙齿整形美白领域较为常见，通常需要被测 者，专业人员当面进行，且必须手持比色模具近距离比色，如此，需要被检测 者在特定的时间、地点及相应的检测环境中，通过具有一定经验的专业人员配 合比色模具才能完成，且颜色值判断结果，由于个体因素存在，容易产生偏差， 判断标准不统一。
发明内容
为解决上述技术问题，本发明提供了一种基于深度学习的牙齿颜色值判断方法及系统，该方法不需要专业人员参与，且判断标准统一，判断结果准确， 速度较快。
本发明实施例提供的技术方案如下：
第一方面，提供了一种基于深度学习的牙齿颜色值判断方法，所述方法至少包括如下步骤：
通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标以及相应牙齿区域的置信度；
基于所述牙齿区域的置信度更新所述牙齿区域坐标，获得第一牙齿区域图；
基于所述更新后的牙齿区域坐标对所述第一牙齿区域图进行预处理获得第二牙齿区域图；
将所述第二牙齿区域图转化到 HSV 颜色空间，并通过区域聚类将所述转化后的第二牙齿区域图分为牙齿区域及非牙齿区域，将所述非牙齿区域置为指定颜色，得到第三牙齿区域图；
通过预先训练好的牙齿色度判断模型对所述第三牙齿区域图进行颜色值预测，得到牙齿颜色值预测值，并将所述牙齿颜色值预测值映射到比色卡中获得所述牙齿的颜色值。
在一些实施例中，所述预先训练牙齿区域检测模型时，至少包括如下步骤： 拍摄若干不同个体的牙齿图像样本；
对所述牙齿图像样本进行标注，获得若干具有矩形框标注牙齿区域的牙齿图像样本；
对已标注的牙齿图像样本增加随机变换，以获得多样性的牙齿图像样本； 基于所述多样性的牙齿图像样本构建牙齿区域检测模型。
在一些实施例中， 所述预先训练牙齿色度判断模型时，至少包括如下步骤： 将经过所述牙齿区域检测模型获取并更新后获得的第一牙齿区域样本图进
行裁切，获得第二牙齿区域样本图；
标出所述第二牙齿区域样本图中牙齿的实际区域， 获得以蒙版表示的第三牙齿区域样本图；
基于所述第三牙齿区域样本图及拍摄所述牙齿图像样本时记录的牙齿颜色值构建牙齿色度判断模型。
在一些实施例中，所述通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测之前，还包括对所述待识别牙齿图像进行预处理， 对所述待识别牙齿图像进行预处理具体包括如下步骤：
将所述待识别牙齿图像等比例缩放到最大宽度为固定像素值。
在一些实施例中，所述基于所述牙齿区域的置信度更新所述牙齿区域坐标， 获得第一牙齿区域图，具体包括如下步骤：
过滤掉置信度较低的牙齿区域； 合并重复或有交集的牙齿区域；
筛选出合并后置信度最高的区域作为目标牙齿区域，获得所述目标牙齿区域坐标及相应的第一牙齿区域图。
在一些实施例中，所述基于所述更新后的牙齿区域坐标对所述第一牙齿区域图进行预处理获得第二牙齿区域图，具体包括如下步骤：
对所述第一牙齿区域图进行白平衡修正；
根据所述更新后的牙齿区域坐标对修正后的第一牙齿区域图进行裁切，获得所述第二牙齿区域图。
另一方面，提供了一种基于深度学习的牙齿颜色值判断系统，所述系统至少包括：
牙齿区域检测模块：用于通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标以及相应牙齿区域的置信度；
牙齿区域更新模块：用于基于所述牙齿区域的置信度更新所述牙齿区域坐标，获得第一牙齿区域图；
第一预处理模块：用于基于所述更新后的牙齿区域坐标对所述第一牙齿区域图进行预处理获得第二牙齿区域图；
区域聚类模块：用于将所述第二牙齿区域图转化到 HSV 颜色空间，并通过区域聚类将所述转化后的第二牙齿区域图分为牙齿区域及非牙齿区域，将所述非牙齿区域置为指定颜色，得到第三牙齿区域图；
牙齿颜色值判断模块：用于通过预先训练好的牙齿色度判断模型对所述第三牙齿区域图进行色度预测，得到牙齿色度预测值，并将所述牙齿色度预测值映射到比色卡中获得所述牙齿的颜色值。
在一些实施例中，所述系统还包括牙齿区域检测模型训练模块，所述牙齿区域检测模型训练模块至少包括：
样本采集子模块：用于拍摄若干不同个体的牙齿图像样本；
标注子模块：用于对所述牙齿图像样本进行标注，获得若干具有矩形框标注牙齿区域的牙齿图像样本；
样本多样性子模块：用于对已标注的牙齿图像样本增加随机变换，以获得多样性的牙齿图像样本；
第一模型构建子模块：用于基于所述多样性的牙齿图像样本构建牙齿区域检测模型。
在一些实施例中，所述系统还包括牙齿色度判断模型训练模块，所述牙齿色度判断模型预训练模块至少包括：
裁切子模块：用于将经过所述牙齿区域检测模型获取并更新后获得的第一牙齿区域样本图进行裁切，获得第二牙齿区域样本图；
蒙版处理子模块：用于标出所述第二牙齿区域样本图中牙齿的实际区域， 获得以蒙版表示的第三牙齿区域样本图；
第二模型构建子模块：用于基于所述第三牙齿区域样本图及拍摄所述牙齿图像样本时记录的牙齿颜色值构建牙齿色度判断模型。
在一些实施例中，所述系统还包括第二预处理模块，所述第二预处理模块用于：
在通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测之前，进行待识别牙齿图像预处理，所述待识别牙齿图像预处理具体包括：将所述待识别牙齿图像等比例缩放到具有一定像素值的最大宽度。
在一些实施例中，所述牙齿区域更新模块至少包括： 过滤子模块：用于过滤掉置信度较低的区域；
合并子模块：用于合并重复或有交集的牙齿区域；
筛选子模块：用于筛选出合并后置信度高的区域作为目标牙齿区域，获得所述目标牙齿区域坐标及相应的第一牙齿区域图。
在一些实施例中，所述第一预处理模块至少包括：
修正子模块：用于对所述第一牙齿区域图进行白平衡修正；
裁切子模块：用于根据所述更新后的牙齿区域坐标对修正后的第一牙齿区域图进行裁切，获得所述第二牙齿区域图。
本发明相比现有技术而言的有益效果在于：
本发明实施例提供一种基于深度学习的牙齿颜色值判断方法及系统，本实施例所保护的一种基于深度学习的牙齿颜色值判断方法，其主要通过预先构建的牙齿区域检测模型及牙齿色度判断模型进行牙齿区域确定及牙齿色度判断， 用户可以通过自己的手机向牙齿颜色值判断系统发送拍摄的包含牙齿图像的照片，获取牙齿颜色值的判断结果，而不需要专业人员使用比色模具对用户本人现场进行牙齿颜色值的判断，从而减少了人力物力成本，且判断标准统一，规避了人工比色过程中由于专业人员个体因素而造成的结果偏差；
另外，通过该基于深度学习的牙齿颜色值判断方法，输入的牙齿照片以端到端（end-to-end）的方式获得牙齿颜色值的判断结果，速度快，且判断过程不受地理、时间、环境的限制，仅需要带摄像头且联网状态的手机即可完成。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1 是本发明实施例一中的一种基于深度学习的牙齿颜色值判断方法的流程图；
图 2 是本发明实施例二中的一种基于深度学习的牙齿颜色值判断系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例提供一种基于深度学习的牙齿颜色值判断方法，属于计算机技术领域，适用于口腔诊断、牙齿整形美白等业务场景。
图 1 为本实施例一提供的一种基于深度学习的牙齿颜色值判断方法的流程图，如图 1 所示，该方法至少包括如下步骤：
S1、通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标以及相应牙齿区域的置信度。
其中，输入的待识别牙齿图像，是指任意客户端发送的待识别牙齿图像。客户端为移动设备或 PC 中的一种，待识别图像为存储在该客户端上的任意一张包括牙齿的图像，通常为手机拍摄的牙齿的照片。
一张图像在通过牙齿区域检测模型后，会得到一组或多组检测结果（存在多副牙齿的情况）。为了便于描述，本实施例中仅以图像中包含一副牙齿为例进行阐述，故本实施例中检测结果仅包含一组，该一组检测结果包括若干牙齿区域的坐标、每一牙齿区域内物体的类型及每一牙齿区域置信度三部分，其中牙齿区域可以为连续或不连续的一个或多个，并且当模型未检出牙齿区域时则返还的结果为空。本实施例中，由于在训练牙齿区域检测模型时指定类型仅包括牙齿一种物体，因此检测结果中牙齿区域内物体的类型只有牙齿一种物体。
优选地，牙齿区域以坐标点表示（如左上、右下坐标点等）。相应牙齿区域的置信度范围为[0-1]，置信度越高表示该牙齿区域为牙齿的可能性越大。
本实施例中，在步骤 S1 之前还包括：步骤 Sa、构建牙齿区域检测模型，具体为以原有的 YOLO3 实时物体检测模型为基础训练训练牙齿区域检测模型，该步骤至少包括如下子步骤：
Sa1、拍摄若干不同个体的牙齿图像样本。
具体地，获取不同手机终端拍摄的真实的牙齿图像样本，样本数量为 500
张左右，并在拍摄过程中由专业人员用比色模具获得真实的牙齿色度并记录。
Sa2、对牙齿图像样本进行标注，获得若干具有矩形框标注牙齿区域的牙齿图像样本。
本实施例中，对标注矩形框的方法并不限制，可采用任意可以选择矩形区域的图像工具，在图像上拉一个矩形区域, 使其在包含所有牙齿的同时，面积尽量小。
需要说明的是，本实施例中的矩形均为水平/垂直设置的，即矩形的长边与水平面一定保持平行/垂直。该矩形并不是最小外接矩形, 因为最小外接矩形允许矩形旋转，即矩形的长边与水平面夹角不加以限制。
Sa3、对已标注的牙齿图像样本增加随机变换，以获得多样性的牙齿图像样本。
该步骤中，在已标注的牙齿图像样本基础上增加随机变换，在不改变样本
分布的情况下，增加样本的多样性。随机变换可以是随机进行的某一方面变换，如对比度、亮度、随机旋转、翻转、裁切等。
Sa4、基于多样性的牙齿图像样本构建牙齿区域检测模型。
具体地，本实施例以原有的 YOLO3 实时物体检测模型为基础，基于多样性的牙齿图像样本构建牙齿区域检测模型。
训练策略具体为：前 60 个周期(epoch)，封住神经网络的所有层，只开放最后一层参数，后 60 个周期(epoch)开放所有层进行训练。
参考训练参数具体为：
样本批容量(batch size): 32，第一阶段初始学习率(learning rate): 0.001，第二阶段初始学习率(learning rate): 0.0001。
优化器(Optimizer)具体为: Adam 优化器。
作为一种优选，在 Sa4 完成后，步骤 Sa 还包括：
Sa5、将训练完成的牙齿区域检测模型进行固化存储，删除重复变量与梯度， 只保存与预测相关的参数，压缩后保存。
本实施例中，步骤 S1 之前，还包括：
S0、对待识别牙齿图像进行预处理，该步骤具体包括如下子步骤：
将待识别牙齿图像等比例缩放到最大宽度为固定像素值，优选地，固定像素值为800 像素，以使待识别牙齿图像具有统一的大小，便于后续图像处理。
S2、基于牙齿区域的置信度更新牙齿区域坐标，获得第一牙齿区域图。在一些实施例中，步骤 S2 具体包括如下子步骤：
S21、过滤掉置信度较低的牙齿区域；
S22、合并重复或有交集的牙齿区域；
S23、筛选出合并后置信度最高的区域作为目标牙齿区域，获得所述目标牙齿区域坐标及相应的第一牙齿区域图。
具体地，得到牙齿区域检测模型的检测结果后，通过预先设置的置信度阈值筛选掉置信度较低的区域，本实施例中置信度阈值为[0.25，1]，即将置信度小于 0.25 的区域视为无效区域，自动过滤。然后，通过非极大值抑制(Non-Maximum
Suppression)算法合并重复或有交集的区域，非极大值抑制中交集面积(Intersection over Union, IOU)阈值设置为 0.15。
经过区域合并后，筛选出置信度最高的区域作为目标牙齿区域，获得目标第一牙齿区域图作为最终检测结果。最后输出检测结果，包括目标牙齿区域的
牙齿区域坐标、区域内物体类型为牙齿的检测类型结果及该目标牙齿区域的置信度，若未检出牙齿区域则输出结果为空。
因此，本实施例中的第一牙齿区域，为整副牙齿中置信度最高的牙齿区域， 其包括矩形框内的部分牙齿或者若干颗牙齿。
S3、基于更新后的牙齿区域坐标对第一牙齿区域图进行预处理获得第二牙齿区域图；
在一些实施例中，步骤 S3 具体包括如下子步骤：
S31、对第一牙齿区域图进行白平衡修正；
具体地，用 Robust Gray World 算法对第一牙齿区域图进行白平衡修正，减少因手机设备不同、环境光照不同对第一牙齿区域图造成的影响。
S31、根据更新后的牙齿区域坐标对修正后的第一牙齿区域图进行裁切，获得第二牙齿区域图。
S4、将第二牙齿区域图转化到 HSV 颜色空间，并通过区域聚类将转化后的第二牙齿区域图分为牙齿区域及非牙齿区域，将非牙齿区域置为指定颜色，得到第三牙齿区域图。
具体地，首先将第二牙齿区域图转化到 HSV 颜色空间。然后，按照 K-均值聚类（K-means）聚为两类。接着，算出每类像素点对图像中心的平均距离，平均距离较小的一类即为牙齿区域。最后将非牙齿区域置为指定颜色，为了便于分辨，指定颜色为黑色。
此处K-means算法中，由于聚类结果分为两类，故K=2。 S5、通过预先训练好的牙齿色度判断模型对第三牙齿区域图进行色度预测，
得到牙齿色度预测值，并将牙齿色度预测值映射到比色卡中获得牙齿的颜色值。具体地，在获得第三牙齿区域图后，通过牙齿色度判断模型得到牙齿色度
预测值。本实施例中，牙齿色度判断模型将牙齿区域像素的色度归一化到[0，1]区间内。
通过预先构建的牙齿色度预测值与比色卡中颜色值之间建立的映射关系， 在获得牙齿色度预测值后，通过映射关系得到牙齿颜色值，并将该牙齿颜色值返还至客户端。
本实施例中，在步骤 S1 之前且在步骤 Sa 之后还包括：步骤 Sb、构建牙齿色度判断模型，具体为以 Resent-18 作为基础网络训练训练牙齿色度判断模型， 该步骤至少包括如下子步骤：
Sb1、将经过牙齿区域检测模型获取并更新后获得的第一牙齿区域样本图进行裁切，获得第二牙齿区域样本图；
Sb2、标出第二牙齿区域样本图中牙齿的实际区域， 获得以蒙版表示的第三牙齿区域样本图；
Sb3、基于第三牙齿区域样本图及拍摄牙齿图像样本时记录的牙齿颜色值构建牙齿色度判断模型。
具体地，首先，更新后的第一牙齿区域样本图为具有矩形框标注牙齿区域 的牙齿图像样本，沿矩形框裁切获得第二牙齿区域样本图。接着，在获得以蒙 版表示的牙齿实际区域时，以像素为最小单位用标注工具标出每张牙齿的实际 区域，若图像中的像素点为牙齿，则跳过；若为其他区域，如牙龈、舌头、嘴唇等非牙齿区域，则用指定颜色的蒙版盖住（该指定颜色可以为黑色(R=0，G=0， B=0)），以得到严格的牙齿区域，避免无关区域影响颜色判断。
本实施例对该步骤中采用的标注工具不做限制，原则上能够依此法标注出牙齿精确区域的标注工具, 只要标注的最终结果符合要求，无论其标注形式，均可采用，常见的有LabelMe。
同样作为一种优选，在 Sb3 完成后，步骤 Sb 还包括：
Sb4、将训练完成的牙齿色度判断模型进行固化存储，删除重复变量与梯度， 只保存与预测相关的参数，压缩后保存。
本实施例所保护的一种基于深度学习的牙齿颜色值判断方法，其主要通过预先构建的牙齿区域检测模型及牙齿色度判断模型进行牙齿区域确定及牙齿色
度判断，用户可以通过自己的手机向牙齿颜色值判断系统发送拍摄的包含牙齿图像的照片，获取牙齿颜色值的判断结果，而不需要专业人员使用比色模具对用户本人现场进行牙齿颜色值的判断，从而减少了人力物力成本，且判断标准统一，规避了人工比色过程中由于专业人员个体因素而造成的结果偏差；
另外，通过该基于深度学习的牙齿颜色值判断方法，输入的牙齿照片以端到端（end-to-end）的方式获得牙齿颜色值的判断结果，速度快，且判断过程不受地理、时间、环境的限制，仅需要带摄像头且联网状态的手机即可完成。
实施例二
为执行上述实施例一中一种基于深度学习的牙齿颜色值判断方法，本实施例提供一种基于深度学习的牙齿颜色值判断系统。
图 2 为本发明实施例二提供的一种基于深度学习的牙齿颜色值判断系统的结构示意图。如图 2 所示，该基于深度学习的牙齿颜色值判断系统 100 至少包括：
牙齿区域检测模块1：用于通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标以及相应牙齿区域的置信度；
牙齿区域更新模块 2：用于基于牙齿区域的置信度更新牙齿区域坐标，获得第一牙齿区域图；
第一预处理模块3：用于基于更新后的牙齿区域坐标对第一牙齿区域图进行预处理获得第二牙齿区域图；
区域聚类模块 4：用于将第二牙齿区域图转化到 HSV 颜色空间，并通过区域聚类将转化后的第二牙齿区域图分为牙齿区域及非牙齿区域，将非牙齿区域置为指定颜色，得到第三牙齿区域图；
牙齿颜色值判断模块5：用于通过预先训练好的牙齿色度判断模型对第三牙齿区域图进行色度预测，得到牙齿色度预测值，并将牙齿色度预测值映射到比色卡中获得牙齿的颜色值。
在一些实施例中，系统还包括牙齿区域检测模型训练模块 6，牙齿区域检测模型训练模块 6 至少包括：
样本采集子模块 61：用于拍摄若干不同个体的牙齿图像样本；
标注子模块 62：用于对所述牙齿图像样本进行标注，获得若干具有矩形框标注牙齿区域的牙齿图像样本；
样本多样性子模块 63：用于对已标注的牙齿图像样本增加随机变换，以获得多样性的牙齿图像样本；
第一模型构建子模块 64：用于基于多样性的牙齿图像样本构建牙齿区域检测模型。
在一些实施例中，系统 100 还包括牙齿色度判断模型训练模块 7，牙齿色度判断模型预训练模块 7 至少包括：
裁切子模块 71：用于将经过牙齿区域检测模型获取并更新后获得的第一牙齿区域样本图进行裁切，获得第二牙齿区域样本图；
蒙版处理子模块72：用于标出第二牙齿区域样本图中牙齿的实际区域， 获得以蒙版表示的第三牙齿区域样本图；
第二模型构建子模块 73：用于基于第三牙齿区域样本图及拍摄牙齿图像样本时记录的牙齿颜色值构建牙齿色度判断模型。
在一些实施例中，系统 100 还包括第二预处理模块 8，第二预处理模块 8 用于：
在通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区
域检测之前，进行待识别牙齿图像预处理，待识别牙齿图像预处理具体包括： 将待识别牙齿图像等比例缩放到具有一定像素值的最大宽度。
在一些实施例中，牙齿区域更新模块 2 至少包括：
过滤子模块 21：用于过滤掉置信度较低的区域；
合并子模块 22：用于合并重复或有交集的牙齿区域；
筛选子模块 23：用于筛选出合并后置信度最高的区域作为目标牙齿区域， 获得所述目标牙齿区域坐标及相应的第一牙齿区域图。
在一些实施例中，第一预处理模块 3 至少包括：
修正子模块 31：用于对第一牙齿区域图进行白平衡修正；
裁切子模块 32：用于根据更新后的牙齿区域坐标对修正后的第一牙齿区域图进行裁切，获得第二牙齿区域图。
需要说明的是：上述实施例提供的基于深度学习的牙齿颜色值判断系统在 触发牙齿颜色值判断业务时，仅以上述各功能模块的划分进行举例说明，实际 应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的 内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外， 上述实施例提供的基于深度学习的牙齿颜色值判断系统与基于深度学习的牙齿 颜色值判断方法的实施例属于同一构思，即该系统是基于该方法的，其具体实 现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种基于深度学习的牙齿颜色值判断方法，其特征在于，所述方法至少包括如下步骤：
通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标以及相应牙齿区域的置信度；
基于所述牙齿区域的置信度更新所述牙齿区域坐标，获得第一牙齿区域图；
基于所述更新后的牙齿区域坐标对所述第一牙齿区域图进行预处理获得第二牙齿区域图，包括：根据所述更新后的牙齿区域坐标对修正后的第一牙齿区域图进行裁切，获得所述第二牙齿区域图；
将所述第二牙齿区域图转化到HSV颜色空间，并通过区域聚类将所述转化后的第二牙齿区域图分为牙齿区域及非牙齿区域，将所述非牙齿区域置为指定颜色，得到第三牙齿区域图；
通过预先训练好的牙齿色度判断模型对所述第三牙齿区域图进行色度预测，得到牙齿色度预测值，并将所述牙齿色度预测值映射到比色卡中获得所述牙齿的颜色值。
2.根据权利要求1所述的一种基于深度学习的牙齿颜色值判断方法，其特征在于，所述预先训练牙齿区域检测模型时，至少包括如下步骤：
拍摄若干不同个体的牙齿图像样本；
对所述牙齿图像样本进行标注，获得若干具有矩形框标注牙齿区域的牙齿图像样本；
对已标注的牙齿图像样本增加随机变换，以获得多样性的牙齿图像样本；
基于所述多样性的牙齿图像样本构建牙齿区域检测模型。
3.根据权利要求2所述的一种基于深度学习的牙齿颜色值判断方法，其特征在于，所述预先训练牙齿色度判断模型时，至少包括如下步骤：
将经过所述牙齿区域检测模型获取并更新后获得的第一牙齿区域样本图进行裁切，获得第二牙齿区域样本图；
标出所述第二牙齿区域样本图中牙齿的实际区域，获得以蒙版表示的第三牙齿区域样本图；
基于所述第三牙齿区域样本图及拍摄所述牙齿图像样本时记录的牙齿颜色值构建牙齿色度判断模型。
4.根据权利要求1至3任一项所述的一种基于深度学习的牙齿颜色值判断方法，其特征在于，所述通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测之前，还包括对所述待识别牙齿图像进行预处理，对所述待识别牙齿图像进行预处理具体包括如下步骤：
将所述待识别牙齿图像等比例缩放到最大宽度为固定像素值。
5.根据权利要求1至3任一项所述的一种基于深度学习的牙齿颜色值判断方法，其特征在于，所述基于所述牙齿区域的置信度更新所述牙齿区域坐标，获得第一牙齿区域图，具体包括如下步骤：
过滤掉置信度较低的牙齿区域；
合并重复或有交集的牙齿区域；
筛选出合并后置信度最高的区域作为目标牙齿区域，获得所述目标牙齿区域坐标及相应的第一牙齿区域图。
6.根据权利要求1至3任一项所述的一种基于深度学习的牙齿颜色值判断方法，其特征在于，所述根据所述更新后的牙齿区域坐标对修正后的第一牙齿区域图进行裁切，获得所述第二牙齿区域图之前，还包括如下步骤：
对所述第一牙齿区域图进行白平衡修正。
7.一种基于深度学习的牙齿颜色值判断系统，其特征在于，所述系统至少包括：
牙齿区域检测模块：用于通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测，获取若干牙齿区域坐标以及相应牙齿区域的置信度；
牙齿区域更新模块：用于基于所述牙齿区域的置信度更新所述牙齿区域坐标，获得第一牙齿区域图；
第一预处理模块：用于基于所述更新后的牙齿区域坐标对所述第一牙齿区域图进行预处理获得第二牙齿区域图，包括：根据所述更新后的牙齿区域坐标对修正后的第一牙齿区域图进行裁切，获得所述第二牙齿区域图；
区域聚类模块：用于将所述第二牙齿区域图转化到HSV颜色空间，并通过区域聚类将所述转化后的第二牙齿区域图分为牙齿区域及非牙齿区域，将所述非牙齿区域置为指定颜色，得到第三牙齿区域图；
牙齿颜色值判断模块：用于通过预先训练好的牙齿色度判断模型对所述第三牙齿区域图进行色度预测，得到牙齿色度预测值，并将所述牙齿色度预测值映射到比色卡中获得所述牙齿的颜色值。
8.根据权利要求7所述的一种基于深度学习的牙齿颜色值判断系统，其特征在于，所述系统还包括牙齿区域检测模型训练模块，所述牙齿区域检测模型训练模块至少包括：
样本采集子模块：用于拍摄若干不同个体的牙齿图像样本；
标注子模块：用于对所述牙齿图像样本进行标注，获得若干具有矩形框标注牙齿区域的牙齿图像样本；
样本多样性子模块：用于对已标注的牙齿图像样本增加随机变换，以获得多样性的牙齿图像样本；
第一模型构建子模块：用于基于所述多样性的牙齿图像样本构建牙齿区域检测模型。
9.根据权利要求8所述的一种基于深度学习的牙齿颜色值判断系统，其特征在于，所述系统还包括牙齿色度判断模型训练模块，所述牙齿色度判断模型预训练模块至少包括：
裁切子模块：用于将经过所述牙齿区域检测模型获取并更新后获得的第一牙齿区域样本图进行裁切，获得第二牙齿区域样本图；
蒙版处理子模块：用于标出所述第二牙齿区域样本图中牙齿的实际区域，获得以蒙版表示的第三牙齿区域样本图；
第二模型构建子模块：用于基于所述第三牙齿区域样本图及拍摄所述牙齿图像样本时记录的牙齿颜色值构建牙齿色度判断模型。
10.根据权利要求7至9任一项所述的一种基于深度学习的牙齿颜色值判断系统，其特征在于，所述系统还包括第二预处理模块，所述第二预处理模块用于：
在通过预先训练的牙齿区域检测模型对输入的待识别牙齿图像进行牙齿区域检测之前，进行待识别牙齿图像预处理，所述待识别牙齿图像预处理具体包括：将所述待识别牙齿图像等比例缩放到具有一定像素值的最大宽度。
11.根据权利要求7至9任一项所述的一种基于深度学习的牙齿颜色值判断系统，其特征在于，所述牙齿区域更新模块至少包括：
过滤子模块：用于过滤掉置信度较低的区域；
合并子模块：用于合并重复或有交集的牙齿区域；
筛选子模块：用于筛选出合并后置信度最高的区域作为目标牙齿区域，获得所述目标牙齿区域坐标及相应的第一牙齿区域图。
12.根据权利要求7至9任一项所述的一种基于深度学习的牙齿颜色值判断系统，其特征在于，所述第一预处理模块至少包括：
修正子模块：用于对所述第一牙齿区域图进行白平衡修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910525744.8A CN110349224B (zh) | 2019-06-14 | 2019-06-14 | 一种基于深度学习的牙齿颜色值判断方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910525744.8A CN110349224B (zh) | 2019-06-14 | 2019-06-14 | 一种基于深度学习的牙齿颜色值判断方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110349224A CN110349224A (zh) | 2019-10-18 |
| CN110349224B true CN110349224B (zh) | 2022-01-25 |
Family
ID=68182280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910525744.8A Active CN110349224B (zh) | 2019-06-14 | 2019-06-14 | 一种基于深度学习的牙齿颜色值判断方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110349224B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191137A (zh) * | 2019-12-31 | 2020-05-22 | 广州皓醒湾科技有限公司 | 基于牙齿颜色确定刷牙推荐方案的方法及装置 |
| CN111325740B (zh) * | 2020-02-28 | 2023-07-07 | 恩施京植咿呀雅口腔医院有限公司 | 补牙质量评价模型构建方法及装置 |
| CN111652839A (zh) * | 2020-04-21 | 2020-09-11 | 上海市杨浦区市东医院 | 基于快速区域全卷积神经网络的牙齿比色检测方法及系统 |
| CN111462114A (zh) * | 2020-04-26 | 2020-07-28 | 广州皓醒湾科技有限公司 | 牙齿色值确定方法、装置和电子设备 |
| CN112561865B (zh) * | 2020-12-04 | 2024-03-12 | 深圳格瑞健康科技有限公司 | 恒磨牙位置的检测模型训练方法、系统和存储介质 |
| WO2023177213A1 (ko) * | 2022-03-15 | 2023-09-21 | 주식회사 메디트 | 객체의 색상을 결정하는 방법, 그 장치 및 그 명령을 기록한 기록 매체 |
| WO2024073869A1 (zh) * | 2022-10-04 | 2024-04-11 | 施霖 | 获取被摄对象表面多点色度坐标值的装置与方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102760196A (zh) * | 2011-04-25 | 2012-10-31 | 温宁 | 牙科选配色及颜色查询系统 |
| CN103300935A (zh) * | 2012-03-16 | 2013-09-18 | 赵淑琴 | 牙齿比色仪 |
| CN104112138A (zh) * | 2013-12-17 | 2014-10-22 | 深圳市华尊科技有限公司 | 物体颜色分类方法及装置 |
| CN109344789A (zh) * | 2018-10-16 | 2019-02-15 | 北京旷视科技有限公司 | 人脸跟踪方法及装置 |
| CN109583331A (zh) * | 2018-11-15 | 2019-04-05 | 复旦大学 | 基于深度学习的人手腕脉口位置精准定位方法 |
| CN109729169A (zh) * | 2019-01-08 | 2019-05-07 | 成都贝施美医疗科技股份有限公司 | 基于c/s架构的牙齿美化ar智能辅助方法 |
| CN109784304A (zh) * | 2019-01-29 | 2019-05-21 | 北京字节跳动网络技术有限公司 | 用于标注牙齿图像的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9478043B2 (en) * | 2014-01-29 | 2016-10-25 | Abdullaibrahim Abdulwaheed | Measuring teeth whiteness system and method |
| US10405754B2 (en) * | 2015-12-01 | 2019-09-10 | University Of South Florida | Standardized oral health assessment and scoring using digital imaging |
-
2019
- 2019-06-14 CN CN201910525744.8A patent/CN110349224B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102760196A (zh) * | 2011-04-25 | 2012-10-31 | 温宁 | 牙科选配色及颜色查询系统 |
| CN103300935A (zh) * | 2012-03-16 | 2013-09-18 | 赵淑琴 | 牙齿比色仪 |
| CN104112138A (zh) * | 2013-12-17 | 2014-10-22 | 深圳市华尊科技有限公司 | 物体颜色分类方法及装置 |
| CN109344789A (zh) * | 2018-10-16 | 2019-02-15 | 北京旷视科技有限公司 | 人脸跟踪方法及装置 |
| CN109583331A (zh) * | 2018-11-15 | 2019-04-05 | 复旦大学 | 基于深度学习的人手腕脉口位置精准定位方法 |
| CN109729169A (zh) * | 2019-01-08 | 2019-05-07 | 成都贝施美医疗科技股份有限公司 | 基于c/s架构的牙齿美化ar智能辅助方法 |
| CN109784304A (zh) * | 2019-01-29 | 2019-05-21 | 北京字节跳动网络技术有限公司 | 用于标注牙齿图像的方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| Neural Network-Based Teeth Recognition Using Singular Value Decomposition and Color Histogram;Suprachaya Veeraprasit;《2010 2nd International Conference on Information Engineering and Computer Science》;20101230;1-4 * |
| 基于色度学理论的牙齿颜色测定方法研究;赵红霞;《万方数据知识服务平台》;20100621;65-68 * |
| 牙齿比色的若干问题;苏建宏;《万方数据知识服务平台》;20080707;184-187 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110349224A (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349224B (zh) | 一种基于深度学习的牙齿颜色值判断方法及系统 | |
| US11263434B2 (en) | Fast side-face interference resistant face detection method | |
| EP3477931A1 (en) | Image processing method and device, readable storage medium and electronic device | |
| JP4121026B2 (ja) | 撮像装置および方法並びにプログラム | |
| CN108288027A (zh) | 一种图像质量的检测方法、装置及设备 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| US7457432B2 (en) | Specified object detection apparatus | |
| CN101142812A (zh) | 图像处理装置和方法、程序、及记录介质 | |
| CN104751405A (zh) | 一种用于对图像进行虚化的方法和装置 | |
| CN111368819B (zh) | 光斑检测方法和装置 | |
| CN112767392A (zh) | 图像清晰度确定方法、装置、设备及存储介质 | |
| CN112489143A (zh) | 一种颜色识别方法、装置、设备及存储介质 | |
| CN109840559A (zh) | 图像筛选方法、装置以及电子设备 | |
| CN113554658A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113409362A (zh) | 高空抛物检测方法和装置、设备及计算机存储介质 | |
| US11321938B2 (en) | Color adaptation using adversarial training networks | |
| CN115049675A (zh) | 生成区域确定及光斑生成方法、设备、介质及程序产品 | |
| CN112906611B (zh) | 一种井盖检测方法、装置、电子设备及存储介质 | |
| CN109740527A (zh) | 一种视频帧中图像处理方法 | |
| JPH0715703B2 (ja) | 文字読取方式 | |
| CN108765466A (zh) | 一种基于网络摄像头的智能视频监控系统及方法 | |
| CN113269790A (zh) | 视频裁剪方法、装置、电子设备、服务器及存储介质 | |
| CN115620119A (zh) | 一种天气类型图像检测及雾天图像处理方法及装置 | |
| CN113239806B (zh) | 一种基于图像识别的幕墙板块识别方法及系统 | |
| CN114339028A (zh) | 拍照方法、电子设备以及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240306 Address after: Room 1179, W Zone, 11th Floor, Building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai, 201702 Patentee after: Shanghai Zhongan Information Technology Service Co.,Ltd. Country or region after: China Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Patentee before: ZHONGAN INFORMATION TECHNOLOGY SERVICE Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240415 Address after: Room 1179, W Zone, 11th Floor, Building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai, 201702 Patentee after: Shanghai Zhongan Information Technology Service Co.,Ltd. Country or region after: China Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Patentee before: ZHONGAN INFORMATION TECHNOLOGY SERVICE Co.,Ltd. Country or region before: China |