CN114926627A - 口腔结构定位模型训练方法、定位方法、装置和电子设备 - Google Patents

口腔结构定位模型训练方法、定位方法、装置和电子设备 Download PDF

Info

Publication number
CN114926627A
CN114926627A CN202210604285.4A CN202210604285A CN114926627A CN 114926627 A CN114926627 A CN 114926627A CN 202210604285 A CN202210604285 A CN 202210604285A CN 114926627 A CN114926627 A CN 114926627A
Authority
CN
China
Prior art keywords
oral cavity
training
structure positioning
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210604285.4A
Other languages
English (en)
Inventor
李明洋
杨帆
王家鹏
云鹏辉
许雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jaka Robotics Ltd
Original Assignee
Shanghai Jaka Robotics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jaka Robotics Ltd filed Critical Shanghai Jaka Robotics Ltd
Priority to CN202210604285.4A priority Critical patent/CN114926627A/zh
Publication of CN114926627A publication Critical patent/CN114926627A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0045—Devices for taking samples of body liquids
    • A61B10/0051—Devices for taking samples of body liquids for taking saliva or sputum samples
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hematology (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种口腔结构定位模型训练方法、定位方法、装置和电子设备，涉及口腔检测领域，该方法包括：获取标注口腔特征区域的多个口腔图像；从多个口腔图像中选取训练集和验证集，将训练集中的任一口腔图像输入至初始口腔结构定位模型中，获得与训练集中每个口腔图像对应的特征图；针对特征图中的每一个感兴趣区域进行区域特征聚集，确定口腔特征区域，对感兴趣区域进行图像语义分割；将分割结果与口腔特征的区域进行比对，调整初始口腔结构定位模型的训练参数，若满足训练结束的条件，以验证集对训练参数进行验证，从而得到目标口腔结构定位模型，可以提高口腔图像识别的准确率，使采样设备能够完成自动采样。

Description

口腔结构定位模型训练方法、定位方法、装置和电子设备
技术领域
本申请涉及口腔检测技术领域，具体而言，涉及一种口腔结构定位模型训练方法、定位方法、装置和电子设备。
背景技术
目前在对人体进行口腔采样时，一般是通过人工的方式获得试子，而无法使用采样设备进行自动采样，原因在于采样设备在获取人体口腔图像后，无法精准地识别对口腔进行采样的部位，从而可能导致采样失败的问题，同时也会影响用户的体验。
发明内容
有基于此，本申请实施例的目的在于提供一种口腔结构定位模型训练方法、定位方法、装置和电子设备，基于经过深度学习的模型实现对口腔图像的分割、识别以及定位，从而可以提高口腔图像识别的准确率，使采样设备能够完成自动采样。
第一方面，本申请实施例提供一种口腔结构定位模型训练方法，包括：
获取标注口腔特征区域的多个口腔图像；
从所述多个口腔图像中选取训练集和验证集，将所述训练集中的所述口腔图像输入至初始口腔结构定位模型中，获得与所述训练集中每个口腔图像对应的特征图；
针对所述特征图中的每一个感兴趣区域进行区域特征聚集，确定所述口腔特征区域，对所述感兴趣区域进行图像语义分割，以得到分割结果；
将所述分割结果与标注的所述口腔特征区域进行比对，基于比对结果调整所述初始口腔结构定位模型的训练参数，若满足训练结束的条件，以所述验证集对所述训练参数进行验证，若验证通过，得到目标口腔结构定位模型。
在上述实现过程中，可以对初始口腔结构定位模型进行训练，基于经过深度学习的模型实现对口腔图像的分割、识别以及定位，可以提高机器对口腔图像识别的准确率，从而使采样设备能够基于获取的待检测人员的口腔图像对人员进行自动采样。
可选地，在所述将所述分割结果与标注的所述口腔特征区域进行比对，基于比对结果调整所述初始口腔结构定位模型的训练参数之后，所述方法还可以包括：
生成参数优化策略，并基于所述参数优化策略对所述初始口腔结构定位模型的训练参数进行配置；
其中，所述参数优化策略包括：
基于训练初始口腔结构定位模型的终端的计算速率，配置选择迁移学习调用的模型、每个所述口腔图像的存储占用空间范围、所述口腔图像中最大可检测物体数量以及学习率，以控制所述初始口腔结构定位模型的训练速率；
基于所述口腔图像的特征个数，和/或定位范围，配置选择所述初始口腔结构定位模型的训练层数和感兴趣区域个数。
在上述实现过程中，可以根据计算机的计算资源、性能以及模型的应用方式生成参数优化策略，并对模型的训练参数进行优化配置，调整模型的训练参数，如存储占用空间范围、最大可检测物体数量、训练层数和感兴趣区域个数等训练参数，从而能够提高模型的训练效率以及提高计算资源利用率。
可选地，在所述将所述分割结果与标注的所述口腔特征区域进行比对，基于比对结果调整所述初始口腔结构定位模型的训练参数，若满足训练结束的条件，以所述验证集对所述训练参数进行验证，若验证通过，得到目标口腔结构定位模型之前，所述方法还可以包括：
根据模型训练过程中训练函数接口的参数设置，配置每间隔预设训练时间或预设训练轮数保存一次所述初始口腔结构定位模型。
在上述实现过程中，可以基于经过深度学习的模型实现对口腔图像的分割、识别以及定位，从而可以提高口腔图像识别的准确率，使采样设备能够完成自动采样。
可选地，在所述获取标注口腔特征区域的多个口腔图像之后，所述方法还可以包括：
将标注口腔特征后的所述口腔图像转换为预设格式，以基于转换格式后的所述口腔图像对所述初始口腔结构定位模型进行训练或验证。
可选地，所述口腔特征的类别可以包括：嘴、牙齿、口咽、悬雍垂和舌头。
第二方面，本申请实施例提供一种口腔结构定位方法，包括：
获取待检测口腔图像；
对所述待检测口腔图像进行预处理，将所述待检测口腔图像输入训练完成的目标口腔结构定位模型中，以得到分割完成的口腔结构定位示意图；其中，所述目标口腔结构定位模型是根据上述任一实现方式中的模型训练方法得到的。
可选地，所述待检测口腔图像所述方法还可以包括：
基于所述口腔结构定位示意图确定对待采样人员进行采样时的采样位置。
在上述实现过程中，可以基于经过深度学习的模型实现对口腔图像的分割、识别以及定位，从而可以提高口腔图像识别的准确率，使采样设备能够完成自动采样。
第三方面，本申请实施例提供一种口腔结构定位模型训练装置，包括标注模块，用于获取标注口腔特征区域的多个口腔图像；
训练模块，用于从所述多个口腔图像中选取训练集和验证集，将所述训练集中的所述口腔图像输入至初始口腔结构定位模型中，获得与所述训练集中每个口腔图像对应的特征图；以及针对所述特征图中的每一个感兴趣区域进行区域特征聚集，确定所述口腔特征区域，对所述感兴趣区域进行图像语义分割，以得到分割结果；
验证模块，用于将所述分割结果与标注的所述口腔特征区域进行比对，基于比对结果调整所述初始口腔结构定位模型的训练参数，若满足训练结束的条件，以所述验证集对所述训练参数进行验证，若验证通过，得到目标口腔结构定位模型。
可选地，口腔结构定位模型训练装置还可以包括参数优化模块，用于生成参数优化策略，并基于所述参数优化策略对所述初始口腔结构定位模型的训练参数进行配置；
其中，所述参数优化策略包括：
基于训练初始口腔结构定位模型的终端的计算速率，配置选择迁移学习调用的模型、每个所述口腔图像的存储占用空间范围、所述口腔图像中最大可检测物体数量以及学习率，以控制所述初始口腔结构定位模型的训练速率；以及基于所述口腔图像的特征个数，和/或定位范围，配置选择所述初始口腔结构定位模型的训练层数和感兴趣区域个数。
可选地，口腔结构定位模型训练装置还可以包括存储模块，用于根据模型训练过程中训练函数接口的参数设置，配置每间隔预设训练时间或预设训练轮数保存一次所述初始口腔结构定位模型。
本申请实施例中，在训练过程中保存的模型，可用于作为预训练权重(pretrain_weights)继续训练模型，也可使用paddlex.load_model接口加载测试模型的预测和评估等。可以提高模型训练效率，以及提高资源复用率。
可选地，口腔结构定位模型训练装置还可以包括格式转换模块，用于将所述口腔图像转换为预设格式，以基于转换格式后的所述口腔图像对所述初始口腔结构定位模型进行训练或验证。
第四方面，本申请实施例还提供一种口腔结构定位装置，包括：
获取模块，用于获取待检测口腔图像；
定位模块，用于在对所述待检测口腔图像进行预处理后，将所述待检测口腔图像输入训练完成的目标口腔结构定位模型中，以得到分割完成的口腔结构定位示意图；其中，所述目标口腔结构定位模型是根据上述任一模型训练实现方式得到的。
可选地，口腔结构定位装置还可以包括采样模块，用于基于所述口腔结构定位示意图确定对待采样人员进行采样时的采样位置；以及对待采样人员进行采样。
第五方面，本申请实施例提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的口腔结构定位模型训练方法的步骤示意图；
图2为本申请实施例提供的口腔结构定位方法的步骤示意图；
图3为本申请实施例提供的口腔结构定位模型训练装置的示意图；
图4为本申请实施例提供的口腔结构定位装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
请参看图1，图1为本申请实施例提供的口腔结构定位模型训练方法的步骤示意图，对口腔结构定位模型进行训练的方法可以包括如下步骤：
在步骤S11中，获取标注口腔特征区域的多个口腔图像。
其中，获取口腔图像的方式可以是在网络上搜索已知的口腔数据样本图像，也可以是使用相机对际人体进行拍照采集，本申请实施例中，以获取1000个口腔图像为例对初始口腔结构定位模型进行训练。
本申请实施例中，图像标注是对数据集的图像进行标记以训练学习模型的过程，图像标注的方式可以是使用人工进行标注，也可以是通过LableMe标准软件遍历每张口型图像并进行图像标注，本申请对图像标注的方式不做具体的限定。通过对口腔图像进行图像标注从而让初始口腔结构定位模型确定图像的重要部分(类别)，以便以后可以使用这些标注在新的、从未见过的图像中识别这些类别。示例性地，本申请实施例中可以将训练好的目标口腔结构定位模型应用于咽喉核酸采样，因此标注口腔图像中的特征类别可以包括嘴、牙齿、口咽、悬雍垂和舌头，最后将口咽作为采样部位控制采样设备对待检测人员进行采样。
另外，标注的类别可以根据实际应用场景进行具体的设置，如在对人体进行牙齿检测时可以只标注牙齿，并且可以标注前牙和后牙或是标注中切牙、侧切牙、尖牙、前磨牙和恒磨牙。
在步骤S12中，从所述多个口腔图像中选取训练集和验证集，将所述训练集中的所述口腔图像输入至初始口腔结构定位模型中，获得与所述训练集中每个口腔图像对应的特征图。
本申请实施例中，可以从仅从多个口腔图像中选取训练集和验证集，通过训练集对初始口腔结构模型进行训练，再以验证集对训练的结果进行验证，也可以从多个口腔图像中选取训练集、验证集和测试集，通过训练集对初始口腔结构模型进行训练，以验证集对训练的结果进行验证后再通过测试集测试模型的泛化能力。
本申请实施例中，以训练集、验证集和测试集的比例为7:2:1进行说明，如1000张口腔图像，从中选取700张作为训练集，选取200张作为验证集，选取100张作为测试集，另外，训练集、验证集和测试集的比例也可以根据实际情况进行设置，如6:2:2或是其他比例。
本申请实施例中，口腔结构定位模型可以选用Mask-RCNN卷积网络模型，Mask-RCNN是基于Faster-RCNN的框架，在基础特征网络之后又加入了全连接的分割网络，由原来的两个任务(分类+回归)变为了三个任务(分类+回归+分割)。Mask-RCNN采用和Faster-RCNN相同的两个阶段，对FastRCNN的每个建议框(proposal box)都进行FCN(FullyConvolutional Networks)操作。本申请实施例中采用Mask-RCNN对口腔图像进行图像实例分割(Instance Segmentation)，在语义检测(Semantic Segmentation)的基础上进一步细化，分离对象的前景与背景，在实现区别分割出不同类别的物体的基础上，进一步的分割出同一个类中的不同实例的物体，从而实现口腔结构中不同部位的分割和定位识别。
在步骤S13中，针对所述特征图中的每一个感兴趣区域进行区域特征聚集，确定所述口腔特征区域，对所述感兴趣区域进行图像语义分割，以得到分割结果。
在Mask-RCNN中，首先从训练集中获取一幅口腔图像，然后进行对应的预处理操作，如数据去噪、格式转换，图像大小的调整等，从而得到对应的特征图(feature map)，对这个feature map中的每一点设定预定个的感兴趣区域(Region of Interest，ROI)，从而获得多个候选ROI，可以将这些候选的ROI送入RPN(Region Proposal Network)网络进行二值分类(前景或背景)和边框回归(Bounding-box regression)，过滤掉一部分候选的ROI，然后对剩下的ROI进行区域特征聚集(ROI Align)操作，即先将原图和feature map的像素对应起来，然后将feature map和固定的特征类别对应起来。
在步骤S14中，将所述分割结果与标注的所述口腔特征区域进行比对，基于比对结果调整所述初始口腔结构定位模型的训练参数，若满足训练结束的条件，以所述验证集对所述训练参数进行验证，若验证通过，得到目标口腔结构定位模型。
其中，训练结束的条件可以包括训练时长达到预设时长阈值、训练次数达到预设次数阈值或者是偏差(损失函数)足够小。
本申请实施例中，出于机器学习大量数据和训练的特点，既不能直接将泛化误差作为了解模型泛化能力的信号，因为在部署环境和训练模型之间往复，代价很高；也不能使用模型对训练数据集的拟合程度作为评价模型泛化能力的信号，因为获得的数据可能不具有较好的代表性，因此，可以使用训练集的数据来训练模型，并基于模型多次在验证集上进行测试的结果对模型进行多次调参以及继续训练逼近验证集的结果，再将训练完成的模型应用于测试集上以评估模型在现实场景中的泛化误差，在泛化误差低于预设阈值时，则确定模型训练完成，得到目标口腔结构定位模型。
另外，为了确保泛化误差的稳定性，从而得到理想的模型，也可以通过另一种训练方式对初始结构定位模型进行训练，首先将训练集分为k份，每次使用k份中的1份作为验证集，其他全部作为训练集，通过k次训练后，得到了k个不同的模型，评估k个模型的识别分割效果，从中挑选效果最好的超参数，使用最优的超参数，然后将k份数据全部作为训练集重新训练模型，得到最终所需模型，最后基于测试集对模型进行测试。
由此可见，本申请实施例能够对初始口腔结构定位模型进行训练，基于经过深度学习的模型实现对口腔图像的分割、识别以及定位，可以提高机器对口腔图像识别的准确率，从而使采样设备能够基于获取的待检测人员的口腔图像对人员进行自动采样。
在一可选的实施例中，在步骤S14中将分割结果与口腔特征的区域进行比对，基于比对结果调整初始口腔结构定位模型的训练参数之后，本申请实施例还提供对口腔结构定位模型的参数优化的步骤，对口腔结构定位模型的参数优化的步骤可以包括：
生成参数优化策略，并基于所述参数优化策略对所述初始口腔结构定位模型的训练参数进行配置。
其中，参数优化策略可以包括：
基于训练初始口腔结构定位模型的终端的计算速率，配置选择迁移学习调用的模型、每个所述口腔图像的存储占用空间范围、所述口腔图像中最大可检测物体数量以及学习率，以控制所述初始口腔结构定位模型的训练速率；
基于所述口腔图像的特征个数，和/或定位范围，配置选择所述初始口腔结构定位模型的训练层数和感兴趣区域个数。
具体地，参数优化策略的实现代码可以包括：
BACKBONE＝“resnet50”；这个是配置迁移学习调用的模型，可以分为resnet101和resnet50，可以根据计算机的性能进行选择，在性能较高时，可以选择resnet101，而在计算机的性能较低时，可以选择resnet50使得网络更小，提高训练速度。
IMAGE_MIN_DIM＝800
IMAGE_MAX_DIM＝1024；
此处是设置训练时的每个图像存储占用空间范围的大小，最终以IMAGE_MAX_DIM为准，如果计算机的性能较差，可以调小每个图像的大小，降低训练模型时占用的计算资源。
MAX_GT_INSTANCES＝100；此处是设置图像中最多可检测出来的物体数量，如本申请中，设置的特征类别有嘴、牙齿、口咽、悬雍垂和舌头等五类，因此可以将数值设置为5。
GPU_COUNT＝1
IMAGES_PER_GPU＝2；此处是对GPU的设置，如果显存不够，可以把2调成1。
model.train(…,layers＝‘heads’,…)
model.train(…,layers＝‘3+’,…)
model.train(…,layers＝‘4+’,…)
model.train(…,layers＝‘all’,…)
此处是选择训练的层数，可以根据模型的应用进行具体的设置。
TRAIN_ROIS_PER_IMAGE＝200；此处是每个特征图像中选取感兴趣区域个数的设置，也可以根据模型的应用进行具体的设置。
由此可见，本申请实施例可以根据计算机的计算资源、性能以及模型的应用方式生成参数优化策略，并对模型的训练参数进行优化配置，调整模型的训练参数，如存储占用空间范围、最大可检测物体数量、训练层数和感兴趣区域个数等训练参数，从而能够提高模型的训练效率以及提高计算资源利用率。
在一可选的实施例中，在步骤S14之前，本申请实施例提供的方法还可以包括：
根据模型训练过程中训练函数接口的参数设置，配置每间隔预设训练时间或预设训练轮数保存一次所述初始口腔结构定位模型。
本申请实施例中，可以基于PaddleX平台对初始口腔结构定位模型进行训练，PaddleX在模型训练过程中，可以根据train函数接口中的save_interval_epoch参数设置，每间隔相应轮数或者设置每个间隔时间保存一次模型。
本申请实施例中，在训练过程中保存的模型，可用于作为预训练权重(pretrain_weights)继续训练模型，也可使用paddlex.load_model接口加载测试模型的预测和评估等。可以提高模型训练效率，以及提高资源复用率。
在一可选的实施例中，在步骤S11之后，本申请实施例提供的方法还可以包括：将所述口腔图像转换为预设格式，以基于转换格式后的所述口腔图像对所述初始口腔结构定位模型进行训练或验证。
基于同一发明构思，本申请实施例还提供一种口腔结构定位方法，请参看图2，图2为本申请实施例提供的口腔结构定位方法的步骤示意图，口腔结构定位的步骤可以包括：
在步骤S21中，获取待检测口腔图像。
在步骤S22中，对所述待检测口腔图像进行预处理，将所述待检测口腔图像输入训练完成的目标口腔结构定位模型中，以得到分割完成的口腔结构定位示意图。
其中，目标口腔结构定位模型是根据上述任一实现方式中模型训练方法得到的。
本申请实施例中，可以通过2D工业相机进行图像采集，采集到一帧图像之后，可以将图像的尺寸进行缩放，本申请实施例中将图像的尺寸缩放为640*480的大小。
对模型进行训练以及使用模型进行口腔图像识别可以是计算机处于不同的状态进行的，计算机可以在离线模式下进行初始口腔结构定位模型的训练，在在线模式下进行模型加载和系统初始化，将离线状态下保持的模型加载出来，同时初始化相机接口以及外部通讯接口。通过训练完成的目标口腔结构定位模型识别待检测人员的口腔图像，并实现目标的可视化，从而得到口腔结构定位示意图。
在一可选的实施例中，本申请提供的口腔结构定位方法还可以包括基于所述口腔结构定位示意图确定对待采样人员进行采样时的采样位置。
由此可见，本申请实施例可以基于经过深度学习的模型实现对口腔图像的分割、识别以及定位，从而可以提高口腔图像识别的准确率，使采样设备能够完成自动采样。
基于同一发明构思，本申请实施例还提供一种口腔结构定位模型训练装置30，请参看图3，图3为本申请实施例提供的口腔结构定位模型训练装置的示意图，口腔结构定位模型训练装置40可以包括：
标注模块31，用于获取标注口腔特征区域的多个口腔图像。
训练模块32，用于从所述多个口腔图像中选取训练集和验证集，将所述训练集中的所述口腔图像输入至初始口腔结构定位模型中，获得与所述训练集中每个口腔图像对应的特征图；以及针对所述特征图中的每一个感兴趣区域进行区域特征聚集，确定所述口腔特征区域，对所述感兴趣区域进行图像语义分割，以得到分割结果。
验证模块33，用于将所述分割结果与标注的所述口腔特征区域进行比对，基于比对结果调整所述初始口腔结构定位模型的训练参数，若满足训练结束的条件，以所述验证集对所述训练参数进行验证，若验证通过，得到目标口腔结构定位模型。
由此可见，本申请实施例能够对初始口腔结构定位模型进行训练，基于经过深度学习的模型实现对口腔图像的分割、识别以及定位，可以提高机器对口腔图像识别的准确率，从而使采样设备能够基于获取的待检测人员的口腔图像对人员进行自动采样。
可选地，口腔结构定位模型训练装置30还可以包括参数优化模块，用于生成参数优化策略，并基于所述参数优化策略对所述初始口腔结构定位模型的训练参数进行配置；
其中，所述参数优化策略包括：
基于训练初始口腔结构定位模型的终端的计算速率，配置选择迁移学习调用的模型、每个所述口腔图像的存储占用空间范围、所述口腔图像中最大可检测物体数量以及学习率，以控制所述初始口腔结构定位模型的训练速率；以及基于所述口腔图像的特征个数，和/或定位范围，配置选择所述初始口腔结构定位模型的训练层数和感兴趣区域个数。
由此可见，本申请实施例可以根据计算机的计算资源、性能以及模型的应用方式生成参数优化策略，并对模型的训练参数进行优化配置，调整模型的训练参数，如存储占用空间范围、最大可检测物体数量、训练层数和感兴趣区域个数等训练参数，从而能够提高模型的训练效率以及提高计算资源利用率。
可选地，口腔结构定位模型训练装置30还可以包括存储模块，用于根据模型训练过程中训练函数接口的参数设置，配置每间隔预设训练时间或预设训练轮数保存一次所述初始口腔结构定位模型。
本申请实施例中，在训练过程中保存的模型，可用于作为预训练权重(pretrain_weights)继续训练模型，也可使用paddlex.load_model接口加载测试模型的预测和评估等。可以提高模型训练效率，以及提高资源复用率。
可选地，口腔结构定位模型训练装置30还可以包括格式转换模块，用于将所述口腔图像转换为预设格式，以基于转换格式后的所述口腔图像对所述初始口腔结构定位模型进行训练或验证。
基于同一发明构思，本申请实施例还提供一种口腔结构定位装置40，请参看图4，图4为本申请实施例提供的口腔结构定位装置的示意图，口腔结构定位装置40可以包括：
获取模块41，用于获取待检测口腔图像。
定位模块42，用于在对所述待检测口腔图像进行预处理后，将所述待检测口腔图像输入训练完成的目标口腔结构定位模型中，以得到分割完成的口腔结构定位示意图。
其中，所述目标口腔结构定位模型是根据上述任一模型训练实现方式得到的。
由此可见，本申请实施例可以基于经过深度学习的模型实现对口腔图像的分割、识别以及定位，从而可以提高口腔图像识别的准确率，使采样设备能够完成自动采样。
可选地，口腔结构定位装置40还可以包括采样模块，用于基于所述口腔结构定位示意图确定对待采样人员进行采样时的采样位置；以及对带采样人员进行采样。
基于同一发明构思，本申请实施例提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
所述计算机可读存储介质可以是随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等各种可以存储程序代码的介质。其中，存储介质用于存储程序，所述处理器在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的电子终端所执行的方法可以应用于处理器中，或者由处理器实现。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种口腔结构定位模型训练方法，其特征在于，包括：
获取标注口腔特征区域的多个口腔图像；
从所述多个口腔图像中选取训练集和验证集，将所述训练集中的所述口腔图像输入至初始口腔结构定位模型中，获得与所述训练集中每个口腔图像对应的特征图；
针对所述特征图中的每一个感兴趣区域进行区域特征聚集，确定所述口腔特征区域，对所述感兴趣区域进行图像语义分割，以得到分割结果；
将所述分割结果与标注的所述口腔特征区域进行比对，基于比对结果调整所述初始口腔结构定位模型的训练参数，若满足训练结束的条件，以所述验证集对所述训练参数进行验证，若验证通过，得到目标口腔结构定位模型。
2.根据权利要求1所述的方法，其特征在于，在所述将所述分割结果与标注的所述口腔特征区域进行比对，基于比对结果调整所述初始口腔结构定位模型的训练参数之后，所述方法还包括：
生成参数优化策略，基于所述参数优化策略对所述初始口腔结构定位模型的训练参数进行配置；
其中，所述参数优化策略包括：
基于训练初始口腔结构定位模型的终端的计算速率，配置选择迁移学习调用的模型、每个所述口腔图像的存储占用空间范围、所述口腔图像中最大可检测物体数量以及学习率，以控制所述初始口腔结构定位模型的训练速率；
基于所述口腔图像的特征个数，和/或定位范围，配置选择所述初始口腔结构定位模型的训练层数和感兴趣区域个数。
3.根据权利要求1或2所述的方法，其特征在于，在所述将所述分割结果与标注的所述口腔特征区域进行比对，基于比对结果调整所述初始口腔结构定位模型的训练参数，若满足训练结束的条件，以所述验证集对所述训练参数进行验证，若验证通过，得到目标口腔结构定位模型之前，所述方法还包括：
根据模型训练过程中训练函数接口的参数设置，配置每间隔预设训练时间或预设训练轮数保存一次所述初始口腔结构定位模型。
4.根据权利要求1所述的方法，其特征在于，在所述获取标注口腔特征区域的多个口腔图像之后，所述方法还包括：
将所述口腔图像转换为预设格式，以基于转换格式后的所述口腔图像对所述初始口腔结构定位模型进行训练或验证。
5.根据权利要求1任一项所述的方法，其特征在于，其中，口腔特征的类别包括：嘴、牙齿、口咽、悬雍垂和舌头。
6.一种口腔结构定位方法，其特征在于，包括：
获取待检测口腔图像；
对所述待检测口腔图像进行预处理，将所述待检测口腔图像输入训练完成的目标口腔结构定位模型中，以得到分割完成的口腔结构定位示意图；其中，所述目标口腔结构定位模型是根据权利要求1-5任一项模型训练方法得到的。
7.根据权利要求6所述的方法，其特征在于，所述待检测口腔图像所述方法还包括：
基于所述口腔结构定位示意图确定对待采样人员进行采样时的采样位置。
8.一种口腔结构定位模型训练装置，其特征在于，包括：
标注模块，用于获取标注口腔特征区域的多个口腔图像；
训练模块，用于从所述多个口腔图像中选取训练集和验证集，将所述训练集中的所述口腔图像输入至初始口腔结构定位模型中，获得与所述训练集中每个口腔图像对应的特征图；以及针对所述特征图中的每一个感兴趣区域进行区域特征聚集，确定所述口腔特征区域，对所述感兴趣区域进行图像语义分割，以得到分割结果；
验证模块，用于将所述分割结果与标注的所述口腔特征区域进行比对，基于比对结果调整所述初始口腔结构定位模型的训练参数，若满足训练结束的条件，以所述验证集对所述训练参数进行验证，若验证通过，得到目标口腔结构定位模型。
9.一种口腔结构定位装置，其特征在于，包括：
获取模块，用于获取待检测口腔图像；
定位模块，用于在对所述待检测口腔图像进行预处理后，将所述待检测口腔图像输入训练完成的目标口腔结构定位模型中，以得到分割完成的口腔结构定位示意图；其中，所述目标口腔结构定位模型是根据权利要求1-5任一项模型训练方法得到的。
10.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-7中任一项所述方法中的步骤。
CN202210604285.4A 2022-05-30 2022-05-30 口腔结构定位模型训练方法、定位方法、装置和电子设备 Pending CN114926627A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210604285.4A CN114926627A (zh) 2022-05-30 2022-05-30 口腔结构定位模型训练方法、定位方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210604285.4A CN114926627A (zh) 2022-05-30 2022-05-30 口腔结构定位模型训练方法、定位方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN114926627A true CN114926627A (zh) 2022-08-19

Family

ID=82812965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210604285.4A Pending CN114926627A (zh) 2022-05-30 2022-05-30 口腔结构定位模型训练方法、定位方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114926627A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024108803A1 (zh) * 2022-11-25 2024-05-30 漳州松霖智能家居有限公司 一种口腔检测方法、装置、系统及相关设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024108803A1 (zh) * 2022-11-25 2024-05-30 漳州松霖智能家居有限公司 一种口腔检测方法、装置、系统及相关设备

Similar Documents

Publication Publication Date Title
CN109003390A (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
CN110210513B (zh) 数据分类方法、装置及终端设备
CN109740668B (zh) 深度模型训练方法及装置、电子设备及存储介质
KR20200145827A (ko) 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체
CN109886928A (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN110765865B (zh) 基于改进的yolo算法的水下目标检测方法
CN109214501B (zh) 用于识别信息的方法和装置
CN111738083B (zh) 一种人脸识别模型的训练方法和装置
CN110956615A (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN112182269B (zh) 图像分类模型的训练、图像分类方法、装置、设备及介质
CN113420745A (zh) 基于图像的目标识别方法、系统、存储介质及终端设备
CN114926627A (zh) 口腔结构定位模型训练方法、定位方法、装置和电子设备
CN111310837A (zh) 车辆改装识别方法、装置、系统、介质和设备
CN113177554B (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN114494863A (zh) 基于Blend Mask算法的动物幼崽计数方法以及装置
WO2024055864A1 (zh) 结合rpa和ai实现ia的分类模型的训练方法及装置
CN112328822B (zh) 图片预标注方法、装置及终端设备
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN113838076A (zh) 目标图像中的对象轮廓的标注方法及装置、存储介质
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN113450381B (zh) 一种图像分割模型的准确度评价系统及方法
CN112434717A (zh) 一种模型训练方法及装置
CN111738454B (zh) 一种目标检测方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Building 6, 646 Jianchuan Road, Minhang District, Shanghai 201100

Applicant after: Jieka Robot Co.,Ltd.

Address before: Building 6, 646 Jianchuan Road, Minhang District, Shanghai 201100

Applicant before: SHANGHAI JAKA ROBOTICS Ltd.

CB02 Change of applicant information