CN116824275B - 一种实现智能模型优化的方法、装置和计算机设备 - Google Patents

一种实现智能模型优化的方法、装置和计算机设备 Download PDF

Info

Publication number
CN116824275B
CN116824275B CN202311091070.8A CN202311091070A CN116824275B CN 116824275 B CN116824275 B CN 116824275B CN 202311091070 A CN202311091070 A CN 202311091070A CN 116824275 B CN116824275 B CN 116824275B
Authority
CN
China
Prior art keywords
images
pseudo
time line
image sequence
acquisition time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311091070.8A
Other languages
English (en)
Other versions
CN116824275A (zh
Inventor
邵宏亭
冯健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Medcare Digital Engineering Co ltd
Original Assignee
Qingdao Medcare Digital Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Medcare Digital Engineering Co ltd filed Critical Qingdao Medcare Digital Engineering Co ltd
Priority to CN202311091070.8A priority Critical patent/CN116824275B/zh
Publication of CN116824275A publication Critical patent/CN116824275A/zh
Application granted granted Critical
Publication of CN116824275B publication Critical patent/CN116824275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及图像处理技术领域，提供一种实现智能模型优化的方法、装置和计算机设备，该方法包括：根据部位分类模型对待筛选数据库中图像序列中的图像进行部位识别，得到对应图像的伪标签，图像序列包括单一病例内镜检查过程中采集的按照采集时间线进行排序的图像；获取待筛选数据库中各个图像位于采集时间线的位置；预估各个伪标签表示的部位类别在采集时间线上的可信分布区间；从待筛选数据库中获取位置分布在各个伪标签的可信分布区间内且识别结果为对应伪标签的目标图像，将目标图像加入部位分类模型的训练数据集。本发明基于各部位类别在采集时间线分布情况进行图像筛选，将识别结果可信度高的图像加入训练集，实现了模型的持续循环优化。

Description

一种实现智能模型优化的方法、装置和计算机设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种实现智能模型优化的方法、装置和计算机设备。
背景技术
人工智能和内镜检查技术的结合，是一种新型的医疗技术，可以通过自动化和智能化的识别模型算法，提高内镜检查的效率和准确性，从而辅助更加科学地制定诊断和治疗方案。
传统的内镜检查需要医生手动操作内窥镜，准确率和效率都受到医生个人经验和技能的限制。而人工智能识别模型可以通过深度学习算法，对大量的内镜图像数据进行分析和学习，从而在检查过程中辅助医生更好的进行操作，但智能模型训练及优化过程需要大量已标注数据进行训练。因此，如何解决内镜专业领域数据标注困难、标注成本高的问题，是实现智能模型优化过程中亟待解决的技术问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题的一种实现智能模型优化的方法、装置和计算机设备。
本发明的一个方面，提供了一种实现智能模型优化的方法，所述方法包括：
根据预先训练的部位分类模型分别对预设的待筛选数据库中每一图像序列中的图像进行部位识别，将部位识别结果作为对应图像的伪标签，所述图像序列包括单一病例内镜检查过程中采集的图像，所述图像按照采集时间线进行排序；
获取所述待筛选数据库中的每一图像序列中各个图像位于采集时间线的位置；
预估各个伪标签表示的部位类别在采集时间线上的可信分布区间，将其作为各个伪标签的可信分布区间；
从所述待筛选数据库中获取位置分布在各个伪标签的可信分布区间内且识别结果为对应伪标签的目标图像，以目标图像的伪标签作为正式标签将目标图像加入所述部位分类模型的训练数据集，实现所述部位分类模型的优化。
可选地，所述方法还包括：
对预设的训练数据库进行部位类别标注，形成初始训练数据集，所述部位类别包括解剖部位类别和无效类别；
采用预先构建的深度学习模型对所述初始训练数据集进行学习训练，得到用于识别内镜检查部位的部位分类模型。
可选地，获取所述待筛选数据库中的每一图像序列中各个图像位于采集时间线的位置，包括：
将单一病例内镜检查过程的检查时间线映射为1，按照如下计算模型计算待筛选数据库中的每一图像序列中各个图像位于当前目标图像序列对应时间线的位置d：
d=图像在图像序列的位置序号/图像序列中的图像总数量。
可选地，所述预估各个伪标签表示的部位类别在采集时间线上的可信分布区间，作为各个伪标签的可信分布区间，包括:
从所述待筛选数据库中选取图像序列样本集，根据图像序列样本集的图像序列中位于采集时间线各个位置的图像对应的伪标签分别统计与各个伪标签对应的图像在采集时间线上的分布统计数据；
根据所述分布统计数据确定各个伪标签表示的部位类别在采集时间线上的可信分布区间。
可选地，所述根据图像序列样本集的图像序列中位于采集时间线各个位置的图像对应的伪标签分别统计与各个伪标签对应的图像在采集时间线上的分布统计数据，包括：
获取图像序列样本集的图像序列中位于采集时间线各个位置的图像对应的伪标签；
以采集时间线的各个位置为横坐标，以图像对应的伪标签出现的次数为纵坐标，在由所述横坐标和纵坐标构成的坐标系中统计各个伪标签对应的图像在采集时间线的各个位置的数量分布。
可选地，根据所述分布统计数据确定各个伪标签表示的部位类别在采集时间线上的可信分布区间，包括：
分别对各个伪标签对应的图像在采集时间线的各个位置的数量分布进行多项式曲线拟合，分别得到与各个伪标签对应的曲线函数fk(x)，其中k为伪标签所表示的部位类别；
以所述曲线函数的最大值和/或极大值对应的横坐标为中心进行可信分布区间选取。
可选地，所述以所述曲线函数的最大值和/或极大值对应的横坐标为中心进行可信分布区间选取，包括：
按照预设的区间范围以曲线函数的最大值和/或极大值对应的横坐标x0为中心在x0的左右两侧进行可信分布区间D=[x1，x2]选取；
或，按照预设的选取条件以曲线函数的最大值和/或极大值对应的横坐标x0为中心在x0的左右两侧进行可信分布区间D=[x1，x2]选取，所述选取条件如下：
其中，x1和x2为可信分布区间D的两个端点的坐标值，λ为预设的超参数，f1_score为部位分类模型采用固定测试集分类为部位k时对应的测试指标。
可选地，在根据预先训练的部位分类模型分别对预设的待筛选数据库中每一图像序列中的图像进行部位识别之前，所述方法还包括：
判断所述部位分类模型的训练数据集中的图像数量是否大于预设的数量阈值；
若训练数据集中的图像数量小于或等于预设的数量阈值，则执行所述根据预先训练的部位分类模型分别对预设的待筛选数据库中每一图像序列中的图像进行部位识别的步骤，否则结束当前智能模型优化过程。
本发明的另一个方面，提供了一种实现智能模型优化的装置，所述装置包括用于实现如上任一项所述的实现智能模型优化的方法的功能模块。
本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时，实现如上任一项所述的实现智能模型优化的方法的步骤。
本发明实施例提供的一种实现智能模型优化的方法、装置和计算机设备，根据预设的通过少量已标注数据训练的部位分类模型对大量未标注检查数据进行识别以得到对应图像的伪标签，然后获取待筛选数据库中各个图像位于采集时间线的位置，通过预估各个伪标签表示的部位类别在采集时间线上的可信分布情况并基于部位类别在采集时间线上的可信分布情况进行辅助筛选，以从待筛选数据库中获取位置分布在各个伪标签的可信分布区间内且识别结果为对应伪标签的目标图像，将可信任程度高的目标图像加入部位分类模型的训练数据集，解决了内镜专业领域数据标注困难、标注成本高的问题，实现了智能模型的持续循环优化。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1为本发明实施例的一种实现智能模型优化的方法的流程图；
图2为本发明实施例的一种实现智能模型优化的方法中步骤S3的细分实现流程图；
图3为部位类别为体下大弯侧的分布统计情况示意图；
图4为本发明另一实施例的一种实现智能模型优化的方法的流程图；
图5为本发明实施例的一种实现智能模型优化的装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
实施例一
本发明实施例提供了一种实现智能模型优化的方法，如图1所示，本发明提出的实现智能模型优化的方法，包括以下步骤：
S1、根据预先训练的部位分类模型分别对预设的待筛选数据库中每一图像序列中的图像进行部位识别，将部位识别结果作为对应图像的伪标签，所述图像序列包括单一病例内镜检查过程中采集的图像，所述图像按照采集时间线进行排序。
本实施例中，以上消化道检查过程为例进行说明。通过收集大量的医生进行上消化道检查过程中脚踏采集图像，按照病例分开保存，各病例中的图像按照内镜检查过程中图像采集时间顺序进行排序，形成按照采集时间线排序的图像序列，将收集的N个病例的图像序列形成待筛选数据集B。
S2、获取所述待筛选数据库中的每一图像序列中各个图像位于采集时间线的位置；
S3、预估各个伪标签表示的部位类别在采集时间线上的可信分布区间，将其作为各个伪标签的可信分布区间；
S4、从所述待筛选数据库中获取位置分布在各个伪标签的可信分布区间内且识别结果为对应伪标签的目标图像，以目标图像的伪标签作为正式标签将目标图像加入所述部位分类模型的训练数据集，实现所述部位分类模型的优化。
本发明实施例提供的实现智能模型优化的方法，根据预设的通过少量已标注数据训练的部位分类模型对大量未标注检查数据进行识别以得到对应图像的伪标签，然后获取待筛选数据库中各个图像位于采集时间线的位置，通过预估各个伪标签表示的部位类别在采集时间线上的可信分布情况并基于部位类别在采集时间线上的可信分布情况进行辅助筛选，以从待筛选数据库中获取位置分布在各个伪标签的可信分布区间内且识别结果为对应伪标签的目标图像，将可信任程度高的目标图像加入部位分类模型的训练数据集，解决了内镜专业领域数据标注困难、标注成本高的问题，实现了智能模型的持续循环优化。
本发明实施例中，通过对预设的训练数据库进行部位类别标注，形成初始训练数据集，所述部位类别包括解剖部位类别和无效类别；然后采用预先构建的深度学习模型对所述初始训练数据集进行学习训练，得到用于识别内镜检查部位的部位分类模型。
具体地，对上消化道检查过程中收集的少量数据进行31个部位类别的分类标注，包括30个解剖部位类别和1个无效（未知）类别，形成部位分类模型的训练数据集A。然后使用部位分类模型的训练数据集A按照6:2:2划分训练集、验证集和测试集，构建用于识别内镜检查部位的深度学习模型α。在一个具体实例中，该模型可以使用经典分类模型实现，模型输入为单帧图像3通道彩色图，模型输出为经softmax归一化后所属各部位的概率值。
本发明实施例中，步骤S2中的获取所述待筛选数据库中的每一图像序列中各个图像位于采集时间线的位置，具体包括如下实现步骤：将单一病例内镜检查过程的检查时间线映射为1，按照如下计算模型计算待筛选数据库中的每一图像序列中各个图像位于当前目标图像序列对应时间线的位置d。
具体地，使用部位分类模型α对待筛选数据集B中按照病例保存的图像序列中的各个图像进行识别，将识别结果标记为对应图像的伪标签，然后 将单一病例内镜检查过程的完整检查时间线映射为1，那么每张图像位于时间线的位置d即为：d=图像在图像序列的位置序号/图像序列中的图像总数量。
本发明实施例中，如图2所示，步骤S3中的预估各个伪标签表示的部位类别在采集时间线上的可信分布区间，作为各个伪标签的可信分布区间，具体包括如下细分步骤:
S31、从所述待筛选数据库中选取图像序列样本集，根据图像序列样本集的图像序列中位于采集时间线各个位置的图像对应的伪标签分别统计与各个伪标签对应的图像在采集时间线上的分布统计数据；
S32、根据所述分布统计数据确定各个伪标签表示的部位类别在采集时间线上的可信分布区间。
其中，所述根据图像序列样本集的图像序列中位于采集时间线各个位置的图像对应的伪标签分别统计与各个伪标签对应的图像在采集时间线上的分布统计数据，具体包括：获取图像序列样本集的图像序列中位于采集时间线各个位置的图像对应的伪标签；以采集时间线的各个位置为横坐标，以图像对应的伪标签出现的次数为纵坐标，在由所述横坐标和纵坐标构成的坐标系中统计各个伪标签对应的图像在采集时间线的各个位置的数量分布。
具体地，可以在待筛选数据集B中收集的N个检查病例的图像数据中，抽样M个检查，以时间线（每张图像位于时间线的位置d）为横坐标、图像识别的伪标签出现的次数为纵坐标，将收集的所有30个解剖部位类别对应伪标签分别统计。图3为部位类别为体下大弯侧的分布统计情况。
可理解的，采用坐标系的方式对伪标签对应的图像在采集时间线上的分布数据的统计只是一种可行实现方案，除此之外，还可以通过直接统计采集时间线的各个位置信息处对应图像被识别为各个伪标签的次数，统计出各个伪标签对应的图像在采集时间线的各个位置的数量分布，本发明对此不做具体限定。
其中，根据所述分布统计数据确定各个伪标签表示的部位类别在采集时间线上的可信分布区间，包括：分别对各个伪标签对应的图像在采集时间线的各个位置的数量分布进行多项式曲线拟合，分别得到与各个伪标签对应的曲线函数fk(x)，其中k为伪标签所表示的部位类别；以所述曲线函数的最大值和/或极大值对应的横坐标为中心进行可信分布区间选取。
进一步地，以所述曲线函数的最大值和/或极大值对应的横坐标为中心进行可信分布区间选取，包括：按照预设的区间范围以曲线函数的最大值和/或极大值对应的横坐标x0为中心在x0的左右两侧进行可信分布区间D=[x1，x2]选取；或，按照预设的选取条件以曲线函数的最大值和/或极大值对应的横坐标x0为中心在x0的左右两侧进行可信分布区间D=[x1，x2]选取，所述选取条件如下：
其中，x1和x2为可信分布区间D的两个端点的坐标值，λ为预设的超参数，为了保证筛选图像的质量，初始λ取值要小，即可信任区间D位于最大值所在横坐标x0左右的小范围内， f1_score为部位分类模型采用固定测试集分类为部位k时对应的测试指标。其中，固定测试集为初始训练数据集中预先划分出的测试集。具体的，初始训练数据集中标注数据按照6:2:2划分为训练集、验证集和测试集，训练集用于训练初始部位分类模型，测试集用于获取测试指标。
具体的，本发明可以根据历史经验值按照预设的区间范围以曲线函数的最大值和/或极大值对应的横坐标x0为中心在x0的左右两侧进行可信分布区间选取，也可以通过对表示各类别的伪标签对应的图像在采集时间线的各个位置的数量分布进行多项式曲线拟合，得到曲线函数fk(x)，然后以各伪标签对应部位图像的分布统计最大值所在横坐标x0为起始点，以步长s沿x轴反向和正向逐步增大选择区域[x0-a×s,x0+b×s]，其中a、b为跨越的步数，始终保持fk(x0-as)≈fk(x0+bs)。在保持选取条件中不等式一且初次满足选取条件中不等式二的情况下，即x0所在小区间范围内该类别图像数量达到被识别为该类别图像的某一占比时，确定可信分布区间D=[x1，x2]。其中，初始化λ取值可选为0.05-0.2，步长s取值可选为0.01-0.05，本发明对此不作具体限定，可根据实际需求进行设置。
进一步地，考虑到内镜检查包括进境和退镜两个过程，所以部分部位的分布统计函数fk(x)往往存在两个极大值，即进镜的时候路过该部位和退镜的时候路过该部位，因此本发明在计算可信分布区间时不仅考虑到分布统计最大值所在横坐标位置的图像，还考虑到分布统计极大值所在横坐标位置的图像，能够更加准确地实现图像的筛选。需要说明的是，当以分布统计极大值所在横坐标进行可信分布区间估计时，λ的取值要远小于以最大值进行可信分布区间选择过程中的取值。
针对各个部分类别，将符合该类别可信分布区间D且识别为该类别的图像以识别结果为标签加入部位分类模型训练数据集A并训练优化部位分类模型α。
本发明实施例中，在根据预先训练的部位分类模型分别对预设的待筛选数据库中每一图像序列中的图像进行部位识别之前，所述方法还包括：判断所述部位分类模型的训练数据集中的图像数量是否大于预设的数量阈值；若训练数据集中的图像数量小于或等于预设的数量阈值，则执行所述根据预先训练的部位分类模型分别对预设的待筛选数据库中每一图像序列中的图像进行部位识别的步骤，否则结束当前智能模型优化过程。
本实施例中，通过多次重复上述智能模型优化步骤，随着迭代次数的增加，λ取值可适当增大，从而补充更多的图像加入训练。如图4所示，当部位分类模型训练数据集A满足总图像量的某一占比时，也即部位分类模型的训练数据集中的图像数量大于预设的数量阈值时，结束整个优化过程，否则返回上述智能模型优化步骤，继续筛选可信任程度高的有效图像加入部位分类模型α的训练集。
本发明实现了部位分类模型的半监督学习方法，通过少量已标注数据训练模型，基于该模型对大量未标注检查数据进行识别，并基于检查过程中消化道各部位类别在采集时间线上的分布情况进行辅助筛选，以将识别结果可信任程度高的有效图像加入部位分类模型α的训练集，解决了内镜专业领域数据标注困难、标注成本高的问题，实现了智能模型的持续循环优化。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例二
本发明另一实施例还提供了一种实现智能模型优化的装置，所述装置包括用于实现如上任一项所述的实现智能模型优化的方法的功能模块。图5示意性的示出了本发明实施例提供一种实现智能模型优化的装置的结构示意图，参照图5，本发明实施例的一种实现智能模型优化的装置具体包括识别模块501、获取模块502、计算模块503和模型优化模块504，其中：
识别模块501，用于根据预先训练的部位分类模型分别对预设的待筛选数据库中每一图像序列中的图像进行部位识别，将部位识别结果作为对应图像的伪标签，所述图像序列包括单一病例内镜检查过程中采集的图像，所述图像按照采集时间线进行排序；
获取模块502，用于获取所述待筛选数据库中的每一图像序列中各个图像位于采集时间线的位置；
计算模块503，用于预估各个伪标签表示的部位类别在采集时间线上的可信分布区间，作为各个伪标签的可信分布区间；
模型优化模块504，用于从所述待筛选数据库中获取位置分布在各个伪标签的可信分布区间内且识别结果为对应伪标签的目标图像，以目标图像的伪标签作为正式标签将目标图像加入所述部位分类模型的训练数据集，实现所述部位分类模型的优化。
本发明实施例提供的一种实现智能模型优化的装置，识别模块501根据预设的通过少量已标注数据训练的部位分类模型对大量未标注检查数据进行识别以得到对应图像的伪标签，然后获取模块502获取待筛选数据库中各个图像位于采集时间线的位置，通过计算模块503预估各个伪标签表示的部位类别在采集时间线上的可信分布情况，模型优化模块504基于部位类别在采集时间线上的可信分布情况进行辅助筛选，以从待筛选数据库中获取位置分布在各个伪标签的可信分布区间内且识别结果为对应伪标签的目标图像，将可信任程度高的目标图像加入部位分类模型的训练数据集，解决了内镜专业领域数据标注困难、标注成本高的问题，实现了智能模型的持续循环优化。
实施例三
本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个实现智能模型优化的方法实施例中的步骤，例如图1所示的步骤S1-S4。或者，所述处理器执行所述计算机程序时实现上述各实现智能模型优化的装置实施例中各模块的功能，例如图5所示的识别模块501、获取模块502、计算模块503和模型优化模块504。
本发明实施例提供的一种实现智能模型优化的方法、装置和计算机设备，根据预设的通过少量已标注数据训练的部位分类模型对大量未标注检查数据进行识别以得到对应图像的伪标签，然后获取待筛选数据库中各个图像位于采集时间线的位置，通过预估各个伪标签表示的部位类别在采集时间线上的可信分布情况并基于部位类别在采集时间线上的可信分布情况进行辅助筛选，以从待筛选数据库中获取位置分布在各个伪标签的可信分布区间内且识别结果为对应伪标签的目标图像，将可信任程度高的目标图像加入部位分类模型的训练数据集，解决了内镜专业领域数据标注困难、标注成本高的问题，实现了智能模型的持续循环优化。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种实现智能模型优化的方法，其特征在于，所述方法包括：
根据预先训练的部位分类模型分别对预设的待筛选数据库中每一图像序列中的图像进行部位识别，将部位识别结果作为对应图像的伪标签，所述图像序列包括单一病例内镜检查过程中采集的图像，所述图像按照采集时间线进行排序；
获取所述待筛选数据库中的每一图像序列中各个图像位于采集时间线的位置；
预估各个伪标签表示的部位类别在采集时间线上的可信分布区间，作为各个伪标签的可信分布区间；所述预估各个伪标签表示的部位类别在采集时间线上的可信分布区间，作为各个伪标签的可信分布区间，具体包括：从所述待筛选数据库中选取图像序列样本集，根据图像序列样本集的图像序列中位于采集时间线各个位置的图像对应的伪标签分别统计与各个伪标签对应的图像在采集时间线上的分布统计数据；根据所述分布统计数据确定各个伪标签表示的部位类别在采集时间线上的可信分布区间；
从所述待筛选数据库中获取位置分布在各个伪标签的可信分布区间内且识别结果为对应伪标签的目标图像，以目标图像的伪标签作为正式标签将目标图像加入所述部位分类模型的训练数据集，实现所述部位分类模型的优化。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对预设的训练数据库进行部位类别标注，形成初始训练数据集，所述部位类别包括解剖部位类别和无效类别；
采用预先构建的深度学习模型对所述初始训练数据集进行学习训练，得到用于识别内镜检查部位的部位分类模型。
3.根据权利要求1所述的方法，其特征在于，获取所述待筛选数据库中的每一图像序列中各个图像位于采集时间线的位置，包括：
将单一病例内镜检查过程的检查时间线映射为1，按照如下计算模型计算待筛选数据库中的每一图像序列中各个图像位于当前目标图像序列对应时间线的位置d：
d=图像在图像序列的位置序号/图像序列中的图像总数量。
4.根据权利要求1所述的方法，其特征在于，所述根据图像序列样本集的图像序列中位于采集时间线各个位置的图像对应的伪标签分别统计与各个伪标签对应的图像在采集时间线上的分布统计数据，包括：
获取图像序列样本集的图像序列中位于采集时间线各个位置的图像对应的伪标签；
以采集时间线的各个位置为横坐标，以图像对应的伪标签出现的次数为纵坐标，在由所述横坐标和纵坐标构成的坐标系中统计各个伪标签对应的图像在采集时间线的各个位置的数量分布。
5.根据权利要求4所述的方法，其特征在于，根据所述分布统计数据确定各个伪标签表示的部位类别在采集时间线上的可信分布区间，包括：
分别对各个伪标签对应的图像在采集时间线的各个位置的数量分布进行多项式曲线拟合，分别得到与各个伪标签对应的曲线函数fk(x)，其中k为伪标签所表示的部位类别；
以所述曲线函数的最大值和/或极大值对应的横坐标为中心进行可信分布区间选取。
6.根据权利要求5所述的方法，其特征在于，所述以所述曲线函数的最大值和/或极大值对应的横坐标为中心进行可信分布区间选取，包括：
按照预设的区间范围以曲线函数的最大值和/或极大值对应的横坐标x0为中心在x0的左右两侧进行可信分布区间D=[x1，x2]选取；
或，按照预设的选取条件以曲线函数的最大值和/或极大值对应的横坐标x0为中心在x0的左右两侧进行可信分布区间D=[x1，x2]选取，所述选取条件如下：
其中，x1和x2为可信分布区间D的两个端点的坐标值，λ为预设的超参数， f1_score为部位分类模型采用预设的固定测试集分类为部位k时对应的测试指标。
7.根据权利要求1-6任一项所述的方法，其特征在于，在根据预先训练的部位分类模型分别对预设的待筛选数据库中每一图像序列中的图像进行部位识别之前，所述方法还包括：
判断所述部位分类模型的训练数据集中的图像数量是否大于预设的数量阈值；
若训练数据集中的图像数量小于或等于预设的数量阈值，则执行所述根据预先训练的部位分类模型分别对预设的待筛选数据库中每一图像序列中的图像进行部位识别的步骤，否则结束当前智能模型优化过程。
8.一种实现智能模型优化的装置，其特征在于，所述装置包括用于实现如权利要求1-7任一项所述方法的功能模块。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时实现如权利要求1-7任一项所述方法的步骤。
CN202311091070.8A 2023-08-29 2023-08-29 一种实现智能模型优化的方法、装置和计算机设备 Active CN116824275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311091070.8A CN116824275B (zh) 2023-08-29 2023-08-29 一种实现智能模型优化的方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311091070.8A CN116824275B (zh) 2023-08-29 2023-08-29 一种实现智能模型优化的方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN116824275A CN116824275A (zh) 2023-09-29
CN116824275B true CN116824275B (zh) 2023-11-17

Family

ID=88115298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311091070.8A Active CN116824275B (zh) 2023-08-29 2023-08-29 一种实现智能模型优化的方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN116824275B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392449A (zh) * 2023-10-24 2024-01-12 青岛美迪康数字工程有限公司 基于进镜图像特征的肠镜部位识别方法、装置和设备
CN117909333A (zh) * 2024-02-02 2024-04-19 深圳天朴科技有限公司 基于大数据结合人工智能实现数据的筛选方法及系统

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126751A (zh) * 2016-08-18 2016-11-16 苏州大学 一种具有时间适应性的分类方法及装置
CN108897989A (zh) * 2018-06-06 2018-11-27 大连理工大学 一种基于候选事件元素注意力机制的生物事件抽取方法
CN110705490A (zh) * 2019-10-09 2020-01-17 中国科学技术大学 视觉情感识别方法
CN111539289A (zh) * 2020-04-16 2020-08-14 咪咕文化科技有限公司 视频中动作的识别方法、装置、电子设备及存储介质
CN112101184A (zh) * 2020-09-11 2020-12-18 电子科技大学 一种基于半监督学习的无线跨域动作识别方法
CN112507893A (zh) * 2020-12-14 2021-03-16 华南理工大学 一种基于边缘计算的分布式无监督行人重识别方法
CN112766334A (zh) * 2021-01-08 2021-05-07 厦门大学 一种基于伪标签域适应的跨域图像分类方法
CN114037011A (zh) * 2021-11-08 2022-02-11 北京工业大学 一种中医舌色噪声标注样本的自动识别与清洗方法
CN114154578A (zh) * 2021-12-02 2022-03-08 内蒙古工业大学 面向非平衡数据基于半监督分布式训练的任务识别方法
CN114168773A (zh) * 2021-12-08 2022-03-11 天津大学 一种基于伪标签和重排序的半监督草图图像检索方法
CN114373128A (zh) * 2021-12-30 2022-04-19 山东锋士信息技术有限公司 基于类别自适应伪标签生成的河湖四乱遥感监测方法
CN115004316A (zh) * 2022-04-25 2022-09-02 香港应用科技研究院有限公司 采用优化的集成ai解决方案的多功能计算机辅助胃镜检查系统以及方法
CN115019133A (zh) * 2022-06-16 2022-09-06 华中科技大学 基于自训练和标签抗噪的图像中弱目标的检测方法及系统
CN115249312A (zh) * 2022-07-18 2022-10-28 闽江学院 基于类解耦分布对齐的半监督医学图像分类方法
CN115273826A (zh) * 2022-06-23 2022-11-01 腾讯音乐娱乐科技（深圳）有限公司 歌声识别模型训练方法、歌声识别方法及相关装置
CN115315731A (zh) * 2020-03-23 2022-11-08 奥宝科技有限公司 用于图像分类的自适应学习
CN115471804A (zh) * 2022-09-22 2022-12-13 小米汽车科技有限公司 标注数据质检方法、装置、存储介质及电子设备
CN115601586A (zh) * 2022-09-15 2023-01-13 东莞长城开发科技有限公司（Cn） 标签信息获取方法、装置、电子设备及计算机存储介质
CN115826039A (zh) * 2022-11-09 2023-03-21 中国地质科学院 一种时间切片分类模型训练方法、系统及应用方法、系统
CN115905528A (zh) * 2022-11-10 2023-04-04 天津汇智星源信息技术有限公司 具有时序特征的事件多标签分类方法、装置及电子设备
CN115994611A (zh) * 2022-10-25 2023-04-21 京东城市(北京)数字科技有限公司 类别预测模型的训练方法、预测方法、设备和存储介质
CN116206174A (zh) * 2022-12-27 2023-06-02 深圳云天励飞技术股份有限公司 用于模型训练的伪标签构建方法、装置、设备及介质
CN116304251A (zh) * 2022-12-05 2023-06-23 招联消费金融有限公司 标签处理方法、装置、计算机设备和存储介质
WO2023119922A1 (ja) * 2021-12-21 2023-06-29 富士フイルム株式会社 画像生成装置、方法及びプログラム並びに学習装置及び学習データ
CN116612120A (zh) * 2023-07-20 2023-08-18 山东高速工程检测有限公司 一种针对数据不平衡的两阶段式道路缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230116417A1 (en) * 2021-10-08 2023-04-13 Verizon Patent And Licensing Inc. Systems and methods for domain-aware classification of unlabeled data

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126751A (zh) * 2016-08-18 2016-11-16 苏州大学 一种具有时间适应性的分类方法及装置
CN108897989A (zh) * 2018-06-06 2018-11-27 大连理工大学 一种基于候选事件元素注意力机制的生物事件抽取方法
CN110705490A (zh) * 2019-10-09 2020-01-17 中国科学技术大学 视觉情感识别方法
CN115315731A (zh) * 2020-03-23 2022-11-08 奥宝科技有限公司 用于图像分类的自适应学习
CN111539289A (zh) * 2020-04-16 2020-08-14 咪咕文化科技有限公司 视频中动作的识别方法、装置、电子设备及存储介质
CN112101184A (zh) * 2020-09-11 2020-12-18 电子科技大学 一种基于半监督学习的无线跨域动作识别方法
CN112507893A (zh) * 2020-12-14 2021-03-16 华南理工大学 一种基于边缘计算的分布式无监督行人重识别方法
CN112766334A (zh) * 2021-01-08 2021-05-07 厦门大学 一种基于伪标签域适应的跨域图像分类方法
CN114037011A (zh) * 2021-11-08 2022-02-11 北京工业大学 一种中医舌色噪声标注样本的自动识别与清洗方法
CN114154578A (zh) * 2021-12-02 2022-03-08 内蒙古工业大学 面向非平衡数据基于半监督分布式训练的任务识别方法
CN114168773A (zh) * 2021-12-08 2022-03-11 天津大学 一种基于伪标签和重排序的半监督草图图像检索方法
WO2023119922A1 (ja) * 2021-12-21 2023-06-29 富士フイルム株式会社 画像生成装置、方法及びプログラム並びに学習装置及び学習データ
CN114373128A (zh) * 2021-12-30 2022-04-19 山东锋士信息技术有限公司 基于类别自适应伪标签生成的河湖四乱遥感监测方法
CN115004316A (zh) * 2022-04-25 2022-09-02 香港应用科技研究院有限公司 采用优化的集成ai解决方案的多功能计算机辅助胃镜检查系统以及方法
CN115019133A (zh) * 2022-06-16 2022-09-06 华中科技大学 基于自训练和标签抗噪的图像中弱目标的检测方法及系统
CN115273826A (zh) * 2022-06-23 2022-11-01 腾讯音乐娱乐科技（深圳）有限公司 歌声识别模型训练方法、歌声识别方法及相关装置
CN115249312A (zh) * 2022-07-18 2022-10-28 闽江学院 基于类解耦分布对齐的半监督医学图像分类方法
CN115601586A (zh) * 2022-09-15 2023-01-13 东莞长城开发科技有限公司（Cn） 标签信息获取方法、装置、电子设备及计算机存储介质
CN115471804A (zh) * 2022-09-22 2022-12-13 小米汽车科技有限公司 标注数据质检方法、装置、存储介质及电子设备
CN115994611A (zh) * 2022-10-25 2023-04-21 京东城市(北京)数字科技有限公司 类别预测模型的训练方法、预测方法、设备和存储介质
CN115826039A (zh) * 2022-11-09 2023-03-21 中国地质科学院 一种时间切片分类模型训练方法、系统及应用方法、系统
CN115905528A (zh) * 2022-11-10 2023-04-04 天津汇智星源信息技术有限公司 具有时序特征的事件多标签分类方法、装置及电子设备
CN116304251A (zh) * 2022-12-05 2023-06-23 招联消费金融有限公司 标签处理方法、装置、计算机设备和存储介质
CN116206174A (zh) * 2022-12-27 2023-06-02 深圳云天励飞技术股份有限公司 用于模型训练的伪标签构建方法、装置、设备及介质
CN116612120A (zh) * 2023-07-20 2023-08-18 山东高速工程检测有限公司 一种针对数据不平衡的两阶段式道路缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Learning Subjective Time-Series Data Via Utopia Label Distribution Approximation;Wenxin Xu 等;《arXiv:2307.07682v1》;第1-13页 *
基于截断Schatten-p范数与自表示的子空间聚类研究及应用;羊远灿;《CNKI学位》;第2022年卷(第03期);全文 *
基于深度学习的肿瘤图像分割算法研究及应用;熊航;《CNKI学位》;第2023年卷(第01期);全文 *

Also Published As

Publication number Publication date
CN116824275A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN116824275B (zh) 一种实现智能模型优化的方法、装置和计算机设备
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN112613517B (zh) 内窥镜仪器分割方法、装置、计算机设备及存储介质
CN109009102B (zh) 一种基于脑电图深度学习的辅助诊断方法及系统
CN112800766A (zh) 基于主动学习的中文医疗实体识别标注方法及系统
CN113763386B (zh) 基于多尺度特征融合的手术器械图像智能分割方法和系统
CN114332577A (zh) 结合深度学习与影像组学的结直肠癌图像分类方法及系统
CN114663426A (zh) 一种基于关键骨区定位的骨龄评估方法
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
Wang et al. Prototype transfer generative adversarial network for unsupervised breast cancer histology image classification
CN116797889B (zh) 医学影像识别模型的更新方法、装置和计算机设备
Ghaznavi Bidgoli et al. Automatic diagnosis of dental diseases using convolutional neural network and panoramic radiographic images
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法
Wollek et al. A knee cannot have lung disease: out-of-distribution detection with in-distribution voting using the medical example of chest X-ray classification
WO2022182263A1 (en) Automatic detection and differentiation of biliary lesions in cholangioscopy images
WO2023018343A1 (en) Automatic detection and differentiation of pancreatic cystic lesions in endoscopic ultrasonography
CN115457310A (zh) 一种基于元学习的中医舌色域自适应分类方法
Giordano et al. An AI-based framework for supporting large scale automated analysis of video capsule endoscopy
Wang et al. Cooperation learning enhanced colonic polyp segmentation based on transformer-CNN fusion
Biesner et al. Improving chest x-ray classification by RNN-based patient monitoring
Che et al. Deep learning-based biological anatomical landmark detection in colonoscopy videos
Gowri et al. An improved classification of MR images for cervical cancer using convolutional neural networks
US20240233122A9 (en) Automatic detection and differentiation of biliary lesions in cholangioscopy images
Tamé et al. Self-Supervised Curricular Deep Learning for Chest X-Ray Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant