CN113469295A - 生成模型的训练方法、息肉识别方法、装置、介质及设备 - Google Patents
生成模型的训练方法、息肉识别方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN113469295A CN113469295A CN202111028344.XA CN202111028344A CN113469295A CN 113469295 A CN113469295 A CN 113469295A CN 202111028344 A CN202111028344 A CN 202111028344A CN 113469295 A CN113469295 A CN 113469295A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- polyp
- generated
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 373
- 208000037062 Polyps Diseases 0.000 title claims abstract description 263
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000009826 distribution Methods 0.000 claims abstract description 201
- 238000002372 labelling Methods 0.000 claims abstract description 84
- 230000005540 biological transmission Effects 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种生成模型的训练方法、息肉识别方法、装置、介质及设备,所述方法包括:获取训练样本集,其中,训练样本集中的每一训练样本包含训练图像以及训练图像对应的息肉标注类别;根据训练图像和图像生成模型,获得训练图像对应的生成图像和还原图像;根据训练图像和生成图像,确定训练图像和生成图像对应的第一分布距离;根据第一分布距离、训练图像、生成图像、还原图像以及训练图像对应的息肉标注类别,确定图像生成模型的目标损失,其中,所述目标损失包括根据所述第一分布距离确定出的第一分布损失,所述第一分布损失与所述第一分布距离为负相关关系;在满足更新条件的情况下,根据所述目标损失对所述图像生成模型的参数进行更新。
Description
技术领域
本公开涉及图像处理领域,具体地,涉及一种生成模型的训练方法、息肉识别方法、装置、介质及设备。
背景技术
内窥镜广泛用于结肠筛查和息肉检测,但是内窥镜的检测精准度很大程度上取决于内镜医师的经验。而由于息肉的特征较难识别,且许多息肉的体积较小,而导致息肉检测的漏检率较大,这大大增加了息肉早期筛查的难度。
相关技术中,可以通过深度学习的方法进行模型训练,以用于息肉识别和分割的计算机辅助诊断系统。而通过上述方式当样本外数据具有较大的域转移时,这些经过训练的网络中都可能会出现较大的性能差距,难以通过有限的样本数据保证模型的泛化性,使得训练出的模型对样本外数据的检测准确度不足,从而无法实现准确的息肉检测效果。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
第一方面,本公开提供一种息肉图像生成模型的训练方法,所述方法包括:
获取训练样本集,其中,所述训练样本集中的每一训练样本包含训练图像以及所述训练图像对应的息肉标注类别;
根据所述训练图像和图像生成模型,获得所述训练图像对应的生成图像和还原图像,其中,所述图像生成模型包括第一生成器和第二生成器,所述第一生成器用于根据所述训练图像生成所述生成图像,所述第二生成器用于根据所述生成图像生成所述还原图像;
根据所述训练图像和所述生成图像,确定所述训练图像和所述生成图像对应的第一分布距离,其中,所述第一分布距离用于表示所述训练图像的分布和所述生成图像的分布之间的差异;
根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,其中,所述目标损失包括根据所述第一分布距离确定出的第一分布损失,所述第一分布损失与所述第一分布距离为负相关关系;
在满足更新条件的情况下,根据所述目标损失对所述图像生成模型的参数进行更新。
第二方面,本公开提供一种息肉识别方法,所述方法包括:
接收待识别的息肉图像;
将所述息肉图像输入息肉识别模型,获得所述息肉图像的识别结果,其中,所述息肉识别模型对应的训练样本集包含原始样本、以及根据所述原始样本和图像生成模型中的第一生成器生成的生成样本,所述图像生成模型是基于第一方面所述的息肉图像生成模型的训练方法进行训练所得的,所述原始样本包括原始图像和所述原始图像对应的息肉标注类别,所述生成样本包括基于原始图像生成的生成图像以及该原始图像对应的息肉标注类别。
第三方面,本公开提供一种息肉图像生成模型的训练装置,所述装置包括:
获取模块,用于获取训练样本集,其中,所述训练样本集中的每一训练样本包含训练图像以及所述训练图像对应的息肉标注类别;
生成模块,用于根据所述训练图像和图像生成模型,获得所述训练图像对应的生成图像和还原图像,其中,所述图像生成模型包括第一生成器和第二生成器,所述第一生成器用于根据所述训练图像生成所述生成图像,所述第二生成器用于根据所述生成图像生成所述还原图像;
第一确定模块,用于根据所述训练图像和所述生成图像,确定所述训练图像和所述生成图像对应的第一分布距离,其中,所述第一分布距离用于表示所述训练图像的分布和所述生成图像的分布之间的差异;
第二确定模块,用于根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,其中,所述目标损失包括根据所述第一分布距离确定出的第一分布损失,所述第一分布损失与所述第一分布距离为负相关关系;
更新模块,用于在满足更新条件的情况下,根据所述目标损失对所述图像生成模型的参数进行更新。
第四方面,提供一种息肉识别装置,所述装置包括:
接收模块,用于接收待识别的息肉图像;
识别模块,用于将所述息肉图像输入息肉识别模型,获得所述息肉图像的识别结果,其中,所述息肉识别模型对应的训练样本集包含原始样本、以及根据所述原始样本和图像生成模型中的第一生成器生成的生成样本,所述图像生成模型是基于第一方面所述的息肉图像生成模型的训练方法进行训练所得的,所述原始样本包括原始图像和所述原始图像对应的息肉标注类别,所述生成样本包括基于原始图像生成的生成图像以及该原始图像对应的息肉标注类别。
第五方面,提供一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现第一或第二方面所述方法的步骤。
第六方面,提供一种电子设备,包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现第一或第二方面所述方法的步骤。
通过上述技术方案,可以基于训练图像和图像生成模型进行新图像的生成,获得生成图像和还原图像,在确定图像生成模型的目标损失时,通过还原图像以及息肉标注类别的约束,可以基于对抗生成网络的风格迁移方法对训练图像进行模仿生成,保证基于该图像生成模型生成的生成图像与原始图像之间的语义一致性,使得图像生成模型生成的生成图像与训练图像之间属于同一息肉分类,进而无需对生成图像进行数据标注,可以自动生成用于进行息肉识别模型训练的有效标注样本。并且在确定目标损失时还根据训练图像和生成图像,确定该两者之间的第一分布距离,则可以以在结合训练样本、生成图像和还原图像的基础上,进一步结合该第一分布距离以确定图像生成模型的目标损失。由此,通过第一分布损失可以使得基于图像生成模型获得的生成图像中不得到额外的息肉类别的基础上,得出更多的具备多样性的数据,从而可以保证基于该生成图像以及训练图像进行训练的模型,如息肉识别模型等的泛化性。通过该图像生成模型对息肉图像进行生成,从而可以基于有限的样本数据获得更多用于训练息肉识别模型的训练数据,可以减少进行息肉识别模型训练耗费的人力和时间,也能够进一步提高息肉识别模型的检测准确性和鲁棒性,保证息肉检测的准确性,有效降低息肉检测的漏检率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。在附图中:
图1是根据本公开的一种实施方式提供的一种息肉图像生成模型的训练方法的流程图;
图2是根据本公开的一种实施方式提供的图像生成模型的示意图;
图3是根据本公开的一种实施方式提供的一种息肉图像生成模型的训练装置的框图;
图4示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
正如背景技术中所示,相关技术中已经提出将基于卷积神经网络的深度学习模型应用在息肉的自动检测识别中。但是,此种方式中在模型使用中往往会遇到泛化能力低导致的性能下降的问题,难以保证对息肉检测的精准度。基于此,本公开提供以下实施例,通过训练图像生成模型,以基于已有的训练数据生成更加多样化的训练数据,从而提高基于该训练数据进行训练所得息肉识别模型的泛化性和检测准确度。
图1所示,为根据本公开的一种实施方式提供的一种息肉图像生成模型的训练方法的流程图,如图1所示,所述方法包括:
在步骤11中,获取训练样本集,其中,所述训练样本集中的每一训练样本包含训练图像以及所述训练图像对应的息肉标注类别。
示例地,可以采集真实情况下多个病人包括息肉的内窥镜图像(比如胃镜图像、结肠镜图像等)作为训练图像。作为示例,可以对病人进行数据采集,以获得包含息肉的检测数据,之后为了保证训练图像的统一处理,可以对该检测数据进行标准化处理,例如将获得到的检测数据含有息肉的白光内镜图像作为该训练图像。进一步地,可以对该训练图像的分辨率和尺寸进行标准化处理以获得统一尺寸的训练图像,便于后续的训练过程。针对每一训练图像,可以由经验丰富的胃肠内镜医师标记对应息肉标签,即该息肉标注类别。
在步骤12中,根据训练图像和图像生成模型,获得训练图像对应的生成图像和还原图像,其中,所述图像生成模型包括第一生成器和第二生成器,所述第一生成器用于根据所述训练图像生成所述生成图像,所述第二生成器用于根据所述生成图像生成所述还原图像。
其中,该图像生成模型可以基于CycleGAN网络实现,在CycleGAN网络中包含两个生成器,如图2所示,该图像生成模型可以包含第一生成器21和第二生成器22,如图2所示,可以训练图像输入第一生成器21,以由该第一生成器21根据该训练图像以及训练图像对应的息肉标注类别生成对应的生成图像以及该生成图像对应的息肉类别,其中,在生成图像过程中,可以基于对抗生成网络的风格迁移方法,以训练样本集中的息肉标注类别作为条件,基于原始图像生成新的生成图像,如:
其中,用于表示所述生成图像,用于表示所述生成图像对应的息肉类别,可以直接将训练图像对应的息肉标注类别作为该生成图像对应的息肉类别,G( , )用于表示所述第一生成器的图像生成操作。如图2所示,图像生成模型中包含两个生成器,构成了一个环形网络,即进一步地可以通过第二生成器基于生成图像和生成图像对应的息肉类别生成训练图像对应的还原图像:
其中,F( , )用于表示所述第二生成器的图像生成操作。由此,通过上述步骤可以基于该图像生成模型在不增加额外息肉类别的情况下,生成更多样性的训练图像。
在步骤13中,根据训练图像和生成图像,确定训练图像和生成图像对应的第一分布距离,其中,所述第一分布距离用于表示所述训练图像的分布和所述生成图像的分布之间的差异。
其中,在本公开实施例中基于训练图像进行新图像生成的目的是生成与该训练图像对应的更加多样化的数据,因此,在该步骤中可以基于训练图像的分布和生成图像的分布确定两者之间的分布距离。需要进行说明的时,该生成图像本身是基于训练图像以及训练图像的息肉标注类别作为约束条件进行生成的,因此,该生成图像与该训练图像对应的息肉类别为同一类别,在该实施例中,可以通过增加训练图像和生成图像之间的分布距离以使得新生成的图像与训练图像的分布不同,以保证新的生成图像的多样性。
在步骤14中,根据第一分布距离、训练图像、生成图像、还原图像以及训练图像对应的息肉标注类别,确定图像生成模型的目标损失,其中,所述目标损失包括根据所述第一分布距离确定出的第一分布损失,所述第一分布损失与所述第一分布距离为负相关关系,则该第一分布距离越大,该第一分布损失越小。
在步骤15中,在满足更新条件的情况下,根据目标损失对图像生成模型的参数进行更新。
作为示例,该更新条件可以为目标损失大于预设的损失阈值,此时表示图像生成模型的准确性不足。作为另一示例,该更新条件可以是迭代次数小于预设的次数阈值,此时认为图像生成模型迭代次数较少,其准确性不足。
相应地,在满足更新条件的情况下,可以根据该目标损失对图像生成模型的参数进行更新。其中,基于确定出的目标损失对参数进行更新的方式可以采用本领域中常用的更新方式,以使得该目标损失可以逐渐收敛,在此不再赘述。
在不满足该更新条件的情况下,则可以认为该图像生成模型的准确度达到训练要求,此时可以停止训练过程,获得训练完成的图像生成模型。
由此,通过上述技术方案,可以基于训练图像和图像生成模型进行新图像的生成,获得生成图像和还原图像,在确定图像生成模型的目标损失时,通过还原图像以及息肉标注类别的约束,可以基于对抗生成网络的风格迁移方法对训练图像进行模仿生成,保证基于该图像生成模型生成的生成图像与原始图像之间的语义一致性,使得图像生成模型生成的生成图像与训练图像之间属于同一息肉分类,进而无需对生成图像进行数据标注,可以自动生成用于进行息肉识别模型训练的有效标注样本。并且在确定目标损失时还根据训练图像和生成图像,确定该两者之间的第一分布距离,则可以以在结合训练样本、生成图像和还原图像的基础上,进一步结合该第一分布距离以确定图像生成模型的目标损失。由此,通过第一分布损失可以使得基于图像生成模型获得的生成图像中不得到额外的息肉类别的基础上,得出更多的具备多样性的数据,从而可以保证基于该生成图像以及训练图像进行训练的模型,如息肉识别模型等的泛化性。通过该图像生成模型对息肉图像进行生成,从而可以基于有限的样本数据获得更多用于训练息肉识别模型的训练数据,可以减少进行息肉识别模型训练耗费的人力和时间,也能够进一步提高息肉识别模型的检测准确性和鲁棒性,保证息肉检测的准确性,有效降低息肉检测的漏检率。
为了使得本领域技术人员更加理解本公开提供的息肉检测模型的训练方法,下面对上述各步骤进行详细举例说明。
在一种可能的实施例中,在步骤13中,根据训练图像和生成图像,确定训练图像和生成图像对应的第一分布距离的示例性实现方式如下,该步骤可以包括:
针对同一息肉标注类别下的训练图像和生成图像,确定所述训练图像之间的传输距离、所述生成图像之间的传输距离、以及所述训练图像和所述生成图像之间的传输距离。
其中,所述传输距离可以用于衡量两个分布之间的远近,具体地,所述传输距离通过如下公式确定:
相应的,在计算训练图像之间的传输距离时,图像和图像则为从训练图像中采样的两个训练图像,在计算生成图像之间的传输距离时,图像和图像则为从生成图像中采样的两个生成图像,在计算训练图像和生成图像之间的传输距离时,图像和图像则分别为从训练图像和生成图像中各自采集的一张图像,如图像为训练图像,图像为生成图像。
以下,以计算训练图像和所述生成图像之间的传输距离为例进行详细说明。
其中,可以先确定训练图像的分布和生成图像的分布所形成的全部的联合分布。对于每一个可能的联合分布π,可以从中进行采样得出一个样本图像和一个样本图像,并计算出这对样本图像之间的运输成本。其中,在本公开实施例中,可以基于CNN(Convolutional Neural Networks,卷积神经网络)对图像进行特征提取,即可以通过CNN对训练图像进行特征提取,获得对应训练图像对应的特征图像,通过CNN对生成图像进行特征提取,获得对应生成图像对应的特征图像。之后可以通过上述公式基于该提取出的特征图像进行计算,获得对应的运输成本。其中,用于表示进行第二范式计算,第二范式计算方式为现有技术,在此不再赘述。计算出该运输成本后,则可以计算该联合分布π下,样本图像对运输成本的期望值。在所有可能的联合分布下能够对该期望值取到的下界即为该传输距离。
相应地,针对训练图像之间的传输距离,以及生成图像之间的传输距离的计算方式与上文类似,在此不再赘述。
之后,则可以根据训练图像和生成图像之间的传输距离、训练图像之间的传输距离,以及生成图像之间的传输距离确定所述第一分布距离。
示例地,可以通过如下公式进行计算:
其中,用于表示训练图像对应的分布和生成图像对应的第二分布之间的第一分布距离;示例地,和可以用于表示训练图像中的两个样本图像;和可以用于表示生成图像中的两个样本图像,由此可以进一步确定出该第一分布距离。
由此,通过上述技术方案,可以通过计算图像之间的传输成本,从而基于传输成本进一步确定训练图像和生成图像之间的传输距离,以对训练图像和生成图像的分布之间的差异进行表征,从而为后续进行模型参数调整时便于向增大该差异的方向进行调整,为保证训练图像和生成图像的分布之间的差异性提供数据支持,从而有效保证基于训练出的图像生成模型生成的生成图像的多样性。
在一种可能的实施例中,在步骤14中,根据第一分布距离、训练图像、生成图像、还原图像以及训练图像对应的息肉标注类别,确定图像生成模型的目标损失的示例性实现方式如下,该步骤可以包括:
根据所述训练图像和与所述训练图像对应的还原图像,确定所述图像生成模型的生成损失。
由上文所述可知,本公开中生成图像是基于训练图像通过风格迁移生成的,其可以生成具有多样性的生成图像。在该实施例中,为了进一步保证图像的语义信息的准确性,根据训练图像和该训练图像对应的还原图像进行第一范式计算,获得该生成损失,其中,该训练图像对应的还原图像是基于该训练图像对应的生成图像进行生成的。示例地,该生成损失可以表示为:
因此,在本公开实施例中可以通过计算训练图像和还原图像之间的差异,从而保证生成图像和训练图像之间的语义一致性。
基于所述训练图像对应的息肉标注类别、和基于该训练图像生成的生成图像所对应的息肉预测类别,确定所述图像生成模型的预测损失。
示例地,可以将该生成图像输入与该第一生成器对应的判别器,从而可以获得基于该生成图像对应的息肉预测类别。在本公开中,在第一生成器进行新的图像生成时是以训练图像的息肉标注类别为约束进行生成的,因此第一生成器生成的生成图像应与训练图像属于同一息肉标注类别。由此,可以通过计算训练图像对应的息肉标注类别与生成图像对应的息肉预测类别之间的差异,以保证新生成的生成图像与原始图像属于同一类别的图像,从而可以通过风格迁移的方法扩充数据集的同时,增强数据集的多样性,并且可以自动标注生成图像的息肉类别,以进一步保证生成图像与训练图像的语义一致性。
示例地,可以计算该息肉标注类别与该息肉预测类别之间的交叉熵作为该预测损失,交叉熵的计算方式为现有技术,在此不再赘述。
需要进行说明的是,该第一生成器对应的判别器的参数可以与该第一生成器的参数进行同步调整。示例地,可以将该预测损失的负值作为该判别器的损失,以根据该损失调整判别器的参数,从而可以提高判别器的准确性,并通过对抗生成的方式进一步提高该第一生成器的图像生成准确度。
将所述第一分布距离的负值确定为所述第一分布损失;
根据所述生成损失、所述预测损失和所述第一分布损失确定所述目标损失。
示例地,可以将生成损失、所述预测损失和所述第一分布损失的加权和确定为所述目标损失。示例地,该生成损失、预测损失和第一分布损失分别对应的权重可以根据具体应用场景进行设置,本公开对此不进行限定。
由此,通过上述技术方案,在确定图像生成模型的目标损失时,既可以通过计算训练图像和还原图像之间的差异,从而保证生成图像和训练图像之间的语义一致性,并且可以进一步地考量生成图像对应的息肉预测类别和训练图像对应的息肉标注类别的差异性,进一步保证生成图像的语义信息的准确性,为对生成图像自动标注息肉类别提供可靠的数据支持。同时在目标损失中还可以结合第一分布损失,从而可以使得训练得出的图像生成模型可以在生成多样化的生成图像的同时,保证该生成图像与训练图像之间的语义一致性,保证确定出的生成样本的可靠性。
在一种可能的实施例中,所述训练样本集中包含对应于多种息肉标注类别的训练样本,从而可以基于训练完成的图像生成模型生成多种类别下生成图像。
相应地,所述根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失的示例性实现方式如下,在上文所述示例的基础上,该步骤还可以包括:
根据各种息肉标注类别下的生成图像,针对任意两种息肉标注类别下的生成图像,确定该两种息肉标注类别下的生成图像对应的第二分布距离,其中,所述第二分布距离用于表示属于不同息肉标注类别下的生成图像的分布之间的差异。
其中,在本公开实施例中,可以通过多种类别下的训练样本对图像生成模型进行训练,为了进一步保证生成的数据具有更大的多样性,以及多种类别下的图像进行准确区分,本公开中可以通过确定该第二分布距离以保证不同类别下的生成图像之间的差异。
示例地,针对训练样本集中的各个息肉标注分类,可以任意选择两种息肉标注类别下的生成图像进行分布距离的计算,其中,不同类别的下生成图像之间的第二分布距离的计算方式与上文所述确定训练图像和生成图像之间的第一分布距离的计算方式相同,在此不再赘述。
之后,所述根据所述生成损失、所述预测损失和所述分布损失确定所述目标损失的示例性实现方式如下,该步骤可以包括:
根据所述第二分布距离确定所述图像生成模型的第二分布差异,其中可以将确定出的各个不同类别下的生成图像之间的第二分布距离之和的负值确定为该图像生成模型的第二分布差异。
将所述生成损失、所述预测损失、所述第一分布损失和所述第二分布损失的加权和确定为所述目标损失。其中,在该实施例中,该第一分布损失可以是确定出的每一类别下的训练图像和生成图像之间的第一分布距离之和的负值,从而可以通过该第一分布损失表征该多个息肉标注类别下生成图像与训练图像的差异。
由此,通过上述技术方案,可以通过训练一个图像生成模型适用于多种息肉类别下的训练图像的图像扩展生成,通过保证不同息肉类别下的图像的分布之间的差异,保证该图像生成模型对各个息肉分类的适配性和准确性,从而可以有效保证基于训练完成后的图像生成模型生成的生成图像的准确性,为后续进行息肉识别模型的训练提高更多样化且准确的数据支持。
本公开还提供一种息肉识别方法,所述方法包括:
接收待识别的息肉图像,该息肉图像则可以是检测过程中获得的包含息肉的图像。
将所述息肉图像输入息肉识别模型,获得所述息肉图像的识别结果,其中,所述息肉识别模型对应的训练样本集包含原始样本、以及根据所述原始样本和图像生成模型中的第一生成器生成的生成样本,所述图像生成模型是基于上文任一所述的息肉图像生成模型的训练方法进行训练所得的,所述原始样本包括原始图像和所述原始图像对应的息肉标注类别,所述生成样本包括基于原始图像生成的生成图像以及该原始图像对应的息肉标注类别。
由此,在该实施例中,在对息肉识别模型进行训练时,可以在原始训练样本的基础上,根据上文任一所述的息肉图像生成模型的训练方法训练出的图像生成模型进行图像生成,从而可以基于原始样本获得更多准确的生成样本,从而可以有效扩展用于进行息肉识别模型训练的训练样本集,进而提高稿训练得出的息肉识别模型的准确度和效率,同时可以有效提高该息肉识别模型的泛化性和鲁棒性,有效降低息肉识别的漏检率,在一定程度上提高息肉识别的准确度。
在一种可能的实施例中,所述息肉识别模型通过以下方式进行训练:
对所述训练样本集中的目标训练图像进行预处理,获得处理图像,其中,所述预处理包括非线性变换和/或局部像素洗牌,所述目标训练图像包括所述原始图像和所述生成图像。
示例地,通常医学图像中的相对强度值可以用于表达有关成像结构和器官的相关信息。因此,强度信息可以用作像素级别的监督信息,为了在图像转换中可以保留结构的相对强度,可以使用一种平滑且单调的转换函数Bezier曲线进行非线性变化。在该变换方式中可以为图像中的每一像素匹配唯一值,确保在该非线性转换中保证一一对应的映射关系。示例地,可以采用如下方式进行变换:
其中,用于表示该转换函数的转换值,、为预先定义的两个节点,、为预先定义的两个控制点,t为延线长度的分数值,可以根据实际应用场景进行设置,本公开对此不进行限定。通过上述方式可以实现对目标训练图像的非线性变换处理。
作为另一示例,可以从目标训练图像中随机选择一个窗口,之后对该窗口内的像素顺序进行打乱,从而可以获得与该目标训练图像对应的处理图像。示例地,可以将该窗口的大小设置为小于息肉识别模型中对应的感受野的大小。
其中,针对目标训练图像可以通过上述任一方式进行预处理获得处理图像,也可以结合两种方式进行预处理,如可以先对目标训练图像进行非线性转换之后进行局部像素洗牌获得处理图像,或者可以对目标训练图像进行局部像素洗牌之后进行非线性转换获得处理图像。
以所述处理图像作为模型输入,以所述目标训练图像作为目标输出对所述息肉识别模型进行预训练,以获得预训练后的息肉识别模型。
在该步骤中,可以以处理图像作为输入,从而可以将息肉识别模型恢复出的图像与该目标训练图像进行损失计算,基于计算出的损失对该息肉识别模型进行预训练,在该损失小于阈值或迭代次数满足一定次数时,结束预训练的过程,以获得预训练后的息肉识别模型。
以所述目标训练图像作为模型输入,以所述目标训练图像对应的息肉标注类别为目标输出,对所述预训练后的息肉识别模型进行训练,获得训练完成的息肉识别模型。
在该步骤中,可以以目标训练图像作为输入,从而可以将息肉识别模型输出的预测类别与该目标训练图像对应的息肉标注类别进行损失计算,基于计算出的损失对该息肉识别模型进行训练,在该损失小于阈值或迭代次数满足一定次数时,结束训练的过程,以获得训练完成的息肉识别模型。
由此,通过上述技术方案,在基于训练样本数据对该息肉识别模型进行训练时,可以先通过对训练图像进行预处理,以由息肉识别模型对该预处理后的图像进行恢复为训练任务,对息肉识别模型进行预训练,从而可以提高息肉识别模型中的特征学习能力,提高与后续模型训练任务的适配性。之后,在该预训练的息肉识别模型中基于训练样本集进行训练,以获得息肉识别模型,从而可以有效拓宽息肉识别模型的应用场景,同时可以提高息肉识别模型的准确性和适用性。
本公开还提供一种息肉图像生成模型的训练装置,如图3所示,所述装置40包括:
获取模块41,用于获取训练样本集,其中,所述训练样本集中的每一训练样本包含训练图像以及所述训练图像对应的息肉标注类别;
生成模块42,用于根据所述训练图像和图像生成模型,获得所述训练图像对应的生成图像和还原图像,其中,所述图像生成模型包括第一生成器和第二生成器,所述第一生成器用于根据所述训练图像生成所述生成图像,所述第二生成器用于根据所述生成图像生成所述还原图像;
第一确定模块43,用于根据所述训练图像和所述生成图像,确定所述训练图像和所述生成图像对应的第一分布距离,其中,所述第一分布距离用于表示所述训练图像的分布和所述生成图像的分布之间的差异;
第二确定模块44,用于根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,其中,所述目标损失包括根据所述第一分布距离确定出的第一分布损失,所述第一分布损失与所述第一分布距离为负相关关系;
更新模块45,用于在满足更新条件的情况下,根据所述目标损失对所述图像生成模型的参数进行更新。
可选地,所述第二确定模块包括:
第一确定子模块,用于根据所述训练图像和与所述训练图像对应的还原图像,确定所述图像生成模型的生成损失;
第二确定子模块,用于基于所述训练图像对应的息肉标注类别、和基于该训练图像生成的生成图像所对应的息肉预测类别,确定所述图像生成模型的预测损失;
第三确定子模块,用于将所述第一分布距离的负值确定为所述第一分布损失;
第四确定子模块,用于根据所述生成损失、所述预测损失和所述第一分布损失确定所述目标损失。
可选地,所述训练样本集中包含对应于多种息肉标注类别的训练样本;
所述第二确定模块还包括:
第五确定子模块,用于根据各种息肉标注类别下的生成图像,针对任意两种息肉标注类别下的生成图像,确定该两种息肉标注类别下的生成图像对应的第二分布距离,其中,所述第二分布距离用于表示属于不同息肉标注类别下的生成图像的分布之间的差异;
所述第四确定子模块包括:
第六确定子模块,用于根据所述第二分布距离确定所述图像生成模型的第二分布差异;
第七确定子模块,用于将所述生成损失、所述预测损失、所述第一分布损失和所述第二分布损失的加权和确定为所述目标损失。
可选地,所述第一确定模块包括:
第八确定子模块,用于针对同一息肉标注类别下的训练图像和生成图像,确定所述训练图像之间的传输距离、所述生成图像之间的传输距离、以及所述训练图像和所述生成图像之间的传输距离;
第九确定子模块,用于根据所述训练图像和所述生成图像之间的传输距离、所述训练图像之间的传输距离,以及所述生成图像之间的传输距离确定所述第一分布距离。
可选地,所述传输距离通过如下公式确定:
本公开还提供一种息肉识别装置,所述装置包括:
接收模块,用于接收待识别的息肉图像;
识别模块,用于将所述息肉图像输入息肉识别模型,获得所述息肉图像的识别结果,其中,所述息肉识别模型对应的训练样本集包含原始样本、以及根据所述原始样本和图像生成模型中的第一生成器生成的生成样本,所述图像生成模型是基于上文任一所述的息肉图像生成模型的训练方法进行训练所得的,所述原始样本包括原始图像和所述原始图像对应的息肉标注类别,所述生成样本包括基于原始图像生成的生成图像以及该原始图像对应的息肉标注类别。
可选地,所述息肉识别模型通过以下方式进行训练:
对所述训练样本集中的目标训练图像进行预处理,获得处理图像,其中,所述预处理包括非线性变换和/或局部像素洗牌,所述目标训练图像包括所述原始图像和所述生成图像;
以所述处理图像作为模型输入,以所述目标训练图像作为目标输出对所述息肉识别模型进行预训练,以获得预训练后的息肉识别模型;
以所述目标训练图像作为模型输入,以所述目标训练图像对应的息肉标注类别为目标输出,对所述预训练后的息肉识别模型进行训练,以获得训练完成的息肉识别模型。
下面参考图4,其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取训练样本集,其中,所述训练样本集中的每一训练样本包含训练图像以及所述训练图像对应的息肉标注类别;根据所述训练图像和图像生成模型,获得所述训练图像对应的生成图像和还原图像,其中,所述图像生成模型包括第一生成器和第二生成器,所述第一生成器用于根据所述训练图像生成所述生成图像,所述第二生成器用于根据所述生成图像生成所述还原图像;根据所述训练图像和所述生成图像,确定所述训练图像和所述生成图像对应的第一分布距离,其中,所述第一分布距离用于表示所述训练图像的分布和所述生成图像的分布之间的差异;根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,其中,所述目标损失包括根据所述第一分布距离确定出的第一分布损失,所述第一分布损失与所述第一分布距离为负相关关系;在满足更新条件的情况下,根据所述目标损失对所述图像生成模型的参数进行更新。
或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收待识别的息肉图像;将所述息肉图像输入息肉识别模型,获得所述息肉图像的识别结果,其中,所述息肉识别模型对应的训练样本集包含原始样本、以及根据所述原始样本和图像生成模型中的第一生成器生成的生成样本,所述图像生成模型是基于第一方面所述的息肉图像生成模型的训练方法进行训练所得的,所述原始样本包括原始图像和所述原始图像对应的息肉标注类别,所述生成样本包括基于原始图像生成的生成图像以及该原始图像对应的息肉标注类别。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该模块本身的限定,例如,获取模块还可以被描述为“获取训练样本集的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,示例1提供了一种息肉图像生成模型的训练方法,所述方法包括:
获取训练样本集,其中,所述训练样本集中的每一训练样本包含训练图像以及所述训练图像对应的息肉标注类别;
根据所述训练图像和图像生成模型,获得所述训练图像对应的生成图像和还原图像,其中,所述图像生成模型包括第一生成器和第二生成器,所述第一生成器用于根据所述训练图像生成所述生成图像,所述第二生成器用于根据所述生成图像生成所述还原图像;
根据所述训练图像和所述生成图像,确定所述训练图像和所述生成图像对应的第一分布距离,其中,所述第一分布距离用于表示所述训练图像的分布和所述生成图像的分布之间的差异;
根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,其中,所述目标损失包括根据所述第一分布距离确定出的第一分布损失,所述第一分布损失与所述第一分布距离为负相关关系;
在满足更新条件的情况下,根据所述目标损失对所述图像生成模型的参数进行更新。
根据本公开的一个或多个实施例,示例2提供了示例1的方法,其中,所述根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,包括:
根据所述训练图像和与所述训练图像对应的还原图像,确定所述图像生成模型的生成损失;
基于所述训练图像对应的息肉标注类别、和基于该训练图像生成的生成图像所对应的息肉预测类别,确定所述图像生成模型的预测损失;
将所述第一分布距离的负值确定为所述第一分布损失;
根据所述生成损失、所述预测损失和所述第一分布损失确定所述目标损失。
根据本公开的一个或多个实施例,示例3提供了示例2的方法,其中,所述训练样本集中包含对应于多种息肉标注类别的训练样本;
所述根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,还包括:
根据各种息肉标注类别下的生成图像,针对任意两种息肉标注类别下的生成图像,确定该两种息肉标注类别下的生成图像对应的第二分布距离,其中,所述第二分布距离用于表示属于不同息肉标注类别下的生成图像的分布之间的差异;
所述根据所述生成损失、所述预测损失和所述分布损失确定所述目标损失,包括:
根据所述第二分布距离确定所述图像生成模型的第二分布差异;
将所述生成损失、所述预测损失、所述第一分布损失和所述第二分布损失的加权和确定为所述目标损失。
根据本公开的一个或多个实施例,示例4提供了示例1的方法,其中,所述根据所述训练图像和所述生成图像,确定所述训练图像和所述生成图像对应的第一分布距离,包括:
针对同一息肉标注类别下的训练图像和生成图像,确定所述训练图像之间的传输距离、所述生成图像之间的传输距离、以及所述训练图像和所述生成图像之间的传输距离;
根据所述训练图像和所述生成图像之间的传输距离、所述训练图像之间的传输距离,以及所述生成图像之间的传输距离确定所述第一分布距离。
根据本公开的一个或多个实施例,示例5提供了示例4的方法,其中,所述传输距离通过如下公式确定:
根据本公开的一个或多个实施例,示例6提供了一种息肉识别方法,其中,所述方法包括:
接收待识别的息肉图像;
将所述息肉图像输入息肉识别模型,获得所述息肉图像的识别结果,其中,所述息肉识别模型对应的训练样本集包含原始样本、以及根据所述原始样本和图像生成模型中的第一生成器生成的生成样本,所述图像生成模型是基于示例1-5中任一项所述的息肉图像生成模型的训练方法进行训练所得的,所述原始样本包括原始图像和所述原始图像对应的息肉标注类别,所述生成样本包括基于原始图像生成的生成图像以及该原始图像对应的息肉标注类别。
根据本公开的一个或多个实施例,示例7提供了示例6的方法,其中,所述息肉识别模型通过以下方式进行训练:
对所述训练样本集中的目标训练图像进行预处理,获得处理图像,其中,所述预处理包括非线性变换和/或局部像素洗牌,所述目标训练图像包括所述原始图像和所述生成图像;
以所述处理图像作为模型输入,以所述目标训练图像作为目标输出对所述息肉识别模型进行预训练,以获得预训练后的息肉识别模型;
以所述目标训练图像作为模型输入,以所述目标训练图像对应的息肉标注类别为目标输出,对所述预训练后的息肉识别模型进行训练,以获得训练完成的息肉识别模型。
根据本公开的一个或多个实施例,示例8提供了一种息肉图像生成模型的训练装置,所述装置包括:
获取模块,用于获取训练样本集,其中,所述训练样本集中的每一训练样本包含训练图像以及所述训练图像对应的息肉标注类别;
生成模块,用于根据所述训练图像和图像生成模型,获得所述训练图像对应的生成图像和还原图像,其中,所述图像生成模型包括第一生成器和第二生成器,所述第一生成器用于根据所述训练图像生成所述生成图像,所述第二生成器用于根据所述生成图像生成所述还原图像;
第一确定模块,用于根据所述训练图像和所述生成图像,确定所述训练图像和所述生成图像对应的第一分布距离,其中,所述第一分布距离用于表示所述训练图像的分布和所述生成图像的分布之间的差异;
第二确定模块,用于根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,其中,所述目标损失包括根据所述第一分布距离确定出的第一分布损失,所述第一分布损失与所述第一分布距离为负相关关系;
更新模块,用于在满足更新条件的情况下,根据所述目标损失对所述图像生成模型的参数进行更新。
根据本公开的一个或多个实施例,示例9提供了一种息肉识别装置,所述装置包括:
接收模块,用于接收待识别的息肉图像;
识别模块,用于将所述息肉图像输入息肉识别模型,获得所述息肉图像的识别结果,其中,所述息肉识别模型对应的训练样本集包含原始样本、以及根据所述原始样本和图像生成模型中的第一生成器生成的生成样本,所述图像生成模型是基于示例1-5中任一项所述的息肉图像生成模型的训练方法进行训练所得的,所述原始样本包括原始图像和所述原始图像对应的息肉标注类别,所述生成样本包括基于原始图像生成的生成图像以及该原始图像对应的息肉标注类别。
根据本公开的一个或多个实施例,示例10提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现示例1-7中任一项所述方法的步骤。
根据本公开的一个或多个实施例,示例11提供了一种电子设备,包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现示例1-7中任一项所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
Claims (11)
1.一种息肉图像生成模型的训练方法,其特征在于,所述方法包括:
获取训练样本集,其中,所述训练样本集中的每一训练样本包含训练图像以及所述训练图像对应的息肉标注类别;
根据所述训练图像和图像生成模型,获得所述训练图像对应的生成图像和还原图像,其中,所述图像生成模型包括第一生成器和第二生成器,所述第一生成器用于根据所述训练图像生成所述生成图像,所述第二生成器用于根据所述生成图像生成所述还原图像;
根据所述训练图像和所述生成图像,确定所述训练图像和所述生成图像对应的第一分布距离,其中,所述第一分布距离用于表示所述训练图像的分布和所述生成图像的分布之间的差异;
根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,其中,所述目标损失包括根据所述第一分布距离确定出的第一分布损失,所述第一分布损失与所述第一分布距离为负相关关系;
在满足更新条件的情况下,根据所述目标损失对所述图像生成模型的参数进行更新。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,包括:
根据所述训练图像和与所述训练图像对应的还原图像,确定所述图像生成模型的生成损失;
基于所述训练图像对应的息肉标注类别、和基于该训练图像生成的生成图像所对应的息肉预测类别,确定所述图像生成模型的预测损失;
将所述第一分布距离的负值确定为所述第一分布损失;
根据所述生成损失、所述预测损失和所述第一分布损失确定所述目标损失。
3.根据权利要求2所述的方法,其特征在于,所述训练样本集中包含对应于多种息肉标注类别的训练样本;
所述根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,还包括:
根据各种息肉标注类别下的生成图像,针对任意两种息肉标注类别下的生成图像,确定该两种息肉标注类别下的生成图像对应的第二分布距离,其中,所述第二分布距离用于表示属于不同息肉标注类别下的生成图像的分布之间的差异;
所述根据所述生成损失、所述预测损失和所述分布损失确定所述目标损失,包括:
根据所述第二分布距离确定所述图像生成模型的第二分布差异;
将所述生成损失、所述预测损失、所述第一分布损失和所述第二分布损失的加权和确定为所述目标损失。
4.根据权利要求1所述的方法,其特征在于,所述根据所述训练图像和所述生成图像,确定所述训练图像和所述生成图像对应的第一分布距离,包括:
针对同一息肉标注类别下的训练图像和生成图像,确定所述训练图像之间的传输距离、所述生成图像之间的传输距离、以及所述训练图像和所述生成图像之间的传输距离;
根据所述训练图像和所述生成图像之间的传输距离、所述训练图像之间的传输距离,以及所述生成图像之间的传输距离确定所述第一分布距离。
6.一种息肉识别方法,其特征在于,所述方法包括:
接收待识别的息肉图像;
将所述息肉图像输入息肉识别模型,获得所述息肉图像的识别结果,其中,所述息肉识别模型对应的训练样本集包含原始样本、以及根据所述原始样本和图像生成模型中的第一生成器生成的生成样本,所述图像生成模型是基于权利要求1-5中任一项所述的息肉图像生成模型的训练方法进行训练所得的,所述原始样本包括原始图像和所述原始图像对应的息肉标注类别,所述生成样本包括基于原始图像生成的生成图像以及该原始图像对应的息肉标注类别。
7.根据权利要求6所述的方法,其特征在于,所述息肉识别模型通过以下方式进行训练:
对所述训练样本集中的目标训练图像进行预处理,获得处理图像,其中,所述预处理包括非线性变换和/或局部像素洗牌,所述目标训练图像包括所述原始图像和所述生成图像;
以所述处理图像作为模型输入,以所述目标训练图像作为目标输出对所述息肉识别模型进行预训练,以获得预训练后的息肉识别模型;
以所述目标训练图像作为模型输入,以所述目标训练图像对应的息肉标注类别为目标输出,对所述预训练后的息肉识别模型进行训练,以获得训练完成的息肉识别模型。
8.一种息肉图像生成模型的训练装置,其特征在于,所述装置包括:
获取模块,用于获取训练样本集,其中,所述训练样本集中的每一训练样本包含训练图像以及所述训练图像对应的息肉标注类别;
生成模块,用于根据所述训练图像和图像生成模型,获得所述训练图像对应的生成图像和还原图像,其中,所述图像生成模型包括第一生成器和第二生成器,所述第一生成器用于根据所述训练图像生成所述生成图像,所述第二生成器用于根据所述生成图像生成所述还原图像;
第一确定模块,用于根据所述训练图像和所述生成图像,确定所述训练图像和所述生成图像对应的第一分布距离,其中,所述第一分布距离用于表示所述训练图像的分布和所述生成图像的分布之间的差异;
第二确定模块,用于根据所述第一分布距离、所述训练图像、所述生成图像、所述还原图像以及所述训练图像对应的息肉标注类别,确定所述图像生成模型的目标损失,其中,所述目标损失包括根据所述第一分布距离确定出的第一分布损失,所述第一分布损失与所述第一分布距离为负相关关系;
更新模块,用于在满足更新条件的情况下,根据所述目标损失对所述图像生成模型的参数进行更新。
9.一种息肉识别装置,其特征在于,所述装置包括:
接收模块,用于接收待识别的息肉图像;
识别模块,用于将所述息肉图像输入息肉识别模型,获得所述息肉图像的识别结果,其中,所述息肉识别模型对应的训练样本集包含原始样本、以及根据所述原始样本和图像生成模型中的第一生成器生成的生成样本,所述图像生成模型是基于权利要求1-5中任一项所述的息肉图像生成模型的训练方法进行训练所得的,所述原始样本包括原始图像和所述原始图像对应的息肉标注类别,所述生成样本包括基于原始图像生成的生成图像以及该原始图像对应的息肉标注类别。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。
11.一种电子设备,其特征在于,包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111028344.XA CN113469295B (zh) | 2021-09-02 | 2021-09-02 | 生成模型的训练方法、息肉识别方法、装置、介质及设备 |
PCT/CN2022/116426 WO2023030427A1 (zh) | 2021-09-02 | 2022-09-01 | 生成模型的训练方法、息肉识别方法、装置、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111028344.XA CN113469295B (zh) | 2021-09-02 | 2021-09-02 | 生成模型的训练方法、息肉识别方法、装置、介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113469295A true CN113469295A (zh) | 2021-10-01 |
CN113469295B CN113469295B (zh) | 2021-12-03 |
Family
ID=77867407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111028344.XA Active CN113469295B (zh) | 2021-09-02 | 2021-09-02 | 生成模型的训练方法、息肉识别方法、装置、介质及设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113469295B (zh) |
WO (1) | WO2023030427A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114782390A (zh) * | 2022-04-29 | 2022-07-22 | 小荷医疗器械(海南)有限公司 | 检测模型的确定方法、息肉检测方法、装置、介质及设备 |
WO2023030427A1 (zh) * | 2021-09-02 | 2023-03-09 | 北京字节跳动网络技术有限公司 | 生成模型的训练方法、息肉识别方法、装置、介质及设备 |
WO2023155494A1 (zh) * | 2022-02-16 | 2023-08-24 | 上海商汤智能科技有限公司 | 图像检测及训练方法、相关装置、设备、介质和程序产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416059A (zh) * | 2018-03-22 | 2018-08-17 | 北京市商汤科技开发有限公司 | 图像描述模型的训练方法和装置、设备、介质、程序 |
CN109101602A (zh) * | 2018-08-01 | 2018-12-28 | 腾讯科技(深圳)有限公司 | 图像检索模型训练方法、图像检索方法、设备及存储介质 |
WO2019218835A1 (zh) * | 2018-05-16 | 2019-11-21 | 腾讯科技(深圳)有限公司 | 图像识别方法、存储介质及计算机设备 |
CN111985547A (zh) * | 2020-08-11 | 2020-11-24 | 华侨大学 | 一种基于注意力引导生成学习的跨分辨率车辆再辨识方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112164026B (zh) * | 2020-09-01 | 2022-10-25 | 上海交通大学 | 一种内窥镜息肉实时检测方法、系统及终端 |
CN112733946B (zh) * | 2021-01-14 | 2023-09-19 | 北京市商汤科技开发有限公司 | 一种训练样本的生成方法、装置、电子设备及存储介质 |
CN113469295B (zh) * | 2021-09-02 | 2021-12-03 | 北京字节跳动网络技术有限公司 | 生成模型的训练方法、息肉识别方法、装置、介质及设备 |
-
2021
- 2021-09-02 CN CN202111028344.XA patent/CN113469295B/zh active Active
-
2022
- 2022-09-01 WO PCT/CN2022/116426 patent/WO2023030427A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416059A (zh) * | 2018-03-22 | 2018-08-17 | 北京市商汤科技开发有限公司 | 图像描述模型的训练方法和装置、设备、介质、程序 |
WO2019218835A1 (zh) * | 2018-05-16 | 2019-11-21 | 腾讯科技(深圳)有限公司 | 图像识别方法、存储介质及计算机设备 |
CN109101602A (zh) * | 2018-08-01 | 2018-12-28 | 腾讯科技(深圳)有限公司 | 图像检索模型训练方法、图像检索方法、设备及存储介质 |
CN111985547A (zh) * | 2020-08-11 | 2020-11-24 | 华侨大学 | 一种基于注意力引导生成学习的跨分辨率车辆再辨识方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023030427A1 (zh) * | 2021-09-02 | 2023-03-09 | 北京字节跳动网络技术有限公司 | 生成模型的训练方法、息肉识别方法、装置、介质及设备 |
WO2023155494A1 (zh) * | 2022-02-16 | 2023-08-24 | 上海商汤智能科技有限公司 | 图像检测及训练方法、相关装置、设备、介质和程序产品 |
CN114782390A (zh) * | 2022-04-29 | 2022-07-22 | 小荷医疗器械(海南)有限公司 | 检测模型的确定方法、息肉检测方法、装置、介质及设备 |
CN114782390B (zh) * | 2022-04-29 | 2023-08-11 | 小荷医疗器械(海南)有限公司 | 检测模型的确定方法、息肉检测方法、装置、介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023030427A1 (zh) | 2023-03-09 |
CN113469295B (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11367313B2 (en) | Method and apparatus for recognizing body movement | |
CN113469295B (zh) | 生成模型的训练方法、息肉识别方法、装置、介质及设备 | |
CN113313064B (zh) | 字符识别方法、装置、可读介质及电子设备 | |
CN113487608B (zh) | 内窥镜图像检测方法、装置、存储介质及电子设备 | |
CN113470031B (zh) | 息肉分型方法、模型训练方法及相关装置 | |
CN113487609B (zh) | 组织腔体的定位方法、装置、可读介质和电子设备 | |
CN113140012B (zh) | 图像处理方法、装置、介质及电子设备 | |
CN114332033A (zh) | 基于人工智能的内窥镜图像处理方法、装置、介质及设备 | |
CN113610034B (zh) | 识别视频中人物实体的方法、装置、存储介质及电子设备 | |
CN114581336A (zh) | 图像修复方法、装置、设备、介质及产品 | |
CN114240867A (zh) | 内窥镜图像识别模型的训练方法、内窥镜图像识别方法及装置 | |
CN113033552B (zh) | 文本识别方法、装置和电子设备 | |
CN113470026B (zh) | 息肉识别方法、装置、介质及设备 | |
CN113222050B (zh) | 图像分类方法、装置、可读介质及电子设备 | |
CN115375656A (zh) | 息肉分割模型的训练方法、分割方法、装置、介质及设备 | |
CN115375657A (zh) | 息肉检测模型的训练方法、检测方法、装置、介质及设备 | |
CN115115836A (zh) | 图像识别方法、装置、存储介质以及电子设备 | |
CN111737575B (zh) | 内容分发方法、装置、可读介质及电子设备 | |
CN111353536B (zh) | 图像的标注方法、装置、可读介质和电子设备 | |
CN112418233A (zh) | 图像处理方法、装置、可读介质及电子设备 | |
CN117373024B (zh) | 标注图像生成方法、装置、电子设备和计算机可读介质 | |
CN118537671A (zh) | 缺陷样本数据集的构建方法和装置 | |
CN117115139A (zh) | 内窥镜视频检测方法、装置、可读介质及电子设备 | |
CN117315759A (zh) | 人脸活体检测方法、人脸识别方法、装置和电子设备 | |
CN115546708A (zh) | 目标检测方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20211001 Assignee: Xiaohe medical instrument (Hainan) Co.,Ltd. Assignor: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd. Contract record no.: X2021990000694 Denomination of invention: Training method for generating model, polyp recognition method, device, medium and equipment License type: Common License Record date: 20211117 |