CN116797889B - 医学影像识别模型的更新方法、装置和计算机设备 - Google Patents
医学影像识别模型的更新方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN116797889B CN116797889B CN202311068558.9A CN202311068558A CN116797889B CN 116797889 B CN116797889 B CN 116797889B CN 202311068558 A CN202311068558 A CN 202311068558A CN 116797889 B CN116797889 B CN 116797889B
- Authority
- CN
- China
- Prior art keywords
- image
- medical
- target
- vector
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003745 diagnosis Methods 0.000 claims abstract description 138
- 238000012549 training Methods 0.000 claims abstract description 70
- 239000013598 vector Substances 0.000 claims description 99
- 238000012216 screening Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 2
- 230000003902 lesion Effects 0.000 description 15
- 206010028980 Neoplasm Diseases 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 7
- 230000000747 cardiac effect Effects 0.000 description 6
- 210000001187 pylorus Anatomy 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 3
- 208000037062 Polyps Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 231100001012 cardiac lesion Toxicity 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及图像处理技术领域，提供了一种医学影像识别模型的更新方法、装置和计算机设备，该方法包括：根据医学诊断报告从医学检查影像中选取待识别图像，待识别图像为医学检查影像中显示出医学诊断报告中记载的诊断结果的图像；将待识别图像输入医学影像识别模型进行学习识别得到识别结果；判断待识别图像的识别结果与医学诊断报告中记载的诊断结果是否一致；若不一致，则将待识别图像加入医学影像识别模型的图像训练样本，实现医学影像识别模型的迭代更新。本发明能够自动筛选医学影像识别模型的训练样本，自动进行医学影像识别模型的迭代更新，节约了人力、时间成本，缩短了医学影像识别模型的迭代周期，提高了迭代效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种医学影像识别模型的更新方法、装置和计算机设备。
背景技术
基于人工智能的医学影像识别模型是通过不断向影像识别模型中输入训练样本、测试迭代更新以持续的提高影像识别模型的准确率。当前影像识别模型的迭代方式是通过人工审核的方式，从医疗机构每日生成大量的影像数据中筛选出用于训练的样本并对样本进行标注，而且将影像数据使用影像识别模型识别后也需要人工审核校验识别结果。这种影像识别模型的迭代更新方式，会因训练数据采集效率低耗费大量的人力、时间成本，导致出现影像识别模型的迭代周期长的问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题的一种医学影像识别模型的更新方法、装置和计算机设备。
本发明的一个方面，提供了一种医学影像识别模型的更新方法，所述方法包括：
根据医学检查影像对应的医学诊断报告从所述医学检查影像中选取用于验证预设的医学影像识别模型的待识别图像，待识别图像为所述医学检查影像中显示出所述医学诊断报告中记载的诊断结果的图像；
将待识别图像输入所述医学影像识别模型进行学习识别，得到待识别图像的识别结果；
判断所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果是否一致；
若所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果不一致，则将所述待识别图像加入所述医学影像识别模型的图像训练样本，实现所述医学影像识别模型的迭代更新。
进一步地，所述根据医学检查影像对应的医学诊断报告从所述医学检查影像中选取用于验证预设的医学影像识别模型的待识别图像，包括：
获取医学检查影像和与所述医学检查影像对应的医学诊断报告，所述医学检查影像包括多张目标图像；
基于预设的图文多模态模型对各个目标图像进行学习识别，获得与各个目标图像对应的目标文本描述；
将各个目标图像对应的目标文本描述与所述医学诊断报告中记载的诊断结果进行相似度比较，选取相似度最高的一张或多张目标图像作为待识别图像。
进一步地，所述将各个目标图像对应的目标文本描述与所述医学诊断报告中记载的诊断结果进行相似度比较包括：
将各个目标图像对应的目标文本描述以及所述医学诊断报告中记载的诊断结果分别转化成向量形式描述，以获得各个目标图像对应的目标识别向量和医学诊断报告中记载的诊断结果对应的标准向量；
分别计算各个目标识别向量与所述标准向量的向量相似度；
根据所述向量相似度判断各个目标图像对应的目标文本描述与所述医学诊断报告的诊断结果的相似度。
进一步地，所述分别计算各个目标识别向量与所述标准向量的向量相似度，包括：
分别计算各个目标识别向量与所述标准向量的余弦相似度，将所述余弦相似度作为所述向量相似度；或
分别计算各个目标识别向量与所述标准向量的向量距离，将所述向量距离作为所述向量相似度。
进一步地，所述将各个目标图像对应的目标文本描述以及所述医学诊断报告中记载的诊断结果分别转化成向量形式描述包括：
根据所述医学诊断报告记载的诊断结果生成标准文本描述；
分别将各个目标图像对应的目标文本描述和标准文本描述进行单词转化，以获得各个目标图像对应的目标单词组和医学诊断报告中记载的诊断结果对应的标准单词组；
基于预设的向量生成模型将各个所述目标单词组和所述标准单词组分别转化成向量形式描述。
进一步地，所述标准文本描述与所述目标文本描述具有相同的语句结构。
进一步地，将所述待识别图像加入所述医学影像识别模型的图像训练样本，实现所述医学影像识别模型的迭代更新，包括：
根据所述医学诊断报告对所述图像训练样本进行识别结果标注；
将标注后的图像训练样本作为补充数据集放入所述医学影像识别模型的训练集中，获得更新后的训练集，以基于所述更新后的训练集对所述医学影像识别模型进行学习训练，实现所述医学影像识别模型的迭代更新。
进一步地，在基于预设的图文多模态模型对各个所述目标图像进行学习识别之前，所述方法还包括：
获取收集到的医学检查影像样本和与所述医学检查影像样本对应的医学诊断报告样本，其中每个医学检查影像样本中包含多张目标图像样本；
根据所述医学诊断报告样本对各个目标图像样本进行文本描述标注；
将所述目标图像样本和所述目标图像样本的文本描述作为训练数据输入预设的图文多模态训练模型进行学习训练，得到图文多模态模型。
本发明的另一个方面，提供了一种医学影像识别模型的更新装置，所述装置包括：
筛选模块，用于根据医学检查影像对应的医学诊断报告从所述医学检查影像中选取用于验证预设的医学影像识别模型的待识别图像，待识别图像为所述医学检查影像中显示出所述医学诊断报告中记载的诊断结果的图像；
诊断结果识别模块，用于将待识别图像输入所述医学影像识别模型进行学习识别，得到待识别图像的识别结果；
判断模块，用于判断所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果是否一致；
迭代更新模块，用于若所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果不一致，则将所述待识别图像加入所述医学影像识别模型的图像训练样本，实现所述医学影像识别模型的迭代更新。
本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时，实现如上任一项所述的医学影像识别模型的更新方法的步骤。
本申请实施例提供的一种医学影像识别模型的更新方法、装置和计算机设备，该方法为根据医学检查影像对应的医学诊断报告从医学检查影像中选取用于验证预设的医学影像识别模型的待识别图像，待识别图像为医学检查影像中显示出医学诊断报告中记载的诊断结果的图像；将待识别图像输入医学影像识别模型进行学习识别，得到待识别图像的识别结果；判断待识别图像的识别结果与医学诊断报告中记载的诊断结果是否一致；若待识别图像的识别结果与医学诊断报告中记载的诊断结果不一致，则将待识别图像加入医学影像识别模型的图像训练样本，实现医学影像识别模型的迭代更新。本发明能够自动筛选医学影像识别模型的训练样本，自动进行医学影像识别模型的迭代更新，节约了人力、时间成本，缩短了医学影像识别模型的迭代周期，提高了迭代效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1为本发明一个实施例的一种医学影像识别模型的更新方法的流程图；
图2为本发明又一实施例的一种医学影像识别模型的更新方法的流程图；
图3为本发明再一实施例的一种医学影像识别模型的更新方法的流程图；
图4为本发明另一实施例的一种医学影像识别模型的更新方法的流程图；
图5为本发明实施例的一种医学影像识别模型的更新装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
实施例一
本发明实施例提供了一种医学影像识别模型的更新方法，如图1所示，医学影像识别模型的更新方法，包括以下步骤：
S1、根据医学检查影像对应的医学诊断报告从所述医学检查影像中选取用于验证预设的医学影像识别模型的待识别图像，待识别图像为所述医学检查影像中显示出所述医学诊断报告中记载的诊断结果的图像；
S2、将待识别图像输入所述医学影像识别模型进行学习识别，得到待识别图像的识别结果；
S3、判断所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果是否一致；
S4、若所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果不一致，则将所述待识别图像加入所述医学影像识别模型的图像训练样本，实现所述医学影像识别模型的迭代更新。
本发明根据医学诊断报告中记载的诊断结果自动筛选出医学检查影像中用于验证预设的医学影像识别模型的待识别图像，并将待识别图像输入所述医学影像识别模型，若医学影像识别模型能够正确识别该待识别图像便不将该待识别图像作为训练样本，若医学影像识别模型不能正确识别该待识别图像，则将该待识别图像作为训练样本重新对述医学影像识别模型进行训练，避免了对已经能够正确识别的图像进行重复训练提高了更新迭代效率。该方法不仅节约了训练样本筛选的时间，同时提高了医学影像识别模型的迭代效率。同时，本发明采用医学检查影像对应的医学诊断报告是经医生审核过的诊断结果，因此可以作为待识别图像筛选的“金标准”，其样本识别的准确性非常可靠，有效保障了训练样本筛选的准确率。
此外需要说明的是，本发明实施例中的医学影像识别模型包括部位识别模型和/或病灶识别模型。其中部位识别模型用于识别图像中所检查的具体部位，病灶识别模型用于识别图像中的具体病灶信息。当然随着人工智能在医学影像预测方面的应用，本发明实施例的医学影像识别模型也可以包含其他识别模型。
在步骤S1中，根据医学检查影像对应的医学诊断报告从所述医学检查影像中选取用于验证预设的医学影像识别模型的待识别图像，包括附图2示出的如下步骤：
S11、获取医学检查影像和与所述医学检查影像对应的医学诊断报告，所述医学检查影像包括多张目标图像；
需要说明的是，在一次医学检查获得的医学检查影像中会采集多张不同部位的图像，其中包含了病灶和非病灶信息。本发明通过自动识别包含病灶信息的图像作为待识别图像，避免了人工采样耗费人力和时间成本的问题。本发明在后续接收中以消化内窥镜检查为一个具体实施例介绍一次医学检查的相关内容。
S12、基于预设的图文多模态模型对各个目标图像进行学习识别，获得与各个目标图像对应的目标文本描述；
本发明实施例通过预先训练获得的图文多模态模型对各个目标图像进行学习识别，能够预测出与各个目标图像对应的目标文本描述，其中目标文本描述为自定义文本形式，该自定义文本形式能够对各个目标图像进行有病或无病描述，例如无病描述为：幽门没有病灶，有病描述如：贲门有早癌病灶，1个，在病灶图像上的坐标信息:[10,10,200,200]。
S13、将各个目标图像对应的目标文本描述与所述医学诊断报告中记载的诊断结果进行相似度比较，选取相似度最高的一张或多张目标图像作为待识别图像。
对于步骤S13，通过将各个目标图像对应的目标文本描述与所述医学诊断报告中记载的诊断结果进行相似度比较，选取相似度最高的一张或多张目标图像作为待识别图像获得与医学诊断报告中的诊断结果的病灶信息对应的图像，该方法旨在在一次医学检测收集的众多图像中自动筛选出包含病灶的待识别图像，全程无需人工参与，在减少人力成本的同时提高筛选效率。
进一步地，将各个目标图像对应的目标文本描述与所述医学诊断报告中记载的诊断结果进行相似度比较包括附图3所示的如下步骤：
S131、将各个目标图像对应的目标文本描述以及所述医学诊断报告中记载的诊断结果分别转化成向量形式描述，以获得各个目标图像对应的目标识别向量和医学诊断报告中记载的诊断结果对应的标准向量；
本发明实施例中将各个目标图像对应的目标文本描述以及所述医学诊断报告中记载的诊断结果分别转化成向量形式描述包括：根据所述医学诊断报告记载的诊断结果生成标准文本描述；分别将各个目标图像对应的目标文本描述和标准文本描述进行单词转化，以获得各个目标图像对应的目标单词组和医学诊断报告中记载的诊断结果对应的标准单词组；基于预设的向量生成模型将各个所述目标单词组和所述标准单词组分别转化成向量形式描述。
其中，所述标准文本描述与所述目标文本描述具有相同的语句结构。以便于提高文本相似度的识别精准度。例如目标文本描述为贲门有早癌病灶，1个，在病灶图像上的坐标信息:[10,10,200,200]；幽门没有病灶。标准文本描述是与目标文本描述对应的有病描述，具体为贲门有早癌病灶，1个，在病灶图像上的坐标信息:[10,10,200,200]。
进一步地，将各个目标图像对应的目标文本描述和标准文本描述进行单词转化具体为：如贲门有早癌病灶，1个，在病灶图像上的坐标信息:[10,10,200,200]。单词转化后的表述为：贲门，早癌，1。胃底有息肉病灶，3个，在病灶图像上的坐标信息:[10,10,100,100],[20,20,200,200], [30,30,300,300]。单词转化后的表述为：胃底，息肉，3。幽门没有病灶，单词转化后的表述为：幽门，没病。
进一步地，基于预设的向量生成模型将各个所述目标单词组和所述标准单词组分别转化成向量形式描述具体可以为，采用预先训练的word2vec模型将单词组转换成向量形式。
S132、分别计算各个目标识别向量与所述标准向量的向量相似度；
在本发明实施例中，分别计算各个目标识别向量与所述标准向量的向量相似度，包括：分别计算各个目标识别向量与所述标准向量的余弦相似度，将所述余弦相似度作为所述向量相似度；或分别计算各个目标识别向量与所述标准向量的向量距离，将所述向量距离作为所述向量相似度。其中，计算各个目标识别向量与所述标准向量的余弦相似度为测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。计算计算各个目标识别向量与所述标准向量的向量距离为计算它们之间的欧式距离、标准化欧氏距离等。
S133、根据所述向量相似度判断各个目标图像对应的目标文本描述与所述医学诊断报告的诊断结果的相似度。
在本发明实施例中，目标识别向量与所述标准向量的相似度越高证明目标识别向量所描述的目标图像为包含病灶的图像的概率越高，因此可以根据相似度进行包含病灶的图像的筛选。
在本发明的一个优选实施例中，医学诊断报告为结构化报告数据，所述结构化报告数据是将诊断数据维度和/或诊断推理逻辑内置到报告模型中的诊断知识库，以便于根据所述医学诊断报告提取出诊断结果，所述诊断结果包含病灶类别、数量、病灶所在部位和病灶所在部位的具体坐标中的一项或多项。结构化报告数据可以以XML文档形式存储的，具有特性的形式和组织属性和元组，从结构化数据中提取出病灶信息，包含病灶类别、数量、病灶所在的部位，组成包含病灶信息的自定义文本形式，比如贲门有早癌病灶，1个，在病灶图像上的坐标信息: [20,20,200,200]。由于结构化报告数据中的，数据元素是经过医生审核后的“金标准”，因此无需再进行人工审核，通过结构化信息用于影像识别模型自动持续迭代，极大提高模型持续改进的效率。
在步骤S4中，将所述待识别图像加入所述医学影像识别模型的图像训练样本，实现所述医学影像识别模型的迭代更新，包括：根据所述医学诊断报告对所述图像训练样本进行识别结果标注；将标注后的图像训练样本作为补充数据集放入所述医学影像识别模型的训练集中，获得更新后的训练集，以基于所述更新后的训练集对所述医学影像识别模型进行学习训练，实现所述医学影像识别模型的迭代更新。
本发明自动筛选出图像训练样本后，将图像训练样本根据诊断报告的病灶信息和部位类别重新进行标注，作为补充训练数据放入所述医学影像识别模型的训练集中，将补充数据集定期放到训练集中，重新训练部位识别模型和病灶识别模型，进行AI模型的持续迭代。本发明实现了医学影像识别模型的训练样本的自动筛选，进而做到模型的自动更新迭代，极大的减少了人力和时间成本，提高了模型的迭代更新效率。
进一步地，本发明在基于预设的图文多模态模型对各个所述目标图像进行学习识别之前还包括图文多模态模型的训练过程，具体包括附图4示出的如下步骤：
S01、获取收集到的医学检查影像样本和与所述医学检查影像样本对应的医学诊断报告样本，其中每个医学检查影像样本中包含多张目标图像样本；
需要说明的是，在一次医学检查中会采集多张不同部位的图像，包含病灶和非病灶图像。通过与所述医学检查影像样本对应的医学诊断报告样本对多张采集图像进行标签标注，筛选出病灶图像标注病灶位置、病灶类别、病灶所在的部位类别。
S02、根据所述医学诊断报告样本对各个目标图像样本进行文本描述标注；
在本发明实施例中，根据所述医学诊断报告样本对各个目标图像样本进行文本描述标注具体为：并从医学诊断报告样本中提取病灶信息，包含病灶类别、数量、病灶所在的部位，组成包含病灶信息的自定义文本形式比如贲门有早癌病灶，1个，在病灶图像上的坐标信息: [20,20,200,200]。对没有病灶的内镜图像，组成自定义文本形式，比如幽门没有病灶。
S03、将所述目标图像样本和所述目标图像样本的文本描述作为训练数据输入预设的图文多模态训练模型进行学习训练，得到图文多模态模型。
在本发明的一个具体实施例中，图文多模态训练模型可以为CLIP图像文本多模态模型，CLIP的主要结构是一个文本编码器Text Encoder用来提取文本特征和一个图像编码器Image Encoder用来提取图像特征，将图像和文本先分别输入一个图像编码器image_encoder和一个文本编码器text_encoder，然后计算文本向量和图像向量的相似度以预测它们是否为一对，进而训练获得本发明实施例的图文多模态模型。在后续的实际应用中，将待识别的图像输入到训练好的图文多模态模型，便可以输出和图像对应的文本预测结果。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例二
图5示意性的示出了本发明实施例提供一种医学影像识别模型的更新装置的结构示意图，参照图5，本发明实施例的一种医学影像识别模型的更新装置具体包括有筛选模块201、诊断结果识别模块202、判断模块203和迭代更新模块204，其中：
筛选模块201，用于根据医学检查影像对应的医学诊断报告从所述医学检查影像中选取用于验证预设的医学影像识别模型的待识别图像，待识别图像为所述医学检查影像中显示出所述医学诊断报告中记载的诊断结果的图像；
诊断结果识别模块202，用于将待识别图像输入所述医学影像识别模型进行学习识别，得到待识别图像的识别结果；
判断模块203，用于判断所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果是否一致；
迭代更新模块204，用于若所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果不一致，则将所述待识别图像加入所述医学影像识别模型的图像训练样本，实现所述医学影像识别模型的迭代更新。
进一步地，筛选模块201具体包括：
获取子模块，用于获取医学检查影像和与所述医学检查影像对应的医学诊断报告，所述医学检查影像包括多张目标图像；
文本描述识别子模块，用于基于预设的图文多模态模型对各个目标图像进行学习识别，获得与各个目标图像对应的目标文本描述；
筛选子模块，用于将各个目标图像对应的目标文本描述与所述医学诊断报告中记载的诊断结果进行相似度比较，选取相似度最高的一张或多张目标图像作为待识别图像。
进一步地，筛选子模块具体包括：
向量提取单元，用于将各个目标图像对应的目标文本描述以及所述医学诊断报告中记载的诊断结果分别转化成向量形式描述，以获得各个目标图像对应的目标识别向量和医学诊断报告中记载的诊断结果对应的标准向量；
相似度计算单元，用于分别计算各个目标识别向量与所述标准向量的向量相似度；
判断单元，用于根据所述向量相似度判断各个目标图像对应的目标文本描述与所述医学诊断报告的诊断结果的相似度。
进一步地，相似度计算单元具体用于分别计算各个目标识别向量与所述标准向量的余弦相似度，将所述余弦相似度作为所述向量相似度；或分别计算各个目标识别向量与所述标准向量的向量距离，将所述向量距离作为所述向量相似度。
进一步地，向量提取单元具体包括：
标准文本生成子单元，用于根据所述医学诊断报告记载的诊断结果生成标准文本描述；
转单词子单元，用于分别将各个目标图像对应的目标文本描述和标准文本描述进行单词转化，以获得各个目标图像对应的目标单词组和医学诊断报告中记载的诊断结果对应的标准单词组；
转向量子单元，用于基于预设的向量生成模型将各个所述目标单词组和所述标准单词组分别转化成向量形式描述。
进一步地，迭代更新模块204具体用于根据所述医学诊断报告对所述图像训练样本进行识别结果标注；将标注后的图像训练样本作为补充数据集放入所述医学影像识别模型的训练集中，获得更新后的训练集，以基于所述更新后的训练集对所述医学影像识别模型进行学习训练，实现所述医学影像识别模型的迭代更新。
进一步地，本发明实施例的医学影像识别模型的更新装置还包括多模态模型训练模块，用于获取收集到的医学检查影像样本和与所述医学检查影像样本对应的医学诊断报告样本，其中每个医学检查影像样本中包含多张目标图像样本；根据所述医学诊断报告样本对各个目标图像样本进行文本描述标注；将所述目标图像样本和所述目标图像样本的文本描述作为训练数据输入预设的图文多模态训练模型进行学习训练，得到图文多模态模型。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本申请实施例提供的一种医学影像识别模型的更新方法和装置，该方法为根据医学检查影像对应的医学诊断报告从医学检查影像中选取用于验证预设的医学影像识别模型的待识别图像，待识别图像为医学检查影像中显示出医学诊断报告中记载的诊断结果的图像；将待识别图像输入医学影像识别模型进行学习识别，得到待识别图像的识别结果；判断待识别图像的识别结果与医学诊断报告中记载的诊断结果是否一致；若待识别图像的识别结果与医学诊断报告中记载的诊断结果不一致，则将待识别图像加入医学影像识别模型的图像训练样本，实现医学影像识别模型的迭代更新。本发明能够自动筛选医学影像识别模型的训练样本，自动进行医学影像识别模型的迭代更新，节约了人力、时间成本，缩短了医学影像识别模型的迭代周期，提高了迭代效率。
实施例三
本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个医学影像识别模型的更新方法实施例中的步骤，例如图1所示的步骤S1-S4。或者，所述处理器执行所述计算机程序时实现上述各医学影像识别模型的更新装置或网关系统实施例中各模块/单元的功能，例如图5所示的筛选模块201、诊断结果识别模块202、判断模块203和迭代更新模块204。
Claims (9)
1.一种医学影像识别模型的更新方法，其特征在于，所述方法包括：
获取医学检查影像和与所述医学检查影像对应的医学诊断报告，所述医学检查影像包括多张目标图像；
基于预设的图文多模态模型对各个目标图像进行学习识别，获得与各个目标图像对应的目标文本描述；
将各个目标图像对应的目标文本描述与所述医学诊断报告中记载的诊断结果进行相似度比较，选取相似度最高的一张或多张目标图像作为用于验证预设的医学影像识别模型的待识别图像；
将待识别图像输入所述医学影像识别模型进行学习识别，得到待识别图像的识别结果；
判断所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果是否一致；
若所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果不一致，则将所述待识别图像加入所述医学影像识别模型的图像训练样本，实现所述医学影像识别模型的迭代更新。
2.根据权利要求1所述的方法，其特征在于，所述将各个目标图像对应的目标文本描述与所述医学诊断报告中记载的诊断结果进行相似度比较包括：
将各个目标图像对应的目标文本描述以及所述医学诊断报告中记载的诊断结果分别转化成向量形式描述，以获得各个目标图像对应的目标识别向量和医学诊断报告中记载的诊断结果对应的标准向量；
分别计算各个目标识别向量与所述标准向量的向量相似度；
根据所述向量相似度判断各个目标图像对应的目标文本描述与所述医学诊断报告的诊断结果的相似度。
3.根据权利要求2所述的方法，其特征在于，所述分别计算各个目标识别向量与所述标准向量的向量相似度，包括：
分别计算各个目标识别向量与所述标准向量的余弦相似度，将所述余弦相似度作为所述向量相似度；或
分别计算各个目标识别向量与所述标准向量的向量距离，将所述向量距离作为所述向量相似度。
4.根据权利要求2所述的方法，其特征在于，所述将各个目标图像对应的目标文本描述以及所述医学诊断报告中记载的诊断结果分别转化成向量形式描述包括：
根据所述医学诊断报告记载的诊断结果生成标准文本描述；
分别将各个目标图像对应的目标文本描述和标准文本描述进行单词转化，以获得各个目标图像对应的目标单词组和医学诊断报告中记载的诊断结果对应的标准单词组；
基于预设的向量生成模型将各个所述目标单词组和所述标准单词组分别转化成向量形式描述。
5.根据权利要求4所述的方法，其特征在于，所述标准文本描述与所述目标文本描述具有相同的语句结构。
6.根据权利要求1-5任一项所述的方法，其特征在于，将所述待识别图像加入所述医学影像识别模型的图像训练样本，实现所述医学影像识别模型的迭代更新，包括：
根据所述医学诊断报告对所述图像训练样本进行识别结果标注；
将标注后的图像训练样本作为补充数据集放入所述医学影像识别模型的训练集中，获得更新后的训练集，以基于所述更新后的训练集对所述医学影像识别模型进行学习训练，实现所述医学影像识别模型的迭代更新。
7.根据权利要求1-5任一项所述的方法，其特征在于，在基于预设的图文多模态模型对各个所述目标图像进行学习识别之前，所述方法还包括：
获取收集到的医学检查影像样本和与所述医学检查影像样本对应的医学诊断报告样本，其中每个医学检查影像样本中包含多张目标图像样本；
根据所述医学诊断报告样本对各个目标图像样本进行文本描述标注；
将所述目标图像样本和所述目标图像样本的文本描述作为训练数据输入预设的图文多模态训练模型进行学习训练，得到图文多模态模型。
8.一种医学影像识别模型的更新装置，其特征在于，所述装置包括：
获取子模块，用于获取医学检查影像和与所述医学检查影像对应的医学诊断报告，所述医学检查影像包括多张目标图像；
文本描述识别子模块，用于基于预设的图文多模态模型对各个目标图像进行学习识别，获得与各个目标图像对应的目标文本描述；
筛选子模块，用于将各个目标图像对应的目标文本描述与所述医学诊断报告中记载的诊断结果进行相似度比较，选取相似度最高的一张或多张目标图像作为用于验证预设的医学影像识别模型的待识别图像；
诊断结果识别模块，用于将待识别图像输入所述医学影像识别模型进行学习识别，得到待识别图像的识别结果；
判断模块，用于判断所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果是否一致；
迭代更新模块，用于若所述待识别图像的识别结果与所述医学诊断报告中记载的诊断结果不一致，则将所述待识别图像加入所述医学影像识别模型的图像训练样本，实现所述医学影像识别模型的迭代更新。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时，实现如权利要求1-7中任一项所述的医学影像识别模型的更新方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311068558.9A CN116797889B (zh) | 2023-08-24 | 2023-08-24 | 医学影像识别模型的更新方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311068558.9A CN116797889B (zh) | 2023-08-24 | 2023-08-24 | 医学影像识别模型的更新方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116797889A CN116797889A (zh) | 2023-09-22 |
| CN116797889B true CN116797889B (zh) | 2023-12-08 |
Family
ID=88046284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311068558.9A Active CN116797889B (zh) | 2023-08-24 | 2023-08-24 | 医学影像识别模型的更新方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797889B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117528131B (zh) * | 2024-01-05 | 2024-04-05 | 青岛美迪康数字工程有限公司 | 一种医学影像的ai一体化显示系统及方法 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109065110A (zh) * | 2018-07-11 | 2018-12-21 | 哈尔滨工业大学 | 一种基于深度学习方法的自动生成医学影像诊断报告的方法 |
| CN109583440A (zh) * | 2017-09-28 | 2019-04-05 | 北京西格码列顿信息技术有限公司 | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 |
| CN111048170A (zh) * | 2019-12-23 | 2020-04-21 | 山东大学齐鲁医院 | 基于图像识别的消化内镜结构化诊断报告生成方法与系统 |
| CN111063410A (zh) * | 2019-12-20 | 2020-04-24 | 京东方科技集团股份有限公司 | 一种医学影像文本报告的生成方法及装置 |
| CN111695605A (zh) * | 2020-05-20 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于oct图像的图像识别方法、服务器及存储介质 |
| WO2021114630A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 医学图像样本筛查方法、装置、计算机设备和存储介质 |
| CN113066549A (zh) * | 2021-04-06 | 2021-07-02 | 青岛瑞斯凯尔生物科技有限公司 | 基于人工智能的医疗器械的临床有效性评估方法及系统 |
| CN113159134A (zh) * | 2021-03-29 | 2021-07-23 | 宁波市科技园区明天医网科技有限公司 | 基于乳腺结构化报告的智能化诊断评估方法 |
| CN113627395A (zh) * | 2021-09-17 | 2021-11-09 | 平安银行股份有限公司 | 文本识别方法、装置、介质及电子设备 |
| CN113780466A (zh) * | 2021-09-27 | 2021-12-10 | 重庆紫光华山智安科技有限公司 | 模型迭代优化方法、装置、电子设备和可读存储介质 |
| CN113903422A (zh) * | 2021-09-09 | 2022-01-07 | 北京邮电大学 | 医疗影像诊断报告实体提取方法、装置及设备 |
| CN115063425A (zh) * | 2022-08-18 | 2022-09-16 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于读片知识图谱的结构化检查所见生成方法及系统 |
| CN115062165A (zh) * | 2022-08-18 | 2022-09-16 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于读片知识图谱的医学影像诊断方法及装置 |
| CN115205880A (zh) * | 2022-07-29 | 2022-10-18 | 中国医学科学院医学信息研究所 | 一种医学影像报告生成方法及装置 |
| CN115293128A (zh) * | 2022-08-04 | 2022-11-04 | 上海大学 | 基于多模态对比学习放射学报告生成模型训练方法及系统 |
| WO2023000864A1 (zh) * | 2021-07-19 | 2023-01-26 | 清华大学 | 一种人脸识别方法及系统 |
| CN115797730A (zh) * | 2023-01-29 | 2023-03-14 | 有方（合肥）医疗科技有限公司 | 模型训练方法及装置、头影测量关键点定位方法及装置 |
| CN116226785A (zh) * | 2023-02-14 | 2023-06-06 | 腾讯科技（深圳）有限公司 | 目标对象识别方法、多模态识别模型的训练方法和装置 |
| CN116486984A (zh) * | 2023-05-04 | 2023-07-25 | 上海市第六人民医院 | 一种基于医学影像和在先诊断报告的转诊系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10943363B2 (en) * | 2016-07-21 | 2021-03-09 | Nec Corporation | Image processing apparatus, and image processing method |
| CN109147890B (zh) * | 2018-05-14 | 2020-04-24 | 平安科技（深圳）有限公司 | 一种医学报告的生成方法及设备 |
| CN114549874B (zh) * | 2022-03-02 | 2024-03-08 | 北京百度网讯科技有限公司 | 多目标图文匹配模型的训练方法、图文检索方法及装置 |
-
2023
- 2023-08-24 CN CN202311068558.9A patent/CN116797889B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583440A (zh) * | 2017-09-28 | 2019-04-05 | 北京西格码列顿信息技术有限公司 | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 |
| CN109065110A (zh) * | 2018-07-11 | 2018-12-21 | 哈尔滨工业大学 | 一种基于深度学习方法的自动生成医学影像诊断报告的方法 |
| CN111063410A (zh) * | 2019-12-20 | 2020-04-24 | 京东方科技集团股份有限公司 | 一种医学影像文本报告的生成方法及装置 |
| CN111048170A (zh) * | 2019-12-23 | 2020-04-21 | 山东大学齐鲁医院 | 基于图像识别的消化内镜结构化诊断报告生成方法与系统 |
| CN111695605A (zh) * | 2020-05-20 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于oct图像的图像识别方法、服务器及存储介质 |
| WO2021114630A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 医学图像样本筛查方法、装置、计算机设备和存储介质 |
| CN113159134A (zh) * | 2021-03-29 | 2021-07-23 | 宁波市科技园区明天医网科技有限公司 | 基于乳腺结构化报告的智能化诊断评估方法 |
| CN113066549A (zh) * | 2021-04-06 | 2021-07-02 | 青岛瑞斯凯尔生物科技有限公司 | 基于人工智能的医疗器械的临床有效性评估方法及系统 |
| WO2023000864A1 (zh) * | 2021-07-19 | 2023-01-26 | 清华大学 | 一种人脸识别方法及系统 |
| CN113903422A (zh) * | 2021-09-09 | 2022-01-07 | 北京邮电大学 | 医疗影像诊断报告实体提取方法、装置及设备 |
| CN113627395A (zh) * | 2021-09-17 | 2021-11-09 | 平安银行股份有限公司 | 文本识别方法、装置、介质及电子设备 |
| CN113780466A (zh) * | 2021-09-27 | 2021-12-10 | 重庆紫光华山智安科技有限公司 | 模型迭代优化方法、装置、电子设备和可读存储介质 |
| CN115205880A (zh) * | 2022-07-29 | 2022-10-18 | 中国医学科学院医学信息研究所 | 一种医学影像报告生成方法及装置 |
| CN115293128A (zh) * | 2022-08-04 | 2022-11-04 | 上海大学 | 基于多模态对比学习放射学报告生成模型训练方法及系统 |
| CN115063425A (zh) * | 2022-08-18 | 2022-09-16 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于读片知识图谱的结构化检查所见生成方法及系统 |
| CN115062165A (zh) * | 2022-08-18 | 2022-09-16 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于读片知识图谱的医学影像诊断方法及装置 |
| CN115797730A (zh) * | 2023-01-29 | 2023-03-14 | 有方（合肥）医疗科技有限公司 | 模型训练方法及装置、头影测量关键点定位方法及装置 |
| CN116226785A (zh) * | 2023-02-14 | 2023-06-06 | 腾讯科技（深圳）有限公司 | 目标对象识别方法、多模态识别模型的训练方法和装置 |
| CN116486984A (zh) * | 2023-05-04 | 2023-07-25 | 上海市第六人民医院 | 一种基于医学影像和在先诊断报告的转诊系统 |
Non-Patent Citations (2)
| Title |
|---|
| Integrated multimodal artificial intelligence framework for healthcare applications;Luis R. Soenksen 等;《npj Digital Medicine》;全文 * |
| 基于Windows自定义消息的消化内镜系统集成;郭华源 等;《医疗卫生装备》;第33卷(第3期);第54-55、75页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116797889A (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107247881B (zh) | 一种多模态智能分析方法及系统 | |
| CN107492071B (zh) | 医学图像处理方法及设备 | |
| Lin et al. | AANet: Adaptive attention network for COVID-19 detection from chest X-ray images | |
| CN116797889B (zh) | 医学影像识别模型的更新方法、装置和计算机设备 | |
| CN105705098A (zh) | 用于诊断疾病的图像分析技术 | |
| Nurmaini et al. | Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation | |
| WO2016071825A1 (en) | Picture archiving system with text-image linking based on text recognition | |
| CN111079901A (zh) | 基于小样本学习的急性脑卒中病变分割方法 | |
| CN111524124A (zh) | 炎症性肠病消化内镜影像人工智能辅助系统 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| CN111583249A (zh) | 一种医学图像的质量监控系统及方法 | |
| CN112801958A (zh) | 超声内镜、人工智能辅助鉴别方法、系统、终端、介质 | |
| CN115830017B (zh) | 基于图文多模态融合的肿瘤检测系统、方法、设备及介质 | |
| CN115994902A (zh) | 医学图像分析方法、电子设备及存储介质 | |
| CN110930373A (zh) | 一种基于神经网络的肺炎识别装置 | |
| CN111192660A (zh) | 一种影像报告分析方法、设备及计算机存储介质 | |
| Srivastava et al. | Deep learning for detecting diseases in gastrointestinal biopsy images | |
| CN113656706A (zh) | 基于多模态深度学习模型的信息推送方法及装置 | |
| CN111091539B (zh) | 网络模型训练、医学图像处理方法、装置、介质及设备 | |
| CN115206478A (zh) | 医学报告生成方法以及装置、电子设备、可读存储介质 | |
| Zeng et al. | Machine Learning-Based Medical Imaging Detection and Diagnostic Assistance | |
| CN109147927B (zh) | 一种人机交互方法、装置、设备及介质 | |
| CN116824275B (zh) | 一种实现智能模型优化的方法、装置和计算机设备 | |
| CN112308888A (zh) | 基于深度学习体征结构的全模态医学影像序列分组方法 | |
| CN113033581A (zh) | 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |