CN116523914A - 一种动脉瘤分类识别装置、方法、设备、存储介质 - Google Patents

一种动脉瘤分类识别装置、方法、设备、存储介质 Download PDF

Info

Publication number
CN116523914A
CN116523914A CN202310798546.5A CN202310798546A CN116523914A CN 116523914 A CN116523914 A CN 116523914A CN 202310798546 A CN202310798546 A CN 202310798546A CN 116523914 A CN116523914 A CN 116523914A
Authority
CN
China
Prior art keywords
aneurysm
image
model
classification
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310798546.5A
Other languages
English (en)
Other versions
CN116523914B (zh
Inventor
刘伟华
左勇
肖恒玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Athena Eyes Co Ltd
Original Assignee
Athena Eyes Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Athena Eyes Co Ltd filed Critical Athena Eyes Co Ltd
Priority to CN202310798546.5A priority Critical patent/CN116523914B/zh
Publication of CN116523914A publication Critical patent/CN116523914A/zh
Application granted granted Critical
Publication of CN116523914B publication Critical patent/CN116523914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种动脉瘤分类识别装置、方法、设备、存储介质，涉及深度学习技术领域，包括：拍照模块，用于对包含待识别动脉瘤的部位拍照，获取目标图像；模型获取模块，用于利用病例图像训练组、训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，获取动脉瘤分类识别模型；分类模块，用于将目标图像输入至训练后的动脉瘤分类识别模型，通过训练后的动脉瘤分类识别模型对目标图像进行图像解码并对解码后的图像特征进行分类识别，输出目标图像对应的动脉瘤分类结果并显示；减少患者等待利用医疗设备进行拍片检查时间和医生分析时间，提升用户的体验度。

Description

一种动脉瘤分类识别装置、方法、设备、存储介质
技术领域
本发明涉及深度学习技术领域，特别涉及一种动脉瘤分类识别装置、方法、设备、存储介质。
背景技术
目前，在接受透析之前，需进行手术做透析的血管通路，为后期的透析做准备。血液透析有三种不同类型的透析通路，包括：中心静脉导管、动静脉（AV）瘘、动静脉移植。血管通路动脉瘤常见于伴随动静脉（AV）瘘管的血液透析患者内。视诊是发现血管通路功能障碍的重要线索。检查动静脉内瘘（AVF）或动静脉人工移植血管（AVG）以确定其走向和长度，同时评估是否有异常，如：动脉瘤/假性动脉瘤、侧支静脉、手缺血迹象，如：手指紫绀、苍白、感染迹象，例如：红斑、化脓。报道的动脉瘤发生率从5%到>60%。虽然通常没有明显的临床后遗症，但患者可能会经历并发症，如由于破裂风险而无法透析，在极少数情况下，在没有警告的情况下破裂，并可能产生潜在的灾难性的、危及生命和肢体的后果。而临床上对动脉瘤病变的检测方法之一：主要依赖于临床医生进行检测，首先利用医疗设备采集患者动脉图像，需要经验丰富的医生对动脉图像进行评估，在人工检测过程中既耗费医疗设备等物理资源，同时对临床医生的专业性有较高的要求。因为医疗资源的缺乏等原因，一部分透析患者的动脉瘤病变不能得到及时的发现。方法之二：需要获取医学影像图像进而判断是否存在动脉瘤病变，如通过在动脉内注射造影剂并使用X射线对其进行成像获得动脉血管图像，而后对图像进行动脉瘤的检测，然而这种方法需要的成本过高。
综上，如何利用一种简单化的方式即可完成对动脉瘤的分类识别，无需较高的医生专业性和专业的医疗设备，提升用户的体验度是本领域有待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种动脉瘤分类识别装置、方法、设备、存储介质，能够利用一种简单化的方式即可完成对动脉瘤的分类识别，无需较高的医生专业性和专业的医疗设备，提升用户的体验度。其具体方案如下：
第一方面，本申请公开了一种动脉瘤分类识别装置，包括：拍照模块、模型获取模块、分类模块和显示模块，其中：
所述拍照模块，用于对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像；
所述模型获取模块，用于利用病例图像训练组并基于训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型；其中，所述病例图像训练组包含预设数量个动脉瘤患者的动脉瘤部位数字图像以及与所述动脉瘤部位数字图像对应的动脉瘤分类结果；
所述分类模块，用于将所述目标图像输入至训练后的所述动脉瘤分类识别模型，以便通过训练后的所述动脉瘤分类识别模型对所述目标图像进行图像解码并对解码后的图像特征进行分类识别，然后输出所述目标图像对应的动脉瘤分类结果；
所述显示模块，用于将所述动脉瘤分类结果显示于人机交互界面中，以供用户端查看所述动脉瘤分类结果。
可选的，所述拍照模块，包括：
拍照单元，用于通过移动端APP调用移动端摄像头来对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像。
可选的，所述模型获取模块，包括：
预训练基座模型训练单元，用于将图像文本对数据集输入所述预训练基座模型进行预训练，通过所述预训练基座模型中的图像编码器进行图像特征提取和图像特征投影，以获取图像特征；通过所述预训练基座模型中的词元拆分和特征映射将文本进行映射，然后获取添加位置编码的文本特征向量；将所述图像特征和所述文本特征向量连接，作为文本解码器的输入向量，迭代训练所述预训练基座模型，并更新所述预训练基座模型的模型参数，以获取训练后的预训练基座模型；
模型微调单元，用于基于动脉瘤图像分类任务并利用动脉瘤患者的病例图像训练组对所述训练后的预训练基座模型的文本解码器、新增的线性层进行训练微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型。
可选的，所述动脉瘤分类识别装置，还包括：
模型训练单元，用于利用动脉瘤患者的病例图像训练组对所述动脉瘤分类识别模型按照预设迭代次数、预设批量大小、预设学习率进行模型迭代训练，以获取训练后的所述动脉瘤分类识别模型。
可选的，所述动脉瘤分类识别装置，还包括：
训练数据获取模块，用于在标准分辨率、环境光和白色背景条件下对不同类型动脉瘤患者的插管部位和邻近皮肤进行数字图像采集，对采集的动脉瘤部位数字图像按照动脉瘤的图像特征进行文本标签标注操作，以获取携带与所述动脉瘤部位数字图像对应的动脉瘤分类结果标签的病例图像训练组。
可选的，所述训练数据获取模块，包括：
图像分配单元，用于对采集的数字图像按照预设分配比例进行随机分配，以获取病例图像训练组和病例图像验证组；
图像标注单元，用于分别对所述病例图像训练组和所述病例图像验证组的数字图像按照图像特征进行文本标签标注操作，以获取携带文本标签的病例图像训练组和携带文本标签的用于验证训练后的动脉瘤分类识别模型的病例图像验证组。
可选的，所述显示模块，包括：
显示单元，用于获取与所述目标图像对应的动脉瘤分类结果，并将所述动脉瘤分类结果的文本信息显示于移动端显示界面中，以供用户端查看表征动脉瘤情况的所述文本信息。
第二方面，本申请公开了一种动脉瘤分类识别方法，包括：
对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像；
利用病例图像训练组并基于训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型；其中，所述病例图像训练组包含预设数量个动脉瘤患者的动脉瘤部位数字图像以及与所述动脉瘤部位数字图像对应的动脉瘤分类结果；
将所述目标图像输入至训练后的所述动脉瘤分类识别模型，以便通过训练后的所述动脉瘤分类识别模型对所述目标图像进行图像解码并对解码后的图像特征进行分类识别，然后输出所述目标图像对应的动脉瘤分类结果；
将所述动脉瘤分类结果显示于人机交互界面中，以供用户端查看所述动脉瘤分类结果。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的动脉瘤分类识别方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的动脉瘤分类识别方法的步骤。
由此可见，本申请公开了一种动脉瘤分类识别装置，包括：拍照模块、模型获取模块、分类模块和显示模块，其中：所述拍照模块，用于对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像；所述模型获取模块，用于利用病例图像训练组并基于训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型；其中，所述病例图像训练组包含预设数量个动脉瘤患者的动脉瘤部位数字图像以及与所述动脉瘤部位数字图像对应的动脉瘤分类结果；所述分类模块，用于将所述目标图像输入至训练后的所述动脉瘤分类识别模型，以便通过训练后的所述动脉瘤分类识别模型对所述目标图像进行图像解码并对解码后的图像特征进行分类识别，然后输出所述目标图像对应的动脉瘤分类结果；所述显示模块，用于将所述动脉瘤分类结果显示于人机交互界面中，以供用户端查看所述动脉瘤分类结果。可见，通过对训练后的预训练基座模型利用预设数量个动脉瘤患者的病例图像训练组进行再次训练的方式，微调生成用于对图像中的动脉瘤进行分类识别的动脉瘤分类识别模型，然后对包含待识别动脉瘤的部位进行拍照，获取该部位的目标图像，将该目标图像输入至动脉瘤分类识别模型，以便该动脉瘤分类识别模型能够直接输出对该目标图像的动脉瘤分类识别结果，根据输出的动脉瘤分类结果的文本信息能够直接得到患者的动脉瘤分类结果，无需较高的医生专业性和专业的医疗设备也能了解患者的情况，同时减少患者等待利用医疗设备进行拍片检查时间和医生的分析时间，提升用户的体验度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种动脉瘤分类识别装置结构示意图；
图2为本申请公开的一种具体的动脉瘤分类识别装置结构示意图；
图3为本申请公开的一种动脉瘤分类识别方法流程图；
图4为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，在接受透析之前，需进行手术做透析的血管通路，为后期的透析做准备。血液透析有三种不同类型的透析通路，包括：中心静脉导管、动静脉瘘、动静脉移植。血管通路动脉瘤常见于伴随动静脉瘘管的血液透析患者内。视诊是发现血管通路功能障碍的重要线索。检查动静脉内瘘或动静脉人工移植血管以确定其走向和长度，同时评估是否有异常，如：动脉瘤/假性动脉瘤、侧支静脉、手缺血迹象，如：手指紫绀、苍白、感染迹象，例如：红斑、化脓。报道的动脉瘤发生率从5%到>60%。虽然通常没有明显的临床后遗症，但患者可能会经历并发症，如由于破裂风险而无法透析，在极少数情况下，在没有警告的情况下破裂，并可能产生潜在的灾难性的、危及生命和肢体的后果。而临床上对动脉瘤病变的检测方法之一：主要依赖于临床医生进行检测，首先利用医疗设备采集患者动脉图像，需要经验丰富的医生对动脉图像进行评估，在人工检测过程中既耗费医疗设备等物理资源，同时对临床医生的专业性有较高的要求。因为医疗资源的缺乏等原因，一部分透析患者的动脉瘤病变不能得到及时的发现。方法之二：需要获取医学影像图像进而判断是否存在动脉瘤病变，如通过在动脉内注射造影剂并使用X射线对其进行成像获得动脉血管图像，而后对图像进行动脉瘤的检测，然而这种方法需要的成本过高。
为此，本申请提供了一种动脉瘤分类识别方案，能够利用一种简单化的方式即可完成对动脉瘤的分类识别，无需较高的医生专业性和专业的医疗设备，提升用户的体验度。
参照图1所示，本发明实施例公开了一种动脉瘤分类识别装置，包括：拍照模块11、模型获取模块12、分类模块13和显示模块14，其中：
所述拍照模块11，用于对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像；
所述模型获取模块12，用于利用病例图像训练组并基于训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型；其中，所述病例图像训练组包含预设数量个动脉瘤患者的动脉瘤部位数字图像以及与所述动脉瘤部位数字图像对应的动脉瘤分类结果；
所述分类模块13，用于将所述目标图像输入至训练后的所述动脉瘤分类识别模型，以便通过训练后的所述动脉瘤分类识别模型对所述目标图像进行图像解码并对解码后的图像特征进行分类识别，然后输出所述目标图像对应的动脉瘤分类结果；
所述显示模块14，用于将所述动脉瘤分类结果显示于人机交互界面中，以供用户端查看所述动脉瘤分类结果。
可以理解的是，所述拍照模块11，对患者的待识别动脉瘤部位进行拍照，例如，在手臂透析场景中，对患者的手臂静动脉进行拍照，获取相应的手臂静动脉RGB图像，其中，所述拍照模块11，包括：拍照单元111，用于通过移动端APP调用移动端摄像头来对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像。需要注意的是，拍照单元111在进行拍照时，利用移动端APP调用移动端摄像头的方式进行部位拍照，而并非需要超声、CT或动脉造影等方式获取患者的手臂静动脉的影像。仅需要通过移动端的内置摄像头即可完成拍照单元111的拍照操作，以获取目标图像。具体的，所述移动端具体可以包括但不限于内置摄像头的智能手机、平板电脑等。需要注意的是，由于使用手机摄像头等常规摄像头对患者的患病部位进行拍照，因此，本发明实施例所应用的患者部位为人体皮肤表层部位，具体可以包括：人体的四肢、人体躯干的皮肤表层部位。此外，为了提高本发明实施例的动脉瘤识别情况，对于待识别动脉瘤部位的动脉瘤也有大小尺寸等条件的限制，避免尺寸过小的动脉瘤无法被常规摄像头拍照捕捉进而导致最终识别分类结果的误判。
可以理解的是，所述模型获取模块12，用于构建动脉瘤分类识别模型，具体的构建过程为，利用病例图像训练组并基于训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型，其中，所述病例图像训练组包含预设数量个动脉瘤患者的动脉瘤部位数字图像以及与所述动脉瘤部位数字图像对应的动脉瘤分类结果；其中，所述预训练基座模型具体可以为图文生成大模型，对预训练基座模型进行训练的具体为：预训练基座模型训练单元121，用于将图像文本对数据集输入所述预训练基座模型进行预训练，通过所述预训练基座模型中的图像编码器进行图像特征提取和图像特征投影，以获取图像特征；其中，所述图像特征具体为图像文本对中的图像轮廓特征、图像纹理特征、图像颜色特征、图像形状特征、图像区域特征等。通过所述预训练基座模型中的词元拆分和特征映射将文本进行映射，然后获取添加位置编码的文本特征向量；将所述图像特征和所述文本特征向量连接，作为文本解码器的输入向量，迭代训练所述预训练基座模型，并更新所述预训练基座模型的模型参数，以获取训练后的预训练基座模型。首先在预训练基座模型上进行预训练，其中，图像文本对数据集为8亿图像文本对，具体可以包括但不限于：COCO Captions（可可字幕）、CC3M（ConceptualCaptions，概念字幕）、SBU（SBU Captions）、VG（Visual Genome，视觉基因组）、CC12M（Conceptual Captions）、ALT200M以及另外增加6亿数据构成的8亿图像文本对，其中，当预训练基座模型为图文生成大模型时，该图文生成大模型包括图像编码器和文本解码器，该图像编码器是基于对比学习的预训练模型，该文本解码器用来预测文本描述，是一个transformer模型，transformer模型由多个transformer block组成，每个transformerblock由自注意力层和前馈层组成。图像编码器的输入是原始图像，输出是一个紧凑的二维特征图，并被压缩成一个特征列表，通过一个额外的线性层和一个归一化层，图像特征被投影到D维中，也即第一个分支输出。文本被token拆分词元和embed映射特征到D维，然后添加一个位置编码和一个layer norm layer归一化层，也即第二个分支输出。将第一个分支输出的图像特征和第二个分支的输出文本embedding特征向量连接起来，作为文本解码器transformer的输入，图像编码使用对比预训练模型初始化，文本解码对文本随机初始化。训练时对所有参数都进行更新，使用LM（language modeling，语言建模）Loss作为训练损失函数，如公式（1）所示，
；公式（1）
其中，对于图像文本对，I表示图像；yi表示文本token；y0表示序列开始；yN+1表示序列结束；CE是交叉熵损失；标签平滑使用0.1。
然后对训练后的图文生成模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型。
可以理解的是，所述分类模块13，在动脉瘤分类识别模型调整并训练后，用于将所述目标图像输入至上述训练后的动脉瘤分类识别模型，以便通过训练后的动脉瘤分类识别模型对通过移动端设备拍摄的目标图像进行图像解码并对解码后的图像特征进行分类识别，然后输出所述目标图像对应的动脉瘤分类结果。其中，该训练后的动脉瘤分类识别模型可以封装包装处理成为移动端的应用程序安装包，以便移动端通过下载该安装包，将其作为软件形式安装于移动端中，能够快速捕捉且无缝将目标头像传输至动脉瘤分类识别模型，通过该动脉瘤分类识别模型对其进行分类。该分类将在<1秒内被发送回用户，帮助用户节省时间和金钱成本。此外，该动脉瘤分类识别模型也可以封装保存在云端的服务器中，移动端接收到该目标图像后，通过与云端服务器之间的数据传输通道将目标头像发送至云端服务器，通过云端服务器的快速处理，并以文本信息的方式反馈相应的分类结果。
可以理解的是，所述显示模块14，包括：显示单元141，用于获取与所述目标图像对应的动脉瘤分类结果，并将所述动脉瘤分类结果的文本信息显示于移动端显示界面中，以供用户端查看表征动脉瘤情况的所述文本信息。具体的，将动脉瘤分类识别模型输出的动脉瘤分类结果以文本形式通过文本信息显示于移动端的显示界面中，具体可以为智能手机的屏幕上，通过文字信息显示以供屏幕前的患者查看本次拍摄的动脉瘤部位照片对应的动脉瘤分类结果。
由此可见，本申请公开了一种动脉瘤分类识别装置，包括：拍照模块、模型获取模块、分类模块和显示模块，其中：所述拍照模块，用于对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像；所述模型获取模块，用于利用病例图像训练组并基于训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型；其中，所述病例图像训练组包含预设数量个动脉瘤患者的动脉瘤部位数字图像以及与所述动脉瘤部位数字图像对应的动脉瘤分类结果；所述分类模块，用于将所述目标图像输入至训练后的所述动脉瘤分类识别模型，以便通过训练后的所述动脉瘤分类识别模型对所述目标图像进行图像解码并对解码后的图像特征进行分类识别，然后输出所述目标图像对应的动脉瘤分类结果；所述显示模块，用于将所述动脉瘤分类结果显示于人机交互界面中，以供用户端查看所述动脉瘤分类结果。可见，通过对训练后的预训练基座模型利用预设数量个动脉瘤患者的病例图像训练组进行再次训练的方式，微调生成用于对图像中的动脉瘤进行分类识别的动脉瘤分类识别模型，然后对包含待识别动脉瘤的部位进行拍照，获取该部位的目标图像，将该目标图像输入至动脉瘤分类识别模型，以便该动脉瘤分类识别模型能够直接输出对该目标图像的动脉瘤分类识别结果，根据输出的动脉瘤分类结果的文本信息能够直接得到患者的动脉瘤分类结果，无需较高的医生专业性和专业的医疗设备也能了解患者的情况，同时减少患者等待利用医疗设备进行拍片检查时间和医生的分析时间，提升用户的体验度。
参照图2所示，本发明实施例公开了一种具体的动脉瘤分类识别装置，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
可以理解的是，所述模型获取模块12，包括：
模型微调单元122，用于基于动脉瘤图像分类任务并利用动脉瘤患者的病例图像训练组对所述训练后的预训练基座模型的文本解码器、新增的线性层进行训练微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型。具体的，获取去除训练后的图文生成模型中的文本输入分枝，并将所述训练后的图文生成模型中的文本解码器作为图像解码器，增加用于预测各个动脉瘤类别的线性层，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型。该图像编码器具体用来对目标图像中的动脉瘤轮廓特征、动脉瘤纹理特征、动脉瘤颜色特征、动脉瘤形状特征、动脉瘤区域特征等图像特征进行提取。使用的分类模型结构如下：在动脉瘤的分类任务中，具体包括去掉图文生成模型中的文本输入分支，沿用文本解码器作为图像解码器，额外使用一个线性层（softmax）来预测每个类别的可能性。
可以理解的是，所述动脉瘤分类识别装置还包括：模型训练单元15，用于利用动脉瘤患者的病例图像训练组对所述动脉瘤分类识别模型按照预设迭代次数、预设批量大小、预设学习率进行模型迭代训练，以获取训练后的所述动脉瘤分类识别模型。将采集到的动脉瘤患者病例图像训练组作为训练数据集，微调100个epochs。批量大小为512，学习率为2.5e−6。使用病例图像验证组对训练好的动脉瘤严重性的分类模型进行验证评估。使用验证精度最佳模型作为监测动脉瘤应用程序内服务器端判断是否存在动脉瘤以及动脉瘤严重情况的模型。需要注意的是，在训练后的预训练基座模型的微调下满足对动脉瘤分类识别任务下所需的病例图像训练组的动脉瘤部位数字图像的预设数量可以设置为具体的三十张，或者五十张等，相较于直接训练一个动脉瘤分类识别模型所需要的病例数字图像的数量大大减少。
可以理解的是，训练数据获取模块16，用于在标准分辨率、环境光和白色背景条件下对不同类型动脉瘤患者的插管部位和邻近皮肤进行数字图像采集，对采集的动脉瘤部位数字图像按照动脉瘤的图像特征进行文本标签标注操作，以获取携带与所述动脉瘤部位数字图像对应的动脉瘤分类结果标签的病例图像训练组。数字图像采集过程：对大量不同类型血液透析患者进行插管前血管通路的数字图像采集，数字图像是在标准分辨率和环境光下拍摄的，这些数字图像中具体包括插管部位和邻近的皮肤，并使用白色背景来增强对比度，对在上述条件下采集的数字图像按照里面包含的图像特征进行文本标签标注操作，以获取携带文本标签的病例图像训练组。具体的，所述训练数据获取模块16，包括：图像分配单元161，用于对采集的数字图像按照预设分配比例进行随机分配，以获取病例图像训练组和病例图像验证组；图像标注单元162，用于分别对所述病例图像训练组和所述病例图像验证组的数字图像按照图像特征进行文本标签标注操作，以获取携带文本标签的病例图像训练组和携带文本标签的用于验证训练后的动脉瘤分类识别模型的病例图像验证组。将采集到的数字图像随机分为病例图像训练组（70%）和病例图像验证组（30%），这样一来，既能够对动脉瘤分类识别模型进行微调，又能够对微调后的动脉瘤分类识别模型进行模型验证。而文本标签标注操作，具体为：根据动脉大小、皮肤色素减退和有无皮肤溃疡等特征，血管通路专家将动脉瘤划分为“非晚期”或“晚期”。在将图像呈现给动静脉通路下动脉瘤严重程度分类模型训练之前，将图像的分辨率标准化到1000×750×3。需要注意的是，在利用病例图像训练组进行动脉瘤分类识别模型的训练过程中，可以只使用少量的动脉瘤患者的病例图像进行训练，具体可以使用利用几十张甚至十几张动脉瘤患者的病例图像进行训练，相较于其他基于传统的深度学习的模型训练通常需要获取到大量的医学患者病例图像才能训练出一个较好的动脉瘤检测分类模型来说，本申请无需大量的临床患者的病例图像即可完成动脉瘤分类识别模型的训练，解决了训练模型的样本难以大规模获取的问题。
由此可见，在对判断动脉瘤严重程度的算法模型仅仅需要几十张动脉瘤患者的病例图像即可的实际场景中，通过预训练图文生成模型的更强的迁移能力和低计算成本结合下游分类任务的微调，即可训练得出一个表现良好的动脉瘤分类识别模型，便于临床使用。无需大量的病例图像，并且使生成的动脉瘤分类识别模型在使用的过程中节约患者的时间成本和金钱成本。
参照图3所示，本发明实施例还相应公开了一种动脉瘤分类识别方法，包括：
步骤S11：对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像。
本实施例中，利用移动端APP调用摄像头进行拍照，具体的，以手机APP为应用实体，调用摄像头对待识别动脉瘤的部位进行拍照，用户通过拍摄图像，具体以手臂透析为例，用户拍摄手臂静动脉RGB图像，无需拍摄X射线影像，然后将手臂静动脉RGB图像作为目标头像上传至手机APP服务器端。
步骤S12：利用病例图像训练组并基于训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型；其中，所述病例图像训练组包含预设数量个动脉瘤患者的动脉瘤部位数字图像以及与所述动脉瘤部位数字图像对应的动脉瘤分类结果。
本实施例中，通过对训练后的预训练基座模型利用预设数量个动脉瘤患者的病例图像训练组进行再次训练的方式，微调生成用于对图像中的动脉瘤进行分类识别的动脉瘤分类识别模型，具体的，去掉图文生成模型中的文本输入分支，沿用文本解码器作为图像解码器，额外使用一个线性层来预测每个动脉瘤类别的可能性，然后对新生成的动脉瘤分类识别模型进行训练微调，具体的训练数据为携带相应文本分类标签的患者RGB病例图像。
步骤S13：将所述目标图像输入至训练后的所述动脉瘤分类识别模型，以便通过训练后的所述动脉瘤分类识别模型对所述目标图像进行图像解码并对解码后的图像特征进行分类识别，然后输出所述目标图像对应的动脉瘤分类结果。
本实施例中，可通过手机APP服务器端中的动脉瘤分类识别模型对输入的目标图像进行图像解码，然后针对解码后的图像特征进行分类识别，获取各个分类结果的可能性大小，然后筛选出可能性大小最高的分类结果作为最终的动脉瘤分类结果，并通过手机APP服务端返回判断是否存在动脉瘤以及动脉瘤严重情况的文本信息。
步骤S14：将所述动脉瘤分类结果显示于人机交互界面中，以供用户端查看所述动脉瘤分类结果。
本实施例中，通过移动端的APP界面显示最终的表征目标图像的动脉瘤结果判断的文本信息，供用户端的用户直接查看动脉瘤分类结果。实现了仅仅通过手机端APP调用摄像头进行拍照后传至服务器即可快速返回给用户，即可得出是否存在动脉瘤，以及动脉瘤的严重程度的评估，以帮助患者和医生尽早发现并及时采取治疗方案，并帮助患者节省金钱成本。
由此可见，本申请公开了对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像；利用病例图像训练组并基于训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型；其中，所述病例图像训练组包含预设数量个动脉瘤患者的动脉瘤部位数字图像以及与所述动脉瘤部位数字图像对应的动脉瘤分类结果；将所述目标图像输入至训练后的所述动脉瘤分类识别模型，以便通过训练后的所述动脉瘤分类识别模型对所述目标图像进行图像解码并对解码后的图像特征进行分类识别，然后输出所述目标图像对应的动脉瘤分类结果；将所述动脉瘤分类结果显示于人机交互界面中，以供用户端查看所述动脉瘤分类结果。可见，通过对训练后的预训练基座模型利用预设数量个动脉瘤患者的病例图像训练组进行再次训练的的方式，微调生成用于对图像中的动脉瘤进行分类识别的动脉瘤分类识别模型，然后对包含待识别动脉瘤的部位进行拍照，获取该部位的目标图像，将该目标图像输入至动脉瘤分类识别模型，以便该动脉瘤分类识别模型能够直接输出对该目标图像的动脉瘤分类识别结果，根据输出的动脉瘤分类结果的文本信息能够直接得到患者的动脉瘤分类结果，无需较高的医生专业性和专业的医疗设备也能了解患者的情况，同时减少患者等待利用医疗设备进行拍片检查时间和医生的分析时间，提升用户的体验度。
进一步的，本申请实施例还公开了一种电子设备，图4是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图4为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的动脉瘤分类识别方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的动脉瘤分类识别方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的动脉瘤分类识别方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种动脉瘤分类识别装置、方法、设备、存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种动脉瘤分类识别装置，其特征在于，包括：拍照模块、模型获取模块、分类模块和显示模块，其中：
所述拍照模块，用于对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像；
所述模型获取模块，用于利用病例图像训练组并基于训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型；其中，所述病例图像训练组包含预设数量个动脉瘤患者的动脉瘤部位数字图像以及与所述动脉瘤部位数字图像对应的动脉瘤分类结果；
所述分类模块，用于将所述目标图像输入至训练后的所述动脉瘤分类识别模型，以便通过训练后的所述动脉瘤分类识别模型对所述目标图像进行图像解码并对解码后的图像特征进行分类识别，然后输出所述目标图像对应的动脉瘤分类结果；
所述显示模块，用于将所述动脉瘤分类结果显示于人机交互界面中，以供用户端查看所述动脉瘤分类结果。
2.根据权利要求1所述的动脉瘤分类识别装置，其特征在于，所述拍照模块，包括：
拍照单元，用于通过移动端APP调用移动端摄像头来对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像。
3.根据权利要求1所述的动脉瘤分类识别装置，其特征在于，所述模型获取模块，包括：
预训练基座模型训练单元，用于将图像文本对数据集输入所述预训练基座模型进行预训练，通过所述预训练基座模型中的图像编码器进行图像特征提取和图像特征投影，以获取图像特征；通过所述预训练基座模型中的词元拆分和特征映射将文本进行映射，然后获取添加位置编码的文本特征向量；将所述图像特征和所述文本特征向量连接，作为文本解码器的输入向量，迭代训练所述预训练基座模型，并更新所述预训练基座模型的模型参数，以获取训练后的预训练基座模型；
模型微调单元，用于基于动脉瘤图像分类任务并利用动脉瘤患者的病例图像训练组对所述训练后的预训练基座模型的文本解码器、新增的线性层进行训练微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型。
4.根据权利要求1所述的动脉瘤分类识别装置，其特征在于，还包括：
模型训练单元，用于利用动脉瘤患者的病例图像训练组对所述动脉瘤分类识别模型按照预设迭代次数、预设批量大小、预设学习率进行模型迭代训练，以获取训练后的所述动脉瘤分类识别模型。
5.根据权利要求4所述的动脉瘤分类识别装置，其特征在于，还包括：
训练数据获取模块，用于在标准分辨率、环境光和白色背景条件下对不同类型动脉瘤患者的插管部位和邻近皮肤进行数字图像采集，对采集的动脉瘤部位数字图像按照动脉瘤的图像特征进行文本标签标注操作，以获取携带与所述动脉瘤部位数字图像对应的动脉瘤分类结果标签的病例图像训练组。
6.根据权利要求5所述的动脉瘤分类识别装置，其特征在于，所述训练数据获取模块，包括：
图像分配单元，用于对采集的数字图像按照预设分配比例进行随机分配，以获取病例图像训练组和病例图像验证组；
图像标注单元，用于分别对所述病例图像训练组和所述病例图像验证组的数字图像按照图像特征进行文本标签标注操作，以获取携带文本标签的病例图像训练组和携带文本标签的用于验证训练后的动脉瘤分类识别模型的病例图像验证组。
7.根据权利要求1所述的动脉瘤分类识别装置，其特征在于，所述显示模块，包括：
显示单元，用于获取与所述目标图像对应的动脉瘤分类结果，并将所述动脉瘤分类结果的文本信息显示于移动端显示界面中，以供用户端查看表征动脉瘤情况的所述文本信息。
8.一种动脉瘤分类识别方法，其特征在于，包括：
对包含待识别动脉瘤的部位进行拍照，以获取相应的目标图像；
利用病例图像训练组并基于训练后的预训练基座模型的参数权重系数对动脉瘤分类识别模型进行模型微调，以获取包含图像编码器和图像解码器的动脉瘤分类识别模型；其中，所述病例图像训练组包含预设数量个动脉瘤患者的动脉瘤部位数字图像以及与所述动脉瘤部位数字图像对应的动脉瘤分类结果；
将所述目标图像输入至训练后的所述动脉瘤分类识别模型，以便通过训练后的所述动脉瘤分类识别模型对所述目标图像进行图像解码并对解码后的图像特征进行分类识别，然后输出所述目标图像对应的动脉瘤分类结果；
将所述动脉瘤分类结果显示于人机交互界面中，以供用户端查看所述动脉瘤分类结果。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求8所述的动脉瘤分类识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求8所述的动脉瘤分类识别方法的步骤。
CN202310798546.5A 2023-07-03 2023-07-03 一种动脉瘤分类识别装置、方法、设备、存储介质 Active CN116523914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310798546.5A CN116523914B (zh) 2023-07-03 2023-07-03 一种动脉瘤分类识别装置、方法、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310798546.5A CN116523914B (zh) 2023-07-03 2023-07-03 一种动脉瘤分类识别装置、方法、设备、存储介质

Publications (2)

Publication Number Publication Date
CN116523914A true CN116523914A (zh) 2023-08-01
CN116523914B CN116523914B (zh) 2023-09-19

Family

ID=87390604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310798546.5A Active CN116523914B (zh) 2023-07-03 2023-07-03 一种动脉瘤分类识别装置、方法、设备、存储介质

Country Status (1)

Country Link
CN (1) CN116523914B (zh)

Citations (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204724A (ja) * 2009-02-27 2010-09-16 Denso Corp 入力システム及び電気機器
JP2013085113A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
JP2014164428A (ja) * 2013-02-22 2014-09-08 Sharp Corp ポインティング装置およびポインタ操作方法
WO2016003365A1 (en) * 2014-07-04 2016-01-07 Loke Kar Kit Bernard A wearable input device
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
EP3441849A1 (en) * 2017-08-09 2019-02-13 Nagravision S.A. Pointing input device for personal computer based on fingers ' movements
CN110148085A (zh) * 2019-04-22 2019-08-20 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
US20200074238A1 (en) * 2018-08-28 2020-03-05 Morpho, Inc. Image identification apparatus, image identification method, and recording medium
WO2020215557A1 (zh) * 2019-04-24 2020-10-29 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN112102237A (zh) * 2020-08-10 2020-12-18 清华大学 基于半监督学习的脑部肿瘤识别模型的训练方法及装置
WO2021016087A1 (en) * 2019-07-19 2021-01-28 Arizona Board Of Regents On Behalf Of Arizona State University Systems for the generation of source models for transfer learning to application specific models
CN112950555A (zh) * 2021-02-05 2021-06-11 广州中医药大学第一附属医院 一种基于深度学习的2型糖尿病心血管病变图像分类方法
US20210201073A1 (en) * 2019-02-21 2021-07-01 SZ DJI Technology Co., Ltd. Image encoding method and device and computer-readable storage medium
CN113409255A (zh) * 2021-06-07 2021-09-17 同济大学 一种基于Mask R-CNN的斑马鱼形态学分类方法
CN113792112A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言任务处理系统、训练方法、装置、设备及介质
CN113837102A (zh) * 2021-09-26 2021-12-24 广州华多网络科技有限公司 图文融合分类方法及其装置、设备、介质、产品
CN114359631A (zh) * 2021-12-24 2022-04-15 黑龙江省微甄光电科技有限责任公司 基于编码-译码弱监督网络模型的目标分类与定位方法
CN114445420A (zh) * 2021-12-31 2022-05-06 湖南科技大学 编解码结构结合注意力机制的图像分割模型及其训练方法
CN114445665A (zh) * 2022-01-25 2022-05-06 中国人民解放军战略支援部队信息工程大学 基于Transformer增强的非局部U形网络的高光谱影像分类方法
EP4033497A1 (en) * 2021-01-25 2022-07-27 Aigea Medical S.r.l. Training procedure and system for artificial intelligence intended for the analysis of mammographic data for the identification or exclusion of the presence of breast cancer
CN114820480A (zh) * 2022-04-13 2022-07-29 上海联影智能医疗科技有限公司 动脉瘤类型识别方法、装置和计算机设备
CN114882978A (zh) * 2022-07-12 2022-08-09 紫东信息科技(苏州)有限公司 引入图片翻译信息的胃部图像处理方法及系统
CN115018549A (zh) * 2022-06-17 2022-09-06 广州华多网络科技有限公司 广告文案生成方法及其装置、设备、介质、产品
CN115115897A (zh) * 2022-08-26 2022-09-27 紫东信息科技(苏州)有限公司 多模态预训练的胃部肿瘤分类系统
WO2022204800A1 (en) * 2021-03-30 2022-10-06 Terramera, Inc. Machine learning systems and methods for generating structural representations of plants
WO2022243985A1 (en) * 2021-05-21 2022-11-24 Soul Machines Limited Transfer learning in image recognition systems
CN115439859A (zh) * 2022-08-23 2022-12-06 华南理工大学 一种基于字符移动任务的自监督文本识别方法
CN115588122A (zh) * 2022-11-07 2023-01-10 重庆邮电大学 一种基于多模态特征融合的新闻分类方法
CN115830017A (zh) * 2023-02-09 2023-03-21 智慧眼科技股份有限公司 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
CN115908276A (zh) * 2022-10-27 2023-04-04 浙江大学 融合深度学习的桥梁表观损伤双目视觉智能检测方法及系统
CN115984308A (zh) * 2023-01-10 2023-04-18 杭州电子科技大学 基于平均教师模型的半监督肺叶分割方法
US20230162481A1 (en) * 2021-11-21 2023-05-25 Microsoft Technology Licensing, Llc Pre-training of computer vision foundational models

Patent Citations (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010204724A (ja) * 2009-02-27 2010-09-16 Denso Corp 入力システム及び電気機器
JP2013085113A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
JP2014164428A (ja) * 2013-02-22 2014-09-08 Sharp Corp ポインティング装置およびポインタ操作方法
WO2016003365A1 (en) * 2014-07-04 2016-01-07 Loke Kar Kit Bernard A wearable input device
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
EP3441849A1 (en) * 2017-08-09 2019-02-13 Nagravision S.A. Pointing input device for personal computer based on fingers ' movements
US20200074238A1 (en) * 2018-08-28 2020-03-05 Morpho, Inc. Image identification apparatus, image identification method, and recording medium
US20210201073A1 (en) * 2019-02-21 2021-07-01 SZ DJI Technology Co., Ltd. Image encoding method and device and computer-readable storage medium
CN110148085A (zh) * 2019-04-22 2019-08-20 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
WO2020215557A1 (zh) * 2019-04-24 2020-10-29 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
WO2021016087A1 (en) * 2019-07-19 2021-01-28 Arizona Board Of Regents On Behalf Of Arizona State University Systems for the generation of source models for transfer learning to application specific models
CN113792112A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言任务处理系统、训练方法、装置、设备及介质
CN112102237A (zh) * 2020-08-10 2020-12-18 清华大学 基于半监督学习的脑部肿瘤识别模型的训练方法及装置
EP4033497A1 (en) * 2021-01-25 2022-07-27 Aigea Medical S.r.l. Training procedure and system for artificial intelligence intended for the analysis of mammographic data for the identification or exclusion of the presence of breast cancer
CN112950555A (zh) * 2021-02-05 2021-06-11 广州中医药大学第一附属医院 一种基于深度学习的2型糖尿病心血管病变图像分类方法
WO2022204800A1 (en) * 2021-03-30 2022-10-06 Terramera, Inc. Machine learning systems and methods for generating structural representations of plants
WO2022243985A1 (en) * 2021-05-21 2022-11-24 Soul Machines Limited Transfer learning in image recognition systems
CN113409255A (zh) * 2021-06-07 2021-09-17 同济大学 一种基于Mask R-CNN的斑马鱼形态学分类方法
CN113837102A (zh) * 2021-09-26 2021-12-24 广州华多网络科技有限公司 图文融合分类方法及其装置、设备、介质、产品
US20230162481A1 (en) * 2021-11-21 2023-05-25 Microsoft Technology Licensing, Llc Pre-training of computer vision foundational models
CN114359631A (zh) * 2021-12-24 2022-04-15 黑龙江省微甄光电科技有限责任公司 基于编码-译码弱监督网络模型的目标分类与定位方法
CN114445420A (zh) * 2021-12-31 2022-05-06 湖南科技大学 编解码结构结合注意力机制的图像分割模型及其训练方法
CN114445665A (zh) * 2022-01-25 2022-05-06 中国人民解放军战略支援部队信息工程大学 基于Transformer增强的非局部U形网络的高光谱影像分类方法
CN114820480A (zh) * 2022-04-13 2022-07-29 上海联影智能医疗科技有限公司 动脉瘤类型识别方法、装置和计算机设备
CN115018549A (zh) * 2022-06-17 2022-09-06 广州华多网络科技有限公司 广告文案生成方法及其装置、设备、介质、产品
CN114882978A (zh) * 2022-07-12 2022-08-09 紫东信息科技(苏州)有限公司 引入图片翻译信息的胃部图像处理方法及系统
CN115439859A (zh) * 2022-08-23 2022-12-06 华南理工大学 一种基于字符移动任务的自监督文本识别方法
CN115115897A (zh) * 2022-08-26 2022-09-27 紫东信息科技(苏州)有限公司 多模态预训练的胃部肿瘤分类系统
CN115908276A (zh) * 2022-10-27 2023-04-04 浙江大学 融合深度学习的桥梁表观损伤双目视觉智能检测方法及系统
CN115588122A (zh) * 2022-11-07 2023-01-10 重庆邮电大学 一种基于多模态特征融合的新闻分类方法
CN115984308A (zh) * 2023-01-10 2023-04-18 杭州电子科技大学 基于平均教师模型的半监督肺叶分割方法
CN115830017A (zh) * 2023-02-09 2023-03-21 智慧眼科技股份有限公司 基于图文多模态融合的肿瘤检测系统、方法、设备及介质

Also Published As

Publication number Publication date
CN116523914B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN110047078B (zh) 图像处理方法及装置、电子设备和存储介质
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
WO2022036972A1 (zh) 图像分割方法及装置、电子设备和存储介质
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
EP3998579A1 (en) Medical image processing method, apparatus and device, medium and endoscope
CN109785311B (zh) 一种疾病诊断装置、电子设备及存储介质
WO2021259391A2 (zh) 图像处理方法及装置、电子设备和存储介质
CN114820584B (zh) 肺部病灶定位装置
CN113177928B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN113349810B (zh) 脑出血病灶识别及血肿扩大预测系统及装置
CN112927239A (zh) 图像处理方法、装置、电子设备及存储介质
CN111815606B (zh) 图像质量评估方法、存储介质及计算装置
CN111325709A (zh) 无线胶囊内窥镜图像检测系统及检测方法
CN112396605A (zh) 网络训练方法及装置、图像识别方法和电子设备
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
CN117218133A (zh) 肺图像处理方法及装置、电子设备和存储介质
CN115546231A (zh) 一种基于半监督深度学习的自适应脑胶质瘤分割方法
CN109241930B (zh) 用于处理眉部图像的方法和装置
CN112950734B (zh) 冠脉重建方法、装置、电子设备和存储介质
CN116523914B (zh) 一种动脉瘤分类识别装置、方法、设备、存储介质
KR20220012407A (ko) 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체
US20220110505A1 (en) Information processing apparatus, control method, and non-transitory storage medium
CN108765413B (zh) 用于图像分类的方法、装置及计算机可读介质
CN113177953B (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN111599004A (zh) 一种3d血管成像系统、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000

Patentee after: Wisdom Eye Technology Co.,Ltd.

Country or region after: China

Address before: 410205, Changsha high tech Zone, Hunan Province, China

Patentee before: Wisdom Eye Technology Co.,Ltd.

Country or region before: China