CN117524402A - 关于内镜影像分析并自动生成诊断报告的方法 - Google Patents
关于内镜影像分析并自动生成诊断报告的方法 Download PDFInfo
- Publication number
- CN117524402A CN117524402A CN202311624863.1A CN202311624863A CN117524402A CN 117524402 A CN117524402 A CN 117524402A CN 202311624863 A CN202311624863 A CN 202311624863A CN 117524402 A CN117524402 A CN 117524402A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- medical
- report
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000003745 diagnosis Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000010191 image analysis Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 210000000056 organ Anatomy 0.000 claims abstract description 7
- 238000013136 deep learning model Methods 0.000 claims abstract description 6
- 238000010200 validation analysis Methods 0.000 claims abstract description 5
- 238000005516 engineering process Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000011282 treatment Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 230000006403 short-term memory Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000003902 lesion Effects 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 6
- 210000004072 lung Anatomy 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000012552 review Methods 0.000 claims description 3
- 230000001225 therapeutic effect Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000007787 long-term memory Effects 0.000 claims description 2
- 230000015654 memory Effects 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 238000005728 strengthening Methods 0.000 claims description 2
- 208000024891 symptom Diseases 0.000 claims description 2
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 206010006451 bronchitis Diseases 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明的关于内镜影像分析并自动生成诊断报告的方法，包括以下步骤：（1）获取拍摄的医学影像；（2）将医学图像数据集拆分为训练集、验证训练集和测试集；（3）图像修复阶段；（4）选择深度学习模型，进行适应特定任务；（5）系统利用语义识别技术，对医学影像中的结构、器官和异常进行分析和识别；（6）从医学影像中提取各种特征，采集患者的历史诊断报告信息，进行语义关联；（7）利用医学影像分析的结果、语义关联的历史信息以及专业知识库，自动生成内镜影像的诊断报告；（8）报告经医生审查和优化，打印输出给病人。本发明能防止出现误诊，缩短了病人等待诊断结果的时间，报告的语言连贯性与自然性好。
Description
技术领域
本发明涉及医学影像自动分析系统技术领域，具体为一种关于内镜影像分析并自动生成诊断报告的方法。
背景技术
医学影像分析是指利用各种医学成像技术（如X射线、CT扫描、MRI和内窥镜等）对患者的身体内部进行成像，然后通过计算机算法和软件工具来解释和分析这些图像，以帮助医生诊断疾病并制定治疗计划。
内镜影像：内镜影像是通过内窥镜等医疗仪器拍摄的身体内部的图像。它通常用于检查和诊断消化道、呼吸道和其他内脏器官的疾病。
医学影像分析：医学影像分析是一个广泛的研究领域，它涉及利用各种成像技术（如CT扫描、MRI、内窥镜等）来获取患者体内的图像。医学影像分析通常需要专业知识，用于检测传染病、诊断疾病并制定治疗计划。
自然语言处理（NLP）：NLP是一个人工智能领域的研究，重点在于使计算机能够理解和处理人类语言。
语义识别：语义识别是NLP的子领域，它旨在理解文本的语义意义，而不仅仅是字面意义。这包括词义消歧、上下文分析和语义角标注等任务。
内镜影像是一种医学影像技术，它利用内窥镜或内镜器械来观察人体内部的器官、组织和结构。内镜是一种具有摄像功能的细长设备，可以自然通过孔道或小插座引导到体内，用于诊断、治疗和监测疾病。
医学诊断报告：医学诊断报告是医生根据医学影像分析的结果所编写的文档，它包含了患者的诊断信息、疾病描述和治疗建议。传统上，需要医生手动编写这些报告。
现有技术的缺点是：
医学影像中展示的各个器官、病灶之间高度隔离，而医学影像报告自动生成后，可能会因模型错误或特定情况下的不足而导致误诊。
缺乏文本的自然性：自动的报告可能在语言生成和自然行方面不如编写的报告，这样可能导致生成的报告沟通和传达患者信息方面存在问题。
发明内容
本发明为了弥补现有技术的不足，提供了一种准确可靠、防止误诊、文本流畅自然的关于内镜影像分析并自动生成诊断报告的方法。
本发明是通过如下技术方案实现的：
本发明的关于内镜影像分析并自动生成诊断报告的方法，其特征在于：包括以下步骤：
（1）首先获取拍摄的医学影像，这些影像以数字图像与通信医学格式存在，通过医疗设备获取，再将这些医学影像进行一部分人工标注，以便于之后进行训练学习；
（2）将医学图像数据集拆分为训练集、验证训练集和测试集；训练集用于训练模型，验证集用于调整超参数，测试集用于最终的性能评估；
（3）图像修复阶段；
（4）选择适当的深度学习模型，采用卷积神经网络（CNN）；对于医学图像识别，能够使用已经经过训练预的模型，然后进行适应特定任务；
（5）系统利用语义识别技术，对医学影像中的结构、器官和异常进行分析和识别，对关键结构的识别（例如对肺部、肺部组织、病变等）；
（6）系统从医学影像中提取各种特征，如形状、纹理、密度等，以供后续的分析和诊断；同时系统采集患者的历史诊断报告信息，包括之前的检查诊断结果，病史和治疗记录，将医学影像分析的结果与历史诊断报告信息进行语义关联，接入与之前诊断相关的发现；
（7）系统利用医学影像分析的结果、语义关联的历史信息以及专业知识库，自动生成内镜影像的诊断报告；报告包括对发现的病变、异常和结构的描述，诊断、治疗建议；
（8）生成的报告需要医生或专业人员进行最后的审查和优化，以确保准确性和临床可用性，最后的诊断报告用打印格式输出，文档共享给医生和病人。
本发明的有益效果是，
1、自动化医学诊断报告生成：传统上，医生需要亲自分析医学影像并撰写诊断报告，这是一个繁重的任务。本发明可以自动生成诊断报告，减轻医生的工作负担。
2、提高诊断的准确性：内镜影像分析需要专业的医学知识，而每个医生所注意的方向不同，可能会出现遗漏。本发明可以辅助医生做出更加准确的诊断。
3、诊断的效率会增加：传统的诊断过程可能需要很长时间。而本发明可以帮助医生做出更快的诊断，使患者能够更早获得治疗或建议。
4、本发明针对特定的内镜影像，以诊断疾病如支气管炎，肺癌等，同时读取历史的诊断报告做出更加准确快速的诊断，不会因为各个器官之间的高度隔离，模型错误等，导致出现误诊。
5、由于针对特定的医学影像，本发明该系统能自动分析内镜影像并快速生成诊断报告，从而缩短了病人等待诊断结果的时间，尤其是在紧急情况下。
6、本发明对于生成报告的语言连贯性与自然性会更加符合医生现实中的诊断推理。
附图说明
图1为本发明的工作流程示意图一，图2为本发明的工作流程示意图二。
具体实施方式
附图为本发明的一种具体实施例。
本发明的关于内镜影像分析并自动生成诊断报告的方法，包括以下步骤：
（1）首先获取拍摄的医学影像，这些影像通常以数字图像与通信医学格式存在，通过医疗设备获取，再将这些医学影像进行一部分人工标注，以便于之后进行训练学习。
（2）将医学图像数据集拆分为训练集、验证训练集和测试集；训练集用于训练模型，验证集用于调整超参数，测试集用于最终的性能评估；（超参数是机器学习模型训练过程中的一些配置参数，它们不是由模型自身学习得来，而是需要人工设置的参数。这些参数控制着模型的训练过程和行为，如学习率、损失函数、神经网络层数、批量大小、迭代次数等。通常需要通过验证集进行超参数调优，以找到最佳的超参数配置，以确保模型能够在新数据上获得最佳性能）。
（3）在图像修复阶段，包括执行以下任务：
（3-1）图像去噪声：去除图像中的噪声以提高质量；
（3-2）直方图均衡化：增强图像的恢复；
（3-3）图像标准化：调整所有图像具有相同的尺寸（将所有的物理尺寸调整为相同的大小，从而与其他图像匹配）和合适的强度范围；
（3-4）图像强化：根据需要应用强化技术，包括锐化、辅助；
（3-5）图像缩放：将图像调整为相同的尺寸，以便模型能够处理它们。
（4）选择适当的深度学习模型，采用卷积神经网络（CNN）；对于医学图像识别，能够使用已经经过训练预的模型，然后进行适应特定任务。
（5）系统利用语义识别技术，对医学影像中的结构、器官和异常进行分析和识别，对关键结构的识别（例如对肺部、肺部组织、病变等）。
（6）系统从医学影像中提取各种特征，如形状、纹理、密度等，以供后续的分析和诊断。同时系统采集患者的历史诊断报告信息，包括之前的检查诊断结果，病史和治疗记录，将医学影像分析的结果与历史诊断报告信息进行语义关联，接入与之前诊断相关的发现；（接入与之前诊断相关的发现：这意味着系统会尝试在医学影像中找到与患者之前的诊断结果、病史和治疗记录相关的特征或异常。这可以帮助医生迅速识别患者以前的疾病状态，而与之前诊断不相关的发现：这意味着系统也会分析医学影像以发现与患者之前的诊断无关的新的或未知的异常）。
（7）系统利用医学影像分析的结果、语义关联的历史信息以及专业知识库，自动生成内镜影像的诊断报告。报告包括对发现的病变、异常和结构的描述，可能的诊断、治疗建议。
（8）生成的报告依旧可能需要医生或专业人员进行最后的审查和优化，以确保准确性和临床可用性，最后的诊断报告可以打印格式输出，文档共享给医生和病人。
针对“处理医学影像，提取影像特征，分析历史诊断报告，最后生成诊断报告，并提出建议”的系统模型：
基于CNN-RNN（卷积神经网络-循环神经网络）的神经网络模型；
第一步，将CNN-RNN（卷积神经网络-循环神经网络）的神经网络深度学习模型加载到开发环境中；可以使用深度学习框PyTorch(火炬)来加载模型架构和权限；准备要输入模型的数据，这可以是待识别的医学图像，将数据划分成训练集、验证集和测试集，以便进行模型训练、超参数调整和性能评估；在将图像输入模型之前，需要其进行与模型训练数据相同的造型，这可能包括缩放、标准化、缩放等；创建模型并初始化权重，通常可以使用已经训练好的训练模型来加速训练；定义一个损失函数，用于测量模型的性能；选择合适的优化算法，如SGD（随机梯度下降）或Adam（随机优化算法），来调整模型参数以最小化损失；使用训练集数据来训练模型，通过反向传播和优化算法来更新模型参数，直到达到收敛或指定的训练轮数；利用验证集评估模型性能，并进行超参数调整，以改进模型的泛化性能；使用测试集来评估最终模型的性能，这是为了估计模型在新数据上的性能；如果满意模型的性能后，就可以将其部署到实际应用中，以进行医学图像识别。
第二步，读取图像后进行归一化调整，再利用预先训练好的CNN（卷积神经网络），识别医学图像中的结果、症状和特征，这有助于捕捉图像中的局部信息；提取的特征通过MLC 网络（深度多层次网络），该网络用于多标签分类；它根据每个区域的特征来预测相关的标签（关键词）；每个标签的是对应标签的语义表示；每个图像区域都有其视觉特征（通过卷积神经网络提取的）和语义特征（标签对应的语义表示）；这些特征被结合在一起，以便模型同时捕获图像内容的视觉和语义信息；将图像识别的结果与相应的信息组和图像描述连接起来，以准备生成报告的输入；采用Co-Attention(协同注意力)机制，用于整合视觉和语义信息，通过注意机制，它生成一个 context vector（主题向量），该向量同时关注视觉和语义信息，以提供更好的上下文。
第三步，利用分层生成模型，用于生成医学报告或其他多句子文本的自然语言生成任务，模型的目标是在生成报告时保留文本的语义和上下文关系，以确保生成的文本内容准确和连贯；第一层的LSTM（长短期记忆网络），用于处理句子级别的信息；它从输入的context vector （上下文向量）开始，生成一系列高级的topic vectors（主题向量），每个topic vector（主题向量）表示一个主题或句子的语义；在Sentence LSTM（长短是记忆网络）中，通过多个时间步来生成多个topic vectors（主题向量）；每个topic vector（主题向量）表示了需要生成的句子的语义和上下文；在每个时间步，WordLSTM（词长短期记忆网络）接受一个topic vector（主题向量） 作为输入，然后从该topic vector （主题向量）中生成一系列词语，逐步构建句子；每个Word LSTM（词长短期记忆网络） 的时间步生成一个词，这些词组合在一起形成句子；句子 LSTM （长短期记忆网络）负责决定何时终止生成句子；终止条件可以是生成一个特定的终止标记或通过模型的其他机制来确定。
在本发明中，NLP技术用于语义识别，以理解医学报告和生成诊断报告。
本发明中：
1、针对特定的内镜影像生成医学影像诊断报告，结合了语义识别和医学影像分析技术，具有高度定制的特点；
2、将医学影像分析与语义识别相结合，以实现对图像内容的深度理解和语义关联，从而生成更准确、连贯的诊断报告；
3、将当前医学影像与患者的历史诊断报告信息进行关联，以提供更全面、个性化的诊断报告。
本发明的优点：
1、本发明能够智能关联当前医学影像与患者的历史诊断报告信息，提供更全面的诊断信息，有助于更好地了解患者的病情；
2、本发明可以更快速地生成诊断报告，特别是在紧急情况下，有助于更快速地为患者提供诊断结果和治疗建议；
3、通过自动化生成报告，本发明可以提供更一致的诊断报告，不受医生个体经验和风格的影响。
Claims (4)
1.一种关于内镜影像分析并自动生成诊断报告的方法，其特征在于： 包括以下步骤：
（1）首先获取拍摄的医学影像，这些影像以数字图像与通信医学格式存在，通过医疗设备获取，再将这些医学影像进行一部分人工标注，以便于之后进行训练学习；
（2）将医学图像数据集拆分为训练集、验证训练集和测试集；训练集用于训练模型，验证集用于调整超参数，测试集用于最终的性能评估；
（3）图像修复阶段；
（4）选择适当的深度学习模型，采用卷积神经网络（CNN）；对于医学图像识别，能够使用已经经过训练预的模型，然后进行适应特定任务；
（5）系统利用语义识别技术，对医学影像中的结构、器官和异常进行分析和识别，对关键结构的识别（例如对肺部、肺部组织、病变等）；
（6）系统从医学影像中提取各种特征，如形状、纹理、密度等，以供后续的分析和诊断；同时系统采集患者的历史诊断报告信息，包括之前的检查诊断结果，病史和治疗记录，将医学影像分析的结果与历史诊断报告信息进行语义关联，接入与之前诊断相关的发现；
（7）系统利用医学影像分析的结果、语义关联的历史信息以及专业知识库，自动生成内镜影像的诊断报告；报告包括对发现的病变、异常和结构的描述，诊断、治疗建议。
2.根据权利要求1所述的关于内镜影像分析并自动生成诊断报告的方法，其特征在于：步骤（7）后面还包括步骤（8）：
（8）生成的报告需要医生或专业人员进行最后的审查和优化，以确保准确性和临床可用性，最后的诊断报告用打印格式输出，文档共享给医生和病人。
3.根据权利要求1所述的关于内镜影像分析并自动生成诊断报告的方法，其特征在于：步骤（3）在图像修复阶段，包括执行以下任务：
（3-1）图像去噪声：去除图像中的噪声以提高质量；
（3-2）直方图均衡化：增强图像的恢复；
（3-3）图像标准化：确保所有图像具有相同的尺寸和强度范围；
（3-4）图像强化：根据需要应用强化技术，包括锐化、辅助；
（3-5）图像缩放：将图像调整为相同的尺寸，以便模型能够处理它们。
4.根据权利要求1所述的关于内镜影像分析并自动生成诊断报告的方法，其特征在于：针对“处理医学影像，提取影像特征，分析历史诊断报告，最后生成诊断报告，并提出建议”的系统：基于卷积神经网络-循环神经网络（CNN-RNN）的神经网络模型；
第一步，将CNN-RNN（卷积神经网络-循环神经网络）的神经网络深度学习模型加载到开发环境中；使用深度学习框PyTorch(火炬)来加载模型架构和权限；准备要输入模型的数据，待识别的医学图像，将数据划分成训练集、验证集和测试集，以便进行模型训练、超参数调整和性能评估；在将图像输入模型之前，需要其进行与模型训练数据相同的造型，包括缩放、标准化、缩放；创建模型并初始化权重，使用已经训练好的训练模型来加速训练；定义一个损失函数，用于测量模型的性能；选择合适的优化算法，如SGD（随机梯度下降）或Adam（随机优化算法），来调整模型参数以最小化损失；使用训练集数据来训练模型，通过反向传播和优化算法来更新模型参数，直到达到收敛或指定的训练轮数；利用验证集评估模型性能，并进行超参数调整，以改进模型的泛化性能；使用测试集来评估最终模型的性能，这是为了估计模型在新数据上的性能；如果满意模型的性能后，就能够将其部署到实际应用中，以进行医学图像识别；
第二步，读取图像后进行归一化调整，再利用预先训练好的CNN（卷积神经网络），识别医学图像中的结果、症状和特征，这有助于捕捉图像中的局部信息；提取的特征通过 MLC网络（深度多层次网络），该网络用于多标签分类；它根据每个区域的特征来预测相关的标签（关键词）；每个标签的是对应标签的语义表示；每个图像区域都有其视觉特征（通过卷积神经网络提取的）和语义特征（标签对应的语义表示）；这些特征被结合在一起，以便模型同时捕获图像内容的视觉和语义信息；将图像识别的结果与相应的信息组和图像描述连接起来，以准备生成报告的输入；采用Co-Attention(协同注意力)机制，用于整合视觉和语义信息，通过注意机制，它生成一个 context vector（主题向量），该向量同时关注视觉和语义信息，以提供更好的上下文；
第三步，利用分层生成模型，用于生成医学报告或其他多句子文本的自然语言生成任务，模型的目标是在生成报告时保留文本的语义和上下文关系，以确保生成的文本内容准确和连贯；第一层的LSTM（长短期记忆网络），用于处理句子级别的信息；它从输入的context vector （上下文向量）开始，生成一系列高级的topic vectors（主题向量），每个topic vector（主题向量）表示一个主题或句子的语义；在Sentence LSTM（长短是记忆网络）中，通过多个时间步来生成多个topic vectors（主题向量）；每个topic vector（主题向量）表示了需要生成的句子的语义和上下文；在每个时间步，Word LSTM（词长短期记忆网络） 接受一个topic vector（主题向量） 作为输入，然后从该topic vector （主题向量）中生成一系列词语，逐步构建句子；每个Word LSTM（词长短期记忆网络） 的时间步生成一个词，这些词组合在一起形成句子；句子 LSTM （长短期记忆网络）负责决定何时终止生成句子；终止条件是生成一个特定的终止标记或通过模型的其他机制来确定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311624863.1A CN117524402A (zh) | 2023-11-30 | 2023-11-30 | 关于内镜影像分析并自动生成诊断报告的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311624863.1A CN117524402A (zh) | 2023-11-30 | 2023-11-30 | 关于内镜影像分析并自动生成诊断报告的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117524402A true CN117524402A (zh) | 2024-02-06 |
Family
ID=89760715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311624863.1A Pending CN117524402A (zh) | 2023-11-30 | 2023-11-30 | 关于内镜影像分析并自动生成诊断报告的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117524402A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830307A (zh) * | 2024-03-04 | 2024-04-05 | 南充市中心医院 | 基于人工智能的骨骼图像识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
| CN109065110A (zh) * | 2018-07-11 | 2018-12-21 | 哈尔滨工业大学 | 一种基于深度学习方法的自动生成医学影像诊断报告的方法 |
| CN111048170A (zh) * | 2019-12-23 | 2020-04-21 | 山东大学齐鲁医院 | 基于图像识别的消化内镜结构化诊断报告生成方法与系统 |
| CN113962311A (zh) * | 2021-10-27 | 2022-01-21 | 厦门大学 | 知识数据和人工智能驱动的眼科多病种识别系统 |
| CN115132313A (zh) * | 2021-12-07 | 2022-09-30 | 北京工商大学 | 基于注意力机制的医学影像报告自动生成方法 |
-
2023
- 2023-11-30 CN CN202311624863.1A patent/CN117524402A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
| CN109065110A (zh) * | 2018-07-11 | 2018-12-21 | 哈尔滨工业大学 | 一种基于深度学习方法的自动生成医学影像诊断报告的方法 |
| CN111048170A (zh) * | 2019-12-23 | 2020-04-21 | 山东大学齐鲁医院 | 基于图像识别的消化内镜结构化诊断报告生成方法与系统 |
| CN113962311A (zh) * | 2021-10-27 | 2022-01-21 | 厦门大学 | 知识数据和人工智能驱动的眼科多病种识别系统 |
| CN115132313A (zh) * | 2021-12-07 | 2022-09-30 | 北京工商大学 | 基于注意力机制的医学影像报告自动生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| BAOYU JING 等: "On the Automatic Generation of Medical Imaging Reports", 《ARXIV》, 20 July 2018 (2018-07-20), pages 1 - 10 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830307A (zh) * | 2024-03-04 | 2024-04-05 | 南充市中心医院 | 基于人工智能的骨骼图像识别方法及系统 |
| CN117830307B (zh) * | 2024-03-04 | 2024-05-14 | 南充市中心医院 | 基于人工智能的骨骼图像识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070119B (zh) | 超声切面图像质量控制方法、装置和计算机设备 | |
| JP2020064609A (ja) | 患者固有の深層学習画像ノイズ除去方法およびシステム | |
| KR102289277B1 (ko) | 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법 | |
| US10984894B2 (en) | Automated image quality control apparatus and methods | |
| CN112365980B (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 | |
| CN111696640A (zh) | 自动获取病历模板的方法、装置和存储介质 | |
| KR20230085125A (ko) | 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치 | |
| US20210202072A1 (en) | Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network | |
| CN117524402A (zh) | 关于内镜影像分析并自动生成诊断报告的方法 | |
| CN110298820A (zh) | 影像分析方法、计算机设备和存储介质 | |
| CN110930373A (zh) | 一种基于神经网络的肺炎识别装置 | |
| KR20210054678A (ko) | 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치 | |
| CN115719334A (zh) | 基于人工智能的医学影像评价方法、装置、设备及介质 | |
| CN117076655A (zh) | 一种手术规划方案生成方法、系统、装置和介质 | |
| CN111462082A (zh) | 一种病灶图片识别装置、方法、设备及可读存储介质 | |
| CN113889229A (zh) | 基于人机结合的医学影像诊断标准的构建方法 | |
| Belyk et al. | An open-source toolbox for measuring vocal tract shape from real-time magnetic resonance images | |
| CN117218127A (zh) | 超声内镜辅助监测系统及方法 | |
| CN116580801A (zh) | 一种基于大型语言模型的超声检查方法 | |
| KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
| CN113128599A (zh) | 一种基于机器学习的头颈肿瘤远端转移预测方法 | |
| CN113796850A (zh) | 甲状旁腺mibi图像分析系统、计算机设备及存储介质 | |
| US20230096522A1 (en) | Method and system for annotation of medical images | |
| KR102376249B1 (ko) | 폐 예측 영상과 TRelu를 이용한 폐 질병 예측 시스템 및 그 방법 | |
| Reddy et al. | Different algorithms for lung cancer detection and prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |