CN111755118B - 医疗信息处理方法、装置、电子设备及存储介质 - Google Patents

医疗信息处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111755118B
CN111755118B CN202010183038.2A CN202010183038A CN111755118B CN 111755118 B CN111755118 B CN 111755118B CN 202010183038 A CN202010183038 A CN 202010183038A CN 111755118 B CN111755118 B CN 111755118B
Authority
CN
China
Prior art keywords
medical
information processing
image
medical image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010183038.2A
Other languages
English (en)
Other versions
CN111755118A (zh
Inventor
胡一凡
李悦翔
魏东
陈嘉伟
曹世磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010183038.2A priority Critical patent/CN111755118B/zh
Publication of CN111755118A publication Critical patent/CN111755118A/zh
Application granted granted Critical
Publication of CN111755118B publication Critical patent/CN111755118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供了一种医疗信息处理方法，包括：获取目标对象的医疗信息中的病历信息和所述医疗信息中的医疗图像；通过医疗信息处理模型中的文字信息处理网络对所述病历信息进行处理，确定与所述病历信息相匹配的第一特征向量；通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第二特征向量；通过所述医疗信息处理模型，根据所述第一特征向量和所述第二特征向量，确定相应的融合特征向量；基于所述融合特征向量，对所述医疗图像进行分类。本发明还提供了医疗信息处理装置、电子设备及存储介质。本发明能够实现通过病历信息与医疗图像的融合，输出所述医疗图像的分类结果。

Description

医疗信息处理方法、装置、电子设备及存储介质
技术领域
本发明涉及医疗图像处理技术，尤其涉及医疗信息处理方法、装置、电子设备及存储介质。
背景技术
基于深度学习所进行的各类别识别，一直以来都是各应用场景下解决大量数据分的重要工具。例如，在图像、自然语言处理等应用场景中，对大量数据所实现的大规模分类和识别，以此来快速准确的获得相关的分类预测结果，加速所在应用场景的功能实现。
在对图像所进行的分类预测中，根据所部署的应用场景不同，例如，AI+医疗场景，具体用于实现分类预测的图像以及分类预测的实现也各不相同。
不同诊疗设备所形成医疗影像的各种图像在不断产生，例如，随着病人病情的发展需要不同的时间点或者科室中不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。
但是，现有技术中，但常见的医学影像如CT，MRI等由于分辨率有限，无法作为诊断金标准的存在，而且很多具体体征信息如血压大小或血细胞变化等无法利用普通仪器看清，因而，数据的局限性也决定了算法在数据上应用能够达到的上限，无法对医疗图像进行高精确度地分类。
医学电子病历虽然能够通过患者体征和问答形式采集到一些信息，如性别，年龄，血检指标，体温血压等生物信息，但具体体内不同位置信息如心脏大脑等出血或梗死病变往往只能通过影像判断，因此用病历诊断场景有限且细节体现的也有限，缺少了与医疗图像的结合，影响了结合病历信息对医疗图像进行分类的精确度，同时影响了通过医疗图像分类的辅助分析的准确性。
发明内容
有鉴于此，本发明实施例提供一种医疗信息处理方法、装置、电子设备及存储介质，能够实现通过医疗信息处理模型将病历信息与医疗图像进行结合，对所述医疗图像进行准确地分类。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种医疗信息处理方法，包括：
获取目标对象的医疗信息中的病历信息和所述医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一位置的不同医疗图像的集合；
通过医疗信息处理模型中的文字信息处理网络对所述病历信息进行处理，确定与所述病历信息相匹配的第一特征向量；
通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第二特征向量；
通过所述医疗信息处理模型，根据所述第一特征向量和所述第二特征向量，确定相应的融合特征向量；
基于所述融合特征向量，对所述医疗图像进行分类，以实现通过所述病历信息与所述医疗图像的融合，对所述医疗图像进行分类。
上述方案中，所述基于所述融合特征向量，对所述医疗图像进行分类，以实现通过所述病历信息与所述医疗图像的融合，对所述医疗图像所表征的位置进行辅助分析，包括：
通过医疗信息处理模型中的第三因子分解机层网络对所述第一特征向量和所述第二特征向量进行高维特征提取以及特征融合处理，形成融合特征向量；
通过所述医疗信息处理模型中的第三因子分解机层网络对所述融合特征向量处理进行降维处理，并通过所述图像信息处理网络中的第三双层全连接层处理；
通过所述医疗信息处理模型中的分类器层对所述医疗图像进行分类，确定所述医疗图像对应各个标签的概率值。
上述方案中，所述方法还包括：
获取第一训练样本集合，其中所述第一训练样本集合包括针对相应目标对象的病历信息和相匹配的医疗图像；
对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合；
通过医疗信息处理模型对所述第二训练样本集合进行处理，以确定所述医疗信息处理模型中文字信息处理网络的初始参数和图像信息处理网络的初始参数；
响应于所述文字信息处理网络的初始参数和所述图像信息处理网络的初始参数，通过所述医疗信息处理模型对所述第二训练样本集合进行处理，确定所述医疗信息处理模型的不同神经网络对应的更新参数；
根据所述医疗信息处理模型的不同神经网络对应的更新参数所述医疗信息处理模型的更新参数，通过所述第二训练样本集合对所述医疗信息处理模型的文字信息处理网络的参数和图像信息处理网络的参数分别进行迭代更新，以实现通过所述医疗信息处理模型对所述病历信息与所述医疗图像进行处理。
上述方案中，所述响应于所述文字信息处理网络的初始参数和所述图像信息处理网络的初始参数，通过所述医疗信息处理模型对所述第二训练样本集合进行处理，确定所述医疗信息处理模型的不同神经网络对应的更新参数，包括：
将所述第二训练样本集合中不同病历语句样本，代入由所述医疗信息处理模型的文字信息处理网络的编码器和解码器构成的自编码网络对应的损失函数；
确定所述损失函数满足第一收敛条件时对应所述文字信息处理网络的编码器的参数和相应的解码器参数作为所述文字信息处理网络的更新参数；
将所述第二训练样本集合中不同病历语句样本，代入由所述医疗信息处理模型的图像信息处理网络的编码器和解码器构成的自编码网络对应的损失函数；
确定所述损失函数满足第二收敛条件时对应所述图像信息处理网络的编码器的参数和相应的解码器参数作为所述图像信息处理网络的更新参数。
本发明实施例还提供了一种医疗信息处理方法，所述方法包括：
显示用户界面，所述用户界面中包括以第一人称视角对目标对象的不同位置进行观察的视角画面；
当接收到对目标对象的医疗信息中的医疗图像进行识别的触发操作时，在所述用户界面上显示所述医疗信息中的病历信息和所述医疗信息中的医疗图像，通过所述控制组件对显示用户界面中医疗图像识别区域进行锁定；
通过医疗信息处理模型，基于所述对所述医疗图像进行分类，以实现通过所述病历信息与所述医疗图像的融合，对所述医疗图像进行分类；
通过所述用户界面，呈现所述医疗图像的分类结果。
本发明实施例还提供了一种医疗信息处理装置，所述装置包括：
第一信息传输模块，用于获取目标对象的医疗信息中的病历信息和所述医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一病灶的不同医疗图像的集合；
第一信息处理模块，用于通过医疗信息处理模型中的文字信息处理网络对所述病历信息进行处理，确定与所述病历信息相匹配的第一特征向量；
所述第一信息处理模块，用于通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第二特征向量；
所述第一信息处理模块，用于通过所述医疗信息处理模型，根据所述第一特征向量和所述第二特征向量，确定相应的融合特征向量；
所述第一信息处理模块，用于基于所述融合特征向量，对所述医疗图像进行分类，以实现通过所述病历信息与所述医疗图像的融合，对所述医疗图像所表征进行分类。
上述方案中，
所述第一信息处理模块，用于通过文字信息处理网络，提取与所述病历信息的文本内容相匹配的特征向量；
所述第一信息处理模块，用于通过所述文字信息处理网络，根据所述特征向量确定与所述文本内容所对应的语句向量；
所述第一信息处理模块，用于通过所述文字信息处理网络，根据所述特征向量确定与所述文本内容所对应的至少一个词语级的隐变量；
所述第一信息处理模块，用于通过所述文字信息处理网络，根据所述至少一个词语级的隐变量以及与所述文本内容所对应的语句向量，确定与所述病历信息相匹配的第一特征向量。
上述方案中，
所述第一信息处理模块，用于根据所述病历信息的文本内容所携带的病理种类参数，触发相应的分词库；
所述第一信息处理模块，用于通过所触发的所述分词库单词词典对所述病历信息的文本内容进行分词处理，形成不同的词语级特征向量；
所述第一信息处理模块，用于对所述不同的词语级特征向量进行除噪处理，形成与所述病历信息的文本内容相匹配的特征向量的集合。
上述方案中，
所述第一信息处理模块，用于确定与医疗信息处理模型的使用环境相匹配的动态噪声阈值；
所述第一信息处理模块，用于根据所述动态噪声阈值对所述不同的词语级特征向量进行除噪处理，并触发与所述动态噪声阈值相匹配的动态分词策略；
所述第一信息处理模块，用于根据与所述动态噪声阈值相匹配的动态分词策略，对所述病历信息的文本内容进行分词处理，形成相对应的动态词语级特征向量集合。
上述方案中，所述第一信息处理模块，用于确定与医疗信息处理模型的使用环境相对应的固定噪声阈值；
所述第一信息处理模块，用于根据所述固定噪声阈值对所述不同的词语级特征向量进行除噪处理，并触发与所述固定噪声阈值相匹配的固定分词策略；
所述第一信息处理模块，用于根据与所述固定噪声阈值相匹配的固定分词策略，对所述病历信息的目标文本进行分词处理，形成相对应的固定词语级特征向量集合。
上述方案中，
所述第一信息处理模块，用于通过所述文字信息处理网络中的第一因子分解机层网络对所述语句向量进行高维特征提取以及特征融合处理；
所述第一信息处理模块，用于通过所述文字信息处理网络中的第一因子分解机层网络对所述特征融合处理进行降维处理，并通过所述文字信息处理网络中的第一双层全连接层处理，实现通过相应的线性整流函数确定与所述病历信息相匹配的第一特征向量。
上述方案中，
所述第一信息处理模块，用于通过所述图像信息处理网络对所述医疗图像进行降噪处理；
所述第一信息处理模块，用于通过所述图像信息处理网络的卷积层和最大值池化层对经过降噪处理的医疗图像交叉进行处理，得到所述医疗图像的降采样结果；
所述第一信息处理模块，用于通过所述图像信息处理网络的全连接层，对所述医疗图像的降采样结果进行归一化处理；
所述第一信息处理模块，用于通过所述图像信息处理网络对所述医疗图像的降采样的归一化结果，进行深度分解处理，确定与所述医疗图像相匹配的第二特征向量。
上述方案中，
所述第一信息处理模块，用于根据所述病历信息所对应的位置，确定与所述医疗信息处理模型的使用环境相匹配的动态噪声阈值；
所述第一信息处理模块，用于根据所述动态噪声阈值通过所述图像信息处理网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。
上述方案中，
所述第一信息处理模块，用于根据所述医疗图像的图像类型，确定与所述医疗信息处理模型的使用环境相匹配的动态噪声阈值；
所述第一信息处理模块，用于根据所述动态噪声阈值通过所述图像信息处理网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。
上述方案中，
所述第一信息处理模块，用于通过所述图像信息处理网络中的第二因子分解机层网络对所述医疗图像的降采样的归一化结果进行高维特征提取以及特征融合处理；
所述第一信息处理模块，用于通过所述图像信息处理网络中的第二因子分解机层网络对所述特征融合处理结果进行降维处理，并通过所述图像信息处理网络中的第二双层全连接层处理，实现通过相应的线性整流函数确定与所述医疗图像信息相匹配的第二特征向量。
上述方案中，
所述第一信息处理模块，用于通过医疗信息处理模型中的第三因子分解机层网络对所述第一特征向量和所述第二特征向量进行高维特征提取以及特征融合处理，形成融合特征向量；
所述第一信息处理模块，用于通过所述医疗信息处理模型中的第三因子分解机层网络对所述融合特征向量处理进行降维处理，并通过所述图像信息处理网络中的第三双层全连接层处理；
所述第一信息处理模块，用于通过所述医疗信息处理模型中的分类器层对所述医疗图像进行分类，确定所述医疗图像对应各个标签的概率值。
上述方案中：
训练模块，用于获取第一训练样本集合，其中所述第一训练样本集合包括针对相应目标对象的病历信息和相匹配的医疗图像；
所述训练模块，用于对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合；
所述训练模块，用于通过医疗信息处理模型对所述第二训练样本集合进行处理，以确定所述医疗信息处理模型中文字信息处理网络的初始参数和图像信息处理网络的初始参数；
所述训练模块，用于响应于所述文字信息处理网络的初始参数和所述图像信息处理网络的初始参数，通过所述医疗信息处理模型对所述第二训练样本集合进行处理，确定所述医疗信息处理模型的不同神经网络对应的更新参数；
所述训练模块，用于根据所述医疗信息处理模型的不同神经网络对应的更新参数所述医疗信息处理模型的更新参数，通过所述第二训练样本集合对所述医疗信息处理模型的文字信息处理网络的参数和图像信息处理网络的参数分别进行迭代更新，以实现通过所述医疗信息处理模型对所述病历信息与所述医疗图像进行处理。
上述方案中，
所述训练模块，用于将所述第二训练样本集合中不同病历语句样本，代入由所述医疗信息处理模型的文字信息处理网络的编码器和解码器构成的自编码网络对应的损失函数；
所述训练模块，用于确定所述损失函数满足第一收敛条件时对应所述文字信息处理网络的编码器的参数和相应的解码器参数作为所述文字信息处理网络的更新参数；
所述训练模块，用于将所述第二训练样本集合中不同病历语句样本，代入由所述医疗信息处理模型的图像信息处理网络的编码器和解码器构成的自编码网络对应的损失函数；
所述训练模块，用于确定所述损失函数满足第二收敛条件时对应所述图像信息处理网络的编码器的参数和相应的解码器参数作为所述图像信息处理网络的更新参数。
本发明实施例还提供了一种医疗信息处理装置，所述装置包括：
第二信息传输模块，用于显示用户界面，所述用户界面中包括以第一人称视角对目标对象的位置进行观察的视角画面；
第二信息处理模块，用于当接收到对目标对象的医疗信息中的医疗图像进行识别的触发操作时，在所述用户界面上显示所述医疗信息中的病历信息和所述医疗信息中的医疗图像，通过所述控制组件对显示用户界面中医疗图像识别区域进行锁定；
所述第二信息处理模块，用于通过医疗信息处理模型，基于所述对所述医疗图像进行分类，以实现通过所述病历信息与所述医疗图像的融合，对所述医疗图像进行分析；
所述第二信息传输模块，用于通过所述用户界面，呈现所述医疗图像的分类结果。
本发明实施例还提供了一种电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现前述的医疗信息处理方法。
本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现前述的医疗信息处理方法。
本发明实施例具有以下有益效果：
本发明通过获取目标对象的医疗信息中的病历信息和所述医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一位置的不同医疗图像的集合；通过医疗信息处理模型中的文字信息处理网络对所述病历信息进行处理，确定与所述病历信息相匹配的第一特征向量；通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第二特征向量；通过所述医疗信息处理模型，根据所述第一特征向量和所述第二特征向量，确定相应的融合特征向量；基于所述融合特征向量，对所述医疗图像进行分类，由此，可以实现通过病历信息与医疗图像的融合，输出所述医疗图像的分类结果，提升医疗图像进行分类的准确性。
附图说明
图1是本发明实施例提供的医疗信息处理方法的使用环境示意图；
图2为本发明实施例提供的电子设备的组成结构示意图；
图3为本发明实施例提供的医疗信息处理方法一个可选的流程示意图；
图4为本发明实施例提供的医疗信息处理方法一个可选的流程示意图；
图5A为本发明实施例提供的医疗信息处理方法一个可选的流程示意图；
图5B为本发明实施例提供的医疗信息处理方法一个可选的流程示意图；
图6为本发明实施例提供的电子设备的组成结构示意图；
图7为本发明实施例提供的医疗信息处理方法的使用场景示意图；
图8为相关技术中对医疗图像处理的示意图；
图9为相关技术中对医疗图像处理的示意图；、
图10为相关技术中对病历信息处理的示意图；
图11为本发明实施例提供的医疗信息处理方法一个可选的流程示意图；
图12为本发明实施例中病历信息的前端显示示意图；
图13为本发明实施例提供的医疗信息处理方法的网络结构示意图；
图14为本发明实施例中通过医疗信息处理模型对医疗图像进行分类的前端示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
2)下采样处理，对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样，例如：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，其中s应该是M和N的公约数
3)卷积神经网络(CNN Convolutional Neural Networks)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)。
4)模型训练，对图像数据集进行多分类学习。该模型可采用TensorFlow、torch等深度学习框架进行构建，使用CNN等神经网络层的多层结合组成多分类模型。模型的输入为图像经过openCV等工具读取形成的三通道或原通道矩阵，模型输出为多分类概率，通过softmax等算法最终输出网页类别。在训练时，模型通过交叉熵等目标函数向正确趋势逼近。
5)Contrastive loss：对比损失函数，其可以学习一种映射关系，这种映射关系可以使得在高维空间中，相同类别但距离较远的点，通过函数映射到低维空间后，距离变近，不同类别但距离都较近的点，通过映射后再低维空间变得更远。这样的结果就是，在低维空间，同一种类的点会产生聚类的效果，不同种类的mean会隔开。类似fisher降维，但fisher降维不具有out-of-sample extension的效果，不能对new sample进行作用。
6)客户端，终端中实现特定功能的载体，例如移动客户端(APP)是移动终端中特定功能的载体，例如执行用户手势识别的功能的程序。
7)Soft max：归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量“压缩”到另一个K维实向量中，使得每一个元素的范围都在[0，1]之间，并且所有元素的和为1。
8)分词：使用中文分词工具切分中文文本，得到细粒度词的集合。停用词：对于文本的语义没有贡献或者贡献可以不计的字或词。Cosin相似度：两个文本表示成向量之后的余弦相似度。
9)分词库：又称切词库，指一种特定的分词方法，不同的分词库各自对应的单词字典，并可以根据各自对应的单词字典对相应的文本信息进行分词处理。
10)一致性(consistency)：表示在不同服务器访中问到的数据始终唯一。
11)中文名称计算机辅助诊断(AD Computer Aided Diagnosis)其中，CA D用于通过影像学、医疗图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。
12)内窥镜视频流：用于通过图像采集设备(例如内窥镜)对机体部位(人体的不同目标器官或者体内病灶)进行图像采集所形成视频状态的病理信息。
13)病灶：病灶通常指代机体上发生病变的部分。换一种表达方式，一个局限的、具有病原微生物的病变组织，即可称为病灶。
图1为本发明实施例提供的医疗信息处理方法的使用场景示意图，参见图1，终端(包括终端10-1和终端10-2)上设置有能够执行不同功能相应客户端其中，所属客户端为终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中获取不同的相应目标对象的病历信息进行浏览，或者获取相应的医疗图像，并对医疗图像所示的病灶位置进行分析，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中所获取的相应目标对象的病历信息类型既可以相同也可以不相同，例如：终端(包括终端10-1和终端10-2)既可以通过网络300从相应的服务器200中获取与目标对象相匹配的病理图像或者医疗图像集合，也可以通过网络300从相应的服务器200中获取仅与当前目标相匹配的医疗图像集合(例如内窥镜视频流)进行浏览。服务器200中可以保存有不同目标对象各自对应的相应目标对象的病历信息，也可以保存与所述目标对象的相应目标对象的病历信息相匹配的辅助分析信息。在本发明的一些实施例中，服务器200中所保存的不同类型的相应目标对象的病历信息可以由内窥镜所采集的内窥镜视频流。本实施例的内窥镜视频流中不少于两张原始内窥镜图像，是医生在利用内窥镜过程中，通过移动摄像头、切换放大倍率等操作反复观察疑似的病灶区域得到的多视野的病理图片的集合，融合了内窥镜下特定视野的信息。由于内窥镜视频流中记录了医生在观察患者病灶的过程中，内窥镜视野中所有的信息，如此，将医生观察单个患者病灶在内窥镜的视野中的信息，作为连续的视频流加以利用，避免医生在快速移动内窥镜的过程中，忽略微小的病变区域，从而提供比单帧图片更多的信息来辅助医生诊断并发现微小病变区域。
其中，本发明实施例可结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。
需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。
结合实施例图1所示，本发明实施例所提供的目标对象确定方法可以通过相应的云端设备实现，例如：终端(包括终端10-1和终端10-2)通过网络300连接位于云端的服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。值得说明的是，服务器200可为实体设备，也可为虚拟化设备。
具体来说，结合前序实施例中的图1所示，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
需要说明的是，在内窥镜(与所述目标对象相连接的医疗设备)下查看的患者病灶可以包括多种不同的应用场景，如糖网病变筛查，宫颈癌早期筛查等不同视频流筛查等。基于本实施例的医疗信息处理方法可以部署到多种应用场景，从而便于医生的远程查阅与使用。
服务器200通过网络300向终端(终端10-1和/或终端10-2)发送同一目标对象的相应目标对象的病历信息以实现终端(终端10-1和/或终端10-2)的用户对目标对象的相应目标对象的病历信息进行分析，，因此。作为一个事例，服务器200部署相应的神经网络模型，用于获取内窥镜设备400的视频流，其中，所述内窥镜视频流携带原始内窥镜图像；通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。
下面对本发明实施例的电子设备的结构做详细说明，电子设备可以各种形式来实施，如带有内窥镜图像处理功能的专用终端，也可以为带有内窥镜图像处理功能的电子设备或者云服务器，例如前述图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图，可以理解，图2仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的电子设备包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。电子设备中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的医疗信息处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的医疗信息处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的医疗信息处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Co mplex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Progra mmable Gate Array)或其他电子元件。
作为本发明实施例提供的医疗信息处理装置采用软硬件结合实施的示例，本发明实施例所提供的医疗信息处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的医疗信息处理方法。
作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的医疗信息处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integr ated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的医疗信息处理方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何可执行指令，如可执行指令，实现本发明实施例的从医疗信息处理方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的医疗信息处理装置可以采用软件方式实现，图2示出了存储在存储器202中的医疗信息处理装置2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括医疗信息处理装置2020，医疗信息处理装置2020中包括以下的软件模块：
第一信息传输模块2081，用于获取目标对象的医疗信息中的病历信息和所述医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一病灶的不同医疗图像的集合；
第一信息处理模块2082，用于通过医疗信息处理模型中的文字信息处理网络对所述病历信息进行处理，确定与所述病历信息相匹配的第一特征向量；
所述第一信息处理模块2082，用于通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第二特征向量；
所述第一信息处理模块2082，用于通过所述医疗信息处理模型，根据所述第一特征向量和所述第二特征向量，确定相应的融合特征向量；
所述第一信息处理模块2082，用于基于所述融合特征向量，对所述医疗图像进行分类，以实现通过所述病历信息与所述医疗图像的融合，对所述医疗图像所表征的病灶进行辅助分析。
结合图2示出的医疗信息处理装置说明本发明实施例提供的医疗信息处理方法，参见图3，图3为本发明实施例提供的医疗信息处理方法一个可选的流程示意图，可以理解地，图3所示的步骤可以由运行医疗信息处理装置的各种电子设备执行，例如可以是如带有医疗信息处理功能的专用终端、服务器或者服务器集群。下面针对图3示出的步骤进行说明。
步骤301：医疗信息处理装置获取目标对象的医疗信息中的病历信息和所述医疗信息中的医疗图像。
其中，所述医疗图像包括所述目标对象的同一病灶的不同医疗图像的集合。
步骤302：医疗信息处理装置通过医疗信息处理模型中的文字信息处理网络对所述病历信息进行处理，确定与所述病历信息相匹配的第一特征向量。
继续结合图2示出的医疗信息处理装置说明本发明实施例提供的医疗信息处理方法，参见图4，图4为本发明实施例提供的医疗信息处理方法一个可选的流程示意图，可以理解地，图4所示的步骤可以由运行医疗信息处理装置的各种电子设备执行，例如可以是如带有医疗信息处理功能的专用终端、服务器或者服务器集群。下面针对图4示出的步骤进行说明。
步骤401：医疗信息处理装置通过文字信息处理网络，提取与所述病历信息的文本内容相匹配的特征向量。
步骤402：医疗信息处理装置通过所述文字信息处理网络，根据所述特征向量确定与所述文本内容所对应的语句向量。
步骤403：医疗信息处理装置通过所述文字信息处理网络，根据所述特征向量确定与所述文本内容所对应的至少一个词语级的隐变量。
步骤404：医疗信息处理装置通过所述文字信息处理网络，根据所述至少一个词语级的隐变量以及与所述文本内容所对应的语句向量，确定与所述病历信息相匹配的第一特征向量。
在本发明的一些实施例中，通过文字信息处理网络，提取与所述病历信息的文本内容相匹配的特征向量，可以通过以下方式实现：
根据所述病历信息的文本内容所携带的病理种类参数，触发相应的分词库；通过所触发的所述分词库单词词典对所述病历信息的文本内容进行分词处理，形成不同的词语级特征向量；对所述不同的词语级特征向量进行除噪处理，形成与所述病历信息的文本内容相匹配的特征向量的集合。其中，所谓分词，即有动词含义也有名词含义；每个分词就是一个单词或者词组，即有确定意义的最小语义单元；对于所接收的不同的用户或者不同的文本处理模型的使用环境，其需要划分其中包含的最小语义单位也是不同的，需要及时地做出调整，这一过程叫做分词，即分词可以指上述划分最小语义单位的过程；另一方面，划分后获得的最小语义单位，也常常被称为分词，即分词这个操作执行后获得的单词；有时为了将两个意思相互区别，将后一个意思所指称的最小语义单位称为分词对象(Term)；本申请中即使用分词对象这个称呼；分词对象对应于倒排表中作为索引依据的关键词。对于汉语而言，由于作为最小语义单位的词往往是由不同数量的字组成的，词之间不存在空白隔断等拼音文字中天然的区分标志，因此，对于汉语而言，准确进行分词以获得合理的分词对象是一个重要的步骤。对于不同的目标对象，由于病理种类的差异，因此，对于病历信息的文本的分词需求也是不同的，其中，对于病历信息的基础性信息，需要准确地识别出病例信息所携带的：比如姓名：xxx、性别：男、年龄：22、床号：xxx、以及住院号：xxx等基础信息，对于骨科的相应病理种类，需要触发相应的分词库，实现识别病例信息中所携带的：脚关节、踝关节、膝、胯、腰、肩、肘、腕、手、疼痛、剧烈、一般、间歇性、风湿等相应的病理特征关键词。
在本发明的一些实施例中，对所述不同的词语级特征向量进行除噪处理，形成与所述病历信息的文本内容相匹配的特征向量的集合，可以通过以下方式实现：
确定与医疗信息处理模型的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值对所述不同的词语级特征向量进行除噪处理，并触发与所述动态噪声阈值相匹配的动态分词策略；根据与所述动态噪声阈值相匹配的动态分词策略，对所述病历信息的文本内容进行分词处理，形成相对应的动态词语级特征向量集合。
其中由于医疗信息处理模型的使用环境不同，与相应医疗信息处理模型的使用环境相匹配的动态噪声阈值也不相同，例如，单一医疗信息处理(仅针对某一科室的疾病类型诊断)的使用环境中，与所述医疗信息处理模型的使用环境相匹配的动态噪声阈值需要小于急诊科室或者社区全科门诊的环境中的动态噪声阈值。由于训练样本来源于不同的数据源，数据源中包括各类型应用场景的数据作为相应的训练本的数据来源，例如，本发明所提供的医疗信息处理模型可以作为软件模块封装于移动检测电子设备中，也可以封装于不同的固定医疗检查设备中(包括但不限于：手持诊断仪，病房中央监测系统，床边监测系统)，当然也可以固化于智能机器人的硬件设备中，针对这些医疗信息处理模型的不同使用场景，可以使用相对应的训练样本对医疗信息处理模型进行针对性性的训练。
在本发明的一些实施例中，对所述不同的词语级特征向量进行除噪处理，形成与所述病历信息的文本内容相匹配的特征向量的集合，可以通过以下方式实现：
确定与医疗信息处理模型的使用环境相对应的固定噪声阈值；根据所述固定噪声阈值对所述不同的词语级特征向量进行除噪处理，并触发与所述固定噪声阈值相匹配的固定分词策略；根据与所述固定噪声阈值相匹配的固定分词策略，对所述病历信息的目标文本进行分词处理，形成相对应的固定词语级特征向量集合。其中，当医疗信息处理模型固化于相应的硬件机构中，例如某一具体科室的诊断辅助进程中时，由于噪声较为单一，通过固定医疗信息处理模型相对应的固定噪声阈值，能够有效提高医疗信息处理模型的训练速度，减少用户的等待时间。
在本发明的一些实施例中，通过所述文字信息处理网络，根据所述至少一个词语级的隐变量以及与所述文本内容所对应的语句向量，确定与所述病历信息相匹配的第一特征向量，可以通过以下方式实现：
通过所述文字信息处理网络中的第一因子分解机层网络对所述语句向量进行高维特征提取以及特征融合处理；通过所述文字信息处理网络中的第一因子分解机层网络对所述特征融合处理进行降维处理，并通过所述文字信息处理网络中的第一双层全连接层处理，实现通过相应的线性整流函数确定与所述病历信息相匹配的第一特征向量。由此，通过文字信息处理网络将病历信息转化为相匹配的第一特征向量，以后医疗信息处理模型的使用。
步骤303：医疗信息处理装置通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第二特征向量。
继续结合图2示出的医疗信息处理装置说明本发明实施例提供的医疗信息处理方法，参见图5A，图5A为本发明实施例提供的医疗信息处理方法一个可选的流程示意图，可以理解地，图5A所示的步骤可以由运行医疗信息处理装置的各种电子设备执行，例如可以是如带有医疗信息处理功能的专用终端、服务器或者服务器集群。下面针对图5A示出的步骤进行说明。
步骤501：医疗信息处理装置通过所述图像信息处理网络对所述医疗图像进行降噪处理。
其中，本发明所涉及的医疗图像可以是不同数据域的图像，也即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。不同医疗应用场景所得的医疗图像属于不同的数据域，数据域可以表示医疗图像属于某种医疗设备或某种成像模态。举例来说：医疗图像具体可以是通过CT机扫描所得的CT图像，或通过MRI设备扫描所得的MRI图像，或通过超声诊断仪扫描所得的超声图像。此外，还可以是X光图像、心电图和脑电图等等。在医学领域，不同病征的内在异质性可在医疗图像中体现，如人体某个部位的外观(如形状)存在不同程度的差异，因此医疗图像可作为一种医疗判断手段或参考因素，用于辅助临床诊断。其中，运行医疗信息处理模型的终端可以根据输入的图像选择指令，从图像数据库中选取对应的医疗图像；或者，终端与医学仪器建立通信连接，如有线通信连接或无线通信连接，当医学仪器通过扫描形成医疗图像时，获取由该医学仪器所形成的医疗图像。
步骤502：医疗信息处理装置通过所述图像信息处理网络的卷积层和最大值池化层对经过降噪处理的医疗图像交叉进行处理，得到所述医疗图像的降采样结果。
步骤503：医疗信息处理装置通过所述图像信息处理网络的全连接层，对所述医疗图像的降采样结果进行归一化处理。
步骤504：医疗信息处理装置通过所述图像信息处理网络对所述医疗图像的降采样的归一化结果，进行深度分解处理，确定与所述医疗图像相匹配的第二特征向量。
在本发明的一些实施例中，通过所述图像信息处理网络对所述医疗图像进行降噪处理，可以通过以下方式实现：
根据所述病历信息所对应的病灶位置，确定与所述医疗信息处理模型的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值通过所述图像信息处理网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。其中，病灶位置的不同，在不同的医疗图像中的动态噪声值也不相同，医疗图像的噪声会产生不同的伪影，例如CT图像的伪影或者核磁共振造影的伪影，由于噪声所产生的伪影会影响对于医疗图像的准确分类，不利于辅助诊断的准确性。在获取到待分类的医疗图像之后，需要对所获取的医疗图像进行伪影识别，以确定医疗图像中是否存在伪影，以及伪影的严重程度值，进一步地，还可以根据所确定的动态噪声阈值通过图像信息处理网络对所述医疗图像进行降噪处理，以消除由于动态噪声在病灶位置的医疗图像中所产生的伪影。
其中，伪影可以指在终端在磁共振扫描或信息处理过程中，出现了一些人体本身不存在的、却能致使图像质量下降的影像。例如，运动伪影出现的原因主要是终端在磁共振扫描过程中，运动器官在每一次激发、编码及信号采集时所处的位置或形态发生了变化，因此出现相位的错误而导致伪影的产生，进一步地，还可能因为磁敏感产生伪影或者化学性配准不良产生伪影，同样的，根据所确定的动态噪声阈值通过图像信息处理网络对所述医疗图像进行降噪处理，以消除由于动态噪声在病灶位置的医疗图像中所产生的磁敏感伪影。
进一步地，当所获取的医疗图像包含有伪影、且动态噪声值大于预设噪声阈值时，终端还可以增加采样时间，进而减低带宽以减小波纹。此外，终端还可以通过增加相位编码数来降低像素大小，减少像素间的不连续性以减少尾波震荡。
在本发明的一些实施例中，过所述图像信息处理网络对所述医疗图像进行降噪处理，可以通过以下方式实现：
根据所述医疗图像的图像类型，确定与所述医疗信息处理模型的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值通过所述图像信息处理网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。其中，其中，病灶位置的不同，在不同的医疗图像中的动态噪声值也不相同，医疗图像的噪声会产生不同的伪影，例如CT图像的伪影或者核磁共振造影的伪影由于成像机理并不相同，因此通过医疗图像的图像类型，确定与使用环境相匹配的动态噪声阈值。可以更有针对性的消除噪声所产生的伪影。
在本发明的一些实施例中，通过所述图像信息处理网络对所述医疗图像的降采样的归一化结果，进行深度分解处理，确定与所述医疗图像相匹配的第二特征向量，可以通过以下方式实现：
通过所述图像信息处理网络中的第二因子分解机层网络对所述医疗图像的降采样的归一化结果进行高维特征提取以及特征融合处理；通过所述图像信息处理网络中的第二因子分解机层网络对所述特征融合处理结果进行降维处理，并通过所述图像信息处理网络中的第二双层全连接层处理，实现通过相应的线性整流函数确定与所述医疗图像信息相匹配的第二特征向量。由此，通过图像信息处理网络中的第二因子分解机层网络对医疗图像进行处理，形成与所述医疗图像信息相匹配的第二特征向量，用于对医疗图像进行分类。
步骤304：医疗信息处理装置通过所述医疗信息处理模型，根据所述第一特征向量和所述第二特征向量，确定相应的融合特征向量。
步骤305：医疗信息处理装置基于所述融合特征向量，对所述医疗图像进行分类。
在本发明的一些实施例中，基于所述融合特征向量，对所述医疗图像进行分类可以通过以下方式实现：
通过医疗信息处理模型中的第三因子分解机层网络对所述第一特征向量和所述第二特征向量进行高维特征提取以及特征融合处理，形成融合特征向量；通过所述医疗信息处理模型中的第三因子分解机层网络对所述融合特征向量处理进行降维处理，并通过所述图像信息处理网络中的第三双层全连接层处理；通过所述医疗信息处理模型中的分类器层对所述医疗图像进行分类，确定所述医疗图像对应各个标签的概率值。其中，深度分解机(deepFM，Deep Factorization Machines)，其中，deepFM可以包含两部分：深度神经网络(DNN，Deep Neural Networks)部分和因子分解机(FM，Factorization Machines)部分，DNN是深度学习算法，可以学习到抽象的高阶特征；FM可以学习到低阶特征。
由此，可以实现通过所述病历信息与所述医疗图像的融合，对所述医疗图像所表征的病灶进行辅助分析。
继续结合图2示出的医疗信息处理装置说明本发明实施例提供的医疗信息处理方法，参见图5B，图5B为本发明实施例提供的医疗信息处理方法一个可选的流程示意图，其中，医疗信息处理模型使用之前，需要对医疗信息处理模型进行训练，以确定医疗信息处理模型的参数，实现初始化，可以理解地，图5所示的步骤可以由运行医疗信息处理装置的各种电子设备执行，例如可以是如带有医疗信息处理功能的专用终端、服务器或者服务器集群。下面针对图5B示出的步骤进行说明。
步骤5001：医疗信息处理装置获取第一训练样本集合，其中所述第一训练样本集合包括针对相应目标对象的病历信息和相匹配的医疗图像；
步骤5002：对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合；
步骤5003：对所述第二训练样本集合进行处理，以确定所述医疗信息处理模型中文字信息处理网络的初始参数和图像信息处理网络的初始参数；
步骤5004：响应于所述文字信息处理网络的初始参数和所述图像信息处理网络的初始参数，通过所述医疗信息处理模型对所述第二训练样本集合进行处理，确定所述医疗信息处理模型的不同神经网络对应的更新参数。
在本发明的一些实施例中，响应于所述文字信息处理网络的初始参数和所述图像信息处理网络的初始参数，通过所述医疗信息处理模型对所述第二训练样本集合进行处理，确定所述医疗信息处理模型的不同神经网络对应的更新参数，可以通过以下方式实现：
将所述第二训练样本集合中不同病历语句样本，代入由所述医疗信息处理模型的文字信息处理网络的编码器和解码器构成的自编码网络对应的损失函数；确定所述损失函数满足第一收敛条件时对应所述文字信息处理网络的编码器的参数和相应的解码器参数作为所述文字信息处理网络的更新参数；将所述第二训练样本集合中不同病历语句样本，代入由所述医疗信息处理模型的图像信息处理网络的编码器和解码器构成的自编码网络对应的损失函数；确定所述损失函数满足第二收敛条件时对应所述图像信息处理网络的编码器的参数和相应的解码器参数作为所述图像信息处理网络的更新参数。
进一步地，还可以根据所述医疗信息处理模型的不同神经网络对应的更新参数所述医疗信息处理模型的更新参数，通过所述第二训练样本集合对所述医疗信息处理模型的文字信息处理网络的参数和图像信息处理网络的参数分别进行迭代更新，以实现通过所述医疗信息处理模型对所述病历信息与所述医疗图像进行处理。
在本发明的一些实施例中其中，其中，编码器网络的损失函数表示为：
loss_A＝∑(decoder_A(encoder(warp(x1)))-x1)2；其中，decoder_A为解码器A，warp为待识别语句的函数，x1为待识别语句，encoder为编码器。
在迭代训练的过程中，通过将待识别语句代入编码器网络的损失函数，求解损失函数按照梯度(例如最大梯度)下降时编码器A和解码器A的参数，当损失函数收敛时(即确定能够形成与所述待识别语句所对应的词语级的隐变量时)，结束训练。
对编码器网络的训练过程中，编码器网络的损失函数表示为：loss_B＝∑(decoder_B(encoder(warp(x2)))-x2)2；其中，decoder_B为解码器B，warp为待识别语句的函数，x2为待识别语句，encoder为编码器。
在迭代训练的过程中，通过将待识别语句代入编码器网络的损失函数，求解损失函数按照梯度(例如最大梯度)下降时编码器B和解码器B的参数；当损失函数收敛时(即当解码得到与所述待识别语句相对应的文本处理结果的被选取概率时)，结束调整和训练。
继续结合图1，本发明实施例还提供了医疗信息处理方法，应用于图1所示的终端10-1或者10-2中，其中，图6为本发明实施例提供的电子设备的组成结构示意图，可以理解，图6仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图6示出的部分结构或全部结构。
本发明实施例提供的电子设备包括：至少一个处理器601、存储器602、用户接口603和至少一个网络接口604。电子设备中的各个组件通过总线系统605耦合在一起。可以理解，总线系统605用于实现这些组件之间的连接通信。总线系统605除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统605。
其中，用户接口603可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器602可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器602能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的医疗信息处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的医疗信息处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的医疗信息处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Co mplex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Progra mmable Gate Array)或其他电子元件。
作为本发明实施例提供的医疗信息处理装置采用软硬件结合实施的示例，本发明实施例所提供的医疗信息处理装置可以直接体现为由处理器601执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器602，处理器601读取存储器602中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器601以及连接到总线605的其他组件)完成本发明实施例提供的医疗信息处理方法。
作为示例，处理器601可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的医疗信息处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器601来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integr ated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的医疗信息处理方法。
本发明实施例中的存储器602用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何可执行指令，如可执行指令，实现本发明实施例的从医疗信息处理方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的医疗信息处理装置可以采用软件方式实现，图6示出了存储在存储器602中的医疗信息处理装置6060，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器602中存储的程序的示例，可以包括医疗信息处理装置6060，医疗信息处理装置6060中包括以下的软件模块：
第二信息传输模块6081，用于显示用户界面，所述用户界面中包括以第一人称视角对目标对象的病灶进行观察的视角画面；
第二信息处理模块6082，用于当接收到对目标对象的医疗信息中的医疗图像进行识别的触发操作时，在所述用户界面上显示所述医疗信息中的病历信息和所述医疗信息中的医疗图像，通过所述控制组件对显示用户界面中医疗图像识别区域进行锁定；
所述第二信息处理模块6082，用于通过医疗信息处理模型，基于所述对所述医疗图像进行分类，以实现通过所述病历信息与所述医疗图像的融合，对所述医疗图像所表征的病灶进行分析；
所述第二信息传输模块6082，用于通过所述用户界面，呈现所述医疗图像的分类结果。
下面以针对目标对象的脑溢血和眼底出血等机体内部出血为例，对本发明所提供的医疗信息处理方法进行说明，
图7为本发明实施例提供的医疗信息处理方法的使用场景示意图，参见图7，图7是本发明实施例提供的血管图像处理系统10的应用场景示意图，终端200可以位于各种具有医疗属性的机构(例如医院、医学研究院)中，可以被用来采集(例如，例如终端200的图像采集装置，或者通过其他的图像采集设备400)患者的眼底图像(即待处理血管图像)。
在一些实施例中，终端200本地执行本发明实施例提供的血管图像处理方法来完成眼底图像的血管分割和血管分类，将血管分割和血管分类的结果以图形化方式输出，从而供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究，例如可以根据眼底图像的血管分割结果和血管分类结果，确定不同类型血管在形态学上的表现，进而来辅助或者直接诊断患者是否有心脑血管疾病风险或者高血压视网膜病变。
终端200也可以通过网络300向服务器100发送眼底图像，并调用服务器100提供的远程诊断服务的功能，服务器100通过本发明实施例提供的血管图像处理方法进行血管分割和血管分类的多任务，将血管分割和血管分类的结果返回终端200，供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。
终端200可以在图形界面210中显示血管图像处理的各种中间结果和最终结果，例如眼底图像、眼底血管的分割结果和分类结果等。
继续说明本发明实施例提供的血管图像处理设备的结构，血管图像处理设备可以是各种终端，例如医疗诊断设备、电脑等，也可以是如图7示出的服务器100。
下面以确定脑出血病例的医疗信息为例对本发明所提供的医疗信息处理方法进行说明，其中，形成医疗影像的各种图像在不断产生，例如，随着CT平扫图像，核磁共振MRI图像不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。
不同诊疗设备所形成医疗影像的各种图像在不断产生，例如，随着病人病情的发展需要不同的时间点或者科室中不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。
但是，现有技术中，参考图8和图9，图8为相关技术中对医疗图像处理的示意图；图9为相关技术中对医疗图像处理的示意图；基于图像信息的分类深度学习网络技术，包括但不限于LeNet，AlexNet，VGG，Inception系列网络，ResNet和DenseNet；其二是在图像上或ROI中提取传统特征，包括但不限于均值，方差等基于灰度的特征和基于分布直方图的特征，GLCM和GLRLM等基于相关矩阵的特征或基于图像傅里叶变换之后的信号特征等等；但常见的医学影像如CT，MRI等由于分辨率有限，无法作为诊断金标准的存在，而且很多具体体征信息如血压大小或血细胞变化等无法利用普通仪器看清，因而，数据的局限性也决定了算法在数据上应用能够达到的上限(例如需要分类准确分类是高血压脑出血还是血管畸形导致的脑出血)。
参考图10，图10为相关技术中对病历信息处理的示意图。其中，另一种医疗信息处理方法是基于病历和病史信息的文本分类，主要是用回归模型或逻辑回归，支持向量机，决策树等机器学习模型构成。例如图10中根据电子病历对患者的不同类型的糖尿病信息的处理，其中，T1MD代表1型糖尿病，T2MD代表2型糖尿病，这一过程中，医学电子病历虽然能够通过患者体征和问答形式采集到一些信息，如性别，年龄，血检指标，体温血压等生物信息，但具体体内病灶信息如心脏大脑等出血或梗死病变往往只能通过影像判断，因此用病历诊断场景有限且细节体现的也有限，去少了两者的结合，影响了分类的精度也影响了模型的输出效果。
为解决上述缺陷，参考图11，图11为本发明实施例提供的医疗信息处理方法一个可选的流程示意图，其中用户可以为医生，目标对象为患者，具体包括以下步骤：
步骤1101：对比目标对象的病历信息进行处理，以形成待处理数据。
其中，参考图12，图12为本发明实施例中病历信息的前端显示示意图，图13为本发明实施例提供的医疗信息处理方法的网络结构示意图；利用DeepFM网络可以将病历中的不同信息分开分析，由于现代电子病历的格式化程度，其中现病史，既往史和家族史大部分都是由一些是否问题组成的，比如图13所示的：现病史有是否肌力下降，感觉症状，失语，视物不清，眩晕，头痛，恶心，呕吐，认知障碍，意识障碍等。既往史有是否有糖尿病，高血压，心脏病，高血脂，脑卒中，是否用阿司匹林等。家族史有父母是否有脑血管病史，心血管病史，儿女是否有脑血管病史，心血管病史，兄弟姐妹是否有脑血管病史，心血管病史等。因此可以简单的将这些信息转化为数字特征，比如-1代表无，1代表有，0代表不清楚。
其中，深度分解机(deepFM，Deep Factorization Machines)，其中，deepFM可以包含两部分：深度神经网络(DNN，Deep Neural Networks)部分和因子分解机(FM，Factorization Machines)部分，DNN是深度学习算法，可以学习到抽象的高阶特征；FM可以学习到低阶特征。
步骤1102：建立训练样本集合。
其中，针对不同的病历信息，可以选择不同的临床数据和图像作为训练样本，例如：可以选取脑出血数据集进行训练，包括一个病人数据包括CT平扫图像，MRI图像和病历，进行四种病因的分类：动脉瘤，高血压，动静脉畸形和烟雾病。
之后首先将图像数据预处理：用减去均值除以方差的方法归一化。然后提取病历数据，优选的提取10+6+6个病历数据特征。
步骤1103：确定深度神经网络的模型结构。
其中，作为基础网络模块，可以使用以下任一结构：VGG16，ResNet18，R esNet50和InceptionV3等，优选的，可以应用ResNet18的模块用于提取特征，每个模态的图像提取64个特征。
进一步地，对于FM Layer层，包括：
1)对每个模块的特征进行高维特征提取；
2)进行特征融合处理；
3)行全连接操作降维。比如模块1：α1α2α3三个特征，模块2：b1b2两个特征，第一步高维特征提取后特征为：α1α2α3，α1α2，α2α3，α2α3，b1b2,b1b2九个特征，第二步和第三步将这九个特征进行融合后降维+ReLU。
Hidden Layer:双层全连接层，第一层全连接分块进行+ReLU，第二层全连接融合后全连接+ReLU。
输出层：将FM Layer和Hidden Layer特征全连接+Sigmoid。
进一步地，参考表1，由于本发明所提供的医疗信息处理方法的使用环境限制，输入数据为多模态图像和病历不同部分的文本数据，因此，可以输入数据几个3D/2D图像和多组向量。通过FM模块和Hidden模块不断融合不同种类，不同维度的特征，以扩充信息，并使得更高维的信息进行有效融合，避免了图像和文本原始特征的无效融合。
本网络输出为类别个数(见表1，表中类别为脑出血数据的4类作为示例)。
表1
步骤1104：对所述深度神经网络进行训练，以确定模型参数。
其中，图14为本发明实施例中通过医疗信息处理模型对医疗图像进行分类的前端示意图；可以采用基于Adam的梯度下降法更新网络的参数。在训练网络之前，先初始化数据，确定文本为-1，0，1组成的向量，然后，经过神经网络模型得到概率值(预测类别，为一个N*1向量，N为类别数)并通过计算其与标签(真实类别)之间的cross entropy作为损失函数，通过最小化损失函数(损失函数达到相应的收敛)，可以计算误差梯度并通过反向传播更新网络的梯度。在上述网络训练完成之后，利用最终的预测概率值，得到分类结果。
有益技术效果：
相比于相关技术，本发明通过获取目标对象的医疗信息中的病历信息和所述医疗信息中的医疗图像，其中所述医疗图像包括所述目标对象的同一病灶的不同医疗图像的集合；通过医疗信息处理模型中的文字信息处理网络对所述病历信息进行处理，确定与所述病历信息相匹配的第一特征向量；通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行处理，确定与所述医疗图像相匹配的第二特征向量；通过所述医疗信息处理模型，根据所述第一特征向量和所述第二特征向量，确定相应的融合特征向量；基于所述融合特征向量，对所述医疗图像进行分类，由此，可以实现通过病历信息与医疗图像的融合，对医疗图像所表征的病灶进行辅助分析，提升医疗图像进行分类的准确性。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种医疗信息处理方法，其特征在于，所述方法包括：
输入目标对象的医疗信息中的病历信息和所述医疗信息中的医疗图像，其中，所述病历信息包括所述目标对象的病理种类参数，所述医疗图像包括所述目标对象的同一位置的不同医疗图像的集合，所述不同医疗图像是所述同一位置的不同模态的图像；
通过医疗信息处理模型中的文字信息处理网络，提取与所述病历信息的文本内容相匹配的特征向量；
通过所述文字信息处理网络，根据所述特征向量确定与所述文本内容所对应的语句向量；
通过所述文字信息处理网络，根据所述特征向量确定与所述文本内容所对应的至少一个词语级的隐变量；
通过所述文字信息处理网络中的第一因子分解机层网络对所述语句向量进行高维特征提取以及特征融合处理；
通过所述文字信息处理网络中的第一因子分解机层网络对所述特征融合处理的结果进行降维处理，并通过所述文字信息处理网络中的第一双层全连接层处理，实现通过相应的线性整流函数确定与所述病历信息相匹配的第一特征向量；
通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行降噪处理，通过所述图像信息处理网络的卷积层和最大值池化层对经过降噪处理的医疗图像交叉进行处理，得到所述医疗图像的降采样结果；通过所述图像信息处理网络的全连接层，对所述医疗图像的降采样结果进行归一化处理；通过所述图像信息处理网络对所述医疗图像的降采样的归一化结果，进行深度分解处理，确定与所述医疗图像相匹配的第二特征向量；其中，在进行所述降噪处理时，对所述医疗图像进行伪影识别，以确定所述医疗图像中是否存在伪影；当所述医疗图像包含有伪影、且所述医疗图像中的动态噪声值大于预设噪声阈值时，对确定所述第二特征向量时的采样时间进行增加，以及，对确定所述第二特征向量时的相位编码数进行增加；
通过所述医疗信息处理模型，根据所述第一特征向量和所述第二特征向量，确定相应的融合特征向量；
基于所述融合特征向量，对所述医疗图像进行分类，以实现通过所述病历信息与所述医疗图像的融合，输出所述医疗图像的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述通过医疗信息处理模型中的文字信息处理网络，提取与所述病历信息的文本内容相匹配的特征向量，包括：
根据所述病历信息的文本内容所携带的所述病理种类参数，触发相应的分词库；
通过所触发的所述分词库单词词典对所述病历信息的文本内容进行分词处理，形成不同的词语级特征向量；
对所述不同的词语级特征向量进行除噪处理，形成与所述病历信息的文本内容相匹配的特征向量的集合。
3.根据权利要求2所述的方法，其特征在于，所述对所述不同的词语级特征向量进行除噪处理，形成与所述病历信息的文本内容相匹配的特征向量的集合，包括：
确定与医疗信息处理模型的使用环境相匹配的动态噪声阈值；
根据所述动态噪声阈值对所述不同的词语级特征向量进行除噪处理，并触发与所述动态噪声阈值相匹配的动态分词策略；
根据与所述动态噪声阈值相匹配的动态分词策略，对所述病历信息的文本内容进行分词处理，形成相对应的动态词语级特征向量集合。
4.根据权利要求2所述的方法，其特征在于，所述对所述不同的词语级特征向量进行除噪处理，形成与所述病历信息的文本内容相匹配的特征向量的集合，包括：
确定与医疗信息处理模型的使用环境相对应的固定噪声阈值；
根据所述固定噪声阈值对所述不同的词语级特征向量进行除噪处理，并触发与所述固定噪声阈值相匹配的固定分词策略；
根据与所述固定噪声阈值相匹配的固定分词策略，对所述病历信息的目标文本进行分词处理，形成相对应的固定词语级特征向量集合。
5.根据权利要求1所述的方法，其特征在于，所述通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行降噪处理，包括：
根据所述病历信息所对应的位置，确定与所述医疗信息处理模型的使用环境相匹配的动态噪声阈值；
根据所述动态噪声阈值通过所述图像信息处理网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。
6.根据权利要求1所述的方法，其特征在于，所述通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行降噪处理，包括：
根据所述医疗图像的图像类型，确定与所述医疗信息处理模型的使用环境相匹配的动态噪声阈值；
根据所述动态噪声阈值通过所述图像信息处理网络对所述医疗图像进行降噪处理，以形成与所述动态噪声阈值相匹配的医疗图像。
7.根据权利要求1所述的方法，其特征在于，所述通过所述图像信息处理网络对所述医疗图像的降采样的归一化结果，进行深度分解处理，确定与所述医疗图像相匹配的第二特征向量，包括：
通过所述图像信息处理网络中的第二因子分解机层网络对所述医疗图像的降采样的归一化结果进行高维特征提取以及特征融合处理；
通过所述图像信息处理网络中的第二因子分解机层网络对所述特征融合处理的结果进行降维处理，并通过所述图像信息处理网络中的第二双层全连接层处理，实现通过相应的线性整流函数确定与所述医疗图像信息相匹配的第二特征向量。
8.一种医疗信息处理方法，其特征在于，所述方法包括：
显示用户界面，所述用户界面中包括以第一人称视角对目标对象的不同位置进行观察的视角画面；
当接收到对目标对象的医疗信息中的医疗图像进行识别的触发操作时，在所述用户界面上显示所述医疗信息中的病历信息和所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像识别区域进行锁定；
通过医疗信息处理模型中的图像信息处理网络对所述医疗图像进行降噪处理，其中，在进行所述降噪处理时，对所述医疗图像进行伪影识别，以确定所述医疗图像中是否存在伪影；当所述医疗图像包含有伪影、且所述医疗图像中的动态噪声值大于预设噪声阈值时，对确定与所述医疗图像相匹配的第二特征向量时的采样时间进行增加，以及，对确定与所述医疗图像相匹配的第二特征向量时的相位编码数进行增加；
基于经过降噪处理的医疗图像进行分类，以实现通过所述病历信息与所述经过降噪处理的医疗图像的融合，对所述医疗图像进行分类；
通过所述用户界面，呈现所述医疗图像的分类结果，其中，所述分类结果是根据权利要求1至7任一项所述的方法确定的。
9.一种医疗信息处理装置，其特征在于，所述装置包括：
第一信息传输模块，用于获取目标对象的医疗信息中的病历信息和所述医疗信息中的医疗图像，其中，所述病历信息包括所述目标对象的病理种类参数，所述医疗图像包括所述目标对象的同一位置的不同医疗图像的集合，所述不同医疗图像是所述同一位置的不同模态的图像；
第一信息处理模块，用于通过医疗信息处理模型中的文字信息处理网络，提取与所述病历信息的文本内容相匹配的特征向量；通过所述文字信息处理网络，根据所述特征向量确定与所述文本内容所对应的语句向量；通过所述文字信息处理网络，根据所述特征向量确定与所述文本内容所对应的至少一个词语级的隐变量；通过所述文字信息处理网络中的第一因子分解机层网络对所述语句向量进行高维特征提取以及特征融合处理；通过所述文字信息处理网络中的第一因子分解机层网络对所述特征融合处理的结果进行降维处理，并通过所述文字信息处理网络中的第一双层全连接层处理，实现通过相应的线性整流函数确定与所述病历信息相匹配的第一特征向量；
所述第一信息处理模块，用于通过所述医疗信息处理模型中的图像信息处理网络对所述医疗图像进行降噪处理，通过所述图像信息处理网络的卷积层和最大值池化层对经过降噪处理的医疗图像交叉进行处理，得到所述医疗图像的降采样结果；通过所述图像信息处理网络的全连接层，对所述医疗图像的降采样结果进行归一化处理；通过所述图像信息处理网络对所述医疗图像的降采样的归一化结果，进行深度分解处理，确定与所述医疗图像相匹配的第二特征向量；其中，在进行所述降噪处理时，对所述医疗图像进行伪影识别，以确定所述医疗图像中是否存在伪影；当所述医疗图像包含有伪影、且所述医疗图像中的动态噪声值大于预设噪声阈值时，对确定所述第二特征向量时的采样时间进行增加，以及，对确定所述第二特征向量时的相位编码数进行增加；
所述第一信息处理模块，用于通过所述医疗信息处理模型，根据所述第一特征向量和所述第二特征向量，确定相应的融合特征向量；
所述第一信息处理模块，用于基于所述融合特征向量，对所述医疗图像进行分类，以实现通过所述病历信息与所述医疗图像的融合，对所述医疗图像所表征的病灶进行辅助分析，其中，所述融合特征向量是根据权利要求1至7任一项所述的方法确定的。
10.一种医疗信息处理装置，其特征在于，所述装置包括：
第二信息传输模块，用于显示用户界面，所述用户界面中包括以第一人称视角对目标对象的不同位置进行观察的视角画面；
第二信息处理模块，用于当接收到对目标对象的医疗信息中的医疗图像进行识别的触发操作时，在所述用户界面上显示所述医疗信息中的病历信息和所述医疗信息中的医疗图像，通过控制组件对显示用户界面中医疗图像识别区域进行锁定；
所述第二信息处理模块，用于通过医疗信息处理模型中的图像信息处理网络对所述医疗图像进行降噪处理，其中，在进行所述降噪处理时，对所述医疗图像进行伪影识别，以确定所述医疗图像中是否存在伪影；当所述医疗图像包含有伪影、且所述医疗图像中的动态噪声值大于预设噪声阈值时，对确定与所述医疗图像相匹配的第二特征向量时的采样时间进行增加，以及，对确定与所述医疗图像相匹配的第二特征向量时的相位编码数进行增加；
所述第二信息处理模块，还用于基于经过降噪处理的医疗图像进行分类，以实现通过所述病历信息与所述经过降噪处理的医疗图像的融合，对所述医疗图像进行分类；
所述第二信息传输模块，用于通过所述用户界面，呈现所述医疗图像的分类结果，其中，所述分类结果是根据权利要求1至7任一项所述的方法确定的。
11.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至7任一项所述的医疗信息处理方法，或者，实现权利要求8所述的医疗信息处理方法。
12.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至7任一项所述的医疗信息处理方法，或者，实现权利要求8所述的医疗信息处理方法。
CN202010183038.2A 2020-03-16 2020-03-16 医疗信息处理方法、装置、电子设备及存储介质 Active CN111755118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010183038.2A CN111755118B (zh) 2020-03-16 2020-03-16 医疗信息处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010183038.2A CN111755118B (zh) 2020-03-16 2020-03-16 医疗信息处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111755118A CN111755118A (zh) 2020-10-09
CN111755118B true CN111755118B (zh) 2024-03-08

Family

ID=72673016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010183038.2A Active CN111755118B (zh) 2020-03-16 2020-03-16 医疗信息处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111755118B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233789A (zh) * 2020-10-12 2021-01-15 辽宁工程技术大学 一种区域特征融合的高血压视网膜病变分类方法
CN112329844A (zh) * 2020-11-03 2021-02-05 上海商汤智能科技有限公司 图像目标分类方法及相关装置、设备、存储介质
CN112818218B (zh) * 2021-01-21 2023-06-27 中国平安人寿保险股份有限公司 信息推荐方法、装置、终端设备及计算机可读存储介质
CN112863683B (zh) * 2021-02-19 2023-07-25 平安科技（深圳）有限公司 基于人工智能的病历质控方法、装置、计算机设备及存储介质
CN113724876A (zh) * 2021-09-10 2021-11-30 南昌大学第二附属医院 基于多模态融合和dfs-lle算法的脑卒中院内并发症预测模型
CN114240880A (zh) * 2021-12-16 2022-03-25 数坤(北京)网络科技股份有限公司 医学扫描数据处理方法、装置、医疗设备以及存储介质
CN116434933B (zh) * 2023-04-14 2023-10-24 湖南提奥医疗科技有限公司 基于智慧医疗的智能护理远程数据处理方法及系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908204A (zh) * 2010-05-25 2010-12-08 南方医科大学 一种用于消除磁共振图像Gibbs环形伪影的逆扩散方法
WO2016058410A1 (zh) * 2014-10-17 2016-04-21 中山大学 一种生物医学图像特征提取方法
CN106780475A (zh) * 2016-12-27 2017-05-31 北京市计算中心 一种基于病理组织切片图像组织区域的图像处理方法及装置
CN107944447A (zh) * 2017-12-15 2018-04-20 北京小米移动软件有限公司 图像分类方法及装置
WO2018120942A1 (zh) * 2016-12-31 2018-07-05 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
CN108256549A (zh) * 2017-12-13 2018-07-06 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
CN108399409A (zh) * 2018-01-19 2018-08-14 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
KR20180098869A (ko) * 2017-02-27 2018-09-05 재단법인 아산사회복지재단 의료영상 내 정보처리방법
CN108549850A (zh) * 2018-03-27 2018-09-18 联想(北京)有限公司 一种图像识别方法及电子设备
CN109978037A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质
CN110021439A (zh) * 2019-03-07 2019-07-16 平安科技（深圳）有限公司 基于机器学习的医疗数据分类方法、装置和计算机设备
CN110136809A (zh) * 2019-05-22 2019-08-16 腾讯科技（深圳）有限公司 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN110162779A (zh) * 2019-04-04 2019-08-23 北京百度网讯科技有限公司 病历质量的评估方法、装置及设备
CN110348515A (zh) * 2019-07-10 2019-10-18 腾讯科技（深圳）有限公司 图像分类方法、图像分类模型训练方法及装置
CN110597961A (zh) * 2019-09-18 2019-12-20 腾讯科技（深圳）有限公司 一种文本类目标注方法、装置、电子设备及存储介质
CN110598224A (zh) * 2019-09-23 2019-12-20 腾讯科技（深圳）有限公司 翻译模型的训练方法、文本处理方法、装置及存储介质
CN110795410A (zh) * 2019-10-08 2020-02-14 华南师范大学 一种多领域文本分类方法
JP2020035103A (ja) * 2018-08-28 2020-03-05 富士通株式会社 学習プログラム、画像分類プログラム、学習方法、画像分類方法、学習装置および画像分類装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623431B1 (ko) * 2015-08-06 2016-05-23 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
EP3185177A1 (en) * 2015-12-24 2017-06-28 Siemens Aktiengesellschaft Method and system for automatic detection of medical image acquisition protocol
US10706545B2 (en) * 2018-05-07 2020-07-07 Zebra Medical Vision Ltd. Systems and methods for analysis of anatomical images

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908204A (zh) * 2010-05-25 2010-12-08 南方医科大学 一种用于消除磁共振图像Gibbs环形伪影的逆扩散方法
WO2016058410A1 (zh) * 2014-10-17 2016-04-21 中山大学 一种生物医学图像特征提取方法
CN106780475A (zh) * 2016-12-27 2017-05-31 北京市计算中心 一种基于病理组织切片图像组织区域的图像处理方法及装置
WO2018120942A1 (zh) * 2016-12-31 2018-07-05 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
KR20180098869A (ko) * 2017-02-27 2018-09-05 재단법인 아산사회복지재단 의료영상 내 정보처리방법
CN108256549A (zh) * 2017-12-13 2018-07-06 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
CN107944447A (zh) * 2017-12-15 2018-04-20 北京小米移动软件有限公司 图像分类方法及装置
CN108399409A (zh) * 2018-01-19 2018-08-14 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
CN108549850A (zh) * 2018-03-27 2018-09-18 联想(北京)有限公司 一种图像识别方法及电子设备
JP2020035103A (ja) * 2018-08-28 2020-03-05 富士通株式会社 学習プログラム、画像分類プログラム、学習方法、画像分類方法、学習装置および画像分類装置
CN110021439A (zh) * 2019-03-07 2019-07-16 平安科技（深圳）有限公司 基于机器学习的医疗数据分类方法、装置和计算机设备
CN109978037A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质
CN110162779A (zh) * 2019-04-04 2019-08-23 北京百度网讯科技有限公司 病历质量的评估方法、装置及设备
CN110136809A (zh) * 2019-05-22 2019-08-16 腾讯科技（深圳）有限公司 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN110348515A (zh) * 2019-07-10 2019-10-18 腾讯科技（深圳）有限公司 图像分类方法、图像分类模型训练方法及装置
CN110597961A (zh) * 2019-09-18 2019-12-20 腾讯科技（深圳）有限公司 一种文本类目标注方法、装置、电子设备及存储介质
CN110598224A (zh) * 2019-09-23 2019-12-20 腾讯科技（深圳）有限公司 翻译模型的训练方法、文本处理方法、装置及存储介质
CN110795410A (zh) * 2019-10-08 2020-02-14 华南师范大学 一种多领域文本分类方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
上官晋太.多模态图像配准.天津科学技术出版社,2011,1-6. *
基于卷积神经网络和多信息融合的三维乳腺超声分类方法;孔小函;中国生物医学工程学报;第37卷(第4期);414-422 *
基于深度神经网络的临床医疗预测模型研究;吴庆洲;中国优秀硕士学位论文全文数据库 医药卫生科技辑;1-49 *
基于规则神经网络和因子分解机的儿童脓毒症辅助诊断关键技术研究;陈潇;中国优秀硕士学位论文全文数据库 医药卫生科技辑;1-73 *
孙星明.中文信息处理技术.国防科技大学出版社,2002,181-182. *
张雪林.磁共振成像MRI诊断学.人民军医出版社,2001,30-33. *
曹琳，刘宇.互联网处理技术与应用研究.延边大学出版社,2019,108-112. *
杨宪泽.自然语言处理的原理及其应用.西南交通大学出版社,2007,58-59. *
王鸣鹏.CT检查技术学.复旦大学出版社,2004,174-175. *

Also Published As

Publication number Publication date
CN111755118A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111755118B (zh) 医疗信息处理方法、装置、电子设备及存储介质
Toraman et al. Convolutional capsnet: A novel artificial neural network approach to detect COVID-19 disease from X-ray images using capsule networks
Krishnan et al. Self-supervised learning in medicine and healthcare
Piccialli et al. A survey on deep learning in medicine: Why, how and when?
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
RU2703679C2 (ru) Способ и система поддержки принятия врачебных решений с использованием математических моделей представления пациентов
US10733727B2 (en) Application of deep learning for medical imaging evaluation
CN111369562B (zh) 图像处理方法、装置、电子设备及存储介质
US20230342918A1 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
Borsting et al. Applied deep learning in plastic surgery: classifying rhinoplasty with a mobile app
WO2020057052A1 (en) Machine-aided dialog system and medical condition inquiry apparatus and method
RU2720363C2 (ru) Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта
CN113656706A (zh) 基于多模态深度学习模型的信息推送方法及装置
Tobon et al. Deep learning in multimedia healthcare applications: a review
Chen et al. Understanding the brain with attention: A survey of transformers in brain sciences
CN117237351A (zh) 一种超声图像分析方法以及相关装置
Tursynova et al. Deep learning-enabled brain stroke classification on computed tomography images
da Silva et al. A multiple stream architecture for the recognition of signs in Brazilian sign language in the context of health
WO2020099941A1 (en) Application of deep learning for medical imaging evaluation
Chedid et al. Synthesis of fracture radiographs with deep neural networks
Hiriyannaiah et al. Multi-modal Data-Driven Analytics for Health Care
Al-Hadhrami et al. A critical analysis of benchmarks, techniques, and models in medical visual question answering
Cheung Transfer learning based diagnosis of brain haemorrhage
CN114359194B (zh) 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030738

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant