CN112992317B - 一种医学数据处理方法、系统、设备及介质 - Google Patents
一种医学数据处理方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN112992317B CN112992317B CN202110503203.2A CN202110503203A CN112992317B CN 112992317 B CN112992317 B CN 112992317B CN 202110503203 A CN202110503203 A CN 202110503203A CN 112992317 B CN112992317 B CN 112992317B
- Authority
- CN
- China
- Prior art keywords
- data
- text
- feature vector
- medical
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种医学数据处理方法、系统、设备及介质,包括:获取医学数据,所述医学数据包括用户的影像数据与文本数据;分别提取所述文本数据与影像数据,对应得到文本特征向量与图像特征向量;构建医学概念的知识图谱,利用所述知识图谱的实体‑关系‑属性融合所述图像特征向量与文本特征向量得到融合特征向量;将所述融合特征向量输入多模态深度学习模型进行处理,得到处理的分类结果。本发明通过分别提取影像数据与文本数据的特征向量,将文本特征向量与图像特征向量进行融合,使得融合后的融合特征向量能够反映出更多的医学概念层级结构的信息,可以有效缓解数据不足和数据偏差所带来的影响,提高了处理的分类结果准确性。
Description
技术领域
本发明属于医学数据处理技术领域,特别是涉及一种医学数据处理方法、系统、设备及介质。
背景技术
随着大数据技术及“互联网+”的迅速发展,全球医学健康数据已有数百Exabyte,并在加速增长。从大规模研究队列的快速识别和建立,到人工智能辅助的临床决策支持系统,大数据正在改变着医学研究与实践。
目前,在医学领域的信息化建设中,搜索医学信息的相关方法主要还是通过建立各类业务的数据中心,直接获取数据中心的医学数据。而获取的医学数据比较片面,并且由于数据量较少,数据中知识点关联性也比较薄弱,因此,很难通过这种方法获取与搜索问题相关匹配度较高的结果,不利于后续医学数据的精准查询与匹配。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种医学数据处理方法、系统、设备及介质,用于解决现有技术医疗医学数据分类不够准确的问题。
为实现上述目的及其他相关目的,本发明的第一方面提供一种医学数据处理方法,包括:
获取医学数据,所述医学数据包括用户的影像数据与文本数据;
分别提取所述文本数据与影像数据,对应得到文本特征向量与图像特征向量;
构建医学概念的知识图谱,利用所述知识图谱的实体-关系-属性融合所述图像特征向量与文本特征向量得到融合特征向量;
将所述融合特征向量输入多模态深度学习模型进行处理,得到处理的分类结果。
于所述第一方面的一实施例中,还包括:
将所述文本数据进行预处理,利用第一特征提取模型提取预处理后所述文本数据的文本特征向量,所述第一特征提取模型结合双向长短期记忆网络-条件随机场BiLSTM-CRF和注意力机制训练得到;
将所述影像数据进行预处理,采用多尺度卷积核提取预处理后的所述影像数据,将提取的多尺度特征融合得到具有广度特性的图像特征向量,其中,所述图像特征向量与文本特征向量通过医学概念层级相关联。
于所述第一方面的一实施例中,所述第一特征提取模型具体为:
获取文本数据,预处理所述文本数据;根据预设的医学领域的命名实体类型,标注预处理后的所述文本数据得到训练集,构建一个基于BiLSTM-CRF和注意力机制的神经网络模型;利用所述训练集每个字符的字向量输入所述神经网络模型进行训练,得到第一特征提取模型;其中,在所述BiLSTM层,获取所述字向量的双向特征向量;在所述注意力机制层,将表示所述字向量顺序的位置向量和所述双向特征向量进行拼接,并利用分配权重系数得到文本特征向量。
于所述第一方面的一实施例中,还包括:采用多尺度思想训练广度卷积神经网络,利用广度卷积神经网络提取所述影像数据的多尺度特征,其对应的损失函数采用了结合中心损失函数和Softmax损失函数;其对应的表达式为:
Loss=SoftmaxLoss+λCentorLoss
式中,结合后对应的损失函数为Loss,Softmax损失函数为SoftmaxLoss ,中心损失函数为CentorLoss,λ表示系数大小;
所述广度卷积神经网络包括具有多尺度的卷积核,每个通道对应一种尺度的卷积层,第一连接层、第二连接层、第一最大池化层、第二最大池化层、第一全连接层、第二全连接层与输出层;其中,当卷积层为两层且输入通道为三个时,输入的影像数据从第一层卷积层依次通过第一连接层和第一最大池化层输出第一多尺度特征图;所述第一多尺度特征图通过相同结构通道的第二层卷积层第二连接层和第二最大池化层输出第二多尺度特征图;所述第二多尺度特征图依次第一全连接层、第二全连接层输出多尺度特征,利用Softmax分类器输出分类结果。
于所述第一方面的一实施例中,利用长短期记忆网络模型和随机场算法模型生成识别模型;利用所述识别模型识别医学数据中的实体数据和实体关系数据;根据所述识别模型识别到的所述实体数据和所述实体关系数据,构建医学概念的知识图谱。
于所述第一方面的一实施例中,还包括:通过导航处理影像数据与文本数据得到导航轨迹,结合所述导航轨迹与所述融合特征向量训练卷积神经网络得到数据识别模型,利用训练好的数据识别模型得到分类结果。
于所述第一方面的一实施例中,还包括:根据用户分类结果所对应相关疾病的患病概率确定所述相关疾病的风险程度,并根据所述相关疾病的风险程度对用户和/或家庭医生进行预警;
根据所述相关疾病的患病概率以及所述相关疾病关联的干预措施生成干预方案。
本发明的第二方面提供一种医学数据处理系统,包括:
健康档案获取模块,用于获取医学数据,所述医学数据包括用户的影像数据与文本数据;
特征提取模块,用于分别提取所述文本数据与影像数据,对应得到文本特征向量与图像特征向量;
特征融合模块,构建医学概念的知识图谱,利用所述知识图谱的实体-关系-属性融合所述图像特征向量与文本特征向量得到融合特征向量;
医学数据处理模块,用于将所述融合特征向量输入多模态深度学习模型进行处理,得到处理的分类结果。
本发明的第三方面提供一种电子设备,包括:
一个或多个处理装置;
存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现上述的医学数据处理方法。
本发明的第四方面提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序用于使所述计算机执行上述的医学数据处理方法。
如上所述,本发明所述的医学数据处理方法、系统、设备及介质的一个技术方案,具有以下有益效果:
本发明通过分别提取影像数据与文本数据的特征向量,将提取的文本特征向量与图像特征向量进行融合,使得融合后的融合特征向量能够反映出更多关联关系,可以有效缓解数据不足和数据偏差所带来的影响,提高了处理的分类结果准确性。
附图说明
图1显示为本发明提供的一种医学数据处理方法流程图;
图2显示为本发明提供的一种医学数据处理方法的另一流程图;
图3显示为本发明提供的一种广度卷积神经网络的结构图;
图4显示为本发明提供的一种医学数据处理方法的另一流程图;
图5显示为本发明提供的一种医学数据处理系统结构框图;
图6显示为本发明提供的一种电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1,为本发明提供的一种医学数据处理方法流程图,包括:
步骤S1,获取医学数据,所述医学数据包括用户的影像数据与文本数据;
具体地,所述文本数据包括用户的基本信息、健康状态、家族史、疾病史、生活方式、体检信息、保健方式、生活环境、心理状态、健康常识以及安全意识等方面。其中,所述基本信息包括用户的性别、年龄、职业、婚姻状况等个人基本信息。所述健康状态包括用户是否存在身体缺陷、是否存在先天疾病以及是否近视等信息。所述家族史包括用户的家族病史;所述疾病史包括用户的曾患疾病信息;所述生活方式包括用户的吸烟状况、饮酒状况、饮食习惯、运动习惯、睡眠习惯等生活信息。所述体检信息包括用户的体检信息,例如:心率、肝功能、血脂、尿常规、肾功能、肿瘤标志物等。所述保健方式包括疫苗接种情况、体检频率等信息。所述生活环境包括用户的饮用水情况、工作或生活中有害物质暴露情况等信息。所述心理状态包括用户的生活和工作压力情况。所述健康常识包括用户对疾病预防、健康管理等方面的常识信息的了解情况。所述安全意识包括用户在工作和生活中的安全意识,例如是否会疲劳驾驶、开车是否会系安全带、家中是否会安装烟雾感应器等。
其中,以根据至少一种预设窗对影像数据进行处理,得到预设窗对应的处理后的影像数据。可选的,预设窗可以为肺窗、纵膈窗、骨窗、软组织窗、脑组织窗等等,在本实施例中,上述预设窗可以为骨窗、颅窗、肺窗和默认窗,该默认窗可以为用户待阅片的目标组织对应的窗宽窗位。可选的,影像数据可以为预先从服务器获取的文件,也可以为实时从服务器获取到的文件,对此获取方式本实施例不做限定。可选的,对影像数据的处理方法可以为数据提取,还可以为去噪处理,当然还可以为归一化处理等等。
需要说明的是,除了能够存储医学数字成像和通信格式的文件外,还可以存储其它格式的影像数据,但是存储其它格式的影像数据时,需要将其转换为医学数字成像和通信格式的文件后再存储。可选的,上述影像数据可以为医学数字成像和通信格式的文件。在本实施例中,处理后的影像数据的数据量可以小于处理前影像数据的数据量。可选的,影像数据可以为医学数字成像和通信格式的文件、Philips磁共振扫描格式的文件、近原始栅格数据格式的文件、神经影像信息技术格式的文件等等;但是在本实施例中,上述影像数据可以为医学数字成像和通信格式的文件;影像数据可以包括医学数字成像和通信影像以及医学数字成像和通信影像对应的属性信息,该医学数字成像和通信影像可以为MR核磁共振影像、CT断层扫描影像、X光影像和正电子发射计算机断层显像等等。
步骤S2,分别提取所述文本数据与影像数据,对应得到文本特征向量与图像特征向量;
具体地,一种实施方式还包括:利用自然语言处理文本数据,例如,通过预处理,如,标记法、标准化、词性标注、句法分析、语义分析等方式得到目标词;再利用词袋模型、N元模型、词嵌入等方式表示文本,从而得到相应的文本特征向量。利用MSER(最大稳定值检测)是基于分水岭的概念,对图像进行二值化,阈值范围[0,255],然后,不断变化阈值,变化量可以自己设置,二值图像就会经历一个从全黑0到全白255的过程,就像水位不断上升时陆地和海平面的俯瞰图,在这个过程中,有些连通区域面积随着阈值的变化量很小或基本不变,利用MSER 检测出的关键特征点代替SIFT检测出关键特征点,可以大大减少SIFT 的数目,从而快速得到图像特征向量,大大减少了图像特征向量提取时所需的计算量。
步骤S3,构建医学概念的知识图谱,利用所述知识图谱的实体-关系-属性融合所述图像特征向量与文本特征向量得到融合特征向量;
具体地,特征融合是指将来源不同的特征整合到一起并去除冗余,以得到更有利于对医学图像进行预测分析的融合特征。特征融合的算法可以包括但不限于基于贝叶斯理论的特征融合算法(例如,分类器的乘法规则和加法规则、基于线性特征依赖模型的特征融合算法等)、基于稀疏表示理论的特征融合算法、基于深度学习理论的特征融合算法等。这里,基于稀疏表示理论的特征融合算法是对样本提取多特征后建立特征联合稀疏矩阵,该特征联合稀疏矩阵即为多特征融合的结果;基于深度学习理论的特征融合算法是将多个神经网络得到的特征进行融合以得到融合特征。
例如,根据文本数据与图像数据各自的特征向量,根据所述知识图谱的实体-关系-属性,其中,基于特征向量的实体关系抽取,可以如下:将实体及其上下文词法特征、动词特征、距离特征、实体扩展特征与语义角色特征;实体及其上下文词法特征包含实体中心词、实体前两个词、实体后两个词以及这些词的词干和词性作为特征,动词特征为句子中所有动词作为特征,距离特征是抽取实体关系的两个实体间的词距作为特征,实体扩展特征是指实体的同义词或上位词作为特征,语义角色特征是指用实体的语义角色作为特征。
利用SVM算法构造分类器提取特征向量的实体关系,例如,将文本提取的特征向量进行降维,重新组成新的特征向量,利用如下公式计算新的特征向量的实体关系,具体如下:
x2(Cj,t)=(AD- CB)2×(A+B+C+D)/((A+C)×(B+D)×(A+B)×(C+D))
假设特征与类别之间符合具有一阶自由度的x2分布,A表示属于Cj类并包含特征t的训练句子频率;B表示不属于Cj类但包含特征t的训练句子频率;C表示属于Cj类但不包含特征t的训练句子频率;D表示不属于Cj类也包含特征t的训练句子频率。特征对实体关系抽取如下:可以将x2(Cj,t)进行加权求和,和值越大代表该特征对实体关系抽取越精准。
进一步,根据抽取的文本特征向量与实体特征向量的各个实体的属性与关系,按照所述知识图谱的实体-关系-属性,对所述文本特征向量与实体特征向量进行融合,其中,融合方式例如,将前景叠加在背景上,其中,前景可以为图片或是文本;背景可以为图片或是文本。例如,可以将文本数据叠加在图像数据上,或是可以将文本数据叠加在文本数据上,还可以将图像数据叠加在图像数据上。
步骤S4,将所述融合特征向量输入多模态深度学习模型进行处理,得到处理的分类结果。
在本实施例中,通过分别提取影像数据与文本数据的特征向量,将提取的文本特征向量与图像特征向量进行融合,使得融合后的融合特征向量能够反映出更多的医学概念层级结构的信息,可以有效缓解数据不足和数据偏差所带来的影响,提高了处理的分类结果准确性。
在另一个实施例中,请参阅图2,为本发明提供的一种医学数据处理方法的另一流程图,包括:
将所述文本数据进行预处理,利用第一特征提取模型提取预处理后所述文本数据的文本特征向量,所述第一特征提取模型结合双向长短期记忆网络-条件随机场BiLSTM-CRF和注意力机制训练得到;
将所述影像数据进行预处理,采用多尺度卷积核提取预处理后的所述影像数据,将提取的多尺度特征融合得到具有广度特性的图像特征向量,其中,所述图像特征向量与文本特征向量通过医学概念层级相关联。
所述第一特征提取模型具体为:获取医学领域的文本数据,预处理所述文本数据;根据预设的医学领域的命名实体类型,标注预处理后的所述文本数据得到训练集,构建一个基于BiLSTM-CRF和注意力机制的神经网络模型;利用所述训练集每个字符的字向量输入所述神经网络模型进行训练,得到第一特征提取模型;其中,在所述BiLSTM层,获取所述字向量的双向特征向量;在所述注意力机制层,将表示所述字向量顺序的位置向量和所述双向特征向量进行拼接,并利用分配权重系数得到文本特征向量。
在本实施例中,不仅能够提取到文本特征向量,还能够提取到图像特征向量,通过分析文本特征向量与图像特征向量,根据分析结果确定所述图像特征向量与文本特征向量医学概念层级关系,参照识图谱的实体-关系-属性并进行融合,使得融合后续文本特征向量与图像特征向量能够表达更多的信息,便于后续训练的多模态深度学习模型进行分析。
在另一些实施例中,请参阅图3,为本发明提供的一种广度卷积神经网络的结构图,包括:
采用如下方式训练广度卷积神经网络,并通过广度卷积神经网络得到影像数据的广度特征,具体如下:
采用多尺度思想训练广度卷积神经网络,利用广度卷积神经网络提取所述影像数据的多尺度特征,其对应的损失函数采用了结合中心损失函数和Softmax损失函数;其对应的表达式为:
Loss=SoftmaxLoss+λCentorLoss
式中,结合后对应的损失函数为Loss,Softmax损失函数为SoftmaxLoss ,中心损失函数为CentorLoss,λ表示系数大小;
具体地,在训练广度卷积神经网络时,使用了结合中心损失函数和Softmax损失函数一起来训练网络,引入中心损失函数可以使得每类结果的类内距离减少,从而提高了分类的准确率。
在上述神经网络的所述全连接层之后添加有使用Leaky ReLU激活函数的激活层;所述激活层之后添加有Dropout层,所述Dropout层用于随机让部分神经元失活;所述失活神经元的比例为0.5,其中,输入图像的像素填充格式为SAME。
在本实施例中,广度卷积神经网络具有多种尺度卷积核,融合各个尺长度特征后进行分类,解决了重要特征大小不一致的问题,使得提取的广度特征更有效,提高了分类准确率;同时,提取不同粒度的文本特征进行融合,得到基于多粒度进行融合得到文本融合特征,提高了特征提取的完整性,利用自适应卷积神经网络训练数据识别模型,提高了特征分类的准确率。
所述广度卷积神经网络包括具有多尺度的卷积核,每个通道对应一种尺度的卷积层,第一连接层、第二连接层、第一最大池化层、第二最大池化层、第一全连接层、第二全连接层与输出层;其中,当卷积层为两层且输入通道为三个时,输入的影像数据从第一层卷积层依次通过第一连接层和第一最大池化层输出第一多尺度特征图;所述第一多尺度特征图通过相同结构通道的第二层卷积层第二连接层和第二最大池化层输出第二多尺度特征图;所述第二多尺度特征图依次第一全连接层、第二全连接层输出多尺度特征,利用Softmax分类器输出分类结果。
在本实施例中,可按照上述多尺度卷积神经网络的结构设置多通道多尺度的卷积核,其中,每个通道对应一种尺度的卷积核,例如,三种尺度的卷积层必有三个通道,例如,采用三个卷积核的大小分别为1×1、3×3和5×5,如果卷积层的层数为两层(每层卷积层的结构相同)例如,在本申请中卷积层的层数、卷积核的尺度、以及卷积核的种类可根据需求进行扩展,对应的隐藏层随之增加,例如,四种尺度的卷积核1×1、3×3、5×5和7×7;五种尺度的卷积核1×1、3×3、5×5、7×7和9×9;在此不做限定。
在本实施例中,对多尺度卷积核提取的多尺度特征图进行特征融合得到影像数据的广度特征,不仅有利于提高对中小目标的检测精度,而且在兼顾检测精度的同时,降低了模型的复杂度,保证了检测的实时性。
在另一些实施例中,请参阅图4,为本发明提供的一种医学数据处理方法的另一流程图,包括:
步骤S401,利用长短期记忆网络模型和随机场算法模型生成识别模型;
步骤S402,利用所述识别模型识别医学数据中的实体数据和实体关系数据;
步骤S403,根据所述识别模型识别到的所述实体数据和所述实体关系数据,构建医学概念的知识图谱。
长期短期记忆(LSTM)模型可以理解为一种特殊的递归神经网络(RNN)模型,它可以使用模型内的存储器来处理任意时序的输入序列,从而识别未分段的单词,语音等。 尽管LSTM模型相对于RNN模型是相对的,因为LSTM模型将确定信息是否有用的处理过程整合到算法中,而将医学数据输入LSTM模型中可以判断医学数据中的各个信息是否有用遵守规则。
随机场算法(Conditional Random Field algorithm,CRF)模型是一种无向图模型,其联合概率可以写成若干势函数联乘的形式,其中最常用的是线性链条件随机场。CRF模型的学习过程就是描述一些句子中的特征配置,例如,当前词语是“xx”,上个词“xx”,满足这种配置的,特征函数输出就是1,不然是0。一个句子中每个词都有同样多的特征函数判断,预测的过程就是利用每种特征配置给词性标记打分,然后打分结果加权求和,打分最高的词性标记,就是预测结果。
随机场算法(CRF)模型是一种无向图模型,其联合概率可以几种势函数的组合乘积形式编写,其中最常用的是线性链条件随机场CRF模型的学习过程用于描述某些句子中的功能配置,例如,当前单词为“ XX”,上一个单词“ XX”满足此配置,特征函数输出为1,而不是0。 为句子中的每个单词进行判断,预测的过程是使用配置为对词源标记评分的每个特征,然后对结果加权总和进行评分,而得分最高的词源标记则是对结果进行预测。
具体地,通过长短期记忆网络模型和随机场算法模型生成识别模型,也可以理解为,识别医学数据中的实体数据和实体关系数据的识别模型,是由LSTM模型和CRF模型构成的。通过LSTM模型和CRF模型确定多个医学数据中的单个词频和多词频共现频率,从而识别医学数据中的实体数据和实体关系数据,使得识别模型用于可以用于识别医学数据中的实体数据和实体关系数据。
这里,实体数据可以理解为指某个领域范畴内的名词或单元的统称,例如疾病领域中的感冒、高血压、糖尿病等,或是症状领域中的发烧、头痛等。实体关系数据可以理解为量化后的两个实体之间的关系。两个实体间的关系可以如:疾病与症状的包含关系(具体例如疾病-包含-症状中的感冒-包含-流鼻涕/头痛的关系),实体关系数据可以如疾病与症状的几率量化关系(具体例如症状-引起疾病权重关系-疾病中的流鼻涕-0.3332433几率-感冒的量化关系)。
为使用LSTM模型和CRF模型中的算法从医学数据中提取实体数据和实体关系数据,对监督的训练结果进行抽签以更新识别模型,并反复进行绘制和绘制过程。 训练。在反复的抽象和训练过程中,模型的识别可以挖掘新的语料库,即可以被抽象的新实体数据以及受训者的关系数据。将多个医学数据输入到识别模型中,训练识别模型,基于识别模型识别的实体数据和实体关系数据,构建医学知识图谱,以实现推理的应用服务及对应用层的对应应用,从而提供的数据为 更全面,数据中的知识点更相关,更具有针对性。
在另一些实施例中,将文本特征与图像特征进行合并,还可以包括:将合并后的特征馈入多层感知机,通过反向传播对合并后的特征进行优化,以得到融合特征。
具体地,计算机设备对文本特征和图像特征进行特征合并,并将合并后的特征输入多层感知机;进一步地,计算机设备利用反向传播算法对合并后的特征进行优化,得到融合特征。
这里,特征合并是指将来源不同的特征叠加到一起,以得到更有利于对医学图像进行预测分析的合并后的特征。特征合并的方式可以包括add方式和concat方式。对于ResNet/FPN等网络结构逐元素做值的叠加而通道数是不变的,可以采用的add方式来融合特征;而对于DenseNet等网络结构则做通道的合并,可以采用concat方式来融合特征;也就是说,concat方式是将特征联合、多个卷积特征提取框架提取的特征融合,或者是将输出层的信息进行融合;而add方式是信息之间的叠加。进一步地,add方式在维度不变的情况下使描述图像的特征每一维下的信息量增多,这显然对最终的图像的分类是有益的;而concat方式是通道数的合并,也就是描述图像的特征维度增加,而每一维度特征下的信息量不变。
在另一些实施例中,通过导航处理影像数据与文本数据得到导航轨迹,结合所述导航轨迹与所述融合特征向量训练卷积神经网络得到多模态深度学习模型,利用训练好的多模态深度学习模型得到分类结果。
通过对接收到的影像数据基于分析要求进行导航处理得到导航轨迹,并基于沿着导航轨迹提取的图像块集合利用广度卷积神经网络提取图像特征,以及将从病历中筛选出分析要求的相关文本提取文本特征与所提取的图像特征进行融合得到融合特征,并基于融合特征利用卷积神经网络来确定分析结果,能够减少冗余信息的干扰,从而能够快速、准确地获取与分析要求有关的医学图像,并对所获取的医学图像进行更精准、更有针对性的分析,因此,保证了信息的有效性,降低了医学图像处理的复杂度,提高了医学图像分析的效率和准确性,并降低了人工成本。
在另一些实施例中,在上述实施例基础上,还包括:
根据用户分类结果所对应相关疾病的患病概率确定所述相关疾病的风险程度,并根据所述相关疾病的风险程度对用户和/或家庭医生进行预警;
具体地,通过提前感知风险,实现“早发现早治疗”的方案,大大提升了疾病治疗的康复率。
根据所述相关疾病的患病概率以及所述相关疾病关联的干预措施生成干预方案。
具体地,通过分析用户对应的健康档案,能够根据用户的医学数据获取相关疾病,并根据用户分类计算所述相关疾病的患病概率。在此基础上,所述健康干预系统根据所述相关疾病的患病概率及其关联的干预措施生成所述干预方案。因此,该方案充分考虑了用户患有或者将来可能患有相关疾病的概率,在此基础上生成的干预方案针对性较强。
请参阅图5,为本发明提供的一种医学数据处理系统结构框图,详述如下:
健康档案获取模块12,用于获取医学数据,所述医学数据包括用户的影像数据与文本数据;
特征提取模块13,用于分别提取所述文本数据与影像数据,对应得到文本特征向量与图像特征向量;
特征融合模块14,构建医学概念的知识图谱,利用所述知识图谱的实体-关系-属性融合所述图像特征向量与文本特征向量得到融合特征向量;
医学数据处理模块15,用于将所述融合特征向量输入多模态深度学习模型进行处理,得到处理的分类结果。
其中,需要说明的是,上述特征提取模块、特征融合模块与医学数据处理模块均是以计算机程序方式嵌入到存储模块11。
还需要说明的是,医学数据处理方法与医学数据处理系统为一一对应的关系,在此,医学数据处理系统所涉及的技术细节与技术效果和上述识别方法相同,在此不一一赘述,请参照上述医学数据处理方法。
下面参考图6,其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:执行上述步骤S1到步骤S4的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本发明通过分别提取影像数据与文本数据的特征向量,将提取的文本特征向量与图像特征向量进行融合,使得融合后的融合特征向量能够反映出更多的医学概念层级结构的信息,可以有效缓解数据不足和数据偏差所带来的影响,提高了处理的分类结果准确性。
综上所述,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种医学数据处理方法,其特征在于,包括:
获取医学数据,所述医学数据包括用户的影像数据与文本数据;
分别提取所述文本数据与影像数据,对应得到文本特征向量与图像特征向量;其中,将所述文本数据进行预处理,利用第一特征提取模型提取预处理后所述文本数据的文本特征向量,所述第一特征提取模型利用训练集每个字符的字向量输入结合双向长短期记忆网络-条件随机场BiLSTM-CRF和注意力机制训练得到;在BiLSTM层,获取所述字向量的双向特征向量;在注意力机制层,将表示所述字向量顺序的位置向量和所述双向特征向量进行拼接,并利用分配权重系数得到文本特征向量;
将所述影像数据进行预处理,采用多尺度卷积核提取预处理后的所述影像数据,将提取的多尺度特征融合得到具有广度特性的图像特征向量,所述图像特征向量与文本特征向量通过医学概念层级相关联;其中,采用多尺度思想训练广度卷积神经网络,利用广度卷积神经网络提取所述影像数据的多尺度特征,其对应的损失函数采用了结合中心损失函数和Softmax损失函数;其对应的表达式为:
Loss=SoftmaxLoss+λCentorLoss
式中,结合后对应的损失函数为Loss,Softmax损失函数为SoftmaxLoss,中心损失函数为CentorLoss,λ表示系数大小;
构建医学概念的知识图谱,根据抽取的文本特征向量与实体特征向量的各个实体的属性与关系,按照所述知识图谱的实体-关系-属性,对所述文本特征向量与实体特征向量进行融合,将融合后的特征输入多层感知机,通过反向传播对融合后的特征进行优化,得到融合特征向量;
将所述融合特征向量输入多模态深度学习模型进行处理,得到处理的分类结果。
2.根据权利要求1所述的医学数据处理方法,其特征在于,还包括:
所述广度卷积神经网络包括具有多尺度的卷积核,每个通道对应一种尺度的卷积层,第一连接层、第二连接层、第一最大池化层、第二最大池化层、第一全连接层、第二全连接层与输出层;其中,当卷积层为两层且输入通道为三个时,输入的影像数据从第一层卷积层依次通过第一连接层和第一最大池化层输出第一多尺度特征图;所述第一多尺度特征图通过相同结构通道的第二层卷积层第二连接层和第二最大池化层输出第二多尺度特征图;所述第二多尺度特征图依次第一全连接层、第二全连接层输出多尺度特征,利用Softmax分类器输出分类结果。
3.根据权利要求1所述的医学数据处理方法,其特征在于,还包括:利用长短期记忆网络模型和随机场算法模型生成识别模型;利用所述识别模型识别医学数据中的实体数据和实体关系数据;根据所述识别模型识别到的所述实体数据和所述实体关系数据,构建医学概念的知识图谱。
4.根据权利要求1所述的医学数据处理方法,其特征在于,还包括:通过导航处理影像数据与文本数据得到导航轨迹,结合所述导航轨迹与所述融合特征向量训练卷积神经网络得到多模态深度学习模型,利用训练好的多模态深度学习模型得到分类结果。
5.根据权利要求1所述的医学数据处理方法,其特征在于,还包括:
根据用户分类结果所对应相关疾病的患病概率确定所述相关疾病的风险程度,并根据所述相关疾病的风险程度对用户和/或家庭医生进行预警;
根据所述相关疾病的患病概率以及所述相关疾病关联的干预措施生成干预方案。
6.一种医学数据处理系统,其特征在于,包括:
健康档案获取模块,用于获取医学数据,所述医学数据包括用户的影像数据与文本数据;
特征提取模块,用于分别提取所述文本数据与影像数据,对应得到文本特征向量与图像特征向量;其中,将所述文本数据进行预处理,利用第一特征提取模型提取预处理后所述文本数据的文本特征向量,所述第一特征提取模型利用训练集每个字符的字向量输入结合双向长短期记忆网络-条件随机场BiLSTM-CRF和注意力机制训练得到;在BiLSTM层,获取所述字向量的双向特征向量;在注意力机制层,将表示所述字向量顺序的位置向量和所述双向特征向量进行拼接,并利用分配权重系数得到文本特征向量;
将所述影像数据进行预处理,采用多尺度卷积核提取预处理后的所述影像数据,将提取的多尺度特征融合得到具有广度特性的图像特征向量,所述图像特征向量与文本特征向量通过医学概念层级相关联;其中,采用多尺度思想训练广度卷积神经网络,利用广度卷积神经网络提取所述影像数据的多尺度特征,其对应的损失函数采用了结合中心损失函数和Softmax损失函数;其对应的表达式为:
Loss=SoftmaxLoss+λCentorLoss
式中,结合后对应的损失函数为Loss,Softmax损失函数为SoftmaxLoss,中心损失函数为CentorLoss,λ表示系数大小;
特征融合模块,用于构建医学概念的知识图谱,根据抽取的文本特征向量与实体特征向量的各个实体的属性与关系,按照所述知识图谱的实体-关系-属性,对所述文本特征向量与实体特征向量进行融合,将融合后的特征输入多层感知机,通过反向传播对融合后的特征进行优化,得到融合特征向量;
医学数据处理模块,用于将所述融合特征向量输入多模态深度学习模型进行处理,得到处理的分类结果。
7.一种电子设备,其特征在于,包括:
一个或多个处理装置;
存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如权利要求 1至5中任一所述的医学数据处理方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序用于使所述计算机执行权利要求1至5中任一所述的医学数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110503203.2A CN112992317B (zh) | 2021-05-10 | 2021-05-10 | 一种医学数据处理方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110503203.2A CN112992317B (zh) | 2021-05-10 | 2021-05-10 | 一种医学数据处理方法、系统、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112992317A CN112992317A (zh) | 2021-06-18 |
CN112992317B true CN112992317B (zh) | 2021-11-02 |
Family
ID=76337330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110503203.2A Active CN112992317B (zh) | 2021-05-10 | 2021-05-10 | 一种医学数据处理方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112992317B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113254649B (zh) * | 2021-06-22 | 2023-07-18 | 中国平安人寿保险股份有限公司 | 敏感内容识别模型的训练方法、文本识别方法及相关装置 |
CN113191911A (zh) * | 2021-07-01 | 2021-07-30 | 明品云(北京)数据科技有限公司 | 基于用户信息的保险推荐方法、系统、设备及介质 |
CN113643785B (zh) * | 2021-07-22 | 2023-09-01 | 海南大学 | 基于dikw图谱的疫苗接种浓度确认方法 |
US20230048764A1 (en) * | 2021-08-12 | 2023-02-16 | Accenture Global Solutions Limited | Neurosymbolic data imputation using autoencoder and embeddings |
CN113744845A (zh) * | 2021-09-17 | 2021-12-03 | 平安好医投资管理有限公司 | 基于人工智能的医学影像处理方法、装置、设备及介质 |
CN114067935B (zh) * | 2021-11-03 | 2022-05-20 | 广西壮族自治区通信产业服务有限公司技术服务分公司 | 一种流行病调查方法、系统、电子设备及存储介质 |
CN114188021B (zh) * | 2021-12-13 | 2022-06-10 | 浙江大学 | 一种基于多模态融合的儿童肠套叠诊断智能分析系统 |
CN114626455A (zh) * | 2022-03-11 | 2022-06-14 | 北京百度网讯科技有限公司 | 金融信息处理方法、装置、设备、存储介质及产品 |
CN115240844B (zh) * | 2022-07-15 | 2023-04-18 | 北京医准智能科技有限公司 | 辅助诊断模型的训练方法、装置、电子设备及存储介质 |
CN115861303B (zh) * | 2023-02-16 | 2023-04-28 | 四川大学 | 基于肺部ct图像的egfr基因突变检测方法和系统 |
CN116759079B (zh) * | 2023-08-23 | 2023-11-03 | 首都医科大学附属北京朝阳医院 | 基于多特征融合的出血转化判定方法、装置、介质及终端 |
CN117012373B (zh) * | 2023-10-07 | 2024-02-23 | 广州市妇女儿童医疗中心 | 一种葡萄胎辅助检查模型的训练方法、应用方法及系统 |
CN117423462B (zh) * | 2023-12-01 | 2024-04-16 | 山东石油化工学院 | 一种基于人工智能的学生心理健康预测方法 |
CN117407541B (zh) * | 2023-12-15 | 2024-03-29 | 中国科学技术大学 | 一种基于知识增强的知识图谱问答方法 |
CN117423423B (zh) * | 2023-12-18 | 2024-02-13 | 四川互慧软件有限公司 | 一种基于卷积神经网络的健康档案整合方法、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108614885A (zh) * | 2018-05-03 | 2018-10-02 | 杭州认识科技有限公司 | 基于医学信息的知识图谱分析方法及装置 |
CN110222201A (zh) * | 2019-06-26 | 2019-09-10 | 中国医学科学院医学信息研究所 | 一种专病知识图谱构建方法及装置 |
CN110911009A (zh) * | 2019-11-14 | 2020-03-24 | 南京医科大学 | 一种临床诊断辅助决策系统和医学知识图谱积累方法 |
CN111292821A (zh) * | 2020-01-21 | 2020-06-16 | 上海联影智能医疗科技有限公司 | 一种医学诊疗系统 |
CN111949801A (zh) * | 2020-07-27 | 2020-11-17 | 西北工业大学 | 医生经验知识与超声影像信息的知识图谱融合方法 |
CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 多模态知识图谱构建方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8799286B2 (en) * | 2008-10-23 | 2014-08-05 | International Business Machines Corporation | System and method for organizing and displaying of longitudinal multimodal medical records |
CN108389614B (zh) * | 2018-03-02 | 2021-01-19 | 西安交通大学 | 基于图像分割与卷积神经网络构建医学影像图谱的方法 |
CN110008959A (zh) * | 2019-03-26 | 2019-07-12 | 北京博瑞彤芸文化传播股份有限公司 | 一种医学数据处理方法及系统 |
CN112364174A (zh) * | 2020-10-21 | 2021-02-12 | 山东大学 | 基于知识图谱的病人病历相似度评估方法及系统 |
-
2021
- 2021-05-10 CN CN202110503203.2A patent/CN112992317B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108614885A (zh) * | 2018-05-03 | 2018-10-02 | 杭州认识科技有限公司 | 基于医学信息的知识图谱分析方法及装置 |
CN110222201A (zh) * | 2019-06-26 | 2019-09-10 | 中国医学科学院医学信息研究所 | 一种专病知识图谱构建方法及装置 |
CN110911009A (zh) * | 2019-11-14 | 2020-03-24 | 南京医科大学 | 一种临床诊断辅助决策系统和医学知识图谱积累方法 |
CN111292821A (zh) * | 2020-01-21 | 2020-06-16 | 上海联影智能医疗科技有限公司 | 一种医学诊疗系统 |
CN111949801A (zh) * | 2020-07-27 | 2020-11-17 | 西北工业大学 | 医生经验知识与超声影像信息的知识图谱融合方法 |
CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 多模态知识图谱构建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112992317A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112992317B (zh) | 一种医学数据处理方法、系统、设备及介质 | |
CN111316281B (zh) | 基于机器学习的自然语言情境中数值数据的语义分类方法以及系统 | |
RU2703679C2 (ru) | Способ и система поддержки принятия врачебных решений с использованием математических моделей представления пациентов | |
JP7100087B2 (ja) | 情報を出力する方法および装置 | |
CN110866124B (zh) | 基于多数据源的医学知识图谱融合方法及装置 | |
CN112668671A (zh) | 预训练模型的获取方法和装置 | |
CN104516942A (zh) | 概念驱动的自动分节标识 | |
US11468989B2 (en) | Machine-aided dialog system and medical condition inquiry apparatus and method | |
CN111858940B (zh) | 一种基于多头注意力的法律案例相似度计算方法及系统 | |
Egger et al. | Deep learning—a first meta-survey of selected reviews across scientific disciplines, their commonalities, challenges and research impact | |
WO2023029506A1 (zh) | 病情分析方法、装置、电子设备及存储介质 | |
WO2023165012A1 (zh) | 问诊方法和装置、电子设备及存储介质 | |
CN111666477A (zh) | 一种数据处理方法、装置、智能设备及介质 | |
US20200211709A1 (en) | Method and system to provide medical advice to a user in real time based on medical triage conversation | |
CN111881292B (zh) | 一种文本分类方法及装置 | |
US11250212B2 (en) | System and method for interpreting contextual meaning of data | |
Yu et al. | A comprehensive review of conditional random fields: variants, hybrids and applications | |
CN115858886B (zh) | 数据处理方法、装置、设备及可读存储介质 | |
CN111444715A (zh) | 实体关系识别方法、装置、计算机设备和存储介质 | |
CN112614559A (zh) | 病历文本处理方法、装置、计算机设备和存储介质 | |
RU2720363C2 (ru) | Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта | |
CN113657105A (zh) | 基于词汇增强的医学实体抽取方法、装置、设备及介质 | |
CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN115757692A (zh) | 一种数据处理方法及其装置 | |
Jing et al. | Knowledge-enhanced attentive learning for answer selection in community question answering systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220707 Address after: 201615 room 1904, G60 Kechuang building, No. 650, Xinzhuan Road, Songjiang District, Shanghai Patentee after: Shanghai Mingping Medical Data Technology Co.,Ltd. Address before: 102400 no.86-n3557, Wanxing Road, Changyang, Fangshan District, Beijing Patentee before: Mingpinyun (Beijing) data Technology Co.,Ltd. |
|
TR01 | Transfer of patent right |