CN111370084A - 基于BiLSTM的电子健康记录表示学习方法及系统 - Google Patents
基于BiLSTM的电子健康记录表示学习方法及系统 Download PDFInfo
- Publication number
- CN111370084A CN111370084A CN202010082494.8A CN202010082494A CN111370084A CN 111370084 A CN111370084 A CN 111370084A CN 202010082494 A CN202010082494 A CN 202010082494A CN 111370084 A CN111370084 A CN 111370084A
- Authority
- CN
- China
- Prior art keywords
- patient
- bilstm
- model
- vector
- diagnosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000036541 health Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 123
- 238000003745 diagnosis Methods 0.000 claims abstract description 105
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000013136 deep learning model Methods 0.000 claims abstract description 53
- 201000010099 disease Diseases 0.000 claims abstract description 48
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 48
- 230000007246 mechanism Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 206010012601 diabetes mellitus Diseases 0.000 description 9
- 238000011160 research Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 208000007530 Essential hypertension Diseases 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000032928 Dyslipidaemia Diseases 0.000 description 1
- 208000031226 Hyperlipidaemia Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000017170 Lipid metabolism disease Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 208000020832 chronic kidney disease Diseases 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 208000015210 hypertensive heart disease Diseases 0.000 description 1
- 208000017169 kidney disease Diseases 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本公开公开了基于BiLSTM的电子健康记录表示学习方法及系统，包括：构建基于BiLSTM的深度学习模型；构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；利用训练集对基于BiLSTM的深度学习模型进行训练，将某疾病患者的若干次历史就诊的诊断结果作为模型的输入值，将患者当前就诊的诊断结果作为模型的输出值；得到训练好的基于BiLSTM的深度学习模型；获取同样患A疾病的待表示学习患者的电子健康记录，将待表示学习患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待表示学习患者的最终表示学习向量。
Description
技术领域
本公开涉及电子健康记录(Electronic health records，EHR)的数据表示学习方法的研究技术领域，尤其涉及基于BiLSTM的电子健康记录表示学习方法及系统。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
EHR系统中存储的是与患者住院有关的大量医疗数据，包括诊断、检查结果、药物、放射影像和临床记录等。近年来，EHR的爆炸性增长为数据挖掘技术、机器学习技术和其他数据科学研究等的发展提供了许多的机会，同时也吸引了许多研究者的关注和参与。另外，EHR系统所带来的大量的有价值的医疗研究数据对探究患者病情、预测患者未来发病率等发挥着重要的作用。目前，利用现有的医疗大数据为患者提供最佳和最个性化的医疗服务正在成为医疗行业变革成功的主要趋势之一。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
EHR数据具有高维性、时序性、稀疏性和复杂性等特性，这为EHR数据的研究带来了许多挑战，进一步来说将EHR用于精准的、个性化的医学研究是一项具有挑战性且复杂性的工作。因此，在进行分类、回归等任务或应用之前，从EHR数据中提取出有效的医疗特征是至关重要的一步。表示学习技术的出现便为EHR数据的处理提供了很好的机会。表示学习旨在通过机器学习方法将研究对象的语义信息表示为稠密的低维实值向量，它在医学领域的作用是将医疗事件或患者特征转化为更高级的抽象表示，从而为医学领域的研究任务提供更有效且更具有鲁棒性的医疗特征。尽管表示学习技术在某些领域(例如文本数据的处理)已经取得了很大的成就，但该技术尚未广泛地应用于医疗领域。
发明内容
本公开的目的就是为了解决上述问题，提供基于BiLSTM的电子健康记录表示学习方法及系统，不仅考虑了就诊内发生的各医疗诊断代码之间的潜在关联信息以及它们的权值比重，同时利用了患者就诊序列的时序性和差异性，综合地学习了医疗特征的向量表示。
为了实现上述目的，本公开采用如下技术方案：
第一方面，本公开提供了基于BiLSTM的电子健康记录表示学习方法；
基于BiLSTM的电子健康记录表示学习方法，包括：
构建基于BiLSTM的深度学习模型；
构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；
利用训练集对基于BiLSTM的深度学习模型进行训练，将某疾病患者的若干次历史就诊的诊断结果作为模型的输入值，将患者当前就诊的诊断结果作为模型的输出值；得到训练好的基于BiLSTM的深度学习模型；
获取同样患A疾病的待表示学习患者的电子健康记录，将待表示学习患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待表示学习患者的最终表示学习向量。
第二方面，本公开提供了基于BiLSTM的电子健康记录表示学习系统；
基于BiLSTM的电子健康记录表示学习系统，包括：
模型构建模块，其被配置为：构建基于BiLSTM的深度学习模型；
训练集构建模块，其被配置为：构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；
模型训练模块，其被配置为：利用训练集对基于BiLSTM的深度学习模型进行训练，将某疾病患者的若干次历史就诊的诊断结果作为模型的输入值，将患者当前就诊的诊断结果作为模型的输出值；得到训练好的基于BiLSTM的深度学习模型；
学习表示向量输出模块，其被配置为：获取同样患A疾病的待表示学习患者的电子健康记录，将待表示学习患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待表示学习患者的最终表示学习向量。
第三方面，本公开提供了基于BiLSTM的疾病预测系统；
基于BiLSTM的疾病预测系统，包括：
模型构建模块，其被配置为：构建基于BiLSTM的深度学习模型；
训练集构建模块，其被配置为：构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；
模型训练模块，其被配置为：利用训练集对基于BiLSTM的深度学习模型进行训练，将某疾病患者的若干次历史就诊的诊断结果作为模型的输入值，将患者当前就诊的诊断结果作为模型的输出值；得到训练好的基于BiLSTM的深度学习模型；
输出模块，其被配置为：获取同样患A疾病的待预测患者的电子健康记录，将待预测患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待预测患者的疾病预测结果。
第四方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第五方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
本公开的有益效果：
通过我们的训练好的基于BiLSTM的深度学习模型，学习得到的数据表示的性能要优于原始数据的性能。面向患者电子健康记录的表示学习方法需要综合地考虑患者的就诊治疗过程，探索隐含的重要关联信息，从而学习更加有效且更具有鲁棒性的医疗特征。所学习的数据表示能够从数据中捕获到隐含的数据规则和模式，这对于科学研究的发展是非常有帮助的。
附图说明
图1为本公开实施例一的基于BiLSTM和注意力机制的表示学习方法框架图；
图2为本公开实施例一的数据结构图；
图3为本公开实施例一的多头注意力机制结构图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
中英文介绍：
双向长短期记忆神经网络(Bidirectional Long Short-Term Memory，BiLSTM)；
电子健康记录(Electronic health records，EHR)；
实施例一，本实施例提供了基于BiLSTM的电子健康记录表示学习方法；
如图1所示，基于BiLSTM的电子健康记录表示学习方法，包括：
S1：构建基于BiLSTM的深度学习模型；
S2：构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；
S3：利用训练集对基于BiLSTM的深度学习模型进行训练，将某疾病患者的若干次历史就诊的诊断结果作为模型的输入值，将患者当前就诊的诊断结果作为模型的输出值；得到训练好的基于BiLSTM的深度学习模型；
S4：获取同样患A疾病的待表示学习患者的电子健康记录，将待表示学习患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待表示学习患者的最终表示学习向量。
作为一个或多个实施例，所述S1中，构建基于BiLSTM的深度学习模型；其中，基于BiLSTM的深度学习模型，包括：
依次连接的嵌入层、多头注意力机制模型、激活函数层、BiLSTM神经网络、自注意力机制模型、全连接层和softmax层；
所述嵌入层，用于获取电子健康记录；所述电子健康记录，包括：若干个患者就诊序列，每个患者就诊序列均包含若干个诊断代码；对每个诊断代码进行向量映射；
所述多头注意力机制模型，用于探索患者就诊序列中各个诊断代码的权重，以及各个诊断代码的之间存在的潜在关联关系，从而得到每个诊断代码的向量表示；
所述激活函数层，用于对每个诊断代码的向量表示添加非负性约束；对患者就诊序列中的添加非负性约束的诊断代码向量进行累加，得到患者就诊序列的初步向量表示；
所述BiLSTM神经网络，用于将初步向量表示输入到BiLSTM神经网络中，得到患者就诊序列的隐含向量；
所述自注意力机制模型，用于将隐含向量输入到自注意力机制中，学习每个隐含向量的权重，将学习到的每个隐含向量的权重和隐含向量相乘，即对隐含向量进行加权，得到最后的就诊向量表示；
所述全连接层，用于对输出患者当前就诊的诊断结果。
应理解的，患者就诊序列，是指：患者在本次就诊期间内发生的所有诊断代码的序列集合。如图2所示，图2中表示的是一位患者的所有就诊序列。
应理解的，诊断代码，是指：ICD-9疾病编码，表示不同的疾病。
进一步地，对每个诊断代码进行向量映射，是通过嵌入矩阵对每个诊断代码进行向量映射。
应理解的，假设共有N位患者，每位患者进行了T次就诊(每位患者的就诊次数T是不同的)，每个就诊序列包含M个诊断代码。其中一位患者的就诊序列数据结构如图2所示。给定第n位患者在他的第t次就诊序列中被诊断出的编号为m的诊断代码
由于
表示的是一个离散的整型数值，因此我们需要使用一个可训练的嵌入矩阵对它进行向量映射。所以在嵌入层中，我们通过嵌入矩阵Wemb将就诊序列中的每个诊断代码进行向量初始化。
其中
dc是诊断代码的初始向量维度，
表示第n位患者在第t次就诊序列中被诊断出的编号为m的诊断代码的初始向量。
应理解的，患者每次就诊期间被诊断出的疾病与疾病之间存在着引起、被引起等关联性和共现性信息。我们采用多头注意力机制来探索这些隐含关联信息，学习各诊断代码在本次就诊内的权重，从而得到代码的向量表示。
多头注意力机制与单一注意力机制不同。首先介绍放缩点积注意力(Scaled Dot-Product Attention)，该注意力函数是给定一组查询序列Q＝{q1,q2,...,qS-1,qS}和一组键-值序列K＝{k1,k2,...,kS-1,kS}，V＝{v1,v2,...,vS-1,vS}，S表示的是样本数目。然后通过Q和K计算得到V中每个值的权重来得到V中所有值的加权和，该注意力函数被定义如下：
其中，dk为Q的维度，
可以理解为调节因子，用于调节Q与K的内积不至于太大或太小。
多头注意力机制(如图3所示)是将Q、K和V进行h次不同的参数映射，分别生成h个的不同的Q、K和V序列，然后利用这些序列来并行的执行上面描述的注意力函数，生成多个不同的输出值。其中h可以理解为并行执行的注意力函数的个数或者是多头注意力机制中头的数目。最后将注意力函数的输出值连接起来再次进行线性变换得到最终的输出向量，这便是多头注意力机制最后的输出值。基于上一步通过嵌入矩阵得到的诊断代码的初始向量表示
我们利用多头注意力机制可以得到医疗代码的中间向量表示
其中，Wi Q，Wi K，Wi V和Wi O为权重参数矩阵，h是多头注意力机制中头的数目，
另外，dk，dv和dmodel是定义的参数矩阵的维度大小。
例如，一位被诊断患有糖尿病(诊断代码为250)的患者，在就诊过程中被诊断出来的疾病极有可能还有糖尿病的并发症，比如肾脏方面的疾病、视网膜病变、心脏微血管病变等等。这些并发症会和糖尿病同时出现在这位患者的多次就诊当中，它们之间存在一定的关联关系和共现信息。其次，并发症与糖尿病相比，它们对患者病情的影响和发挥的作用相对较小，所以重点还要是放在糖尿病的治疗上面，也就是说糖尿病在患者就诊中的权值所占比重要更大一些。因此我们需要综合地考虑患者的就诊治疗过程来更好的进行特征学习。
应理解的，通过ReLU激活函数对代码表示添加非负性约束，增加代码表示的可解释性，最终将每个离散的诊断代码映射成一个非负实值向量。
应理解的，为了增加代码表示的可解释性，我们通过ReLU激活函数对代码表示添加非负性约束，最终将离散的诊断代码映射成非负实值向量。
应理解的，将每次就诊序列中出现的所有诊断代码的向量表示进行累加求和，形成初始就诊表示
也就是说患者的初始就诊向量通过综合本次就诊中发生的所有诊断代码的信息来构成。
其中，
表示第n位患者第t次就诊序列的向量表示。
得到一个包含所有患者初始就诊向量的集和
用于进一步的探索不同的就诊信息之间的关联关系。
应理解的，BiLSTM神经网络擅长挖掘数据的长期依赖性和时序性，我们利用BiLSTM神经网络来处理患者的就诊序列，并获得BiLSTM神经网络的隐含向量来作为下一步的输入。
应理解的，为了学习到更加有效且有意义的就诊表示，我们利用BiLSTM神经网络来捕获就诊序列中存在的时序性信息，并且联合自注意力机制来学习序列间的差异性，综合的来学习患者的就诊表示。
先来介绍LSTM模型，该模型擅长处理时间序列，它的每个单元都可以通过内部组件来保存以前输入的信息，具体来说它的上一个神经单元的某些输出可以作为下一个单元的输入来进行传输，因此可以重用以前的信息来更好的捕获数据的前后关联性。另外，LSTM能够有效地保持数据之间的长期依赖关系，这对于克服神经网络中出现的梯度消失问题是非常有用的。LSTM由四个门组成，分别是遗忘门、输入门、更新门和输出门。
首先是遗忘门，遗忘门ft决定从单元状态中丢弃的信息内容。遗忘门的数学公式如下，
ft＝σ(Wfxt+Ufht-1+bf) (7)
其中，σ，xt，ht-1和bf分别为遗忘门中的sigmoid激活函数、当前输入、上一个细胞单元的输出、偏置，Wf和Uf是权重参数矩阵。
其次是输入门，输入门it决定需要存储在单元状态中的新信息，
it＝σ(Wixt+Uiht-1+bi) (8)
其中，σ，xt，ht-1和bi分别为输入门中的sigmoid激活函数、当前输入、上一个细胞单元的输出、偏置，Wi和Ui是权重参数矩阵。
然后是候选细胞单元
的计算，其过程类似于传统的递归神经网络，
其中，tanh，xt，ht-1和bc分别为输入门中的tanh激活函数、当前输入、上一个细胞单元的输出、偏置，Wc和Uc都是权重参数矩阵。
通过上述可以计算出更新的细胞单元状态Ct,
其中，Ct-1表示上一个单元的细胞状态。
最后，输出门ot决定最终要生成的信息，ht是当前细胞单元的输出值，
ot＝σ(Woxt+Uoht-1+bo) (11)
ht＝ot*tanh(Ct) (12)
其中，σ，xt，ht-1和bo分别为遗忘门中的sigmoid激活函数、当前输入、上一个细胞单元的输出、偏置，Wo和Uo是权重参数矩阵，用到的激活函数为tanh。
BiLSTM是汇总来自数据两个方向的信息来更好的获得隐含表示。
基于上述得到的初始就诊表示v，我们使用BiLSTM对向量进行编码，从两个方向将序列信息进行汇总来得到模型的隐含向量。
其中
应理解的，将隐含向量作为自注意力机制的输入，学习每个向量的权重，并利用学习的权重α与隐含向量h来构成最后的就诊表示
α＝softmax(W2 tanh(W1hT)) (16)
x＝αh (17)
其中，W1和W2是权重参数矩阵。
作为一个或多个实施例，所述S2：构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；其中，A疾病，例如：高血压、糖尿病、高血脂、肺炎等。
若干次历史就诊的诊断结果，例如：
一位患者在第一次就诊中被诊断为有关消化系统方面的症状(787)、原发性高血压(401)、呼吸系统和其他胸部方面的症状(786)；
第二次就诊结果为原发性高血压(401)；
第三次就诊为高血压性心脏及慢性肾脏疾病(404)和血脂代谢紊乱(272)；
第四次就诊为糖尿病(250)。
当前就诊(第五次就诊)的诊断结果为糖尿病(250)和原发性高血压(401)。其中，括号中的数字代表该疾病的ICD-9疾病编码。
作为一个或多个实施例，所述S4获取同样患A疾病的待表示学习患者的电子健康记录，将待表示学习患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待表示学习患者的最终表示学习向量；其中，输出的待表示学习患者的最终表示学习向量是由训练好的基于BiLSTM的深度学习模型的自注意力机制模型输出的。
在EHR系统中，每个患者的EHR数据可以看作是一个有序的就诊序列集合，每个就诊序列又包括一系列用于描述患者病情的无序的医疗诊断代码。基于EHR的数据结构，一方面患者就诊期间发生的诊断代码之间会存在着潜在的关联信息和共现信息。另一方面患者的就诊序列具有时序性和差异性，涉及不同患者病情的就诊信息会对患者的预测时间点就诊的诊断结果产生或大或小的影响。所以面向患者EHR的表示学习方法需要综合地考虑患者的就诊治疗过程，探索隐含的重要关联信息，从而学习更加有效且更具有鲁棒性的医疗特征。所学习的数据表示能够从数据中捕获到隐含的数据规则和模式，这对于科学研究的发展是非常有帮助的。
实施例二，本实施例提供了基于BiLSTM的电子健康记录表示学习系统；
基于BiLSTM的电子健康记录表示学习系统，包括：
模型构建模块，其被配置为：构建基于BiLSTM的深度学习模型；
训练集构建模块，其被配置为：构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；
模型训练模块，其被配置为：利用训练集对基于BiLSTM的深度学习模型进行训练，将某疾病患者的若干次历史就诊的诊断结果作为模型的输入值，将患者当前就诊的诊断结果作为模型的输出值；得到训练好的基于BiLSTM的深度学习模型；
学习表示向量输出模块，其被配置为：获取同样患A疾病的待表示学习患者的电子健康记录，将待表示学习患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待表示学习患者的最终表示学习向量。
作为一个或多个实施例，所述基于BiLSTM的深度学习模型，包括：
依次连接的嵌入层、多头注意力机制模型、激活函数层、BiLSTM神经网络、自注意力机制模型、全连接层和softmax层；
所述嵌入层，用于获取电子健康记录；所述电子健康记录，包括：若干个患者就诊序列，每个患者就诊序列均包含若干个诊断代码；对每个诊断代码进行向量映射；
所述多头注意力机制模型，用于探索患者就诊序列中各个诊断代码的权重，以及各个诊断代码的之间存在的潜在关联关系，从而得到每个诊断代码的向量表示；
所述激活函数层，用于对每个诊断代码的向量表示添加非负性约束；对患者就诊序列中的添加非负性约束的诊断代码向量进行累加，得到患者就诊序列的初步向量表示；
所述BiLSTM神经网络，用于将初步向量表示输入到BiLSTM神经网络中，得到患者就诊序列的隐含向量；
所述自注意力机制模型，用于将隐含向量输入到自注意力机制中，学习每个隐含向量的权重，将学习到的每个隐含向量的权重和隐含向量相乘，即对隐含向量进行加权，得到最后的就诊向量表示；
所述全连接层，用于对输出患者当前就诊的诊断结果。
将上述得到的患者就诊信息的高级抽象表示作为预测患者当前就诊诊断结果的特征，输入到与softmax分类器连接的全连接层当中进行预测。
pre＝softmax(Wprex+bpre) (18)
其中，pre表示的是预测结果，Wpre是权重参数矩阵,bpre为偏置。
我们使用交叉熵作为损失函数，
其中S是总的样本数(即所有患者的所有就诊数目)，yj表示的是真实结果，prej表示预测结果。
本公开提供基于BiLSTM和注意力机制的表示学习方法。该方法由四部分组成：嵌入层、代码表示层、就诊表示层和预测层。首先是嵌入层，该层是通过嵌入矩阵将离散的诊断代码进行向量初始化；然后是代码表示层，这一层包括多头注意力机制和ReLU线性层。我们利用多头注意力机制来探索诊断代码之间存在的隐含关联信息，并学习各诊断代码在本次就诊内的权重，从而得到代码的中间向量表示。然后是通过ReLU激活函数给中间向量表示添加非负性约束。最终将每个离散的诊断代码表示成一个非负实值向量并通过这些向量来构成就诊的初步向量表示；就诊表示层是由BiLSTM模型和自注意力机制构成，这部分充分利用了就诊序列的时序性和差异性信息，通过BiLSTM模型和自注意力机制综合的学习患者的就诊向量表示；最后是预测层，该层是一个与全连接层相连接的softmax分类器，利用学习得到就诊表示对患者未来某个时间节点的就诊诊断结果进行预测。
实施例三，本实施例还提供了基于BiLSTM的疾病预测系统；
基于BiLSTM的疾病预测系统，包括：
模型构建模块，其被配置为：构建基于BiLSTM的深度学习模型；
训练集构建模块，其被配置为：构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；
模型训练模块，其被配置为：利用训练集对基于BiLSTM的深度学习模型进行训练，将某疾病患者的若干次历史就诊的诊断结果作为模型的输入值，将患者当前就诊的诊断结果作为模型的输出值；得到训练好的基于BiLSTM的深度学习模型；
输出模块，其被配置为：获取同样患A疾病的待预测患者的电子健康记录，将待预测患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待预测患者的疾病预测结果。
作为一个或多个实施例，所述基于BiLSTM的深度学习模型，包括：
依次连接的嵌入层、多头注意力机制模型、激活函数层、BiLSTM神经网络、自注意力机制模型、全连接层和softmax层；
所述嵌入层，用于获取电子健康记录；所述电子健康记录，包括：若干个患者就诊序列，每个患者就诊序列均包含若干个诊断代码；对每个诊断代码进行向量映射；
所述多头注意力机制模型，用于探索患者就诊序列中各个诊断代码的权重，以及各个诊断代码的之间存在的潜在关联关系，从而得到每个诊断代码的向量表示；
所述激活函数层，用于对每个诊断代码的向量表示添加非负性约束；对患者就诊序列中的添加非负性约束的诊断代码向量进行累加，得到患者就诊序列的初步向量表示；
所述BiLSTM神经网络，用于将初步向量表示输入到BiLSTM神经网络中，得到患者就诊序列的隐含向量；
所述自注意力机制模型，用于将隐含向量输入到自注意力机制中，学习每个隐含向量的权重，将学习到的每个隐含向量的权重和隐含向量相乘，即对隐含向量进行加权，得到最后的就诊向量表示；
所述全连接层，用于对输出患者当前就诊的诊断结果。
实施例四，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。
实施例五，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.基于BiLSTM的电子健康记录表示学习方法，其特征是，包括：
构建基于BiLSTM的深度学习模型；
构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；
利用训练集对基于BiLSTM的深度学习模型进行训练，将某疾病患者的若干次历史就诊的诊断结果作为模型的输入值，将患者当前就诊的诊断结果作为模型的输出值；得到训练好的基于BiLSTM的深度学习模型；
获取同样患A疾病的待表示学习患者的电子健康记录，将待表示学习患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待表示学习患者的最终表示学习向量。
2.如权利要求1所述的方法，其特征是，构建基于BiLSTM的深度学习模型；其中，基于BiLSTM的深度学习模型，包括：
依次连接的嵌入层、多头注意力机制模型、激活函数层、BiLSTM神经网络、自注意力机制模型、全连接层和softmax层；
所述嵌入层，用于获取电子健康记录；所述电子健康记录，包括：若干个患者就诊序列，每个患者就诊序列均包含若干个诊断代码；对每个诊断代码进行向量映射；
所述多头注意力机制模型，用于探索患者就诊序列中各个诊断代码的权重，以及各个诊断代码的之间存在的潜在关联关系，从而得到每个诊断代码的向量表示；
所述激活函数层，用于对每个诊断代码的向量表示添加非负性约束；对患者就诊序列中的添加非负性约束的诊断代码向量进行累加，得到患者就诊序列的初步向量表示；
所述BiLSTM神经网络，用于将初步向量表示输入到BiLSTM神经网络中，得到患者就诊序列的隐含向量；
所述自注意力机制模型，用于将隐含向量输入到自注意力机制中，学习每个隐含向量的权重，将学习到的每个隐含向量的权重和隐含向量相乘，即对隐含向量进行加权，得到最后的就诊向量表示；
所述全连接层，用于对输出患者当前就诊的诊断结果。
3.如权利要求2所述的方法，其特征是，对每个诊断代码进行向量映射，是通过嵌入矩阵对每个诊断代码进行向量映射。
4.如权利要求2所述的方法，其特征是，获取同样患A疾病的待表示学习患者的电子健康记录，将待表示学习患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待表示学习患者的最终表示学习向量；其中，输出的待表示学习患者的最终表示学习向量是由训练好的基于BiLSTM的深度学习模型的自注意力机制模型输出的。
5.基于BiLSTM的电子健康记录表示学习系统，其特征是，包括：
模型构建模块，其被配置为：构建基于BiLSTM的深度学习模型；
训练集构建模块，其被配置为：构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；
模型训练模块，其被配置为：利用训练集对基于BiLSTM的深度学习模型进行训练，将某疾病患者的若干次历史就诊的诊断结果作为模型的输入值，将患者当前就诊的诊断结果作为模型的输出值；得到训练好的基于BiLSTM的深度学习模型；
学习表示向量输出模块，其被配置为：获取同样患A疾病的待表示学习患者的电子健康记录，将待表示学习患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待表示学习患者的最终表示学习向量。
6.如权利要求5所述的系统，其特征是，所述基于BiLSTM的深度学习模型，包括：
依次连接的嵌入层、多头注意力机制模型、激活函数层、BiLSTM神经网络、自注意力机制模型、全连接层和softmax层；
所述嵌入层，用于获取电子健康记录；所述电子健康记录，包括：若干个患者就诊序列，每个患者就诊序列均包含若干个诊断代码；对每个诊断代码进行向量映射；
所述多头注意力机制模型，用于探索患者就诊序列中各个诊断代码的权重，以及各个诊断代码的之间存在的潜在关联关系，从而得到每个诊断代码的向量表示；
所述激活函数层，用于对每个诊断代码的向量表示添加非负性约束；对患者就诊序列中的添加非负性约束的诊断代码向量进行累加，得到患者就诊序列的初步向量表示；
所述BiLSTM神经网络，用于将初步向量表示输入到BiLSTM神经网络中，得到患者就诊序列的隐含向量；
所述自注意力机制模型，用于将隐含向量输入到自注意力机制中，学习每个隐含向量的权重，将学习到的每个隐含向量的权重和隐含向量相乘，即对隐含向量进行加权，得到最后的就诊向量表示；
所述全连接层，用于对输出患者当前就诊的诊断结果。
7.基于BiLSTM的疾病预测系统，其特征是，包括：
模型构建模块，其被配置为：构建基于BiLSTM的深度学习模型；
训练集构建模块，其被配置为：构建训练集，所述训练集为A疾病患者的电子健康记录中若干次历史就诊的诊断结果和当前就诊的诊断结果；
模型训练模块，其被配置为：利用训练集对基于BiLSTM的深度学习模型进行训练，将某疾病患者的若干次历史就诊的诊断结果作为模型的输入值，将患者当前就诊的诊断结果作为模型的输出值；得到训练好的基于BiLSTM的深度学习模型；
输出模块，其被配置为：获取同样患A疾病的待预测患者的电子健康记录，将待预测患者电子健康记录的若干次历史诊断结果输入到训练好的基于BiLSTM的深度学习模型中，输出待预测患者的疾病预测结果。
8.如权利要求7所述的系统，其特征是，所述基于BiLSTM的深度学习模型，包括：
依次连接的嵌入层、多头注意力机制模型、激活函数层、BiLSTM神经网络、自注意力机制模型、全连接层和softmax层；
所述嵌入层，用于获取电子健康记录；所述电子健康记录，包括：若干个患者就诊序列，每个患者就诊序列均包含若干个诊断代码；对每个诊断代码进行向量映射；
所述多头注意力机制模型，用于探索患者就诊序列中各个诊断代码的权重，以及各个诊断代码的之间存在的潜在关联关系，从而得到每个诊断代码的向量表示；
所述激活函数层，用于对每个诊断代码的向量表示添加非负性约束；对患者就诊序列中的添加非负性约束的诊断代码向量进行累加，得到患者就诊序列的初步向量表示；
所述BiLSTM神经网络，用于将初步向量表示输入到BiLSTM神经网络中，得到患者就诊序列的隐含向量；
所述自注意力机制模型，用于将隐含向量输入到自注意力机制中，学习每个隐含向量的权重，将学习到的每个隐含向量的权重和隐含向量相乘，即对隐含向量进行加权，得到最后的就诊向量表示；
所述全连接层，用于对输出患者当前就诊的诊断结果。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-4任一项方法的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-4任一项方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010082494.8A CN111370084B (zh) | 2020-02-07 | 2020-02-07 | 基于BiLSTM的电子健康记录表示学习方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010082494.8A CN111370084B (zh) | 2020-02-07 | 2020-02-07 | 基于BiLSTM的电子健康记录表示学习方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111370084A true CN111370084A (zh) | 2020-07-03 |
| CN111370084B CN111370084B (zh) | 2023-10-03 |
Family
ID=71207986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010082494.8A Active CN111370084B (zh) | 2020-02-07 | 2020-02-07 | 基于BiLSTM的电子健康记录表示学习方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111370084B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077901A (zh) * | 2021-03-31 | 2021-07-06 | 厦门大学 | 一种电子病历分析装置和方法 |
| CN113362945A (zh) * | 2021-06-03 | 2021-09-07 | 重庆南鹏人工智能科技研究院有限公司 | 基于多步决策的全肺呼吸内科疾病医学辅助诊断系统 |
| CN113517046A (zh) * | 2021-04-15 | 2021-10-19 | 中南大学 | 一种电子病历中异构数据特征融合方法及基于融合特征的预测方法、系统及可读存储介质 |
| CN115359870A (zh) * | 2022-10-20 | 2022-11-18 | 之江实验室 | 一种基于层次图神经网络的疾病诊疗过程异常识别系统 |
| CN116864109A (zh) * | 2023-07-13 | 2023-10-10 | 中世康恺科技有限公司 | 一种医学影像人工智能辅助诊断系统 |
| CN116994721A (zh) * | 2023-08-09 | 2023-11-03 | 北京透彻未来科技有限公司 | 一种数字病理切片图的快速处理系统 |
| CN117409911A (zh) * | 2023-10-13 | 2024-01-16 | 四川大学 | 一种基于多视图对比学习的电子病历表示学习方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754852A (zh) * | 2019-01-08 | 2019-05-14 | 中南大学 | 基于电子病历的心血管疾病风险预测方法 |
| CN109920508A (zh) * | 2018-12-28 | 2019-06-21 | 安徽省立医院 | 处方审核方法及系统 |
| CN110162790A (zh) * | 2019-05-24 | 2019-08-23 | 贵州大学 | 一种基于神经网络的犯罪行为识别方法 |
| CN110321566A (zh) * | 2019-07-10 | 2019-10-11 | 北京邮电大学 | 中文命名实体识别方法、装置、计算机设备和存储介质 |
| CN110427493A (zh) * | 2019-07-11 | 2019-11-08 | 新华三大数据技术有限公司 | 电子病历处理方法、模型训练方法及相关装置 |
| CN110491465A (zh) * | 2019-08-20 | 2019-11-22 | 山东众阳健康科技集团有限公司 | 基于深度学习的疾病分类编码方法、系统、设备及介质 |
| CN110597970A (zh) * | 2019-08-19 | 2019-12-20 | 华东理工大学 | 一种多粒度医疗实体联合识别的方法及装置 |
| CN110619124A (zh) * | 2019-09-19 | 2019-12-27 | 成都数之联科技有限公司 | 一种结合注意力机制与双向lstm的命名实体识别方法及系统 |
| CN110691548A (zh) * | 2017-07-28 | 2020-01-14 | 谷歌有限责任公司 | 用于从电子健康记录中预测和总结医疗事件的系统和方法 |
-
2020
- 2020-02-07 CN CN202010082494.8A patent/CN111370084B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110691548A (zh) * | 2017-07-28 | 2020-01-14 | 谷歌有限责任公司 | 用于从电子健康记录中预测和总结医疗事件的系统和方法 |
| CN109920508A (zh) * | 2018-12-28 | 2019-06-21 | 安徽省立医院 | 处方审核方法及系统 |
| CN109754852A (zh) * | 2019-01-08 | 2019-05-14 | 中南大学 | 基于电子病历的心血管疾病风险预测方法 |
| CN110162790A (zh) * | 2019-05-24 | 2019-08-23 | 贵州大学 | 一种基于神经网络的犯罪行为识别方法 |
| CN110321566A (zh) * | 2019-07-10 | 2019-10-11 | 北京邮电大学 | 中文命名实体识别方法、装置、计算机设备和存储介质 |
| CN110427493A (zh) * | 2019-07-11 | 2019-11-08 | 新华三大数据技术有限公司 | 电子病历处理方法、模型训练方法及相关装置 |
| CN110597970A (zh) * | 2019-08-19 | 2019-12-20 | 华东理工大学 | 一种多粒度医疗实体联合识别的方法及装置 |
| CN110491465A (zh) * | 2019-08-20 | 2019-11-22 | 山东众阳健康科技集团有限公司 | 基于深度学习的疾病分类编码方法、系统、设备及介质 |
| CN110619124A (zh) * | 2019-09-19 | 2019-12-27 | 成都数之联科技有限公司 | 一种结合注意力机制与双向lstm的命名实体识别方法及系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077901A (zh) * | 2021-03-31 | 2021-07-06 | 厦门大学 | 一种电子病历分析装置和方法 |
| CN113077901B (zh) * | 2021-03-31 | 2022-05-10 | 厦门大学 | 一种电子病历分析装置和方法 |
| CN113517046A (zh) * | 2021-04-15 | 2021-10-19 | 中南大学 | 一种电子病历中异构数据特征融合方法及基于融合特征的预测方法、系统及可读存储介质 |
| CN113517046B (zh) * | 2021-04-15 | 2023-11-07 | 中南大学 | 一种电子病历中异构数据特征融合方法及基于融合特征的预测方法、系统及可读存储介质 |
| CN113362945A (zh) * | 2021-06-03 | 2021-09-07 | 重庆南鹏人工智能科技研究院有限公司 | 基于多步决策的全肺呼吸内科疾病医学辅助诊断系统 |
| CN115359870A (zh) * | 2022-10-20 | 2022-11-18 | 之江实验室 | 一种基于层次图神经网络的疾病诊疗过程异常识别系统 |
| CN116864109A (zh) * | 2023-07-13 | 2023-10-10 | 中世康恺科技有限公司 | 一种医学影像人工智能辅助诊断系统 |
| CN116994721A (zh) * | 2023-08-09 | 2023-11-03 | 北京透彻未来科技有限公司 | 一种数字病理切片图的快速处理系统 |
| CN117409911A (zh) * | 2023-10-13 | 2024-01-16 | 四川大学 | 一种基于多视图对比学习的电子病历表示学习方法 |
| CN117409911B (zh) * | 2023-10-13 | 2024-05-07 | 四川大学 | 一种基于多视图对比学习的电子病历表示学习方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111370084B (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111370084B (zh) | 基于BiLSTM的电子健康记录表示学习方法及系统 | |
| Che et al. | Deep computational phenotyping | |
| Shickel et al. | Deep EHR: a survey of recent advances in deep learning techniques for electronic health record (EHR) analysis | |
| Che et al. | Interpretable deep models for ICU outcome prediction | |
| Salakhutdinov | Learning deep generative models | |
| WO2016192612A1 (zh) | 基于深度学习对医疗数据进行分析的方法及其智能分析仪 | |
| WO2021226132A2 (en) | Systems and methods for managing autoimmune conditions, disorders and diseases | |
| Ma et al. | A general framework for diagnosis prediction via incorporating medical code descriptions | |
| CN110597970A (zh) | 一种多粒度医疗实体联合识别的方法及装置 | |
| CN112257449A (zh) | 命名实体识别方法、装置、计算机设备和存储介质 | |
| Kodialam et al. | Deep contextual clinical prediction with reverse distillation | |
| Akbarian et al. | Evaluating knowledge transfer in the neural network for medical images | |
| RU2720363C2 (ru) | Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта | |
| CN109887606B (zh) | 一种基于注意力的双向递归神经网络的诊断预测方法 | |
| Lee et al. | Multi-scale temporal memory for clinical event time-series prediction | |
| Ma et al. | Incorporating medical code descriptions for diagnosis prediction in healthcare | |
| Shirazi et al. | Deep learning in the healthcare industry: theory and applications | |
| Ju et al. | 3D-CNN-SPP: A patient risk prediction system from electronic health records via 3D CNN and spatial pyramid pooling | |
| Bhardwaj et al. | Computational biology in the lens of CNN | |
| Zhang et al. | Predicting treatment initiation from clinical time series data via graph-augmented time-sensitive model | |
| Wang et al. | Predicting clinical visits using recurrent neural networks and demographic information | |
| CN116261733A (zh) | 用于预测新模型参数的辅助模型 | |
| Lu et al. | Multi-modal Intermediate Fusion Model for diagnosis prediction | |
| Wang et al. | Toward Learning Joint Inference Tasks for IASS-MTS Using Dual Attention Memory With Stochastic Generative Imputation | |
| Che et al. | Time series feature learning with applications to health care |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240226 Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province Patentee after: Yami Technology (Guangzhou) Co.,Ltd. Country or region after: China Address before: No.1 Daxue Road, University Science Park, Changqing District, Jinan City, Shandong Province Patentee before: SHANDONG NORMAL University Country or region before: China |