CN111931717B - 基于语义和图像识别的心电信息提取方法及装置 - Google Patents

基于语义和图像识别的心电信息提取方法及装置 Download PDF

Info

Publication number
CN111931717B
CN111931717B CN202011001748.5A CN202011001748A CN111931717B CN 111931717 B CN111931717 B CN 111931717B CN 202011001748 A CN202011001748 A CN 202011001748A CN 111931717 B CN111931717 B CN 111931717B
Authority
CN
China
Prior art keywords
information
text
semantic
vector
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011001748.5A
Other languages
English (en)
Other versions
CN111931717A (zh
Inventor
宋青原
王健宗
吴天博
程宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011001748.5A priority Critical patent/CN111931717B/zh
Priority to PCT/CN2020/125059 priority patent/WO2021159751A1/zh
Publication of CN111931717A publication Critical patent/CN111931717A/zh
Application granted granted Critical
Publication of CN111931717B publication Critical patent/CN111931717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了基于语义和图像识别的心电信息提取方法、装置、计算机设备及存储介质，涉及人工智能技术，可应用于智慧医疗场景，包括对当前待识别文本信息进行语义识别，得到与当前待识别文本信息对应的语义向量；接收上传的心电图影像，调用基于注意力机制的Res2Net分类网络，将心电图影像根据基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量；以及调用预先训练的Light GBM模型，将语义向量及输出向量输入至Light GBM模型进行分类，得到对应的分类结果。该方法还涉及医疗科技和区块链技术，实现了结合用户端上传的文字信息与心电图影像对应的图像信息，再经过Light GBM算法来进行分类，提升了分类结果的准确度与可信度。

Description

基于语义和图像识别的心电信息提取方法及装置
技术领域
本发明涉及人工智能的智能决策技术领域，尤其涉及一种基于语义和图像识别的心电信息提取方法、装置、计算机设备及存储介质。
背景技术
目前，心电智能诊断系统在日常生活中得到了广泛应用，例如一些智能穿戴设备（如苹果公司的Apple Watch）可以采集用户的心电信息，还可将采集的心电信息生成心电图后上传至服务器进行后续图像识别，以生成报告信息。但是上述方式存在以下缺陷：
1）上传的仅仅只有心电图，缺乏文字描述；
2）心电图信息都是基于智能便携式测量得到的，精度与可靠性远远不如医用心电仪；
3）对心电图进行识别的图像识别模型准确度较低。
发明内容
本发明实施例提供了一种基于语义和图像识别的心电信息提取方法、装置、计算机设备及存储介质，旨在解决现有技术中心电图信息都是基于智能便携式测量得到的，精度与可靠性较低，而且对心电图进行识别的图像识别模型准确度较低的问题。
第一方面，本发明实施例提供了一种基于语义和图像识别的心电信息提取方法，其包括：
接收用户端上传的文本描述信息；
判断所述文本描述信息中是否包括预设的关键词；
若所述文本描述信息中包括所述关键词，获取所述文本描述信息以作为当前待识别文本信息；
若所述文本描述信息中不包括所述关键词，调用预先存储的引导问题集发送至用户端；
接收用户端根据所述引导问题集对应发送的回复文本信息以作为当前待识别文本信息；
对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量；
接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量；以及
调用预先训练的Light GBM模型，将所述语义向量及所述输出向量输入至所述Light GBM模型进行分类，得到对应的分类结果。
第二方面，本发明实施例提供了一种基于语义和图像识别的心电信息提取装置，其包括：
文本描述信息接收单元，用于接收用户端上传的文本描述信息；
关键词判断单元，用于判断所述文本描述信息中是否包括预设的关键词；
第一文本信息获取单元，用于若所述文本描述信息中包括所述关键词，获取所述文本描述信息以作为当前待识别文本信息；
引导问题集发送单元，用于若所述文本描述信息中不包括所述关键词，调用预先存储的引导问题集发送至用户端；
第二文本信息获取单元，用于接收用户端根据所述引导问题集对应发送的回复文本信息以作为当前待识别文本信息；
语义向量获取单元，用于对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量；
影像分类单元，用于接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量；以及
分类结果获取单元，用于调用预先训练的Light GBM模型，将所述语义向量及所述输出向量输入至所述Light GBM模型进行分类，得到对应的分类结果。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于语义和图像识别的心电信息提取方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于语义和图像识别的心电信息提取方法。
本发明实施例提供了一种基于语义和图像识别的心电信息提取方法、装置、计算机设备及存储介质，包括对当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量；接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量；以及调用预先训练的Light GBM模型，将所述语义向量及所述输出向量输入至所述Light GBM模型进行分类，得到对应的分类结果。该方法实现了结合用户端上传的文字信息与心电图影像对应的图像信息，再经过Light GBM算法来进行分类，提升了分类结果的准确度与可信度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于语义和图像识别的心电信息提取方法的应用场景示意图；
图2为本发明实施例提供的基于语义和图像识别的心电信息提取方法的流程示意图；
图3为本发明实施例提供的基于语义和图像识别的心电信息提取方法的子流程示意图；
图4为本发明实施例提供的基于语义和图像识别的心电信息提取方法的另一子流程示意图；
图5为本发明实施例提供的基于语义和图像识别的心电信息提取装置的示意性框图；
图6为本发明实施例提供的基于语义和图像识别的心电信息提取装置的子单元示意性框图；
图7为本发明实施例提供的基于语义和图像识别的心电信息提取装置的另一子单元示意性框图；
图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的基于语义和图像识别的心电信息提取方法的应用场景示意图；图2为本发明实施例提供的基于语义和图像识别的心电信息提取方法的流程示意图，该基于语义和图像识别的心电信息提取方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110~S180。
S110、接收用户端上传的文本描述信息。
在本实施例中，为了更加完整的获取基于心电图影像和描述文字的输出文本信息，此时可以先提示用户端上传文本描述信息。用户结合自身情况在用户端上编辑一段自我描述后上传至服务器。
S120、判断所述文本描述信息中是否包括预设的关键词。
在本实施例中，由于用户通过用户端上传的文本描述信息可能是一些与用户自身健康状态不太相关的描述，此时为了更准确的获取文本信息，可以先在服务器中检测并判断所述文本描述信息中是否包括预设的关键词（如胸闷气短、心跳过快等）。
S130、若所述文本描述信息中包括所述关键词，获取所述文本描述信息以作为当前待识别文本信息。
在本实施例中，当判断所述文本描述信息中包括所述关键词，表示所述文本描述信息中包括有效信息，直接获取所述文本描述信息以作为当前待识别文本信息。
S140、若所述文本描述信息中不包括所述关键词，调用预先存储的引导问题集发送至用户端。
在本实施例中，当判断所述文本描述信息中不包括所述关键词，表示所述文本描述信息中不包括有效信息，此时需要服务器调用引导问题集，将引导问题集发送至用户端，以指导用户补充信息。例如，引导问题集包括“是否胸闷气短”、“是否心跳过快”等多个引导问题。通过设置这一引导问题集，可以高效的引导用户回复有效信息，提高后续关键词提取和语义向量提取的效率。
S150、接收用户端根据所述引导问题集对应发送的回复文本信息以作为当前待识别文本信息。
在本实施例中，在用户端与服务器基于所述引导问题集的多轮对话之后，整合用户的文字回答，即可得到回复文本信息，以作为当前待识别文本信息。通过这一引导回答式的方式，当前获取的回复文本信息中包括的有效信息更多。
S160、对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量。
在本实施例中，当获取了当前待识别文本信息后，为了提取其中的关键信息，可以获取其中关键词对应的词向量以组成语义向量。
在一实施例中，如图3所示，步骤S160包括：
S161、调用预先训练的BERT模型，将所述当前待识别文本信息通过所述BERT模型进行关键词提取，得到与所述当前待识别文本信息对应的文本关键词集；其中，所述BERT模型表示Transformers模型的双向编码器表示模型；
S162、将所述文本关键词集中各文本关键词进行独热编码，得到各文本关键词分别对应的词向量；
S163、根据各文本关键词分别对应的词向量以及各文本关键词分别对应的权重值，计算得到与所述当前待识别文本对应的语义向量。
在本实施例中，在获取文本中的关键词时，通过BERT模型（即Transformers模型的双向编码器表示模型）对所述当前待识别文本信息进行关键词提取，之后还可对各关键词进行校正以与医学上的专业术语对应（例如将跳很快校正替换为心跳过快），最后将各关键词对应转化为词向量后计算得到与所述当前待识别文本对应的语义向量。
其中，BERT模型采用Transformer Encoder（即Transformer结构中的编码器）作为特征提取器，由Nx个完全一样的layer组成，每个layer有2个sub-layer（即子层），分别是：Multi-Head Self-Attention机制（即多头自注意力机制）、Position-Wise全连接前向神经网络。对于每个sub-layer，都添加了2个操作：残差连接Residual Connection和归一化Normalization。
而且BERT模型的输入是一个线性序列，支持单句文本和句对文本，句首用符号[CLS]表示，句尾用符号[SEP]表示，如果是句对，句子之间添加符号[SEP]。
BERT模型的预训练采用了MLM（MLM是Masked LM的简称，表示掩盖式语言模型）和NSP（NSP是Next Sentence Prediction的简称，表示预测下一句模型）两种策略用于模型预训练。
当通过BERT模型将所述当前待识别文本信息进行关键词提取，得到与所述当前待识别文本信息对应的文本关键词集后，将所述文本关键词集中各文本关键词进行独热编码，得到各文本关键词分别对应的词向量。由于在语料中是已知各关键词的权重值，此时根据各文本关键词分别对应的词向量以及各文本关键词分别对应的权重值，计算得到与所述当前待识别文本对应的语义向量。通过这一方式提取的语义向量，能更加准确的表征所述当前待识别文本信息。
S170、接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量。
在本实施例中，由于之前已根据当前待识别文本信息进行语义识别后，得到了对应的语义向量，如果仅仅基于语义向量作为分类模型的数据，可能因导致向量表征的内容较少，影响最终分类结果，此时可以进一步提示用户上传心电图影像，增加一些图片特征与语义向量相结合，使得最终的向量表征内容丰富，更有利于得到准确的分类结果。
在一实施例中，如图4所示，步骤S170包括：
S171、获取所述心电图影像对应的像素矩阵；
S172、将所述像素矩阵作为所述基于注意力机制的Res2Net分类网络中Res2Net网络的输入进行运算，得到形态特征向量；
S173、将所述形态特征向量作为所述基于注意力机制的Res2Net分类网络中注意力机制结构进行运算，得到输出向量。
在本实施例中，当接收到了心电图影像后，将心电图影像对应的像素矩阵输入到深度学习的Res2Net网络，学习图片的形态特诊，再输入到注意力结构中，让模型更专注于找到输入数据中与输出更加相关的有用信息，然后对这一区域投入更多的注意力资源，从而提高输出的质量。Res2Net（其是ResNet网络也即残差网络的升级版），Res2Net相对于ResNet不仅在识别的准确率上有提升，对模型的大小和参数也进行了优化，这种更加轻量化的模型可以提高反应速度并且减少服务器对硬件的要求。
在一实施例中，步骤S172包括：
将所述像素矩阵输入至所述Res2Net网络中依次卷积、在多层残差结构进行恒等映射、池化及全连接，得到形态特征向量。
在本实施例中，Res2Net网络中是将卷积神经网络中的多层卷积层中除了第一层卷积层之外的卷积层均做一个残差块的改造以实现恒等映射，从而提高整个Res2Net网络识别的准确率。
在一实施例中，步骤S170之前，还包括：
将用于获取心电图影像的提示信息发送至用户端或智能心电仪；
接收用户端或智能心电仪根据所述提示信息发送的心电图影像。
在本实施例中，服务器中提供了用户端上传心电图影像和智能心电仪上传心电图影像的两个接口，服务器在获取心电图影像是，可以向用户端或智能心电仪发送用于获取心电图影像的提示信息。通过这一通知方式，能在进行语义向量的提取后，更加快速的触发获取图像分类结果的处理过程。
S180、调用预先训练的Light GBM模型，将所述语义向量及所述输出向量输入至所述Light GBM模型进行分类，得到对应的分类结果。
在本实施例中，在整合了语义向量和心电图影像对应的输出向量之后，服务器得到了一组完整的特征向量，基于目前的Light GBM模型，进行学习与判断，从而得到对应的分类结果。其中，Light GBM模型是一个使用基于决策树的学习算法，其拥有更快的训练速度，更高的准确率和大数据处理能力。
在一实施例中，步骤S180包括：
将所述语义向量及所述输出向量进行独立特征合并，得到图文特征向量；
将所述图文特征向量通过所述Light GBM模型中基于直方图的决策进行分类，得到对应的分类结果。
在本实施例中，将所述语义向量及所述输出向量进行独立特征合并是为了减少特征维度，以提升计算效率。由于所述语义向量及所述输出向量是互斥的，这样两个特征捆绑起来才不会丢失信息。当完成了独立特征合并得到了图文特征向量后，采用基于直方图的决策进行分类，由于直方图只需对直方图统计量计算信息增益，相比较于预排序算法每次都遍历所有的值，信息增益的计算量要小很多，而且内存空间需要相对小很多。
在一实施例中，步骤S180之后还包括：
调用预先存储的文本模板，将所述分类结果填充至文本模板得到当前文本；
将所述当前文本发送至用户端；
将所述当前文本上传至区块链网络。
在本实施例中，当结合了文本语义识别得到的语义向量以及心电图影像对应的输出向量后，通过所述Light GBM模型进行分类更加准确，能确定语义向量及输出向量确定的分类结果（例如有心脏疾病）。此时，可以调用服务器中预先存储的文本模板，将所述分类结果填充至文本模板后得到当前文本（除了包括分类结果，还有一些专业名称解释等），之后将所述当前文本发送至用户端以供用户查看。
而且服务器可以作为一个区块链节点设备，以将所述当前文本上传至区块链网络，充分利用区块链数据不可篡改的特性，实现数据证据固化。
其中，基于所述当前文本得到对应的摘要信息，具体来说，摘要信息由所述当前文本进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息，以便查证所述当前文本是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
该方法实现了结合用户端上传的文字信息与心电图影像对应的图像信息，再经过Light GBM算法来进行分类，提升了分类结果的准确度与可信度。
本发明实施例还提供一种基于语义和图像识别的心电信息提取装置，该基于语义和图像识别的心电信息提取装置用于执行前述基于语义和图像识别的心电信息提取方法的任一实施例。具体地，请参阅图5，图5是本发明实施例提供的基于语义和图像识别的心电信息提取装置的示意性框图。该基于语义和图像识别的心电信息提取装置100可以配置于服务器中。
如图5所示，基于语义和图像识别的心电信息提取装置100包括：文本描述信息接收单元110、关键词判断单元120、第一文本信息获取单元130、引导问题集发送单元140、第二文本信息获取单元150、语义向量获取单元160、影像分类单元170、分类结果获取单元180。
文本描述信息接收单元110，用于接收用户端上传的文本描述信息。
在本实施例中，为了更加完整的获取基于心电图影像和描述文字的输出文本信息，此时可以先提示用户端上传文本描述信息。用户结合自身情况在用户端上编辑一段自我描述后上传至服务器。
关键词判断单元120，用于判断所述文本描述信息中是否包括预设的关键词。
在本实施例中，由于用户通过用户端上传的文本描述信息可能是一些与用户自身健康状态不太相关的描述，此时为了更准确的获取文本信息，可以先在服务器中检测并判断所述文本描述信息中是否包括预设的关键词（如胸闷气短、心跳过快等）。
第一文本信息获取单元130，用于若所述文本描述信息中包括所述关键词，获取所述文本描述信息以作为当前待识别文本信息。
在本实施例中，当判断所述文本描述信息中包括所述关键词，表示所述文本描述信息中包括有效信息，直接获取所述文本描述信息以作为当前待识别文本信息。
引导问题集发送单元140，用于若所述文本描述信息中不包括所述关键词，调用预先存储的引导问题集发送至用户端。
在本实施例中，当判断所述文本描述信息中不包括所述关键词，表示所述文本描述信息中不包括有效信息，此时需要服务器调用引导问题集，将引导问题集发送至用户端，以指导用户补充信息。例如，引导问题集包括“是否胸闷气短”、“是否心跳过快”等多个引导问题。通过设置这一引导问题集，可以高效的引导用户回复有效信息，提高后续关键词提取和语义向量提取的效率。
第二文本信息获取单元150，用于接收用户端根据所述引导问题集对应发送的回复文本信息以作为当前待识别文本信息。
在本实施例中，在用户端与服务器基于所述引导问题集的多轮对话之后，整合用户的文字回答，即可得到回复文本信息，以作为当前待识别文本信息。通过这一引导回答式的方式，当前获取的回复文本信息中包括的有效信息更多。
语义向量获取单元160，用于对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量。
在本实施例中，当获取了当前待识别文本信息后，为了提取其中的关键信息，可以获取其中关键词对应的词向量以组成语义向量。
在一实施例中，如图6所示，语义向量获取单元160包括：
关键词提取单元161，用于调用预先训练的BERT模型，将所述当前待识别文本信息通过所述BERT模型进行关键词提取，得到与所述当前待识别文本信息对应的文本关键词集；其中，所述BERT模型表示Transformers模型的双向编码器表示模型；
词向量获取单元162，用于将所述文本关键词集中各文本关键词进行独热编码，得到各文本关键词分别对应的词向量；
语义向量计算单元163，用于根据各文本关键词分别对应的词向量以及各文本关键词分别对应的权重值，计算得到与所述当前待识别文本对应的语义向量。
在本实施例中，在获取文本中的关键词时，通过BERT模型（即Transformers模型的双向编码器表示模型）对所述当前待识别文本信息进行关键词提取，之后还可对各关键词进行校正以与医学上的专业术语对应（例如将跳很快校正替换为心跳过快），最后将各关键词对应转化为词向量后计算得到与所述当前待识别文本对应的语义向量。
其中，BERT模型采用Transformer Encoder（即Transformer结构中的编码器）作为特征提取器，由Nx个完全一样的layer组成，每个layer有2个sub-layer（即子层），分别是：Multi-Head Self-Attention机制（即多头自注意力机制）、Position-Wise全连接前向神经网络。对于每个sub-layer，都添加了2个操作：残差连接Residual Connection和归一化Normalization。
而且BERT模型的输入是一个线性序列，支持单句文本和句对文本，句首用符号[CLS]表示，句尾用符号[SEP]表示，如果是句对，句子之间添加符号[SEP]。
BERT模型的预训练采用了MLM（MLM是Masked LM的简称，表示掩盖式语言模型）和NSP（NSP是Next Sentence Prediction的简称，表示预测下一句模型）两种策略用于模型预训练。
当通过BERT模型将所述当前待识别文本信息进行关键词提取，得到与所述当前待识别文本信息对应的文本关键词集后，将所述文本关键词集中各文本关键词进行独热编码，得到各文本关键词分别对应的词向量。由于在语料中是已知各关键词的权重值，此时根据各文本关键词分别对应的词向量以及各文本关键词分别对应的权重值，计算得到与所述当前待识别文本对应的语义向量。通过这一方式提取的语义向量，能更加准确的表征所述当前待识别文本信息。
影像分类单元170，用于接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量。
在本实施例中，由于之前已根据当前待识别文本信息进行语义识别后，得到了对应的语义向量，如果仅仅基于语义向量作为分类模型的数据，可能因导致向量表征的内容较少，影响最终分类结果，此时可以进一步提示用户上传心电图影像，增加一些图片特征与语义向量相结合，使得最终的向量表征内容丰富，更有利于得到准确的分类结果。
在一实施例中，如图7所示，影像分类单元170包括：
矩阵获取单元171，用于获取所述心电图影像对应的像素矩阵；
形态特征向量获取单元172，用于将所述像素矩阵作为所述基于注意力机制的Res2Net分类网络中Res2Net网络的输入进行运算，得到形态特征向量；
输出向量计算单元173，用于将所述形态特征向量作为所述基于注意力机制的Res2Net分类网络中注意力机制结构进行运算，得到输出向量。
在本实施例中，当接收到了心电图影像后，将心电图影像对应的像素矩阵输入到深度学习的Res2Net网络，学习图片的形态特诊，再输入到注意力结构中，让模型更专注于找到输入数据中与输出更加相关的有用信息，然后对这一区域投入更多的注意力资源，从而提高输出的质量。Res2Net（其是ResNet网络也即残差网络的升级版），Res2Net相对于ResNet不仅在识别的准确率上有提升，对模型的大小和参数也进行了优化，这种更加轻量化的模型可以提高反应速度并且减少服务器对硬件的要求。
在一实施例中，形态特征向量获取单元172还用于：
将所述像素矩阵输入至所述Res2Net网络中依次卷积、在多层残差结构进行恒等映射、池化及全连接，得到形态特征向量。
在本实施例中，Res2Net网络中是将卷积神经网络中的多层卷积层中除了第一层卷积层之外的卷积层均做一个残差块的改造以实现恒等映射，从而提高整个Res2Net网络识别的准确率。
在一实施例中，基于语义和图像识别的心电信息提取装置100还包括：
提示信息发送单元，用于将用于获取心电图影像的提示信息发送至用户端或智能心电仪；
心电图影像接收单元，用于接收用户端或智能心电仪根据所述提示信息发送的心电图影像。
在本实施例中，服务器中提供了用户端上传心电图影像和智能心电仪上传心电图影像的两个接口，服务器在获取心电图影像是，可以向用户端或智能心电仪发送用于获取心电图影像的提示信息。通过这一通知方式，能在进行语义向量的提取后，更加快速的触发获取图像分类结果的处理过程。
分类结果获取单元180，用于调用预先训练的Light GBM模型，将所述语义向量及所述输出向量输入至所述Light GBM模型进行分类，得到对应的分类结果。
在本实施例中，在整合了语义向量和心电图影像对应的输出向量之后，服务器得到了一组完整的特征向量，基于目前的Light GBM模型，进行学习与判断，从而得到对应的分类结果。其中，Light GBM模型是一个使用基于决策树的学习算法，其拥有更快的训练速度，更高的准确率和大数据处理能力。
在一实施例中，分类结果获取单元180包括：
图文特征向量获取单元，用于将所述语义向量及所述输出向量进行独立特征合并，得到图文特征向量；
决策分类单元，用于将所述图文特征向量通过所述Light GBM模型中基于直方图的决策进行分类，得到对应的分类结果。
在本实施例中，将所述语义向量及所述输出向量进行独立特征合并是为了减少特征维度，以提升计算效率。由于所述语义向量及所述输出向量是互斥的，这样两个特征捆绑起来才不会丢失信息。当完成了独立特征合并得到了图文特征向量后，采用基于直方图的决策进行分类，由于直方图只需对直方图统计量计算信息增益，相比较于预排序算法每次都遍历所有的值，信息增益的计算量要小很多，而且内存空间需要相对小很多。
在一实施例中，基于语义和图像识别的心电信息提取装置100还包括：
当前文本生成单元，用于调用预先存储的文本模板，将所述分类结果填充至文本模板得到当前文本；
当前文本发送单元，用于将所述当前文本发送至用户端；
上链单元，用于将所述当前文本上传至区块链网络。
在本实施例中，当结合了文本语义识别得到的语义向量以及心电图影像对应的输出向量后，通过所述Light GBM模型进行分类更加准确，能确定语义向量及输出向量确定的分类结果（例如有心脏疾病）。此时，可以调用服务器中预先存储的文本模板，将所述分类结果填充至文本模板后得到当前文本（除了包括分类结果，还有一些专业名称解释等），之后将所述当前文本发送至用户端以供用户查看。
而且服务器可以作为一个区块链节点设备，以将所述当前文本上传至区块链网络，充分利用区块链数据不可篡改的特性，实现数据证据固化。
其中，基于所述当前文本得到对应的摘要信息，具体来说，摘要信息由所述当前文本进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息，以便查证所述当前文本是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
该装置实现了结合用户端上传的文字信息与心电图影像对应的图像信息，再经过Light GBM算法来进行分类，提升了分类结果的准确度与可信度。
上述基于语义和图像识别的心电信息提取装置可以实现为计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8，图8是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图8，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于语义和图像识别的心电信息提取方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于语义和图像识别的心电信息提取方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于语义和图像识别的心电信息提取方法。
本领域技术人员可以理解，图8中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图8所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于语义和图像识别的心电信息提取方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于语义和图像识别的心电信息提取方法，其特征在于，包括：
接收用户端上传的文本描述信息；
判断所述文本描述信息中是否包括预设的关键词；
若所述文本描述信息中包括所述关键词，获取所述文本描述信息以作为当前待识别文本信息；
若所述文本描述信息中不包括所述关键词，调用预先存储的引导问题集发送至用户端；
接收用户端根据所述引导问题集对应发送的回复文本信息以作为当前待识别文本信息；
对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量；
接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量；以及
调用预先训练的Light GBM模型，将所述语义向量及所述输出向量输入至所述LightGBM模型进行分类，得到对应的分类结果；
其中，所述引导问题集中包括多个引导问题以用于引导用户回复有效信息；
所述回复文本信息通过服务器与用户端基于所述引导问题集的多轮对话得到。
2.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量，包括：
调用预先训练的BERT模型，将所述当前待识别文本信息通过所述BERT模型进行关键词提取，得到与所述当前待识别文本信息对应的文本关键词集；其中，所述BERT模型表示Transformers模型的双向编码器表示模型；
将所述文本关键词集中各文本关键词进行独热编码，得到各文本关键词分别对应的词向量；
根据各文本关键词分别对应的词向量以及各文本关键词分别对应的权重值，计算得到与所述当前待识别文本对应的语义向量。
3.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量之前，还包括：
将用于获取心电图影像的提示信息发送至用户端或智能心电仪；
接收用户端或智能心电仪根据所述提示信息发送的心电图影像。
4.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量，包括：
获取所述心电图影像对应的像素矩阵；
将所述像素矩阵作为所述基于注意力机制的Res2Net分类网络中Res2Net网络的输入进行运算，得到形态特征向量；
将所述形态特征向量作为所述基于注意力机制的Res2Net分类网络中注意力机制结构进行运算，得到输出向量。
5.根据权利要求4所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述将所述像素矩阵作为所述基于注意力机制的Res2Net分类网络中Res2Net网络的输入进行运算，得到形态特征向量，包括：
将所述像素矩阵输入至所述Res2Net网络中依次卷积、在多层残差结构进行恒等映射、池化及全连接，得到形态特征向量。
6.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述将所述语义向量及所述输出向量输入至所述Light GBM模型进行分类，得到对应的分类结果，包括：
将所述语义向量及所述输出向量进行独立特征合并，得到图文特征向量；
将所述图文特征向量通过所述Light GBM模型中基于直方图的决策进行分类，得到对应的分类结果。
7.根据权利要求1所述的基于语义和图像识别的心电信息提取方法，其特征在于，所述调用预先训练的Light GBM模型，将所述语义向量及所述输出向量输入至所述Light GBM模型进行分类，得到对应的分类结果之后，还包括：
调用预先存储的文本模板，将所述分类结果填充至文本模板得到当前文本；
将所述当前文本发送至用户端；
将所述当前文本上传至区块链网络。
8.一种基于语义和图像识别的心电信息提取装置，其特征在于，包括：
文本描述信息接收单元，用于接收用户端上传的文本描述信息；
关键词判断单元，用于判断所述文本描述信息中是否包括预设的关键词；
第一文本信息获取单元，用于若所述文本描述信息中包括所述关键词，获取所述文本描述信息以作为当前待识别文本信息；
引导问题集发送单元，用于若所述文本描述信息中不包括所述关键词，调用预先存储的引导问题集发送至用户端；
第二文本信息获取单元，用于接收用户端根据所述引导问题集对应发送的回复文本信息以作为当前待识别文本信息；
语义向量获取单元，用于对所述当前待识别文本信息进行语义识别，以得到与所述当前待识别文本信息对应的语义向量；
影像分类单元，用于接收上传的心电图影像，调用预先训练的基于注意力机制的Res2Net分类网络，将所述心电图影像根据所述基于注意力机制的Res2Net分类网络进行分类，得到对应的输出向量；以及
分类结果获取单元，用于调用预先训练的Light GBM模型，将所述语义向量及所述输出向量输入至所述Light GBM模型进行分类，得到对应的分类结果；
其中，所述引导问题集中包括多个引导问题以用于引导用户回复有效信息；
所述回复文本信息通过服务器与用户端基于所述引导问题集的多轮对话得到。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于语义和图像识别的心电信息提取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于语义和图像识别的心电信息提取方法。
CN202011001748.5A 2020-09-22 2020-09-22 基于语义和图像识别的心电信息提取方法及装置 Active CN111931717B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011001748.5A CN111931717B (zh) 2020-09-22 2020-09-22 基于语义和图像识别的心电信息提取方法及装置
PCT/CN2020/125059 WO2021159751A1 (zh) 2020-09-22 2020-10-30 基于语义和图像识别的心电信息提取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011001748.5A CN111931717B (zh) 2020-09-22 2020-09-22 基于语义和图像识别的心电信息提取方法及装置

Publications (2)

Publication Number Publication Date
CN111931717A CN111931717A (zh) 2020-11-13
CN111931717B true CN111931717B (zh) 2021-01-26

Family

ID=73333988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011001748.5A Active CN111931717B (zh) 2020-09-22 2020-09-22 基于语义和图像识别的心电信息提取方法及装置

Country Status (2)

Country Link
CN (1) CN111931717B (zh)
WO (1) WO2021159751A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597289B (zh) * 2020-12-24 2024-03-01 北京明略软件系统有限公司 问询信息分类方法、模型训练方法、装置和电子设备
CN112603330B (zh) * 2020-12-28 2022-07-26 中国科学院微电子研究所 心电信号识别分类方法
CN113221869B (zh) * 2021-05-25 2023-09-05 中国平安人寿保险股份有限公司 医疗发票结构化信息提取方法、装置设备及存储介质
CN113496228B (zh) * 2021-07-30 2024-03-26 大连海事大学 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法
CN114092813B (zh) * 2021-11-25 2022-08-05 中国科学院空天信息创新研究院 一种工业园区图像提取方法、系统、电子设备和存储介质
CN113920512B (zh) * 2021-12-08 2022-03-15 共道网络科技有限公司 一种图像识别的方法及装置
CN114299522B (zh) * 2022-01-10 2023-08-29 北京百度网讯科技有限公司 图像识别方法装置、设备和存储介质
CN115860783B (zh) * 2022-12-23 2023-09-26 广东南粤分享汇控股有限公司 一种基于人工智能的电商平台用户反馈分析方法及系统
CN117219249A (zh) * 2023-05-10 2023-12-12 威海市立医院 基于智慧医疗数字化平台的设备定位管理系统
CN116431004B (zh) * 2023-06-01 2023-08-29 山东协和学院 康复机器人交互行为的控制方法及系统
CN117540935B (zh) * 2024-01-09 2024-04-05 上海银行股份有限公司 一种基于区块链技术的dao运营管理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764268A (zh) * 2018-04-02 2018-11-06 华南理工大学 一种基于深度学习的图文多模态情感识别方法
CN110363439A (zh) * 2019-07-19 2019-10-22 山东浪潮人工智能研究院有限公司 一种基于消费者人群画像的信用评分方法
CN111341408A (zh) * 2020-03-26 2020-06-26 联影智能医疗科技(北京)有限公司 影像报告模板的生成方法、计算机设备和存储介质
CN111627531A (zh) * 2020-06-02 2020-09-04 中国医学科学院阜外医院深圳医院(深圳市孙逸仙心血管医院) 一种基于人工智能的医学影像分类处理系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778685A (zh) * 2017-01-12 2017-05-31 司马大大（北京）智能系统有限公司 心电图图像识别方法、装置及服务终端
US10599774B1 (en) * 2018-02-26 2020-03-24 Facebook, Inc. Evaluating content items based upon semantic similarity of text
CN109512442A (zh) * 2018-12-21 2019-03-26 杭州电子科技大学 一种基于LightGBM的EEG疲劳状态分类方法
CN110543822A (zh) * 2019-07-29 2019-12-06 浙江理工大学 一种基于卷积神经网络和监督式离散哈希算法的指静脉识别方法
CN111159378B (zh) * 2019-12-30 2023-07-18 支付宝(杭州)信息技术有限公司 对问题描述信息进行分类的方法及装置
CN111317464B (zh) * 2020-02-13 2021-06-22 中国科学院自动化研究所 心电图分析方法和装置
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类系统
CN111678531B (zh) * 2020-06-18 2023-11-14 李�昊 一种基于LightGBM的地铁路径规划方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764268A (zh) * 2018-04-02 2018-11-06 华南理工大学 一种基于深度学习的图文多模态情感识别方法
CN110363439A (zh) * 2019-07-19 2019-10-22 山东浪潮人工智能研究院有限公司 一种基于消费者人群画像的信用评分方法
CN111341408A (zh) * 2020-03-26 2020-06-26 联影智能医疗科技(北京)有限公司 影像报告模板的生成方法、计算机设备和存储介质
CN111627531A (zh) * 2020-06-02 2020-09-04 中国医学科学院阜外医院深圳医院(深圳市孙逸仙心血管医院) 一种基于人工智能的医学影像分类处理系统

Also Published As

Publication number Publication date
WO2021159751A1 (zh) 2021-08-19
CN111931717A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111931717B (zh) 基于语义和图像识别的心电信息提取方法及装置
CN112035672A (zh) 一种知识图谱补全方法、装置、设备以及存储介质
CN112015917A (zh) 基于知识图谱的数据处理方法、装置及计算机设备
CN111553419B (zh) 一种图像识别方法、装置、设备以及可读存储介质
CN111772619A (zh) 一种心电图心搏识别方法、终端设备及存储介质
CN112257613B (zh) 体检报告信息结构化提取方法、装置及计算机设备
CN111582342B (zh) 一种图像识别方法、装置、设备以及可读存储介质
CN112560964A (zh) 基于半监督学习训练中草药病虫害识别模型的方法与系统
CN115239675A (zh) 分类模型的训练方法、图像分类方法和装置、设备及介质
CN114886404B (zh) 一种电子设备、装置及存储介质
CN112971718A (zh) 证候识别方法、装置、电子设备及存储介质
Yang et al. Photoplethysmography biometric recognition model based on sparse softmax vector and k-nearest neighbor
CN115410717A (zh) 模型训练方法、数据检索方法、影像数据检索方法和装置
CN116740691A (zh) 基于图像的情绪识别方法、装置、设备和存储介质
CN114550946A (zh) 医疗数据处理方法、装置及存储介质
CN113889281B (zh) 一种中文医疗智能实体识别方法、装置及计算机设备
CN114694234B (zh) 情绪识别方法、系统、电子设备和存储介质
CN116109980A (zh) 一种基于视频文本匹配的动作识别方法
CN115547502A (zh) 基于时序数据的血透病人风险预测装置
CN115759052A (zh) 一种文本纠错方法、装置、电子设备及存储介质
CN111950482B (zh) 基于视频学习和文本学习的三元组获取方法及装置
CN113903433A (zh) 一种图像处理方法、装置和电子设备
CN112035662A (zh) 文本处理方法、装置、计算机设备以及存储介质
CN117520473B (zh) 围产医学研究数据库构建方法及其系统
CN115810099B (zh) 一种用于虚拟沉浸式抑郁症治疗系统的图像融合设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant