CN117523593B - 患者病历数据处理方法及系统 - Google Patents
患者病历数据处理方法及系统 Download PDFInfo
- Publication number
- CN117523593B CN117523593B CN202410002200.4A CN202410002200A CN117523593B CN 117523593 B CN117523593 B CN 117523593B CN 202410002200 A CN202410002200 A CN 202410002200A CN 117523593 B CN117523593 B CN 117523593B
- Authority
- CN
- China
- Prior art keywords
- text
- semantic
- advice
- doctor
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 219
- 230000004927 fusion Effects 0.000 claims abstract description 100
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000000903 blocking effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012552 review Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000011176 pooling Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000306 component Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Abstract
本发明公开了一种患者病历数据处理方法及系统，涉及数据处理领域，其首先获取医嘱文本图像，接着，对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量，然后，对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列，接着，对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征，最后，基于所述多模态医嘱文本融合特征，确定最终医嘱识别文本，并生成电子医嘱单。这样，可以提高医疗信息的处理和管理效率，减少纸质医嘱的使用，同时便于医生和其他医疗工作者对医嘱进行查阅和共享。
Description
技术领域
本申请涉及数据处理领域，且更为具体地，涉及一种患者病历数据处理方法及系统。
背景技术
随着医疗信息化的发展，电子病历已经成为医疗机构中常见的数据形式。电子病历中包含了患者的病历信息，包括病史、诊断、治疗方案等内容，其中，医嘱是医生对患者进行治疗或护理的指导，医疗质量和安全的重要保障，也是病历中非常重要的部分。
传统的医嘱记录方式是纸质的，医生会书写在病历本上或者开具纸质医嘱单，纸质医嘱单存在易损坏、易丢失、不便查询等缺点。电子医嘱单是将纸质医嘱转化为电子化的形式，可以提高医嘱的管理效率和准确性，降低医疗错误的风险。然而，目前的电子医嘱单生成方式主要依赖于人工录入，耗时耗力，且容易出现录入错误。
因此，期望一种优化的患者病历数据处理方案。
发明内容
有鉴于此，本申请提出了一种患者病历数据处理方法及系统，其可以提高医疗信息的处理和管理效率，减少纸质医嘱的使用，同时便于医生和其他医疗工作者对医嘱进行查阅和共享。
根据本申请的一方面，提供了一种患者病历数据处理方法，其包括：
获取医嘱文本图像；
对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量；
对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列；
对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征；
基于所述多模态医嘱文本融合特征，确定最终医嘱识别文本，并生成电子医嘱单；
其中，将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量作为所述多模态医嘱文本融合特征，包括：
将所述医嘱文本语义编码特征向量通过基于全连接层的医嘱文本语义全连接编码器以得到医嘱文本语义全连接特征向量；
将所述医嘱文本图像语义特征向量的序列进行位置编码后排列为医嘱文本图像语义全局特征向量；
融合所述医嘱文本语义全连接特征向量和所述医嘱文本图像语义全局特征向量以得到医嘱文本全局语义多模态融合特征向量；
将所述医嘱文本图像语义特征向量的序列通过基于一维卷积层的医嘱文本图像语义关联特征提取器以得到医嘱文本图像全局语义关联特征向量；
融合所述医嘱文本全局语义多模态融合特征向量和所述医嘱文本图像全局语义关联特征向量以得到所述多模态医嘱文本融合特征向量。
根据本申请的另一方面，提供了一种患者病历数据处理系统，其包括：
图像获取模块，用于获取医嘱文本图像；
识别理解模块，用于对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量；
图像局部字形语义分析模块，用于对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列；
多模态特征嵌入编码模块，用于对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征；
医嘱单生成模块，用于基于所述多模态医嘱文本融合特征，确定最终医嘱识别文本，并生成电子医嘱单；
其中，所述多模态特征嵌入编码模块，包括：
将所述医嘱文本语义编码特征向量通过基于全连接层的医嘱文本语义全连接编码器以得到医嘱文本语义全连接特征向量；
将所述医嘱文本图像语义特征向量的序列进行位置编码后排列为医嘱文本图像语义全局特征向量；
融合所述医嘱文本语义全连接特征向量和所述医嘱文本图像语义全局特征向量以得到医嘱文本全局语义多模态融合特征向量；
将所述医嘱文本图像语义特征向量的序列通过基于一维卷积层的医嘱文本图像语义关联特征提取器以得到医嘱文本图像全局语义关联特征向量；
融合所述医嘱文本全局语义多模态融合特征向量和所述医嘱文本图像全局语义关联特征向量以得到所述多模态医嘱文本融合特征向量。
本发明的有益效果：
本申请首先获取医嘱文本图像，接着，对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量，然后，对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列，接着，对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征，最后，基于所述多模态医嘱文本融合特征，确定最终医嘱识别文本，并生成电子医嘱单。这样，可以提高医疗信息的处理和管理效率，减少纸质医嘱的使用，同时便于医生和其他医疗工作者对医嘱进行查阅和共享。
根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出本申请的实施例的患者病历数据处理方法的流程图。
图2示出本申请的实施例的患者病历数据处理方法的架构示意图。
图3示出本申请的实施例的患者病历数据处理方法的子步骤S120的流程图。
图4示出本申请的实施例的患者病历数据处理方法的子步骤S130的流程图。
图5示出本申请的实施例的患者病历数据处理方法的子步骤S140的流程图。
图6示出本申请的实施例的患者病历数据处理方法的子步骤S150的流程图。
图7示出本申请的实施例的患者病历数据处理方法的子步骤S151的流程图。
图8示出本申请的实施例的患者病历数据处理系统的框图。
图9示出本申请的实施例的患者病历数据处理方法的应用场景图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
针对上述技术问题，本申请的技术构思为通过采集医嘱文本图像，并在后端引入图像处理和语义理解算法来进行医嘱文本图像的语义分析，以此来对于图像中的医嘱部分进行文本识别和语义理解，以提高医嘱的识别准确性和可理解性，从而生成电子医嘱单。这样，能够基于患者病历数据中的医嘱文本自动生成电子医嘱单，从而提高医疗信息的处理和管理效率，减少纸质医嘱的使用，同时便于医生和其他医疗工作者对医嘱进行查阅和共享。
图1示出本申请的实施例的患者病历数据处理方法的流程图。图2示出本申请的实施例的患者病历数据处理方法的架构示意图。如图1和图2所示，本申请实施例的患者病历数据处理方法，包括步骤：S110，获取医嘱文本图像；S120，对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量；S130，对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列；S140，对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征；以及，S150，基于所述多模态医嘱文本融合特征，确定最终医嘱识别文本，并生成电子医嘱单。
应可以理解，在步骤S110中，获取患者的医嘱文本图像可以通过扫描纸质文档、拍摄照片或从电子文档中提取图像来完成。在步骤S120中，将医嘱文本从图像中提取出来，并进行语义理解以获得医嘱的含义和信息。在步骤S130中，对医嘱文本图像进行局部字形语义分析，可以识别医嘱文本中的字体、大小、粗细等字形特征，并将它们转化为语义特征向量的序列。在步骤S140中，将医嘱文本语义编码特征向量和医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码可以将不同模态（文本和图像）的特征进行融合，以得到更全面、丰富的医嘱文本特征。在步骤S150中，通过综合考虑多模态特征，可以准确地识别医嘱的内容，并生成电子形式的医嘱单，以便医务人员进行进一步地处理和记录。总体而言，这些步骤结合了图像处理、文本识别、语义理解和特征融合等技术，旨在从医嘱文本图像中提取有用的信息，并生成可用于电子医疗记录的电子医嘱单。
具体地，在本申请的技术方案中，首先，获取医嘱文本图像。接着，为了能够对医嘱文本图像中的医嘱文本信息进行语义理解，需要将医嘱从图像形式转化为可处理的文本数据。因此，在本申请的技术方案中，进一步对所述医嘱文本图像进行文本识别以得到初步医嘱识别文本，这是由于医嘱文本图像可能是由医生手写的纸质医嘱单或者其他形式的图像生成的，通过文本识别技术可以将图像中的文字信息提取出来，以便于后续的医嘱文本语义理解和分析。然后，再对所述初步医嘱识别文本进行语义编码，以提取出所述初步医嘱识别文本中的医嘱语义特征信息，从而得到医嘱文本语义编码特征向量。
相应地，在步骤S120中，如图3所示，对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量，包括：S121，对所述医嘱文本图像进行文本识别以得到初步医嘱识别文本；以及，S122，对所述初步医嘱识别文本进行语义编码以得到所述医嘱文本语义编码特征向量。
应可以理解，在步骤S121中，可以使用例如光学字符识别（OCR）等技术对医嘱文本图像进行处理，将图像中的文字识别为计算机可读的文本，这样就可以将医嘱文本从图像中提取出来，得到初步的医嘱识别文本。在步骤S122中，对初步医嘱识别文本进行语义理解和编码，语义编码是将自然语言文本转换为计算机可理解的表示形式的过程，通过对医嘱文本进行语义编码，可以提取出医嘱的关键信息、意图和上下文等语义特征，并将其表示为医嘱文本语义编码特征向量，这个特征向量可以用于后续的分析和处理。
进一步地，考虑到在所述医嘱文本图像中，每个字通常是一个独立的单位，具有独特的形状和特征。因此，为了能够进一步提高对于医嘱语义理解以及医嘱文本生成的精度，在本申请的技术方案中，进一步对所述医嘱文本图像进行图像分块处理以得到医嘱文本图像块的序列。特别地，这里，对所述医嘱文本图像进行图像分块处理并进行序列排列，能够有助于后续捕捉到图像中关于每个字的细节特征信息，并保留字与字之间的空间关系，从而提高对于医嘱文本的语义理解精准度和充分度。
接着，为了能够从医嘱文本图像中提取出各个字的文本语义特征信息，以此来优化医嘱文本的语义表达，在本申请的技术方案中，需要进一步将所述医嘱文本图像块的序列通过基于卷积神经网络模型的字形特征提取器进行特征挖掘，以提取出所述医嘱文本图像中的每个字的字形特征信息，从而得到医嘱文本图像语义特征向量的序列。这样，得到的所述医嘱文本图像语义特征向量的序列可以更好地表示医嘱文本图像中各个字形的语义信息，为后续的特征融合和处理提供更丰富和有意义的特征表示。
相应地，在步骤S130中，如图4所示，对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列，包括：S131，对所述医嘱文本图像进行图像分块处理以得到医嘱文本图像块的序列；以及，S132，将所述医嘱文本图像块的序列通过基于卷积神经网络模型的字形特征提取器以得到所述医嘱文本图像语义特征向量的序列。
应可以理解，在步骤S131中，对医嘱文本图像进行图像分块处理意味着将医嘱文本图像划分为多个小块或区域，以便对每个块进行进一步地分析和处理，通过分块处理，可以将医嘱文本图像的局部信息捕捉到，并为后续的特征提取和分析提供更精细的输入。在步骤S132中，使用基于卷积神经网络（CNN）模型的字形特征提取器对医嘱文本图像块的序列进行处理，卷积神经网络模型可以学习医嘱文本图像块的字形特征，如线条、形状、纹理等，从而将每个图像块转换为对应的语义特征向量。通过应用卷积神经网络模型，可以从医嘱文本图像中提取出更高级、更抽象的语义特征，以表示医嘱文本图像的语义信息，这个特征向量序列可以用于后续的多模态特征嵌入编码和医嘱识别任务。
值得一提的是，卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，主要用于处理具有网格结构的数据。卷积神经网络的核心思想是通过卷积层（Convolutional Layer）、池化层（Pooling Layer）和全连接层（Fully Connected Layer）等组件来逐层提取图像特征并进行分类或回归等任务。卷积层是卷积神经网络的核心组件，它通过在输入数据上滑动卷积核（一小块权重矩阵），对输入数据进行卷积操作并生成特征图，卷积操作可以捕捉输入数据的局部关系，例如图像中的边缘、纹理等特征。池化层用于减小特征图的空间尺寸，同时保留重要的特征。常用的池化操作包括最大池化和平均池化，它们通过在特定区域内取最大值或平均值来减小特征图的维度。全连接层将池化层输出的特征图展平成一维向量，并通过一系列的全连接层进行分类、回归等任务。卷积神经网络通过多个卷积层和池化层的堆叠，可以逐渐提取出越来越高级的特征表示，从而实现对复杂数据的有效建模和处理。
然后，考虑到所述医嘱文本语义编码特征向量是通过对所述初步医嘱识别文本进行语义编码得到的，它捕捉了所述医嘱识别文本的文本语义特征。而所述医嘱文本图像语义特征向量的序列是通过基于卷积神经网络模型的字形特征提取器从所述医嘱文本图像中提取的每个字的图像语义特征。因此，为了将文本和图像两种模态的语义信息进行融合，以获取更全面和丰富的医嘱表示，在本申请的技术方案中，进一步将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量。这样，能够基于所述医嘱文本语义编码特征向量的编码文本语义特征分布来对所述医嘱文本图像语义特征向量的序列的图像语义特征表示进行动态约束，使得所述多模态医嘱文本融合特征向量具有基于医嘱文本的跨模态融合语义表示，从而提高医嘱的识别准确性和表达能力。
相应地，在步骤S140中，对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征，包括：将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量，作为所述多模态医嘱文本融合特征。
应可以理解，多模态特征嵌入模块在医嘱文本分析中的作用是将医嘱文本语义编码特征向量和医嘱文本图像语义特征向量的序列进行融合，生成多模态医嘱文本融合特征向量，这个融合特征向量综合了医嘱文本的语义信息和医嘱文本图像的视觉信息，从而更全面地表示医嘱的语义含义。多模态特征嵌入模块的具体功能可以包括以下几个方面：1.特征融合：将医嘱文本语义编码特征向量和医嘱文本图像语义特征向量的序列进行融合。这可以通过简单的向量拼接、加权求和或者更复杂的融合方法来实现，以生成一个综合的多模态特征向量。2.特征对齐：医嘱文本语义编码特征向量和医嘱文本图像语义特征向量的序列可能具有不同的维度或表示方式，特征对齐的目的是将它们转化为相同的表示空间，以便进行融合和后续的处理。3.特征学习：多模态特征嵌入模块可以通过学习适应性的权重或者非线性变换来提取更有用的特征表示。这可以通过神经网络、注意力机制等方法来实现，以捕捉医嘱文本和图像之间的相关性和重要性。4.特征降维：在融合后的多模态特征向量中，可能存在冗余或不相关的信息。特征降维的目的是减少特征的维度，保留最重要的信息，并提高后续任务的效率和准确性。通过多模态特征嵌入模块，可以将医嘱文本的语义信息和医嘱文本图像的视觉信息有效地结合起来，提供更全面、更丰富的特征表示，从而为后续的医嘱识别等任务提供更有力的支持。
具体地，如图5所示，将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量作为所述多模态医嘱文本融合特征，包括：S141，将所述医嘱文本语义编码特征向量通过基于全连接层的医嘱文本语义全连接编码器以得到医嘱文本语义全连接特征向量；S142，将所述医嘱文本图像语义特征向量的序列进行位置编码后排列为医嘱文本图像语义全局特征向量；S143，融合所述医嘱文本语义全连接特征向量和所述医嘱文本图像语义全局特征向量以得到医嘱文本全局语义多模态融合特征向量；S144，将所述医嘱文本图像语义特征向量的序列通过基于一维卷积层的医嘱文本图像语义关联特征提取器以得到医嘱文本图像全局语义关联特征向量；以及，S145，融合所述医嘱文本全局语义多模态融合特征向量和所述医嘱文本图像全局语义关联特征向量以得到所述多模态医嘱文本融合特征向量。
值得一提的是，一维卷积层（1D Convolutional Layer）是卷积神经网络中的一种常见层类型，与二维卷积层（2D Convolutional Layer）不同，一维卷积层主要用于处理一维序列数据，例如文本数据或时间序列数据。一维卷积层的作用是通过卷积操作在输入序列上提取局部特征。它使用一个可学习的滤波器（也称为卷积核）在输入序列上进行滑动窗口操作，计算每个窗口内的卷积运算。通过这种方式，一维卷积层可以捕捉到输入序列中的局部模式和特征。一维卷积层在多模态医嘱文本融合特征的提取中起到重要的作用。在步骤S144中，一维卷积层被用作医嘱文本图像语义关联特征提取器的一部分，用于从医嘱文本图像语义特征向量序列中提取全局语义关联特征向量。通过应用一维卷积操作，这个特征提取器可以捕捉到医嘱文本图像语义特征序列中的局部模式和关联信息。一维卷积层的滤波器可以自动学习到适合特定任务的特征表示，从而提取出对医嘱文本图像语义关联有用的特征。一维卷积层在多模态特征嵌入模块中的使用有助于将医嘱文本图像语义特征与医嘱文本语义编码特征进行融合，生成多模态医嘱文本融合特征向量，进而提高医嘱识别的性能和准确性。
继而，再将所述多模态医嘱文本融合特征向量通过解码器以得到最终医嘱识别文本。也就是说，对所述医嘱文本的跨模态融合语义特征信息来进行解码回归，以此来对医嘱文本图像中的医嘱部分进行文本识别和语义理解，以生成最终医嘱识别文本，并基于所述最终医嘱识别文本，生成电子医嘱单。这样，能够对于医嘱文本图像进行文本识别和语义理解来生成电子医嘱单，从而提高医疗信息的处理和管理效率，减少纸质医嘱的使用，同时便于医生和其他医疗工作者对医嘱进行查阅和共享。
相应地，在步骤S150中，如图6所示，基于所述多模态医嘱文本融合特征，确定最终医嘱识别文本，并生成电子医嘱单，包括：S151，将所述多模态医嘱文本融合特征向量通过解码器以得到最终医嘱识别文本；以及，S152，基于所述最终医嘱识别文本，生成电子医嘱单。
这里，值得一提的是，解码器是一个模型组件，用于将多模态医嘱文本融合特征向量转换为最终的医嘱识别文本，解码器在多模态医嘱文本识别任务中扮演着重要的角色，它负责将抽象的特征表示转化为可读的文本输出。解码器通常采用一种序列生成模型，例如循环神经网络（RNN）或者注意力机制（Attention mechanism）。这些模型可以根据输入的融合特征向量逐步生成医嘱识别文本的序列。解码器输入的是多模态医嘱文本融合特征向量，它会逐步预测生成医嘱识别文本的每个字符或单词。解码器输出的是一个序列，经过适当的后处理（例如，去除填充字符或标记），即可得到最终的医嘱识别文本。解码器的训练过程通常使用序列生成任务的损失函数，例如交叉熵损失函数，通过最小化损失函数来优化解码器模型，使其能够生成准确的医嘱识别文本。
具体地，在步骤S151中，如图7所示，将所述多模态医嘱文本融合特征向量通过解码器以得到最终医嘱识别文本，包括：S1511，基于所述医嘱文本语义编码特征向量对所述多模态医嘱文本融合特征向量进行优化以得到优化后多模态医嘱文本融合特征向量；以及，S1512，将所述优化后多模态医嘱文本融合特征向量通过所述解码器以得到所述最终医嘱识别文本。
应可以理解，S1511和S1512是两个重要的步骤，用于优化多模态医嘱文本融合特征向量并生成最终的医嘱识别文本。步骤S1511的目的是通过对多模态医嘱文本融合特征向量进行优化，进一步提升特征表示的质量和表达能力，具体来说，它利用医嘱文本语义编码特征向量作为引导，通过一些优化技术（例如注意力机制、门控机制等），对多模态特征进行加权、筛选或调整，以提高特征的区分性和重要性。步骤S1512使用解码器模块，将优化后的多模态医嘱文本融合特征向量转化为最终的医嘱识别文本。解码器可以是一个递归神经网络（如循环神经网络）或者是一个注意力机制的变种（如Transformer模型）。解码器通过对特征向量进行逐步解码和生成，产生医嘱识别文本的序列输出。通过这两个步骤，可以将多模态的医嘱文本特征进行优化和解码，最终得到准确的医嘱识别文本。这样，可以在医疗领域中自动识别和解读医嘱，提高工作效率和准确性。
特别地，在本申请的技术方案中，所述医嘱文本语义编码特征向量表达医嘱识别文本的文本语义特征，而所述医嘱文本图像语义特征向量的序列表达所述医嘱文本图像的每个字的图像语义特征，由此，将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块时，会基于所述医嘱文本语义编码特征向量的编码文本语义特征分布来对所述医嘱文本图像语义特征向量的序列的图像语义特征表示进行动态约束，使得所述多模态医嘱文本融合特征向量具有基于医嘱文本的跨模态融合语义表示，也就是，在将所述多模态医嘱文本融合特征向量通过解码器进行文本语义回归的基础上，所述多模态医嘱文本融合特征向量是相对于所述医嘱文本图像语义特征向量的序列的对于源语义解码回归目标的插值式跨模态语义关联混合。
这样，为了提升所述多模态医嘱文本融合特征向量在所述医嘱文本的以字为单位的图像语义特征的表达一致性基础上的源语义文本特征关联强化表达效果，基于所述医嘱文本语义编码特征向量对所述多模态医嘱文本融合特征向量进行优化。
相应地，在一个示例中，基于所述医嘱文本语义编码特征向量对所述多模态医嘱文本融合特征向量进行优化以得到优化后多模态医嘱文本融合特征向量，包括：基于所述医嘱文本语义编码特征向量，以如下优化公式对所述多模态医嘱文本融合特征向量进行优化以得到所述优化后多模态医嘱文本融合特征向量；其中，所述优化公式为：
；
；
其中，是所述医嘱文本语义编码特征向量，/>是所述多模态医嘱文本融合特征向量，/>和/>分别表示所述医嘱文本语义编码特征向量/>和所述多模态医嘱文本融合特征向量/>的全局最大值的倒数，/>是单位向量，且/>表示对所述多模态医嘱文本融合特征向量/>的逐位置特征值取倒数，/>表示按位置点乘，/>表示向量减法，/>表示向量加法，/>是所述优化后多模态医嘱文本融合特征向量。
具体地，针对在特征提取过程中对于回归目标的插值式跨模态语义关联混合，基于插值正则化的思想，通过将离群特征的特征映射解除混合，使得高维特征流形基于归纳偏差而恢复到以弱增强为基础的流形几何形状，实现基于特征提取的插值样本和插值预测的一致性特征增强映射，以在保持所述多模态医嘱文本融合特征向量在所述医嘱文本的以字为单位的图像语义特征的表达一致性的同时获得源语义文本特征关联强化表达效果，从而改进所述多模态医嘱文本融合特征向量的文本语义特征表达效果，以提升所述多模态医嘱文本融合特征向量通过解码器得到的所述最终医嘱识别文本的文本质量。这样，能够基于患者病历数据中的医嘱文本自动生成电子医嘱单，从而提高医疗信息的处理和管理效率，减少纸质医嘱的使用，同时便于医生和其他医疗工作者对医嘱进行查阅和共享。
进一步地，在步骤S1512中，将所述优化后多模态医嘱文本融合特征向量通过所述解码器以得到所述最终医嘱识别文本，包括：使用所述解码器的多个全连接层按如下解码公式对所述优化后多模态医嘱文本融合特征向量进行解码回归以获得所述最终医嘱识别文本，其中，所述解码公式为：
，其中，/>是所述优化后多模态医嘱文本融合特征向量，/>是所述最终医嘱识别文本，/>是权重矩阵，/>是偏置向量，/>表示矩阵乘法，为激活函数。
综上，基于本申请实施例的患者病历数据处理方法，其可以提高医疗信息的处理和管理效率，减少纸质医嘱的使用，同时便于医生和其他医疗工作者对医嘱进行查阅和共享。
图8示出本申请的实施例的患者病历数据处理系统100的框图。如图8所示，本申请实施例的患者病历数据处理系统100，包括：图像获取模块110，用于获取医嘱文本图像；识别理解模块120，用于对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量；图像局部字形语义分析模块130，用于对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列；多模态特征嵌入编码模块140，用于对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征；以及，医嘱单生成模块150，用于基于所述多模态医嘱文本融合特征，确定最终医嘱识别文本，并生成电子医嘱单。
在一种可能的实现方式中，所述识别理解模块120，包括：文本识别单元，用于对所述医嘱文本图像进行文本识别以得到初步医嘱识别文本；以及，语义编码单元，用于对所述初步医嘱识别文本进行语义编码以得到所述医嘱文本语义编码特征向量。
这里，本领域技术人员可以理解，上述患者病历数据处理系统100中的各个单元和模块的具体功能和操作已经在上面图1到图7的患者病历数据处理方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的患者病历数据处理系统100可以实现在各种无线终端中，例如具有患者病历数据处理算法的服务器等。在一种可能的实现方式中，根据本申请实施例的患者病历数据处理系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该患者病历数据处理系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该患者病历数据处理系统100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该患者病历数据处理系统100与该无线终端也可以是分立的设备，并且该患者病历数据处理系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
图9示出本申请的实施例的患者病历数据处理方法的应用场景图。如图9所示，在该应用场景中，首先，获取医嘱文本图像（例如，图9中所示意的D），然后，将所述医嘱文本图像输入至部署有患者病历数据处理算法的服务器（例如，图9中所示意的S）中，其中，所述服务器能够使用所述患者病历数据处理算法对所述医嘱文本图像进行处理以得到最终医嘱识别文本。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (8)
1.一种患者病历数据处理方法，其特征在于，包括：
获取医嘱文本图像；
对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量；
对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列；
对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征；
基于所述多模态医嘱文本融合特征，确定最终医嘱识别文本，并生成电子医嘱单；
其中，对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征，包括：将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量，作为所述多模态医嘱文本融合特征；
其中，将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量作为所述多模态医嘱文本融合特征，包括：
将所述医嘱文本语义编码特征向量通过基于全连接层的医嘱文本语义全连接编码器以得到医嘱文本语义全连接特征向量；
将所述医嘱文本图像语义特征向量的序列进行位置编码后排列为医嘱文本图像语义全局特征向量；
融合所述医嘱文本语义全连接特征向量和所述医嘱文本图像语义全局特征向量以得到医嘱文本全局语义多模态融合特征向量；
将所述医嘱文本图像语义特征向量的序列通过基于一维卷积层的医嘱文本图像语义关联特征提取器以得到医嘱文本图像全局语义关联特征向量；
融合所述医嘱文本全局语义多模态融合特征向量和所述医嘱文本图像全局语义关联特征向量以得到所述多模态医嘱文本融合特征向量。
2.根据权利要求1所述的患者病历数据处理方法，其特征在于，对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量，包括：
对所述医嘱文本图像进行文本识别以得到初步医嘱识别文本；
对所述初步医嘱识别文本进行语义编码以得到所述医嘱文本语义编码特征向量。
3.根据权利要求2所述的患者病历数据处理方法，其特征在于，对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列，包括：
对所述医嘱文本图像进行图像分块处理以得到医嘱文本图像块的序列；
将所述医嘱文本图像块的序列通过基于卷积神经网络模型的字形特征提取器以得到所述医嘱文本图像语义特征向量的序列。
4.根据权利要求3所述的患者病历数据处理方法，其特征在于，基于所述多模态医嘱文本融合特征，确定最终医嘱识别文本，并生成电子医嘱单，包括：
将所述多模态医嘱文本融合特征向量通过解码器以得到最终医嘱识别文本；
基于所述最终医嘱识别文本，生成电子医嘱单。
5.根据权利要求4所述的患者病历数据处理方法，其特征在于，将所述多模态医嘱文本融合特征向量通过解码器以得到最终医嘱识别文本，包括：
基于所述医嘱文本语义编码特征向量对所述多模态医嘱文本融合特征向量进行优化以得到优化后多模态医嘱文本融合特征向量；
将所述优化后多模态医嘱文本融合特征向量通过所述解码器以得到所述最终医嘱识别文本。
6.根据权利要求5所述的患者病历数据处理方法，其特征在于，将所述优化后多模态医嘱文本融合特征向量通过所述解码器以得到所述最终医嘱识别文本，包括：使用所述解码器的多个全连接层按如下解码公式对所述优化后多模态医嘱文本融合特征向量进行解码回归以获得所述最终医嘱识别文本，其中，所述解码公式为：
，其中，/>是所述优化后多模态医嘱文本融合特征向量，/>是所述最终医嘱识别文本，/>是权重矩阵，/>是偏置向量，/>表示矩阵乘法，为激活函数。
7.一种患者病历数据处理系统，其特征在于，包括：
图像获取模块，用于获取医嘱文本图像；
识别理解模块，用于对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量；
图像局部字形语义分析模块，用于对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列；
多模态特征嵌入编码模块，用于对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征；
医嘱单生成模块，用于基于所述多模态医嘱文本融合特征，确定最终医嘱识别文本，并生成电子医嘱单；
其中，所述多模态特征嵌入编码模块，包括：将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量，作为所述多模态医嘱文本融合特征；
其中，将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量作为所述多模态医嘱文本融合特征，包括：
将所述医嘱文本语义编码特征向量通过基于全连接层的医嘱文本语义全连接编码器以得到医嘱文本语义全连接特征向量；
将所述医嘱文本图像语义特征向量的序列进行位置编码后排列为医嘱文本图像语义全局特征向量；
融合所述医嘱文本语义全连接特征向量和所述医嘱文本图像语义全局特征向量以得到医嘱文本全局语义多模态融合特征向量；
将所述医嘱文本图像语义特征向量的序列通过基于一维卷积层的医嘱文本图像语义关联特征提取器以得到医嘱文本图像全局语义关联特征向量；
融合所述医嘱文本全局语义多模态融合特征向量和所述医嘱文本图像全局语义关联特征向量以得到所述多模态医嘱文本融合特征向量。
8.根据权利要求7所述的患者病历数据处理系统，其特征在于，所述识别理解模块，包括：
文本识别单元，用于对所述医嘱文本图像进行文本识别以得到初步医嘱识别文本；
语义编码单元，用于对所述初步医嘱识别文本进行语义编码以得到所述医嘱文本语义编码特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410002200.4A CN117523593B (zh) | 2024-01-02 | 2024-01-02 | 患者病历数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410002200.4A CN117523593B (zh) | 2024-01-02 | 2024-01-02 | 患者病历数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117523593A CN117523593A (zh) | 2024-02-06 |
| CN117523593B true CN117523593B (zh) | 2024-03-12 |
Family
ID=89751543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410002200.4A Active CN117523593B (zh) | 2024-01-02 | 2024-01-02 | 患者病历数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117523593B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114417836A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于深度学习的中文电子病历文本语义分割方法 |
| CN114530223A (zh) * | 2022-01-18 | 2022-05-24 | 华南理工大学 | 一种基于nlp的心血管疾病病历结构化系统 |
| CN115171838A (zh) * | 2022-08-24 | 2022-10-11 | 中南大学 | 基于跨模态融合的医学报告生成模型的训练方法 |
| CN116705304A (zh) * | 2023-06-16 | 2023-09-05 | 平安科技（深圳）有限公司 | 基于图像文本的多模态任务处理方法、装置、设备及介质 |
| CN116776872A (zh) * | 2023-03-29 | 2023-09-19 | 浙江大学 | 医疗数据结构化归档系统 |
| CN117174238A (zh) * | 2023-09-01 | 2023-12-05 | 诸暨市人民医院 | 基于人工智能的病理学报告自动生成方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113035362B (zh) * | 2021-02-26 | 2024-04-09 | 北京工业大学 | 一种基于语义图网络的医疗预测方法及系统 |
-
2024
- 2024-01-02 CN CN202410002200.4A patent/CN117523593B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114417836A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于深度学习的中文电子病历文本语义分割方法 |
| CN114530223A (zh) * | 2022-01-18 | 2022-05-24 | 华南理工大学 | 一种基于nlp的心血管疾病病历结构化系统 |
| CN115171838A (zh) * | 2022-08-24 | 2022-10-11 | 中南大学 | 基于跨模态融合的医学报告生成模型的训练方法 |
| CN116776872A (zh) * | 2023-03-29 | 2023-09-19 | 浙江大学 | 医疗数据结构化归档系统 |
| CN116705304A (zh) * | 2023-06-16 | 2023-09-05 | 平安科技（深圳）有限公司 | 基于图像文本的多模态任务处理方法、装置、设备及介质 |
| CN117174238A (zh) * | 2023-09-01 | 2023-12-05 | 诸暨市人民医院 | 基于人工智能的病理学报告自动生成方法 |
Non-Patent Citations (2)
| Title |
|---|
| Weijie Wang et al..Chinese Clinical Named Entity Recognition From Electronic Medical Records Based on Multisemantic Features by Using Robustly Optimized Bidirectional Encoder Representation From Transformers Pretraining Approach Whole Word Masking and Convolutional Neural Networks: Model Development and Validation.《JMIR MEDICAL INFORMATICS》.2023,第11卷第1-21页. * |
| 罗明.基于深度学习的病历质量控制系统设计.《计算机测量与控制》.2023,第31卷(第11期),第235-241页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117523593A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| RU2691214C1 (ru) | Распознавание текста с использованием искусственного интеллекта | |
| JP7193252B2 (ja) | 画像の領域のキャプション付加 | |
| CN110490081B (zh) | 一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法 | |
| Vandaele et al. | Landmark detection in 2D bioimages for geometric morphometrics: a multi-resolution tree-based approach | |
| CN110929622A (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| CN112257613A (zh) | 体检报告信息结构化提取方法、装置及计算机设备 | |
| KR101996371B1 (ko) | 영상 캡션 생성 시스템과 방법 및 이를 위한 컴퓨터 프로그램 | |
| CN113435451A (zh) | 模型、模型的训练方法和装置、字符序列的识别和装置 | |
| Li et al. | ViT-Cap: a novel vision transformer-based capsule network model for finger vein recognition | |
| CN115937887A (zh) | 文档结构化信息的提取方法及装置、电子设备、存储介质 | |
| Akanksh et al. | Automated invoice data extraction using image processing | |
| CN117523593B (zh) | 患者病历数据处理方法及系统 | |
| US20220027662A1 (en) | Optical character recognition using specialized confidence functions | |
| Kapse et al. | Cd-net: Histopathology representation learning using pyramidal context-detail network | |
| CN112699898A (zh) | 一种基于多层特征融合的图像方向识别方法 | |
| Zheng et al. | Scalable document image information extraction with application to domain-specific analysis | |
| RU2792743C1 (ru) | Идентификация используемых в документах систем письма | |
| CN111325068A (zh) | 基于卷积神经网络的视频描述方法及装置 | |
| Venkateswarlu et al. | AI-based Gender Identification using Facial Features | |
| CN114626430B (zh) | 情绪识别模型的训练方法、情绪识别方法、设备及介质 | |
| CN116543389B (zh) | 基于关系网络的字符识别方法、装置、设备及介质 | |
| RU2764705C1 (ru) | Извлечение нескольких документов из единого изображения | |
| CN116484878B (zh) | 电力异质数据的语义关联方法、装置、设备及存储介质 | |
| Ahmed et al. | A Deep Learning Based Offline Optical Character Recognition Model for Printed Ottoman Turkish |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |