CN112215845A - 基于多神经网络的医学影像信息识别方法、装置、系统 - Google Patents

基于多神经网络的医学影像信息识别方法、装置、系统 Download PDF

Info

Publication number
CN112215845A
CN112215845A CN202011394437.XA CN202011394437A CN112215845A CN 112215845 A CN112215845 A CN 112215845A CN 202011394437 A CN202011394437 A CN 202011394437A CN 112215845 A CN112215845 A CN 112215845A
Authority
CN
China
Prior art keywords
neural network
network model
identification information
information
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011394437.XA
Other languages
English (en)
Other versions
CN112215845B (zh
Inventor
宋拥军
伍锡焱
赵政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huqiu image (Suzhou) Co.,Ltd.
Original Assignee
Huqiu Imaging Technologies Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huqiu Imaging Technologies Suzhou Co ltd filed Critical Huqiu Imaging Technologies Suzhou Co ltd
Priority to CN202011394437.XA priority Critical patent/CN112215845B/zh
Publication of CN112215845A publication Critical patent/CN112215845A/zh
Application granted granted Critical
Publication of CN112215845B publication Critical patent/CN112215845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多神经网络的信息识别方法，包括将医学影像作为输入图像输入到第一神经网络模型中得到第一识别信息；将医学影像作为输入图像输入到第二神经网络模型中得到第二识别信息；当第一识别信息和第二识别信息不相同时，输出异常报告并记录异常报告的次数；根据异常报告的次数调整第一神经网络模型的第一参数及第二神经网络模型的第二参数。本发明叠加至少两个神经网络降低误识别率，根据多个识别结果的差异性，调整神经网络模型的参数，再进行多个神经网络模型进行图像识别，减少了识别的误差率的同时对误识别率进行评价及对模型进行优化，降低了出现医学报告误匹配的发生，避免医患纠纷。

Description

基于多神经网络的医学影像信息识别方法、装置、系统
技术领域
本发明涉及信息识别技术领域，具体涉及一种基于多神经网络的医学影像信息识别方法、装置、系统。
背景技术
自助打印系统从DR,CT,MR,PACS等影像工作站获取患者胶片，从PACS报告工作站获取患者的姓名，手机号，条形码号，就诊卡号，身份证号等患者信息与患者报告，通过特定的规则将患者的胶片与报告匹配。患者需要通过刷条形码/刷就诊卡/刷身份证后将相应的胶片和报告打印出来。
这种报告打印方式增加了患者的取片排队等待时间，而如果将患者的胶片信息直接发送给患者或医生，就需要对胶片信息进行图像识别。
现有的PACS报告工作站将患者胶片发至自动系统后，采用OCR引擎的模式，对图像多个区域进行图像识别，传统OCR引擎的模式是：灰度化->二值化->去黑边->寻找识别区域->行切割->字切割->OCR识别，这种识别方式的误差率较大，在医学影像技术领域中，需要相对于其他领域更为精确的图像识别方法，减少医患纠纷。例如，专利CN201610626310.3采用OCR识别方法识别出影像信息，实现影像信息与诊断报告一体化输出至影像存储系统。专利号为CN201811330262.9名称为“医学文本OCR方法及系统”先对文本文件进行分类，再通过专用的OCR识别器进行精确识别，以提高识别率。
对于现有技术中OCR进行的影像识别，仅考虑提高其识别精确率，但即使提高其识别精确率也不可能将识别的精度达到百分之百，且无法知晓识别过程是否发生了识别错误，更无法对识别过程进行修正。从而导致医学影像的误拿，通常到医生和/或患者手里才知晓姓名等信息错误，增加医患纠纷。当人为发现错误后引入人工调整，会降低效率。因此，有必要开发一种新的针对医学影像的识别方法，解决上述问题。
发明内容
针对现有技术的不足之处，本发明的目的在于提供一种多神经网络的医学影像信息识别方法、装置及系统。
本发明的技术方案概述如下：
一方面，本发明提供一种基于多神经网络的医学影像信息识别方法，包括：
将医学影像作为输入图像输入到第一神经网络模型中，得到第一识别信息；
将医学影像作为输入图像输入到第二神经网络模型中，得到第二识别信息；其中，所述第一神经网络模型与所述第二神经网络模型不关联；
判断所述第一识别信息和所述第二识别信息是否相同；
当所述第一识别信息和所述第二识别信息不相同时，输出异常报告并记录异常报告的次数；
根据所述异常报告的次数调整所述第一神经网络模型的第一参数及第二神经网络模型的第二参数。
进一步地，所述根据所述异常报告的次数调整所述第一神经网络模型的第一参数及第二神经网络模型的第二参数，包括：
根据所述第一识别信息和所述第二识别信息，得到所述第一识别信息与所述第二识别信息为不同信息的次数，为异常报告的次数；
判断所述不同信息的次数是否超过次数阈值；
当所述不同信息的次数超过所述次数阈值，调整所述第一神经网络模型的第一参数及第二神经网络模型的第二参数；
直至所述不同信息的次数不超过所述次数阈值；
当所述不同信息的次数不超过所述次数阈值，将所述第一识别信息与所述第二识别信息相同的识别信息作为输出的识别结果。
进一步地，所述第一神经网络模型为训练后的误识别率小于最大误识别率阈值的神经网络模型；
所述第二神经网络模型为训练后的误识别率小于最大误识别率阈值的神经网络模型。
进一步地，所述第一神经网络模型和/或第二神经网络模型为CRNN+CTC模型；
所述CRNN+CTC模型包括卷积层、递归层、解释层；
所述卷积层提取输入图像的卷积特征，得到特征图；
所述递归层采用LSTM结构，在卷积特征的基础上提取序列特征进行预测，对序列中的每个特征向量进行学习，并输出标签分布；
所述解释层接收所述递归层的输出，把从递归层获取的所述标签分布转换为最终的标签序列。
进一步地，所述卷积层提取输入图像的卷积特征，得到特征图；包括：
所述卷积层采用CNN神经网络，将大小为（32，W，3）的输入图像转换为（1,W/4，512）大小的卷积特征矩阵；其中，W为任意宽度；
所述卷积特征矩阵包括512个特征图，每个特征图的高度为1，宽度为W/4。
进一步地，所述递归层采用LSTM结构，在卷积特征的基础上提取序列特征进行预测，对序列中的每个特征向量进行学习，并输出标签分布；包括：
根据所述特征图提取所述递归层需要的特征向量序列；
在所述递归层采用的LSTM结构中，设置LSTM结构的时序长度T，T为所述卷积层提取的特征图的宽度W/4，将所述特征向量序列作为所述LSTM结构的输入，所述特征向量序列中的每个特征向量作为所述LSTM结构在一个时间步的输入；其中，所述第一参数和/或第二参数为所述LSTM结构的时序长度T；
根据输入的特征向量，进行预测，输出标签分布作为解释层的输入。
进一步地，所述第一神经网络模型的第一参数和/或第二神经网络模型的第二参数为LSTM结构的时序长度T；
当所述不同信息的次数超过所述次数阈值，减小所述LSTM结构的时序长度T为T1。
进一步地，当所述不同信息的次数超过所述次数阈值，减小所述LSTM结构的时序长度T为T1后，
判断所述T所对应的所述CRNN+CTC模型的误识别率是否小于最小误识别率阈值；
当所述T所对应的所述CRNN+CTC模型的误识别率小于最小误识别率阈值时，增大所述LSTM结构的时序长度T为T2；其中，T2为T和T1的中间值。
相应地，本发明还提供一种基于多神经网络的医学影像信息识别装置，包括：
第一识别模块，用于将医学影像作为输入图像输入到第一神经网络模型中，得到第一识别信息；
第二识别模块，用于将医学影像作为输入图像输入到第二神经网络模型中，得到第二识别信息；其中，所述第一神经网络模型与所述第二神经网络模型不关联；
第一判断模块，用于判断所述第一识别信息和所述第二识别信息是否相同；
第一输出模块，用于当所述第一识别信息和所述第二识别信息不相同时，输出异常报告并记录异常报告的次数；
第一调整模块，用于根据所述异常报告的次数调整所述第一神经网络模型的第一参数及第二神经网络模型的第二参数。
相应地，本发明还提供一种医学影像信息管理系统，包括报告工作站、影像工作站、自助系统及患者和/或医生的终端，所述影像工作站将医学影像发送至所述自助系统，所述报告工作站将患者信息发送至自助系统，所述自助系统采用如上任一项所述的方法识别后，将胶片与报告匹配，之后发送给患者和/或医生的终端；
所述自助系统包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行如上任一项所述的方法。
相比现有技术，本发明的有益效果在于：
本发明提供一种信息识别方法不仅仅可以识别出医学影像上的内容，还可以在神经网络模型的误差率满足常规要求的基础上，叠加至少两个神经网络同时进行网络学习，可根据识别信息是否一致判断识别结果是否错误，同时根据多个神经网络模型的识别信息的差异性，调整神经网络模型的参数，再进行多个神经网络模型进行图像识别，减少了识别的误差率的同时对误识别率进行评价及对模型进行优化，降低了出现医学报告误匹配的发生几率，避免医患纠纷。且为了不影响每个神经网络的运行性能，在调整神经网络模型的参数T值还引入最小误识别率阈值，保证每个神经网络模型的运行性能。还可将第一识别结果与第二识别结果为不同结果时，将该输入图像及识别结果加入到学习样本中，训练引擎，使得以后再遇到同样特征的图像时能够正确识别。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明中的CRNN+CTC模型的结构示意图；
图2为本发明中的一种基于多神经网络的信息识别方法的流程图；
图3为本发明中的一种基于多神经网络的信息识别装置的示意图；
图4为本发明中实施例中第一识别信息和第二识别信息不相同时的识别结果；
图5为本发明中实施例中第一识别信息和第二识别信息相同时的识别结果；
图6为本发明中一种医学影像信息管理系统的示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，本发明的前述和其它目的、特征、方面和优点将变得更加明显，以令本领域技术人员参照说明书文字能够据以实施。在附图中，为清晰起见，可对形状和尺寸进行放大，并将在所有图中使用相同的附图标记来指示相同或相似的部件。在下列描述中，诸如中心、厚度、高度、长度、前部、背部、后部、左边、右边、顶部、底部、上部、下部等用词为基于附图所示的方位或位置关系。特别地，“高度”相当于从顶部到底部的尺寸，“宽度”相当于从左边到右边的尺寸，“深度”相当于从前到后的尺寸。这些相对术语是为了说明方便起见并且通常并不旨在需要具体取向。涉及附接、联接等的术语(例如，“连接”和“附接”)是指这些结构通过中间结构彼此直接或间接固定或附接的关系、以及可动或刚性附接或关系，除非以其他方式明确地说明。
接下来，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
机器学习设计概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
人工神经网络（Artificial Neural Networks，简写为ANNs）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。
一种常见的多层结构的前馈网络（Multilayer Feed forward Network）由三部分组成，输入层（Input layer），众多神经元（Neuron）接受大量非线形输入信息。输入的信息称为输入向量。输出层（Output layer），信息在神经元链接中传输、分析、权衡，形成输出结果。输出的信息称为输出向量。隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有多层，也可以用一层。隐层的节点（神经元）数目不定，但数目越多神经网络的非线性越显著，从而神经网络的强健性（robustness）（控制系统在一定结构、大小等的参数摄动下，维持某些性能的特性。）更显著。
文字识别也是图像领域一个常见问题。然而，对于自然场景图像，首先要定位图像中的文字位置，然后才能进行识别。传统OCR引擎的模式是：灰度化->二值化->去黑边->寻找识别区域->行切割->字切割->OCR识别。或先将一连串文字的文本文件先利用投影法切割出单个字体，在送入CNN（卷积神经网络）里进行文字分类。这种识别方式需要显式加入文字切割环节，不仅造成识别繁琐，还会存在识别精度低，不适用于医学影像的技术领域中。
实施例1：
如图1-2所示，本发明的一种基于多神经网络的信息识别方法，包括：
S110、将医学影像作为输入图像输入到第一神经网络模型中，得到第一识别信息。
S120、将医学影像作为输入图像输入到第二神经网络模型中，得到第二识别信息。
其中，第一神经网络模型与第二神经网络模型不关联，二者输出的识别信息相互独立。
上述步骤S110和步骤S120是同步进行的，上述医学影像为同一医学影像。且本发明公开的第一神经网络模型及第二神经网络模型，并不限定第三神经网络模型和第N个神经网络模型。即同时将同一医学影像作为输入图像输入到至少两个神经网络模型中，同时得到至少两个独立的识别信息即为本发明的保护范围内。
其中，第一神经网络模型为训练后的误识别率小于最大误识别率阈值的神经网络模型。第二神经网络模型为训练后的误识别率小于最大误识别率阈值的神经网络模型。即第一神经网络模型及第二神经网络模型的误差率已经满足常规要求。
S200、判断第一识别信息和第二识别信息是否相同；
S210、当第一识别信息和第二识别信息不相同时，输出错误报告并记录异常报告的次数。
根据所述异常报告的次数调整所述第一神经网络模型的第一参数及第二神经网络模型的第二参数。
参考图4，采用上述两个神经网络模型，识别的检查号的结果为不一致。此时需要执行输出错误报告并记录异常报告的次数。
S220、当第一识别信息和第二识别信息相同时，输出相同的识别信息。参考图35，采用两个神经网络模型，识别的患者编号的结果为一致，此时可输出相同的识别结果0007857409。
步骤S210中根据第一识别信息和第二识别信息调整第一神经网络模型的第一参数及第二神经网络模型的第二参数，包括：
S211、根据第一识别信息和第二识别信息，得到第一识别信息与第二识别信息为不同信息的次数，为异常报告的次数；以及将第一识别信息与第二识别信息为不同信息时，将该输入图像及识别信息加入到学习样本中，训练引擎，使得以后再遇到同样特征的图像时能够正确识别。
S212、判断不同信息的次数是否超过次数阈值；
S213、当不同信息的次数超过次数阈值，调整第一神经网络模型的第一参数及第二神经网络模型的第二参数；
直至不同信息的次数不超过次数阈值；
S214、当不同信息的次数不超过次数阈值，不调整第一神经网络模型的第一参数及第二神经网络模型的第二参数。说明该神经网络模型满足当前需求，可以将第一识别信息与第二识别信息相同的识别信息作为输出的识别结果。
其中，次数阈值为单位次数中的阈值，单位次数可以是几千次、几万次，例如，N次中的M次，N前次中的M次或N万次中的M次。具体地，次数阈值可以1000次中的5次，110万次中的10次。本发明在第一神经网络模型和第二神经网络分别小于最大误识别率阈值基础上，即误差率满足常规要求的基础上，叠加至少两个神经网络同时进行网络学习，由于神经网络模型的识别正确率只能接近100%，不可能达到100%。因此我们采用了多个神经网络模型对输入图像同时进行识别，只有所有识别结果相同时才判定该图像识别成功，减少了识别的误差率的同时对模型进行优化，且不影响每个神经网络的运行性能。假设单个引擎的误识别率为1%，不同引擎误识别概率不互相影像，则2个引擎同时误识别概率为0.01%，3个引擎同时误识别概率为0.0001%，这样大大的降低了误识别的概率。同时根据异常报告，判断当次识别信息是否错误，并根据异常报告的次数，可以对神经网络模型进行优化，降低了出现医学报告误匹配的发生几率。
具体地，参考图1，第一神经网络模型和/或第二神经网络模型为CRNN+CTC模型。即第一神经网络模型和第二神经网络模型可以同时为CRNN+CTC模型，本实施例以第一神经网络模型和第二神经网络模型为同类型的模型为例。
CRNN+CTC模型包括卷积层、递归层、解释层。CRNN+CTC模型包括CNN+RNN+CTC。
CRNN全称为 Convolutional Recurrent Neural Network卷积循环神经网络模型，主要用于端到端地对不定长的文本序列进行识别，不用先对单个文字进行切割，而是将文本识别转化为时序依赖的序列学习问题，就是基于图像的序列识别。CRNN+CTC模型的结构示意图参考图1。
卷积层提取输入图像的卷积特征，得到特征图。
递归层采用循环神经网络RNN中的LSTM结构，在卷积特征的基础上提取序列特征进行预测，对序列中的每个特征向量进行学习，并输出标签分布。
解释层接收所述递归层的输出，使用CTC损失，把从递归层获取的所述标签分布转换为最终的标签序列。
具体地，卷积层提取输入图像的卷积特征，得到特征图；包括：
卷积层采用深度卷积神经网络CNN，对输入图像提取特征，具体将大小为（32，W，3）的输入图像转换为（1,W/4，512）大小的卷积特征矩阵；其中，W为任意宽度。
其中，输入图像的数据尺寸为（height, width，channel），即32位图像高度，为固定值，当图像通过CNN后，高度变为1；宽度为任一值W，当图像通过CNN后，宽度变为W/4；通道为3，当图像通过CNN后，通道变为512。
即卷积特征矩阵包括512个特征图，每个特征图的高度为1，宽度为W/4。
参考图1，输入图像数据尺寸为（32，100，3），当图像通过CNN后，数据尺寸变为（1,50，512），即CNN得到512个特征图，每个特征图的高度为1，宽度为50。
递归层在卷积特征的基础上提取序列特征进行预测，对序列中的每个特征向量进行学习，并输出标签分布；包括：
根据特征图提取递归层需要的特征向量序列。
在递归层采用的LSTM结构中，设置LSTM结构的时序长度T，T为卷积层提取的特征图的宽度W/4，将特征向量序列作为LSTM结构的输入，特征向量序列中的每个特征向量作为LSTM结构在一个时间步的输入；其中，第一参数和/或第二参数为LSTM结构的时序长度T。
根据输入的特征向量，进行预测，输出标签分布作为解释层的输入。
其中，长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。
具体地，从CNN产生的特征图中提取特征向量序列，每一个特征向量在特征图上按列生成，每一列包含512维特征，意味着第i个特征向量是所有的特征图第i列像素的连接，这些特征向量构成一个序列。特征图的每列作为一个特征向量对应于原始图像的一个矩形区域。此特征向量序列作为RNN的输入，每个特征向量作为LSTM结构在一个时间步timestep的输入。
本发明采用RNN中的双向LSTM网络；设置时序长度T为W/4，即可将提特征输入双向LSTM网络。通过CNN得到了50个特征向量，每个特征向量长度为512，在LSTM网络中一个时间步就传入一个特征向量进行分类，这里一共有50个时间步。
特征向量就相当于原图中的一个小矩形区域，LSTM网络的目标就是预测这个矩形区域为哪个字符，即根据输入的特征向量，进行预测。
卷积特征图的尺寸动态决定LSTM网络的时序长度（时间步长），LSTM网络的时序长度影响神经网络模型的误识别率。因此，本发明将LSTM结构的时序长度T作为第一参数和/或第二参数，当不同消息的次数超过次数阈值，减小循环神经网络的时序长度T，迭代次数变小，降低其他干扰，进而降低T所对应的LSTM结构网络模型的误识别率。
解释层接收递归层的输出，使用CTC损失，把从递归层获取的标签分布转换为最终的标签序列。
解释层采用基于联结时序分类算法CTC，使用CTC损失，训练样本无需对齐，把从递归层获取的标签分布转换为最终的标签序列；将网络学习到的标签序列转化为最终的文本序列。
第一神经网络模型的第一参数和/或第二神经网络模型的第二参数为LSTM结构的时序长度T。步骤S213当不同信息的次数超过次数阈值，调整第一神经网络模型的第一参数及第二神经网络模型的第二参数；包括：
S2131、当不同信息的次数超过次数阈值，减小LSTM结构的时序长度T为T1，降低T所对应的CRNN+CTC模型的误识别率。
S2132、判断T所对应的CRNN+CTC模型的误识别率是否小于最小误识别率阈值。
S2133、当T所对应的CRNN+CTC模型的误识别率小于最小误识别率阈值时，增大循环神经网络的时序长度T为T2。
其中，T2为T和T1的中间值，或T2为上一次T值与本地T值的中间值。
本发明中LSTM结构的时序长度T可影响整个神经网络模型的误识别率，但是当T减小到过多时，会造成模型的运行效率等。因此，本发明不仅设定了次数阈值，还设定了最小误识别率阈值，当误识别率低于最小误识别率阈值时，说明T值降低幅度过大，增大T值，增大的幅度可以折中，为T和T1的中间值，或T2为上一次T值与本地T值的中间值。
本发明提供的多神经网络的识别算法是应用在医学影像的图像处理的场景中，因此，需要增加多个神经网络模型同时进行识别，可根据识别信息是否一致判断当次的识别结果是否错误，降低了出现医学报告误匹配的发生几率，避免医患纠纷。同时根据多个神经网络模型的识别结果的差异性，调整神经网络模型的参数，再进行多个神经网络模型进行图像识别，减少了识别的误差率的同时对模型进行优化。且为了不影响每个神经网络的运行性能，在调整神经网络模型的参数T值还引入最小误识别率阈值，保证每个神经网络模型的运行性能。
此外，在其他实施例中，本发明应用在医学影像报告的图像处理的场景中。待识别图像为医学影像报告图像划分后的图像单元，输入图像为若干个医学影像的图像单元。
S110还包括：S111、将医学影像报告图像划分为N个图像单元,作为N个输入图像，将N个输入图像依次输入到第一神经网络模型中，得到N个第一识别信息。
S120还包括：S121、将医学影像报告图像划分为N个图像单元,作为N个输入图像，将N个输入图像依次输入到第二神经网络模型中，得到N个第二识别信息。其中，第一神经网络模型与第二神经网络模型不关联，二者输出的识别信息相互独立。
S200、判断第一识别信息和第二识别信息是否相同；
S210、当第一识别信息和第二识别信息不相同时，输出错误报告并记录异常报告的次数。
S211、根据第一识别信息和第二识别信息，得到第一识别信息与第二识别信息为不同信息的次数，为异常报告的次数；以及将第一识别信息与第二识别信息为不同信息时，将该输入图像及识别信息加入到学习样本中，训练引擎，使得以后再遇到同样特征的图像时能够正确识别。
S212、判断不同信息的次数是否超过次数阈值；
S213、当不同信息的次数超过次数阈值，调整第一神经网络模型的第一参数及第二神经网络模型的第二参数；
直至不同信息的次数不超过次数阈值；
步骤S214包括：当不同信息的次数不超过次数阈值，不调整第一神经网络模型的第一参数及第二神经网络模型的第二参数。将N个第一识别信息与N个第二识别信息全部对应相同时的识别信息作为输出的识别结果。
本发明应用在医学影像的图像处理的场景中时，待识别图像包括患者信息及报告数据信息。患者信息包括患者的患者ID，检查号，就诊卡号，条码号，住院号，门诊号，急诊号，姓名，性别，出生日期，年龄，身份证号，电话号码，微信号码，QQ号码，邮箱地址等；报告数据信息包括类型，病区，床号，检查类型，检查时间，报告时间，审核时间，申请科室，检查项目，检查部位，检查方式，检查室，临床诊断，病情摘要，影像所见，影像诊断，申请医生，报告医生，审核医生，报告医生签名。
S110还包括：根据患者信息或报告数据信息的优先级将医学影像划分为携带有等级标识的输入图像；将携带有等级标识的输入图像输入到第一神经网络模型中，得到携带有等级标识的第一识别信息。
S120还包括：根据患者信息或报告数据信息的优先级将医学影像划分为携带有等级标识的输入图像；将携带有等级标识的输入图像输入到第二神经网络模型中，得到携带有等级标识的第二识别信息。其中，第一神经网络模型与第二神经网络模型不关联，二者输出的识别信息相互独立。
S200、判断第一识别信息和第二识别信息是否相同；
S210、当第一识别信息和第二识别信息不相同时，输出错误报告并记录异常报告的次数。
S211还包括：根据携带有等级标识的第一识别信息和携带有等级标识的第二识别信息，得到第一识别结果与第二识别结果为不同信息的次数，该不同信息的次数携带有等级标识。
S212还包括：根据不同结果的次数携带的等级标识，获得所述不同信息的次数的等级，判断等级高的不同信息的次数是否超过次数阈值；
S213还包括：当等级高的不同信息的次数超过次数阈值，调整第一神经网络模型的第一参数及第二神经网络模型的第二参数；
直至等级高的不同信息的次数不超过次数阈值；
S214还包括：当等级高的不同信息的次数不超过次数阈值，将第一识别信息与第二识别信息相同的识别信息作为输出的识别结果。
例如，本发明将报告数据信息中的临床诊断，病情摘要，影像所见，影像诊断，类型，病区，床号，检查类型，检查时间，报告时间，审核时间，申请科室，检查项目，检查部位，检查方式，检查室，依次进行等级划分，将待标识图像划分为携带有等级标识的输入图像。报告数据信息中的临床诊断，病情摘要，影像所见等误差率要求要高，而申请科室对误差率要求不高。因此，当报告数据信息中的临床诊断，病情摘要，影像所见图像区域及申请科室等图像区域作为输入图像时，以临床诊断，病情摘要，影像所见等图像区域的不同结果的次数作为调整第一神经网络模型的第一参数及第二神经网络模型的第二参数的依据。
本发明提供一种信息识别方法不仅仅可以识别出医学影像上的内容，还可以在神经网络模型的误差率满足常规要求的基础上，叠加至少两个神经网络同时进行网络学习，可根据识别信息是否一致判断当次的识别结果是否错误，降低了出现医学报告误匹配的发生几率，避免医患纠纷。同时根据多个神经网络模型的识别信息的差异性，调整神经网络模型的参数，再进行多个神经网络模型进行图像识别，减少了识别的误差率的同时对模型进行优化。且为了不影响每个神经网络的运行性能，在调整神经网络模型的参数T值还引入最小误识别率阈值，保证每个神经网络模型的运行性能。还可将第一识别结果与第二识别结果为不同结果时，将该输入图像及识别结果加入到学习样本中，训练引擎，使得以后再遇到同样特征的图像时能够正确识别。
相应地，参考图3，本发明还提供一种基于多神经网络的信息识别装置，包括：
第一识别模块，用于将医学影像作为输入图像输入到第一神经网络模型中，得到第一识别信息；
第二识别模块，用于将医学影像作为输入图像输入到第二神经网络模型中，得到第二识别信息；其中，第一神经网络模型与第二神经网络模型不关联。
第一判断模块，用于判断第一识别信息和第二识别信息是否相同；
第一输出模块，用于当第一识别信息和第二识别信息不相同时，输出异常报告并记录异常报告的次数；
第一调整模块，用于根据异常报告的次数调整第一神经网络模型的第一参数及第二神经网络模型的第二参数。
还包括：
第一获取模块，用于根据第一识别信息和第二识别信息，得到第一识别信息与第二识别信息为不同信息的次数，为异常报告的次数；以及将第一识别信息与第二识别信息为不同信息时，将该输入图像及识别信息加入到学习样本中，训练引擎，使得以后再遇到同样特征的图像时能够正确识别。
第二判断模块，用于判断不同信息的次数是否超过次数阈值；
第一调整模块，还用于当不同信息的次数超过次数阈值，调整第一神经网络模型的第一参数及第二神经网络模型的第二参数；
直至不同结果的次数不超过次数阈值；
输出模块，用于当不同信息的次数不超过次数阈值，不调整第一神经网络模型的第一参数及第二神经网络模型的第二参数。说明该神经网络模型满足当前需求，将第一识别信息与第二识别信息相同的识别信息作为输出的识别结果。
第一调整模块，还用于：
当不同结果的次数超过次数阈值，减小LSTM结构的时序长度T为T1，以降低T所对应的CRNN+CTC模型的误识别率。
还包括第三判断模块，用于：
当不同结果的次数超过次数阈值，减小LSTM结构的时序长度T为T1后，判断T所对应的CRNN+CTC模型的误识别率是否小于最小误识别率阈值。
第二调整模块，用于：当T所对应的CRNN+CTC模型的误识别率小于最小误识别率阈值时，增大LSTM结构的时序长度T为T2。
其中，T2为T和T1的中间值，或T2为上一次T值与本地T值的中间值。
相应地，本发明还提供一种设备，设备包括处理器及存储器；存储器用于存储计算机程序；处理器用于根据计算机程序执行如上任一项的方法。
相应地，本发明还提供一种计算机可读介质，计算机可读介质用于存储计算机程序，计算机程序用于执行如上任一项的方法。
相应地，参考图6，本发明还提供一种医学影像信息管理系统，包括报告工作站、影像工作站、自助系统及患者和/或医生的终端，影像工作站将医学影像发送至自助系统，报告工作站将患者信息发送至自助系统，自助系统采用如上任一项的方法基于多神经网络的医学影像信息识别方法识别后，将胶片与报告匹配，之后发送给患者和/或医生的终端；
自助系统包括处理器及存储器；存储器用于存储计算机程序；处理器用于根据计算机程序执行如上任一项的方法。
具体地，一种医学影像信息管理系统，包括报告工作站PACS、影像工作站、自助系统、自助打印机及患者或医生的终端；自助系统从报告工作站获取患者的姓名、手机号、条形码号、就诊卡号及身份证号等患者信息，自助系统从影像工作站获取患者胶片，通过上述基于多神经网络的医学影像信息识别方法识别出胶片上的信息，再与报告工作站PACS获取的报告匹配，之后发送给患者或医生的终端，或者再通过自助打印机打印和/或智能推送给患者或医生的终端。患者可以第一时间获取到本人的胶片（报告）信息，不需要患者进行刷条形码/刷就诊卡/刷身份证等操作，减少了患者取片排队等待时间。
此外，装置实施例中的系统与方法实施例基于同样地发明构思。
本发明实施例还提供了一种计算机存储介质，该计算机存储介质包括存储器和处理器，该存储器中存储有至少一条指令和至少一段程序，该至少一条指令和至少一段程序由该处理器加载并执行以实现上述方法实施例提供的基于多神经网络的医学影像信息识别方法。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (10)

1.一种基于多神经网络的医学影像信息识别方法，其特征在于，包括：
将医学影像作为输入图像输入到第一神经网络模型中，得到第一识别信息；
将医学影像作为输入图像输入到第二神经网络模型中，得到第二识别信息；其中，所述第一神经网络模型与所述第二神经网络模型不关联；
判断所述第一识别信息和所述第二识别信息是否相同；
当所述第一识别信息和所述第二识别信息不相同时，输出异常报告并记录异常报告的次数；
根据所述异常报告的次数调整所述第一神经网络模型的第一参数及第二神经网络模型的第二参数。
2.如权利要求1所述的基于多神经网络的医学影像信息识别方法，其特征在于，所述根据所述异常报告的次数调整所述第一神经网络模型的第一参数及第二神经网络模型的第二参数，包括：
根据所述第一识别信息和所述第二识别信息，得到所述第一识别信息与所述第二识别信息为不同信息的次数，为异常报告的次数；
判断所述不同信息的次数是否超过次数阈值；
当所述不同信息的次数超过所述次数阈值，调整所述第一神经网络模型的第一参数及第二神经网络模型的第二参数；
直至所述不同信息的次数不超过所述次数阈值；
当所述不同信息的次数不超过所述次数阈值，将所述第一识别信息与所述第二识别信息相同的识别信息作为输出的识别结果。
3.如权利要求2所述的基于多神经网络的医学影像信息识别方法，其特征在于，
所述第一神经网络模型为训练后的误识别率小于最大误识别率阈值的神经网络模型；
所述第二神经网络模型为训练后的误识别率小于最大误识别率阈值的神经网络模型。
4.如权利要求3所述的基于多神经网络的医学影像信息识别方法，其特征在于，所述第一神经网络模型和/或第二神经网络模型为CRNN+CTC模型；
所述CRNN+CTC模型包括卷积层、递归层、解释层；
所述卷积层提取输入图像的卷积特征，得到特征图；
所述递归层采用LSTM结构，在卷积特征的基础上提取序列特征进行预测，对序列中的每个特征向量进行学习，并输出标签分布；
所述解释层接收所述递归层的输出，把从递归层获取的所述标签分布转换为最终的标签序列。
5.如权利要求4所述的基于多神经网络的医学影像信息识别方法，其特征在于，所述卷积层提取输入图像的卷积特征，得到特征图；包括：
所述卷积层采用CNN神经网络，将大小为（32，W，3）的输入图像转换为（1,W/4，512）大小的卷积特征矩阵；其中，W为任意宽度；
所述卷积特征矩阵包括512个特征图，每个特征图的高度为1，宽度为W/4。
6.如权利要求4所述的基于多神经网络的医学影像信息识别方法，其特征在于，所述递归层采用LSTM结构，在卷积特征的基础上提取序列特征进行预测，对序列中的每个特征向量进行学习，并输出标签分布；包括：
根据所述特征图提取所述递归层需要的特征向量序列；
在所述递归层采用的LSTM结构中，设置LSTM结构的时序长度T，T为所述卷积层提取的特征图的宽度W/4，将所述特征向量序列作为所述LSTM结构的输入，所述特征向量序列中的每个特征向量作为所述LSTM结构在一个时间步的输入；其中，所述第一参数和/或第二参数为所述LSTM结构的时序长度T；
根据输入的特征向量，进行预测，输出标签分布作为解释层的输入。
7.如权利要求4所述的基于多神经网络的医学影像信息识别方法，其特征在于，所述第一神经网络模型的第一参数和/或第二神经网络模型的第二参数为LSTM结构的时序长度T；
当所述不同信息的次数超过所述次数阈值，减小所述LSTM结构的时序长度T为T1。
8.如权利要求7所述的基于多神经网络的医学影像信息识别方法，其特征在于，当所述不同信息的次数超过所述次数阈值，减小所述LSTM结构的时序长度T为T1后，
判断所述T所对应的所述CRNN+CTC的误识别率是否小于最小误识别率阈值；
当所述T所对应的所述CRNN+CTC模型的误识别率小于最小误识别率阈值时，增大所述LSTM结构的时序长度T为T2；其中，T2为T和T1的中间值。
9.一种基于多神经网络的医学影像信息识别装置，其特征在于，包括：
第一识别模块，用于将医学影像作为输入图像输入到第一神经网络模型中，得到第一识别信息；
第二识别模块，用于将医学影像作为输入图像输入到第二神经网络模型中，得到第二识别信息；其中，所述第一神经网络模型与所述第二神经网络模型不关联；
第一判断模块，用于判断所述第一识别信息和所述第二识别信息是否相同；
第一输出模块，用于当所述第一识别信息和所述第二识别信息不相同时，输出异常报告并记录异常报告的次数；
第一调整模块，用于根据所述异常报告的次数调整所述第一神经网络模型的第一参数及第二神经网络模型的第二参数。
10.一种医学影像信息管理系统，其特征在于：包括报告工作站、影像工作站、自助系统及患者和/或医生的终端，所述影像工作站将医学影像发送至所述自助系统，所述报告工作站将患者信息发送至自助系统，所述自助系统采用如权利要求1-8任一项所述的方法识别后，将胶片与报告匹配，之后发送给患者和/或医生的终端；
所述自助系统包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行如权利要求1-8任一项所述的方法。
CN202011394437.XA 2020-12-03 2020-12-03 基于多神经网络的医学影像信息识别方法、装置、系统 Active CN112215845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011394437.XA CN112215845B (zh) 2020-12-03 2020-12-03 基于多神经网络的医学影像信息识别方法、装置、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011394437.XA CN112215845B (zh) 2020-12-03 2020-12-03 基于多神经网络的医学影像信息识别方法、装置、系统

Publications (2)

Publication Number Publication Date
CN112215845A true CN112215845A (zh) 2021-01-12
CN112215845B CN112215845B (zh) 2021-02-26

Family

ID=74068008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011394437.XA Active CN112215845B (zh) 2020-12-03 2020-12-03 基于多神经网络的医学影像信息识别方法、装置、系统

Country Status (1)

Country Link
CN (1) CN112215845B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219051A (zh) * 2022-02-23 2022-03-22 成都明途科技有限公司 图像分类方法、分类模型的训练方法、装置及电子设备
CN114612915A (zh) * 2022-05-12 2022-06-10 青岛美迪康数字工程有限公司 胶片图像的患者信息提取方法及装置
WO2022163401A1 (ja) * 2021-01-26 2022-08-04 富士フイルム株式会社 学習装置、学習方法、学習済みモデル、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829683A (zh) * 2018-06-29 2018-11-16 北京百度网讯科技有限公司 混合标注学习神经网络模型及其训练方法、装置
CN110399770A (zh) * 2018-04-24 2019-11-01 埃森哲环球解决方案有限公司 基于利用物理特性增强对象生成针对对象的机器学习模型
CN111340190A (zh) * 2020-02-23 2020-06-26 华为技术有限公司 构建网络结构的方法与装置、及图像生成方法与装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399770A (zh) * 2018-04-24 2019-11-01 埃森哲环球解决方案有限公司 基于利用物理特性增强对象生成针对对象的机器学习模型
CN108829683A (zh) * 2018-06-29 2018-11-16 北京百度网讯科技有限公司 混合标注学习神经网络模型及其训练方法、装置
CN111340190A (zh) * 2020-02-23 2020-06-26 华为技术有限公司 构建网络结构的方法与装置、及图像生成方法与装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163401A1 (ja) * 2021-01-26 2022-08-04 富士フイルム株式会社 学習装置、学習方法、学習済みモデル、及びプログラム
CN114219051A (zh) * 2022-02-23 2022-03-22 成都明途科技有限公司 图像分类方法、分类模型的训练方法、装置及电子设备
CN114219051B (zh) * 2022-02-23 2022-05-06 成都明途科技有限公司 图像分类方法、分类模型的训练方法、装置及电子设备
CN114612915A (zh) * 2022-05-12 2022-06-10 青岛美迪康数字工程有限公司 胶片图像的患者信息提取方法及装置
CN114612915B (zh) * 2022-05-12 2022-08-02 青岛美迪康数字工程有限公司 胶片图像的患者信息提取方法及装置

Also Published As

Publication number Publication date
CN112215845B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112215845B (zh) 基于多神经网络的医学影像信息识别方法、装置、系统
US11669965B2 (en) AI-based label generating system and methods for use therewith
US10496884B1 (en) Transformation of textbook information
CN112270347A (zh) 一种基于改进ssd的医疗废弃物分类检测方法
CN108596199A (zh) 基于EasyEnsemble算法和SMOTE算法的不均衡数据分类方法
CN112101162B (zh) 图像识别模型的生成方法、装置、存储介质和电子设备
CN112541066B (zh) 基于文本结构化的医技报告检测方法及相关设备
CN114549469A (zh) 一种基于置信度校准的深层神经网络医疗图像诊断方法
CN114550946A (zh) 医疗数据处理方法、装置及存储介质
CN108595432B (zh) 医疗文书纠错方法
CN113096131A (zh) 基于vit网络的胃镜图片多标签分类系统
CN113192028B (zh) 人脸图像的质量评价方法、装置、电子设备及存储介质
CN117352164A (zh) 基于人工智能的多模态肿瘤检测诊断平台及其处理方法
CN113052236A (zh) 一种基于NASNet的肺炎图像分类方法
CN111652837A (zh) 基于ai的甲状腺结节左右叶定位与超声报告纠错方法
US20230022030A1 (en) Systems and methods for processing images for image matching
CN112562819B (zh) 一种针对先心病的超声多切面数据的报告生成方法
CN114022698A (zh) 一种基于二叉树结构的多标签行为识别方法及装置
CN111476775A (zh) Dr征象识别装置和方法
CN115881265B (zh) 电子病历智能病案质控方法、系统、设备及存储介质
US11544849B2 (en) Systems and methods to process electronic images to categorize intra-slide specimen tissue type
CN112070023B (zh) 一种邻域先验嵌入型协同表示模式识别方法
US20230326014A1 (en) Automated aneuploidy screening using arbitrated ensembles
US20240257497A1 (en) Multi-frame analysis for classifying target features in medical videos
CN114446486A (zh) 基于多模态图编码的传染病风险评估方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 215000 22 22 Lu Shan Road, hi tech Zone, Suzhou, Jiangsu

Patentee after: Huqiu image (Suzhou) Co.,Ltd.

Address before: 215129 building 22, No. 369, Lushan Road, high tech Zone, Suzhou City, Jiangsu Province

Patentee before: HUQIU IMAGING TECHNOLOGIES (SUZHOU) CO.,LTD.