CN110276749B - 儿童放射射片及诊断的质量控制人工智能系统及质控方法 - Google Patents

儿童放射射片及诊断的质量控制人工智能系统及质控方法 Download PDF

Info

Publication number
CN110276749B
CN110276749B CN201910514469.XA CN201910514469A CN110276749B CN 110276749 B CN110276749 B CN 110276749B CN 201910514469 A CN201910514469 A CN 201910514469A CN 110276749 B CN110276749 B CN 110276749B
Authority
CN
China
Prior art keywords
quality control
data
diagnosis report
preparation period
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910514469.XA
Other languages
English (en)
Other versions
CN110276749A (zh
Inventor
王静石
刘景鑫
于泓
孟醒
田中生
张忠
刘义勇
史申
刘婉华
肖长斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Wanxiang Lianhe Medical Technology Co ltd
Original Assignee
Liaoning Wanxiang Lianhe Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Wanxiang Lianhe Medical Technology Co ltd filed Critical Liaoning Wanxiang Lianhe Medical Technology Co ltd
Priority to CN201910514469.XA priority Critical patent/CN110276749B/zh
Publication of CN110276749A publication Critical patent/CN110276749A/zh
Application granted granted Critical
Publication of CN110276749B publication Critical patent/CN110276749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种儿童放射射片及诊断的质量控制人工智能系统及其质控方法，其中，所述质控系统是基于深度学习技术、自然语言处理技术、软件工程等技术构建检查预备期质控模型、放射影像质控模型、诊断报告质控模型，将上述三个模型整合为质量控制人工智能系统，实现儿童放射射片及诊断的质量控制，进而有效解决人工质控存在的工作效率低、质控标准不统一等问题。

Description

儿童放射射片及诊断的质量控制人工智能系统及质控方法
技术领域
本发明公开涉及放射射片以及诊断质控的技术领域，尤其涉及一种儿童放射射片及诊断的质量控制人工智能系统及质控方法。
背景技术
放射技术已经是当今医学技术领域的重要组成部分，在儿科中也得到了广泛的应用，越来越多的医疗机构都将X线设备，特别是DR设备，使用于儿童的各项诊疗业务中。其检查范围涵盖了胸部、头部、膝关节等多个组织器官，每天都有大量的儿童医疗影像需要采集、阅片、生成诊断报告。为了确保上述医疗业务的质量，需要对其进行质量控制。
目前，儿童放射射片及诊断的质量控制仍采用人工鉴定。人工鉴定虽然可以实现射片以及诊断的质量控制，但由于每个人对于标准的理解会存在差异性，导致标准不统一，很难做到可靠、精准。此外，人工鉴定还存在鉴定效率低等问题，无法满足当前的需求。
随着人工智能的快速发展，是否可以通过人工智能实现儿童放射射片及诊断的质控，以解决人工质控存在的效率低、标准不统一的问题，成为人们亟待解决的问题。
发明内容
鉴于此，本发明公开提供了一种儿童放射射片及诊断的质量控制人工智能系统及质控方法，以至少解决现有人工质控存在的效率低以及标准不统一等问题。
本发明一方面提供了一种儿童放射射片及诊断的质量控制人工智能系统，该系统包括：数据采集模块1、检查预备期质控模块2、放射影像质控模块3、诊断报告质控模块4以及结果显示模块5；
所述数据采集模块1用于分别采集儿童放射检查问询表数据、儿童放射检查质控表数据、放射影像数据以及诊断报告数据；
所述检查预备期质控模块2包括：检查预备期质控数据处理单元21以及检查预备期质控模型22；
所述检查预备期质控数据处理单元21的输入端与所述数据采集模块1的第一输出端连接，用于接收所述数据采集模块1发送的儿童放射检查问询表数据以及儿童放射检查质控表数据，并将接收的儿童放射检查问询表数据以及儿童放射检查质控表数据进行处理，转化为所述检查预备期质控模型22可处理的格式，获得检查预备期数据；
所述检查预备期质控模型22的输入端与所述检查预备期质控数据处理单元21的输出端连接，用于接收所述检查预备期质控数据处理单元21发送的检查预备期数据，并通过自然语言处理技术将接收的检查预备期数据进行分词、语义提取以及主题分析处理，进而将所述检查预备期数据中自然语言描述的结果转化为算法可以处理的检查预备期数据字典，然后将所述检查预备期数据字典与医学规则结合，形成检查预备期问答系统，获得检查预备期的质控结果；
所述放射影像质控模块3包括：放射影像质控数据处理单元31以及放射影像质控模型32；
所述放射影像质控数据处理单元31的输入端与所述数据采集模块1的第二输出端连接，用于接收所述数据采集模块1发送的放射影像数据，并将所述放射影像数据转化为算法可以处理的格式；
所述放射影像质控模型32的输入端与所述放射影像质控数据处理单元31的输出端连接，用于接收放射影像质控数据处理单元31发送的处理后放射影像数据，并依据所述处理后放射影像数据，获得放射影像的质控结果；
所述诊断报告质控模块4包括：诊断报告质控数据处理单元41以及诊断报告质控模型42；
所述诊断报告质控数据处理单元41的输入端与所述数据采集模块1的第三输出端连接，用于接收所述数据采集模块1发送的诊断报告数据，并将所述诊断报告数据进行处理，转化为所述诊断报告质控模型42可处理的格式，获得诊断报告数据；
所述诊断报告质控模型42的输入端与所述诊断报告质控数据处理单元41的输出端连接，用于接收所述诊断报告质控数据处理单元41发送的诊断报告数据，并通过自然语言处理技术将接收的诊断报告数据进行分词、语义提取以及主题分析处理，进而将所述诊断报告数据中自然语言描述的结果转化为算法可以处理的诊断报告数据字典，然后将所述诊断报告数据字典与医学规则结合，形成诊断报告问答系统，获得诊断报告的质控结果；
所述结果显示模块5的输入端分别与所述检查预备期质控模型22的输出端、放射影像质控模型32的输出端以及诊断报告质控模型42的输出端连接，用于接收并显示所述检查预备期质控模型22输出的检查预备期的质控结果、放射影像质控模型32输出的放射影像质控结果以及诊断报告质控模型42输出的诊断报告的质控结果。
优选，所述检查预备期质控模型以及所述诊断报告质控模型均为基于NLP的深度学习模型。
进一步优选，所述放射影像质控模型为肺部子模型、脊柱子模型以及锁骨子模型中的一种或多种融合而成，且所述肺部子模型、脊柱子模型以及锁骨子模型均具有基础的深度学习结构；
所述基础的深度学习结构包括：第一卷积层a1、第一池化层a2、第二卷积层a3、第一上采样层a4、第一基于特征差异的特征融合单元a5以及第一拼接卷积层a6；
所述第一卷积层a1用于对输入的放射影像数据进行卷积处理；
所述第一池化层a2的输入端与所述第一卷积层a1的第一输出端连接，用于将所述第一卷积层a1输出的数据进行池化处理；
所述第二卷积层a3的输入端与所述第一池化层a2的输出端连接，用于将所述第一池化层a2输出的数据进行再次卷积处理；
所述第一上采样层a4的输入端与所述第二卷积层a3的输出端连接，用于将所述第二卷积层a3输出的数据进行上采样，获得上采样数据；
所述第一基于特征差异的特征融合单元a5的输入端与所述第一卷积层a1的第二输出端连接，用于将所述第一卷积层a1输出的数据进行特征差异计算，并将所述特征差异计算结果融合权重加权到所述第一卷积层a1输出的数据上，获得处理后数据；
所述第一拼接卷积层a6的输入端分别与所述第一基于特征差异的特征融合单元a5的输出端以及所述第一上采样层a4的输出端连接，用于将所述第一基于特征差异的特征融合单元a5输出的处理后数据与所述第一上采样层a4输出的上采样数据进行拼接卷积处理。
进一步优选，所述第一上采样层a4将所述第二卷积层a3输出的数据进行上采样，获得上采样数据，具体方法为，将所述第二卷积层a3输出的数据通过反卷积进行维度扩增，获得扩增后数据即为上采样数据。
进一步优选，所述第一基于特征差异的特征融合单元a5中将所述第一卷积层a1输出的数据进行特征差异计算，并将所述特征差异计算结果融合权重加权到所述第一卷积层a1输出的数据上，获得处理后数据，所用的公式具体为：
Figure GDA0003499856960000031
wi＝∑r∈m，c∈nvr，c/(m*n)，i∈(channel-1) (2)；
W＝[wi]，i∈(channel-1) (3)；
W＝softmax(W) (4)；
其中，channel是输入通道，i是输入通道的索引，m是矩阵的行数，n是矩阵的列数，r是矩阵行的索引，c是矩阵列的索引。
进一步优选，所述结果显示模块5中还设置有医师修正功能单元51。
本发明另一方面还提供了一种基于人工智能的儿童放射射片及诊断的质控方法，该方法适用于上述的智能系统，所述方法包括如下步骤：
利用软件工程技术获取儿童放射检查问询表数据、儿童放射检查质控表数据、放射影像数据以及诊断报告数据；
将所述儿童放射检查问询表数据以及儿童放射检查质控表数据进行处理后，获得检查预备期数据；
通过检查预备期质控模型将所述检查预备期数据进行处理，获得检查预备期数据字典，并将所述检查预备期数据字典与医学规则结合，形成检查预备期问答系统，获得检查预备期的质控结果；
将所述放射影像数据进行滤波、缩放、降噪以及张量化处理，获得放射影像处理后数据；
通过放射影像质控模型进行所述放射影像处理后数据的智能判断，获得放射影像的质控结果；
将所述诊断报告数据进行处理后，获得诊断报告数据；
通过诊断报告质控模型将所述诊断报告数据进行处理，获得诊断报告数据字典，并将所述诊断报告数据字典与医学规则结合，形成诊断报告问答系统，获得诊断报告的质控结果；
将所述检查预备期的质控结果、放射影像的质控结果以及诊断报告的质控结果汇总，经医师修正审核后，获得最终的质控结果。
优选，所述通过检查预备期质控模型将所述检查预备期数据进行处理，获得检查预备期数据字典，具体为：
通过自然语言处理技术将所述检查预备期数据进行分词、语义提取以及主题分析，进而将所述检查预备期数据中自然语言描述的结果转化为算法可以处理的检查预备期数据字典；
所述检查预备期数据字典的结构为{主题：结果}，其中，所述主题为儿童放射检查问询表以及儿童放射检查质控表中各个子项，所述结果为各个子项问询结果或质控核对结果的语义分析结果。
进一步优选，所述通过诊断报告质控模型将所述诊断报告数据进行处理，获得诊断报告数据字典，具体为：
通过自然语言处理技术将所述诊断报告数据进行分词、语义提取以及主题分析，进而将所述诊断报告数据中自然语言描述的结果转化为算法可以处理的诊断报告数据字典；
所述诊断报告数据字典的结构为{主题：结果}，其中，所述主题为诊断报告中各个子项，所述结果为各个子项诊断结果的语义分析结果。
进一步优选，所述语义分析结果为布尔型或枚举型。
本发明提供的儿童放射射片及诊断的质量控制人工智能系统，基于深度学习技术、自然语言处理技术、软件工程等技术构建检查预备期质控模型、放射影像质控模型、诊断报告质控模型，将上述三个模型整合为质量控制人工智能系统，实现儿童放射射片及诊断的质量控制，进而有效解决人工质控存在的工作效率低、质控标准不统一等问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开实施例提供的一种儿童放射射片及诊断的质量控制人工智能系统的组成模块示意图；
图2为本发明公开实施例提供的一种儿童放射射片及诊断的质量控制人工智能系统中放射影像质控模型的基础深度学习结构框图；
图3为实际案例中一个肺部子模型的结构框图；
图4为本发明公开实施例提供的一种儿童放射射片及诊断的质量控制人工智能系统中放射影像质控模型训练的流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
为解决现有技术中人工质控存在的效率低以及标准不统一等问题，本实施方案提供了一种儿童放射射片及诊断的质量控制人工智能系统，参见图1，该系统主要由数据采集模块1、检查预备期质控模块2、放射影像质控模块3、诊断报告质控模块4以及结果显示模块5构成，其中，数据采集模块1用于分别采集儿童放射检查问询表数据、儿童放射检查质控表数据、放射影像数据以及诊断报告数据。
检查预备期质控模块2由检查预备期质控数据处理单元21以及检查预备期质控模型22构成，其中，检查预备期质控数据处理单元21的输入端与数据采集模块1的第一输出端连接，用于接收数据采集模块1发送的儿童放射检查问询表数据以及儿童放射检查质控表数据，并将接收的儿童放射检查问询表数据以及儿童放射检查质控表数据进行处理，转化为所述检查预备期质控模型22可处理的格式，获得检查预备期数据；检查预备期质控模型22的输入端与检查预备期质控数据处理单元21的输出端连接，用于接收检查预备期质控数据处理单元21发送的检查预备期数据，并通过自然语言处理技术将接收的检查预备期数据进行分词、语义提取以及主题分析处理，进而将所述检查预备期数据中自然语言描述的结果转化为算法可以处理的检查预备期数据字典，然后将检查预备期数据字典与医学规则结合，形成检查预备期问答系统，获得检查预备期的质控结果。
放射影像质控模块3由放射影像质控数据处理单元31以及放射影像质控模型32构成，其中，放射影像质控数据处理单元31的输入端与数据采集模块1的第二输出端连接，用于接收数据采集模块1发送的放射影像数据，并将放射影像数据转化为算法可以处理的格式；放射影像质控模型32的输入端与放射影像质控数据处理单元31的输出端连接，用于接收放射影像质控数据处理单元31发送的处理后放射影像数据，并依据处理后放射影像数据，获得放射影像的质控结果。
诊断报告质控模块4由诊断报告质控数据处理单元41以及诊断报告质控模型42构成，其中，诊断报告质控数据处理单元41的输入端与数据采集模块1的第三输出端连接，用于接收数据采集模块1发送的诊断报告数据，并将诊断报告数据进行处理，转化为所述诊断报告质控模型42可处理的格式，获得诊断报告数据；诊断报告质控模型42的输入端与诊断报告质控数据处理单元41的输出端连接，用于接收诊断报告质控数据处理单元41发送的诊断报告数据，并通过自然语言处理技术将接收的诊断报告数据进行分词、语义提取以及主题分析处理，进而将所述诊断报告数据中自然语言描述的结果转化为算法可以处理的诊断报告数据字典，然后将诊断报告数据字典与医学规则结合，形成诊断报告问答系统，获得诊断报告的质控结果。
结果显示模块5的输入端分别与检查预备期质控模型22的输出端、放射影像质控模型32的输出端以及诊断报告质控模型42的输出端连接，用于接收并显示所述检查预备期质控模型22输出的检查预备期的质控结果、放射影像质控模型32输出的放射影像质控结果以及诊断报告质控模型42输出的诊断报告的质控结果。
上述儿童放射射片及诊断的质量控制人工智能系统的具体质控过程为：
1)通过数据采集模块1获取儿童放射检查问询表数据、儿童放射检查质控表数据、放射影像数据以及诊断报告数据，以获得原始数据，其中，儿童放射检查问询表数据、儿童放射检查质控表数据以及诊断报告数据均属于文本数据，通过软件工程技术从儿童放射检查问询表、儿童放射检查质控表以及诊断报告中提取，放射影像数据是通过软件工程技术获取的，将上述提取/获取的文本数据以及影像数据分别对应传输给检查预备期质控数据处理单元21、放射影像质控数据处理单元31以及诊断报告质控数据处理单元41。
与传统质控系统以及质控方法相比，本实施方案中，将传统的纸质表格、报告，或者是分布在不同信息化系统下的表格、报告归纳至同一个信息化系统下，便于数据搜集、处理、使用。
2)检查预备期质控数据处理单元21接收到儿童放射检查问询表数据以及儿童放射检查质控表数据后，将接收到的数据处理为检查预备期质控模型22可以处理的格式。检查预备期质控模型22通过自然语言处理技术对处理后的数据进行分词、语义提取、主题分析等处理，最后转化为算法可以处理的检查预备期数据字典，该检查预备期字典结构为{主题：结果}。其中，“主题”为儿童放射检查问询表以及儿童放射检查质控表中各个子项，“结果”为各个子项问询结果或质控核对结果的语义分析结果，为布尔型，或者枚举型。检查预备期质控模型22将医学规则以及检查预备期数据字典进行结合，形成检查预备期问答系统，获得检查预备期的质控结果并发送到结果显示模块5。
与现有自然语言处理技术相比，该系统构建了针对儿童放射检查问询表、儿童放射检查质控表的专用分词词典，能够较好地对其包含的文本数据进行分词，降低了将一个完整的词汇拆分为多个词的情况。
与现有检查预备期质控方法相比，本系统不仅将质控统一到同一个信息系统，而且通过儿童放射检查预备期质控的问答系统(QAS)，能够处理复杂的文本数据，使质控项目更加丰富，提升了质控工作的严谨性、准确性。
3)放射影像质控数据处理单元31将接收的放射影像数据进行滤波、缩放、降噪以及张量化处理，进而将影像数据转化为算法可以处理的格式，传输给放射影像质控模型32。
4)放射影像质控模型32通过深度学习技术实现对影像的语义分析、质量控制相关的语义特征提取、质量控制结果的生成等操作，进而获得影像数据的质控结果并发送到结果显示模块5。
5)诊断报告质控数据处理单元41将接收的诊断报告数据处理为诊断报告质控模型42可以处理的格式。诊断报告质控模型42通过自然语言处理技术对处理后的数据进行分词、语义提取、主题分析等处理，最后转化为算法可以处理的诊断报告数据字典，该字典结构为{主题：结果}。其中，“主题”为诊断报告中的各个子项，“结果”为各个子项的诊断结果的语义分析结果，为布尔型，或者枚举型。诊断报告质控模型42将医学规则与诊断报告数据字典进行结合，形成诊断报告问答系统，获得诊断报告的质控结果并发送到结果显示模块5。
与现有自然语言处理技术相比，本系统构建了针对诊断报告的专用分词词典，能够较好地对其包含的文本数据进行分词，降低了将一个完整的词汇拆分为多个词的情况。
与现有诊断报告质控方法相比，本系统不仅将质控统一到同一个信息系统，而且通过诊断报告质控的问答系统(QAS)，能够处理复杂的文本数据，使质控项目更加丰富，提升了质控工作的严谨性、准确性。
6)结果显示模块5将接收到的检查预备期的质控结果、放射影像的质控结果以及诊断报告的质控结果汇总，获得最终的质控结果，其中，显示模块5包括：图像列表区、检查预备期与诊断报告的质量控制结果区、影像质量控制结果展示区、质量控制结果统计区。
为了提高该儿童放射射片及诊断的质量控制人工智能系统质控的准确性，作为技术方案的改进，参见图1，在结果显示模块5中设置有医师修正功能单元51，该医师修正功能单元51通过软件工程技术实现，医师可以针对各个质量控制结果进行修正，当医师修正后，影像最终的质量控制结果会自动根据修正结果调整。
上述实施方案中提及的检查预备期质控模型22以及诊断报告质控模型42均是基于NLP的深度学习模型，属于现有的成熟学习模型，因此，在此就不再对该学习模型的结构进行详细的介绍。
上述实施方案中提及的放射影像质控模型可以是肺部子模型、脊柱子模型以及锁骨子模型中的一种或多种融合而成，具体模型中采用的子模型个数可以根据实际质控标准进行设计。而上述放射影像质控模型无论是一种或多种子模型融合而成，每种子模型均具有相同的基础深度学习结构设计，参见图2，该基础深度学习结构由第一卷积层a1、第一池化层a2、第二卷积层a3、第一上采样层a4、第一基于特征差异的特征融合单元a5以及第一拼接卷积层a6构成，其中，第一卷积层a1用于对输入的放射影像数据进行卷积处理，第一池化层a2的输入端与第一卷积层a1的第一输出端连接，用于将第一卷积层a1输出的数据进行池化处理，第二卷积层a3的输入端与第一池化层a2的输出端连接，用于将第一池化层a2输出的数据进行再次卷积处理，第一上采样层a4的输入端与第二卷积层a3的输出端连接，用于将第二卷积层a3输出的数据进行上采样，获得上采样数据，第一基于特征差异的特征融合单元a5的输入端与第一卷积层a1的第二输出端连接，用于将第一卷积层a1输出的数据进行特征差异计算，并将特征差异计算结果融合权重加权到第一卷积层a1输出的数据上，获得处理后数据，第一拼接卷积层a6的输入端分别与第一基于特征差异的特征融合单元a5的输出端以及第一上采样层a4的输出端连接，用于将第一基于特征差异的特征融合单元a5输出的处理后数据与所述第一上采样层a4输出的上采样数据进行拼接卷积处理。
上述的基础深度学习结构中，提出了一种新的深度学习结构——FFSFD(基于特征差异的特征融合结构，Feature Fus ion Structure based on Feature Difference)，与常见的深度学习结构相比，在同等级的计算量下，该结构能够发现特征间的差异，基于差异融合更为有用的信息，使模型最终能够提取出更多的有效信息，提升了模型性能。此外，具有该深度学习结构的模型构建简单、易于实现，同时具有高度的灵活性。
其中，第一上采样层a4将第二卷积层a3输出的数据进行上采样，获得上采样数据，具体方法为，将第二卷积层a3输出的数据通过反卷积进行维度扩增，获得扩增后数据即为上采样数据。
上述第一基于特征差异的特征融合单元a5中将第一卷积层a1输出的数据进行特征差异计算，并将特征差异计算结果融合权重加权到第一卷积层a1输出的数据上，获得处理后数据，所用的公式具体为：
Figure GDA0003499856960000091
wi＝∑r∈m，c∈nvr，c/(m*n)，i∈(channel-1) (2)；
W＝[wi]，i∈(channel-1) (3)；
W＝softmax(W) (4)；
其中，channel是输入通道，i是输入通道的索引，m是矩阵的行数，n是矩阵的列数，r是矩阵行的索引，c是矩阵列的索引。
输入数据A是一个矩阵，其维度为[m,n,channel]，m为行数，n为列数，channel为维度为[m,n]的矩阵的个数。
计算特征差异：通过公式(1)计算输入数据A中，相邻的二维矩阵之间，对应位置上值的差异。第channel个二维矩阵的原始值作为加权后的值使用，保留少部分加权前的特征作为宏观知识使用。因此，最终结果仍是一个维度为[m,n,channel]的矩阵，其值为计算得到的差异。
计算特征融合权重：完成计算特征差异后，根据公式(2)针对其结果计算每个二维矩阵的均值，共得到channel-1个均值。根据公式(3)对公式(2)的结果进行向量化，并通过公式(4)调节向量中的值，使其值的范围为[0,1]，最终结果为长度为channel-1的向量。
加权输入数据A：将输入数据A中每个二维矩阵都乘以公式(4)中对应的值，得到加权输入数据A。
上述肺部子模型、脊柱子模型以及锁骨子模型均具有上述的基础深度学习结构，仅在结构细节上不同，例如：卷积层的个数、池化层的个数以及对应的上采样层的个数、第一基于特征差异的特征融合单元的个数和第一拼接卷积层的个数不同。
例如，参见图3为实际案例中一个肺部子模型的具体结构，该肺部子模型的具体由第四卷积层a10、第三池化层a9、第三卷积层a8、第二池化层a7、第一卷积层a1、第一池化层a2、第二卷积层a3、第一上采样层a4、第一基于特征差异的特征融合单元a5、第一拼接卷积层a6、第二上采样层a11、第二基于特征差异的特征融合单元a12、第二拼接卷积层a13、第三上采样层a14、第三基于特征差异的特征融合单元a15以及第三拼接卷积层a16构成，其中，数据的处理过程具体为：第四卷积层a10卷积处理→第三池化层a9池化处理→第三卷积层a8卷积处理→第二池化层a7池化处理→第一卷积层a1卷积处理→第一池化层a2池化处理→第二卷积层a3→第一上采样层a4，第一基于特征差异的特征融合单元a5提取第一卷积层a1卷积处理后数据进行特征差异计算，并将特征差异计算结果融合权重加权到第一卷积层a1输出的数据上，第一拼接卷积层a6将第一基于特征差异的特征融合单元a5中输出的数据与第一上采样层a4输出的数据进行拼接卷积后，由第二上采样层a11进行上采样，第二基于特征差异的特征融合单元a12提取第三卷积层a8中输出的卷积处理后的数据进行特征差异计算，并将特征差异计算结果融合权重加权到第三卷积层a8输出的数据上，第二拼接卷积层a13将第二基于特征差异的特征融合单元a12输出的数据与第二上采样层a11中的上采样数据进行卷积拼接处理后，由第三上采样层a14进行再次上采样，第三基于特征差异的特征融合单元a15提取第四卷积层a10中输出的卷积处理后的数据进行特征差异计算，并将特征差异计算结果融合权重加权到第四卷积层a10输出的数据上，第三拼接卷积层a16将第三基于特征差异的特征融合单元a15输出的数据与第三上采样层a14输出的上采样数据进行拼接卷积获得最终数据。
上述模型构建结束后，需要进行训练，训练流程见图4，将处理好的数据送入模型训练，根据模型在训练集、验证集、测试集的损失值和准确率评估是否训练完毕，若果训练不符合完毕条件，调节模型参数，再次训练。
上述儿童放射射片及诊断的质量控制人工智能系统可以用于新生儿以及非新生儿，其中，对于新生儿和非新生儿主要是对应的质控指标有所区别，而通过调节系统中各模型以及各模型包含的子模型来应对质控指标的变更。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.一种儿童放射射片及诊断的质量控制人工智能系统，其特征在于，包括：数据采集模块(1)、检查预备期质控模块(2)、放射影像质控模块(3)、诊断报告质控模块(4)以及结果显示模块(5)；
所述数据采集模块(1)用于分别采集儿童放射检查问询表数据、儿童放射检查质控表数据、放射影像数据以及诊断报告数据；
所述检查预备期质控模块(2)包括：检查预备期质控数据处理单元(21)以及检查预备期质控模型(22)；
所述检查预备期质控数据处理单元(21)的输入端与所述数据采集模块(1)的第一输出端连接，用于接收所述数据采集模块(1)发送的儿童放射检查问询表数据以及儿童放射检查质控表数据，并将接收的儿童放射检查问询表数据以及儿童放射检查质控表数据进行处理，转化为所述检查预备期质控模型(22)可处理的格式，获得检查预备期数据；
所述检查预备期质控模型(22)的输入端与所述检查预备期质控数据处理单元(21)的输出端连接，用于接收所述检查预备期质控数据处理单元(21)发送的检查预备期数据，并通过自然语言处理技术将接收的检查预备期数据进行分词、语义提取以及主题分析处理，进而将所述检查预备期数据中自然语言描述的结果转化为算法可以处理的检查预备期数据字典，然后将所述检查预备期数据字典与医学规则结合，形成检查预备期问答系统，获得检查预备期的质控结果；
所述放射影像质控模块(3)包括：放射影像质控数据处理单元(31)以及放射影像质控模型(32)；
所述放射影像质控数据处理单元(31)的输入端与所述数据采集模块(1)的第二输出端连接，用于接收所述数据采集模块(1)发送的放射影像数据，并将所述放射影像数据转化为算法可以处理的格式；
所述放射影像质控模型(32)的输入端与所述放射影像质控数据处理单元(31)的输出端连接，用于接收放射影像质控数据处理单元(31)发送的处理后放射影像数据，并依据所述处理后放射影像数据，获得放射影像的质控结果；
所述诊断报告质控模块(4)包括：诊断报告质控数据处理单元(41)以及诊断报告质控模型(42)；
所述诊断报告质控数据处理单元(41)的输入端与所述数据采集模块(1)的第三输出端连接，用于接收所述数据采集模块(1)发送的诊断报告数据，并将所述诊断报告数据进行处理，转化为所述诊断报告质控模型(42)可处理的格式，获得诊断报告数据；
所述诊断报告质控模型(42)的输入端与所述诊断报告质控数据处理单元(41)的输出端连接，用于接收所述诊断报告质控数据处理单元(41)发送的诊断报告数据，并通过自然语言处理技术将接收的诊断报告数据进行分词、语义提取以及主题分析处理，进而将所述诊断报告数据中自然语言描述的结果转化为算法可以处理的诊断报告数据字典，然后将所述诊断报告数据字典与医学规则结合，形成诊断报告问答系统，获得诊断报告的质控结果；
所述结果显示模块(5)的输入端分别与所述检查预备期质控模型(22)的输出端、放射影像质控模型(32)的输出端以及诊断报告质控模型(42)的输出端连接，用于接收并显示所述检查预备期质控模型(22)输出的检查预备期的质控结果、放射影像质控模型(32)输出的放射影像质控结果以及诊断报告质控模型(42)输出的诊断报告的质控结果；
所述放射影像质控模型为肺部子模型、脊柱子模型以及锁骨子模型中的一种或多种融合而成，且所述肺部子模型、脊柱子模型以及锁骨子模型均具有基础的深度学习结构；
所述基础的深度学习结构包括：第一卷积层(a1)、第一池化层(a2)、第二卷积层(a3)、第一上采样层(a4)、第一基于特征差异的特征融合单元(a5)以及第一拼接卷积层(a6)；
所述第一卷积层(a1)用于对输入的放射影像数据进行卷积处理；
所述第一池化层(a2)的输入端与所述第一卷积层(a1)的第一输出端连接，用于将所述第一卷积层(a1)输出的数据进行池化处理；
所述第二卷积层(a3)的输入端与所述第一池化层(a2)的输出端连接，用于将所述第一池化层(a2)输出的数据进行再次卷积处理；
所述第一上采样层(a4)的输入端与所述第二卷积层(a3)的输出端连接，用于将所述第二卷积层(a3)输出的数据进行上采样，获得上采样数据；
所述第一基于特征差异的特征融合单元(a5)的输入端与所述第一卷积层(a1)的第二输出端连接，用于将所述第一卷积层(a1)输出的数据进行特征差异计算，并将所述特征差异计算结果融合权重加权到所述第一卷积层(a1)输出的数据上，获得处理后数据；
所述第一拼接卷积层(a6)的输入端分别与所述第一基于特征差异的特征融合单元(a5)的输出端以及所述第一上采样层(a4)的输出端连接，用于将所述第一基于特征差异的特征融合单元(a5)输出的处理后数据与所述第一上采样层(a4)输出的上采样数据进行拼接卷积处理。
2.根据权利要求1所述儿童放射射片及诊断的质量控制人工智能系统，其特征在于，所述检查预备期质控模型以及所述诊断报告质控模型均为基于NLP的深度学习模型。
3.根据权利要求1所述儿童放射射片及诊断的质量控制人工智能系统，其特征在于，所述第一上采样层(a4)将所述第二卷积层(a3)输出的数据进行上采样，获得上采样数据，具体方法为，将所述第二卷积层(a3)输出的数据通过反卷积进行维度扩增，获得扩增后数据即为上采样数据。
4.根据权利要求1所述儿童放射射片及诊断的质量控制人工智能系统，其特征在于，所述第一基于特征差异的特征融合单元(a5)中将所述第一卷积层(a1)输出的数据进行特征差异计算，并将所述特征差异计算结果融合权重加权到所述第一卷积层(a1)输出的数据上，获得处理后数据，所用的公式具体为：
Figure FDA0003499856950000031
wi＝∑r∈m，c∈nvr，c/(m*n)，i∈(channel-1) (2)；
W＝[wi]i∈(channel-1) (3)；
W＝softmax(W) (4)；
其中，channel是输入通道，i是输入通道的索引，m是矩阵的行数，n是矩阵的列数，r是矩阵行的索引，c是矩阵列的索引。
5.根据权利要求1所述儿童放射射片及诊断的质量控制人工智能系统，其特征在于，所述结果显示模块(5)中还设置有医师修正功能单元(51)。
6.一种基于人工智能的儿童放射射片及诊断的质控方法，所述方法适用于权利要求1～5所述的智能系统，其特征在于，包括如下步骤：
利用软件工程技术获取儿童放射检查问询表数据、儿童放射检查质控表数据、放射影像数据以及诊断报告数据；
将所述儿童放射检查问询表数据以及儿童放射检查质控表数据进行处理后，获得检查预备期数据；
通过检查预备期质控模型将所述检查预备期数据进行处理，获得检查预备期数据字典，并将所述检查预备期数据字典与医学规则结合，形成检查预备期问答系统，获得检查预备期的质控结果；
将所述放射影像数据进行滤波、缩放、降噪以及张量化处理，获得放射影像处理后数据；
通过放射影像质控模型进行所述放射影像处理后数据的智能判断，获得放射影像的质控结果；
将所述诊断报告数据进行处理后，获得诊断报告数据；
通过诊断报告质控模型将所述诊断报告数据进行处理，获得诊断报告数据字典，并将所述诊断报告数据字典与医学规则结合，形成诊断报告问答系统，获得诊断报告的质控结果；
将所述检查预备期的质控结果、放射影像的质控结果以及诊断报告的质控结果汇总，经医师修正审核后，获得最终的质控结果。
7.根据权利要求6所述基于人工智能的儿童放射射片及诊断的质控方法，其特征在于，所述通过检查预备期质控模型将所述检查预备期数据进行处理，获得检查预备期数据字典，具体为：
通过自然语言处理技术将所述检查预备期数据进行分词、语义提取以及主题分析，进而将所述检查预备期数据中自然语言描述的结果转化为算法可以处理的检查预备期数据字典；
所述检查预备期数据字典的结构为{主题：结果}，其中，所述主题为儿童放射检查问询表以及儿童放射检查质控表中各个子项，所述结果为各个子项问询结果或质控核对结果的语义分析结果。
8.根据权利要求6所述基于人工智能的儿童放射射片及诊断的质控方法，其特征在于，所述通过诊断报告质控模型将所述诊断报告数据进行处理，获得诊断报告数据字典，具体为：
通过自然语言处理技术将所述诊断报告数据进行分词、语义提取以及主题分析，进而将所述诊断报告数据中自然语言描述的结果转化为算法可以处理的诊断报告数据字典；
所述诊断报告数据字典的结构为{主题：结果}，其中，所述主题为诊断报告中各个子项，所述结果为各个子项诊断结果的语义分析结果。
9.根据权利要求7或8所述基于人工智能的儿童放射射片及诊断的质控方法，其特征在于，所述语义分析结果为布尔型或枚举型。
CN201910514469.XA 2019-06-14 2019-06-14 儿童放射射片及诊断的质量控制人工智能系统及质控方法 Active CN110276749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910514469.XA CN110276749B (zh) 2019-06-14 2019-06-14 儿童放射射片及诊断的质量控制人工智能系统及质控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910514469.XA CN110276749B (zh) 2019-06-14 2019-06-14 儿童放射射片及诊断的质量控制人工智能系统及质控方法

Publications (2)

Publication Number Publication Date
CN110276749A CN110276749A (zh) 2019-09-24
CN110276749B true CN110276749B (zh) 2022-04-01

Family

ID=67960841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910514469.XA Active CN110276749B (zh) 2019-06-14 2019-06-14 儿童放射射片及诊断的质量控制人工智能系统及质控方法

Country Status (1)

Country Link
CN (1) CN110276749B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706223B (zh) * 2019-09-30 2022-05-20 辽宁万象联合医疗科技有限公司 基于人工智能的医学放射影像胸部摄片的质量控制方法
CN110807310B (zh) * 2019-10-25 2024-02-27 上海联影智能医疗科技有限公司 X光片分析结果的评估方法、设备和存储介质
CN111028907A (zh) * 2019-11-29 2020-04-17 广州金域医学检验中心有限公司 诊断报告的质控方法、装置、设备及存储介质
CN111739617B (zh) * 2020-06-15 2023-07-11 中国医学科学院医学信息研究所 医疗影像人工智能质控标注方法、装置、设备及存储介质
CN113241139B (zh) * 2021-04-21 2024-07-19 辽宁万象联合医疗科技有限公司 一种基于儿童放射影像质量控制的人工智能系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874643A (zh) * 2016-12-27 2017-06-20 中国科学院自动化研究所 基于词向量自动构建知识库实现辅助诊疗的方法和系统
CN107833629A (zh) * 2017-10-25 2018-03-23 厦门大学 基于深度学习的辅助诊断方法及系统
CN107887002A (zh) * 2017-12-07 2018-04-06 卢乃吉 一种医学影像诊断质量管理系统
CN109003683A (zh) * 2018-07-13 2018-12-14 邵斌 一种医学影像诊断质量管理系统
CN109559822A (zh) * 2018-11-12 2019-04-02 平安科技（深圳）有限公司 智能初诊方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874643A (zh) * 2016-12-27 2017-06-20 中国科学院自动化研究所 基于词向量自动构建知识库实现辅助诊疗的方法和系统
CN107833629A (zh) * 2017-10-25 2018-03-23 厦门大学 基于深度学习的辅助诊断方法及系统
CN107887002A (zh) * 2017-12-07 2018-04-06 卢乃吉 一种医学影像诊断质量管理系统
CN109003683A (zh) * 2018-07-13 2018-12-14 邵斌 一种医学影像诊断质量管理系统
CN109559822A (zh) * 2018-11-12 2019-04-02 平安科技（深圳）有限公司 智能初诊方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110276749A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN110276749B (zh) 儿童放射射片及诊断的质量控制人工智能系统及质控方法
CN109949309A (zh) 一种基于深度学习的肝脏ct图像分割方法
CN109816742B (zh) 基于全连接卷积神经网络的锥束ct几何伪影去除方法
CN110070540B (zh) 图像生成方法、装置、计算机设备及存储介质
CN111984771A (zh) 一种基于智能对话的自动问诊系统
US20240212811A1 (en) Method and apparatus for processing of multi-modal data
US11514621B2 (en) Low-dose image reconstruction method and system based on prior anatomical structure difference
CN110400617A (zh) 医学成像中的成像和报告的结合
CN107767362A (zh) 一种基于深度学习的肺癌早筛装置
CN110264449A (zh) 人工智能的深度学习方法及基于人工智能的医学放射影像胸部摄片的质量控制方法
CN112883992A (zh) 基于注意力的ResNet模型的乳腺癌肿块的分类方法
CN115239674B (zh) 基于多尺度判别的计算机血管造影成像合成方法
CN111402207B (zh) 一种基于复合神经网络的超声造影视频数据分析方法
CN110827283B (zh) 基于卷积神经网络的头颈血管分割方法及装置
Souid et al. Xception-ResNet autoencoder for pneumothorax segmentation
CN117995344A (zh) Ct报告生成处理方法及装置
CN117523204A (zh) 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质
CN113313699A (zh) 基于弱监督学习的x光胸部疾病分类及定位方法、电子设备
CN115798725B (zh) 用于核医学的带病灶人体仿真影像数据制作方法
CN113241139B (zh) 一种基于儿童放射影像质量控制的人工智能系统及方法
CN113902912B (zh) Cbct影像的处理方法、神经网络系统的创建方法、以及装置
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
CN112419313A (zh) 一种基于先心病超声的多切面的分类方法
CN111932486A (zh) 一种基于3d卷积神经网络的脑胶质瘤分割方法
Di Maro et al. Overcoming Adverse Conditions in Rescue Scenarios: A Deep Learning and Image Processing Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant