CN111583249A - 一种医学图像的质量监控系统及方法 - Google Patents

一种医学图像的质量监控系统及方法 Download PDF

Info

Publication number
CN111583249A
CN111583249A CN202010399285.6A CN202010399285A CN111583249A CN 111583249 A CN111583249 A CN 111583249A CN 202010399285 A CN202010399285 A CN 202010399285A CN 111583249 A CN111583249 A CN 111583249A
Authority
CN
China
Prior art keywords
image
scanning
medical
parameter
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010399285.6A
Other languages
English (en)
Other versions
CN111583249B (zh
Inventor
朱瑞星
周雪芹
刘西耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shenzhi Information Technology Co ltd
Original Assignee
Shanghai Zhuxing Biotechnology Co ltd
Shanghai Shenzhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhuxing Biotechnology Co ltd, Shanghai Shenzhi Information Technology Co ltd filed Critical Shanghai Zhuxing Biotechnology Co ltd
Priority to CN202010399285.6A priority Critical patent/CN111583249B/zh
Publication of CN111583249A publication Critical patent/CN111583249A/zh
Application granted granted Critical
Publication of CN111583249B publication Critical patent/CN111583249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种医学图像的质量监控系统及方法,包括:医学成像设备,扫查得到若干医学图像;图像处理装置,在扫查过程中,根据标准扫查参数对各医学图像进行分类得到若干图像子集,并根据扫查参数集合的参数类型与各图像子集关联的所有标准扫查参数的参数类型处理得到一参数类型差集,将参数类型差集中的标准扫查参数的参数类型作为反馈参数输出;针对每个图像子集,分别处理得到各医学标注图像的质量评估结果,并在图像子集中不存在质量评估结果满足质量评估标准的医学标注图像时将标准扫查参数作为反馈参数输出;根据反馈参数生成扫查反馈提示发送至医学成像设备上供扫查医生查看。有益效果是减少重复检查的次数,缓解医疗资源紧缺的问题。

Description

一种医学图像的质量监控系统及方法
技术领域
本发明涉及医学影像辅助扫查技术领域,尤其涉及一种医学图像的质量监控系统及方法。
背景技术
由于医疗成像设备的操作人员的不同,医疗图像的清晰度和所聚焦部位可能会有所差异。在某些情况下,由于成像传感器放置不当,目标器官的视图可能不太完整,导致目标器官的关键特征遗失。另外,即使成像传感器位置适当,外部因素如身体的解剖特征,也可能会对目标器官的关键特征的清晰度造成影响。医疗成像设备扫查得到的图像会录入医院的PACS系统,供医生挑选。医生不仅需要选出合适视角和优质的图像,还需在显示屏上有效排列整理合适的图像。如果一组图像中没有符合要求质量或视角的成像,医生必须要求患者再次预约以重新获取获得丢失的图像。
现有技术中,医疗影像质量反馈不及时,一般医疗影像设备的操作者获得影像后,将图像录入系统,由医生从系统调出查看。如果图像质量不过关或者没有检查到问题特征点,医生会要求患者重新取图。反复取图操作,不仅浪费患者金钱,而且会导致医生时间资源的浪费。同时现有的医疗图像质量筛选并不能达到实时反馈和辅助获得优质图像的功能,而是单一的表述取图通过某种方式取出高质量图片,但是完全没有考虑到实时反馈,如果没有符合质量图片影像的情况。
发明内容
针对现有技术中存在的问题,本发明提供一种医学图像的质量监控系统,应用于医学图像的扫查过程,具体包括:
医学成像设备,用于扫查得到若干医学图像并输出;
图像处理装置,连接所述医学成像设备,所述图像处理装置包括:
数据存储模块,用于保存预先生成的扫查规则库,所述扫查规则库中包含若干扫查部位,且每个所述扫查部位关联有包含预设的若干标准扫查参数的一扫查参数集合;
规则提取模块,连接所述数据存储模块,用于在所述医学成像设备的扫查过程中,根据外部输入的包含所述扫查部位的扫查目标信息,于所述扫查规则库中匹配得到对应的所述扫查参数集合;
图像分类模块,连接所述规则提取模块,用于根据所述扫查参数集合中的各所述标准扫查参数对各所述医学图像进行分类得到若干图像子集,并根据所述扫查参数集合的参数类型与各所述图像子集关联的所有所述标准扫查参数的参数类型处理得到一参数类型差集,在所述参数类型差集为空时输出一分类结果,以及在所述差集不为空时,将所述参数类型差集中包括的所述标准扫查参数的所述参数类型作为反馈参数输出;
质量评估模块,连接所述图像分类模块,用于针对每个所述图像子集,根据所述分类结果分别处理得到各所述医学标注图像的质量评估结果,并在所述图像子集中存在所述质量评估结果满足预设的质量评估标准的所述医学标注图像时输出所述医学标注图像,
以及在所述图像子集中不存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时,将所述图像子集对应的所述标准扫查参数的所述参数类型作为所述反馈参数输出;
质量反馈模块,分别连接所述图像分类模块和所述质量评估模块,用于根据所述反馈参数生成相应的扫查反馈提示发送至所述医学成像设备上,以供扫查医生进行查看;
所述扫查医生根据所述扫查反馈提示对所述反馈参数对应的所述扫查部位进行重新扫查。
优选的,所述图像分类模块包括:
图像标注单元,用于分别对各所述医学图像进行参数标注得到标注有所述标准扫查参数的参数类型医学标注图像,将具有相同的所述参数类型的所述医学标注图像加入一图像子集并输出各所述图像子集;
图像分类单元,连接所述图像标注单元,用于根据所述扫查参数集合的参数类型与各所述图像子集关联的所有所述标准扫查参数的参数类型处理得到一参数类型差集,在所述参数类型差集为空时输出一分类结果,以及在所述差集不为空时,将所述参数类型差集中包括的所述标准扫查参数的所述参数类型作为反馈参数输出。
优选的,所述图像标注单元包括:
识别子单元,用于分别对各所述医学图像进行图像特征识别得到各所述医学图像的第一图像特征;
标注子单元,连接所述识别子单元,用于将各所述第一图像特征分别与各所述标准扫查参数的参数类型进行匹配,得到标注有所述标准扫查参数的所述参数类型医学标注图像,并将具有相同的所述参数类型的所述医学标注图像加入一图像子集并输出各所述图像子集。
优选的,采用预先生成的卷积神经网络对各所述医学图像进行图像特征识别得到各所述医学图像的第一图像特征,所述卷积神经网络包括:
依次连接的若干卷积神经网络层,每个所述卷积神经网络层包括一卷积层和一池化层,且所述卷积层的输出作为所述池化层的输入;
全连接层,最后一个所述卷积神经网络层的输出作为所述全连接层的输入。
优选的,采用循环神经网络将各所述第一图像特征分别与各所述标准扫查参数进行匹配,得到标注有所述标准扫查参数的所述参数类型的医学标注图像。
优选的,所述质量评估模块包括:
第一存储单元,用于保存预先获取的包含若干第一标准图像以及各所述第一标准图像对应的质量评估结果的模型训练集,以及根据所述模型训练集训练得到的第一特征提取模型;
特征提取单元,连接所述第一存储单元,用于根据所述第一特征提取模型对所述医学标注图像进行特征提取得到所述第二图像特征,并根据所述第一特征提取模型分别对各所述标准图像进行特征提取得到所述标准图像特征。
第一评估单元,连接所述特征提取单元,用于针对每个所述医学标注图像,分别计算所述第二图像特征与各所述标准图像特征之间的相关系数值,并提取所述相关系数值最大的所述标准图像特征对应的所述标准图像的所述质量评估结果作为所述医学标注图像的所述质量评估结果并输出;
第一输出单元,连接所述第一评估单元,用于在所述图像子集中存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时输出所述医学标注图像,以及在所述图像子集中不存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时,将所述图像子集对应的所述标准扫查参数作为所述反馈参数输出。
优选的,所述质量评估模块还包括一第一更新单元,分别连接所述第一存储单元和所述第一输出单元,用于在所述图像子集中存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时,将所述医学标注图像作为模型训练数据存入所述第一存储单元,以对所述模型训练集进行更新。
优选的,所述质量评估模块还包括:
第二存储单元,用于保存预先获取的标注有所述质量评估结果的若干第二标准图像;
第二评估单元,连接所述第二存储单元,用于针对每个所述医学标注图像,分别计算得到所述医学标注图像与各所述第二标准图像之间的相似度,并提取与所述医学标注图像的所述相似度最大的所述第二标准图像的所述质量评估结果作为所述医学标注图像的所述质量评估结果并输出;
第二输出单元,连接所述第二评估单元,用于在所述图像子集中存在所述质量评估结果满足预设的质量评估标准的所述医学标注图像时输出所述医学标注图像,以及在所述图像子集中不存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时,将所述图像子集对应的所述标准扫查参数作为所述反馈参数输出。
优选的,所述质量评估模块还包括一第二更新单元,分别连接所述第二存储单元和所述第二输出单元,用于在所述图像子集中存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时,将所述医学标注图像作为所述第二标准图像存入所述第二存储单元,以对所述第二存储单元进行更新。
一种医学图像的质量监控方法,应用于以上任意一项所述的医学图像的质量监控系统,所述质量监控方法包括:
步骤S1,所述质量监控系统在所述医学成像设备的扫查过程中,根据外部输入的包含所述扫查部位的扫查目标信息,于预先生成的扫查规则库中匹配得到对应的扫查参数集合;
步骤S2,所述质量监控系统根据所述扫查参数集合中的各所述标准扫查参数对各所述医学图像进行分类得到若干图像子集,并根据所述扫查参数集合的参数类型与各所述图像子集关联的所有所述标准扫查参数的参数类型处理得到一参数类型差集,并判断所述参数类型差集是否为空:
若是,则转向步骤S3;
若否,则将所述参数类型差集中包括的所述标准扫查参数的所述参数类型作为反馈参数输出,随后转向步骤S4;
步骤S3,所述质量监控系统针对每个所述图像子集,分别处理得到各所述医学标注图像的质量评估结果,并判断在所述图像子集中是否存在所述质量评估结果满足预设的质量评估标准的所述医学标注图像:
若是,则输出所述医学标注图像,随后退出;
若否,则将所述图像子集对应的所述标准扫查参数的所述参数类型作为所述反馈参数输出,随后转向步骤S4;
步骤S4,所述质量监控系统根据所述反馈参数生成相应的扫查反馈提示发送至所述医学成像设备上,以供扫查医生进行查看;
所述扫查医生根据所述扫查反馈提示对所述反馈参数对应的所述扫查部位进行重新扫查。
上述技术方案具有如下优点或有益效果:通过对医学图像的实时质量监控,能够帮助医疗影像医生获取适合临床诊断决策的图像,并给出操作时是否需要获取新图片以及哪个部位图片的反馈,一次性获取符合临床诊断要求的图像,减少被检查者或被检查动物重复检查的次数,缓解医疗资源紧缺的问题,同时减少医疗费用的浪费。
附图说明
图1为本发明的较佳的实施例中,一种医学图像的质量监控系统的结构示意图;
图2为本发明的较佳的实施例中,卷积神经网络的结构示意图;
图3为本发明的一个较佳的实施例中,心超医学图像的分类过程示意图;
图4为本发明的较佳的实施例中,一种医学图像的质量监控方法的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式,只要符合本发明的主旨,则其他实施方式也可以属于本发明的范畴。
本发明的较佳的实施例中,基于现有技术中存在的上述问题,现提供一种医学图像的质量监控系统,应用于医学图像的扫查过程,如图1所示,具体包括:
医学成像设备1,用于扫查得到若干医学图像并输出;
图像处理装置2,连接医学成像设备1,图像处理装置2包括:
数据存储模块21,用于保存预先生成的扫查规则库,扫查规则库中包含若干扫查部位,且每个扫查部位关联有包含预设的若干标准扫查参数的一扫查参数集合;
规则提取模块22,连接数据存储模块21,用于在医学成像设备的扫查过程中,根据外部输入的包含扫查部位的扫查目标信息,于扫查规则库中匹配得到对应的扫查参数集合;
图像分类模块23,连接规则提取模块22,用于根据扫查参数集合中的各标准扫查参数对各医学图像进行分类得到若干图像子集,并根据扫查参数集合的参数类型与各图像子集关联的所有标准扫查参数的参数类型处理得到一参数类型差集,在参数类型差集为空时输出一分类结果,以及在差集不为空时,将参数类型差集中包括的标准扫查参数的参数类型作为反馈参数输出;
质量评估模块24,连接图像分类模块23,用于针对每个图像子集,根据分类结果分别处理得到各医学标注图像的质量评估结果,并在图像子集中存在质量评估结果满足预设的质量评估标准的医学标注图像时输出医学标注图像,
以及在图像子集中不存在质量评估结果满足质量评估标准的医学标注图像时,将图像子集对应的标准扫查参数的参数类型作为反馈参数输出;
质量反馈模块25,分别连接图像分类模块23和质量评估模块24,用于根据反馈参数生成相应的扫查反馈提示发送至医学成像设备上,以供扫查医生进行查看;
扫查医生根据扫查反馈提示对反馈参数对应的扫查部位进行重新扫查。
具体地,本实施例中,上述医学成像设备1包括但不限于计算机断层扫描(CT)、磁共振成像(MRI)、医学超声扫描、内窥镜、弹性成像、触觉成像、热成像、医学摄影和核医学功能成像技术,如正电子发射断层扫描(PET)和单光子发射计算机断层扫描(SPECT)。本发明提供一种医学图像的质量监控系统,在扫查医生采用上述医学成像设备1的影像扫查过程中,对扫查得到的医学图像的质量进行实时监控,并在质量监控结果表示漏扫查或扫查得到的医学图像的质量不达标时及时给出扫查反馈提示,以便扫查医生实时查看,同时扫查医生能够根据扫查反馈提示对反馈参数对应的扫查部位进行重新扫查,避免多次扫查造成的医疗资源和医疗费用的浪费。在质量监控结果表示医学图像的质量达标时优选将医学图像保存到PACS系统,和/或本地存储设备,和/或云服务端,以供后续查看使用。
进一步地,通过将医学图像按照预先生成的若干标准扫查参数进行分类,通过分类能够实时获取漏扫查的医学图像的参数类型。本实施例中,根据扫查参数集合的参数类型与各图像子集关联的所有标准扫查参数的参数类型处理得到一参数类型差集,该参数类型差集直接表征漏扫查情况。扫查参数集合中的参数类型是扫查得到的各医学图像应该包含的参数类型,各图像子集关联的所有标准扫查参数的参数类型是实际扫查得到的各医学图像的参数类型,通过计算上述参数类型差集并判断上述参数类型差集是否为空集,能够实时获取漏扫查的医学图像的参数类型。若上述参数类型差集是空集,则表示本次扫查得到了需要的所有参数类型的医学图像,不存在漏扫查情况。若上述参数类型差集是空集,则表明参数类型差集中包括的所述标准扫查参数的所述参数类型在本次扫查中为扫查到,即存在漏扫查,并能够及时通过反馈参数的形式反馈给扫查医生。
进一步具体地,由于不同扫查对象,不同扫查部位,甚至不同扫查目的等扫查得到的医学图像的图像质量要求是不同的,因此在对医学图像进行质量监控之前,需要预先生成相应的扫查规则库,以根据外部扫查目标参数的不同匹配不同的图像质量要求。上述扫查目标参数包括但不限于扫查对象的BMI值、性别、人种、物种、扫查部位、扫查目的等中的一个或多个。按照中国标准,或者亚洲标准,或者WHO标准,上述BMI值按按照数值自动归类到偏瘦,正常,超重,偏胖,肥胖。按上述五种标准,分别选取N个人进行图片获取,并给对应的图像标注对应的BMI值,进行分类,以此类推。上述人种包括但不限于黄种人、白种人和黑人;上述物种包括但不限于猫、狗和猪等;上述扫查部位包括但不限于肺部,心脏,甲状腺,乳腺,肝脏,颈动脉,子宫等;上述扫查目的包括但不限于甲状腺结节,乳腺肿块,脂肪肝,子宫颈癌,宫外孕等。上述扫查规则库中包括针对某种BMI值,某种性别,某种物种,某人种所对应的扫查部位和扫查目的关键特征等所制定的规则,这里的规则具体是指用于识别扫查目的关键点,以及对图像质量进行划分所需要的模型名称或者图片集名称。
为了生成上述扫查规则库,需要获取临床实验得到的具有不同特征、不同质量评估结果以及不同操作角度扫查得到的若干标准图片,并对这些标准图片进行标注。上述不同特征优选选取拥有不同特征的人体或者动物体,是指图像获取对象来源于,比如不同BMI值,不同性别,不同人种,不同物种的对象。图片特征的抓取可以按照“SonographyScanning:principlesandprotocols”(超声扫查:原理和标准)中对各部位超声图像抓取特征的要求,图像质量的鉴定可以根据美国急诊医师学会(AmericanCollegeofEmergency Physicians,ACEP)里的规定。上述质量评估结果优选包括高质量、中质量和低质量。其中,低质量表示医学图像中没有可识别的结构,对应的在ACEP评分优选为1的情况下,无法从这张图中收集到客观数据。除此以外,低质量也可以表示医学图像中虽然有可被检测出的器官特征结构,但是识别的结构数量不足以用于诊断,对应的在ACEP评分优选为2的情况下。中质量表明医学图像上有满足诊断最低标准的所需数量的可识别结构,但医学图像中相应结构的清晰度仍不够。最后,高质量表明符合诊断标准,所有结构成像良好,诊断容易,优选ACEP评分为4分。
本发明的较佳的实施例中,图像分类模块23包括:
图像标注单元231,用于分别对各医学图像进行参数标注得到标注有标准扫查参数的参数类型医学标注图像,将具有相同的参数类型的医学标注图像加入一图像子集并输出各图像子集;
图像分类单元232,连接图像标注单元231,用于根据扫查参数集合的参数类型与各图像子集关联的所有标准扫查参数的参数类型处理得到一参数类型差集,在参数类型差集为空时输出一分类结果,以及在差集不为空时,将参数类型差集中包括的标准扫查参数的参数类型作为反馈参数输出。
本发明的较佳的实施例中,图像标注单元231包括:
识别子单元2311,用于分别对各医学图像进行图像特征识别得到各医学图像的第一图像特征;
标注子单元2312,连接识别子单元2311,用于将各第一图像特征分别与各标准扫查参数的参数类型进行匹配,得到标注有标准扫查参数的参数类型医学标注图像,并将具有相同的参数类型的医学标注图像加入一图像子集并输出各图像子集。
具体地,本实施例中,在医学成像设备的扫查过程中,根据外部输入的包含扫查部位的扫查目标信息,于扫查规则库中匹配得到对应的扫查参数集合,以对扫查得到的医学图像进行分类。
优选在超声操作扫查中,二维超声心动图常用切面有:胸骨旁左室长轴切面,胸骨旁大动脉短轴切面,胸骨旁左室短轴切面,心尖四腔切面,心尖五腔切面,心尖两腔切面,剑突下四腔心切面,胸骨上窝主动脉弓切面。上述切面作为标准扫查参数预先存储于扫查规则库中,在进行超声心动图像采集时,扫查得到的若干医学图像按照上述标准扫查参数进行分类得到若干心脏切面特征子集。
具体地,采用分类网络进行上述分类操作,该分类网络基于分类网络的特征识别网络和/或所输入的标准医学图像来提供分类结果。
其中,分类网络用卷积神经网络(CNN)和循环神经网络(RNN)的结合。医疗图像的第一图像特征通过卷积神经网络进行提取;医疗图像的标准扫查参数标注通过循环神经网络完成。
如图2所示,上述卷积神经网络包括卷积神经网络层100、卷积神经网络层101、…、卷积神经网络层10X以及全连接层300。卷积神经网络层100中的卷积层200可提取输入的医疗图像的特征。卷积神经网络层100中的池化层201可接受卷积层200的输出,并对输出特征进行压缩处理。经池化的结果可以被输出作为卷积神经网络层100输出的特征图。特征图被输入到卷积神经网络层101中,卷积神经网络层101中的卷积层200可提取输入医疗图像的特征。卷积神经网络层101中的池化层201可接受卷积层200的输出,并对输出特征进行压缩处理,以此类推。卷积神经网络层10X的输出特征到全连接层300。卷积神经网络的全连接层300输出的特征图输入循环神经网络(RNN)与标准扫查参数相互匹配得到标注有标准扫查参数的医学标注图像,优选的,上述循环神经网络(RNN)选用的是LSTM(Long Short-TermMemory)神经网络。
作为本发明的一个较佳的实施例,如图3所示,随着操作时间,一般心超操作医师会先选取某个切面开始流程。每个切面截取一到多张图片,截取的图片依次输入到卷积神经网络(CNN)输出经过压缩的特征图片,所有输出的特征进入全连接层。获取的特征输入循环神经网络(RNN),标注图片文字信息。如图3中所示,前两张图标记出“胸骨旁左室长轴切面”,中间两张图标记出“心尖四腔切面”,倒数第三张倒数第二张图标记出“胸骨旁大动脉短轴切面”,最后一张图是医师截取的胸骨旁大动脉短轴切面的图片,但是图片中没有可识别的特征,标注“无法识别”。经过标注的图片分别收集到图像子集,“胸骨旁左室长轴切面”进入“图像子集1”,“心尖四腔切面”进入“图像子集2”,“胸骨旁大动脉短轴切面”进入“图像子集3”,“无法识别”进入垃圾图片剔除,不被保存。
本发明的较佳的实施例中,采用预先生成的卷积神经网络对各医学图像进行图像特征识别得到各医学图像的第一图像特征,卷积神经网络包括:
依次连接的若干卷积神经网络层,每个卷积神经网络层包括一卷积层和一池化层,且卷积层的输出作为池化层的输入;
全连接层,最后一个卷积神经网络层的输出作为全连接层的输入。
本发明的较佳的实施例中,采用循环神经网络将各第一图像特征分别与各标准扫查参数进行匹配,得到标注有标准扫查参数的所述参数类型的医学标注图像。
本发明的较佳的实施例中,质量评估模块24包括:
第一存储单元241,用于保存预先获取的包含若干第一标准图像以及各第一标准图像对应的质量评估结果的模型训练集,以及根据模型训练集训练得到的第一特征提取模型;
特征提取单元242,连接第一存储单元241,用于根据第一特征提取模型对医学标注图像进行特征提取得到第二图像特征,并根据第一特征提取模型分别对各标准图像进行特征提取得到标准图像特征。
第一评估单元243,连接特征提取单元242,用于针对每个医学标注图像,分别计算第二图像特征与各标准图像特征之间的相关系数值,并提取相关系数值最大的标准图像特征对应的标准图像的质量评估结果作为医学标注图像的质量评估结果并输出;
第一输出单元244,连接第一评估单元243,用于在图像子集中存在质量评估结果满足质量评估标准的医学标注图像时输出医学标注图像,以及在图像子集中不存在质量评估结果满足质量评估标准的医学标注图像时,将图像子集对应的标准扫查参数作为反馈参数输出。
本发明的较佳的实施例中,质量评估模块24还包括一第一更新单元245,分别连接第一存储单元241和第一输出单元244,用于在图像子集中存在质量评估结果满足质量评估标准的医学标注图像时,将医学标注图像作为模型训练数据存入第一存储单元,以对模型训练集进行更新。
具体地,本实施例中,通过对模型训练集进行更新,能够对第一特征提取模型进行优化,以提升第一特征提取模型的模型预测准确性。上述第一存储单元241包括但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或上述任何适当组合。
本发明的较佳的实施例中,质量评估模块24还包括:
第二存储单元246,用于保存预先获取的标注有质量评估结果的若干第二标准图像;
第二评估单元247,连接第二存储单元246,用于针对每个医学标注图像,分别计算得到医学标注图像与各第二标准图像之间的相似度,并提取与医学标注图像的相似度最大的第二标准图像的质量评估结果作为医学标注图像的质量评估结果并输出;
第二输出单元248,连接第二评估单元247,用于在图像子集中存在质量评估结果满足预设的质量评估标准的医学标注图像时输出医学标注图像,以及在图像子集中不存在质量评估结果满足质量评估标准的医学标注图像时,将图像子集对应的标准扫查参数作为反馈参数输出。
具体地,本实施例中,上述第二存储单元246包括但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或上述任何适当组合。
本发明的较佳的实施例中,质量评估模块24还包括一第二更新单元249,分别连接第二存储单元246和第二输出单元248,用于在图像子集中存在质量评估结果满足质量评估标准的医学标注图像时,将医学标注图像作为第二标准图像存入第二存储单元,以对第二存储单元进行更新。
具体地,本实施例中,质量评估为医学图像在图像质量评估模型或与标注过的标准图片进行对比和质量评估的过程。
本发明的一个较佳的实施例中,质量评估模块24中保存有预先获取的包含若干第一标准图像以及各第一标准图像对应的质量评估结果的模型训练集,以及根据模型训练集训练得到的第一特征提取模型。本实施例中,将高质量,中质量,低质量的第一标准图片分别用第一特征提取模型提取特征。医生获取的医疗图像进入第一特征提取模型提取图像特征。将医疗图像提取的图像特征与模型中的高质量特征,中质量特征和高质量特征分别进行局部的相关系数计算。最后进行各相关系数的对比,返回相关系数最高对应的质量评估结果。这里可以用到的相关系数计算包括但不限于Pearson相关系数,Spearman相关系数,Kendall相关系数。
本发明的另一个较佳的实施例中,质量评估模块24中保存有预先获取的标注有质量评估结果的若干第二标准图像。本实施例中,将分类到各图像子集的医学图像与各第二标准图像进行一一对比,选择最相似的图像进行质量标注。
医学图像可以选择性地通过以上两种方式的任意一种进行图像质量评估。
进一步优选的,如果医疗图像质量被评估为高质量,优选生成绿色信号提示以供扫查医生进行查看;如果医疗图像质量被评估为中质量,优选生成蓝色信号提示以供扫查医生进行查看;如果医疗图像质量被评估为低质量,优选生成红色信号提示以供扫查医生进行查看。优选自动保留绿色信号提示的医学图像,并红色信号给出图像质量不合格反馈系统信号,反馈不符合质量要求的图像子集,医生根据反馈提示进行重新扫查,蓝色信号提示的医学图像可以根据需求选择保留或重新扫查。
上述不合格时的反馈提示还包括来自于“SonographyScanning:principlesandprotocols”或者其他超声操作规范的该部位特征的教学提示,包括但不限于该部位特征的教学图片影像提示以及标准操作手法提示,以供扫查医生进行参考。
一种医学图像的质量监控方法,应用于以上任意一项的医学图像的质量监控系统,如图4所示,质量监控方法包括:
步骤S1,质量监控系统在医学成像设备的扫查过程中,根据外部输入的包含扫查部位的扫查目标信息,于预先生成的扫查规则库中匹配得到对应的扫查参数集合;
步骤S2,质量监控系统根据扫查参数集合中的各标准扫查参数对各医学图像进行分类得到若干图像子集,并根据扫查参数集合的参数类型与各图像子集关联的所有标准扫查参数的参数类型处理得到一参数类型差集,并判断参数类型差集是否为空:
若是,则转向步骤S3;
若否,则将参数类型差集中包括的标准扫查参数的参数类型作为反馈参数输出,随后转向步骤S4;
步骤S3,质量监控系统针对每个图像子集,分别处理得到各医学标注图像的质量评估结果,并判断在图像子集中是否存在质量评估结果满足预设的质量评估标准的医学标注图像:
若是,则输出医学标注图像,随后退出;
若否,则将图像子集对应的标准扫查参数的参数类型作为反馈参数输出,随后转向步骤S4;
步骤S4,质量监控系统根据反馈参数生成相应的扫查反馈提示发送至医学成像设备上,以供扫查医生进行查看;
扫查医生根据扫查反馈提示对反馈参数对应的扫查部位进行重新扫查。
以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (10)

1.一种医学图像的质量监控系统,其特征在于,应用于医学图像的扫查过程,具体包括:
医学成像设备,用于扫查得到若干医学图像并输出;
图像处理装置,连接所述医学成像设备,所述图像处理装置包括:
数据存储模块,用于保存预先生成的扫查规则库,所述扫查规则库中包含若干扫查部位,且每个所述扫查部位关联有包含预设的若干标准扫查参数的一扫查参数集合;
规则提取模块,连接所述数据存储模块,用于在所述医学成像设备的扫查过程中,根据外部输入的包含所述扫查部位的扫查目标信息,于所述扫查规则库中匹配得到对应的所述扫查参数集合;
图像分类模块,连接所述规则提取模块,用于根据所述扫查参数集合中的各所述标准扫查参数对各所述医学图像进行分类得到若干图像子集,并根据所述扫查参数集合的参数类型与各所述图像子集关联的所有所述标准扫查参数的参数类型处理得到一参数类型差集,在所述参数类型差集为空时输出一分类结果,以及在所述差集不为空时,将所述参数类型差集中包括的所述标准扫查参数的所述参数类型作为反馈参数输出;
质量评估模块,连接所述图像分类模块,用于针对每个所述图像子集,根据所述分类结果分别处理得到各所述医学标注图像的质量评估结果,并在所述图像子集中存在所述质量评估结果满足预设的质量评估标准的所述医学标注图像时输出所述医学标注图像,
以及在所述图像子集中不存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时,将所述图像子集对应的所述标准扫查参数的所述参数类型作为所述反馈参数输出;
质量反馈模块,分别连接所述图像分类模块和所述质量评估模块,用于根据所述反馈参数生成相应的扫查反馈提示发送至所述医学成像设备上,以供扫查医生进行查看;
所述扫查医生根据所述扫查反馈提示对所述反馈参数对应的所述扫查部位进行重新扫查。
2.根据权利要求1所述的医学图像的质量监控系统,其特征在于,所述图像分类模块包括:
图像标注单元,用于分别对各所述医学图像进行参数标注得到标注有所述标准扫查参数的参数类型医学标注图像,将具有相同的所述参数类型的所述医学标注图像加入一图像子集并输出各所述图像子集;
图像分类单元,连接所述图像标注单元,用于根据所述扫查参数集合的参数类型与各所述图像子集关联的所有所述标准扫查参数的参数类型处理得到一参数类型差集,在所述参数类型差集为空时输出一分类结果,以及在所述差集不为空时,将所述参数类型差集中包括的所述标准扫查参数的所述参数类型作为反馈参数输出。
3.根据权利要求2所述的医学图像的质量监控系统,其特征在于,所述图像标注单元包括:
识别子单元,用于分别对各所述医学图像进行图像特征识别得到各所述医学图像的第一图像特征;
标注子单元,连接所述识别子单元,用于将各所述第一图像特征分别与各所述标准扫查参数的参数类型进行匹配,得到标注有所述标准扫查参数的所述参数类型医学标注图像,并将具有相同的所述参数类型的所述医学标注图像加入一图像子集并输出各所述图像子集。
4.根据权利要求3所述的医学图像的质量监控系统,其特征在于,采用预先生成的卷积神经网络对各所述医学图像进行图像特征识别得到各所述医学图像的第一图像特征,所述卷积神经网络包括:
依次连接的若干卷积神经网络层,每个所述卷积神经网络层包括一卷积层和一池化层,且所述卷积层的输出作为所述池化层的输入;
全连接层,最后一个所述卷积神经网络层的输出作为所述全连接层的输入。
5.根据权利要求3所述的医学图像的质量监控系统,其特征在于,采用循环神经网络将各所述第一图像特征分别与各所述标准扫查参数进行匹配,得到标注有所述标准扫查参数的所述参数类型的医学标注图像。
6.根据权利要求1所述的医学图像的质量监控系统,其特征在于,所述质量评估模块包括:
第一存储单元,用于保存预先获取的包含若干第一标准图像以及各所述第一标准图像对应的质量评估结果的模型训练集,以及根据所述模型训练集训练得到的第一特征提取模型;
特征提取单元,连接所述第一存储单元,用于根据所述第一特征提取模型对所述医学标注图像进行特征提取得到所述第二图像特征,并根据所述第一特征提取模型分别对各所述标准图像进行特征提取得到所述标准图像特征。
第一评估单元,连接所述特征提取单元,用于针对每个所述医学标注图像,分别计算所述第二图像特征与各所述标准图像特征之间的相关系数值,并提取所述相关系数值最大的所述标准图像特征对应的所述标准图像的所述质量评估结果作为所述医学标注图像的所述质量评估结果并输出;
第一输出单元,连接所述第一评估单元,用于在所述图像子集中存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时输出所述医学标注图像,以及在所述图像子集中不存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时,将所述图像子集对应的所述标准扫查参数作为所述反馈参数输出。
7.根据权利要求6所述的医学图像的质量监控系统,其特征在于,所述质量评估模块还包括一第一更新单元,分别连接所述第一存储单元和所述第一输出单元,用于在所述图像子集中存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时,将所述医学标注图像作为模型训练数据存入所述第一存储单元,以对所述模型训练集进行更新。
8.根据权利要求6所述的医学图像的质量监控系统,其特征在于,所述质量评估模块还包括:
第二存储单元,用于保存预先获取的标注有所述质量评估结果的若干第二标准图像;
第二评估单元,连接所述第二存储单元,用于针对每个所述医学标注图像,分别计算得到所述医学标注图像与各所述第二标准图像之间的相似度,并提取与所述医学标注图像的所述相似度最大的所述第二标准图像的所述质量评估结果作为所述医学标注图像的所述质量评估结果并输出;
第二输出单元,连接所述第二评估单元,用于在所述图像子集中存在所述质量评估结果满足预设的质量评估标准的所述医学标注图像时输出所述医学标注图像,以及在所述图像子集中不存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时,将所述图像子集对应的所述标准扫查参数作为所述反馈参数输出。
9.根据权利要求8所述的医学图像的质量监控系统,其特征在于,所述质量评估模块还包括一第二更新单元,分别连接所述第二存储单元和所述第二输出单元,用于在所述图像子集中存在所述质量评估结果满足所述质量评估标准的所述医学标注图像时,将所述医学标注图像作为所述第二标准图像存入所述第二存储单元,以对所述第二存储单元进行更新。
10.一种医学图像的质量监控方法,其特征在于,应用于如根据权利要求1-9中任意一项所述的医学图像的质量监控系统,所述质量监控方法包括:
步骤S1,所述质量监控系统在所述医学成像设备的扫查过程中,根据外部输入的包含所述扫查部位的扫查目标信息,于预先生成的扫查规则库中匹配得到对应的扫查参数集合;
步骤S2,所述质量监控系统根据所述扫查参数集合中的各所述标准扫查参数对各所述医学图像进行分类得到若干图像子集,并根据所述扫查参数集合的参数类型与各所述图像子集关联的所有所述标准扫查参数的参数类型处理得到一参数类型差集,并判断所述参数类型差集是否为空:
若是,则转向步骤S3;
若否,则将所述参数类型差集中包括的所述标准扫查参数的所述参数类型作为反馈参数输出,随后转向步骤S4;
步骤S3,所述质量监控系统针对每个所述图像子集,分别处理得到各所述医学标注图像的质量评估结果,并判断在所述图像子集中是否存在所述质量评估结果满足预设的质量评估标准的所述医学标注图像:
若是,则输出所述医学标注图像,随后退出;
若否,则将所述图像子集对应的所述标准扫查参数的所述参数类型作为所述反馈参数输出,随后转向步骤S4;
步骤S4,所述质量监控系统根据所述反馈参数生成相应的扫查反馈提示发送至所述医学成像设备上,以供扫查医生进行查看;
所述扫查医生根据所述扫查反馈提示对所述反馈参数对应的所述扫查部位进行重新扫查。
CN202010399285.6A 2020-05-12 2020-05-12 一种医学图像的质量监控系统及方法 Active CN111583249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010399285.6A CN111583249B (zh) 2020-05-12 2020-05-12 一种医学图像的质量监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010399285.6A CN111583249B (zh) 2020-05-12 2020-05-12 一种医学图像的质量监控系统及方法

Publications (2)

Publication Number Publication Date
CN111583249A true CN111583249A (zh) 2020-08-25
CN111583249B CN111583249B (zh) 2023-12-01

Family

ID=72117028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010399285.6A Active CN111583249B (zh) 2020-05-12 2020-05-12 一种医学图像的质量监控系统及方法

Country Status (1)

Country Link
CN (1) CN111583249B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634272A (zh) * 2021-03-09 2021-04-09 四川大学 基于深度神经网络的乳腺超声成像质量监控系统及方法
CN113035329A (zh) * 2021-03-22 2021-06-25 杭州联众医疗科技股份有限公司 一种医学影像质控系统
CN113113118A (zh) * 2021-03-31 2021-07-13 上海深至信息科技有限公司 一种远程阅片系统及方法
CN116452899A (zh) * 2023-06-20 2023-07-18 四川省医学科学院·四川省人民医院 一种基于深度学习的超声心动图标准切面识别及评分方法
CN116649993A (zh) * 2023-04-21 2023-08-29 北京绪水互联科技有限公司 多期扫描影像图像质量控制方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170178320A1 (en) * 2015-12-21 2017-06-22 Koninklijke Philips N.V. Device, system and method for quality assessment of medical images
CN107767928A (zh) * 2017-09-15 2018-03-06 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
GB201908872D0 (en) * 2018-06-25 2019-08-07 Bay Labs Inc Video clip selector for medical imaging and diagnosis
CN110335259A (zh) * 2019-06-25 2019-10-15 腾讯科技(深圳)有限公司 一种医学影像识别方法、装置和存储介质
US20190392577A1 (en) * 2018-06-25 2019-12-26 Bay Labs, Inc. Confidence determination in a medical imaging video clip measurement based upon video clip image quality
FR3082975A1 (fr) * 2018-06-25 2019-12-27 Bay Labs Inc. Selectionneur de clip video pour imagerie medicale et diagnostic medical
JP2020024478A (ja) * 2018-06-25 2020-02-13 ベイ ラブズ インク. 診療用画像作製および診断に用いるビデオクリップ選択器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170178320A1 (en) * 2015-12-21 2017-06-22 Koninklijke Philips N.V. Device, system and method for quality assessment of medical images
CN107767928A (zh) * 2017-09-15 2018-03-06 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
GB201908872D0 (en) * 2018-06-25 2019-08-07 Bay Labs Inc Video clip selector for medical imaging and diagnosis
US20190392581A1 (en) * 2018-06-25 2019-12-26 Bay Labs, Inc. Video clip selector for medical imaging and diagnosis
US20190392577A1 (en) * 2018-06-25 2019-12-26 Bay Labs, Inc. Confidence determination in a medical imaging video clip measurement based upon video clip image quality
FR3082975A1 (fr) * 2018-06-25 2019-12-27 Bay Labs Inc. Selectionneur de clip video pour imagerie medicale et diagnostic medical
JP2020010726A (ja) * 2018-06-25 2020-01-23 ベイ ラブズ インク. ビデオクリップ画像の画質に基づく医療用画像ビデオクリップの計測における信頼度決定
JP2020024478A (ja) * 2018-06-25 2020-02-13 ベイ ラブズ インク. 診療用画像作製および診断に用いるビデオクリップ選択器
CN110335259A (zh) * 2019-06-25 2019-10-15 腾讯科技(深圳)有限公司 一种医学影像识别方法、装置和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634272A (zh) * 2021-03-09 2021-04-09 四川大学 基于深度神经网络的乳腺超声成像质量监控系统及方法
CN112634272B (zh) * 2021-03-09 2021-06-01 四川大学 基于深度神经网络的乳腺超声成像质量监控系统及方法
CN113035329A (zh) * 2021-03-22 2021-06-25 杭州联众医疗科技股份有限公司 一种医学影像质控系统
CN113113118A (zh) * 2021-03-31 2021-07-13 上海深至信息科技有限公司 一种远程阅片系统及方法
CN116649993A (zh) * 2023-04-21 2023-08-29 北京绪水互联科技有限公司 多期扫描影像图像质量控制方法、装置、电子设备及存储介质
CN116649993B (zh) * 2023-04-21 2024-05-14 北京绪水互联科技有限公司 多期扫描影像图像质量控制方法、装置、电子设备及存储介质
CN116452899A (zh) * 2023-06-20 2023-07-18 四川省医学科学院·四川省人民医院 一种基于深度学习的超声心动图标准切面识别及评分方法

Also Published As

Publication number Publication date
CN111583249B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN111583249B (zh) 一种医学图像的质量监控系统及方法
US20210158531A1 (en) Patient Management Based On Anatomic Measurements
AU2006254689B2 (en) System and method of computer-aided detection
US10176580B2 (en) Diagnostic system and diagnostic method
CN109035234B (zh) 一种结节检测方法、装置和存储介质
EP2888686B1 (en) Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting
US20160321427A1 (en) Patient-Specific Therapy Planning Support Using Patient Matching
US20120300997A1 (en) Image processing device, method and program
US20220301159A1 (en) Artificial intelligence-based colonoscopic image diagnosis assisting system and method
US20210217166A1 (en) Automated screening of medical data
CN111986182A (zh) 辅助诊断方法、系统、电子设备及存储介质
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
US20040024292A1 (en) System and method for assigning a computer aided detection application to a digital image
CN113610824A (zh) 穿刺路径规划方法及装置,电子设备及存储介质
US20080232655A1 (en) Apparatus and Method for Assisting the Diagnostic Evaluation of Images
JP2004130090A (ja) コンピュータ援用患者診断決定支援システム
US20220277445A1 (en) Artificial intelligence-based gastroscopic image diagnosis assisting system and method
US11742072B2 (en) Medical image diagnosis assistance apparatus and method using plurality of medical image diagnosis algorithms for endoscopic images
WO2021187483A1 (ja) 文書作成支援装置、方法およびプログラム
JP2019107453A (ja) 画像処理装置及び画像処理方法
KR20190143657A (ko) 뼈 감쇄된 x-선 영상의 정합 장치 및 방법
CN114067961A (zh) 一种医学图像归档系统、方法及存储介质
CN112530580A (zh) 医疗影像图片的处理方法和计算机可读存储介质
CN117672470A (zh) 一种基于Web浏览器的医学影像辅助诊断装置
CN116631584A (zh) 通用型医学影像报告生成方法与系统、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201016

Address after: Room 5030, 5 / F, building e, 555 Dongchuan Road, Minhang District, Shanghai, 200241

Applicant after: Shanghai Shenzhi Information Technology Co.,Ltd.

Address before: Room 5030, 5 / F, building e, 555 Dongchuan Road, Minhang District, Shanghai, 200241

Applicant before: Shanghai Shenzhi Information Technology Co.,Ltd.

Applicant before: Shanghai Zhuxing Biotechnology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant