CN110634125B - 基于深度学习的胎儿超声图像识别方法及系统 - Google Patents

基于深度学习的胎儿超声图像识别方法及系统 Download PDF

Info

Publication number
CN110634125B
CN110634125B CN201910032226.2A CN201910032226A CN110634125B CN 110634125 B CN110634125 B CN 110634125B CN 201910032226 A CN201910032226 A CN 201910032226A CN 110634125 B CN110634125 B CN 110634125B
Authority
CN
China
Prior art keywords
image
classification model
ultrasound
ultrasonic
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910032226.2A
Other languages
English (en)
Other versions
CN110634125A (zh
Inventor
谢红宁
汪南
梁喆
冼建波
毛明春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Aiyunji Information Technology Co Ltd
Original Assignee
Guangzhou Aiyunji Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Aiyunji Information Technology Co Ltd filed Critical Guangzhou Aiyunji Information Technology Co Ltd
Priority to CN201910032226.2A priority Critical patent/CN110634125B/zh
Publication of CN110634125A publication Critical patent/CN110634125A/zh
Application granted granted Critical
Publication of CN110634125B publication Critical patent/CN110634125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的胎儿超声图像识别方法及系统,该方法包括超声设备检测并根据打印操作控制指令向数据终端发送胎儿的超声参数信息;数据终端接收并发送该超声参数信息至云端服务器;云端服务器接收并基于预先确定的图像分割模型对超声静态图像执行分割操作,得到分割子图像,以及将该分割子图像输入预先确定的图像分类模型,得到分类模型结果;云端服务器将该分类模型结果发送至主控设备;主控设备接收并输出该分类模型结果。实施本发明能够通过将深度学习应用于胎儿超声图像的检查,不仅能够提高胎儿超声图像的识别效率以及准确度,还能够降低医生误判的风险,以及减少医生的工作强度,提升孕妇和医生的体验感。

Description

基于深度学习的胎儿超声图像识别方法及系统
技术领域
本发明涉及医学超声图像技术领域,尤其涉及一种基于深度学习的胎儿超声图像识别方法及系统。
背景技术
随着社会的进步以及人们获取健康新生儿意识的加强,越来越多的孕妇按照产检计划定期前往医院进行产检来获知胎儿的情况。目前胎儿检查的方法主要为利用超声波收集回声的原理,将胎儿的断层图像显示在屏幕上,得到胎儿图像,然后由医生根据自己的医学经验来分析胎儿图像,从而判断胎儿的发育情况(比如:是否存在畸形),但由于各种因素的影响,例如:经验不足、劳累过度,很可能造成胎儿健康情况的误判,并且判断效率低。因此,如何提高胎儿畸形图像的识别效率和准确度是当下医学胎儿产检领域亟待解决的问题。
发明内容
本发明实施例所要解决的技术问题在于,提供一种基于深度学习的胎儿超声图像识别方法及系统,能够通过将深度学习应用于胎儿超声图像的检查,不仅能够提高胎儿超声图像的识别效率以及准确度。
为了解决上述技术问题,本发明实施例第一方面公开了一种基于深度学习的胎儿超声图像识别方法,所述方法包括:
超声设备检测医护人员针对所述超声设备上安装的虚拟打印装置触发的打印操作控制指令,并根据所述打印操作控制指令向数据终端发送胎儿的超声参数信息,所述超声参数信息至少包括所述胎儿的超声静态图像;
所述数据终端接收所述超声设备发送的所述超声参数信息,并将所述超声静态图像上传至云端服务器;
所述云端服务器接收所述数据终端发送的所述超声静态图像,并基于预先确定的图像分割模型对所述超声静态图像执行分割操作,得到分割子图像,以及将所述分割子图像输入预先确定的图像分类模型,得到分类模型结果,所述分类模型结果用于表示所述胎儿是否存在畸形,当所述分类模型结果表示所述胎儿存在畸形时,所述分类模型结果包括所述畸形的类型;
所述云端服务器将所述分类模型结果发送至主控设备;
所述主控设备接收所述分类模型结果,并输出所述分类模型结果。
本发明实施例第二方面公开了基于深度学习的胎儿超声图像识别系统,所述系统包括超声设备、数据终端、云端服务器以及主控设备,其中,所述超声设备包括检测模块、第一发送模块,所述数据终端包括第一接收模块以及第二发送模块,所述云端服务器包括第二接收模块、分割模块、输入模块以及第三发送模块,所述主控设备包括第三接收模块以及输出模块,其中:
所述检测模块,用于检测医护人员针对所述超声设备上安装的虚拟打印装置触发的打印操作控制指令;
所述第一发送模块,用于根据所述打印操作控制指令向数据终端发送胎儿的超声参数信息,所述超声参数信息至少包括所述胎儿的超声静态图像;
所述第一接收模块,用于接收所述超声设备发送的所述超声参数信息;
所述第二发送模块,用于将所述超声静态图像发送至云端服务器;
所述第二接收模块,用于接收所述数据终端发送的所述超声静态图像;
所述分割模块,用于基于预先确定的图像分割模型对所述超声静态图像执行分割操作,得到分割子图像;
所述输入模块,用于将所述分割子图像输入预先确定的图像分类模型,得到分类模型结果,所述分类模型结果用于表示所述胎儿是否存在畸形,当所述分类模型结果表示所述胎儿存在畸形时,所述分类模型结果包括所述畸形的类型;
所述第三发送模块,用于将所述分类模型结果发送至主控设备;
所述第三接收模块,用于接收所述分类模型结果;
所述输出模块,用于输出所述分类模型结果。
与现有技术相比,本发明具有以下有益效果:
本发明中,超声设备检测医护人员针对该超声设备上安装的虚拟打印装置触发的打印操作控制指令,并根据该打印操作控制指令向数据终端发送胎儿的超声参数信息,该超声参数信息至少包括胎儿的超声静态图像;数据终端接收该超声设备发送的超声参数信息,并将超声静态图像发送至云端服务器;云端服务器接收该数据终端发送的超声静态图像,并基于预先创建的图像分割模型对超声静态图像执行分割操作,得到分割子图像,以及将该分割子图像输入预先创建的图像分类模型,得到分类模型结果,该分类模型结果用于表示胎儿是否存在畸形;云端服务器将该分类模型结果发送至主控设备;主控设备接收该分类模型结果,并输出该分类模型结果。可见,实施本发明能够通过将深度学习应用于胎儿超声图像的检查,不仅能够提高胎儿超声图像的识别效率以及准确度,还能够降低医生误判的风险,以及减少医生的工作强度,提升孕妇和医生的体验感。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于深度学习的胎儿超声图像识别方法的流程示意图;
图2是本发明实施例公开的另一种基于深度学习的胎儿超声图像识别方法的流程示意图;
图3是本发明实施例公开的又一种基于深度学习的胎儿超声图像识别方法的流程示意图;
图4是本发明实施例公开的一种基于深度学习的胎儿超声图像识别系统的结构示意图;
图5是本发明实施例公开的另一种基于深度学习的胎儿超声图像识别系统的结构示意图;
图6是本发明实施例公开的又一种基于深度学习的胎儿超声图像识别系统的结构示意图;
图7是本发明实施例公开的一种超声设备的结构示意图;
图8是本发明实施例公开的一种数据终端的结构示意图;
图9是本发明实施例公开的一种云端服务器的结构示意图;
图10是本发明实施例公开的一种主控设备的结构示意图。
具体实施方式
为了更好地理解和实施,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的术语“包括”、“包含”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。此外,本发明的说明书和权利要求书中的术语“第一”、“第二”等仅是用于区别不同对象,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明实施例公开了基于深度学习的胎儿超声图像识别及系统,能够通过将深度学习应用于胎儿超声图像的检查,不仅能够提高胎儿超声图像的识别效率以及准确度,还能够降低医生误判的风险,以及降低医生的工作强度,提升孕妇和医生的体验感。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种基于深度学习的胎儿超声图像识别方法的流程示意图。其中,图1所示的基于深度学习的胎儿超声图像识别方法可以应用于医院的产检系统中,该系统可以包括超声设备、数据终端、云端服务器以及主控设备,进一步的,该超声设备为医用超声设备,该数据终端可以包括复合数据终端或者智能数据终端,该云端服务器也可以叫云服务器,该主控设备可以包括台式电脑、平板电脑、掌上电脑、智能手机(Android手机、iOS手机等)以及移动互联网设备(Mobile Internet Devices,MID)等能够起到控制作用的设备,本发明实施例不做限定。如图1所示,该基于深度学习的胎儿超声图像识别方法可以包括以下步骤:
101、超声设备检测医护人员针对该超声设备上安装的虚拟打印装置触发的打印操作控制指令,并根据该打印操作控制指令向数据终端发送胎儿的超声参数信息,该超声参数信息至少包括该胎儿的超声静态图像。
本发明实施例中,该超声设备安装虚拟打印装置的过程中为该虚拟打印装置设置默认的IP地址和端口参数。并且该虚拟打印装置为能够起到打印作用的打印装置,例如:虚拟打印机。进一步的,该虚拟打印机设置有唯一的打印标识。
本发明实施例中,该超声设备也可以检测医护人员针对与该超声设备连接的实体打印装置触发的打印操作控制指令,本发明实施例不做限定。
本发明实施例中,可以将该虚拟打印装置设置为默认打印装置,同时将该超声设备的操作面板中的特定功能按钮设置为默认打印操作按钮。也可以根据实际需求将该虚拟打印装置设置为动态打印装置,本发明实施例不做限定。这样通过将打印虚拟装置设置为默认打印装置不仅能够节省向数据终端发送超声参数信息的时间,还能够减少错误超声参数信息发生的概率;通过将打印虚拟装置设置为动态打印装置能够满足获取不同超声参数信息的需求。
本发明实施例中,触发打印操作指令的方式包括触碰触发方式、语音触发方式、人脸识别触发方式、手势触发方式、指纹触发方式中的至少一种,本发明实施例不做限定。其中,该触碰触发方式包括点击触发、滑动触发、敲击触发、按压触发中的任意一种触发方式,语音触发方式包括说出超声设备中存储的关键字(例如:请打印)触发方式,本发明实施例不做限定。
本发明实施例中,该超声参数信息还可以包括该超声静态图像的图像尺寸、该超声参数信息的数据记录、该超声参数信息的发送时间、产生该超声参数信息的超声设备的设备地址,其中,该数据记录包括该超声参数信息在所有超声参数信息中的排序记录、该超声参数信息的标记记录中的至少一种,本发明实施例不做限定。
本发明实施例中,超声设备、路由器、数据终端通过标准的网线接口并使用TCP/IP网络传输控制协议建立局域网连接,医护人员触发超声设备面板的特定功能按钮后,默认的打印操作控制指令将通过路由器发送超声参数信息至数据终端。
102、数据终端接收上述超声设备发送的超声参数信息,并将上述超声静态图像发送至云端服务器。
本发明实施例中,数据终端还可以向云端服务器发送除超声静态图像之外的超声参数信息,以及数据终端向云端服务器发送超声参数信息的方式可以包括3G无线网络、4G无线网络、5G无线网络、WiFi无线网络以及宽带有线网络等任意一种传输方式,本发明实施例不做限定。
作为一个可选的实施例,数据终端接收上述超声设备发送的超声参数信息之后,以及将上述超声静态图像发送至云端服务器之前,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
数据终端存储上述超声设备发送的超声参数信息,并压缩该超声参数信息的数据格式为第一预设数据格式,并触发执行上述的将上述超声静态图像发送至云端服务器的操作。
该可选的实施例中,该第一预设数据格式包括TGZ格式、RAR格式以及ZIP格式中的任意一种,本发明实施例不做限定。
可见,该可选的实施例通过压缩超声参数信息,能够缩小超声参数信息的内存,从而提高超声参数信息的传输效率。
103、云端服务器接收上述数据终端发送的上述超声静态图像,并基于预先确定的图像分割模型对该超声静态图像执行分割操作,得到分割子图像。
本发明实施例中,作为一种可选的实施方式,云端服务器基于预先确定的图像分割模型对该超声静态图像执行分割操作,得到分割子图像,可以包括:
云端服务器基于预先确定的图像分割模型识别该超声静态图像的感兴趣区域,并使用预先确定出的形状对该感兴趣区域进行标注,得到该感兴趣区域的标注信息,以及提取标注后的感兴趣区域作为分割子图像。
本发明实施例中,该预先确定出的形状包括三角形、多边形、椭圆中的至少一种,该标注信息包括文字信息、图标信息、符号信息、该预设形状的边框颜色信息中的至少一种。这样通过预先确定出的形状标注胎儿的感兴趣区域,得到标注信息,能够提高图像的分割效率,以及便于医护人员快速获取与该胎儿的超声静态图像相对应的相关信息。
作为另一个可选的实施例,该基于深度学习的胎儿超声图像的识别方法还可以包括以下步骤:
图像分类模型创建端创建图像分割模型,该图像分类模型创建端为上述云端服务器或本地计算机;
在该可选的实施例中,作为一种可选的实施方式,图像分类模型创建端创建图像分割模型,可以包括:
图像分类模型创建端基于预先确定出的第一卷积神经网络模型识别目标样本图像数据的目标感兴趣区域,并使用椭圆标注该目标感兴趣区域,得到标注后的目标感兴趣区域;
图像分类模型创建端基于上述第一卷积神经网络模型提取该标注后的目标感兴趣区域,作为目标感兴趣图像;
图像分类模型创建端基于第二卷积神经网络模型训练上述目标感兴趣图像,得到图像分割模型。
该可选的实施方式中,进一步的,当上述图像分类模型创建端为上述本地计算机时,上述图像分类模型创建端基于第二卷积神经网络模型训练上述目标感兴趣图像,得到图像分割模型之后,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
图像分类模型创建端向上述云端服务器发送上述图像分割模型。
该可选的实施例中,该目标获取样本图像数据为经过像素级标注过的图像数据。
该可选的实施例中,上述第一卷积神经网络模型和上述第二卷积神经网络模型可以包括Unet、Mask R-CNN中的至少一种,并且该第一卷积神经网络模型和该第二卷积神经网络模型可以相同,也可以不相同,本发明实施例不做限定。
在该可选的实施例中,该目标样本图像数据具有多样性,可以包括单幅图、双幅图、从超声视频中获取的图像、不同超声机产生的图像中的至少一种,本发明实施例不做限定。这样可以提高图像分割模型的鲁棒性,即稳定性。
可见,该可选的实施例通过创建图像分割模型,能够直接使用该图像分割模型对图像进行分割操作,从而提高图像分割效率。
该可选的实施例中,又进一步可选的,图像分类模型创建端基于第二卷积神经网络模型训练上述目标感兴趣图像,得到图像分割模型之前,该基于深度学习的胎儿超声图像的识别方法还可以包括以下步骤:
图像分类模型创建端对上述目标感兴趣图像执行图像预处理操作,得到归一化目标感兴趣图像,并触发执行上述的基于第二卷积神经网络模型训练上述目标感兴趣图像,得到图像分割模型的操作。此处的上述目标感兴趣图像为归一化目标感兴趣图像。
该可选的实施例中,具体的,图像分类模型创建端对所有目标感兴趣图像执行图像缩放调整操作,得到尺寸(例如:800*700,单位为像素)相同的归一化目标感兴趣图像。
该可选的实施例中,该图像预处理操作还可以包括图像旋转操作和/或图像平移操作,本发明实施例不做限定。
可见,该可选的实施例通过归一化所有训练数据,能够加快、并优化图像分割模型的创建。
该可选的实施例中,又进一步可选的,图像分类模型创建端基于上述第一卷积神经网络模型提取该标注后的目标感兴趣区域,作为目标感兴趣图像之前,该基于深度学习的胎儿超声图像的识别方法还可以包括以下步骤:
图像分类模型创建端向上述第一卷积神经网络模型中加入空洞卷积,得到空洞卷积神经网络模型,并触发执行上述的基于上述第一卷积神经网络模型提取该标注后的目标感兴趣区域,作为目标感兴趣图像的操作。此处的第一卷积神经网络模型为空洞卷积神经网络模型。这样可以在不用池化运算且计算量相当的情况下,能够扩大卷积在前置层的感受野,从而提升目标感兴趣图像的提取效率。
作为又一个可选的实施例,云端服务器接收上述数据终端发送的上述超声静态图像之后,以及基于预先确定的图像分割模型对该超声静态图像执行分割操作,得到分割子图像之前,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
云端服务器接收除超声静态图像之外的超声参数信息,并存储该超声参数信息,以及解压该超声静态图像的上述第一预设格式为第二预设数据格式;
云端服务器存储该第二预设数据格式的超声静态图像,并触发执行上述的基于预先创建的图像分割模型对该超声静态图像执行分割操作,得到分割子图像的操作。
该可选的实施例中,该第二预设数据格式包括BMP格式、JPG格式、TIFF格式中的任意一种,本发明实施例不做限定。
可见,该可选的实施例通过将压缩之后的超声静态图像进行解压,能够便于对该超声静态图像执行的后续操作。
104、云端服务器将上述分割子图像输入预先确定的图像分类模型,得到分类模型结果,该分类模型结果用于表示上述胎儿是否存在畸形,当该分类模型结果表示上述胎儿存在畸形时,该分类模型结果包括该畸形的类型,并将该分类模型结果发送至主控设备。
本发明实施例中,当该分类模型结果表示上述胎儿不存在畸形时,直接向上述主控设备发送上述胎儿为正常胎儿的提示消息。
作为又一个可选的实施例,执行步骤104之前,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
图像分类模型创建端创建图像分类模型,该图像分类模型创建端为上述云端服务器或本地计算机;
该可选的实施例中,作为一种可选的实施方式,上述图像分类模型创建端创建图像分类模型,可以包括:
图像分类模型创建端获取样本图像数据,并修改预先确定出的原始卷积神经网络模型的模型参数,得到目标卷积神经网络模型,该模型参数包括该原始卷积神经网络模型的神经元个数、全连接层层数、特征权重值中的至少一种,该目标卷积神经网络模型的全连接层层数大于该原始卷积神经网络模型的全连接层层数;
图像分类模型创建端使用上述目标卷积神经网络模型训练上述样本图像数据,得到图像分类模型。
该可选的实施例中,进一步的,当上述图像分类模型创建端为上述本地计算机时,上述图像分类模型创建端使用上述目标卷积神经网络模型训练上述样本图像数据,得到图像分类模型之后,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
图像分类模型创建端向上述云端服务器发送上述图像分割模型。
该可选的实施例中,该获取样本图像数据为经过像素级标注过的图像数据。
可见,该可选的实施例通过创建图像分类模型,能够直接使用该图像分类模型对图像进行分类操作,从而提高图像分类效率,以及通过修改原始卷积神经网络模型的特征权重值,能够提高图像的分类准确率、敏感性以及特异性。
该可选的实施例中,该原始卷积神经网络模型可以包括VGG-16模型、Resnet模型、Densenet模型、inception模型中的任意一种,本发明实施例不做限定。
该可选的实施方式中,该原始卷积神经网络模型为自然图像领域的模型,在本发明实施例中,将通过迁移学习将该原始卷积神经网络模型从自然图像领域迁移到超声图像领域。进一步的,该迁移学习的迁移次数可以包括1次、2次,本发明实施例不做限定。
该可选的实施方式中,上述模型参数还可以包括学习率、衰减速率、损失率、动量项、批尺寸(Batch Size)数目中的至少一种,本发明实施例不做限定。并且,该损失率越小越平衡(例如:接近于0)表示上述图像分类模型的分类效果越稳定越好。
该可选的实施方式中,可选的,当上述模型参数为全连接层层数时,上述修改预先确定出的原始卷积神经网络模型的模型参数,可以包括:
云端服务器基于残差网络调取上述样本图像数据包括的样本图像的中间特征层,并根据该中间特征层对全连接层执行叠加操作,得到全连接层层数增加了的目标卷积神经网络模型。
进一步可选的,上述云端服务器修改预先确定出的原始卷积神经网络模型的模型参数,得到目标卷积神经网络模型之后,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
图像分类模型创建端对该目标卷积神经网络模型执行Dropout操作,得到有效目标卷积神经网络模型,并触发上述的使该有效目标卷积神经网络模型训练上述样本图像数据,得到图像分类模型的操作。这样通过设置Dropout的操作,能够减少因样本数量过少导致目标卷积神经网络模型过拟合的可能性,从而保证目标卷积神经网络模型的有效性。
作为又一个可选的实施例,上述图像分类模型创建端使用上述目标卷积神经网络模型训练上述样本图像数据,得到图像分类模型之前,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
图像分类模型创建端对上述样本图像数据执行图像预处理操作,并触发执行上述的使用上述目标卷积神经网络模型训练样本图像数据,得到图像分类模型的操作,该图像预处理操作包括图像填充操作和/或图像增强操作。此处的样本图像数据为经过图像预处理后的样本图像数据。
该可选的实施例中,该图像填充操作可以包括图像闭操作和/或图像开操作,该图像增强操作可以包括图像平移操作、图像旋转操作、图像缩放操作、图像裁剪操作中的至少一种,本发明实施例不做限定。
该可选的实施例中,当上述图像预处理操作为上述图像填充操作时,作为一种可选的实施方式,上述云端服务器对上述样本图像数据执行预处理操作,可以包括:
图像分类模型创建端基于图像填充算法填充上述样本图像数据至方形样本图像数据,并调节该方形样本图像数据,得到目标方形样本图像数据。
举例来说,当样本图像数据为长径为900个像素、短径为700个像素的椭圆形的样本图像数据时,通过图像填充算法将该样本图像数据用像素点(例如:黑像素点)填充为长边长为900个像素、短边长为700个像素的方形样本图像数据,并调节该方形样本图像数据,得到边长为900个像素的正方形样本图像数据。这样能够降低因图像尺度差异带来的图像扭曲和变形的可能性,进一步有利于图像分类模型的创建。
该可选的实施例中,当上述图像预处理操作为上述图像增强操作时,作为一种可选的实施方式,上述图像分类模型创建端对上述样本图像数据执行预处理操作,可以包括:
图像分类模型创建端对正方形样本图像数据执行图像增强操作,得到目标正方形样本图像数据。这样通过对样本图像数据进行预处理操作,能够提高样本图像数据量,从而提高分类模型的稳定性。
作为又一个可选的实施例,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
云端服务器获取胎儿疾病超声图像的最优分组数据,该最优分组数据包括医护人员根据若干张不同疾病的胎儿超声特征图以及医护人员的医疗先验经验按照预设规则进行分组的数据。
该可选的实施例中,该最优分组数据中的数组可以包括10组、15组、20组、25组中的任意一组,本发明实施例不做限定。
该可选的实施例中,该医疗先验经验用于表示医护人员以专业的角度查看众多不同疾病超声特征图所得的经验。
该可选的实施例中,该预设规则包括疾病的致病因素规则、胎儿的畸形器官规则、疾病常见合并异常规则中的至少一种,本发明实施例不做限定。
该可选的实施例中,当该预设规则为上述胎儿的畸形器官规则时,具体的,上述最优分组数据获得的途径如下:
医护人员根据1000张不同疾病的胎儿超声特征图以及医疗先验经验按照胎儿的畸形器官将该1000张胎儿超声特征图分为20组不同器官(例如:心脏、牙槽、脚、前脑勺、后脑勺、后颅窝等)的数据。
作为又一个可选的实施例,当上述分类模型结果表示上述胎儿存在畸形时,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
云端服务器基于上述最优分组数据确定该畸形所属类别。这样通过最优分组数据能够快速确定胎儿的畸形所属类别。
作为又一个可选的实施例,在将上述分割子图像输入预先确定的图像分类模型得到分类模型结果的过程中,该基于深度学习的胎儿超声图像的识别方法还可以包括以下步骤:
云端服务器从该分割子图像中提取胎儿的超声特征图;
云端服务器生成与该超声特征图相对应的视觉显著映射图,以及利用伪彩映射对和该视觉显著映射图生成超声热力图;
云端服务器利用图像融合算法融合该超声热力图和该超声静态图像,得到上述胎儿的融合热力图,该融合热力图用于确定该胎儿的畸变信息,该畸变信息至少包括该胎儿的畸变位置信息和/或该胎儿的畸变程度信息;
云端服务器将上述融合热力图或上述融合热力图上述超声特征图的组合发送至主控设备,以触发该主控设备显示。
该可选的实施例中,作为一种可选的实施方式,上述云端服务器生成与该超声特征图相对应的视觉显著映射图,以及利用伪彩映射对和该视觉显著映射图生成超声热力图,可以包括:
云端服务器基于Grad-CAM模型生成与该超声特征图相对应的视觉显著映射图,以及基于该Grad-CAM模型利用伪彩映射对和该视觉显著映射图生成超声热力图。
该可选的实施例中,该超声特征图来源于上述图像分类模型中的某一最优卷积层深层,可以包括中间一层、最底一层、最高一层中的任意一层,具体根据该层包含最多需要特征而定,本发明实施例不做限定。
该可选的实施例中,该畸变信息还可以包括胎儿的畸变器官、胎儿的畸变类型,其中,该胎儿的畸变类型包括先天性畸变类型、后天性畸变类型中的至少一种,本发明实施例不做限定。
可见,该可选的实施例通过在分割子图像输入预先创建的图像分类模型得到分类模型结果的过程中提取该分割子图像的特征图,能够提高胎儿的融合热力图的获取效率,从而快速获取胎儿的畸变信息;以及通过融合热力图能够清楚地知道胎儿的畸变位置以及程度。
105、主控设备接收上述分类模型结果,并输出该分类模型结果。
可见,实施图1所描述的基于深度学习的胎儿超声图像识别方法能够通过将深度学习应用于胎儿超声图像的检查,不仅能够提高胎儿超声图像的识别效率以及准确度,还能够降低医生误判的风险,以及降低医生的工作强度,提升孕妇和医生的体验感。此外,还能够节省向数据终端发送超声参数信息的时间以及减少错误超声参数信息发生的概率;还能够满足获取不同超声参数信息的需求;还能够提高超声参数信息的传输效率;还能够获取有效的分割子图像;还能够减少因样本数量过少导致目标卷积神经网络模型过拟合的可能性,从而保证目标卷积神经网络模型的有效性,进而进一步提高使用图像分类模型获取图像的分类结果的效率;还能够提高图像的分类准确率、敏感性以及特异性;还能够快速确定胎儿的畸形所属类别;还能够提高胎儿的融合热力图的获取效率,从而快速获取胎儿的畸变信息以及清楚地知道胎儿的畸变位置以及程度。
实施例二
请参阅图2,请参阅图2,图2是本发明实施例公开的另一种基于深度学习的胎儿超声图像识别方法的流程示意图。其中,图2所示的基于深度学习的胎儿超声图像识别方法可以应用于医院的产检系统中,该系统可以包括超声设备、数据终端、云端服务器以及主控设备,进一步的,该超声设备为医用超声设备,该数据终端可以包括复合数据终端或者智能数据终端,该云端服务器也可以叫云服务器,该主控设备可以包括台式电脑、平板电脑、掌上电脑、智能手机(Android手机、iOS手机等)以及移动互联网设备(Mobile InternetDevices,MID)等能够起到控制作用的设备,本发明实施例不做限定。如图2所示,该基于深度学习的胎儿超声图像识别方法可以包括以下步骤:
201、超声设备检测医护人员针对该超声设备上安装的虚拟打印装置触发的打印操作控制指令,并根据该打印操作控制指令向数据终端发送胎儿的超声参数信息,该超声参数信息至少包括该胎儿的超声静态图像。
202、数据终端接收上述超声设备发送的超声参数信息,并将上述超声静态图像发送至云端服务器。
203、云端服务器接收上述数据终端发送的上述超声静态图像,并基于预先确定的图像分割模型对该超声静态图像执行分割操作,得到分割子图像。
204、云端服务器对上述分割子图像执行图像预处理操作,得到预处理后的分割子图像。
本发明实施例中,该图像预处理操作包括图像填充操作、图像增强操作中的至少一种,其中,该图像填充操作可以包括图像闭操作和/或图像开操作,该图像增强操作可以包括图像平移操作、图像旋转操作、图像缩放操作、图像裁剪操作中的至少一种,本发明实施例不做限定。
举例来说,当图像预处理操作为图像填充操作以及分割子图像为长径为800个像素、短径为700个像素的椭圆形的分割子图像时,云端服务器通过图像填充算法将该椭圆形的分割子图像用像素点(例如:黑像素点)填充为长边为800个像素、短边为700个像素的的方形分割子图像,以及对该正方形分割子图像执行调整(rescale)尺寸操作,得到边长为800个像素的正方形样本图像数据。这样通过将分割子图像填充至正方形分割子图像以及调整该正方形分割子图像,能够降低因图像尺度差异带来的图像扭曲和变形的可能性。
举例来说,当图像预处理操作为图像增强操作时,云端服务器对上述椭圆形的分割子图像或经过图像填充之后的分割子图像或经过调整尺寸的分割子图像执行图像增强操作。这样能够提高图像的鲁棒性,即降低图像的失真度,从而有利于后续图像识别、分类操作。
205、云端服务器将上述分割子图像输入预先确定的图像分类模型,得到分类模型结果,并从该分割子图像中提取上述胎儿的超声特征图,以及将该分类模型结果和/或该超声特征图发送至主控设备,该分类模型结果用于表示上述胎儿是否存在畸形,当该分类模型结果表示该胎儿存在畸形时,该分类模型结果包括该畸形的类型。
本发明实施例中,具体的,云端服务器是在将上述分割子图像输入上述预先创建的图像分类模型得到分类模型结果的过程中从该分割子图像中提取上述胎儿的超声特征图的,该超声特征图来源于上述图像分类模型中的某一最优卷积层深层,可以包括中间一层、最底一层、最高一层中的任意一层,具体根据该层包含最多需要特征而定,本发明实施例不做限定。这样通过在将分割子图像输入图像分割模型得到分类模型结果的过程中提取超声特征图,而非分类结束以后回溯提取超声特征图,能够提高超声特征图的提取效率。
206、主控设备接收上述分类模型结果和/或上述超声特征图,并输出该分类模型结果和/或该超声特征图。
207、云端服务器生成与上述超声特征图相对应的视觉显著映射图,以及利用伪彩映射对和该视觉显著映射图生成超声热力图。
208、云端服务器基于图像融合算法融合上述超声热力图和上述超声静态图像,得到上述胎儿的融合热力图,该融合热力图用于确定该胎儿的畸变信息,该畸变信息至少包括该胎儿的畸变位置信息和/或该胎儿的畸变程度信息。
本发明实施例中,该畸变信息还可以包括胎儿的畸变器官、胎儿的畸变类型,其中,该胎儿的畸变类型包括先天性畸变类型、后天性畸变类型中的至少一种,本发明实施例不做限定。
209、云端服务器将上述融合热力图发送至主控设备,以触发该主控设备显示。
本发明实施例中,步骤207也可以发生在步骤206之前,都属于本发明的保护范围,本发明实施例不作限定。
步骤201-步骤203、步骤205、步骤206的其它描述请参照实施例一中针对步骤101-步骤105的相应的详细描述,本发明实施例不再赘述。
可见,实施图2所描述的基于深度学习的胎儿超声图像识别方法不仅能够提高胎儿超声图像的识别效率以及准确度,还能够降低医生误判的风险,以及降低医生的工作强度,提升孕妇和医生的体验感。此外,还能够降低因图像尺度差异带来的图像扭曲和变形的可能性;还能够提高分类模型的稳定性;还能够提降低图像的失真度,有利于后续图像识别、分类操作;还能够提高超声特征图的提取效率;还能够提高胎儿的融合热力图的获取效率,从而快速获取胎儿的畸变信息;还能够清楚地知道胎儿的畸变位置以及程度;还能够通过生成胎儿的融合热力图,从而提供可视化胎儿诊断解读放案,进而提高胎儿诊断的可信度。
实施例三
请参阅图3,请参阅图3,图3是本发明实施例公开的另一种基于深度学习的胎儿超声图像识别方法的流程示意图。其中,图3所示的基于深度学习的胎儿超声图像识别方法可以应用于医院的产检系统中,该系统可以包括超声设备、数据终端、云端服务器以及主控设备,进一步的,该超声设备为医用超声设备,该数据终端可以包括复合数据终端或者智能数据终端,该云端服务器也可以叫云服务器,该主控设备可以包括台式电脑、平板电脑、掌上电脑、智能手机(Android手机、iOS手机等)以及移动互联网设备(Mobile InternetDevices,MID)等能够起到控制作用的设备,本发明实施例不做限定。如图3所示,该基于深度学习的胎儿超声图像识别方法可以包括以下步骤:
301、超声设备检测医护人员针对该超声设备上安装的虚拟打印装置触发的打印操作控制指令,并根据该打印操作控制指令向数据终端发送胎儿的超声参数信息,该超声参数信息至少包括该胎儿的超声静态图像。
302、数据终端接收上述超声设备发送的超声参数信息,并将上述超声静态图像发送至云端服务器。
303、数据终端发送预通知消息至上述云端服务器,该预通知消息包括该数据终端的设备号、该数据终端接收上述超声静态图像的初始时刻、该超声静态图像的相关信息中的至少一种,并且该预通知消息用于提示所述云端服务器即将有数据上传。
本发明实施例中,该超声静态图像的相关信息包括该超声静态图像的名称、该超声静态图像的序号、该超声静态图像的尺寸、该超声静态图像的像素、该超声静态图像的图像格式中的至少一种,本发明实施例不做限定。
本发明实施例中,步骤302和步骤303可以同时发生,步骤303也可以发生在步骤302之前,本发明实施例不做限定。
304、云端服务器接收上述数据终端发送的上述超声静态图像,并基于预先确定的图像分割模型对该超声静态图像执行分割操作,得到分割子图像。
305、云端服务器对上述分割子图像执行图像预处理操作,得到预处理后的分割子图像。
306、云端服务器将上述分割子图像输入预先确定的图像分类模型,得到分类模型结果,并从该分割子图像中提取上述胎儿的超声特征图,以及将该分类模型结果和/或该超声特征图发送至主控设备,该分类模型结果用于表示上述胎儿是否存在畸形。
本发明实施例中,当执行完步骤306之后,云端服务器可以触发执行步骤307,也可以触发执行步骤308,本发明实施例不作限定。
307、主控设备接收上述分类模型结果和/或上述超声特征图,并输出该分类模型结果和/或该超声特征图。
本发明实施例中,当执行完步骤307之后,云端服务器可以触发执行步骤308,也可以直接结束本次流程。
本发明实施例中,步骤308可以发生在步骤307之前,都属于本发明的保护范围,本发明实施例不作限定。
作为一个可选的实施例,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
云端服务器基于上述所有分类模型结果生成分类模型结果分析列表,并将该分类模型结果分析列表发送至主控设备,以触发该主控设备显示。
该可选的实施例中,该分类模型结果分析列表可以包含多个时间段的分类模型结果信息,其中,该分类模型结果信息包括每个时间段内的分类模型结果的上传总数量、分类模型结果的上传时间、分类模型结果的类别、胎儿孕周、胎儿标签中的至少一种,其中,该分类模型结果的类别可以包括正常颅脑类别、后颅脑异常类别、前裂无脑畸形、颅内占位性病变中的至少一种,该胎儿标签包括诊断标签、随访标签中的至少一种,本发明实施例不作限定。
可见,该可选的实施例通过生成分类模型结果分析列表,能够直观地了解到、并统计某个时间段内的胎儿的分类模型结果的情况。
308、云端服务器根据上述分类模型结果、与上述分类模型结果相匹配的模型参数信息生成辅助诊断报告,并发送数据更新指令以及发送该辅助诊断报告至主控设备。
本发明实施例中,步骤308也可以发生在步骤307之前,本发明实施例不做限定。
309、主控设备接收上述云端服务器发送的数据更新指令以及接收上述辅助诊断报告,并存储该辅助诊断报告,以及根据该数据更新指令输出数据更新界面。
本发明实施例中,当执行完步骤309之后,云端服务器可以直接结束本次流程。
本发明实施例中,该数据更新界面用于显示上述辅助诊断报告(即上述分类模型结果、与该分类模型结果相匹配的模型参数信息)、上述分类模型结果分析列表、上述超声特征图、上述超声特征图、上述融合热力图、上述超声参数信息包括的上述超声设备的地址信息以及上述超声参数信息包括的超声参数上传时间中的至少一种,本发明实施例不作限定。
作为另一个可选的实施例,当执行完步骤307之后,可以触发执行以下步骤:
主控设备访问上述云端服务器是否已生成辅助诊断报告,该辅助诊断报告为该云端服务器根据上述分类模型结果、与上述分类模型结果相匹配的模型参数信息生成的诊断报告;
当访问到上述云端服务器已生成上述辅助诊断报告时,主控设备获取上述辅助诊断报告,并存储该辅助诊断报告,以及输出数据更新界面,所述数据更新界面用于显示上述分类模型结果、与上述分类模型结果相匹配的模型参数信息、上述超声特征图、上述融合热力图、上述超声参数信息包括的上述超声设备的地址信息以及上述超声参数信息包括的超声参数上传时间,以及触发执行步骤310。
310、云端服务器生成与上述超声特征图相对应的视觉显著映射图,以及利用伪彩映射对和该视觉显著映射图生成超声热力图。
本发明实施例中,步骤310也可以发生在步骤307之前,即本发明也可以按照步骤301-步骤306、步骤310-步骤312、步骤307-步骤309来执行;步骤310还可以发生在步骤308之前,即本发明还可以按照步骤301-步骤307、步骤310-步骤312、步骤308-步骤309来执行;步骤308和步骤310还可以同时发生,都属于本发明保护范围,本发明实施例不做限定。
311、云端服务器利用图像融合算法融合上述超声热力图和上述超声静态图像,得到上述胎儿的融合热力图。
本发明实施例中,该融合热力图用于确定该胎儿的畸变信息,该畸变信息至少包括该胎儿的畸变位置信息和/或该胎儿的畸变程度信息。
312、云端服务器将上述融合热力图发送至主控设备,以触发该主控设备显示。
本发明实施例中,上述数据更新界面还可以用于显示上述融合热力图、上述超声参数信息包括的上述超声设备的地址信息以及该超声参数信息包括的超声参数上传时间、诊断标签操作图标以及随访标签操作图标中的至少一种,本发明实施例不做限定。
作为另一个可选的实施例,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
主控设备接收上述医护人员录入的针对上述诊断标签操作图标以及上述随访标签操作图标中的任意一种触发的标签信息添加操作。
该可选的实施例中,该标签信息添加操作用于添加标签信息,该标签信息为能够起到标识作用的信息,可以包括数字、图标、符号、文字以及图像中的至少一种,本发明实施例不做限定。
主控设备根据上述标签信息添加操作在上述数据更新界面添加上述标签信息。
可见,该可选的实施例通过对数据添加标签信息,不仅能够对数据进行修正,还能够对数据进行标签化管理,有利于分类和查找数据信息。
作为又一个可选的实施例,当上述分类模型结果表示上述胎儿存在畸形时,上述数据更新界面还可以用于显示与该分类模型结果相匹配的诊断导航。
该可选的实施例中,该诊断导航用于实现以下功能中的至少一种:提供上述分类模型结果对应的疾病典型超声静态图像、提供上述分类模型结果对应的疾病典型超声动态视频、引导医护人员排查与上述分类模型结果相关的其他疾病、提供会引起上述分类模型结果的相关疾病的胎儿遗传综合征列表供医护人员参考、提供上述分类模型结果对应的疾病与基因病变的关系和预后咨询信息。
该可选的实施例中,该其他疾病按照预设类别可以分为不同类别的疾病,其中,该预设类别可以包括体表类、头颅类、中枢神经系统类、颜面部类、心血管系统类、胸腹部类、消化系统类、泌尿生殖系统类、四肢类、脊柱类、手脚指(趾)/姿势异常类、其他骨骼异常类、NT(F)增厚/囊状水囊瘤类、生长发育类以及附属结构和其他畸形类中的至少一种,并且每种疾病类别对应多种疾病。当预设类别为体表类时,该预设类别对应的具体疾病可以包括但不限于胎儿水肿、颈蹼以及皮下组织肿胀中的至少一种;当预设类别为头颅类时,该预设类别对应的具体疾病可以包括但不限于短头畸形、颅骨骨化不全以及柠檬头中的至少一种;当预设类别为中枢神经系统类时,该预设类别对应的具体疾病可以包括但不限于小脑发育不良、全前脑以及脑室扩张中的至少一种;当预设类别为颜面部类时,该预设类别对应的具体疾病可以包括但不限于小下颌畸形、唇腭裂以及眼距宽中的至少一种;当预设类别为心血管系统时,该预设类别对应的具体疾病可以包括但不限于大动脉转位、室间隔缺损以及心律失常中的至少一种;当预设类别为胸腹部类时,该预设类别对应的具体疾病可以包括但不限于胸廓狭窄、脐膨出以及腹水中的至少一种;当预设类别为消化系统类时,该预设类别对应的具体疾病可以包括但不限于十二指肠闭锁、肠管回声增强以及右位胃泡中的至少一种;当预设类别为泌尿生殖系统类时,该预设类别对应的具体疾病可以包括但不限于外阴性别不明、尿道下裂以及肾脏增大中的至少一种;当预设类别为四肢类时,该预设类别对应的具体疾病可以包括但不限于长骨短、关节屈曲挛缩以及足内(外)翻中的至少一种;当预设类别为脊柱类时,该预设类别对应的具体疾病可以包括但不限于半椎体、脊柱侧弯以及短颈畸形中的至少一种;当预设类别为手脚指(趾)/姿势异常类时,该预设类别对应的具体疾病可以包括但不限于少指(趾)、并指(趾)以及拇指发育不良中的至少一种;当预设类别为其他骨骼异常类时,该预设类别对应的具体疾病可以包括但不限于髂骨翼角增宽、耻骨/跟骨/距骨未骨化以及骶骨发育不良中的至少一种;当预设类别为NT(F)增厚/囊状水囊瘤类时,该预设类别对应的具体疾病可以包括但不限于NT增厚、囊状水囊瘤以及NF增厚中的至少一种;当预设类别为生长发育类时,该预设类别对应的具体疾病可以包括但不限于IUGR、身材短小以及巨大胎儿中的至少一种;当预设类别为附属结构和其他畸形类时,该预设类别对应的具体疾病可以包括但不限于胎盘早剥、葡萄胎样胎盘以及羊水过多中的至少一种,本发明实施例不做限定。这样通过诊断导航,能够引导医护人员对胎儿针对性地进行疾病查看、特定疾病风险的排查,从而缩小诊断范围,进而提高诊断效率。
具体的,当接收到上述分类模型结果时,主控设备会显示与该分类模型结果相对应的常见合并异常图标,当主控设备检测到医护人员触发了某一常见合并异常图标时,主控设备控制跳转到与该某一常见合并异常图标相对应的界面,输出与该某一常见合并异常图标相对应的数据信息。这样通过输出与分类模型结果相匹配的诊断导航,能够便于引导医护人员针对性地排查并发症,从而缩小诊断范围,进而提高诊断效率。
本发明实施例中,上述数据更新界面还可以用于显示数据来源、与上述分类模型结果相对应的常见合并异常图标、致病因素、病例数据教学数据图标、胎儿超声异常共享数据的搜索图标、胎儿超声数据的数据库图标中的至少一种,其中,该数据来源包括医院名称(例如:附属第一医院)、就诊科室(例如:妇产科)、与该就诊科室相对应的地址信息(例如:5楼2号房)、超声设备型号(例如:GE E08 0020ZS1E08)中的至少一种,该常见合并异常图标可以包括小头畸形图标、心脏畸形图标、室间隔缺损图标、尿道下裂图标、脑室扩张图标、肾积水图标、并指(趾)图标、多指(趾)图标、法洛氏四联症图标中的至少一种,该病例数据教学数据图标包括典型超声图数据图标、病例解剖图数据图标、动态视频数据图标中的至少一种,本发明实施例不做限定。
本发明实施例中,进一步的,上述胎儿超声异常共享数据可以包括同一家医院不同医护人员上传的胎儿超声异常数据和/或多个医院医护人员上传的胎儿超声异常数据。又进一步的,该胎儿超声异常共享数据可以按照预设规则进行分类,其中该预设规则可以包括胎儿器官类别、正常与畸形、畸形严重等级、致病因素中的至少一种,本发明实施例不做限定。这样通过提供胎儿超声异常共享数据的搜索图标,能够给医护人员提供胎儿超声异常共享数据,从而提高诊断效率。
本发明实施例中,进一步的,上述胎儿超声数据可以包括所有分类模型结果(胎儿正常的分类模型结果、胎儿存在畸形的分类模型结果)。又进一步的,该胎儿超声数据可以包括胎儿典型超声数据和/或胎儿普通超声数据,其中,该胎儿典型超声数据包括目前还未找到某一畸形的致病因素的胎儿超声数据。这样通过胎儿超声数据的管理工具为科员人员提供珍贵的图文教科内容,从而提高科研效率和学习效率。
举例来说,医护人员可以触发数据更新界面上的动态视频数据图标,当主控设备检测到该医护人员针对该动态视频数据图标的触发操作时,主控设备向该医护人员输出动态视频数据,以使得该医护人员观看该动态视频数据。
举例来说,医护人员可以触发数据更新界面上的胎儿超声异常共享数据搜索图标,当主控设备检测到该医护人员针对该胎儿超声异常共享数据搜索图标的触发操作时,主控设备向该医护人员输出该医护人员所需查阅的胎儿超声异常共享数据。
本发明实施例中,进一步的,医护人员可以通过触发数据更新界面查阅更多的辅助诊断内容,该触发方式包括触碰触发(例如:上滑)、语音触发、手势触发中的至少一种,本发明实施例不做限定。
作为又一个可选的实施例,该基于深度学习的胎儿超声图像识别方法还可以包括以下步骤:
主控设备统计从上述云端服务器发送的所有胎儿超声异常数据,并基于该所有胎儿超声异常数据生成胎儿超声异常数据数据库,供医护人员在该胎儿超声异常数据数据库分享、查阅胎儿超声异常数据。
该可选的实施例中,该胎儿超声异常数据包括分类模型结果表示胎儿存在畸形以及畸形的类别。
可见,该可选的实施例通过生成胎儿超声异常数据数据库,能够便于医护人员共享和查阅胎儿超声异常数据以及快速确定胎儿超声数据异常的类别。
步骤301、步骤302、步骤304的描述请参阅实施例一中针对步骤101-步骤103的详细描述,步骤305-步骤307、步骤310-步骤312的描述请参照实施例二中针对步骤204-209的详细描述,本发明实施例不再赘述。
可见,实施图3所描述的基于深度学习的胎儿超声图像识别方法不仅能够提高胎儿超声图像的识别效率以及准确度,还能够降低医生误判的风险,以及降低医生的工作强度,提升孕妇和医生的体验感。此外,还能够直观地了解到、并统计某个时间段内的胎儿的分类模型结果的情况;还能够对数据进行修正以及对数据进行标签化管理,有利于分类和查找数据信息;还能够便于引导医护人员对胎儿针对性地进行疾病查看、特定疾病风险的排查,从而缩小诊断范围,进而提高诊断效率;还能够便于医护人员给产妇提供基因和预后咨询;还能够便于医护人员共享和查阅胎儿超声异常数据以及快速确定胎儿超声数据异常的类别;还能够通过胎儿超声数据的管理工具为科员人员提供珍贵的图文教科内容,从而提高科研效率和学习效率。
实施例四
请参阅图4,图4是本发明实施例公开的一种基于深度学习的胎儿超声图像识别系统的结构示意图。其中,图4所示的基于深度学习的胎儿超声图像识别系统可以应用于医院的产检系统中,该系统可以包括超声设备、数据终端、云端服务器以及主控设备,进一步的,该超声设备为医用超声设备,该数据终端可以包括复合数据终端或者智能数据终端,该云端服务器也可以叫云服务器,该主控设备可以包括台式电脑、平板电脑、掌上电脑、智能手机(Android手机、iOS手机等)以及移动互联网设备(Mobile Internet Devices,MID)等能够起到控制作用的设备,本发明实施例不做限定。如图4所示,该基于深度学习的胎儿超声图像识别系统包括超声设备、数据终端、云端服务器以及主控设备,其中,该超声设备包括检测模块401以及第一发送模块402,该数据终端包括第一接收模块403以及第二发送模块404,该云端服务器包括第二接收模块405、分割模块406、输入模块407以及第三发送模块408,该主控设备包括第三接收模块409以及输出模块410,其中:
检测模块401,用于检测医护人员针对超声设备上安装的虚拟打印装置触发的打印操作控制指令。
第一发送模块402,用于根据上述打印操作控制指令向数据终端发送胎儿的超声参数信息,该超声参数信息至少包括上述胎儿的超声静态图像。
第一接收模块403,用于接收上述超声设备发送的超声参数信息。
第二发送模块404,用于将上述超声静态图像发送至云端服务器。
第二接收模块405,用于接收上述数据终端发送的超声静态图像。
分割模块406,用于基于预先确定的图像分割模型对上述超声静态图像执行分割操作,得到分割子图像。
本发明实施例中,作为一种可选的实施方式,分割模块406基于预先创建的图像分割模型对上述超声静态图像执行分割操作,得到分割子图像的方式具体为:
基于预先确定的图像分割模型识别上述超声静态图像的感兴趣区域,并使用预先确定出的形状对该感兴趣区域进行标注,得到该感兴趣区域的标注信息,以及提取该标注后的感兴趣区域作为分割子图像。
输入模块407,用于将上述分割子图像输入预先确定的图像分类模型,得到分类模型结果,该分类模型结果用于表示上述胎儿是否存在畸形,当该分类模型结果表示该胎儿存在畸形时,该分类模型结果包括该畸形的类型。
第三发送模块408,用于将上述分类模型结果发送至主控设备。
第三接收模块409,用于接收上述分类模型结果。
输出模块410,用于输出上述分类模型结果。
可见,实施图4所描述的基于深度学习的胎儿超声图像识别系统通过将深度学习应用于胎儿超声图像的检查,不仅能够提高胎儿超声图像的识别效率以及准确度,还能够降低医生误判的风险,以及减少医生的工作强度,提升孕妇和医生的体验感。
作为一个可选的实施例,上述系统还可以包括图像分类模型创建端,该图像分类模型创建端为上述云端服务器或本地计算机,其中:
上述图像分类模型创建端,用于创建图像分类模型;
其中,上述图像分类模型创建端创建图像分类模型的方式具体为:
获取样本图像数据,并修改预先确定出的原始卷积神经网络模型的模型参数,得到目标卷积神经网络模型,该模型参数包括该原始卷积神经网络模型的神经元个数、全连接层层数、特征权重值中的至少一种,该目标卷积神经网络模型的全连接层层数大于该原始卷积神经网络模型的全连接层层数;
使用上述目标卷积神经网络模型训练上述样本图像数据,得到图像分类模型。
以及,当上述图像分类模型创建端为上述本地计算机时,上述图像分类模型创建端,还用于向上述云端服务器发送上述图像分割模型。
可见,该可选的实施例所描述的基于深度学习的胎儿超声图像识别系统还能够通过创建图像分割模型,便于直接使用该图像分割模型对图像进行分割操作,从而提高图像分割效率,以及通过修改原始卷积神经网络模型的特征权重值,能够提高图像的分类准确率、敏感性以及特异性。
作为另一个可选的实施例,上述云端服务器还可以包括预处理模块411,此时,该基于深度学习的胎儿超声图像识别系统的结构可以如图5所示,图5是本发明实施例公开的另一种基于深度学习的胎儿超声图像识别系统的结构示意图,其中:
预处理模块411,用于在分割模块406基于预先创建的图像分割模型对上述超声静态图像执行分割操作,得到分割子图像之后,以及在输入模块407将该分割子图像输入预先确定的图像分类模型,得到分类模型结果之前,对该分割子图像执行图像预处理操作,得到预处理后的分割子图像,该图像预处理操作包括图像填充操作和/或图像增强操作。
输入模块407,具体用于:
当预处理模块411对上述分割子图像执行图像预处理操作,得到预处理后的分割子图像之后,将该分割子图像输入预先确定的图像分类模型,得到分类模型结果。
可见,实施图5所描述的基于深度学习的胎儿超声图像识别系统还能够通过对分割子图像执行图像预处理操作,从而降低因图像尺度差异带来的图像扭曲和变形的可能性以及提高图像的鲁棒性,即降低图像的失真度,进而有利于后续图像识别分类操作。
作为又一个可选的实施例,如图5所示,上述云端服务器还可以包括提取模块412、生成模块413以及融合模块414,其中:
提取模块412,用于在输入模块407将上述分割子图像输入预先确定的图像分类模型得到分类模型结果的过程中,从该分割子图像中提取上述胎儿的超声特征图。
生成模块413,用于生成与上述超声特征图相对应的视觉显著映射图。
生成模块413,还用于利用伪彩映射对和上述视觉显著映射图生成超声热力图。
融合模块414,用于利用图像融合算法融合上述超声热力图和上述超声静态图像,得到上述胎儿的融合热力图,该融合热力图用于确定该胎儿的畸变信息,该畸变信息至少包括该胎儿的畸变位置信息和/或该胎儿的畸变程度信息。
第三发送模块408,还用于将上述融合热力图或上述融合热力图及上述超声特征图的组合发送至主控设备,以触发该主控设备显示。
可见,实施图5所描述的基于深度学习的胎儿超声图像识别系统还能够通过生成胎儿的融合热力图,从而提供可视化胎儿诊断的放案,进而提高胎儿诊断的可信度。
作为又一个可选的实施例,如图5所示,第二发送模块404,还用于在第一接收模块403接收上述超声设备发送的超声参数信息之后,发送预通知消息至上述云端服务器,该预通知消息包括上述数据终端的设备号、上述数据终端接收上述超声静态图像的初始时刻、上述超声静态图像的相关信息中的至少一种,并且该预通知消息用于提示该云端服务器即将有数据上传。
可见,实施图5所描述的基于深度学习的胎儿超声图像识别系统还能够通过将主控设备与账号信息进行绑定,便于医护人员快速获取分类模型结果,从而提高诊断效率。
作为又一个可选的实施例,如图5所示,上述主控设备还可以包括第一存储模块415,其中:
生成模块413,还用于在融合模块414利用图像融合算法融合上述超声热力图和上述超声静态图像,得到上述胎儿的融合热力图之后,根据上述分类模型结果、与该分类模型结果相匹配的模型参数信息生成辅助诊断报告。
第三发送模块408,还用于发送数据更新指令以及发送上述辅助诊断报告至上述主控设备。
第三接收模块409,还用于接收上述云端服务器发送的数据更新指令以及接收上述辅助诊断报告。
第一存储模块415,用于存储上述辅助诊断报告。
输出模块410,还用于根据上述数据更新指令输出数据更新界面,该数据更新界面用于显示上述分类模型结果、该分类模型结果相匹配的模型参数信息、上述超声特征图、上述融合热力图、上述超声参数信息包括的上述超声设备的地址信息以及该超声参数信息包括的超声参数上传时间。
或者,如图6所示,上述主控设备还可以包括访问模块416,获取模块417以及第二存储模块418,其中:
访问模块416,用于在融合模块414利用图像融合算法融合上述超声热力图和上述超声静态图像,得到上述胎儿的融合热力图之后,访问上述云端服务器是否已生成辅助诊断报告,该辅助诊断报告为该云端服务器根据上述分类模型结果、与上述分类模型结果相匹配的模型参数信息生成的诊断报告。
获取模块417,用于当访问模块416访问到上述云端服务器已生成上述辅助诊断报告时,获取该辅助诊断报告。
第二存储模块418,用于存储上述辅助诊断报告。
输出模块410,还用于输出数据更新界面,所述数据更新界面用于显示上述分类模型结果、与上述分类模型结果相匹配的模型参数信息、上述超声特征图、上述融合热力图、上述超声参数信息包括的上述超声设备的地址信息以及上述超声参数信息包括的超声参数上传时间。
可见,实施图5或图6所描述的基于深度学习的胎儿超声图像识别系统还能够通过生成辅助诊断报告,使得医护人员直观地知晓胎儿的诊断情况,从而根据该诊断情况针对性地诊治。
作为又一个可选的实施例,上述数据更新界面还用于显示诊断标签操作图标以及随访标签操作图标,如图5或图6所示,上述主控设备还可以包括添加模块419,其中:
第三接收模块409,还用于在输出模块410根据上述数据更新指令输出数据更新界面之后,接收上述医护人员录入的针对上述诊断标签操作图标以及上述随访标签操作图标中的任意一种触发的标签信息添加操作,该标签信息添加操作用于添加标签信息,该标签信息包括数字、图标、符号、文字以及图像中的至少一种。
添加模块419,用于根据上述标签信息添加操作在上述数据更新界面添加上述标签信息。
可见,实施图5或图6所描述的基于深度学习的胎儿超声图像识别系统还能够通过对数据添加标签信息,不仅能够对数据进行修正,还能够对数据进行标签化管理,有利于分类和查找数据信息。
作为又一个可选的实施例,当上述分类模型结果表示上述胎儿存在畸形时,该数据更新界面还用于显示与上述分类模型结果相匹配的诊断导航,该诊断导航用于实现以下功能中的至少一种:提供上述分类模型结果对应的疾病典型超声静态图像、提供上述分类模型结果对应的疾病典型超声动态视频、引导医护人员排查与上述分类模型结果相关的其他疾病、提供会引起上述分类模型结果的相关疾病的胎儿遗传综合征列表供医护人员参考、提供上述分类模型结果对应的疾病与基因病变的关系和预后咨询信息。
可见,实施图5或图6所描述的基于深度学习的胎儿超声图像识别系统还能够通过输出与分类模型结果相匹配的诊断导航,便于引导医护人员对胎儿针对性地进行疾病查看、特定疾病风险的排查,从而缩小诊断范围,进而提高胎儿诊断效率。
实施例五
请参阅图7,图7是本发明实施例公开的一种超声设备的结构示意图。如图7所示,该超声设备可以包括:
存储有可执行程序代码的存储器701;
与存储器701耦合的处理器702;
处理器702调用存储器701中存储的可执行程序代码,执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中超声设备所执行的操作。
请参阅图8,图8是本发明实施例公开的一种数据终端的结构示意图。如图7所示,该数据终端可以包括:
存储有可执行程序代码的存储器801;
与存储器801耦合的处理器802;
处理器802调用存储器801中存储的可执行程序代码,执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中数据终端所执行的操作。
请参阅图9,图9是本发明实施例公开的一种云端服务器的结构示意图。如图9所示,该云端服务器可以包括:
存储有可执行程序代码的存储器901;
与存储器901耦合的处理器902;
处理器902调用存储器901中存储的可执行程序代码,执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中云端服务器所执行的操作。
请参阅图10,图10是本发明实施例公开的一种主控设备的结构示意图。如图10所示,该主控设备可以包括:
存储有可执行程序代码的存储器1001;
与存储器1001耦合的处理器1002;
处理器1002调用存储器1001中存储的可执行程序代码,执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中主控设备所执行的操作。
实施例六
本发明实施例公开了一种计算机可存储介质,该计算机存储介质存储有计算机指令,该计算机指令被调用时,用于执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中超声设备所执行的操作。
本发明实施例公开了另一种计算机可存储介质,该计算机存储介质存储有计算机指令,该计算机指令被调用时,用于执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中数据终端所执行的操作。
本发明实施例公开了又一种计算机可存储介质,该计算机存储介质存储有计算机指令,该计算机指令被调用时,用于执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中云端服务器所执行的操作。
本发明实施例公开了又一种计算机可存储介质,该计算机存储介质存储有计算机指令,该计算机指令被调用时,用于执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中主控设备所执行的操作。
实施例七
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中超声设备所执行的操作。
本发明实施例公开了另一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中数据终端所执行的操作。
本发明实施例公开了又一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中云端服务器所执行的操作。
本发明实施例公开了又一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一~实施例三中任意一个实施例所描述的基于深度学习的胎儿超声图像识别方法中主控设备所执行的操作。
以上所描述的装置实施例仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是:本发明实施例公开的一种基于深度学习的胎儿超声图像识别方法及系统所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离奔放各项实施例技术方案的精神和范围。

Claims (17)

1.一种基于深度学习的胎儿超声图像识别系统,所述系统包括超声设备以及云端服务器,其中,所述超声设备包括检测模块、第一发送模块、第一接收模块以及输出模块,其中:
所述检测模块,用于检测医护人员针对所述超声设备上安装的虚拟打印装置触发的打印操作控制指令;
所述第一发送模块,用于根据所述打印操作控制指令向所述云端服务器发送胎儿的超声参数信息,所述超声参数信息至少包括所述胎儿的超声静态图像,所述超声参数信息用于触发所述云端服务器执行以下操作:
由所述云端服务器接收所述超声设备发送的所述超声静态图像,并基于预先确定的图像分割模型对所述超声静态图像执行分割操作,得到分割子图像;以及将所述分割子图像输入预先确定的图像分类模型,得到分类模型结果,所述分类模型结果用于表示所述胎儿是否存在畸形,当所述分类模型结果表示所述胎儿存在畸形时,所述分类模型结果包括所述畸形的类型;以及将所述分类模型结果发送至所述超声设备;
所述第一接收模块,用于接收所述分类模型结果;
所述输出模块,用于输出所述分类模型结果;
以及,所述超声参数信息还用于触发所述云端服务器执行以下操作:
由所述云端服务器在将所述分割子图像输入预先确定的图像分类模型得到分类模型结果的过程中,从所述分割子图像中提取所述胎儿的超声特征图;并生成与所述超声特征图相对应的视觉显著映射图;以及利用伪彩映射对和所述视觉显著映射图生成超声热力图;以及利用图像融合算法融合所述超声热力图和所述超声静态图像,得到所述胎儿的融合热力图,所述融合热力图用于确定所述胎儿的畸变信息,所述畸变信息至少包括所述胎儿的畸变位置信息和/或所述胎儿的畸变程度信息;以及将所述融合热力图或所述融合热力图及所述超声特征图的组合发送至所述超声设备,以触发所述超声设备显示。
2.根据权利要求1所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述云端服务器基于预先确定的图像分割模型对所述超声静态图像执行分割操作,得到分割子图像的方式具体为:
基于预先确定的图像分割模型识别所述超声静态图像的感兴趣区域,并使用预先确定出的形状对所述感兴趣区域进行标注,得到所述感兴趣区域的标注信息,以及提取标注后的所述感兴趣区域作为分割子图像。
3.根据权利要求1或2所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述系统还包括图像分类模型创建端,其中:
所述图像分类模型创建端,用于创建图像分类模型;
其中,所述图像分类模型创建端创建图像分类模型的方式具体为:
创建端获取样本图像数据,并修改预先确定出的原始卷积神经网络模型的模型参数,得到目标卷积神经网络模型,所述模型参数包括所述原始卷积神经网络模型的神经元个数、全连接层层数、特征权重值中的至少一种,所述目标卷积神经网络模型的全连接层层数大于所述原始卷积神经网络模型的全连接层层数;
使用所述目标卷积神经网络模型训练所述样本图像数据,得到图像分类模型;
以及,当所述图像分类模型创建端为本地计算机时,所述图像分类模型创建端,还用于向所述云端服务器发送所述图像分割模型。
4.根据权利要求1所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述超声参数信息还用于触发所述云端服务器执行以下操作:
由所述云端服务器在基于预先创建的图像分割模型对所述超声静态图像执行分割操作,得到分割子图像之后,以及在将所述分割子图像输入预先确定的图像分类模型,得到分类模型结果之前,对所述分割子图像执行图像预处理操作,得到预处理后的分割子图像,所述图像预处理操作包括图像填充操作和/或图像增强操作;并触发执行所述的将所述分割子图像输入预先确定的图像分类模型,得到分类模型结果的操作,该分割子图像为预处理后的所述分割子图像。
5.根据权利要求1所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述第一发送模块,还用于发送预通知消息至所述云端服务器,所述预通知消息包括所述超声设备的设备号、所述超声静态图像的相关信息中的至少一种,并且所述预通知消息用于提示所述云端服务器即将有数据上传。
6.根据权利要求1、2、4或5所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述超声设备还包括第一存储模块,其中:
所述第一接收模块,还用于接收所述云端服务器发送的数据更新指令以及接收辅助诊断报告,所述辅助诊断报告为所述云端服务器在利用图像融合算法融合所述超声热力图和所述超声静态图像,得到所述胎儿的融合热力图之后,并根据所述分类模型结果、与所述分类模型结果相匹配的模型参数信息生成的;
所述第一存储模块,用于存储所述辅助诊断报告;
所述输出模块,还用于根据所述数据更新指令输出数据更新界面,所述数据更新界面用于显示所述分类模型结果、与所述分类模型结果相匹配的模型参数信息、所述超声特征图、所述融合热力图、所述超声参数信息包括的所述超声设备的地址信息以及所述超声参数信息包括的超声参数上传时间;
或者,所述超声设备还包括访问模块、获取模块以及第二存储模块,其中:
所述访问模块,用于在所述云端服务器利用图像融合算法融合所述超声热力图和所述超声静态图像,得到所述胎儿的融合热力图之后,访问上述云端服务器是否已生成辅助诊断报告,该辅助诊断报告为该云端服务器根据上述分类模型结果、与上述分类模型结果相匹配的模型参数信息生成的诊断报告;
所述获取模块,用于当访问到所述云端服务器已生成所述辅助诊断报告时,获取所述辅助诊断报告;
所述第二存储模块,用于存储所述辅助诊断报告;
所述输出模块,还用于输出数据更新界面,所述数据更新界面用于显示所述分类模型结果、与所述分类模型结果相匹配的模型参数信息、所述超声特征图、所述融合热力图、所述超声参数信息包括的所述超声设备的地址信息以及所述超声参数信息包括的超声参数上传时间。
7.根据权利要求6所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述数据更新界面还用于显示诊断标签操作图标以及随访标签操作图标;
以及,所述超声设备还包括添加模块,其中:
所述第一接收模块,还用于在所述输出模块根据所述数据更新指令输出数据更新界面之后,接收所述医护人员录入的针对所述诊断标签操作图标以及所述随访标签操作图标中的任意一种触发的标签信息添加操作,所述标签信息添加操作用于添加标签信息,所述标签信息包括数字、图标、符号、文字以及图像中的至少一种;
所述添加模块,用于根据所述标签信息添加操作在所述数据更新界面添加所述标签信息。
8.根据权利要求6所述的基于深度学习的胎儿超声图像识别系统,其特征在于,当所述分类模型结果表示所述胎儿存在畸形时,所述数据更新界面还用于显示与所述分类模型结果相匹配的诊断导航,所述诊断导航用于实现以下功能中的至少一种:提供所述分类模型结果对应的疾病典型超声静态图像、提供所述分类模型结果对应的疾病典型超声动态视频、引导医护人员排查与所述分类模型结果相关的其他疾病、提供会引起所述分类模型结果的相关疾病的胎儿遗传综合征列表供医护人员参考、提供所述分类模型结果对应的疾病与基因病变的关系和预后咨询信息。
9.一种基于深度学习的胎儿超声图像识别系统,所述系统包括云端服务器,其中,所述云端服务器包括第二接收模块、分割模块、输入模块以及第三发送模块,其中:
所述第二接收模块,用于接收超声设备发送的胎儿的超声静态图像,超声参数信息至少包括所述胎儿的超声静态图像,所述超声参数信息为所述超声设备在检测到医护人员针对所述超声设备上安装的虚拟打印装置触发的打印操作控制指令后发送的;
所述分割模块,用于基于预先确定的图像分割模型对所述超声静态图像执行分割操作,得到分割子图像;
所述输入模块,用于将所述分割子图像输入预先确定的图像分类模型,得到分类模型结果,所述分类模型结果用于表示所述胎儿是否存在畸形,当所述分类模型结果表示所述胎儿存在畸形时,所述分类模型结果包括所述畸形的类型;
所述第三发送模块,用于将所述分类模型结果发送至所述超声设备,以触发所述超声设备接收所述分类模型结果并输出所述分类模型结果;
其中,所述云端服务器还包括提取模块、生成模块以及融合模块,其中:
所述提取模块,用于在所述输入模块在将所述分割子图像输入预先确定的图像分类模型得到分类模型结果的过程中,从所述分割子图像中提取所述胎儿的超声特征图;
所述生成模块,用于生成与所述超声特征图相对应的视觉显著映射图;
所述生成模块,还用于利用伪彩映射对和所述视觉显著映射图生成超声热力图;
所述融合模块,用于利用图像融合算法融合所述超声热力图和所述超声静态图像,得到所述胎儿的融合热力图,所述融合热力图用于确定所述胎儿的畸变信息,所述畸变信息至少包括所述胎儿的畸变位置信息和/或所述胎儿的畸变程度信息;
所述第三发送模块,还用于将所述融合热力图或所述融合热力图及所述超声特征图的组合发送至所述超声设备,以触发所述超声设备显示。
10.根据权利要求9所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述分割模块基于预先确定的图像分割模型对所述超声静态图像执行分割操作,得到分割子图像的方式具体为:
基于预先确定的图像分割模型识别所述超声静态图像的感兴趣区域,并使用预先确定出的形状对所述感兴趣区域进行标注,得到所述感兴趣区域的标注信息,以及提取标注后的所述感兴趣区域作为分割子图像。
11.根据权利要求9或10所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述系统还包括图像分类模型创建端,其中:
所述图像分类模型创建端,还用于创建图像分类模型;
其中,所述图像分类模型创建端创建图像分类模型的方式具体为:
创建端获取样本图像数据,并修改预先确定出的原始卷积神经网络模型的模型参数,得到目标卷积神经网络模型,所述模型参数包括所述原始卷积神经网络模型的神经元个数、全连接层层数、特征权重值中的至少一种,所述目标卷积神经网络模型的全连接层层数大于所述原始卷积神经网络模型的全连接层层数;
使用所述目标卷积神经网络模型训练所述样本图像数据,得到图像分类模型;
以及,当所述图像分类模型创建端为本地计算机时,所述图像分类模型创建端,还用于向所述云端服务器发送所述图像分割模型。
12.根据权利要求9所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述云端服务器还包括预处理模块,其中:
所述预处理模块,用于在所述分割模块基于预先创建的图像分割模型对所述超声静态图像执行分割操作,得到分割子图像之后,以及在所述输入模块将所述分割子图像输入预先确定的图像分类模型,得到分类模型结果之前,对所述分割子图像执行图像预处理操作,得到预处理后的分割子图像,所述图像预处理操作包括图像填充操作和/或图像增强操作;
所述输入模块,具体用于:
当所述预处理模块对所述分割子图像执行图像预处理操作,得到预处理后的分割子图像之后,将该分割子图像输入预先确定的图像分类模型,得到分类模型结果。
13.根据权利要求9所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述第二接收模块,还用于接收所述超声设备发送的预通知消息,其中,所述预通知消息包括所述超声设备的设备号、所述超声静态图像的相关信息中的至少一种,并且所述预通知消息用于提示所述云端服务器即将有数据上传。
14.根据权利要求9、10、12或13所述的基于深度学习的胎儿超声图像识别系统,其特征在于,所述生成模块,还用于在所述融合模块利用图像融合算法融合所述超声热力图和所述超声静态图像,得到所述胎儿的融合热力图之后,根据所述分类模型结果、与所述分类模型结果相匹配的模型参数信息生成辅助诊断报告;
所述第三发送模块,还用于发送数据更新指令以及发送所述辅助诊断报告至所述超声设备,以触发所述超声设备执行以下操作:
由所述超声设备接收所述云端服务器发送的所述数据更新指令以及接收所述辅助诊断报告,并存储所述辅助诊断报告;以及根据所述数据更新指令输出数据更新界面,所述数据更新界面用于显示所述分类模型结果、与所述分类模型结果相匹配的模型参数信息、所述超声特征图、所述融合热力图、所述超声参数信息包括的所述超声设备的地址信息以及所述超声参数信息包括的超声参数上传时间。
15.根据权利要求14所述的基于深度学习的胎儿超声图像识别系统,其特征在于,当所述分类模型结果表示所述胎儿存在畸形时,所述数据更新界面还用于显示与所述分类模型结果相匹配的诊断导航,所述诊断导航用于实现以下功能中的至少一种:提供所述分类模型结果对应的疾病典型超声静态图像、提供所述分类模型结果对应的疾病典型超声动态视频、引导医护人员排查与所述分类模型结果相关的其他疾病、提供会引起所述分类模型结果的相关疾病的胎儿遗传综合征列表供医护人员参考、提供所述分类模型结果对应的疾病与基因病变的关系和预后咨询信息。
16.一种超声设备,其特征在于,所述超声设备包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1-8任一项所述的基于深度学习的胎儿超声图像识别系统中所述超声设备对应的功能。
17.一种云端服务器,其特征在于,所述云端服务器包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求9-15任一项所述的基于深度学习的胎儿超声图像识别系统中所述云端服务器对应的功能。
CN201910032226.2A 2019-01-14 2019-01-14 基于深度学习的胎儿超声图像识别方法及系统 Active CN110634125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910032226.2A CN110634125B (zh) 2019-01-14 2019-01-14 基于深度学习的胎儿超声图像识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910032226.2A CN110634125B (zh) 2019-01-14 2019-01-14 基于深度学习的胎儿超声图像识别方法及系统

Publications (2)

Publication Number Publication Date
CN110634125A CN110634125A (zh) 2019-12-31
CN110634125B true CN110634125B (zh) 2022-06-10

Family

ID=68968434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910032226.2A Active CN110634125B (zh) 2019-01-14 2019-01-14 基于深度学习的胎儿超声图像识别方法及系统

Country Status (1)

Country Link
CN (1) CN110634125B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462060A (zh) * 2020-03-24 2020-07-28 湖南大学 胎儿超声图像中标准切面图像的检测方法和装置
CN111899253A (zh) * 2020-08-07 2020-11-06 长沙大端信息科技有限公司 胎儿颅脑切面图像的异常判断分析方法及装置
CN112070725A (zh) * 2020-08-17 2020-12-11 清华大学 一种基于深度学习的葡萄胎切片图像处理方法及装置
CN112155604B (zh) * 2020-09-24 2023-03-31 广州爱孕记信息科技有限公司 基于胎儿超声图像的胎儿严重畸形检测方法及装置
CN112215806A (zh) * 2020-09-24 2021-01-12 广州爱孕记信息科技有限公司 胎儿超声影像的检测结果的输出控制方法、装置及系统
CN112329550A (zh) * 2020-10-16 2021-02-05 中国科学院空间应用工程与技术中心 基于弱监督学习的受灾建筑快速定位评估方法及装置
CN112613557B (zh) * 2020-12-23 2023-03-24 新绎健康科技有限公司 一种基于深度学习对舌质舌苔进行分类的方法及系统
CN112837275B (zh) * 2021-01-14 2023-10-24 长春大学 胶囊内窥镜图像器官分类方法、装置、设备及存储介质
CN113378831B (zh) * 2021-05-07 2022-05-10 太原理工大学 一种小鼠胚胎器官识别与评分方法与系统
CN113724827A (zh) * 2021-09-03 2021-11-30 上海深至信息科技有限公司 一种超声报告中病灶区域自动标注的方法和系统
CN114549874B (zh) * 2022-03-02 2024-03-08 北京百度网讯科技有限公司 多目标图文匹配模型的训练方法、图文检索方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103263278B (zh) * 2013-01-23 2015-05-13 珠海艾博罗生物技术有限公司 一种从超声图像上自动测量胎儿颈背透明物厚度的图像处理方法
WO2014117096A1 (en) * 2013-01-25 2014-07-31 Davey Sonya Novel algorithms for feature detection and hiding from ultrasound images
EP3143585B1 (en) * 2014-05-14 2020-03-25 Koninklijke Philips N.V. Acquisition-orientation-dependent features for model-based segmentation of ultrasound images
CN107748900B (zh) * 2017-11-08 2020-09-25 山东财经大学 基于区分性卷积神经网络的乳腺肿瘤分类装置和存储介质
CN108109152A (zh) * 2018-01-03 2018-06-01 深圳北航新兴产业技术研究院 医学图像分类和分割方法和装置

Also Published As

Publication number Publication date
CN110634125A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN110634125B (zh) 基于深度学习的胎儿超声图像识别方法及系统
US10991094B2 (en) Method of analyzing dental image for correction diagnosis and apparatus using the same
CN109741806B (zh) 一种医学影像诊断报告辅助生成方法及其装置
WO2018201633A1 (zh) 基于眼底图像的糖尿病视网膜病变识别系统
CN110613480B (zh) 基于深度学习的胎儿超声动态影像检测方法及系统
WO2020113326A1 (en) Automatic image-based skin diagnostics using deep learning
EP3567525A1 (en) Systems and methods for analysis of anatomical images each captured at a unique orientation
US20110144482A1 (en) Image display device and method, as well as program
CN111986784A (zh) 医疗影像的元数据预测装置及方法
JP2013192624A (ja) 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム
CN107358608A (zh) 基于图像处理技术的骨组织几何形态学参数自动测量装置及方法
CN110796636A (zh) 基于卷积神经网络的ct图像骨质状况检测方法及装置
CN112819818B (zh) 图像识别模块训练方法和装置
CN111524093A (zh) 一种异常舌象的智能筛查方法及其系统
WO2024074921A1 (en) Distinguishing a disease state from a non-disease state in an image
JP7170000B2 (ja) 学習システム、方法及びプログラム
TWI738001B (zh) 醫學影像中身體部位識別方法及裝置
JP6258084B2 (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
KR20200058316A (ko) 인공지능 기술을 활용한 치과용 두부 계측점 자동 추적 방법 및 그를 이용한 서비스 시스템
CN113610824A (zh) 穿刺路径规划方法及装置,电子设备及存储介质
CN116452579B (zh) 一种基于胸片图像的肺动脉高压智能评估方法和系统
KR20230118054A (ko) 의료 영상으로부터 바이오마커 발현을 예측하는 방법및 시스템
CN115631152A (zh) 超声图像截取方法及装置、电子设备和存储介质
EP3467840A1 (en) Method for setting a medical imaging protocol, system for setting a medical instrument, computer program and computer-readable medium
TWI759946B (zh) 脊柱量測及狀態評估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201105

Address after: Room 4504, Tower B, 33 Zhongshan Third Road, Yuexiu District, Guangzhou City, Guangdong Province 510000

Applicant after: GUANGZHOU AIYUN INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 1605, No.2, Zhongshan 6th Road, Yuexiu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU AIYUN INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: Wang Nan

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Fetal ultrasound image recognition method and system based on deep learning

Effective date of registration: 20231011

Granted publication date: 20220610

Pledgee: Bank of China Limited by Share Ltd. Guangzhou Haizhu branch

Pledgor: GUANGZHOU AIYUN INFORMATION TECHNOLOGY CO.,LTD.

Registration number: Y2023980060768

PE01 Entry into force of the registration of the contract for pledge of patent right