CN113763353A - 一种肺部超声图像检测系统 - Google Patents
一种肺部超声图像检测系统 Download PDFInfo
- Publication number
- CN113763353A CN113763353A CN202111040464.1A CN202111040464A CN113763353A CN 113763353 A CN113763353 A CN 113763353A CN 202111040464 A CN202111040464 A CN 202111040464A CN 113763353 A CN113763353 A CN 113763353A
- Authority
- CN
- China
- Prior art keywords
- image
- lung
- model
- sequence
- symbol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 128
- 210000004072 lung Anatomy 0.000 title claims abstract description 112
- 238000002604 ultrasonography Methods 0.000 claims abstract description 101
- 201000003144 pneumothorax Diseases 0.000 claims abstract description 55
- 230000002685 pulmonary effect Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims 3
- 239000000284 extract Substances 0.000 claims 3
- 238000013528 artificial neural network Methods 0.000 claims 1
- 230000004044 response Effects 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000012549 training Methods 0.000 description 56
- 230000003068 static effect Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 20
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 15
- 238000007689 inspection Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 230000008034 disappearance Effects 0.000 description 9
- 210000004224 pleura Anatomy 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000008094 contradictory effect Effects 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 210000003492 pulmonary vein Anatomy 0.000 description 3
- 208000011580 syndromic disease Diseases 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 208000034656 Contusions Diseases 0.000 description 2
- 208000028399 Critical Illness Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000009519 contusion Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 206010001052 Acute respiratory distress syndrome Diseases 0.000 description 1
- 206010003598 Atelectasis Diseases 0.000 description 1
- 208000029523 Interstitial Lung disease Diseases 0.000 description 1
- 206010035588 Pleural adhesion Diseases 0.000 description 1
- 208000007123 Pulmonary Atelectasis Diseases 0.000 description 1
- 241000083513 Punctum Species 0.000 description 1
- 208000035977 Rare disease Diseases 0.000 description 1
- 208000013616 Respiratory Distress Syndrome Diseases 0.000 description 1
- 208000004756 Respiratory Insufficiency Diseases 0.000 description 1
- 201000000028 adult respiratory distress syndrome Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 210000003281 pleural cavity Anatomy 0.000 description 1
- 201000004193 respiratory failure Diseases 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000005437 stratosphere Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computational Linguistics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Mathematical Physics (AREA)
- Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本说明书实施例提供一种肺部超声图像检测系统,该系统包括:获取模块,用于获取对象的超声影像视频;判断模块,用于基于训练好的第一预测模型对图像序列进行处理,确定第一判断结果;其中,图像序列由超声影像视频中多帧图像按照拍摄的时间先后顺序构成;第一判断结果包括与气胸相关的多个象征是否存在,以及对于存在的象征在多帧图像中至少一帧图像中的位置;多个象征至少包括肺点征和肺滑动征。
Description
技术领域
本说明书涉及医学图像处理领域,特别涉及一种肺部超声图像检测系统。
背景技术
在创伤死亡者中,约20%主要因胸部创伤所致。因此,气胸的早期检测和及时而正确的处理是非常重要的。现阶段,胸部超声影像检查主要通过超声专家人工检查,或者基于单张超声图像的病灶检测,而临床应用需要进一步提高敏感性和特异性。
因此,建立普及的、易实施的、有效的肺部超声图像检测系统,实现满足临床需求的动态超声气胸实时检测和识别,在临床医学应用上很有必要。
发明内容
本说明书实施例之一提供一种肺部超声图像检测系统,所述肺部超声图像检测系统包括:获取模块,用于获取对象的超声影像视频;判断模块,用于基于训练好的第一预测模型对图像序列进行处理,确定第一判断结果;其中,所述图像序列由所述超声影像视频中多帧图像按照拍摄的时间先后顺序构成;第一判断结果包括与气胸相关的多个象征是否存在,以及对于存在的象征在所述多帧图像中至少一帧图像中的位置;所述多个象征至少包括肺点征和肺滑动征。
本说明书实施例之一提供一种肺部超声图像检测装置,所述装置包括处理器以及存储器;所述存储器用于存储指令,所述指令被所述处理器执行时,导致所述装置实现所述肺部超声图像检测系统对应的功能。
本说明书实施例之一提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机运行所述肺部超声图像检测系统对应的功能。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的肺部超声图像检测系统的应用场景示意图;
图2是根据本说明书一些实施例所示的肺部超声图像检测系统的示例性流程图;
图3是根据本说明书一些实施例所示的肺部超声图像检测系统的示例性流程图;
图4是根据本说明书一些实施例所示的静态检测模型的示意图;
图5是根据本说明书一些实施例所示的动态检测模型的示意图;
图6是根据本说明书一些实施例所示的第二预测模型的示意图;
图7是根据本说明书一些实施例所示的第三模型的示意图;
图8是根据本说明书一些实施例所示的模型训练方法的示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
本申请实施例涉及一种肺部超声图像检测系统。该肺部超声图像检测系统可以应用于临床、救援、战时救治、事故现场急救、抢救等的检测过程。在一些实施例中,该肺部超声图像检测系统也可以应用于其他领域。如在一些实施例中,该肺部超声图像检测系统可以应用于安防等领域的检测或大数据分析。通过该肺部超声图像检测系统,可以实现:自动检测和识别气胸、实时动态分析、无暂停检测、对不适宜移动的患者作床旁超声检查、急救现场检查等一种或多种功能。该肺部超声图像检测系统可以实现提高检测效率和诊断精度、减少对医生经验水平和检测设备的依赖、为现场急救赢得宝贵时间等一种或多种有益效果。
图1是根据本说明书一些实施例所示的肺部超声图像检测系统的应用场景示意图。
如图1所示,肺部超声图像检测系统100可以包括服务器110、处理器112、终端120、超声检测设备130、存储设备140、网络150。
在一些实施例中,服务器110可以用于处理肺部超声图像检测系统100相关的信息和/或数据,例如,获取超声数据、确定检测结果。在一些实施例中,服务器110可以是单个服务器,也可以是服务器组。服务器组可以是集中式的或分布式的(例如,服务器110可以是一分布式系统)。在一些实施例中,服务器110可以是本地的,也可以是远程的。例如,服务器110可以经由网络150访问存储在终端120、超声检测设备130、存储设备140中的信息和/或数据。又例如,服务器110可以直接连接到终端120、超声检测设备130和/或存储设备140以访问存储信息和/或数据。在一些实施例中,服务器110可以在云平台上实现,或者以虚拟方式提供。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中,服务器110可以包括处理器112。处理器112可以处理与肺部超声图像检测系统100有关的信息和/或数据,以执行本申请中描述的一个或以上功能。例如,处理器112可以获取对象的超声影像视频,基于超声影像视频确定检测结果。在一些实施例中,处理器112可以包括一个或以上处理引擎(例如,单芯片处理引擎或多芯片处理引擎)。仅作为示例,处理器112可以包括中央处理单元(CPU)、特定应用集成电路(ASIC)、特定应用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任意组合。
终端120指用户所使用的一个或多个终端设备或软件。在一些实施例中,使用终端120的可以是一个或多个用户,用户可以包括检测科人员、急救人员、技术专家等。在一些实施例中,可以将检测结果通过终端120呈现给用户。在一些实施例中,可以通过终端120获取重新检测的请求,重新检测的原因和方法参见图4。在一些实施例中,终端120可以是移动设备120-1、平板计算机120-2、膝上型计算机120-3、台式计算机120-4等其他具有输入和/或输出功能的设备中的一种或其任意组合。在一些实施例中,移动设备120-1可以包括手机、智能电话、个人数字助理(PDA)、导航设备、手持终端(POS)等或其任意组合。在一些实施例中,台式计算机120-4可以是车载计算机、车载电视等。
超声检测设备130是指利用超声波在介质中的传播规律,获取对象的检测图像/视频的设备,例如,超声脉冲回波成像设备、超声回波多普勒成像设备、超声电子内窥镜、超声多普勒血流分析设备、超声人体组织测量设备等。对象是接受检测的对象,例如,患者、伤员。在一些实施例中,对象可以以任何体位进行肺部超声检查,例如,仰卧位、侧卧位、俯卧位、半卧位或者坐位。在一些实施例中,超声检测设备130的扫描方式可以包括A超、B超、M超和D超等。在一些实施例中,超声检测设备130可以设置于医疗场所或设施,例如,病房、产房、检查室、手术室、抢救室、救护车等。在一些实施例中,超声检测设备130可以设置于其他场所,例如,马拉松场地、极限运动场地、赛车场地、救灾现场等。在一些实施例中,超声检测设备130可以将超声影像视频经由网络150传送给服务器110。
存储设备140可以用于存储与肺部超声图像检测系统100相关的数据和/或指令。在一些实施例中,存储设备140可以存储从终端120和/或超声检测设备130获得/获取的数据。在一些实施例中,存储设备140可以存储历史数据、病例数据、训练样本等。在一些实施例中,存储设备140可以储存服务器110用来执行或使用以完成本申请中描述的示例性方法的数据和/或指令。在一些实施例中,存储设备140可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取存储器(RAM)。示例性RAM可包括动态随机存取存储器(DRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性只读存储器可以包括模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。在一些实施例中,存储设备140可在云平台上实现。仅作为示例,该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中,存储设备140可以连接到网络150以与肺部超声图像检测系统100的一个或以上组件(例如,服务器110、终端120、超声检测设备130)通信。肺部超声图像检测系统100的一个或以上组件可以经由网络150访问存储在存储设备140中的数据或指令。在一些实施例中,存储设备140可以直接连接到肺部超声图像检测系统100的一个或以上组件(例如,服务器110、终端120、超声检测设备130)或与之通信。在一些实施例中,存储设备140可以是服务器110的一部分。在一些实施例中,存储设备140可以是单独的存储器。
网络150可以促进信息和/或数据的交换。在一些实施例中,肺部超声图像检测系统100的一个或以上组件(例如,服务器110、超声检测设备130、存储设备140)可以经由网络150将信息和/或数据发送至肺部超声图像检测系统100的其他组件。例如,超声检测设备130可以经由网络150将超声影像视频发送到服务器110。在一些实施例中,网络150可以是有线网络或无线网络等或其任意组合。仅作为示例,网络150可以包括电缆网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通讯(NFC)网络、全球移动通讯系统(GSM)网络、码分多址(CDMA)网络、时分多址(TDMA)网络、通用分组无线服务(GPRS)网络、增强数据速率GSM演进(EDGE)网络、宽带码分多址接入(WCDMA)网络、高速下行分组接入(HSDPA)网络、长期演进(LTE)网络、用户数据报协议(UDP)网络、传输控制协议/互联网协议(TCP/IP)网络、短讯息服务(SMS)网络、无线应用协议(WAP)网络、超宽带(UWB)网络、红外线等或其任意组合。在一些实施例中,肺部超声图像检测系统100可以包括一个或以上网络接入点。例如,基站和/或无线接入点150-1、150-2、…,肺部超声图像检测系统100的一个或以上组件可以连接到网络150以交换数据和/或信息。
应当注意肺部超声图像检测系统100仅仅是为了说明的目的而提供的,并不意图限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出多种修改或变化。例如,肺部超声图像检测系统100还可以包括数据库。又例如,肺部超声图像检测系统100可以在其他设备上实现类似或不同的功能。然而,这些变化和修改不会背离本申请的范围。
在一些实施例中,所述肺部超声图像检测系统100可以包括获取模块、判断模块、更新模块和确定模块。
获取模块,可以用于获取对象的超声影像视频。
判断模块,可以用于基于训练好的第一预测模型对图像序列进行处理,确定第一判断结果;其中,图像序列由超声影像视频中多帧图像按照拍摄的时间先后顺序构成;第一判断结果可以包括与气胸相关的多个象征是否存在,以及对于存在的象征在多帧图像中一帧或多帧图像中的位置;一个或多个象征至少包括肺点征和肺滑动征。在一些实施例中,判断模块还可以用于基于预设规则与第一判断结果,确定是否需要对超声影像视频重新检测的第二判断结果,其中,预设规则与气胸判断相关;如果第二判断结果为是,基于一个或多个象征的象征金标准等级,从一个或多个象征中确定需要重新检测的一个或多个目标象征。
更新模块,可以用于获取与一个或多个目标象征分别对应的一个或多个第二预测模型,对于一个或多个第二预测模型中的任意一个,第二预测模型可以用于预测与其对应的目标象征是否存在;基于第二预测模型对目标图像序列进行处理,确定目标象征是否存在的第三判断结果;基于第三判断结果更新第一判断结果。在一些实施例中,更新模块还可以用于对于一个或多个象征中的每一个,如果第一判断结果包括存在上述象征,获取存在上述象征的至一帧或多帧图像,基于存在象征的一帧或多帧图像按时间先后顺序构建目标图像序列;如果第一判断结果中包括不存在上述的象征,将超声影像视频中多帧图像构成的图像序列作为目标图像序列。
确定模块,可以用于基于第三模型对第一判断结果,以及一个或多个象征的特征值和敏感值进行处理,确定对象气胸的概率。
需要注意的是,以上对于候选项显示、肺部超声图像检测系统及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。在一些实施例中,图1中披露的判断模块和更新模块可以是一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本说明书的保护范围之内。
图2是根据本说明书一些实施例所示的肺部超声图像检测系统的示例性流程图。
步骤210,获取对象的超声影像视频。
对象的说明参见图1。
在一些实施例中,获取模块可以实时(如每隔0.02秒、0.01秒等)获取超声检测设备130所采集的超声影像视频。
在一些实施例中,获取模块可以周期性(如每隔10秒、20秒等)获取超声检测设备130所采集的超声影像视频。
步骤220,基于训练好的第一预测模型对图像序列进行处理,确定第一判断结果。
图像序列是由超声影像视频中多帧图像按照拍摄的时间先后顺序构成的序列。
第一判断结果包括与气胸相关的多个象征是否存在,以及对于存在的象征在所述多帧图像中至少一帧图像中的位置。例如,某段超声影像视频存在肺点征、不存在肺滑动征,肺点征位于该超声影像视频第87帧图像中的左下角。
与气胸相关的多个象征至少包括肺点征和肺滑动征。
肺点征见于正常肺组织与气胸等病理性肺组织的过渡区,表现为随呼吸运动时沙滩征和平流层征交替出现。肺点是诊断气胸的主要征象,特异性为100%,诊断隐匿性气胸的敏感性为79%。肺点征的位置也可用于评估气胸面积的大小,若见于胸壁前方,提示病变面积较小;若见于胸部的侧方、后方或腋后线处,则面积越大。同时应注意区分“假肺点征”,亦表现为与呼吸运动同步,但无平流层征,可见于肺挫伤的患者。
肺滑动征是鉴别气胸的一个重要征象,表现为呼吸运动时脏层胸膜和壁层胸膜相对运动产生的高回声闪烁影,气胸患者由于两层胸膜之间存在空气,影响胸膜的可视化,故肺滑动消失,出现“条码征”,又称为“平流层征”。肺滑动的消失诊断气胸的敏感性为95.3%,特异性91.1%,阴性预测值为99.2%~100%(P<0.001),说明肺滑动的存在可有效地排除气胸。但是肺滑动消失不完全等于气胸,一些危重症患者若出现急性呼吸窘迫综合征、胸膜粘连、大面积肺不张、肺挫伤等时,也可见有肺滑动消失,其在普通人群中的阳性预测值为87%,危重患者中下降到56%,在呼吸衰竭患者中仅为27%,故进行临床诊断时应和其他征象相结合。
在一些实施例中,与气胸相关的多个象征还包括B线征、A线征和肺脉征。
B线征是由胸膜线发出延伸至屏幕底部的离散垂直混响伪像影,不随距离衰减,与肺滑动和呼吸作同步的往返运动。混响伪影是指在超声传播路径中出现2次或2次以上的反射,多发生于2个声阻抗差异较大的平滑声学界面上,而B线是由于超声波在肺泡气-液平面上发生反射形成的,又称为“彗星尾征”。B线并不是气胸的直接征象,临床多用于判断间质性肺疾病的严重程度,但若将B线与胸膜线相结合,出现这两种征象时,可在很大程度上排除气胸。
A线征是超声波遇到胸膜的多重反射后形成的多条与胸膜平行的亮线,是一种协助诊断气胸的混响伪像,表现为与胸膜平行、等间距、强度依次减弱的高回声水平线,每条A线之间的间距代表壁层胸膜与皮肤表面的距离。A线多在肺密度正常的情况下出现,亦可见于气胸患者。若在A线存在的情况下见肺滑动消失,诊断隐匿性气胸的敏感性和特异性高达95%和94%。
肺脉征又称为肺搏动,是胸膜线的另一种运动形式,某些情况下,当肺滑动消失时,可见胸膜线呈垂直运动,与心脏节律一致,这是由于肺内充气不足,导致心脏搏动引起胸膜线的震动。一项诊断性试验将肺脉的存在作为排除气胸的标准,故气胸患者的特征之一是肺滑动和肺脉的消失,这主要是因为胸膜腔内的空气影响了壁层胸膜的水平和垂直运动。
第一预测模型是用于判断多个目标象征是否存在的多分类模型。第一预测模型的输入是对象的图像序列。如前所述,第一预测模型的输出(第一判断结果)包括与气胸相关的多个象征是否存在,以及对于存在的象征在所述多帧图像中至少一帧图像中的位置。在一些实施例中,判断模块可以将图像序列输入训练好的第一预测模型对图像序列得到第一判断结果。例如,将某对象的图像序列输入训练好的第一预测模型,得到存在肺点征、A线征,不存在肺滑动征、B线征、肺脉征,肺点征位于该超声影像视频第87-89帧图像中的左下角、A线征位于该超声影像视频第103-121帧图像中部。
在一些实施例中,可以基于静态检测模型和动态检测模型构建第一预测模型。静态检测模型的构建详见图4,动态检测模型的构建详见图5,静态检测模型和动态检测模型的样本构建和训练方法详见图8。
第一预测模型基于静态检测模型初始化,有利于模型快速收敛,提高了训练效率。第一预测模型基于动态检测模型的象征实时检测,结合了多帧超声影像信息,避免了单张图像的信息不完整性,降低了错误检测。
步骤230,基于预设规则与第一判断结果,确定是否需要对所述超声影像视频重新检测的第二判断结果,其中,所述预设规则与气胸判断相关。
预设规则是与气胸判断相关的规则。
在一些实施例中,预设规则可以包括第一判断结果中矛盾象征不同时存在。矛盾象征是指示相反诊断结果的多个象征。例如,肺点征是诊断气胸的主要征象、肺滑动征的存在可有效地排除气胸,因此肺点征和肺滑动征为矛盾象征,如果一段超声影像视频的第一判断结果中肺点征和肺滑动征同时存在,则认为第一判断结果中矛盾象征并存,不符合预设规则。
在一些实施例中,矛盾象征可能包括如下情况:
表1
如表1所示,如果多个相关象征是否存在的判断结果与表中任何一行一致,则认为存在矛盾象征。
在一些实施例中,判断模块可以基于预设规则与第一判断结果,确定是否需要对超声影像视频重新检测的第二判断结果。例如,判断模块可以基于超声影像视频是否存在矛盾象征,确定是否需要对所述超声影像视频重新检测的第二判断结果。具体的,如果存在矛盾象征,则第二判断结果为是,反之,第二判断结果为否。可以理解,由于多个相关象征的特异性和敏感性均达不到100%,即使检测结果完全准确,矛盾象征也是可能出现的,但检测不准确仍然是矛盾象征出现的首要原因。因此,为保证最终检测结果的准确率,一旦出现矛盾象征,则采用准确度更高的模型(第二预测模型,详见图3-图5)重新检测。
进一步判断第一预测模型输出的第一判断结果,确定是否需要重新检测,有利于保证检测的准确度。
如果第二判断结果为是,则执行步骤240。
步骤240,基于所述多个象征的象征金标准等级,从所述多个象征中确定需要重新检测的至少一个目标象征。
金标准是指当前临床医学界公认的诊断疾病的最可靠方法。金标准等级是指方法的可靠程度,例如,一级金标准的可靠程度最高、二级次之等。多个象征的象征金标准等级是指分别采用多个象征诊断气胸的可靠程度的排序。例如,一级金标准为:肺点征;二级金标准为:肺滑动征;三级金标准为:B线征;四级金标准为:肺脉征;五级金标准为:A线征。
在一些实施例中,相关象征之间的金标准等级可以基于聚类模型对大量的气胸病例的超声图像进行聚类分析,以及患者的病例信息确定。例如,包含肺点征的病例数量大于不包含肺滑动征的病例数量,则肺点征的金标准等级更高。
在一些实施例中,相关象征之间的金标准等级可以基于医学界公认的多个相关象征的特异性和/或敏感性确定。例如,一级金标准为肺点征、二级金标准为肺滑动征、三级金标准为B线征、四级金标准为肺脉征、五级金标准为A线征。
在一些实施例中,判断模块可以对矛盾象征中金标准等级最高的象征重新检测。在一些实施例中,判断模块可以对矛盾象征中所有相邻金标准等级中的高一级象征重新检测。例如,一级金标准的肺点征、二级金标准的肺滑动征同时存在,四级金标准的肺脉征、五级金标准的A线征同时存在,则重新检测一级金标准的肺点征和四级金标准的肺脉征。重新检测的方法详见图3。
在出现矛盾象征的情况下,重新检测金标准等级高的象征,有利于保证高等级象征的检测准确度,有利于保证检测结果的可靠性。
应当注意的是,上述有关流程200的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程200进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
图3是根据本说明书一些实施例所示的肺部超声图像检测系统的示例性流程图。
步骤310,获取与所述至少一个目标象征分别对应的至少一个第二预测模型,对于所述至少一个第二预测模型中的任意一个,所述第二预测模型用于预测与其对应的目标象征是否存在。
第二预测模型是用于判断特定目标象征是否存在的模型,例如,判断肺点象征是否存在的模型。第二预测模型仅判断对应的特定目标象征。例如,肺点第二预测模型仅判断肺点象征是否存在,又例如,A线第二预测模型仅判断A线象征是否存在。可以理解,不同于第一预测模型,每个第二预测模型都是二分类模型。第二预测模型的结构详见图6,第二预测模型的样本构建和训练方法详见图8。
值得注意的是,第二预测模型在LSTM层后引入注意力机制,第二预测模型的训练集和测试集的构建更针对对应的目标象征,以及第二预测模型的参数和网络层数比第一预测模型更复杂,因此,第二预测模型对特定象征的判断比第一预测模型准确率更高。
在一些实施例中,更新模块可以从存储设备140获取训练好的至少一个第二预测模型。在一些实施例中,更新模块可以通过接口获取训练好的至少一个第二预测模型,该接口包括但不限于程序接口、数据接口、传输接口等。
在一些实施例中,更新模块可以基于超声影像视频和第一判断结果确定目标图像序列。如前所述,第一判断结果包括与气胸相关的多个象征是否存在。在一些实施例中,更新模块可以根据第一判断结果中象征是否存在,确定重新检测该象征时,使用的目标图像序列。对于每一个象征,如果该象征存在,则执行步骤330;如果该象征不存在,则执行步骤320。以存在肺点象征、B线象征、A线象征,不存在肺滑动象征和肺脉征的第一判断结果为例,重新检测肺点象征、B线象征、A线象征时,执行步骤330以确定目标图像序列,重新检测肺滑动象征和肺脉征时,执行步骤320以确定目标图像序列。
步骤320,将所述超声影像视频中多帧图像构成的图像序列作为所述目标图像序列。
在一些实施例中,可以对超声影像视频中多帧图像进行预处理,例如,统一分辨率,统一图像角度等。
步骤330,获取存在所述象征的至少一帧图像,基于所述存在所述象征的至少一帧图像按时间先后顺序构建所述目标图像序列。
如前所述,第一判断结果包括与气胸相关的多个象征是否存在,以及对于存在的象征在所述多帧图像中至少一帧图像中的位置。在一些实施例中,更新模块可以基于超声影像视频和第一判断结果,获取存在特定象征的至少一帧图像。例如,通过图像检索等方式确定存在该象征的至少一帧图像。
在一些实施例中,更新模块可以基于该至少一帧图像按时间先后顺序构建目标图像序列。具体的,如果超声影像视频中多段图像帧存在相关象征,则将多段图像帧按时间顺序构成的序列作为目标图像序列。如果超声影像视频中只有一段图像帧存在相关象征,则可以按预设规则确定目标图像序列,例如,以该至少一帧图像为中间帧段,以及该中间帧段在超声影像视频中的前后各10帧作为目标图像序列。又例如,取该至少一帧图像的中间帧,以中间帧和在超声影像视频中的前后各50帧作为目标图像序列。
再次以存在肺点象征、B线象征、A线象征,不存在肺滑动象征和肺脉征的第一判断结果为例,超声影像视频中第101-150帧存在肺点象征,超声影像视频中第177-198帧存在B线象征,超声影像视频中第205-210帧、第225-240帧存在A线象征。当重新检测肺点象征时,则可以将91-160帧作为目标图像序列,或者将76-176帧作为目标图像序列。当重新检测B线象征时,则可以将167-208帧作为目标图像序列,或者将138-238帧作为目标图像序列。当重新检测A线象征时,则可以将第205-210帧、第225-240帧拼接作为目标图像序列。
基于所述存在所述象征的至少一帧图像按时间先后顺序构建所述目标图像序列可以减少不必要的检测,减少计算量以及提高效率。
步骤340,基于所述第二预测模型对目标图像序列进行处理,确定所述目标象征是否存在的第三判断结果。
在一些实施例中,更新模块可以将步骤320或步骤330得到的某象征的目标图像序列输入该象征对应的第二预测模型,确定该象征是否存在。
可以理解,由于使用了不同的模型(第一预测模型、针对特定象征的第二预测模型),第一判断结果和第三判断结果可以相同或不同。
步骤350,基于所述第三判断结果更新所述第一判断结果。
在一些实施例中,更新模块可以以覆盖、改写、追加等方式更新所述第一判断结果。
应当注意的是,上述有关流程300的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程300进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。例如,步骤330可以省略,可以不判断第一判断结果是否包括存在所述象征,直接重新检测超声影像视频中多帧图像构成的图像序列。又例如,步骤310可以在步骤330之后执行。
图4是根据本说明书一些实施例所示的静态检测模型的示意图。
在一些实施例中,静态检测模型400的输入是超声图像,例如,超声检测设备130采集的超声影像视频的图像帧、存储设备140中存储的超声图像等。输出是相关象征的在图像中的位置。
在一些实施例中,可以以图4所示的方式构造静态检测模型。在一些实施例中,可以选择EfficientNet-B4作为基础网络。在基础网络之后,连接1个3×3卷积层,调整输出特征通道数,然后经过反卷积将特征图上采样2倍,特征图通道数降为原来的1/4;从基础网络第1个输出特征图是原输入图像尺寸1/16的卷积层做跳层连接,在连接层之后使用3×3卷积调整输出通道数为16,最后使用反卷积进行4倍上采样,输出概率图是输入图像尺寸的1/4,最后对概率图进行4倍上采样,输出与输入图像一样尺寸的特征图;使用特征金字塔合并每个反卷积层得到的特征,最后输出检测结果。
静态检测模型的训练以及训练样本的构建参见图8及其描述。
卷积和反卷积使得静态检测模型既能提取超声图像的特征,又能保证输出特征图与输入图像尺寸一致。跳层连接可以解决网络层数较深的情况下梯度消失的问题,同时有助于梯度的反向传播,加快训练过程。
图5是根据本说明书一些实施例所示的动态检测模型的示意图。
在一些实施例中,动态检测模型500的输入是图像序列,例如,超声检测设备130采集的超声影像视频中的多帧连续图像、存储设备140中存储的超声影像视频中的按照拍摄时间先后顺序构成的多帧图像等。输出是相关象征的在图像中的位置。
在一些实施例中,可以以图5所示的方式构造动态检测模型。在一些实施例中,可以在静态检测模型的跳层连接之后的卷积层使用多个LSTM单元组成LSTM层,LSTM数量根据卷积层输出特征图尺寸确定,具体方法如下:设t时刻输入视频帧It(视频第t帧),图像大小W×H,在跳层连接层输出大小是W′×H′的m个特征图,表示为对于的每一点(I,j),1≤i≤W′,1≤j≤H′,表示It内一定感受野的m维描述向量。在跳层连接层之后,使用W′×H′个LSTM单元,是LSTM的输入,由于LSTM保留了t时刻之前的信息,所以结合了时间和空间信息,其中S表示空间特征,ST表示空间-时间特征。在LSTM层之后添加3×3卷积层,卷积层输入是每一帧图像在LSTM层的输出,卷积层输出通道数是16,特征图尺寸保持不变,卷积层之后的结构与静态检测模型保持一致,构建视频动态检测模型;设置动态检测模型每次输入25帧图像序列,保存每一帧图像在LSTM层的输出特征图,连接所有帧的LSTM输出特征图作为下一层卷积层的输入,上采样层保持不变,然后输出每一帧的预测结果。
动态检测模型的训练以及训练样本的构建参见图8及其描述。
通过计算机对超声检查整个过程的持续观测,在时间上有很多信息冗余,从数据融合角度考虑,大量数据冗余可以抵消观测中的噪声,所以用超声影像视频做病灶探测和分析比单张图像能达到更好效果。基于动态检测模型的象征实时检测,结合了多帧超声影像信息,可以避免单张图像的信息不完整性,降低错误检测。
图6是根据本说明书一些实施例所示的第二预测模型的示意图。
在一些实施例中,第二预测模型600的输入是目标图像序列,目标图像序列的确定方法详见步骤310-步骤330。输出是目标图像序列是否包括相关象征。
在一些实施例中,可以以图6所示的方式构建第二预测模型。在一些实施例中,可以在动态预测模型的LSTM层之后,引入注意力机制,注意力机制对输入的目标图像序列进行特征提取,寻找特征信息之间的序列内在联系,计算每个输入分配的注意力概率分布值,计算可以通过加权平均方式给出识别结果。注意力机制之后接全连接层,并输出二分类结果。
在一些实施例中,可以为第二预测模型设置更多的网络层数,例如,更多的卷积层。
第二预测模型的训练以及训练样本的构建参见图8及其描述。
通过引入注意力机制、设置更多网络层数并利用专门的样本训练,第二预测模型可以对特定象征有更高的检测准确度。
图7是根据本说明书一些实施例所示的第三模型的示意图。
在一些实施例中,第三模型700的输入是图像序列,例如,超声检测设备130采集的超声影像视频中的多帧连续图像、存储设备140中存储的超声影像视频中的按照拍摄时间先后顺序构成的多帧图像等。输出是对象患有气胸的概率。
在一些实施例中,可以以图7所示的方式构造第三模型。在一些实施例中,可以选择EfficientNet-B4作为基础网络。在基础网络之后,设置全连接层,最后输出检测结果。
第三模型的训练以及训练样本的构建参见图8及其描述。
训练好的第三模型,可以基于学习到的图像序列的特征与气胸的概率之间的规律,自动确定检测结果。
图8是根据本说明书一些实施例所示的模型训练方法的示意图。
如图8所示,在一些实施例中,可以基于大量带有标识的训练样本训练初始模型810以更新初始模型的参数来得到训练后的模型820。初始模型810可以包括初始静态检测模型、初始动态检测模型、初始第二预测模型、初始第三模型,训练后的模型820可以包括静态检测模型、动态检测模型、第二预测模型、第三模型。
在一些实施例中,可以基于大量带有标识的训练样本训练初始静态检测模型以更新初始静态检测模型的参数来得到静态检测模型。在一些实施例中,可以将带有标识的训练样本输入初始静态检测模型,通过训练迭代更新初始静态检测模型的参数。
在一些实施例中,训练样本可以是超声图像和/或超声视频(视频中的图像帧),样本标识可以是勾画出的包括相关象征的封闭图形,例如,矩形、圆形、椭圆形、不规则图形等。在一些实施例中,可以按照下述步骤准备静态检测模型的训练样本。
步骤A:收集静态超声气胸图像数据,以病例为单位,数据来源主要是医院历年累积用于填写检查报告的图像和新采集图像;收集病例数不少于1万例,图像总数不少于5万张。
步骤B:收集超声胸部气胸扫查的视频数据,以病例为单位,数据来源主要是医院填写报告的留存视频和按照要求新采集的视频;视频数据病例和静态图像病例可以是同一病例,也可以是不同病例;视频病例总数不少于3千例。
步骤C:对超声图像和视频进行标定,勾画出对应的肺点和肺滑动区域,勾画过程是以人工方式按常规医学图像识别规则进行的。对于超声视频,需要勾画肺点和肺滑动出现的每一帧,尤其注意在肺点和肺滑动开始出现和消失的时候,以静态图像肺点和肺滑动可见为标准开始勾画或结束勾画;在此基础上,构建肺点和肺滑动静态检测、动态检测和气胸识别的数据集。
在一些实施例中,可以从上述数据集中随机选取80%作为训练集,并对训练集进行数据增广;在训练数据上训练迭代若干次得到静态检测模型。
在一些实施例中,可以基于大量带有标识的训练样本训练初始动态检测模型以更新初始动态检测模型的参数来得到动态检测模型。在一些实施例中,可以将带有标识的训练样本输入初始动态检测模型,通过训练迭代更新初始动态检测模型的参数。
在一些实施例中,训练样本可以是超声视频,样本标识可以是在超声视频的视频帧中勾画出的包括相关象征的封闭图形,例如,矩形、圆形、椭圆形、不规则图形等。
在一些实施例中,由于视频样本数据量比较大,训练周期很长,根据样本种类数量和视频大小调整每个视频样本的训练频率,可以减少迭代次数。在所有气胸病例中,常见疾病所占比例很大,疑难病、罕见病种类多但占比少,在训练时若给每个样本分配相同的权重,即训练时间相同,则算法会倾向忽略疑难罕见病。采用以图像特征的聚类方法,将病理类似,图像信息差异较小的样本聚成一类,结合每个视频样本的图像帧数,按照下列公式调整每个样本的训练频率:
FEQ(A)=Z/sqrt(N(A)×L(A))
其中FEQ(A)是A的训练频率,N(A)是A所在类别的样本例数,L(A)是视频A的帧数,Z是归一化系数。由于动态视频每例数据帧数从几十帧到几百帧不等,因此,在训练时同样需要考虑视频帧数。所有带有标识的超声视频数据按照8比2随机划分训练集和测试集。
在一些实施例中,可以使用静态检测模型参数初始化动态检测模型,新添加的LSTM层随机初始化,设置LSTM层之前所有层的学习率为0,只学习LSTM层及其后卷积层参数;由于整个网络在特征提取部分使用静态检测模型,所以LSTM层输入的信息就已经是高度抽象特征;LSTM层参数只需要合理配置,网络很容易就收敛。每次训练时根据样本训练频率选取视频,随机选取视频中连续的25帧图像序列,使用数据增强方法对图像每个通道做随机对比度拉伸、亮度值调整和像素值噪声扰动,增强后的图像序列依次输入动态检测模型,采用随机梯度下降方法训练网络;在测试视频上,以每一帧作为预测中间帧,输出整个视频的检测结果,检测结果使用平均交并比评价,修改不同学习率以及学习率衰减策略,选取在测试视频上区域相似度最高的一次结果,作为动态检测模型。
在一些实施例中,还可以根据其他训练方法得到动态检测模型,例如,为LSTM层之前的层设置相应的初始学习率(例如,0.1)、学习率衰减策略,基于带有标识的超声视频,通过联合训练得到动态检测模型。本申请在此不做限制。
在一些实施例中,可以基于大量带有标识的训练样本训练第二预测模型以更新初始第二预测模型的参数来得到第二预测模型。在一些实施例中,可以将带有标识的训练样本输入初始第二预测模型,通过训练迭代更新初始第二预测模型的参数。
在一些实施例中,训练样本可以是超声图像和/或超声视频(视频中的图像帧)。样本标识可以是在超声视频中勾画出的包括相关象征的封闭图形和数字,具体的,存在相关象征的超声视频,标签为包括相关象征的封闭图形和数字1,不存在相关象征的超声视频,标签仅为数字0。例如,构建训练识别肺点象征的第二预测模型样本时,存在肺点象征的超声视频,标签为图像帧中圈画出肺点象征区域的封闭图形和数字1,不存在肺点象征的超声视频,标签为数字0。又例如,构建训练识别肺滑动象征的第二预测模型样本时,存在肺滑动象征的超声视频,标签为图像帧中圈画出肺滑动象征区域的封闭图形和数字1,不存在肺滑动象征的超声视频,标签为数字0。
在一些实施例中,可以将所有带有标识的超声视频数据按照8比2随机划分训练集和测试集。
在一些实施例中,迭代更新方法使用交叉熵损失函数采用梯度下降法,通过计算损失函数的梯度并更新第二预测模型的参数。
在一些实施例中,可以基于大量带有标识的训练样本训练初始第三模型以更新初始第三模型的参数来得到第三模型。在一些实施例中,可以将带有标识的训练样本输入初始第三模型,通过训练迭代更新初始动态检测模型的参数。
在一些实施例中,训练样本可以是超声图像和/或超声视频(视频中的图像帧)。样本标识可以是数字0-3,包括,确定存在气胸类别标签是0,大概率存在气胸类别标签是1,没有气胸类别标签是2,不确定是否有气胸类别标签是3。例如,如果在超声图像或视频中检测到肺点和A线征但没有检测到肺脉和肺滑动,则确定存在气胸;如果检测到肺点和肺滑动,则大概率存在气胸;如果没有检测到肺点但检测到肺滑动和B线征,则确定不存在气胸;如果没有检测到肺点和肺滑动,则不确定是否存在气胸,需要进一步诊断。
在一些实施例中,可以将所有气胸待识别数据按照8比2随机划分训练集和测试集。
如前所述,第三模型可以包括基础网络和全连接层。在一些实施例中,可以使用静态检测模型的参数初始化第三模型的基础网络,随机初始化全连接层,以构建初始第三模型。
在一些实施例中,可以修改基础网络最后的全连接层输出值为2,使用Sigmoid交叉熵损失函数,采用随机梯度下降方法在训练集上训练第三模型,修改不同学习率以及学习率衰减策略,重复交叉实验,在测试集上预测并做出ROC曲线,选取AUC值最高的一次参数和模型,作为第三模型。
应当注意的是,上述有关流程800的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程800进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (10)
1.一种肺部超声图像检测系统,包括:
获取模块,用于获取对象的超声影像视频;
判断模块,用于基于训练好的第一预测模型对图像序列进行处理,确定第一判断结果;其中,
所述图像序列由所述超声影像视频中多帧图像按照拍摄的时间先后顺序构成;
第一判断结果包括与气胸相关的多个象征是否存在,以及对于存在的象征在所述多帧图像中至少一帧图像中的位置;
所述多个象征至少包括肺点征和肺滑动征。
2.根据权利要求1所述的系统,所述判断模块还用于:
基于预设规则与第一判断结果,确定是否需要对所述超声影像视频重新检测的第二判断结果,其中,所述预设规则与气胸判断相关;
响应于第二判断结果为是,基于所述多个象征的象征金标准等级,从所述多个象征中确定需要重新检测的至少一个目标象征。
3.根据权利要求2所述的系统,所述系统还包括更新模块,所述更新模块用于:
获取与所述至少一个目标象征分别对应的至少一个第二预测模型,对于所述至少一个第二预测模型中的任意一个,所述第二预测模型用于预测与其对应的目标象征是否存在;
基于所述第二预测模型对目标图像序列进行处理,确定所述目标象征是否存在的第三判断结果;
基于所述第三判断结果更新所述第一判断结果。
4.根据权利要求3所述的系统,为了确定所述目标图像序列,所述更新模块还用于:
对于所述多个象征中的每一个,
若所述第一判断结果包括存在所述象征,获取存在所述象征的至少一帧图像,基于所述存在所述象征的至少一帧图像按时间先后顺序构建所述目标图像序列;
若所述第一判断结果中包括不存在所述象征,将所述超声影像视频中多帧图像构成的图像序列作为所述目标图像序列。
5.根据权利要求1所述的系统,所述第一预测模型包括序列模型、第一卷积神经网络和全连接层;
所述第一卷积神经网络对所述图像序列中的每个图像进行处理,提取所述图像序列中每个图像的图像特征;
所述序列模型对所述图像序列中每个图像的图像特征构成的图像特征序列进行处理,提取图像序列特征;
所述全连接层对所述图像序列特征进行处理,以确定所述第一判断结果。
6.根据权利要求5所述的方法,所述全连接层对所述图像序列特征和所述图像序列中每个图像的图像特征进行处理,以确定第一判断结果。
7.根据权利要求5所述的方法,所述第一预测模型包括第二卷积神经网络;
所述第二卷积神经网络对所述图像序列特征进行处理,提取所述图像序列特征的特征,以输入所述全连接层确定所述第一判断结果。
8.根据权利要求1所述的系统,所述系统还包括确定模块,所述确定模块用于:
基于第三模型对所述第一判断结果,以及所述多个象征的特性值和敏感值进行处理,确定所述对象患气胸的概率。
9.一种气胸检测装置,所述装置包括处理器以及存储器;所述存储器用于存储指令,其特征在于,所述指令被所述处理器执行时,导致所述装置实现如权利要求1至8中任一项所述肺部超声图像检测系统对应的功能。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机运行如权利要求1至8中任意一项所述肺部超声图像检测系统对应的功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111040464.1A CN113763353A (zh) | 2021-09-06 | 2021-09-06 | 一种肺部超声图像检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111040464.1A CN113763353A (zh) | 2021-09-06 | 2021-09-06 | 一种肺部超声图像检测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113763353A true CN113763353A (zh) | 2021-12-07 |
Family
ID=78793204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111040464.1A Pending CN113763353A (zh) | 2021-09-06 | 2021-09-06 | 一种肺部超声图像检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113763353A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114533128A (zh) * | 2022-02-24 | 2022-05-27 | 中国人民解放军海军军医大学 | 一种气胸辅助诊断装置、介质及电子设备 |
CN117095177A (zh) * | 2023-08-23 | 2023-11-21 | 脉得智能科技(无锡)有限公司 | 肾脏图像定位方法、装置和电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201094637Y (zh) * | 2007-11-24 | 2008-08-06 | 胡晓丹 | 胸肺穿刺超声定位器 |
US20130197370A1 (en) * | 2012-01-30 | 2013-08-01 | The Johns Hopkins University | Automated Pneumothorax Detection |
CN108510495A (zh) * | 2018-04-09 | 2018-09-07 | 沈阳东软医疗系统有限公司 | 一种基于人工智能的肺部影像数据处理方法、装置及系统 |
CN108846840A (zh) * | 2018-06-26 | 2018-11-20 | 张茂 | 肺部超声图像分析方法、装置、电子设备及可读存储介质 |
CN110338842A (zh) * | 2019-07-11 | 2019-10-18 | 北京市朝阳区妇幼保健院 | 一种新生儿肺脏超声成像系统的图像优化方法 |
CN111598868A (zh) * | 2020-05-14 | 2020-08-28 | 上海深至信息科技有限公司 | 一种肺部超声图像识别方法和系统 |
WO2021003711A1 (zh) * | 2019-07-10 | 2021-01-14 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像设备及检测b线的方法、装置、存储介质 |
WO2021087687A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像分析方法、超声成像系统和计算机存储介质 |
CN113261066A (zh) * | 2018-08-17 | 2021-08-13 | 脱其泰有限责任公司 | 用诸如单步检测器卷积神经网络之类的一个或多个卷积神经网络对诸如肺之类的身体部位的自动超声视频解释 |
-
2021
- 2021-09-06 CN CN202111040464.1A patent/CN113763353A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201094637Y (zh) * | 2007-11-24 | 2008-08-06 | 胡晓丹 | 胸肺穿刺超声定位器 |
US20130197370A1 (en) * | 2012-01-30 | 2013-08-01 | The Johns Hopkins University | Automated Pneumothorax Detection |
CN108510495A (zh) * | 2018-04-09 | 2018-09-07 | 沈阳东软医疗系统有限公司 | 一种基于人工智能的肺部影像数据处理方法、装置及系统 |
CN108846840A (zh) * | 2018-06-26 | 2018-11-20 | 张茂 | 肺部超声图像分析方法、装置、电子设备及可读存储介质 |
CN113261066A (zh) * | 2018-08-17 | 2021-08-13 | 脱其泰有限责任公司 | 用诸如单步检测器卷积神经网络之类的一个或多个卷积神经网络对诸如肺之类的身体部位的自动超声视频解释 |
WO2021003711A1 (zh) * | 2019-07-10 | 2021-01-14 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像设备及检测b线的方法、装置、存储介质 |
CN110338842A (zh) * | 2019-07-11 | 2019-10-18 | 北京市朝阳区妇幼保健院 | 一种新生儿肺脏超声成像系统的图像优化方法 |
WO2021087687A1 (zh) * | 2019-11-04 | 2021-05-14 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像分析方法、超声成像系统和计算机存储介质 |
CN111598868A (zh) * | 2020-05-14 | 2020-08-28 | 上海深至信息科技有限公司 | 一种肺部超声图像识别方法和系统 |
Non-Patent Citations (3)
Title |
---|
MALENA CORREA等: ""Automatic classification of pediatric pneumonia based on lung ultrasound pattern recognition"", 《PLOS ONE》 * |
SOURABH KULHARE等: ""Ultrasound-Based Detection of Lung Abnormalities Using Single Shot Detection Convolutional Neural Networks"", 《IMAGE PROCESSING, AND ULTRASOUND SYSTEMS FOR ASSISTED DIAGNOSIS AND NAVIGATION》, pages 2 * |
谭建容: ""肺脏超声在儿童社区获得性肺炎中的应用进展"", 《临床肺科杂志》, vol. 26, no. 4 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114533128A (zh) * | 2022-02-24 | 2022-05-27 | 中国人民解放军海军军医大学 | 一种气胸辅助诊断装置、介质及电子设备 |
CN117095177A (zh) * | 2023-08-23 | 2023-11-21 | 脉得智能科技(无锡)有限公司 | 肾脏图像定位方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111539930B (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
US20220148191A1 (en) | Image segmentation method and apparatus and storage medium | |
KR101846370B1 (ko) | 심층신경망을 이용한 골 연령 산출방법 및 프로그램 | |
Ran et al. | Cataract detection and grading based on combination of deep convolutional neural network and random forests | |
CN111932554B (zh) | 一种肺部血管分割方法、设备及存储介质 | |
KR20170061222A (ko) | 건강데이터 패턴의 일반화를 통한 건강수치 예측 방법 및 그 장치 | |
CN113763353A (zh) | 一种肺部超声图像检测系统 | |
CN112750117A (zh) | 一种基于卷积神经网络的血液细胞图像检测与计数方法 | |
KR20190087681A (ko) | 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 | |
CN114038564A (zh) | 一种糖尿病无创风险预测方法 | |
CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
CN111598868A (zh) | 一种肺部超声图像识别方法和系统 | |
CN113449791B (zh) | 基于深度学习的肺炎图像分类方法及系统 | |
Yaron et al. | Point of care image analysis for COVID-19 | |
CN114708278A (zh) | 一种基于cgan的新冠肺炎ct图像分割方法 | |
Wulaning Ayu et al. | Pixel Classification Based on Local Gray Level Rectangle Window Sampling for Amniotic Fluid Segmentation. | |
CN114862865B (zh) | 基于多视角冠状动脉造影序列图像的血管分割方法及系统 | |
Frederick | PPG Signals for Hypertension Diagnosis: A Novel Method using Deep Learning Models | |
CN113409447B (zh) | 一种基于多切片组合的冠状动脉分割方法和装置 | |
CN109087712A (zh) | 一种基于随机子空间集成学习的主动脉夹层筛查模型及其建立方法、系统和模型 | |
CN115602327A (zh) | 一种肺结节发生肺癌风险的预测模型的构建方法 | |
CN114864095A (zh) | 一种结合多运动强度下的狭窄冠脉血运变化的分析方法 | |
CN113344022A (zh) | 一种基于深度学习的胸片检测方法 | |
CN114767153A (zh) | 基于人工智能的肺炎超声图像快速评估方法和系统 | |
CN111640127A (zh) | 一种用于骨科的精准临床诊断导航方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |