CN114699106A - 超声图像处理方法及设备 - Google Patents
超声图像处理方法及设备 Download PDFInfo
- Publication number
- CN114699106A CN114699106A CN202011583176.6A CN202011583176A CN114699106A CN 114699106 A CN114699106 A CN 114699106A CN 202011583176 A CN202011583176 A CN 202011583176A CN 114699106 A CN114699106 A CN 114699106A
- Authority
- CN
- China
- Prior art keywords
- heart
- region
- chamber
- ultrasonic
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000002604 ultrasonography Methods 0.000 claims abstract description 170
- 210000000038 chest Anatomy 0.000 claims abstract description 118
- 210000003754 fetus Anatomy 0.000 claims abstract description 115
- 210000000115 thoracic cavity Anatomy 0.000 claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 82
- 230000001605 fetal effect Effects 0.000 claims abstract description 75
- 210000003484 anatomy Anatomy 0.000 claims description 141
- 238000004422 calculation algorithm Methods 0.000 claims description 64
- 238000010801 machine learning Methods 0.000 claims description 49
- 238000012545 processing Methods 0.000 claims description 35
- 239000000523 sample Substances 0.000 claims description 24
- 230000000747 cardiac effect Effects 0.000 claims description 18
- 238000003709 image segmentation Methods 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 210000005240 left ventricle Anatomy 0.000 claims description 8
- 210000005241 right ventricle Anatomy 0.000 claims description 8
- 210000000709 aorta Anatomy 0.000 claims description 7
- 210000003709 heart valve Anatomy 0.000 claims description 7
- 210000005246 left atrium Anatomy 0.000 claims description 7
- 210000005245 right atrium Anatomy 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000002592 echocardiography Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 10
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000011218 segmentation Effects 0.000 description 46
- 238000013135 deep learning Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 210000001519 tissue Anatomy 0.000 description 11
- 238000012706 support-vector machine Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 210000002458 fetal heart Anatomy 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013145 classification model Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005295 random walk Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 241000270295 Serpentes Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000012285 ultrasound imaging Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 210000002837 heart atrium Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 208000002330 Congenital Heart Defects Diseases 0.000 description 1
- 206010019273 Heart disease congenital Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000036830 Normal foetus Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000005242 cardiac chamber Anatomy 0.000 description 1
- 208000028831 congenital heart disease Diseases 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/02—Foetus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Vascular Medicine (AREA)
- Gynecology & Obstetrics (AREA)
- Pregnancy & Childbirth (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明实施例提供一种超声图像处理方法及设备,该方法包括:获取胎儿的四腔心标准切面超声图像;从四腔心标准切面超声图像中获取胸腔区域和心脏区域;自动确定胸腔区域和心脏区域的面积、胸腔区域和心脏区域的围长以及胸腔区域和心脏区域的横径中的至少一个;根据胸腔区域和心脏区域的面积、胸腔区域和心脏区域的围长以及胸腔区域和心脏区域的横径中的至少一个自动确定胎儿的心胸比。本发明实施例的方法,基于胎儿的超声图像实现了胎儿心胸比的自动测量,简化了操作,有助于提高临床医生的工作效率。
Description
技术领域
本发明涉及医学图像处理技术领域,具体涉及一种超声图像处理方法及设备。
背景技术
临床中常采用超声技术动态地观察胎儿的生长发育、胎儿活动、胎心搏动、呼吸及吞咽等动作。在孕妇妊娠期,尤其是中晚孕期的众多超声检查项目中,胎儿心胸比的测量有助于筛查胎儿是否存在心脏畸形或者其它先天性心脏病,对胎儿生长发育状况的评估至关重要,临床的关注度日益提升。
在实际临床测量中,医生需要在获得的胎儿超声图像中,通过手工描迹的方式分别描记出心脏区域和胸腔区域,以便计算心胸比。上述过程易受医生临床经验和其他主观因素的影响,且操作繁琐,降低了临床医生的工作效率。
发明内容
本发明实施例提供一种超声图像处理方法及设备,用于解决现有胎儿心胸比测量过程中存在的操作复杂,效率低的问题。
第一方面,本发明实施例提供一种超声图像处理方法,包括:
获取胎儿的四腔心标准切面超声图像;
从四腔心标准切面超声图像中获取胸腔区域和心脏区域;
自动确定胸腔区域和心脏区域的面积、胸腔区域和心脏区域的围长以及胸腔区域和心脏区域的横径中的至少一个;
根据胸腔区域和心脏区域的面积、胸腔区域和心脏区域的围长以及胸腔区域和心脏区域的横径中的至少一个自动确定胎儿的心胸比,心胸比包括心胸面积比值、心胸围长比值和心胸横径比值中的至少一个,心胸面积比值为心脏区域的面积与胸腔区域的面积的比值,心胸围长比值为心脏区域的围长与胸腔区域的围长的比值,心胸横径比值为心脏的横径长度与胸腔的横径长度的比值。
一种实施例中,获取胎儿的四腔心标准切面超声图像,包括:
获取胎儿的三维体数据;
从三维体数据中获取胎儿的四腔心标准切面超声图像。
一种实施例中,从所述三维体数据中获取胎儿的四腔心标准切面超声图像,包括:
采用图像分割算法分割出所述三维体数据中存在的四腔心关键解剖结构,基于所述四腔心关键解剖结构确定关键解剖结构点,或者,采用预训练的第一机器学习模型对所述三维体数据中的关键解剖结构进行检测,得到所述三维体数据中存在的四腔心关键解剖结构,基于所述四腔心关键解剖结构确定关键解剖结构点,或者,采用预训练的第二机器学习模型对所述三维体数据中的关键解剖结构点进行检测,得到所述三维体数据中存在的关键解剖结构点;
通过所述关键解剖结构点在三维体数据中确定四腔心标准切面。
一种实施例中,获取胎儿的四腔心标准切面超声图像,包括:
获取胎儿的多张超声图像;
根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像。
一种实施例中,根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像,包括:
采用预训练的第三机器学习模型对多张超声图像进行分类,以得到胎儿的四腔心标准切面超声图像。
一种实施例中,根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像,包括:
采用图像分割算法分割出各超声图像中存在的四腔心关键解剖结构,或者,采用预训练的第四机器学习模型对多张超声图像中的关键解剖结构进行检测,得到各个超声图像中存在的四腔心关键解剖结构;
根据各超声图像中存在的四腔心关键解剖结构的数量和/或各超声图像中存在的四腔心关键解剖结构的腔室的面积,从多张超声图像中确定胎儿的四腔心标准切面超声图像。
一种实施例中,四腔心关键解剖结构为四腔心标准切面上的解剖结构,包括左心室、右心室、左心房、右心房、心脏瓣膜、瓣膜交叉点、主动脉和脊柱。
一种实施例中,根据各超声图像中存在的四腔心关键解剖结构的数量和/或各超声图像中存在的四腔心关键解剖结构的腔室的面积,从多张超声图像中确定胎儿的四腔心标准切面超声图像,包括:
从多张超声图像中选取四腔心关键解剖结构数量最多、关键解剖结构加权数量最多、关键解剖结构的腔室面积最大、和/或关键解剖结构的数量和腔室面积符合综合评估标准的超声图像,作为胎儿的四腔心标准切面超声图像。
一种实施例中,从四腔心标准切面超声图像中获取胸腔区域和心脏区域,包括:
从四腔心标准切面超声图像中获取胸腔区域;
从四腔心标准切面超声图像中或者从获取的胸腔区域对应的超声图像中,获取心脏区域。
一种实施例中,从四腔心标准切面超声图像中获取胸腔区域,包括:
采用图像分割算法从四腔心标准切面超声图像中分割出胸腔的轮廓;或者,
采用预训练的第五机器学习模型对四腔心标准切面超声图像中的胸腔轮廓进行检测,得到四腔心标准切面超声图像中胸腔的轮廓。
一种实施例中,自动确定胸腔区域的面积包括:将胸腔的轮廓的面积确定为胸腔的面积,或采用目标拟合的方法对胸腔的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的面积确定为胸腔的面积;
自动确定胸腔区域的围长包括:将胸腔的轮廓的围长确定为胸腔的围长,或采用目标拟合的方法对胸腔的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的围长确定为胸腔的围长;
自动确定胸腔区域的横径包括:将胸腔的轮廓的横径确定为胸腔的横径,或采用目标拟合的方法对胸腔的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的短轴长确定为胸腔的横径长。
一种实施例中,从四腔心标准切面超声图像中或者从获取的胸腔区域对应的超声图像中,获取心脏区域,包括:
采用图像分割算法从四腔心标准切面超声图像中或者从获取的胸腔区域对应的超声图像中分割出心脏的轮廓;或者,
采用预训练的第六机器学习模型对四腔心标准切面超声图像或者获取的胸腔区域对应的超声图像进行检测,得到四腔心标准切面超声图像中心脏的轮廓。
一种实施例中,自动确定心脏区域的面积包括:将心脏的轮廓的面积确定为心脏的面积,或采用目标拟合的方法对心脏的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的面积确定为心脏的面积;
自动确定心脏区域的围长包括:将心脏的轮廓的围长确定为心脏的围长,或采用目标拟合的方法对心脏的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的围长确定为心脏的围长;
自动确定心脏区域的横径包括:将心脏的轮廓的横径确定为心脏的横径,或采用目标拟合的方法对心脏的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的短轴长确定为心脏的横径长。
一种实施例中,所述方法还包括:
在四腔心标准切面超声图像中标记出胸腔区域、心脏区域、心脏的横径与胸腔的横径中的至少一个。
一种实施例中,所述方法还包括:
通过文字、图表和音频中的至少一种方式输出胎儿的心胸比。
一种实施例中,通过文字、图表和音频中的至少一种方式输出胎儿的心胸比,包括:
将胎儿的心胸比与心胸比最小阈值以及心胸比最大阈值以可对比的方式输出。
一种实施例中,所述方法还包括:
若胎儿的心胸比小于心胸比最小阈值,则输出用于指示心胸比偏小的第一提示消息;
若胎儿的心胸比大于等于心胸比最小阈值且小于等于心胸比最大阈值,则输出用于指示心胸比正常的第二提示消息;
若胎儿的心胸比大于心胸比最大阈值,则输出用于指示心胸比偏大的第三提示消息。
第二方面,本发明实施例提供一种超声图像处理设备,包括:
超声探头,用于向目标组织发射超声波,并接收由目标组织返回的超声波的回波,基于接收到的超声波的回波输出超声回波信号,超声回波信号中携带有胎儿的组织结构信息;
发射电路,用于按照设定模式将相应的发射序列输出至超声探头,以控制超声探头发射相应的超声波;
接收电路,用于接收超声探头输出的超声回波信号,输出超声回波数据;
波束合成模块,用于对超声回波数据进行波束合成,输出波束合成后的超声成像数据;
显示器,用于输出可视化信息;
处理器,用于执行如第一方面任一项所述的超声图像处理方法。
第三方面,本发明实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如第一方面任一项所述的超声图像处理方法。
本发明实施例提供的超声图像处理方法及设备,通过获取胎儿的四腔心标准切面超声图像;从四腔心标准切面超声图像中获取胸腔区域和心脏区域;确定胸腔区域和心脏区域的面积、围长和横径中的至少一个;根据得到的胸腔区域和心脏区域的面积、围长和横径中的至少一个确定胎儿的心胸比,基于胎儿的超声图像实现了胎儿心胸比的自动测量,简化了操作,有助于提高临床医生的工作效率。
附图说明
图1为本发明一实施例提供的超声成像设备的结构框图;
图2为本发明提供的超声图像处理方法一实施例的流程图;
图3为本发明一实施例提供的超声图像处理过程示意图;
图4为本发明又一实施例提供的超声图像处理过程示意图;
图5为本发明另一实施例提供的超声图像处理过程示意图;
图6A和图6B为本发明一实施例提供的显示界面示意图;
图7为本发明又一实施例提供的显示界面示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
如图1所示,本发明提供的超声成像设备可以包括:超声探头20、发射/接收电路30(即发射电路310和接收电路320)、波束合成模块40、IQ解调模块50、存储器60、处理器70和人机交互装置。处理器70可以包括控制模块710和图像处理模块720。
超声探头20包括由阵列式排布的多个阵元组成的换能器(图中未示出),多个阵元排列成一排构成线阵,或排布成二维矩阵构成面阵,多个阵元也可以构成凸阵列。阵元用于根据激励电信号发射超声波束,或将接收的超声波束变换为电信号。因此每个阵元可用于实现电脉冲信号和超声波束的相互转换,从而实现向人体组织的目标区域(例如本实施例中的胎儿)发射超声波、也可用于接收经组织反射回的超声波的回波。在进行超声检测时,可通过发射电路310和接收电路320控制哪些阵元用于发射超声波束,哪些阵元用于接收超声波束,或者控制阵元分时隙用于发射超声波束或接收超声波束的回波。参与超声波发射的阵元可以同时被电信号激励,从而同时发射超声波;或者参与超声波发射的阵元也可以被具有一定时间间隔的若干电信号激励,从而持续发射具有一定时间间隔的超声波。本实施例中的超声探头20可以采用线阵探头,用于获取胎儿的二维超声图像,也可以采用容积探头,用于获取胎儿的三维体数据。
本实施例中,用户通过移动超声探头20选择合适的位置和角度向胎儿10发射超声波并接收由胎儿10返回的超声波的回波,获得并输出该回波的电信号,回波的电信号是按以接收阵元为通道所形成的通道模拟电信号,其携带有幅度信息、频率信息和时间信息。
发射电路310用于根据处理器70的控制模块710的控制产生发射序列,发射序列用于控制多个阵元中的部分或者全部向生物组织发射超声波,发射序列参数包括发射用的阵元位置、阵元数量和超声波束发射参数(例如幅度、频率、发射次数、发射间隔、发射角度、波型、聚焦位置等)。某些情况下,发射电路310还用于对发射的波束进行相位延迟,使不同的发射阵元按照不同的时间发射超声波,以便各发射超声波束能够在预定的感兴趣区域聚焦。不同的工作模式,例如B图像模式、C图像模式和D图像模式(多普勒模式),发射序列参数可能不同,回波信号经接收电路320接收并经后续的模块和相应算法处理后,可生成反映组织解剖结构的B图像、反映组织解剖结构和血流信息的C图像以及反映多普勒频谱图像的D图像。
接收电路320用于从超声探头20接收超声回波的电信号,并对超声回波的电信号进行处理。接收电路320可以包括一个或多个放大器、模数转换器(ADC)等。放大器用于在适当增益补偿之后放大所接收到的超声回波的电信号,模数转换器用于对模拟回波信号按预定的时间间隔进行采样,从而转换成数字化的信号,数字化后的回波信号依然保留有幅度信息、频率信息和相位信息。接收电路320输出的数据可输出给波束合成模块40进行处理,或者,输出给存储器60进行存储。
波束合成模块40和接收电路320信号相连,用于对接收电路320输出的信号进行相应的延时和加权求和等波束合成处理,由于被测组织中的超声波接收点到接收阵元的距离不同,因此,不同接收阵元输出的同一接收点的通道数据具有延时差异,需要进行延时处理,将相位对齐,并将同一接收点的不同通道数据进行加权求和,得到波束合成后的超声图像数据,波束合成模块40输出的超声图像数据也称为射频数据(RF数据)。波束合成模块40将射频数据输出至IQ解调模块50。在有的实施例中,波束合成模块40也可以将射频数据输出至存储器60进行缓存或保存,或将射频数据直接输出至处理器70的图像处理模块720进行图像处理。
波束合成模块40可以采用硬件、固件或软件的方式执行上述功能,例如,波束合成模块40可以包括能够根据特定逻辑指令处理输入数据的中央控制器电路(CPU)、一个或多个微处理芯片或其他任何电子部件,当波束合成模块40采用软件方式实现时,其可以执行存储在有形和非暂态计算机可读介质(例如,存储器60)上的指令,以使用任何适当波束合成方法进行波束合成计算。
IQ解调模块50通过IQ解调去除信号载波,提取信号中包含的组织结构信息,并进行滤波去除噪声,此时获取的信号称为基带信号(IQ数据对)。IQ解调模块50将IQ数据对输出至处理器70的图像处理模块720进行图像处理。在有的实施例中,IQ解调模块50还将IQ数据对输出至存储器60进行缓存或保存,以便图像处理模块720从存储器60中读出数据进行后续的图像处理。
处理器70用于配置成能够根据特定逻辑指令处理输入数据的中央控制器电路(CPU)、一个或多个微处理器、图形控制器电路(GPU)或其他任何电子部件,其可以根据输入的指令或预定的指令对外围电子部件执行控制,或对存储器60执行数据读取和/或保存,也可以通过执行存储器60中的程序对输入数据进行处理,例如根据一个或多个工作模式对采集的超声数据执行一个或多个处理操作,处理操作包括但不限于调整或限定超声探头20发出的超声波的形式,生成各种图像帧以供后续人机交互装置的显示器80进行显示,或者调整或限定在显示器80上显示的内容和形式,或者调整在显示器80上显示的一个或多个图像显示设置(例如超声图像、界面组件、定位感兴趣区域)。本实施例中的处理器70可以用于执行本申请中任一方法实施例提供的超声图像处理方法。
图像处理模块720用于对波束合成模块40输出的数据或IQ解调模块50输出的数据进行处理,以生成扫描范围内的信号强弱变化的灰度图像,该灰度图像反映组织内部的解剖结构,称为B图像。图像处理模块720可以将B图像输出至人机交互装置的显示器80进行显示。
人机交互装置用于进行人机交互,即接收用户的输入和输出可视化信息;其接收用户的输入可采用键盘、操作按钮、鼠标、轨迹球等,也可以采用与显示器集成在一起的触控屏;其输出可视化信息采用显示器80。
存储器60可以是有形且非暂态的计算机可读介质,例如可为闪存卡、固态存储器、硬盘等,用于存储数据或者程序,例如,存储器60可以用于存储所采集的超声数据或处理器70所生成的暂不立即显示的图像帧,或者存储器60可以存储图形用户界面、一个或多个默认图像显示设置、用于处理器、波束合成模块或IQ解码模块的编程指令。
请参考图2,本发明一实施例提供的超声图像处理方法可以包括以下步骤:
S101、获取胎儿的四腔心标准切面超声图像。
胎儿的心胸比需要基于胎儿的四腔心标准切面进行测量和计算,因此首先需要获取胎儿的四腔心标准切面超声图像,可以从胎儿的超声图像中确定胎儿的四腔心标准切面超声图像。胎儿的超声图像既可以是通过二维超声采集的二维超声图像,也可以是从三维超声采集的胎儿的三维体数据中获取到的剖面图像。获取到的胎儿超声图像可以是包含了多帧的视频图像,也可以是由用户根据心胸比测量要求挑选好的单帧图像。胎儿的四腔心标准切面中可见胎儿心脏的四腔心结构,即左右心房,左右心室及瓣膜结构,其在超声图像上的表现为暗区,响应低,低回声区(四个心腔暗区)。需要强调的是,本实施例获取的四腔心标准切面可以为精确的四腔心标准切面,也可以为近似的四腔心标准切面,即本实施例获取的四腔心标准切面也可以为精确的四腔心标准切面附近一定误差范围内的切面,只要该切面符合临床上对于心胸比测量所需切面的要求即可。
可以通过手动或者自动的方式获取胎儿的四腔心标准切面超声图像。采用手动方式时,用户可以通过移动鼠标或者轨迹球对胎儿的超声图像进行查看甄选,根据胎儿的四腔心标准切面的结构特点找到胎儿四腔心标准切面所在的超声图像作为心胸比测量的标准切面。在临床实践中,部分医生习惯在探头打到胎儿的四腔心标准切面以后就冻结图像,因此有时也可以采用视频图像中的最后一帧作为测量心胸比的标准切面。采用自动方式时,可以通过应用机器学习或者是深度学习算法对胎儿的超声图像序列进行自动识别。
一种可选的实施方式中,获取胎儿的四腔心标准切面超声图像,可以包括:获取胎儿的多张超声图像;根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像。
另一种可选的实施方式中,获取胎儿的四腔心标准切面超声图像,可以包括:获取胎儿的三维体数据;从三维体数据中获取胎儿的四腔心标准切面超声图像。从三维体数据中获取胎儿的四腔心标准切面超声图像时,可以先从三维体数据中获取胎儿的多张超声图像,然后再根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像。从三维体数据中获取胎儿的四腔心标准切面超声图像时,也可以基于预设算法在三维体数据中定位四腔心标准切面,从而直接从三维体数据中获取胎儿的四腔心标准切面超声图像。
S102、从四腔心标准切面超声图像中获取胸腔区域和心脏区域。
本实施例中在确定胎儿的四腔心标准切面超声图像之后,为了分别对胸腔和心脏进行测量,需要从四腔心标准切面超声图像中获取胸腔区域和心脏区域。可以通过手动或者自动的方式从四腔心标准切面超声图像中获取胸腔区域和心脏区域。
其中,胸腔区域是沿着肋骨的外缘,不包含胸部软组织的区域。采用手动方式时,可以通过移动鼠标或者轨迹球来描记出胸腔区域,当然描记该区域时应该沿着肋骨外缘,并且描记区域不包含胸部的软组织区域。采用自动方式时,可以采用模式识别、机器学习等算法根据胸腔区域的图像特征从四腔心标准切面超声图像中获取胸腔区域。心脏区域是包含心脏的左右心房和左右心室区域。采用手动方式时,可以通过移动鼠标或者轨迹球来描记出心脏区域,当然描记该区域时应该包含心脏的左右心房和左右心室。采用自动方式时,可以采用模式识别、机器学习等算法根据心脏区域的图像特征从四腔心标准切面超声图像中或者从胸腔区域对应的超声图像中获取心脏区域。
一种可选的实施方式中,可以分别从四腔心标准切面超声图像中获取胸腔区域和心脏区域,获取胸腔区域的过程与获取心脏区域的过程可以并行执行,以提高超声图像处理的速度;另一种可选的实施方式中,可以先从四腔心标准切面超声图像中获取胸腔区域,然后再从胸腔区域对应的超声图像中,获取心脏区域,以减少不相干因素的干扰。
S103、自动确定胸腔区域和心脏区域的面积、胸腔区域和心脏区域的围长以及胸腔区域和心脏区域的横径中的至少一个。
本实施例中在获取胸腔区域和心脏区域之后,便可以对其进行测量和计算,以确定胸腔区域和心脏区域的面积、围长和横径中的至少一个。例如可以将超声图像中胸腔区域包括的像素点的数量确定为胸腔区域的面积,将超声图像中胸腔区域边沿包括的像素点的数量确定为胸腔区域的围长,将胸腔区域的最大横径确定为胸腔的横径长度;将超声图像中心脏区域包括的像素点的数量确定为心脏区域的面积,将超声图像中心脏区域边沿包括的像素点的数量确定为心脏区域的围长,将心脏区域中左右房室瓣间的距离确定为心脏的横径长度。还可以根据超声图像中像素点与实际面积和实际长度之间的映射关系,将其转换为实际的面积和围长。
可以理解的是,在自动确定出胸腔区域和心脏区域的面积、胸腔区域和心脏区域的围长以及胸腔区域和心脏区域的横径中的至少一个之后,用户可以对自动确定出的结果进行调整。
S104、根据胸腔区域和心脏区域的面积、胸腔区域和心脏区域的围长以及胸腔区域和心脏区域的横径中的至少一个自动确定胎儿的心胸比,心胸比包括心胸面积比值、心胸围长比值和心胸横径比值中的至少一个,心胸面积比值为心脏区域的面积与胸腔区域的面积的比值,心胸围长比值为心脏区域的围长与胸腔区域的围长的比值,心胸横径比值为心脏的横径长度与胸腔的横径长度的比值。
胎儿的心胸比可以包括心胸面积比值、心胸围长比值和心胸横径比值,可以根据临床需要选择,例如超声成像设备中可以提供胎儿心胸比的设置界面,供用户从心胸面积比值、心胸围长比值和心胸横径比值中选择所需的心胸比。
本申请一实施例提供的超声图像处理方法包括:获取胎儿的三维体数据,从所述三维体数据中获取胎儿的四腔心标准切面超声图像。从三维体数据中获取胎儿的四腔心标准切面超声图像,可以为直接从三维体数据中获取四腔心标准切面超声图像,也可以先从三维体数据中提取多张二维超声图像,从该多张二维超声图像中确定四腔心标准切面超声图像。此处,对直接从三维体数据中获取四腔心标准切面的实施例进行描述,对于先从三维体数据中提取多张二维超声图像,再从该多张二维超声图像中确定四腔心标准切面超声图像的实施例请参见下文对于根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像的相关论述。
从所述三维体数据中获取胎儿的四腔心标准切面超声图像,可以通过在三维体数据中检测到的四腔心关键解剖结构对应的关键解剖结构点的点云,通过一定的权值在三维体数据中直接确定一个平面。具体的方法可以包括:通过应用传统算法、机器学习或者是深度学习算法直接进行自动识别,主要分为以下两类:1)基于目标检测的标准切面定位算法;2)基于目标分割的标准切面定位算法。
一种实施例中,可以采用图像分割算法分割出所述三维体数据中存在的四腔心关键解剖结构,基于所述四腔心关键解剖结构确定关键解剖结构点。图像分割算法不需要大量的数据集,其主要步骤是:1)首先利用图像分割算法对目标即超声图像中的进行分割,传统的分割算法有基于三维水平集(Level Set)分割算法,随机游走(Random Walker),图割(Graph Cut),Snake等;2)基于得到的分割结果找出关键解剖结构点的位置,然后根据关键解剖结构点直接在三维数据上确定四腔心标准切面。
一种实施例中,可以采用预训练的第一机器学习模型对所述三维体数据中的关键解剖结构进行检测,得到所述三维体数据中存在的四腔心关键解剖结构,基于所述四腔心关键解剖结构确定关键解剖结构点,通过所述关键解剖结构点在三维体数据中确定四腔心标准切面。预训练的第一机器学习模型可以基于标注了至少一个关键解剖结构的三维体数据训练而成,其中三维体数据中标注的关键解剖结构可以为关键解剖结构的三维的框(bounding box)或关键解剖结构的掩膜(mask)。其中,第一机器学习模型可以包括传统的机器学习模型或深度学习模型。
一种实现方式中,第一机器学习模型可以基于传统机器学习的目标检测方法实现,具体地说,该方法主要分为以下三个步骤:1)首先通过移动滑动窗(当然滑动窗口需要设置不同的尺度,不同的长宽高比)进行三维区域选择;2)然后基于区域内的图像块提取相关特征(如Harr特征,HOG特征等);3)最后将提取的特征送入分类器(如SVM,Adaboost等)中进行分类确定相关的解剖结构。
另一种实现方式中,第一机器学习模型可以基于深度学习的目标检测方法实现,其中可以是候选区域+深度学习分类的目标检测方法,该方法主要是通过提取候选区域,然后对相应区域进行深度学习为主的分类方案等。也可以是基于深度学习的回归方法,其主要步骤是首先将图像切分为S*S*S个网格,然后让每个网格负责检测物体中心落在这个网格上的物体,最后网络输出这个物体的每个位置的坐标(如中心点坐标以及长宽高等)和该物体所属类别的概率。
其中,若机器学习模型输出的是bounding-box,则根据输出的bounding-box找到中心点作为关键点,通过定位出关键解剖结构对应的关键解剖结构点,可以确定四腔心标准切面。
还有的实现方式中,第一机器学习模型可以基于机器学习的图像分割算法实现,机器学习的图像分割算法主要有两种,一种是基于传统机器学习的语义分割算法,常见的步骤为将图像分为很多个图像块,然后对图像块进行特征的提取(特征的提取方式有传统的PCA、LDA、Harr特征、纹理特征等,也可以使用深度神经网络,如Overfeat网络来进行特征的提取),然后对提取的特征使用级联的分类器,如KNN、SVM、随机森林等判别器进行分类,从而确定当前图像块是否为胎儿四腔心关键解剖结构,将该分类结果作为当前图像块的中心点得分割结果,最后得到整个图像的分割结果。另一种是端到端的语义分割算法,其结构类似于基于深度学习的定位算法,但是其不同之处在于将全连接层使用上采样或者反卷积层来代替(均为三维的),从而得到一个和输入图像尺寸一致的输出图像,该输出图像直接分割出目标区域即关键解剖结构的结果,该方法是一个监督学习,常见的网络有3D FCN、3DU-Net、Medical-Net等。
可以基于预训练的第一机器学习模型得到分割结果,取分割结果中心作为关键解剖结构点,然后基于关键解剖结构点按照一定的权值直接在三维上确定四腔心标准切面。
另一种实施例中,也可以采用预训练的第二机器学习模型对所述三维体数据中的关键解剖结构点进行检测,得到所述三维体数据中存在的关键解剖结构点,通过所述关键解剖结构点在三维体数据中确定四腔心标准切面。第二机器学习模型可以为基于标注了至少一个关键解剖结构点的三维体数据训练而成,其中,第二机器学习模型可以包括传统的机器学习模型或深度学习模型。
一种实现方式中,可以直接将三维体数据输入三维神经网络中进行关键解剖结构点的检测,获得输出的关键解剖机构点的坐标位置。
其中,四腔心关键解剖结构为四腔心标准切面上的解剖结构,包括但不限于左心室、右心室、左心房、右心房、心脏瓣膜、瓣膜交叉点、主动脉和脊柱。关键解剖结构点为在三维空间中与关键解剖结构对应的点,可以是关键解剖结构所在区域(包括关键解剖结构所在的三维的框或关键解剖结构的掩膜)的中心、质心或其他能在三维体数据中代表关键解剖结构所在位置的点。其中,一个四腔心关键解剖结构可以对应一个关键解剖结构点,也可以同时对应至少两个解剖结构点,还可以根据不同四腔心关键解剖结构的权重不同,对应不同数量的解剖结构点。
通过上述方法可以将三维体数据中存在的四腔心关键解剖结构识别出来并确定对应的关键解剖结构点,或直接在三维体数据中将存在的关键解剖结构点识别出来,进一步地可以通过关键解剖结构点在三维体数据中确定四腔心标准切面。可以理解的,该关键解剖结构点可以为多个,通过关键解剖结构点在三维体数据中确定四腔心标准切面,可以确定过关键解剖结构点最多的切面为四腔心标准切面,也可以通过对不同的关键解剖结构点设置不同的权重在三维体数据中确定切面为四腔心标准切面,或者还可以通过对多个关键解剖结构点进行平面回归,将得到的切面作为四腔心标准切面。
请参考图3,为本发明一实施例提供的超声图像处理过程示意图。如图3所示,从左至右依次为:201、胎儿的多张超声图像,这些图像既可以是二维超声采集的二维图像,也可以是从胎儿的三维体数据中切分出的二维剖面图像;202、从胎儿的多张超声图像中获取到的胎儿的四腔心标准切面超声图像;203、图中白色实线包围的区域为在四腔心标准切面超声图像中确定出的胸腔区域;204、图中黑色实线包围的区域为在四腔心标准切面超声图像中确定出的心脏区域;205、根据得到的胸腔区域和心脏区域确定胎儿的心胸比。
可以理解的是,在自动确定出胎儿的心胸比之后,用户还可以手动对其进行修改。
本实施例提供的超声图像处理,通过获取胎儿的四腔心标准切面超声图像;从四腔心标准切面超声图像中获取胸腔区域和心脏区域;自动确定胸腔区域和心脏区域的面积、胸腔区域和心脏区域的围长以及胸腔区域和心脏区域的横径中的至少一个;根据胸腔区域和心脏区域的面积、胸腔区域和心脏区域的围长以及胸腔区域和心脏区域的横径中的至少一个自动确定胎儿的心胸比,基于胎儿的超声图像实现了胎儿心胸比的自动测量,简化了操作,有助于提高临床医生的工作效率。
在上述实施例的基础上,本实施例针对采用自动方式获取胎儿的四腔心标准切面超声图像进行进一步说明。获取到准确的四腔心标准切面超声图像是正确确定胎儿心胸比的前提,本实施例通过应用机器学习或者是深度学习算法对胎儿超声图像序列进行自动识别,以提高胎儿心胸比测量的准确性。下面分别采用目标识别算法、目标检测算法和目标分割算法获取胎儿的四腔心标准切面超声图像。
一种可选的实施方式中,根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像可以包括:采用预训练的第三机器学习模型对多张超声图像进行分类,以得到胎儿的四腔心标准切面超声图像。
第三机器学习模型例如可以是四腔心标准切面分类模型,具体可以通过对各个超声图像进行特征提取,将提取到的超声图像的特征输入预先训练好的四腔心标准切面分类模型,以根据四腔心标准切面分类模型从多张超声图像中确定胎儿的四腔心标准切面超声图像,四腔心标准切面分类模型基于标注了是否为四腔心标准切面的超声图像样本训练得到。
本实施例中可以提取各个超声图像的局部上下文信息、纹理信息或者Haar特征等,再整合相关特征输入预先训练好的四腔心标准切面分类模型中,四腔心标准切面分类模型可以采用例如支持向量机、Adaboost、随机森林等分类器实现,对提取到的特征进行判别分类评分,通过检测图像内的关键特征从而对心胸比测量需要的四腔心标准切面超声图像进行定位。
本实施例中四腔心标准切面分类模型基于标注了是否为四腔心标准切面的超声图像样本训练得到。具体的,可以采用第一类别信息和第二类别信息对训练集中的样本进行标注,其中,第一类别信息用于指示超声图像为四腔心标准切面超声图像,第二类别信息用于指示超声图像为除四腔心标准切面超声图像之外的超声图像。可选的,四腔心标准切面分类模型可以确定各个超声图像的类别信息和置信度值,则可以将多张超声图像中类别信息为第一类别信息且置信度值最高的超声图像,确定为胎儿的四腔心标准切面超声图像。
第三机器学习模型例如还可以是四腔心标准切面识别模型,具体可以通过将各个超声图像输入预先训练好的四腔心标准切面识别模型,以根据四腔心标准切面识别模型从多张超声图像中确定胎儿的四腔心标准切面超声图像,四腔心标准切面识别模型基于标注了切面标准程度评分的超声图像样本训练得到。
本实施例中的四腔心标准切面识别模型可以基于深度学习的神经网络架构实现,可以包括卷积层、激活层、池化层和全连接层的堆叠。通过浅层的卷积层对图像进行相关特征的提取,再在全连接层对提取到的特征进行线性组合,最后输出当前超声图像为四腔心标准切面的切面标准程度评分,从多张超声图像中选取切面标准程度评分最高的超声图像,作为胎儿的四腔心标准切面超声图像。本实施例中的四腔心标准切面识别模型可以采用VGG-16、VGG-19、Google-Net等分类网络。
临床中定义的四腔心标准切面是指包括左心室、右心室、左心房、右心房、心脏瓣膜、瓣膜交叉点、主动脉和脊柱等四腔心关键解剖结构的切面,如果切面中未包括或只包含了部分四腔心关键解剖结构,则该切面就不是严格的四腔心标准切面。因此可以根据切面中检测到的四腔心关键解剖结构的数量和/或四腔心关键解剖结构的腔室的面积从多张超声图像中选择四腔心标准切面超声图像。另一种可选的实施方式中,根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像可以包括:采用图像分割算法分割出各超声图像中存在的四腔心关键解剖结构,例如可以采用基于水平集(Level Set)分割算法、随机游走(Random Walker)、图割(Graph Cut)和Snake等图像分割算法从各个超声图像中分割出四腔心关键解剖结构;或者,采用预训练的第四机器学习模型对多张超声图像中的关键解剖结构进行检测,得到各个超声图像中存在的四腔心关键解剖结构。第四机器学习模型例如可以是四腔心关键解剖结构模型,具体可以将各个超声图像输入预先训练好的四腔心关键解剖结构模型,以根据四腔心关键解剖结构模型得到各个超声图像中存在的四腔心关键解剖结构,四腔心关键解剖结构模型基于标注了至少一个四腔心关键解剖结构掩膜或者感兴趣区域的超声图像样本训练得到。然后根据各超声图像中存在的四腔心关键解剖结构的数量和/或各超声图像中存在的四腔心关键解剖结构的腔室的面积,从多张超声图像中确定胎儿的四腔心标准切面超声图像。
本实施例中的四腔心关键解剖结构模型可以基于目标检测算法实现。可以基于标注了至少一个四腔心关键解剖结构感兴趣区域的超声图像样本训练四腔心关键解剖结构模型,四腔心关键解剖结构感兴趣区域可以采用矩形框(bounding box)进行标注。一种实现方式中,可以基于传统机器学习方法实现,具体可以包括:1)首先通过移动滑动窗(可以理解的是滑动窗可以根据需要设置不同的尺度,不同的长宽比)进行区域选择;2)然后基于区域内的图像块提取相关特征,例如Haar特征、HOG特征等;3)最后将提取的特征送入如SVM、Adaboost等分类器中进行分类以确定各个超声图像中存在的四腔心关键解剖结构。另一种实现方式中,可以基于深度学习方法实现,如基于对候选区域进行深度学习分类,通过提取候选区域,然后对相应候选区域进行深度学习为主的分类方案,如R-CNN(SelectiveSearch+CNN+SVM),SPP-Net(ROI Pooling),Fast R-CNN(Selective Search+CNN+ROI),Faster R-CNN(RPN+CNN+ROI),R-FCN等;或者采用基于深度学习的回归方法,首先将图像切分为S*S个网格,然后让每个网格负责检测物体中心落在这个网格上的物体,最后网络输出这个物体的每个位置的坐标(如中心点坐标以及长宽等)和该物体所属类别的概率,如YOLO系列(YOLO V1、YOLO V2、YOLO V3)、SSD、Dense Box等。
本实施例中的四腔心关键解剖结构模型还可以基于目标分割算法实现。可以基于标注了至少一个四腔心关键解剖结构掩膜(mask)的超声图像样本训练四腔心关键解剖结构模型。一种实现方式中,可以基于传统机器学习的语义分割算法,具体可以包括:将图像分为多个图像块,然后对图像块进行特征的提取(特征的提取方式有传统的PCA、LDA、Haar特征、纹理特征等,也可以使用深度神经网络,如Overfeat网络来进行特征的提取),然后对提取的特征使用级联的分类器,如KNN、SVM、随机森林等判别器进行分类,从而确定当前图像块是否为胎儿四腔心关键解剖结构,将该分类结果作为当前图像块的中心点的分割结果,最后得到整个图像的分割结果。另一种实现方式中,可以采用端到端的语义分割算法,其结构类似于基于深度学习的定位算法,但是其不同之处在于将全连接层使用上采样或者反卷积层来代替,从而得到一个和输入图像尺寸一致的输出图像,该输出图像可以直接分割出目标区域即四腔心关键解剖结构,该方法是一个监督学习,可以采用的网络有FCN、U-Net、Mask R-CNN等。
在确定了各个超声图像中存在的四腔心关键解剖结构之后,便可以根据各超声图像中存在的四腔心关键解剖结构的数量和/或各超声图像中存在的四腔心关键解剖结构的腔室的面积,从多张超声图像中确定胎儿的四腔心标准切面超声图像。具体地,可以从多张超声图像中选取四腔心关键解剖结构数量最多、关键解剖结构加权数量最多、关键解剖结构的腔室面积最大、和/或,关键解剖结构的数量和腔室面积符合综合评估标准的超声图像,作为胎儿的四腔心标准切面超声图像。例如,可以在胎儿超声视频序列中选择四腔心关键解剖结构加权数量最多的帧图像作为胎儿的四腔心标准切面超声图像,所谓加权数量是指对每个四腔心关键解剖结构根据重要程度设置一个权重,如果权重都一样即为关键解剖结构的数量;也可以选择四个腔室检测感兴趣区域ROI面积最大的切面作为标准切面;或者可以综合考虑四腔心关键解剖结构的数量和腔室面积选择标准切面。
举例来说,若第一超声图像中存在的四腔心关键解剖结构有左心室、右心室、心脏瓣膜和主动脉,第二超声图像中存在的四腔心关键解剖结构有左心房、右心房、心脏瓣膜、瓣膜交叉点和主动脉,第三超声图像中存在的四腔心关键解剖结构有左心室、右心室、左心房、右心房、心脏瓣膜、瓣膜交叉点和主动脉,则第一超声图像中四腔心关键解剖结构数量为4,第二超声图像中四腔心关键解剖结构数量为5,第三超声图像中四腔心关键解剖结构数量为7,便可以将四腔心关键解剖结构数量最多的第三超声图像确定为胎儿的四腔心标准切面超声图像。
在确定胎儿的四腔心标准切面超声图像之后,则需要从中确定出胸腔区域,以便确定胸腔区域的面积、围长或者横径长度。在上述实施例的基础上,本实施提供的超声图像处理方法对从四腔心标准切面超声图像中获取胸腔区域进行进一步说明。
一种可选的实施方式中,可以采用图像分割算法从四腔心标准切面超声图像中分割出胸腔的轮廓。基于四腔心标准切面的分割方法可以通过目标检测方法如点检测、线检测等检测胎儿超声图像上肋骨的外缘且不包含任何胸部软组织的区域,采用基于水平集(Level Set)分割算法、随机游走(Random Walk)、图割(Graph Cut)、Snake等分割算法对该区域进行分割,最后再根据分割结果来测算胸腔区域的面积、围长或者横径长度。
另一种可选的实施方式中,可以采用机器学习的方法通过学习胎儿超声图像数据库中胎儿胸腔区域特征来对胎儿的胸腔的轮廓进行分割,然后基于得到的分割结果,测算胎儿胸腔区域的面积、围长和横径长度。数据库中包含了大量的胎儿超声图像数据集及其对应的标记结果,标记信息可以是对胸腔区域进行精确分割的掩膜信息(Mask)。采用预训练的第五机器学习模型对四腔心标准切面超声图像中的胸腔轮廓进行检测,得到四腔心标准切面超声图像中胸腔的轮廓。第五机器学习模型例如可以为胸腔区域分割模型,具体可以将四腔心标准切面超声图像输入预先训练好的胸腔区域分割模型,以根据胸腔区域分割模型得到四腔心标准切面超声图像中胸腔的轮廓,胸腔区域分割模型基于标注了胸腔区域掩膜信息的超声图像样本训练得到。一种实现方式中,可以基于传统机器学习的语义分割算法实现,具体可以包括:1)将图像分为多个图像块,然后对图像块进行特征的提取,特征的提取方式有传统的PCA、LDA、Harr特征、纹理特征等,也可以使用深度神经网络(如Overfeat网络)来进行特征的提取;2)然后对提取的特征使用级联的分类器,如KNN、SVM、随机森林等判别器进行分类,从而确定当前图像块是否为胎儿胸腔区域,将该分类结果作为当前图像块的中心点的分割结果,从而得到整个图像的分割结果。另一种实现方式中,可以基于深度学习的端到端的语义分割算法实现,其结构就是通过卷积层、池化层、上采样或者反卷积层等的堆叠,从而得到一个和输入图像尺寸一致的输出图像,该输出图像直接分割出胎儿胸腔区域,该方法是一个监督学习,所以输入的监督信息是胸腔区域的掩膜信息(Mask),数据准备比较耗时,常见的网络有FCN、U-Net、Mask R-CNN等。
在从胎儿的四腔心标准切面超声图像中确定出胸腔区域之后,便可以进一步自动确定胸腔区域的面积、围长和横径长度。自动确定所述胸腔区域的面积可以包括:将胸腔的轮廓的面积确定为胸腔的面积,或采用目标拟合的方法对胸腔的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的面积确定为胸腔的面积;自动确定胸腔区域的围长包括:将胸腔的轮廓的围长确定为胸腔的围长,或采用目标拟合的方法对胸腔的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的围长确定为胸腔的围长;自动确定胸腔区域的横径包括:将胸腔的轮廓的横径确定为胸腔的横径,或采用目标拟合的方法对胸腔的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的短轴长确定为胸腔的横径长。具体的可以采用Hough变换、Randon变换、RANSAC等目标拟合算法对胸腔的轮廓进行圆或椭圆的拟合。
可选的,在从胎儿的四腔心标准切面超声图像中确定出胸腔区域之后,用户也可以手动地确定胸腔区域的面积、围长和横径长度。
请参考图4,图4展示了从四腔心标准切面超声图像中确定胸腔区域,并定位胸腔横径的过程。图4中最左侧图片为四腔心标准切面超声图像,中间图片中白色实线围成的区域为胸腔区域,最右侧图片中虚线用于表示胸腔的横径。当需要确定胎儿的心胸横径比值时,可以通过手动或者自动的方式确定胸腔的横径。手动的方式可以通过移动鼠标或者是轨迹球,点击出胸腔横径,即胎儿胸腔的最大距离。胸腔横径的自动获取可以通过上述步骤得到的胸腔的分割结果,在分割掩膜Mask内定位出胸腔的横径的位置,即胎儿胸腔区域中的最大距离作为胎儿胸腔横径,从而自动的测量出胎儿的胸腔的横径长。
在上述实施例的基础上,本实施提供的超声图像处理方法进一步地对从四腔心标准切面超声图像中或者从获取的胸腔区域对应的超声图像中,获取心脏区域进行进一步说明。其中,从四腔心标准切面超声图像中获取胸腔区域,然后再从获取的胸腔区域对应的超声图像中,获取心脏区域,可以减少不相干因素的干扰,提高所获取的心脏区域的精度。
一种可选的实施方式中,可以采用图像分割算法从四腔心标准切面超声图像中或者从获取的胸腔区域对应的超声图像中分割出心脏的轮廓。基于四腔心标准切面的心脏分割算法可以通过目标检测方法如点检测、线检测等检测胎儿胸腔图像上的心脏区域,对该区域进行分割,常用的分割算法有基于水平集(Level Set)分割算法、随机游走(RandomWalk)、图割(Graph Cut)、Snake等,然后再根据分割结果来测算心脏区域的面积、围长或者横径长度。
另一种可选的实施方式中,可以采用机器学习的方法通过学习胎儿超声图像数据库中胎儿心脏区域特征来对胎儿的心脏的轮廓进行分割,然后基于得到的分割结果,测算胎儿心脏区域的面积、围长和横径长度。数据库中包含了大量的胎儿超声图像数据集及其对应的标记结果,标记信息可以是对心脏区域进行精确分割的掩膜信息(Mask)。采用预训练的第六机器学习模型对四腔心标准切面超声图像或者获取的胸腔区域对应的超声图像进行检测,得到四腔心标准切面超声图像中心脏的轮廓。第六机器学习模型例如可以为心脏区域分割模型,具体可以将四腔心标准切面超声图像输入预先训练好的心脏区域分割模型,以根据心脏区域分割模型得到四腔心标准切面超声图像中的心脏区域,心脏区域分割模型采用神经网络架构基于标注了心脏区域掩膜信息的超声图像样本训练得到。一种实现方式中,可以基于传统机器学习的语义分割算法实现,具体可以包括:1)首先将图像分为多个图像块,对图像块进行特征提取,特征的提取方式有传统的PCA、LDA、Harr特征、纹理特征等,也可以使用深度神经网络(如Overfeat网络)来进行特征的提取;2)然后对提取的特征使用级联的分类器,如KNN、SVM、随机森林等判别器进行分类,从而确定当前图像块是否为胎儿心脏区域,将该分类结果作为当前图像块的中心点的分割结果,从而得到整个图像的分割结果。另一种实现方式中,可以基于深度学习的端到端的语义分割算法实现,其结构就是通过卷积层、激活层、池化层、上采样或者反卷积层等的堆叠,从而得到一个和输入图像尺寸一致的输出图像,该输出图像直接分割出胎儿心脏区域,该方法是一个监督学习,所以输入的监督信息是心脏区域的掩膜信息(Mask),数据准备比较耗时,常见的网络有FCN、U-Net、Mask R-CNN等。
在确定出心脏区域之后,便可以进一步自动确定心脏区域的面积、围长和横径长度。自动确定所述心脏区域的面积可以包括:将所述心脏的轮廓的面积确定为所述心脏的面积,或采用目标拟合的方法对所述心脏的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的面积确定为所述心脏的面积;自动确定所述心脏区域的围长可以包括:将所述心脏的轮廓的围长确定为所述心脏的围长,或采用目标拟合的方法对所述心脏的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的围长确定为所述心脏的围长;自动确定所述心脏区域的横径包括:将所述心脏的轮廓的横径确定为所述心脏的横径,或采用目标拟合的方法对所述心脏的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的短轴长确定为所述心脏的横径长。具体的可以采用Hough变换、Randon变换、RANSAC等目标拟合算法对心脏的轮廓进行圆或椭圆的拟合。
可选的,在从胎儿的四腔心标准切面超声图像中确定出心脏区域之后,用户也可以手动地确定心脏区域的面积、围长和横径长度。
请参考图5,图5展示了从四腔心标准切面超声图像中确定心脏区域,并定位心脏横径的过程。图5中最左侧图片为四腔心标准切面超声图像,中间图片中白色实线围成的区域为心脏区域,最右侧图片中虚线用于表示心脏的横径。当需要确定胎儿的心胸横径比值时,可以通过手动或者自动的方式确定心脏的横径。手动的方式可以通过移动鼠标或者是轨迹球,点击出心脏横径,即胎儿心脏的左右房室瓣间距离。心脏横径的自动获取则可以通过上述步骤得到的心脏的分割结果,在分割掩膜Mask内定位出心脏横径的位置,即胎儿心脏的左右房室瓣间的距离作为胎儿心脏横径,从而自动的测量出胎儿的心脏横径长。
为使用户可以更加直观地观察超声图像处理过程,在上述任一实施例的基础上,本实施例提供的超声图像处理方法还可以包括:在四腔心标准切面超声图像中标记出胸腔区域、心脏区域、心脏的横径与胸腔的横径中的至少一个。请参考图6A和图6B,图6A中在四腔心标准切面超声图像中标记出了胸腔区域和心脏区域,图6B中在四腔心标准切面超声图像中标记出了胸腔横径和心脏横径。可以理解的是,可以根据需要在四腔心标准切面超声图像中进行标记,例如可以在四腔心标准切面超声图像中标记出胸腔区域和胸腔横径,或者,标记出心脏区域和心脏横径,此处不一一赘述。需要说明的是,图6A中对于胸腔区域和心脏区域的标记形状仅做示意,并不以此为限。例如可以显示分割得到的胸腔轮廓和/或分割得到的心脏轮廓,可以是如图4和图5中所示的不规则形状。
胎儿的心胸比包括心胸面积比值、心胸围长比值和心胸横径比值。其中,心胸面积比值为心脏区域的面积与胸腔区域的面积的比值;心胸围长比值为心脏区域的围长与胸腔区域的围长的比值;心胸横径比值为心脏的横径长度与胸腔的横径长度的比值。在确定胎儿的心胸比之后,为便于用户查看,可以通过文字、图表和音频中的至少一种方式输出胎儿的心胸比。例如可以在显示界面上显示文字“心胸面积比值为0.29”,可以通过音频播放“心胸面积比值为0.29”,还可以采用图表的方式输出胎儿的心胸比。
正常胎儿的心胸比通常在一定的阈值范围内,如心胸面积比值在0.25-0.33之间,心胸横径比值在0.38-0.53之间,心胸围长比值在0.4左右。临床医生需要牢记上述阈值范围,将从胎儿超声图像中确定的心胸比与上述阈值范围进行比较,以对胎儿的生长发育状况进行评估。这无疑增加了临床医生的工作负担,且容易出错。因此为了减轻临床医生的工作负担,降低工作难度,避免出错,本实施例提供的超声图像处理方法中,可以将胎儿的心胸比与心胸比最小阈值以及心胸比最大阈值以可对比的方式输出。具体的,可以将胎儿的心胸面积比值与心胸面积比值最小阈值以及心胸面积比值最大阈值以可对比的方式输出;将胎儿的心胸围长比值与心胸围长比值最小阈值以及心胸围长比值最大阈值以可对比的方式输出;将胎儿的心胸横径比值与心胸横径比值最小阈值以及心胸横径比值最大阈值以可对比的方式输出。请参考图7,图7以心胸面积比值为例进行了对比显示,图7中的曲线为临床中统计的胎儿心胸面积比值的分布示意图,图7中分别采用粗线条标记出了心胸面积比值的最小阈值0.25和最大阈值0.33,采用细线条标记出了测量得到的胎儿心胸面积比值,可以看到测量得到的胎儿心胸面积比值位于正常的阈值范围内,可以据此判断胎儿发育正常。对于胎儿心胸围长比值和胎儿心胸横径比值也可以采用图7的方式进行对比显示。采用图7所示方式进行显示,使用户不仅可以直观地查看测量得到的胎儿的心胸比与心胸比阈值之间的关系,还可以明确测量得到的胎儿的心胸比在胎儿心胸比临床统计中所处的位置。还可以采用文字的形式将胎儿的心胸面积比值与心胸面积比值最小阈值以及心胸面积比值最大阈值以可对比的方式输出,若测量得到的胎儿心胸面积比值为0.30,则可以在显示界面上显示0.25<0.30<0.33;若测量得到的胎儿心胸面积比值为0.20,则可以在显示界面上显示0.20<0.25;若测量得到的胎儿心胸面积比值为0.38,则可以在显示界面上显示0.38>0.33。
为了进一步提高临床医生的工作效率,还可以根据测量得到的胎儿心胸比来给出一定的风险提示来辅助医生诊断。若胎儿的心胸比小于心胸比最小阈值,则输出用于指示心胸比偏小的第一提示消息;若胎儿的心胸比大于等于心胸比最小阈值且小于等于心胸比最大阈值,则输出用于指示心胸比正常的第二提示消息;若胎儿的心胸比大于心胸比最大阈值,则输出用于指示心胸比偏大的第三提示消息。
以心胸面积比值为例,若测量得到的胎儿心胸面积比值在0.25-0.33之间,那么可以显示胎儿发育正常;若测量得到的胎儿心胸面积比值大于0.33,那么可以提示胎儿心功能不全,发育畸形;若测量得到的胎儿心胸面积比值小于0.25那么可以提示胎儿心脏受压,静脉系统回流受阻,反应胎儿的情况较为危急。
需要说明的是,本申请实施例不限于用于人类胎儿的心胸面积比检测,还可以用于动物胎儿的心胸面积比的检测。
本文参照了各种示范实施例进行说明。然而,本领域的技术人员将认识到,在不脱离本文范围的情况下,可以对示范性实施例做出改变和修正。例如,各种操作步骤以及用于执行操作步骤的组件,可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。
另外,如本领域技术人员所理解的,本文的原理可以反映在计算机可读存储介质上的计算机程序产品中,该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用,包括磁存储设备(硬盘、软盘等)、光学存储设备(CD-ROM、DVD、Blu Ray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器,使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中,该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行,这样存储在计算机可读存储器中的指令就可以形成一件制造品,包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上,从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程,使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。
虽然在各种实施例中已经示出了本文的原理,但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。
前述具体说明已参照各种实施例进行了描述。然而,本领域技术人员将认识到,可以在不脱离本披露的范围的情况下进行各种修正和改变。因此,对于本披露的考虑将是说明性的而非限制性的意义上的,并且所有这些修改都将被包含在其范围内。同样,有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而,益处、优点、问题的解决方案以及任何能产生这些的要素,或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体,皆属于非排他性包含,这样包括要素列表的过程、方法、文章或设备不仅包括这些要素,还包括未明确列出的或不属于该过程、方法、系统、文章或设备的其他要素。此外,本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。
Claims (19)
1.一种超声图像处理方法,其特征在于,包括:
获取胎儿的四腔心标准切面超声图像;
从所述四腔心标准切面超声图像中获取胸腔区域和心脏区域;
自动确定所述胸腔区域和所述心脏区域的面积、所述胸腔区域和所述心脏区域的围长以及所述胸腔区域和所述心脏区域的横径中的至少一个;
根据所述胸腔区域和所述心脏区域的面积、所述胸腔区域和所述心脏区域的围长以及所述胸腔区域和所述心脏区域的横径中的至少一个自动确定胎儿的心胸比,所述心胸比包括心胸面积比值、心胸围长比值和心胸横径比值中的至少一个,所述心胸面积比值为心脏区域的面积与胸腔区域的面积的比值,所述心胸围长比值为心脏区域的围长与胸腔区域的围长的比值,所述心胸横径比值为心脏的横径长度与胸腔的横径长度的比值。
2.如权利要求1所述的方法,其特征在于,所述获取胎儿的四腔心标准切面超声图像,包括:
获取胎儿的三维体数据;
从所述三维体数据中获取胎儿的四腔心标准切面超声图像。
3.如权利要求1所述的方法,其特征在于,所述从所述三维体数据中获取胎儿的四腔心标准切面超声图像,包括:
采用图像分割算法分割出所述三维体数据中存在的四腔心关键解剖结构,基于所述四腔心关键解剖结构确定关键解剖结构点,或者,采用预训练的第一机器学习模型对所述三维体数据中的关键解剖结构进行检测,得到所述三维体数据中存在的四腔心关键解剖结构,基于所述四腔心关键解剖结构确定关键解剖结构点,或者,采用预训练的第二机器学习模型对所述三维体数据中的关键解剖结构点进行检测,得到所述三维体数据中存在的关键解剖结构点;
通过所述关键解剖结构点在三维体数据中确定四腔心标准切面。
4.如权利要求1所述的方法,其特征在于,所述获取胎儿的四腔心标准切面超声图像,包括:
获取胎儿的多张超声图像;
根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像。
5.如权利要求4所述的方法,其特征在于,所述根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像,包括:
采用预训练的第三机器学习模型对所述多张超声图像进行分类,以得到胎儿的四腔心标准切面超声图像。
6.如权利要求4所述的方法,其特征在于,所述根据预设算法从多张超声图像中确定胎儿的四腔心标准切面超声图像,包括:
采用图像分割算法分割出各超声图像中存在的四腔心关键解剖结构,或者,采用预训练的第四机器学习模型对所述多张超声图像中的关键解剖结构进行检测,得到各个超声图像中存在的四腔心关键解剖结构;
根据各超声图像中存在的四腔心关键解剖结构的数量和/或各超声图像中存在的四腔心关键解剖结构的腔室的面积,从多张超声图像中确定胎儿的四腔心标准切面超声图像。
7.如权利要求3或6所述的方法,其特征在于:所述四腔心关键解剖结构为四腔心标准切面上的解剖结构,包括左心室、右心室、左心房、右心房、心脏瓣膜、瓣膜交叉点、主动脉和脊柱。
8.如权利要求6所述的方法,其特征在于,所述根据各超声图像中存在的四腔心关键解剖结构的数量和/或各超声图像中存在的四腔心关键解剖结构的腔室的面积,从多张超声图像中确定胎儿的四腔心标准切面超声图像,包括:
从多张所述超声图像中选取四腔心关键解剖结构数量最多、关键解剖结构加权数量最多、关键解剖结构的腔室面积最大、和/或关键解剖结构的数量和腔室面积符合综合评估标准的超声图像,作为胎儿的四腔心标准切面超声图像。
9.如权利要求1所述的方法,其特征在于,所述从所述四腔心标准切面超声图像中获取胸腔区域和心脏区域,包括:
从所述四腔心标准切面超声图像中获取胸腔区域;
从所述四腔心标准切面超声图像中或者从获取的所述胸腔区域对应的超声图像中,获取心脏区域。
10.如权利要求9所述的方法,其特征在于,所述从所述四腔心标准切面超声图像中获取胸腔区域,包括:
采用图像分割算法从所述四腔心标准切面超声图像中分割出胸腔的轮廓;或者,
采用预训练的第五机器学习模型对所述四腔心标准切面超声图像中的胸腔轮廓进行检测,得到所述四腔心标准切面超声图像中胸腔的轮廓。
11.如权利要求10所述的方法,其特征在于:
自动确定所述胸腔区域的面积包括:将所述胸腔的轮廓的面积确定为所述胸腔的面积,或采用目标拟合的方法对所述胸腔的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的面积确定为所述胸腔的面积;
自动确定所述胸腔区域的围长包括:将所述胸腔的轮廓的围长确定为所述胸腔的围长,或采用目标拟合的方法对所述胸腔的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的围长确定为所述胸腔的围长;
自动确定所述胸腔区域的横径包括:将所述胸腔的轮廓的横径确定为所述胸腔的横径,或采用目标拟合的方法对所述胸腔的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的短轴长确定为所述胸腔的横径长。
12.如权利要求9所述的方法,其特征在于,所述从所述四腔心标准切面超声图像中或者从获取的所述胸腔区域对应的超声图像中,获取心脏区域,包括:
采用图像分割算法从所述四腔心标准切面超声图像中或者从获取的所述胸腔区域对应的超声图像中分割出心脏的轮廓;或者,
采用预训练的第六机器学习模型对所述四腔心标准切面超声图像或者获取的所述胸腔区域对应的超声图像进行检测,得到所述四腔心标准切面超声图像中心脏的轮廓。
13.如权利要求12所述的方法,其特征在于:
自动确定所述心脏区域的面积包括:将所述心脏的轮廓的面积确定为所述心脏的面积,或采用目标拟合的方法对所述心脏的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的面积确定为所述心脏的面积;
自动确定所述心脏区域的围长包括:将所述心脏的轮廓的围长确定为所述心脏的围长,或采用目标拟合的方法对所述心脏的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的围长确定为所述心脏的围长;
自动确定所述心脏区域的横径包括:将所述心脏的轮廓的横径确定为所述心脏的横径,或采用目标拟合的方法对所述心脏的轮廓进行圆或椭圆的拟合,将拟合的圆或椭圆的短轴长确定为所述心脏的横径长。
14.如权利要求1所述的方法,其特征在于,所述方法还包括:
在所述四腔心标准切面超声图像中标记出胸腔区域、心脏区域、心脏的横径与胸腔的横径中的至少一个。
15.如权利要求1所述的方法,其特征在于,所述方法还包括:
通过文字、图表和音频中的至少一种方式输出所述胎儿的心胸比。
16.如权利要求15所述的方法,其特征在于,所述通过文字、图表和音频中的至少一种方式输出所述胎儿的心胸比,包括:
将所述胎儿的心胸比与心胸比最小阈值以及心胸比最大阈值以可对比的方式输出。
17.如权利要求1-16任一项所述的方法,其特征在于,所述方法还包括:
若所述胎儿的心胸比小于心胸比最小阈值,则输出用于指示心胸比偏小的第一提示消息;
若所述胎儿的心胸比大于等于心胸比最小阈值且小于等于心胸比最大阈值,则输出用于指示心胸比正常的第二提示消息;
若所述胎儿的心胸比大于心胸比最大阈值,则输出用于指示心胸比偏大的第三提示消息。
18.一种超声图像处理设备,其特征在于,包括:
超声探头,用于向目标组织发射超声波,并接收由目标组织返回的超声波的回波,基于接收到的超声波的回波输出超声回波信号,所述超声回波信号中携带有胎儿的组织结构信息;
发射电路,用于按照设定模式将相应的发射序列输出至所述超声探头,以控制所述超声探头发射相应的超声波;
接收电路,用于接收所述超声探头输出的超声回波信号,输出超声回波数据;
波束合成模块,用于对超声回波数据进行波束合成,输出波束合成后的超声成像数据;
显示器,用于输出可视化信息;
处理器,用于执行如权利要求1-17任一项所述的超声图像处理方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-17任一项所述的超声图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011583176.6A CN114699106A (zh) | 2020-12-28 | 2020-12-28 | 超声图像处理方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011583176.6A CN114699106A (zh) | 2020-12-28 | 2020-12-28 | 超声图像处理方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114699106A true CN114699106A (zh) | 2022-07-05 |
Family
ID=82167482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011583176.6A Pending CN114699106A (zh) | 2020-12-28 | 2020-12-28 | 超声图像处理方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114699106A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115760851A (zh) * | 2023-01-06 | 2023-03-07 | 首都儿科研究所附属儿童医院 | 基于机器学习的超声图像数据处理方法及其系统 |
-
2020
- 2020-12-28 CN CN202011583176.6A patent/CN114699106A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115760851A (zh) * | 2023-01-06 | 2023-03-07 | 首都儿科研究所附属儿童医院 | 基于机器学习的超声图像数据处理方法及其系统 |
CN115760851B (zh) * | 2023-01-06 | 2023-05-09 | 首都儿科研究所附属儿童医院 | 一种基于机器学习的超声图像数据处理设备、系统及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11229419B2 (en) | Method for processing 3D image data and 3D ultrasonic imaging method and system | |
US11033250B2 (en) | Ultrasound apparatus and ultrasound medical imaging method for identifying view plane of ultrasound image based on classifiers | |
CN104093363B (zh) | 医学图像诊断装置及其设定感兴趣区域的方法 | |
US20120065499A1 (en) | Medical image diagnosis device and region-of-interest setting method therefore | |
RU2708792C2 (ru) | Ультразвуковая диагностика работы сердца с использованием сегментации модели сердечной камеры под контролем пользователя | |
CN111354006B (zh) | 超声图像中目标组织的描迹方法及装置 | |
CN111683600B (zh) | 用于根据超声图像获得解剖测量的设备和方法 | |
US20190374203A1 (en) | Ultrasound medical detection devices and imaging method, imaging system and display terminal | |
US10918357B2 (en) | Methods and systems for automatically determining an anatomical measurement of ultrasound images | |
US11534133B2 (en) | Ultrasonic detection method and ultrasonic imaging system for fetal heart | |
US12026886B2 (en) | Method and system for automatically estimating a hepatorenal index from ultrasound images | |
CN114699106A (zh) | 超声图像处理方法及设备 | |
US20220249060A1 (en) | Method for processing 3d image data and 3d ultrasonic imaging method and system | |
US20240212132A1 (en) | Predicting a likelihood that an individual has one or more lesions | |
US11413019B2 (en) | Method and apparatus for displaying ultrasound image of target object | |
US20200037992A1 (en) | Ultrasonic Image Processing Apparatus and Program | |
CN112294361A (zh) | 一种超声成像设备、盆底的切面图像生成方法 | |
US12056873B2 (en) | Method and system for automatically analyzing placenta insufficiency in a curved topographical ultrasound image slice | |
WO2021042242A1 (zh) | 一种超声成像设备及其超声回波信号的处理方法 | |
WO2022134049A1 (zh) | 胎儿颅骨的超声成像方法和超声成像系统 | |
CN116236225A (zh) | 超声测量质控方法及设备 | |
CN114202514A (zh) | 乳腺超声图像分割方法及设备 | |
CN114170241A (zh) | 乳腺超声图像分割方法及设备 | |
CN118557219A (zh) | 超声成像系统及超声图像显示方法 | |
CN118662164A (zh) | 心脏瓣环参数的测量方法和超声成像处理设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |