CN117495763A - 一种胎儿颜面部图像的处理方法、处理装置、超声成像系统和介质 - Google Patents
一种胎儿颜面部图像的处理方法、处理装置、超声成像系统和介质 Download PDFInfo
- Publication number
- CN117495763A CN117495763A CN202210886202.5A CN202210886202A CN117495763A CN 117495763 A CN117495763 A CN 117495763A CN 202210886202 A CN202210886202 A CN 202210886202A CN 117495763 A CN117495763 A CN 117495763A
- Authority
- CN
- China
- Prior art keywords
- image
- key
- markers
- optimized
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001605 fetal effect Effects 0.000 title claims abstract description 72
- 238000012545 processing Methods 0.000 title claims abstract description 57
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 230000001815 facial effect Effects 0.000 title claims abstract description 34
- 238000003384 imaging method Methods 0.000 title description 9
- 238000000034 method Methods 0.000 claims abstract description 59
- 210000003754 fetus Anatomy 0.000 claims abstract description 48
- 210000001983 hard palate Anatomy 0.000 claims abstract description 32
- 230000005856 abnormality Effects 0.000 claims abstract description 23
- 238000012285 ultrasound imaging Methods 0.000 claims abstract description 23
- 210000001061 forehead Anatomy 0.000 claims abstract description 22
- 210000003484 anatomy Anatomy 0.000 claims description 41
- 230000009466 transformation Effects 0.000 claims description 32
- 210000004373 mandible Anatomy 0.000 claims description 27
- 239000003550 marker Substances 0.000 claims description 23
- 239000000523 sample Substances 0.000 claims description 23
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 claims description 9
- 210000001738 temporomandibular joint Anatomy 0.000 claims description 8
- 238000002592 echocardiography Methods 0.000 claims description 7
- 210000001331 nose Anatomy 0.000 claims description 6
- 210000001847 jaw Anatomy 0.000 claims description 5
- 210000000537 nasal bone Anatomy 0.000 claims description 5
- QKICWELGRMTQCR-UHFFFAOYSA-N 4-[(7-chloroquinolin-4-yl)azaniumyl]pentyl-diethylazanium;dihydrogen phosphate Chemical compound OP(O)(O)=O.OP(O)(O)=O.ClC1=CC=C2C(NC(C)CCCN(CC)CC)=CC=NC2=C1 QKICWELGRMTQCR-UHFFFAOYSA-N 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims 2
- 238000005259 measurement Methods 0.000 abstract description 30
- 238000012216 screening Methods 0.000 abstract description 15
- 230000008569 process Effects 0.000 abstract description 12
- 230000002159 abnormal effect Effects 0.000 abstract description 7
- 238000002604 ultrasonography Methods 0.000 description 20
- 201000000615 hard palate cancer Diseases 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 208000037280 Trisomy Diseases 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 208000032170 Congenital Abnormalities Diseases 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 208000029157 Abnormality of the face Diseases 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 206010061619 Deformity Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000035935 pregnancy Effects 0.000 description 3
- 208000011580 syndromic disease Diseases 0.000 description 3
- 206010010356 Congenital anomaly Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000002454 frontal bone Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000002050 maxilla Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000004579 scanning voltage microscopy Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010008805 Chromosomal abnormalities Diseases 0.000 description 1
- 208000031404 Chromosome Aberrations Diseases 0.000 description 1
- 206010009260 Cleft lip and palate Diseases 0.000 description 1
- 208000036830 Normal foetus Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000001909 alveolar process Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 208000016653 cleft lip/palate Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008175 fetal development Effects 0.000 description 1
- 230000004578 fetal growth Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本公开涉及一种胎儿颜面部图像的处理方法、处理装置、超声成像系统和介质。该处理方法可以包括:获取胎儿颜面部的包括正中矢状面的图像;由处理器,识别正中矢状面的图像上的多个标记部,多个标记部至少包括硬腭骨、硬腭骨前缘点和额头突出点;基于所识别的多个标记部确定表征胎儿颜面部异常的特征几何属性,特征几何属性至少包括额上颌角(FMF);以及在正中矢状面的图像上显示至少包括额上颌角的所述特征几何属性。如此,可以自动对正中矢状面的图像进行表征胎儿颜面部异常的特征几何属性的计算,显著降低医生在进行产前检查过程中异常筛查的工作负荷,优化产前检查的工作流程,提升医生的工作效率,也能提升异常测量结果的准确度与稳定性。
Description
技术领域
本公开涉及一种医学图像的处理方法、处理装置、超声成像系统和介质,更具体地,涉及一种胎儿颜面部图像的处理方法、处理装置、超声成像系统和介质。
背景技术
超声检查由于其安全、方便、无辐射、廉价等优势,在临床检查上具有广泛的应用,成为医生进行疾病诊断的主要辅助手段之一。产前超声检查作为产前检查中的主要的影像学检查,为胎儿的生长发育测量及结构异常筛查提供了重要的影像学证据。产前超声检查已经是早孕、中孕及晚孕期必须要进行的检查之一。
胎儿的颜面部异常常与多种染色体异常性疾病、先天性畸形等因素有关,临床上,医生通常进行超声成像,在观看超声图像的同时,在超声图像上手动标注关键解剖结构并人工测量相关的几何参数来进行异常的筛查和判定。因此,测量进而判定受医生的经验与手法影响较大,而且医生的工作负担也较重。
发明内容
因此,需要一种胎儿颜面部图像的处理方法、处理装置、超声成像系统和介质,其能够在获得胎儿颜面部的包括正中矢状面的图像的基础上,自动进行表征胎儿颜面部异常的特征几何属性的计算,显著降低医生在进行产前检查过程中异常筛查的工作负荷,优化产前检查的工作流程,提升医生的工作效率,也能提升异常测量结果的准确度与稳定性。
根据本公开的第一方面,提供了一种胎儿颜面部图像的处理方法。该处理方法可以包括:获取胎儿颜面部的包括正中矢状面的图像;由处理器,识别所述正中矢状面的图像上的多个标记部,所述多个标记部至少包括硬腭骨、硬腭骨前缘点和额头突出点;由所述处理器,基于所识别的多个标记部确定表征胎儿颜面部异常的特征几何属性,所述特征几何属性至少包括额上颌角(FMF);以及由所述处理器,在所述正中矢状面的图像上显示至少包括额上颌角的所述特征几何属性。
根据本公开的第二方面,提供了一种胎儿颜面部图像的处理方法。该处理方法可以包括:获取胎儿颜面部的下颌骨最大长轴切面的图像;由处理器,识别所述下颌骨最大长轴切面的图像上的多个标记部,所述多个标记部至少包括下颌骨正中联合和颞下颌关节;由所述处理器,基于所识别的多个标记部确定表征胎儿颜面部异常的特征几何属性,所述特征几何属性至少包括下颌骨长度值;以及由所述处理器,在所述下颌骨最大长轴切面的图像上显示所述特征几何属性。
根据本公开的第三方面,提供了一种胎儿颜面部图像的处理方法。该处理方法可以包括:获取胎儿颜面部的至少一个关键切面的图像;由处理器,识别所述至少一个关键切面的图像上的多个标记部;由所述处理器,基于所识别的多个标记部确定表征胎儿颜面部异常的特征几何属性;以及由所述处理器,在所述至少一个关键切面的图像上显示所述特征几何属性。
根据本公开的第四方面,提供了一种胎儿颜面部图像的处理装置,其包括处理器。所述处理器被配置为执行根据本公开各个实施例的胎儿颜面部图像的处理方法,例如但不限于根据本公开的第一方面、第二方面和第三方面的处理方法的任何一种或组合。
根据本公开的第五方面,提供一种胎儿颜面部的超声成像系统。该超声成像系统可以包括:超声探头,用于向胎儿颜面部发射超声波,并接收相应的超声回波,以获得超声回波信号;发射和接收控制电路,用于向所述超声探头输出发射和接收序列,以控制所述超声探头发射超声波和接收超声回波;波束合成模块,其用于对超声回波信号进行波束合成处理,以得到胎儿颜面部的超声图像数据;以及至少一个处理器,其配置为:执行根据本公开各个实施例的胎儿颜面部图像的处理方法,例如但不限于根据本公开的第一方面、第二方面和第三方面的处理方法的任何一种或组合。
根据本公开的第六方面,提供一种计算机可读存储介质,其上存储有计算机可执行指令,其由处理器执行时,实现根据本公开各个实施例的胎儿颜面部图像的处理方法,例如但不限于根据本公开的第一方面、第二方面和第三方面的处理方法的任何一种或组合。
利用根据本公开各个实施例的胎儿颜图像的处理方法、处理装置、超声成像系统和介质,其能够在获得胎儿颜面部的包括正中矢状面的图像的基础上,自动进行表征胎儿颜面部异常的特征几何属性的计算,显著降低了医生在进行产前检查过程中异常筛查的工作负荷,优化了产前检查的工作流程,提升医生的工作效率,也能提升异常测量结果的准确度与稳定性,促进胎儿颜面部结构的异常筛查的推广与应用。
附图说明
下面将参考附图描述本发明的示例性实施例的特征、优点以及技术和工业意义,其中相同的标号表示相同的元件,并且其中:
图1(a)示出根据本公开实施例的胎儿颜面部的超声成像系统的构造图;
图1(b)示出根据本公开实施例的胎儿颜面部图像的处理装置的示例的构造图;
图2示出根据本公开实施例的胎儿颜面部图像的处理方法的第一示例的流程图;
图3(a)示出利用第一示例的处理方法在显示器上呈现的界面的图示;
图3(b)示出利用根据本公开实施例的胎儿颜面部图像的处理方法的第二示例在显示器上呈现的界面的图示;
图3(c)示出利用根据本公开实施例的胎儿颜面部图像的处理方法的第三示例在显示器上呈现的界面的图示;
图3(d)示出利用根据本公开实施例的胎儿颜面部图像的处理方法的第四示例在显示器上呈现的界面的图示;
图4示出根据本公开实施例的胎儿颜面部图像的处理方法的第五示例的流程图;
图5示出利用第五示例的处理方法在显示器上呈现的界面的图示;
图6(a)示出根据本公开实施例的将所述正中矢状面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息的处理流程图;
图6(b)示出根据本公开另一实施例的将所述正中矢状面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息的处理流程图;
图7示出根据本公开实施例的胎儿颜面部图像的处理方法的第六示例的流程图;
图8(a)示出根据本公开实施例的将所述下颌骨最大长轴切面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息的处理流程图;以及
图8(b)示出根据本公开实施例的将所述下颌骨最大长轴切面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息的处理流程图。
具体实施方式
在下文中将对本发明的实施例进行说明;然而,本发明并非意在局限于该实施例。该实施例的所有部件并不总是必不可少的。
图1(a)示出根据本公开实施例的胎儿颜面部的超声成像系统的构造图。如图1(a)所示,超声成像系统100可以包括超声探头101、发射电路102、接收电路103、波束合成模块105以及处理器104。超声探头101用于向受检的孕妇(也就是向着胎儿颜面部)发射超声波,并接收相应的超声回波,以获得超声回波信号。医生可以移动超声探头101选择合适的位置和角度。发射电路102又称发射控制电路,用于向所述超声探头101输出发射序列,也就是一组经过延迟聚焦的脉冲,以控制所述超声探头101向胎儿颜面部(例如沿着一系列2D扫描平面)发射超声波。接收电路103又称接收控制电路,用于向超声探头101输出接收序列,以控制超声探头101接收超声回波。超声探头101将接收到的超声回波转换为电信号并传输给波束合成模块105。
波束合成模块105用于对所接收的回波的电信号进行相应的延时和加权求和等波束合成处理,从而将相位对齐,并将同一接收点的不同通道数据进行加权求和,得到波束合成后的超声图像数据。波束合成模块105输出的超声图像数据也称为射频数据(RF数据)。波束合成模块105可以将射频数据输出至IQ解调模块(未示出)。在有的实施例中,波束合成模块105也可以将射频数据输出至存储器(未示出)进行缓存或保存,或将射频数据直接输出至处理器104进行图像处理。
波束合成模块105可以采用硬件、固件或软件的方式执行上述功能,例如,波束合成模块105可以包括能够根据特定逻辑指令处理输入数据的中央控制器电路(CPU)、一个或多个微处理芯片或其他任何电子部件,当波束合成模块105采用软件方式实现时,其可以执行存储在有形和非暂态计算机可读介质(例如,存储器)上的指令,以使用任何适当波束合成方法进行波束合成计算。波束合成模块105可以集成在处理器104中,也可以单独设置,本发明不做限定。
可以采用各种类型的超声探头101,例如但不限于超声容积探头、面阵探头和普通超声阵列探头(诸如线阵探头、凸阵探头等)中的至少一种。
在一些实施例中,处理器104可以是包括一个以上通用处理设备的处理设备,诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备或电路,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。
该超声成像系统可以是二维超声成像系统,也可以是三维超声成像系统。
在三维超声成像系统中,处理器104可以配置为执行波束合成、三维重建、后处理等处理以得到胎儿的颜面部的三维数据。可以利用专用的电路模块或软件模块来实现各种处理。具体说来,超声探头101沿2D扫描平面向受检的孕妇(也就是向着胎儿的颜面部)发射超声波形。在接收电路103接收到反射回来的超声波形后,将其转化为电信号,可以由处理器104对多次发射/接收得到的信号进行相应的延时与加权求和的处理,以实现波束合成。进一步地,超声探头101可以在一系列扫描平面内发射/接收超声波形,将其转换为电信号,根据三维空间关系对信号的信息进行整合,以实现胎儿的颜面部在三维空间的扫描以及3D图像的重建。接着,对重建得到的胎儿的颜面部的3D图像信息进行后处理,诸如去噪、平滑和增强中的一种或多种后,所得到的三维数据就是胎儿的颜面部的三维图像数据。经过处理器104处理后的胎儿的颜面部的三维数据可以在显示器106上呈现。所述显示器106可以是LCD、CRT或LED显示器。
除了以上处理之外,处理器104还可以执行对于胎儿的颜面部图像的自动检测和分析,例如但不限于可以执行根据本公开各个实施例的胎儿颜面部图像的处理方法。如此,胎儿颜面部的三维超声成像系统本身也可以用作对于胎儿的颜面部图像进行自动检测和分析的超声成像装置,但这仅仅作为示例。
在一些实施例中,对于胎儿的颜面部图像进行自动检测和分析的超声成像装置也可以实现为与胎儿颜面部的超声成像系统分立但可以与之通信的处理装置100’,请注意,本公开中的技术术语“超声成像装置”不限于包含超声探头且发射/接收超声形成图像的装置,而也可以包括对于源自超声所形成的图像进行检测和分析的装置,例如,图像站、远程图像分析平台等。例如,该处理装置100’可以是为图像数据采集和图像数据处理任务定制的计算机,或者置于云端的服务器。本公开中的技术术语“胎儿颜面部图像”旨在表示包含胎儿的至少部分颜面部的图像。
如图1(b)所示,根据本公开实施例的胎儿颜面部的处理装置100’可以包括处理器104’,所述处理器104’可以配置为执行根据本公开各个实施例的胎儿颜面部图像的处理方法。
所述处理装置100’可以包括通信接口102’,以从超声成像系统获取胎儿颜面部的关键切面图像,例如但不限于从二维超声成像系统获取的颜面部二维视频,从三维超声成像系统传输的三维图像数据中选择的视频帧或者二维切面图像数据,从图像数据库获取的二维切面图像或二维视频,从PACS系统获取的二维切面图像或二维视频等,在此不赘述。在处理装置100’整合在超声成像系统中的情况下,可以通过超声成像系统实时地获取胎儿颜面部的关键切面图像。在一些实施例中,关键切面图像可以根据胎儿排畸筛查的需求而自动选取,例如可以根据排畸筛查需要自动计算的表征胎儿颜面部异常的特征几何属性,例如但不限于额上颌角(FMF)、上颌-下颌-鼻骨夹角(MMN)、上颌-鼻骨-下颌夹角(MNM)、额鼻角(FNA)、下颌骨长度值等,来自动选择便利这些特征几何属性的计算的关键切面图像。在一些实施例中,关键切面图像可以通过如下方式来获取。可以由医生使用超声成像系统手动实时获取,也可以由医生从采集后保存的(或者通信接口102’接收的)的二维超声视频中选择某一帧,还可以由医生从采集后保存的(或者通信接口102’接收的)的三维颜面部图像数据中选择某个切面。
在一些实施例中,通信接口102’可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤的高速数据传输适配器、USB 9.0、闪电、无线网络适配器如WiFi适配器、电信(4G、LTE、5G等)适配器。处理装置100’可以通过通信接口102’连接到网络。网络可以提供局域网(LAN)、无线网络、云计算环境(例如,作为服务的软件、作为服务的平台、作为服务的基础设施等)、客户端-服务器、广域网(WAN)等的功能。
处理器104’的硬件配置可以参考图1(a)中的处理器104的硬件配置,在此不赘述。
在一些实施例中,处理装置100’并且可以额外包括输入/输出105’和显示器106’中的至少一个。其中,输入/输出105’可以被配置为允许处理装置100’接收和/或发送数据。输入/输出105’可以包括允许处理装置100’与用户或其他机器和设备通信的一个或多个数字和/或模拟通信设备。例如,输入/输出105’可以包括允许用户提供输入的键盘和鼠标。
存储器101’可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如,闪存、静态随机存取存储器)等,其上以任何格式存储计算机可执行指令。在一些实施例中,存储器101’可以存储一个或多个图像处理程序(诸如胎儿颜面部图像的处理分析程序)的计算机可执行指令,其由处理器104’执行时,实现根据本公开各个实施例的胎儿颜面部图像的处理方法。具体说来,计算机程序指令可以被处理器104’访问,从ROM或者任何其他合适的存储位置读取,并加载到RAM中供处理器104’执行。
图2示出根据本公开实施例的胎儿颜面部图像的处理方法的第一示例的流程图。该超声成像方法可以始于步骤201,获取胎儿颜面部的包括正中矢状面的图像。正中矢状面尤其适用于额上颌角(FMF)的计算。在步骤202,可以由处理器,识别所述正中矢状面的图像上的多个标记部,所述多个标记部至少包括硬腭骨1、硬腭骨前缘点2和额头突出点3,如图3(a)所示。硬腭骨1、硬腭骨前缘点2和额头突出点3作为标记部,可以用于模拟和定义例如额上颌角(FMF)。
在步骤203,可以由所述处理器,基于所识别的多个标记部,硬腭骨1、硬腭骨前缘点2和额头突出点3,确定表征胎儿颜面部异常的特征几何属性,所述特征几何属性至少包括额上颌角(FMF)。具体说来,FMF的两条边分别为硬腭骨前缘点2至额头突出点3的连线4以及硬腭骨拟合直线5,连线4与直线5的夹角即为FMF。注意,本文中术语“额头突出点”定义为在额头外缘上的点,如图3(a)所示。在一些实施例中,连线4也相当(近似)于硬腭骨前缘点2至额缝外缘的切线。硬腭骨拟合直线5可以采用多种方式来取得。在一些实施例中,硬腭骨拟合直线5可以根据所识别的硬腭骨1的位置或区域范围来取得。例如,硬腭骨拟合直线5可以为沿着硬腭骨1的区域上缘的直线。例如,硬腭骨拟合直线5可以为与检出的硬腭骨1的距离最小的优化直线,也可以是穿过检出的硬腭骨1的区域的长度最大的优化直线。对于正常胎儿来说,FMF应为74-90度,平均84度左右。患有21-三体综合症、18-三体综合症和13-三体综合症等染色体异常性疾病的胎儿,其FMF会大于正常水平。
在步骤204,由所述处理器,在所述正中矢状面的图像上显示至少包括FMF 4的所述特征几何属性。如图3(a)所示,FMF为74度,也就是说,受检的胎儿从FMF水平来说属于正常水平。
如此,能够在获得胎儿颜面部的正中矢状面的图像的基础上,自动进行表征胎儿颜面部异常的特征几何属性的计算,显著降低了医生在进行产前检查过程中异常筛查的工作负荷,优化了产前检查的工作流程,提升医生的工作效率,也能提升异常测量结果的准确度与稳定性,促进胎儿颜面部结构的异常筛查的推广与应用。
表征胎儿颜面部异常的特征几何属性可以为角度,也可以为长度(厚度),也可以为比例,也可以为面积,为了表述方便,下文中将表征胎儿颜面部异常的特征几何属性称为测量项。标记部的识别与要确定的测量项相关联地设置。在一些实施例中,可以根据要确定什么测量项,来识别所需的标记部。在一些实施例中,也可以根据能够识别的标记部,来尽可能多地确定测量项。
例如,对于正中矢状面而言,所述多个标记部和基于所述多个标记部所确定的测量项进一步可以选自如下的任何一组或其组合。
对于作为多个标记部的鼻骨-额骨下端角点、上颌骨前缘点和下颌骨前缘点,相应可确定的测量项可以为上颌-下颌-鼻骨夹角(MMN)。如图3(b)所示,MMN的两条边为上颌骨前缘点6与下颌骨前缘点7的连线9和下颌骨前缘点7与鼻骨-额骨下端角点8的连线10,顶点为下颌骨前缘点7,两条连线所成的夹角即为MMN。MMN可以用于检测胎儿的21-三体综合症、18-三体综合症、13-三体综合症以及唇腭裂等疾病。如图3(b)所示,MMN=20度,大体为正常值。
对于作为多个标记部的上下颌骨前缘点和鼻骨(也可以细化为鼻骨-额骨下端角点),相应可确定的测量项可以为上颌-鼻骨-下颌夹角(MNM)。如图3(c)所示,MNM的两条边为下颌骨前缘点7与鼻骨-额骨下端角点8(作为鼻骨的代表点的示例)的连线10以及上颌骨前缘点6与鼻骨-额骨下端角点8的连线11,顶点为鼻骨-额骨下端角点8,两条连线的夹角即为MNM。MNM可以通过对颌骨的前后关系进行评定来评估胎儿轮廓的凸度,因此可能有助于诊断下颌后缩、上颌牙槽脊突和平面轮廓,其测量的稳定性和再现性较好。如图3(c)所示,MNM=35度,表明胎儿的下颌相较正常水平有显著的后缩。
在一些实施例中,对于作为多个标记部的鼻骨-额骨下端角点8、上颌骨前缘点6和下颌骨前缘点7,可以一并确定MMN和MNM作为测量项。
对于作为多个标记部的颏、鼻尖点和额头突出点,相应可确定的测量项可以为额鼻角(FNA)。如图3(d)所示,FNA的两条边为额头突出点3与鼻尖点12的连线14以及鼻尖点12与颏13的连线15,顶点为鼻尖点12,两条连线的夹角即为FNA。FNA可用于检测胎儿小下颔畸形,患病胎儿FNA一般偏小,该指标具有较低的阳预测值。如图3(d)所示,FNA=100度,表明胎儿患有小下颔畸形。
又例如,对于下颌骨最大长轴切面而言,可以采用下颌骨正中联合和颞下颌关节作为多个标记部,相应地,可以确定下颌骨长度值作为测量项。
在一些实施例中,除了获取胎儿颜面部的正中矢状面的图像以外附加地,或者作为替代,可以获取胎儿颜面部的下颌骨最大长轴切面的图像(步骤401)。在步骤402,可以由处理器,识别所述下颌骨最大长轴切面的图像上的多个标记部,所述多个标记部至少包括下颌骨正中联合16和颞下颌关节17,如图5所示。在步骤403,可以由所述处理器,基于所识别的多个标记部确定表征胎儿颜面部异常的特征几何属性,所述特征几何属性至少包括下颌骨长度值。以及,在步骤404,可以由所述处理器,在所述下颌骨最大长轴切面的图像上显示所述特征几何属性,至少包括下颌骨长度值。
颌骨正中联合16和颞下颌关节17的连线18可以作为下颌骨长度值的测量线,如图5所示,在下颌骨最大长轴切面的图像上显示下颌骨长度值为3.31厘米(26周胎儿正常值)。下颌骨长度值的自动测量结果可较为直观地筛查胎儿下颌骨短小症状,胎儿下颌骨短小症状是一种常见的先天性畸形,其下颌骨竖直长度以及上下颌骨比值等均会异于正常水平。
如此,能够在获得胎儿颜面部的下颌骨最大长轴切面的图像的基础上,自动进行表征胎儿颜面部异常的特征几何属性的计算,显著降低了医生在进行产前检查过程中异常筛查的工作负荷,优化了产前检查的工作流程,提升医生的工作效率,也能提升异常测量结果的准确度与稳定性,促进胎儿颜面部结构的异常筛查的推广与应用。
如图3(a)-图3(d)和图5所示,可以与各个测量项相关联地显示多个标记部。采用显示方式来示出各个测量项与多个标记部之间的关联性,从而便利医生的读图。在一些实施例中,对于作为长度或角度的测量项,可以在显示多个标记部(例如点、部位、关节等)的同时,显示基于标记部构造的测量项的构成要素,以明确示出各个测量项与多个标记部之间的关联性。以FMF作为测量项的示例,如图3(a)所示,可以在显示硬腭骨1、硬腭骨前缘点2和额头突出点3的同时,还显示利用硬腭骨1构成的硬腭骨拟合线5和利用硬腭骨前缘点2和额头突出点3相连构成的直线4,这两条线为构成FMF的两个边。在一些实施例中,可以对各个测量项及其关联的多个标记部用不同的标识进行区分,例如,采用不同的颜色、线条等,如此可以降低医生因为疲劳导致的误读。在一些实施例中,可以在同个切面图像(例如但不限于正中矢状面的图像)上显示多个测量项及其关联的多个标记部,例如,分时显示各个测量项及其关联的多个标记部等等,如此可以避免医生在几个切面图像之间切换视线,从而提升医生的读图效率。
可以采用各种方式来识别各个关键切面的图像上的多个标记部。可以采用任何关键切面,只要其能够体现胎儿畸形的特征几何属性即可。例如,关键切面可以包括正中矢状面、下颌骨最大长轴切面、冠状面等,下文中以正中矢状面作为示例进行说明,但须知该标记部的各种识别方法均可以灵活应用于各种关键切面(诸如但不限于下颌骨最大长轴切面)的图像上标记部的识别,在此不赘述。
标记部的自动识别方法主要分为三种。
在一些实施例中,可以基于所述正中矢状面的图像,利用回归模型,来回归识别所述多个标记部的类别和位置信息。下文中会在“回归方法”部分中进行详细说明。
可以基于所述正中矢状面的图像,利用分割模型,来分割识别所述多个标记部的类别和位置分布信息。下文中会在“分割方法”部分中进行详细说明。
通过将所述正中矢状面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息。可以采用这三种识别方法的任何一种或组合。下文中会在“匹配方法”部分中进行详细说明。
回归方法
可以为获取的正中矢状面的图像,利用学习模型(例如但不限于深度学习或其他机器学习的模型)提取图像特征,并根据所提取的图像特征来回归出所述多个标记部的类别和位置信息。
可以构建用于回归模型的训练的训练数据库,各条训练数据为胎儿颜面部的正中矢状面的图像连同其中的各个标记部及其类别和位置信息,例如可以包括:是否存在标记部,若存在的话,是什么类型的标记部(例如什么关键解剖结构或什么关键点),关键解剖结构的边界框是在什么位置,关键点对应的位置坐标,等等。
可以通过堆叠卷积层和全连接层来构造学习模型,并利用学习模型来对构建的训练数据进行特征的学习和参数的回归。对于一幅输入图像,例如胎儿颜面部的正中矢状面的图像,可以通过训练好的学习模型,直接回归出关键解剖结构的边界框和关键点的位置坐标,同时获取关键解剖结构和关键点的类别。在一些实施例中,该学习模型可以利用如下网络来构建:RCNN、快速RCNN(Fast-RCNN)、更快速RCNN(Faster-RCNN)、YOLO、SSD、RetinaNet等等。
在一些实施例中,也可以基于其他机器学习方法来回归出所述多个标记部的类别和位置信息。例如,可以先通过滑动窗或选择性搜索等方法,在胎儿的正中矢状面的图像中获取一组候选的关键解剖结构区域;再对每一个候选的关键解剖结构区域进行特征提取,特征提取方法可以是提取PCA、LDA、HOG、Harr、LBP等传统特征,也可以是神经网络提取的特征。然后,可以将提取到的特征和训练数据中标记的关键解剖结构所提取的特征进行匹配,用KNN、SVM、随机森林或神经网络等判别器进行分类,确定当前候选的关键解剖结构区域是否包含关键解剖结构以及对应的关键点,同时获取其相应类别。
分割方法
可以基于所述正中矢状面的图像,利用分割模型,来分割识别所述多个标记部的类别和位置分布信息。
可以构建用于分割模型的训练的训练数据库,各条训练数据为标注了各个标记部及其类别和位置信息的胎儿颜面部的正中矢状面的图像,标注例如可以包括:各个像素是否为标记部的蒙版,各个像素是什么类型的标记部(例如什么关键解剖结构或什么关键点)的蒙版,关键解剖结构的边界框是在什么位置,关键点对应的位置坐标,等等。
所述分割模型可以为深度学习模型,也可以为其他机器学习模型。
可以如下执行基于深度学习的图像分割方法。通过堆叠卷积层和反卷积层来构建分割网络,对训练数据进行特征的学习,关键解剖结构的边界的学习以及关键点的位置分布的学习。对于一幅输入图像,可以通过分割网络直接生成一幅尺寸大小相同的图像和输出一组向量,表示关键解剖结构的具体边界范围以及各个关键点的位置分布。在一些实施例中,该分割模型可以利用如下网络来构建:FCN(全卷积神经网络)、Unet、SegNet、DeepLab、蒙版RCNN等等。
可以如下执行基于其他机器学习的图像分割方法。先通过阈值分割、Snake、水平集、GraphCut、ASM、AAM等方法对图像进行预分割,在胎儿颜面部的正中矢状面的图像中获取一组候选的关键解剖结构区域;再对每一个候选的关键解剖结构区域进行特征提取,特征提取方法可以是提取PCA、LDA、HOG、Harr、LBP等传统特征,也可以是神经网络提取的特征。然后,可以将提取到的特征和训练数据标记的关键解剖结构所提取的特征进行匹配,用KNN、SVM、随机森林或神经网络等判别器进行分类,确定当前候选的关键解剖结构区域是否包含关键解剖结构,同时获取其相应类别以及关键点的位置分布。
匹配方法
通过将所述正中矢状面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息。所述代表数据可以是正中矢状面的完整图像数据,或者可以是其中的关键解剖结构的图像数据,或者可以是其中的关键点的图像数据。在一些实施例中,所述关键结构结构和关键点可以统称为关键部,关键部可以包括关键解剖结构和关键点中的任何一种。在本公开中,关键部可以用于识别标记部。在一些实施例中,关键部可以直接作为标记部,从而匹配后可以直接得出标记部的类别和位置信息,但这仅仅作为示例。在一些实施例中,关键部中的至少部分可以用作标记部。在一些实施例中,关键部中包含的关键解剖结构和关键点可以作为参考来识别出标记部。例如,关键部可以包含鼻骨和额骨,从而可以据此识别出额头突出点、鼻骨-额骨下端角点等标记部。又例如,关键部可以包含上颌骨和下颌骨,从而可以据此识别出上颌骨前缘点和下颌骨前缘点等标记部,等。
相应地,对于颜面部的正中矢状面的图像而言,代表数据的基准模板可以包括,二维标准切面模板、关键解剖结构基准数据、以及关键点基准数据。可将正中矢状面的图像的代表数据包括与以上基准模板中的对应基准模板进行匹配。
例如,如图6(a)所示,可以在所述正中矢状面的图像中寻找优化的关键部,使得所述优化的关键部的邻域的图像特征与对应关键部的基准模板的接近度达到预定要求,以实现匹配(步骤601)。然后,可以基于基准模板中对应关键部的位置,来确定所述正中矢状面的图像中匹配的各个关键部的位置(步骤602)。
具体说来,为了将获取的正中矢状面的图像数据与二维标准切面模板相匹配,可以寻找一个最优的二维空间变换,使获取的正中矢状面的图像数据与二维标准切面模板的相似度最高或相差最小;也可以先对获取的正中矢状面的图像数据与二维标准切面模板分别进行图像特征的提取(如梯度特征、LBP等纹理特征、Harr特征、HOG/LOG特征等),再寻找一个最优的二维空间变换,使两者所提取的图像特征的相似度最高或相差最小。完成匹配后,可根据二维标准切面模板中的关键部的位置,获得正中矢状面中关键部的位置。
又例如,如图6(b)所示,可以在所述正中矢状面的图像中寻找优化的关键部和优化的空间变换,使得所述优化的关键部的邻域的图像特征经由所述优化的空间变换后,与对应关键部的基准模板的接近度达到预定要求,以实现匹配(步骤601a)。随后,可以基于基准模板中对应关键部的位置,经由所述优化的空间变换的逆变换,来确定所述正中矢状面的图像中匹配的各个关键部的位置(步骤602a)。
又例如,可以通过如下手段在所述正中矢状面的图像中寻找优化的关键部。可以在所述正中矢状面的图像中寻找多个候选的关键部。可以在所述多个候选的关键部中选择优化的关键部,使得所述优化的关键部的邻域的图像特征经由或不经由所述优化的空间变换后,与对应关键部的基准模板的接近度在多个候选的关键部中最高。
具体说来,为了将获取的正中矢状面的图像数据与关键解剖结构基准数据相匹配,可以在获取的正中矢状面的图像数据中寻找一个最优的图像块,使该图像块与关键解剖结构基准数据的相似度最高或相差最小,或其图像特征的相似度最高或相差最小;也可以使用更快速RCNN、蒙版RCNN、SSD、YOLO、Retinanet、Efficientnet、Cornernet、Centernet、FCOS等学习网络,在获取的正中矢状面的图像数据中检测候选的关键解剖结构,再与关键解剖结构基准数据相匹配。在一些实施例中,可以寻找一个最优的候选的关键解剖结构域,使其与关键解剖结构基准数据的相似度最高或相差最小。在一些实施例中,也可以为候选的关键解剖结构和关键解剖结构基准数据分别提取图像特征,再寻找一个最优的候选的关键解剖结构,使其提取的图像特征与关键解剖结构基准数据所提取的图像特征的相似度最高或相差最小。在一些实施例中,也可以寻找最优的候选的关键解剖结构和一个最优的空间变换,使最优的候选的关键解剖结构经该最优的空间变换后,与关键解剖结构基准数据的空间位置相差最小。完成匹配后,可根据基准模板中关键解剖结构的位置,确定正中矢状面的关键解剖结构的位置;也可根据基准模板中关键解剖结构的位置连同获得的最优空间变换,获得正中矢状面的图像中关键解剖结构的位置。
具体说来,为了将获取的正中矢状面的图像数据与关键点基准数据相匹配,可以在获取的正中矢状面的图像数据中寻找一个最优点,使该最优点附近提取的图像特征与关键点基准数据提取的图像特征的相似度最高或相差最小。在一些实施例中,可以使用特征点提取方法(如SIFT方法)、角点检测方法(如Harris方法)或神经网络方法,来预测点坐标或点所在区域,由此在正中矢状面的图像中检测候选关键点,再与关键点基准数据相匹配。其中,匹配的方法可以实现如下。可以寻找一个最优的候选关键点,使其附近提取的图像特征与关键点基准数据提取的图像特征的相似度最高或相差最小。也可以寻找最优的候选关键点和最优的空间变换,使候选关键点经由最优的空间变换后,与关键点基准数据的空间位置相差最小。完成匹配后,可根据关键点基准数据中的关键点的位置,确定正中矢状面的图像中的关键点的位置;也可根据关键点基准数据中的关键点的位置连同该最优的空间变换,确定正中矢状面的图像中的关键点的位置。
图7示出根据本公开实施例的胎儿颜面部图像的处理方法的第六示例的流程图。如图7所示,在步骤701,可以获取胎儿颜面部的至少一个关键切面的图像。在步骤702,可以由处理器,识别所述至少一个关键切面的图像上的多个标记部。在步骤703,可以由所述处理器,基于所识别的多个标记部确定表征胎儿颜面部异常的特征几何属性。以及在步骤704,可以由所述处理器,在所述至少一个关键切面的图像上显示所述特征几何属性。
如此,能够在获得胎儿颜面部的各种关键切面的图像的基础上,自动进行表征胎儿颜面部异常的特征几何属性的计算,显著降低了医生在进行产前检查过程中异常筛查的工作负荷,优化了产前检查的工作流程,提升医生的工作效率,也能提升异常测量结果的准确度与稳定性,促进胎儿颜面部结构的异常筛查的推广与应用。
在一些实施例中,所述至少一个关键切面可以选自正中矢状面和下颌骨最大长轴切面中的任何一种或其组合。所述多个标记部和基于所述多个标记部所确定的特征几何属性进一步选自如下的任何一组或其组合。例如,所述多个标记部为硬腭骨、硬腭骨前缘点和额头突出点,相应的所确定的特征几何属性为额上颌角(FMF)。例如,所述多个标记部为鼻骨-额骨下端角点、上颌骨前缘点和上下颌骨前缘点,相应的所确定的特征几何属性为上颌-下颌-鼻骨夹角(MMN)。例如,所述多个标记部为上下颌骨前缘点和鼻骨,相应的所确定的特征几何属性为上颌-鼻骨-下颌夹角(MNM)。例如,所述多个标记部为颏、鼻尖点和额头突出点,相应的所确定的特征几何属性为额鼻角(FNA)。又例如,所述多个标记部为下颌骨正中联合和颞下颌关节,相应的所确定的特征几何属性为下颌骨长度值。
上文中已经以正中矢状面和下颌骨最大长轴切面为例分别对步骤701-步骤704的实现方式进行具体说明,这些实现方式也适用于除了正中矢状面和下颌骨最大长轴切面以外的关键切面,只要其呈现了对于胎儿颜面畸形筛选具有参考意义的图像信息,例如但不限于冠状切面、横切面(显示眼部是否异常)等。
在一些实施例中,所述处理器可以使得在显示器上与所述特征几何属性相关联地显示多个标记部。特征几何属性与标记部的关联显示方式在上文中已经结合正中矢状面等作为关键切面的示例进行具体说明,在此不赘述。
识别所述至少一个关键切面的图像上的多个标记部具体可以利用如下的任何一种方式来实现。可以基于所述至少一个关键切面的图像,利用回归模型,来回归识别所述多个标记部的类别和位置信息。可以基于所述至少一个关键切面的图像,利用分割模型,来分割识别所述多个标记部的类别和位置分布信息。可以通过将所述至少一个关键切面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息。上文中以正中矢状面为例对多个标记部的识别方式进行了具体说明,在此不赘述。
可以通过将所述至少一个关键切面的图像的代表数据与该代表数据的基准模板以各种方式进行匹配,来识别所述多个标记部的类别和位置信息。如图8(a)所示,可以在所述至少一个关键切面的图像中寻找优化的关键部,使得所述优化的关键部的邻域的图像特征与对应关键部的基准模板的接近度达到预定要求,以实现匹配(步骤801)。可以基于基准模板中对应关键部的位置,来确定所述至少一个关键切面的图像中匹配的各个关键部的位置(步骤802)。
如图8(b)所示,可以在所述至少一个关键切面的图像中寻找优化的关键部和优化的空间变换,使得所述优化的关键部的邻域的图像特征经由所述优化的空间变换后,与对应关键部的基准模板的接近度达到预定要求,以实现匹配(步骤801a)。可以基于基准模板中对应关键部的位置,经由所述优化的空间变换的逆变换,来确定所述至少一个关键切面的图像中匹配的各个关键部的位置(步骤802a)。
如何基于至少一个关键切面的图像中匹配的各个关键部的位置来确定多个标记部的类别和位置信息,可以结合上文中进行的相关说明。
在一些实施例中,所述关键部包括关键解剖结构和关键点中的任何一种。
在一些实施例中,在所述至少一个关键切面的图像中寻找优化的关键部具体包括:在所述至少一个关键切面的图像中寻找多个候选的关键部;以及在所述多个候选的关键部中选择优化的关键部,使得所述优化的关键部的邻域的图像特征经由或不经由所述优化的空间变换后,与对应关键部的基准模板的接近度在多个候选的关键部中最高。上文中以正中矢状面作为关键切面的示例进行的具体说明可以结合于此。
在一些实施例中,识别所述至少一个关键切面的图像上的多个标记部可以引入用户的手动识别/半手动识别。具体说来,可以接收用户对所述至少一个关键切面的图像上的所述多个标记部中至少部分的标注。用户的标注可以表示用户关于标注的任何方式的编辑,可以是对关键切面的图像上的标记部的现有自动标注的手动修订,也可以是对关键切面的图像上的标记部的人工标注添加(之前没有任何标注),等。可以基于用户对所述多个标记部中至少部分的标注,来识别所述至少一个关键切面的图像上的所述多个标记部。如此,可以结合标记部的自动识别结果和用户的人工复核/修订,得到更准确的自动识别结果。该至少一个关键切面可以包括正中矢状面、下颌骨最大长轴切面、冠状切面、横切面等。
在一些实施例中,本申请还提供一种胎儿颜面部图像的程序产品,其可以计算机可执行指令实现于计算机可读存储介质上,所述计算机可执行指令由处理器执行时,可以实现根据本申请各个实施例的胎儿颜面部图像的处理方法。
此外,尽管在此描述了说明性实施例,但是范围包括具有基于本公开的等效元素、修改、省略、组合(例如,跨各种实施例的方案的组合)、调整或变更的任何和所有实施例。权利要求中的要素将基于权利要求中使用的语言进行宽泛地解释,而不限于本说明书中或在本申请的存续期间描述的示例,这些示例将被解释为非排他性的。此外,所公开的方法的步骤可以以任何方式进行修改,包括通过重新排序步骤或插入或删除步骤。因此,意图仅仅将描述视为例子,真正的范围由以下权利要求及其全部等同范围表示。
以上描述旨在是说明性的而不是限制性的。例如,上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且,在上面的详细描述中,各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。而是,发明主题可以在于比一个公开的实施例的所有特征少的特征组合。因此,以下权利要求由此作为示例或实施例并入到具体实施方式中,其中每个权利要求独立作为单独的实施例,并且可以构想的是,这些实施例可以以各种组合或置换来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。
Claims (30)
1.一种胎儿颜面部图像的处理方法,其特征在于,包括:
获取胎儿颜面部的包括正中矢状面的图像;
由处理器,识别所述正中矢状面的图像上的多个标记部,所述多个标记部至少包括硬腭骨、硬腭骨前缘点和额头突出点;
由所述处理器,基于所识别的多个标记部确定表征胎儿颜面部异常的特征几何属性,所述特征几何属性至少包括额上颌角(FMF);以及
由所述处理器,在所述正中矢状面的图像上显示至少包括额上颌角的所述特征几何属性。
2.根据权利要求1所述的处理方法,其特征在于,所述多个标记部和基于所述多个标记部所确定的特征几何属性进一步选自如下的任何一组或其组合:
所述多个标记部为鼻骨-额骨下端角点、上颌骨前缘点和下颌骨前缘点,相应的所确定的特征几何属性为上颌-下颌-鼻骨夹角(MMN);
所述多个标记部为上下颌骨前缘点和鼻骨,相应的所确定的特征几何属性为上颌-鼻骨-下颌夹角(MNM);以及
所述多个标记部为颏、鼻尖点和额头突出点,相应的所确定的特征几何属性为额鼻角(FNA)。
3.根据权利要求1所述的处理方法,其特征在于,还包括:
获取胎儿颜面部的下颌骨最大长轴切面的图像;
由处理器,识别所述下颌骨最大长轴切面的图像上的多个标记部,所述多个标记部至少包括下颌骨正中联合和颞下颌关节;
由所述处理器,基于所识别的多个标记部确定表征胎儿颜面部异常的特征几何属性,所述特征几何属性至少包括下颌骨长度值;以及
由所述处理器,在所述下颌骨最大长轴切面的图像上显示至少包括下颌骨长度值的所述特征几何属性。
4.根据权利要求1-3中任何一项所述的处理方法,其特征在于,还包括:由所述处理器,与所述特征几何属性相关联地显示多个标记部。
5.根据权利要求1-3中任何一项所述的处理方法,其特征在于,识别所述正中矢状面的图像上的多个标记部具体利用如下的任何一种方式来实现:
基于所述正中矢状面的图像,利用回归模型,来回归识别所述多个标记部的类别和位置信息;和/或
基于所述正中矢状面的图像,利用分割模型,来分割识别所述多个标记部的类别和位置分布信息;和/或
通过将所述正中矢状面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息。
6.根据权利要求5所述的处理方法,其特征在于,通过将所述正中矢状面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息具体包括:
在所述正中矢状面的图像中寻找优化的关键部,使得所述优化的关键部的邻域的图像特征与对应关键部的基准模板的接近度达到预定要求,以实现匹配;基于基准模板中对应关键部的位置,来确定所述正中矢状面的图像中匹配的各个关键部的位置。
7.根据权利要求5所述的处理方法,其特征在于,通过将所述正中矢状面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息具体包括:
在所述正中矢状面的图像中寻找优化的关键部和优化的空间变换,使得所述优化的关键部的邻域的图像特征经由所述优化的空间变换后,与对应关键部的基准模板的接近度达到预定要求,以实现匹配;
基于基准模板中对应关键部的位置,经由所述优化的空间变换的逆变换,来确定所述正中矢状面的图像中匹配的各个关键部的位置。
8.根据权利要求6或7所述的处理方法,其特征在于,所述关键部包括关键解剖结构和关键点中的任何一种。
9.根据权利要求6或7所述的处理方法,其特征在于,在所述正中矢状面的图像中寻找优化的关键部具体包括:
在所述正中矢状面的图像中寻找多个候选的关键部;以及
在所述多个候选的关键部中选择优化的关键部,使得所述优化的关键部的邻域的图像特征经由或不经由所述优化的空间变换后,与对应关键部的基准模板的接近度在多个候选的关键部中最高。
10.根据权利要求1所述的处理方法,其特征在于,识别所述正中矢状面的图像上的多个标记部具体包括:
接收用户对所述正中矢状面的图像上的所述多个标记部中至少部分的标注;基于用户对所述多个标记部中至少部分的标注,来识别所述正中矢状面的图像上的所述多个标记部。
11.一种胎儿颜面部图像的处理方法,其特征在于,包括:
获取胎儿颜面部的下颌骨最大长轴切面的图像;
由处理器,识别所述下颌骨最大长轴切面的图像上的多个标记部,所述多个标记部至少包括下颌骨正中联合和颞下颌关节;
由所述处理器,基于所识别的多个标记部确定表征胎儿颜面部异常的特征几何属性,所述特征几何属性至少包括下颌骨长度值;以及
由所述处理器,在所述下颌骨最大长轴切面的图像上显示所述特征几何属性。
12.根据权利要求11所述的处理方法,其特征在于,还包括:由所述处理器,与所述特征几何属性相关联地显示多个标记部。
13.根据权利要求11或12所述的处理方法,其特征在于,识别所述下颌骨最大长轴切面的图像上的多个标记部具体利用如下的任何一种方式来实现:
基于所述下颌骨最大长轴切面的图像,利用回归模型,来回归识别所述多个标记部的类别和位置信息;和/或
基于所述下颌骨最大长轴切面的图像,利用分割模型,来分割识别所述多个标记部的类别和位置分布信息;和/或
通过将所述下颌骨最大长轴切面的的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息。
14.根据权利要求13所述的处理方法,其特征在于,通过将所述下颌骨最大长轴切面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息具体包括:
在所述下颌骨最大长轴切面的图像中寻找优化的关键部,使得所述优化的关键部的邻域的图像特征与对应关键部的基准模板的接近度达到预定要求,以实现匹配;
基于基准模板中对应关键部的位置,来确定所述下颌骨最大长轴切面的图像中匹配的各个关键部的位置。
15.根据权利要求13所述的处理方法,其特征在于,通过将所述下颌骨最大长轴切面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息具体包括:
在所述下颌骨最大长轴切面的图像中寻找优化的关键部和优化的空间变换,使得所述优化的关键部的邻域的图像特征经由所述优化的空间变换后,与对应关键部的基准模板的接近度达到预定要求,以实现匹配;
基于基准模板中对应关键部的位置,经由所述优化的空间变换的逆变换,来确定所述下颌骨最大长轴切面的图像中匹配的各个关键部的位置。
16.根据权利要求14或15所述的处理方法,其特征在于,所述关键部包括关键解剖结构和关键点中的任何一种。
17.根据权利要求14或15所述的处理方法,其特征在于,在所述下颌骨最大长轴切面的图像中寻找优化的关键部具体包括:
在所述下颌骨最大长轴切面的图像中寻找多个候选的关键部;以及
在所述多个候选的关键部中选择优化的关键部,使得所述优化的关键部的邻域的图像特征经由或不经由所述优化的空间变换后,与对应关键部的基准模板的接近度在多个候选的关键部中最高。
18.根据权利要求11所述的处理方法,其特征在于,识别所述下颌骨最大长轴切面的图像上的多个标记部具体包括:
接收用户对所述下颌骨最大长轴切面的图像上的所述多个标记部中至少部分的标注;
基于用户对所述多个标记部中至少部分的标注,来识别所述下颌骨最大长轴切面的图像上的所述多个标记部。
19.一种胎儿颜面部图像的处理方法,其特征在于,包括:
获取胎儿颜面部的至少一个关键切面的图像;
由处理器,识别所述至少一个关键切面的图像上的多个标记部;
由所述处理器,基于所识别的多个标记部确定表征胎儿颜面部异常的特征几何属性;以及
由所述处理器,在所述至少一个关键切面的图像上显示所述特征几何属性。
20.根据权利要求19所述的处理方法,其特征在于,所述至少一个关键切面选自正中矢状面和下颌骨最大长轴切面中的任何一种或其组合,
所述多个标记部和基于所述多个标记部所确定的特征几何属性进一步选自如下的任何一组或其组合:
所述多个标记部为硬腭骨、硬腭骨前缘点和额头突出点,相应的所确定的特征几何属性为额上颌角(FMF);
所述多个标记部为鼻骨-额骨下端角点、上颌骨前缘点和下颌骨前缘点,相应的所确定的特征几何属性为上颌-下颌-鼻骨夹角(MMN);
所述多个标记部为上下颌骨前缘点和鼻骨,相应的所确定的特征几何属性为上颌-鼻骨-下颌夹角(MNM);
所述多个标记部为颏、鼻尖点和额头突出点,相应的所确定的特征几何属性为额鼻角(FNA);以及
所述多个标记部为下颌骨正中联合和颞下颌关节,相应的所确定的特征几何属性为下颌骨长度值。
21.根据权利要求19或20所述的处理方法,其特征在于,还包括:由所述处理器,与所述特征几何属性相关联地显示多个标记部。
22.根据权利要求19或20所述的处理方法,其特征在于,识别所述至少一个关键切面的图像上的多个标记部具体利用如下的任何一种方式来实现:
基于所述至少一个关键切面的图像,利用回归模型,来回归识别所述多个标记部的类别和位置信息;和/或
基于所述至少一个关键切面的图像,利用分割模型,来分割识别所述多个标记部的类别和位置分布信息;和/或
通过将所述至少一个关键切面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息。
23.根据权利要求22所述的处理方法,其特征在于,通过将所述至少一个关键切面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息具体包括:
在所述至少一个关键切面的图像中寻找优化的关键部,使得所述优化的关键部的邻域的图像特征与对应关键部的基准模板的接近度达到预定要求,以实现匹配;
基于基准模板中对应关键部的位置,来确定所述至少一个关键切面的图像中匹配的各个关键部的位置。
24.根据权利要求22所述的处理方法,其特征在于,通过将所述至少一个关键切面的图像的代表数据与该代表数据的基准模板进行匹配,来识别所述多个标记部的类别和位置信息具体包括:
在所述至少一个关键切面的图像中寻找优化的关键部和优化的空间变换,使得所述优化的关键部的邻域的图像特征经由所述优化的空间变换后,与对应关键部的基准模板的接近度达到预定要求,以实现匹配;
基于基准模板中对应关键部的位置,经由所述优化的空间变换的逆变换,来确定所述至少一个关键切面的图像中匹配的各个关键部的位置。
25.根据权利要求23或24所述的处理方法,其特征在于,所述关键部包括关键解剖结构和关键点中的任何一种。
26.根据权利要求23或24所述的处理方法,其特征在于,在所述至少一个关键切面的图像中寻找优化的关键部具体包括:
在所述至少一个关键切面的图像中寻找多个候选的关键部;以及
在所述多个候选的关键部中选择优化的关键部,使得所述优化的关键部的邻域的图像特征经由或不经由所述优化的空间变换后,与对应关键部的基准模板的接近度在多个候选的关键部中最高。
27.根据权利要求19所述的处理方法,其特征在于,识别所述至少一个关键切面的图像上的多个标记部具体包括:
接收用户对所述至少一个关键切面的图像上的所述多个标记部中至少部分的标注;
基于用户对所述多个标记部中至少部分的标注,来识别所述至少一个关键切面的图像上的所述多个标记部。
28.一种胎儿颜面部图像的处理装置,其包括处理器,所述处理器被配置为执行根据权利要求1-27中任何一项所述的胎儿颜面部图像的处理方法。
29.一种胎儿颜面部的超声成像系统,其特征在于,包括:
超声探头,用于向胎儿颜面部发射超声波,并接收相应的超声回波,以获得超声回波信号;
发射和接收控制电路,用于向所述超声探头输出发射和接收序列,以控制所述超声探头发射超声波和接收超声回波;
波束合成模块,其用于对超声回波信号进行波束合成处理,以得到胎儿颜面部的超声图像数据;以及
至少一个处理器,其配置为:
执行根据权利要求1-27中任何一项所述的胎儿颜面部图像的处理方法。
30.一种计算机可读存储介质,其上存储有计算机可执行指令,其由处理器执行时,实现根据权利要求1-27中任何一项所述的胎儿颜面部图像的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210886202.5A CN117495763A (zh) | 2022-07-26 | 2022-07-26 | 一种胎儿颜面部图像的处理方法、处理装置、超声成像系统和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210886202.5A CN117495763A (zh) | 2022-07-26 | 2022-07-26 | 一种胎儿颜面部图像的处理方法、处理装置、超声成像系统和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117495763A true CN117495763A (zh) | 2024-02-02 |
Family
ID=89676951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210886202.5A Pending CN117495763A (zh) | 2022-07-26 | 2022-07-26 | 一种胎儿颜面部图像的处理方法、处理装置、超声成像系统和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117495763A (zh) |
-
2022
- 2022-07-26 CN CN202210886202.5A patent/CN117495763A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520519B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
US11229419B2 (en) | Method for processing 3D image data and 3D ultrasonic imaging method and system | |
CN114027880B (zh) | 超声图像中参数测量的方法和超声成像系统 | |
CN110811691B (zh) | 自动识别测量项的方法、装置及一种超声成像设备 | |
KR101614373B1 (ko) | 초음파 장치 및 그 동작 방법 | |
US8699766B2 (en) | Method and apparatus for extracting and measuring object of interest from an image | |
US10290095B2 (en) | Image processing apparatus for measuring a length of a subject and method therefor | |
JPWO2016194161A1 (ja) | 超音波診断装置、及び画像処理方法 | |
CN111374712B (zh) | 一种超声成像方法及超声成像设备 | |
KR101926015B1 (ko) | 영상 처리 장치 및 방법 | |
CN111820948B (zh) | 胎儿生长参数测量方法、系统及超声设备 | |
CN112862955B (zh) | 建立三维模型的方法、装置、设备、存储介质和程序产品 | |
CN116211349A (zh) | 一种胎儿颜面部的超声成像方法、超声成像装置和介质 | |
WO2021120065A1 (zh) | 解剖结构的自动测量方法和超声成像系统 | |
CN117495763A (zh) | 一种胎儿颜面部图像的处理方法、处理装置、超声成像系统和介质 | |
CN115063395A (zh) | 一种超声图像处理方法、装置、设备及介质 | |
Feng et al. | Automatic fetal weight estimation using 3d ultrasonography | |
CN115813433A (zh) | 基于二维超声成像的卵泡测量方法和超声成像系统 | |
CN113974688B (zh) | 超声成像方法和超声成像系统 | |
CN117982169A (zh) | 一种子宫内膜厚度的确定方法及超声设备 | |
WO2020215484A1 (zh) | 胎儿颈部透明层厚度测量方法、设备及存储介质 | |
CN114642451A (zh) | 一种超声成像装置 | |
CN114334095A (zh) | 一种超声检查智能识别方法、系统以及终端设备 | |
CN117426789A (zh) | 自动匹配体位图的方法及超声成像系统 | |
CN116568223A (zh) | 胎儿颅骨的超声成像方法和超声成像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |