CN113116305A - 鼻咽内镜图像的处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种鼻咽内镜图像的处理方法、装置、电子设备及存储介质，其中鼻咽内镜图像的处理方法包括：分别获取鼻咽内镜图像中后鼻孔区域的第一面积和腺样体堵塞区域的第二面积，根据所述第一面积和所述第二面积确定腺样体肥大程度，由此可以通过确定后鼻孔区域和腺样体堵塞区域，得出精准的腺样体堵塞后鼻孔的百分比数据，数据精确可信。

Description

鼻咽内镜图像的处理方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种鼻咽内镜图像的处理方法、装置、电子设备及存储介质。

背景技术

腺样体(adenoids)也叫咽扁桃体(pharyngedl tonsil)，是鼻咽腔上后壁的一团淋巴组织，具免疫功能。图1为腺样体正常示意图，图2为腺样体肥大示意图，其中图2的腺样体1相较于图1的腺样体1要肥大。少儿期可生理性或继发性肥大，一般4-6岁时生理性肥大最明显，可占居鼻咽腔截径二分之一(小于59％)，10岁以后逐渐萎缩，15岁前后萎缩至成人程度，也有部分成人腺样体萎缩不良的报道。邻近器官的炎症、上呼吸道感染、变态反应、营养、内分泌等也是继发腺样体肥大的诱因。

腺样体肥大是儿童阻塞性睡眠呼吸暂停低通气综合征(Obstructive SleepApnea Hypopnea Syndrome，OSAHS)、慢性鼻窦炎、分泌性中耳炎、下呼吸道感染及肺心病等的病因及重要相关因素。肥大的腺样体堵塞后鼻孔、导致咽腔缩小、吸气时阻力增加是儿童OSAHS的重要病因；局部藏匿的细菌易诱发鼻腔炎症，鼻、鼻窦黏膜纤毛和黏液毯的活动减弱易引起鼻窦感染，鼻腔分泌物滴漏又刺激腺样体导致两者相互影响迁延不愈；咽鼓管咽口受压阻塞可致咽鼓管和中耳腔引流障碍，引起咽鼓管的逆行性感染，后鼻孔阻塞、通气障碍可致咽鼓管逆流，腺样体释放炎性递质可致咽鼓管和中耳黏膜水肿，这些都是分泌性中耳炎的致病因素。目前，手术切除腺样体是临床处理病理性腺样体肥大的主要手段。但是选择手术治疗方式必须先判断腺样体肥大程度。目前，临床判断腺样体是否肥大有以下几种诊断手段。

(1)基于鼻咽腔X线侧位片的深度学习方法：临床上，放射科医生根据鼻咽腔X线侧位片测量腺样体宽度(A)与鼻咽宽度(N)的比值来诊断腺样体肥大的严重程度。腺样体的最大点X1与沿基枕骨前缘直线部分画的X3X4线之间的垂直距离为腺样体的厚度。垂直线的反向延伸与硬腭后上缘X2点相交，X2至X3X4线的距离为N，N表示鼻咽宽度。鼻咽腺样体阻塞程度分为正常(A/N≤0.60)、中度肥大(0.60<A/N≤0.71)和重度肥厚(A/N>0.71)。医生需要在侧位片上标记四个关键点来测量A/N值，整个诊断过程既繁琐又耗时。计算机辅助诊断的方法可以解决这个问题。本方法由医生对数据进X1,X2,X3,X4这四个关键点的标注，产生网络训练的标签。将X线图像数据输入网络进行训练，获得关键点坐标，该网络用于学习四个关键点的位置；然后利用坐标计算A/N的值。

(2)CT、MR扫描可弥补平片的不足，但价格昂贵，也不够直观；Dolphin Imaging针对CT进行处理，需要有经验的操作人员进行操作，这对最终的测量结果影响较大；而对容积、体积的测量与医生根据鼻咽镜的诊断结果相关性较差。这表明，Dolphin Imaging根据CT结果不能直接得出可靠的诊断结果。

(3)磁共振(MRI)具有良好的软组织分辨力和多方位成像的特点，可分辨粘膜，能清晰显示腺样体增生的程度与肌层及其改变，可显示咽部解剖结构，可显示肿块与周围组织的关系，对鼻咽部腺样体肥大的有较高的诊断价值，优于X线平片和C T检查。虽然，MRI扫描可以弥补X线平片的不足，但价格昂贵，也不够直观。

(4)鼻内镜、电子鼻咽镜、纤维鼻咽镜也是临床常用的腺样体检查方法，可直接观察腺样体表面状况和堵塞鼻后孔及鼻咽腔的程度。鼻咽部内镜检查图像清晰，具有放大功能，便于录像、拍照和保存图像，且检查痛苦小，同时可充分观察腺样体大小、形态及与邻近结构的解剖关系。根据腺样体阻塞后鼻孔程度，将腺样体分为4度：<25％为I度，25％～50％为Ⅱ度，>50％～75％为Ⅲ度，>76％～100％为Ⅳ度。Ⅲ度及Ⅲ度以上伴有临床症状者即可诊断为腺样体肥大。

临床研究发现，鼻咽部内镜检查的灵敏度、特异度、正确率都高于鼻咽部X线侧位片检查，前者的检出能力更强；前者的阳性、阴性预测值大于后者，其诊断结果更为可靠；前者的阳性似然比明显高于后者，假阳性率低，而阴性似然比明显低于后者，假阴性率低。

随着临床鼻内镜、电子鼻咽镜、纤维鼻咽镜检查设备与技术的普及，基于鼻咽内镜图像判断腺样体肥大与否，已经成为临床诊断腺样体病理性肥大的主要手段。但是目前基于鼻咽内镜图像判断腺样体肥大与否，主要依据检查人员或医生肉眼下的判断，即估算腺样体堵塞面占后鼻孔面积的大致比例，主观性、随意性较强。例如同一副图像，不同人员判断结果不同，有人判断腺样体堵塞后鼻孔程度为70％，有人判断为75％，有人判断为4/5，有人判断为2/3，有一定误差，结果不客观，不精确。

发明内容

有鉴于此，本发明实施例提供了一种鼻咽内镜图像的处理方法、装置、电子设备及存储介质，以解决腺样体肥大程度的判定主动性和随意性较强的问题。

根据第一方面，本发明实施例提供了一种鼻咽内镜图像的处理方法，包括：

分别获取鼻咽内镜图像中后鼻孔区域的第一面积和腺样体堵塞区域的第二面积；

根据所述第一面积和所述第二面积确定腺样体肥大程度。

本发明实施例提供的鼻咽内镜图像的处理方法，通过获取鼻咽内镜图像，确定鼻咽内镜图像的后鼻孔区域和腺样体堵塞区域，根据后鼻孔区域和腺样体堵塞区域确定腺样体肥大程度，由此可以使得得到的腺样体肥大程度更加精确。

结合第一方面，在第一方面第一实施方式中，在分别获取鼻咽内镜图像中后鼻孔区域的第一面积和腺样体堵塞区域的第二面积之前，还包括：

获取所述鼻咽内镜图像；

将所述鼻咽内镜图像输入到经过训练的U-Net神经网络中，得到识别结果；

判断所述识别结果是否包含所述后鼻孔区域和所述腺样体堵塞区域的全部边界；

当所述识别结果中包含所述后鼻孔区域和所述腺样体堵塞区域的全部边界，根据所述识别结果确定所述第一面积和所述第二面积。

结合第一方面第一实施方式，在第一方面第二实施方式中，鼻咽内镜图像的处理方法还包括：

当所述识别结果中不包含所述后鼻孔区域和所述腺样体堵塞区域的全部边界时，发出辅助识别指示消息；

当接收到辅助识别结果之后，根据所述识别结果和所述辅助识别结果确定所述第一面积和所述第二面积。

结合第一方面第一实施方式，在第一方面第三实施方式中，所述U-Net神经网络中深层网络中的卷积为可形变卷积。

结合第一方面第一实施方式，在第一方面第四实施方式中，利用神经网络结构搜索策略确定所述U-Net神经网络的浅层网络。

结合第一方面，在第一方面第五实施方式中，根据所述第一面积和所述第二面积确定腺样体肥大程度包括：计算所述第一面积与所述第二面积的比值，根据所述比值得到所述腺样体肥大程度。

根据第二方面，本发明实施例提供了一种鼻咽内镜图像的处理装置，包括：

获取模块，用于分别获取鼻咽内镜图像中后鼻孔区域的第一面积和腺样体堵塞区域的第二面积；

肥大程度确定模块，用于根据所述第一面积和所述第二面积确定腺样体肥大程度。

根据第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的鼻咽内镜图像的处理方法。

结合第三方面，在第三方面第一实施方式中，所述电子设备为终端或鼻咽内镜检查设备。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的鼻咽内镜图像的处理方法。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为腺样体正常示意图；

图2为腺样体肥大示意图；

图3为本发明实施例1中鼻咽内镜图像的处理方法的流程示意图；

图4为鼻咽内镜图像中后鼻孔区域、腺样体堵塞区域和腺样体非堵塞区域的示意图；

图5为原始的U-Net的网络结构示意图；

图6为改进后的U-Net的网络结构示意图；

图7为本发明实施例2中鼻咽内镜图像的处理装置的结构示意图；

其中：1、腺样体；2、腺样体堵塞区域；3、腺样体非堵塞区域。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例提供了一种鼻咽内镜图像的处理方法，图3为本发明实施例1中鼻咽内镜图像的处理方法的流程示意图，如图3所示，本发明实施例1的鼻咽内镜图像的处理方法包括以下步骤：

S101：分别获取鼻咽内镜图像中后鼻孔区域的第一面积和腺样体堵塞区域的第二面积。

目前计算机图像识别技术已经日臻成熟，如人脸识别技术。图4为鼻咽内镜图像中后鼻孔区域、腺样体堵塞区域和腺样体非堵塞区域的示意图。对于鼻咽内镜图像而言，后鼻孔为不规则椭圆形，后鼻孔边界在鼻咽内镜图像中很容易辨认，基于计算机图像识别技术，可以自动识别后鼻孔区域，即图4中用原点连成的线围成的区域。肥大的腺样体可以不同程度堵塞后鼻孔的上部(即腺样体堵塞区域2)，引起通气阻塞，其堵塞面的下缘一般边界清晰，堵塞面的亮度、光滑度也有别于咽腔内腺样体部分和后鼻孔周围组织，亮度有别于下方没有堵塞的后鼻孔区域(即腺样体非堵塞区域3)。基于计算机图像识别技术，可以自动识别腺样体堵塞区域2。

作为一种具体的实施方式，可以通过以下方式确定鼻咽内镜图像中后鼻孔区域的第一面积和腺样体堵塞区域的第二面积：获取所述鼻咽内镜图像；将所述鼻咽内镜图像输入到经过训练的U-Net神经网络中，得到识别结果；判断所述识别结果是否包含所述后鼻孔区域和所述腺样体堵塞区域的全部边界；当所述识别结果中包含所述后鼻孔区域和所述腺样体堵塞区域的全部边界，根据所述识别结果确定所述第一面积和所述第二面积。

作为进一步的实施方式，还包括：当所述识别结果中不包含所述后鼻孔区域和所述腺样体堵塞区域的全部边界时，发出辅助识别指示消息；当接收到辅助识别结果之后，根据所述识别结果和所述辅助识别结果确定所述第一面积和所述第二面积。

也就是说，对于图像质量较高、后鼻孔界限和腺样体堵塞面下界清晰的鼻咽内镜图像，计算机可以自动识别图像上的后鼻孔区域和腺样体堵塞区域，然后计算出腺样体堵塞程度的精确比例(百分比)。对于图像质量欠佳、后鼻孔界限和腺样体下界欠清晰的鼻咽内镜图像，可以采用人工调整，用鼠标在显示屏上调整后鼻孔区域、腺样体鼻腔面区域的轮廓，确定后鼻孔非堵塞区域，然后计算出腺样体堵塞程度的精确比例。

更加具体的，所述鼻咽内镜图像可以通过鼻咽内镜检查设备例如鼻内镜、电子鼻咽镜、纤维鼻咽镜等对鼻咽内部检查得到。对于鼻咽内镜检查设备需要尽量采用广角镜头，这样可以尽可能把后鼻孔图像完整采集到，且图像清晰。

在本发明实施例1中，对于腺样体肥大鼻内窥镜下影像的分析，采用U-Net网络进行分割，原始的U-Net的网络结构如图5所示。虽然U-Net对于解决小数据集的医学图像分割问题有较好的表现，但种种因素，鼻内窥镜成像质量存在以下问题：1、检查需要孩子屏住呼吸，有些孩子忍不住就会造成镜头上有“哈气”,因而造成图像模糊，看不清楚腺样体肥大的具体边界；2、镜头距离远近和镜头角度不同，造成背景冗余信息不同；3、腺样体因肥大程度不同呈现形态多样化；4、分泌物遮挡有效信息。

以上成像问题会对网络学习造成很大的难度，所以传统的语义分割神经网络、包括U-net都难以直接应用于本数据，取得相对满意的分割结果。为了解决以上问题，本发明实施例1提供了一种改进后的U-Net的网络，图6为改进后的U-Net的网络结构示意图，如图6所示：

1、利用神经网络结构搜索(Neural Architecture Search，NAS)策略确定所述U-Net神经网络的浅层网络。利用确定的浅层网络在在本数据集上进行网络搜索。在浅层，数据的空间信息比较丰富，可以提取到更多的边缘细节信息，随着网络的加深，这些信息会损失。NAS的搜索内容包括但不限于：卷积核大小、卷积核的数量、模块之间的连接方式。在自己数据集上搜索得到的网络比人工设计更省时、高效，且能得到比人工设计的网络更好的分割结果，可以更好的提取数据集的有效特征。

2、将U-Net深层网络中的传统卷积换成可形变卷积，解决腺样体形态多样、边界不规则的问题。传统卷积的操作形状是规则的，卷积核大小是固定的，如3×3，5×5，7×7。可形变卷积就是在基础的卷积核上添加一个方向向量，使得卷积核可变为任意形状。这样可以自动调整尺度或者感受野来适应图像不同位置上不同尺度或者形变的物体，更好地捕捉腺样体边缘不规则信息。

具体的，可以利用多年经验的临床医生利用pair(医学标注软件)对图像进行后鼻孔和腺样体肥大区域的标注，此标注图像作为网络学习分割的“金标准”。将原始图像输入网络进行训练，网络的输出与我们的“金标准”进行比较，进而调整网络的各个参数。最终获得鲁棒性和准确率都比较高的网络。

S102：根据所述第一面积和所述第二面积确定腺样体肥大程度。

作为具体的实施方式，根据所述第一面积和所述第二面积确定腺样体肥大程度包括：计算所述第一面积与所述第二面积的比值，根据所述比值得到所述腺样体肥大程度。

作为具体的实施方式，可以基于神经网络预测结果，自动识别腺样体堵塞区域2、腺样体非堵塞区域3，根据腺样体堵塞区域2和腺样体非堵塞区域3的面积计算出腺样体堵塞程度的精确比例，即腺样体堵塞区域2占后鼻孔区域的百分比：腺样体堵塞区域2的面积a÷(腺样体堵塞区域2的面积a+腺样体非堵塞区域3的面积b)×100％。也可以基于神经网络预测结果，自动识别腺样体堵塞区域2、后鼻孔区域，根据腺样体堵塞区域2和后鼻孔区域的面积计算出腺样体堵塞程度的精确比例，即腺样体堵塞区域2的面积占后鼻孔面积的百分比：腺样体堵塞区域2的面积a÷后鼻孔区域的面积c×100％。在本发明实施例1中，后鼻孔区域由腺样体堵塞区域2加上腺样体非堵塞区域3组成。

临床目前对鼻咽内镜检查图像中腺样体肥大程度的评估是依据肉眼主观判定，数据结果随意性和误差性较大，影响诊断可信性。本发明实施例1通过确定后鼻孔区域和腺样体堵塞区域，利用虚拟计算技术得出精准的腺样体堵塞后鼻孔的百分比数据，数据精确可信。

实施例2

本发明实施例提供了一种鼻咽内镜图像的处理装置，图7为本发明实施例2中鼻咽内镜图像的处理装置的结构示意图，如图7所示，本发明实施例2的鼻咽内镜图像的处理装置包括获取模块20、肥大程度确定模块22。

具体的，获取模块20，用于分别获取鼻咽内镜图像中后鼻孔区域的第一面积和腺样体堵塞区域的第二面积；

肥大程度确定模块22，用于根据所述第一面积和所述第二面积确定腺样体肥大程度。

上述鼻咽内镜图像的处理装置具体细节可以对应参阅图1至图6所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

实施例3

本发明实施例还提供了一种电子设备，该电子设备可以包括处理器和存储器，其中处理器和存储器可以通过总线或者其他方式连接。

作为具体的实施方式，所述电子设备为终端或鼻咽内镜检查设备。其中鼻咽内镜检查设备可以为鼻内镜、电子鼻咽镜或纤维鼻咽镜。

目前临床上采用的内镜型号种类很多，基于本方法所开发的图像测量软件，经内镜厂家许可，可以直接装载内镜检查系统。也可以采用数位板(手写电脑)，将图像信息从内镜检查设备外输至数位板，利用数位板处理。

处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的鼻咽内镜图像的处理方法对应的程序指令/模块(例如，图7所示的获取模块20、肥大程度确定模块22)。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的鼻咽内镜图像的处理方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行如图1-6所示实施例中的鼻咽内镜图像的处理方法。

上述电子设备具体细节可以对应参阅图1至图7所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种鼻咽内镜图像的处理方法，其特征在于，包括：

分别获取鼻咽内镜图像中后鼻孔区域的第一面积和腺样体堵塞区域的第二面积；

根据所述第一面积和所述第二面积确定腺样体肥大程度。

2.根据权利要求1所述的方法，其特征在于，在分别获取鼻咽内镜图像中后鼻孔区域的第一面积和腺样体堵塞区域的第二面积之前，还包括：

获取所述鼻咽内镜图像；

将所述鼻咽内镜图像输入到经过训练的U-Net神经网络中，得到识别结果；

判断所述识别结果是否包含所述后鼻孔区域和所述腺样体堵塞区域的全部边界；

当所述识别结果中包含所述后鼻孔区域和所述腺样体堵塞区域的全部边界，根据所述识别结果确定所述第一面积和所述第二面积。

3.根据权利要求2所述的方法，其特征在于，还包括：

当所述识别结果中不包含所述后鼻孔区域和所述腺样体堵塞区域的全部边界时，发出辅助识别指示消息；

当接收到辅助识别结果之后，根据所述识别结果和所述辅助识别结果确定所述第一面积和所述第二面积。

4.根据权利要求2所述的方法，其特征在于，所述U-Net神经网络中深层网络中的卷积为可形变卷积。

5.根据权利要求2所述的方法，其特征在于，利用神经网络结构搜索策略确定所述U-Net神经网络的浅层网络。

6.根据权利要求1所述的方法，其特征在于，根据所述第一面积和所述第二面积确定腺样体肥大程度包括：

计算所述第一面积与所述第二面积的比值，根据所述比值得到所述腺样体肥大程度。

7.一种鼻咽内镜图像的处理装置，其特征在于，包括：

获取模块，用于分别获取鼻咽内镜图像中后鼻孔区域的第一面积和腺样体堵塞区域的第二面积；

肥大程度确定模块，用于根据所述第一面积和所述第二面积确定腺样体肥大程度。

8.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-6中任一项所述的鼻咽内镜图像的处理方法。

9.根据权利要求8所述的电子设备，其特征在于，所述电子设备为终端或鼻咽内镜检查设备。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的鼻咽内镜图像的处理方法。

Images