CN108596897A - 基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法 - Google Patents

基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法 Download PDF

Info

Publication number
CN108596897A
CN108596897A CN201810395048.5A CN201810395048A CN108596897A CN 108596897 A CN108596897 A CN 108596897A CN 201810395048 A CN201810395048 A CN 201810395048A CN 108596897 A CN108596897 A CN 108596897A
Authority
CN
China
Prior art keywords
image
velopharyngeal
boundary
area
opening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810395048.5A
Other languages
English (en)
Other versions
CN108596897B (zh
Inventor
何凌
黄毅鹏
王熙月
尹恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201810395048.5A priority Critical patent/CN108596897B/zh
Publication of CN108596897A publication Critical patent/CN108596897A/zh
Application granted granted Critical
Publication of CN108596897B publication Critical patent/CN108596897B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法,该检测方法包括获取目标图像,对图像帧进行预处理,去除图像中的文字信息和黑色区域,计算图像中的黑腔位置,计算黑腔区域的面积占比,对腭咽口边界状态做初步判断,在确定腭咽口为张开状态下,基于水平集计算腭咽口的初始轮廓,并对上下左右边界进行修正得到相应的腭咽口边界,对腭咽口边界分割后计算腭咽口面积并计算腭咽闭合度。相比于现有技术,检测结果客观准确,实现较高程度的自动测量,在临床上对腭咽闭合功能的数字化评估提供可靠的参考数据,符合精准医疗的发展需求,提高目标区域的提取准确度和降低算法开销。

Description

基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法
技术领域
本发明涉及图像处理领域,尤其是一种基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法。
背景技术
腭咽闭合功能的评估是腭裂手术效果评价的核心。对于腭裂的治疗不同于唇裂,不单纯以形态恢复为评判标准,而是以重建的腭部形态下的腭咽闭合功能为准,所以,临床上以腭咽闭合度作为效果评价的关键指标。
根据美国颅颌面协会(ACPA)建议,腭裂手术前需进行语音和腭咽功能评估,医生根据评估结果结合专业知识和临床经验判断是否需要手术。因此,临床上以腭咽闭合率作为二期手术选择的标准参考。通常腭咽闭合度的计算方法是由专业言语治疗师使用鼻咽内镜观测患者的腭咽口从静息状态到连续性发音状态下收缩关闭的最大程度的比值进行主观估算,根据闭合率的数值结果作为参考,而选择不同的手术方式矫正腭咽闭合不全。
在发音时,腭咽口的运动包括软腭、两侧咽侧壁和咽后壁的整体收缩运动。其运动方向为:软腭向咽后壁方向移动,两咽侧壁向中心方向移动。若软腭与咽后壁接触,腭咽口没有空隙,则腭咽完全关闭,如若软腭不能与咽后壁接触,两咽侧壁也不能靠拢接触,腭咽口余留间隙,则视为腭咽闭合不全。
尽管鼻咽内镜为目前医疗界首选的客观测量仪器,但由于发音运动为持续性运动,腭咽口开放与关闭呈瞬时交替变化,目前现有技术中尚无可靠的客观测量软件,均以治疗医师的手工测绘为主,具有相当的主观性和不稳定性,其结果甚至会造成误差导致过度医疗。为适应精准医疗的发展需求,临床需要更准确的数字化评估技术,因此实现鼻咽镜下腭咽闭合功能的自动测量,将大大提升腭咽功能诊断的准确性和标准化。
本发明提供的方法采用基于图像处理的全自动分割,实现对腭咽口边界的提取,及腭咽闭合度的计算,为临床医生提供检测数据参考。
发明内容
本发明针对现有技术存在的上述技术问题,提供一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法,为克服人工查看和测绘计算腭咽口闭合度误差大的缺陷,利用图像处理的方法对鼻咽内镜下的腭咽图像进行全自动的分割和提取,从而实现对腭咽闭合度的数字化准确计算和评估。
本发明采用以下技术方案:
一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法,具体包括以下步骤:
(1)获取目标图像,由内镜主机采集录制整个检查过程的视频,截取被测者发音稳定状态下的视频段,提取该视频中的所有图像帧Ii(i=1,2,3…,N),其中Ii为第i帧图像,N为视频中包含的所有图像帧的总数;
(2)对图像帧进行预处理,去除图像中的文字信息和黑色区域;
(2a)首先对视频中的每一帧图像,去除左右及上下边界的黑色区域;
(2b)对图像Ii1中的白色区域求取连通域并计算连通域面积,找到面积最大的白色区域,求取该白色区域横坐标的最小值Lmin与最大值Lmax,求取白色区域纵坐标的最小值Hmin与最大值Hmax
(2c)在原彩色图像Ii中,截取图像,满足坐标点的横坐标范围为[Lmin,Lmax],纵坐标的范围为[Hmin,Hmax],截取的图像为Ii2
(2d)对视频中的每帧图像,去除四个角的黑色区域;
(2e)采用相同的方法对其余三个角的填充方法相同,填充后的图像为Ii3
(3)计算图像中的黑腔位置:对预处理后的图像Ii3在腭咽处的黑腔计算黑腔区域位置;
(3a)对提取的彩色图像帧Ii,对彩色图像的三个图像通道R、G、B设定灰度阈值条件 Thre1,通过对像素点进行灰度值筛选计算出黑腔区域的位置,得到预处理后的图像Ii3中黑腔轮廓点集合Pi3,并同时确定黑腔区域的左端点Li和左端点Ri
(4)计算黑腔区域的面积占比:在确定黑腔区域的初步位置后,计算该黑腔轮廓点集合中的像素点个数,所述像素点个数表征对应图像区域面积的参数,进而通过计算黑腔区域中像素点个数与整幅图像像素点个数的比值来计算黑腔面积占整幅图像面积的百分比 Tarea
(5)对腭咽口边界状态做初步判断;
(5a)若黑腔区域面积占整幅图像面积的百分比Tarea≤4.5%,则认为此时腭咽口是闭合状态,此时将黑腔像素点的边界连接起来并作为腭咽口边界输出;
(5b)若黑腔区域面积占整幅图像面积的百分比Tarea>4.5%,则认为此时腭咽口是张开状态,还需要对腭咽口边界做进一步筛选;
(6)在确定腭咽口为张开状态下,基于水平集计算腭咽口的初始轮廓,并对上下左右边界进行修正得到相应的腭咽口边界;
(7)对腭咽口边界分割后计算腭咽口面积;
对于第i帧图像,计算其腭咽口面积Ai:计算腭咽口边界区域内像素点个数即为腭咽口面积面积Ai
(8)计算腭咽闭合度;
对视频中的所有图像帧Ii(i=1,2,3…,N)计算对应的腭咽口面积Ai后,求取并确定腭咽口面积最大的图像帧,设该帧图像为Imax,其对应的腭咽口面积为Amax,按照公式(1)计算每帧图像的腭咽闭合度Bi
Bi=Ai/Amax(i=1,2,3…,N) (1)。
所述步骤6具体包括以下步骤:
(6a)基于水平集计算初始轮廓:
对选定的第i帧经过预处理后的基准图像Ii3,确定距离图像边界10像素的矩形框内的点集合,对其进行水平集演化得到最优Wn值下的初始水平集轮廓Cfi
(6b)对初始轮廓的上边界进行修正:将水平集找到的上边缘强行拉回到检测出的黑腔的上边沿,具体为首先将黑腔边界的上边界Pi-up提取出来,同时把水平集初始轮廓的上边界 Cfi-up提取出来,比较水平集上边缘Cfi-up和黑腔上边缘Pi-up里横坐标相同的点所对应的纵坐标,选择两者较小的点作为最终确定的上边界点;
(6c)对初始轮廓的下边界进行修正:在图像的下半部分中寻找最亮的区域,将其边界作为下边界;
(6d)对初始轮廓的左右边界进行修正:
上边界和下边界确定后,将上下边界的左右两端互相连接得到轮廓的左右边界,如果经过上下边界的修正后上边界和下边界已经互相连接,这时左右边界便自动确定了。
所述步骤6c具体计算步骤如下:
(6c1)对图像Ii进行对比度拉伸,将图像的R、G、B通道同时进行拉伸,得到拉伸后的图像;
(6c2)在拉伸后的图像中找到图像中较亮的区域,其方法为设置灰度阈值条件Thre2,并基于图像区域像素灰度值与阈值条件比较进行筛选,得到较亮区域AreaL;
(6c3)找到较亮区域AreaL中最上面的一点A,所述最上面一点即为较亮区域AreaL中纵坐标位置为最高所在的像素点,即为对应的点A;
(6c4)计算黑腔区域质点Q,以及点Q分别和黑腔左右边界点(Li和Ri)的连线L1和L2,分别计算这两条线L1、L2的斜率k1、k2;
(6c5)以步骤(6c3)中的A点为中心,画两条线L11和L12,其斜率分别为步骤(6c4)中的斜率k2和k1,以这两条线作为下边界,其中L11和L12分别与L1和L2平行。
进一步的,灰度阈值条件为:
Thre1=R<100&G<80&B<80,Thre2=200<R<255&85<G<255&85<B<255。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明提供的鼻咽镜下腭咽闭合度全自动检测方法,可以基于鼻咽内镜获取的腭咽图像进行全自动检测,利用图像处理的方法提取和分割腭咽闭合区域,相比于现有技术中的人工测绘和估算,本发明的检测方法检测结果客观准确,实现较高程度的自动测量;
2、本发明提供的鼻咽镜下腭咽闭合度全自动检测方法,根据腭咽图像的特点确定黑腔区域用于确定目标区域的参考,并通过全自动分割方法提取腭咽闭合区域并计算相应的腭咽闭合度,在临床上对腭咽闭合功能的数字化评估提供可靠的参考数据,符合精准医疗的发展需求。
3、本发明提供的鼻咽镜下腭咽闭合度全自动检测方法,创新性高,在黑腔区域点的选取和轮廓区域调整优化上进行改进,提高目标区域的提取准确度和降低算法开销。
附图说明
图1是本发明实施例提供的腭咽闭合度全自动检测方法流程图。
图2是本发明实施例提供的鼻咽内镜原始图像帧及其预处理的示意图。
图3是本发明实施例提供的腭咽口为闭合状态下的边界。
图4是水平集演化得到最优Wn值下的水平集轮廓示意图。
图5是本发明实施例提供的图像梯度特征提取示意图。
图6是本发明实施例提供的设置初始水平集轮廓的示意图。
图7是本发明实施例提供的不同演变次数对应的水平集轮廓示意图。
图8是本发明实施例提供的腭咽口上边界提取示意图。
图9为修正上边界后的轮廓。
图10是本发明实施例提供的腭咽口下边界提取示意图。
图11是本发明实施例提供的腭咽口边界分割效果示意图。
图12是不同采集图像中腭咽口边界自动分割效果图。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案,下面结合本发明的附图,对本发明的技术方案进行清楚、完整的描述,基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例,都应当属于本申请保护的范围。
如图1,本发明提供的鼻咽镜下腭咽闭合度全自动检测方法的具体步骤如下。
(1)获取目标图像,在实际操作中将鼻咽内镜软管从中鼻道插入,到达腭咽口平面后固定,以能清楚看到软腭、咽侧壁和咽后壁为适宜位置,然后引导被测者发音。由内镜主机采集录制整个检查过程的视频,人工或自动截取被测者发音稳定状态下的视频段,该段视频需包含腭咽口的静息状态和连续性发音状态下腭咽口的收缩复位状态。提取该视频中的所有图像帧Ii(i=1,2,3…,N),其中Ii为第i帧图像,N为视频中包含的所有图像帧的总数。
(2)对图像帧进行预处理,由鼻咽内镜设备得到的初始视频段中,包含一些文字信息,且存在一些黑色区域(如图2a所示的鼻咽内镜原始图像帧),将影响后续基于图像处理技术的腭咽口边界分割算法。因此,对视频中的每帧图像进行预处理,去除图像中的文字信息和黑色区域。
(2a)首先对视频中的每一帧图像,去除左右及上下边界的黑色区域。其具体算法为:以一帧图像Ii为例,首先对该图像RGB中R通道的图像进行二值化,设置阈值为20,得到图像Ii1。二值化后的图像如图2b所示。
(2b)对图像Ii1中的白色区域求取连通域并计算连通域面积。找到面积最大的白色区域,求取该白色区域横坐标的最小值Lmin与最大值Lmax,求取白色区域纵坐标的最小值Hmin与最大值Hmax
(2c)在原彩色图像In中,截取图像,满足坐标点的横坐标范围为[Lmin,Lmax],纵坐标的范围为[Hmin,Hmax],截取的图像为Ii2,如图2c所示。
(2d)对视频中的每帧图像,去除四个角的黑色区域。具体算法为:对图像的四个角按照如下步骤进行相同的处理,以图Ii2中的左上角为例,如图2d所示,对图像Ii2,计算其左上角黑色直角三角形区域的两条直角边l1,l2的长度,取l=max(l1,l2)。绘制一个等腰三角形Δ1,边长为l,如图2e中方形区域的左上角三角形线条所示。取等腰三角形区域Δ2,如图2e中方形区域的右下角三角形区域所示,其斜边与Δ1重合。将该等腰三角形区域Δ2中的像素点,以其斜边为中心,对称到等腰三角形Δ1所示的区域中,完成对左上角黑色区域的填充。
(2e)采用相同的方法对其余三个角的填充方法相同,填充后的图像为Ii3,其结果如图2f所示。
在发音运动时,腭咽口各部分(软腭、咽侧壁和咽后壁)的运动模式为收缩聚拢再放松复位,回到静息位。其中收缩运动的运动方向为:软腭向咽后壁方向移动,两咽侧壁向中心方向移动。放松复位的运动方向与收缩运动相反。因此在发音运动的视频帧中需要对各运动状态下的腭咽口边界进行提取和分割。
(3)计算图像中的黑腔位置:由于图像获取是通过将内窥镜伸入到咽部进行的,光线分布的原因会使得在腭咽口内部其图像灰度值较低、颜色较暗,导致在腭咽处出现黑腔,所以首先计算出预处理后的图像Ii3中黑腔的位置:
本方案中提取的目标图像为彩色图像,彩色图像有三个图像通道R、G、B,每个图像通道的灰度值范围为0-255,设定灰度阈值条件Thre1=R<100&G<80&B<80,通过对像素点进行灰度值筛选计算出黑腔区域的位置,得到黑腔轮廓点集合Pi;同时确定黑腔的左端点Li和左端点Ri
(4)计算黑腔区域的面积占比:在确定黑腔区域的初步位置后,计算该黑腔中的像素点个数,所述像素点个数可看成是表征对应图像区域面积的参数,因此可通过计算黑腔中像素点个数与整幅图像像素点个数的比值来计算黑腔面积占整幅图像面积的百分比Tarea
(5)对腭咽口边界做初步判断:
(5a)若黑腔面积占整幅图像面积的百分比Tarea≤4.5%,则认为此时腭咽口是闭合状态,此时将黑腔像素点的边界连接起来并作为腭咽口边界输出,如图3所示;
(5b)若黑腔面积占整幅图像面积的百分比Tarea>4.5%,则认为此时腭咽口是张开状态,还需要对腭咽口边界做进一步筛选。
(6)在确定腭咽口为张开状态下,基于水平集计算腭咽口的初始轮廓,并对上下左右边界进行修正得到相应的腭咽口边界。
在鼻咽内镜图像中,咽侧壁为腭咽口的左右边界,软腭为腭咽口的上边界。由鼻咽内镜图像可知,腭咽口的左右及上边界信息较为明显。由于鼻咽内窥镜的光照效果,在腭咽口内部,其图像灰度值较低,颜色较暗;在腭咽口外部,其图像灰度值较高,颜色较亮。在腭咽口左右及上边界处,有较为明显的分界线,在下边界处分界线不明显,但下边界处的部分存在颜色较亮的区域。
(6a)基于水平集计算初始轮廓,
对选定的第i帧经过预处理后的基准图像Ii3,确定距离图像边界10像素的矩形框内的点集合,对其进行水平集演化得到最优Wn值下的水平集轮廓Cfi,如图4所示,图4中包含五个区域,因此提取出主要的5个区域;
具体计算步骤如下:
(6a1)对图像Ii做高斯平滑滤波,求出图像的特征参数值,根据该特征参数值求水平集。本实施例中采用的特征参数值是平滑滤波后的鼻咽内镜图像的横向灰度梯度Ix、纵向灰度梯度Iy以及梯度f:f=Ix2+Iy2
如图5所示为图像Ii3的各特征参数值:a为横向灰度梯度Ix,b为纵向灰度梯度Iy,c为梯度f。
(6a2)根据鼻咽内镜图像中腭咽口内部区域的边界与图像边界之间的距离,设置初始水平集Csi,Csi表示第i帧图像的初始水平集。初始水平集Csi为一个矩形框(如图6中矩形框所示),矩形框大小由矩形框与图像边沿的距离wi决定,wi表示第i帧的矩形框与图像边沿的距离。设图像的宽度为width_image,则矩形框的宽度 width_Rec_box=width_image-2*wi;设图像的高度为height_image,则矩形框的高度 height_rec_box=height_image-2*wi
(6a3)对于第i帧图像Ii,分别计算当Wi取值为1,2,3,...,20时进行300次演化后的水平集轮廓Cfij,j=1,2,...,20。对于每个水平集轮廓Cfij,分别计算点集合Pi中每个点到该水平集轮廓的最短距离,并计算这8个最短距离的均值dij,j=1,2,3,...,20。当dij取最小值时,其对应的水平集轮廓Cfi即为第i帧的最优水平集轮廓,并得到该水平集轮廓的参数Wi
其中对于演化次数的选取,在根据图像特征参数值和初始水平集Csi采用水平集演变算法进行水平集演变时,如图7所示,其中a、b和c分别为演变100次、200次和300次时的水平集轮廓,最终根据得到的最佳的水平集Cfi确定演变次数为300次。
(6b)对初始轮廓的上边界进行修正:将水平集找到的上边缘强行拉回到检测出的黑腔的上边沿,以此解决黑腔靠到上边界的问题;
首先将黑腔边界的上边界Pi-up提取出来,同时把水平集初始轮廓的上边界Cfi-up提取出来。比较水平集上边缘Cfi-up和黑腔上边缘Pi-up里横坐标相同的点所对应的纵坐标,选择两者较小的点作为最终确定的上边界点,如图8-图9所示,其中图8a为对图像Ii提取的初始水平集轮廓,图8b为对图像Ii提取的黑腔,图8c为在图像帧上标出的与图8a对应的黑腔区域,图8d为提取的黑腔上边界Pi-up示意图,图8e为提取的水平集上边界Cfi-up示意图,图8f为修正后的最终确定的上边界示意图,图9为修正上边界后的轮廓。
(6c)对初始轮廓的下边界进行修正:在图像的下半部分中寻找最亮的区域,将其边界作为下边界;具体计算步骤如下:
(6c1)对比度拉伸,将图像的R、G、B通道同时使用函数imadjust进行拉伸,得到拉伸后的图像,如图10a所示;这里是结合stretchlim函数实现自适应拉伸
(6c2)在拉伸后的图像中找到图像中较亮的区域,其方法为:设置灰度阈值条件Thre2=200<R<255&85<G<255&85<B<255,并基于图像区域像素灰度值与阈值条件比较进行筛选,得到较亮区域AreaL,如图10b中下方的灰色密闭线所示的区域;
(6c3)找到较亮区域AreaL中最上面的一点A:所述最上面一点即为较亮区域AreaL中纵坐标位置为最高所在的像素点,即为对应的点A;
(6c4)计算黑腔质点Q,以及点Q分别和黑腔左右边界点(Li和Ri)的连线L1和L2,如图10b中上方白色线段所示,分别计算这两条线L1、L2的斜率k1、k2;
(6c5)以步骤(6c3)中的A点为中心,画两条线L11和L12,其斜率分别为步骤(4)中的斜率k2和k1,以这两条线作为下边界,如图10c中间线段所示,其中L11和L12分别与L1和L2平行。
(6d)对初始轮廓的左右边界进行修正:
上边界和下边界确定后,将上边界和下边界左右两边互相连接得到左右边界。如果上边界和下边界已经互相连接,这时左右边界便自动确定了。
由上述步骤对腭咽口图像进行边界分割后得到最终的腭咽口边界轮廓点集合Pfi,效果如图11所示。图12所示为不同图像的腭咽口边界自动分割效果图。
(7)对腭咽口边界分割后计算腭咽口面积:对于第i帧图像,计算其腭咽口面积Ai:对图11所示,红线画出的腭咽口区域,计算区域内像素点个数即为腭咽口面积面积Ai
(8)腭咽闭合度计算:对视频中的所有图像帧Ii(i=1,2,3…,N)计算对应的腭咽口面积Ai后,求取并确定腭咽口面积最大的图像帧,设该帧图像为Imax,其对应的腭咽口面积为 Amax。按照公式(1)计算每帧图像的腭咽闭合度Bi
Bi=Ak/Amax(i=1,2,3…,N) (1)。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (4)

1.一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法,其特征在于,具体包括以下步骤:
(1)获取目标图像,由内镜主机采集录制整个检查过程的视频,截取被测者发音稳定状态下的视频段,提取该视频中的所有图像帧Ii(i=1,2,3…,N),其中Ii为第i帧图像,N为视频中包含的所有图像帧的总数;
(2)对图像帧进行预处理,去除图像中的文字信息和黑色区域;
(2a)首先对视频中的每一帧图像,去除左右及上下边界的黑色区域;
(2b)对图像Ii1中的白色区域求取连通域并计算连通域面积,找到面积最大的白色区域,求取该白色区域横坐标的最小值Lmin与最大值Lmax,求取白色区域纵坐标的最小值Hmin与最大值Hmax
(2c)在原彩色图像Ii中,截取图像,满足坐标点的横坐标范围为[Lmin,Lmax],纵坐标的范围为[Hmin,Hmax],截取的图像为Ii2
(2d)对视频中的每帧图像,去除四个角的黑色区域;
(2e)采用相同的方法对其余三个角的填充方法相同,填充后的图像为Ii3
(3)计算图像中的黑腔位置:对预处理后的图像Ii3在腭咽处的黑腔计算黑腔区域位置;
(3a)对提取的彩色图像帧Ii,对彩色图像的三个图像通道R、G、B设定灰度阈值条件Thre1,通过对像素点进行灰度值筛选计算出黑腔区域的位置,得到预处理后的图像Ii3中黑腔轮廓点集合Pi3,并同时确定黑腔区域的左端点Li和左端点Ri
(4)计算黑腔区域的面积占比:在确定黑腔区域的初步位置后,计算该黑腔轮廓点集合中的像素点个数,所述像素点个数表征对应图像区域面积的参数,进而通过计算黑腔区域中像素点个数与整幅图像像素点个数的比值来计算黑腔面积占整幅图像面积的百分比Tarea
(5)对腭咽口边界状态做初步判断;
(5a)若黑腔区域面积占整幅图像面积的百分比Tarea≤4.5%,则认为此时腭咽口是闭合状态,此时将黑腔像素点的边界连接起来并作为腭咽口边界输出;
(5b)若黑腔区域面积占整幅图像面积的百分比Tarea>4.5%,则认为此时腭咽口是张开状态,还需要对腭咽口边界做进一步筛选;
(6)在确定腭咽口为张开状态下,基于水平集计算腭咽口的初始轮廓,并对上下左右边界进行修正得到相应的腭咽口边界;
(7)对腭咽口边界分割后计算腭咽口面积;
对于第i帧图像,计算其腭咽口面积Ai:计算腭咽口边界区域内像素点个数即为腭咽口面积面积Ai
(8)计算腭咽闭合度;
对视频中的所有图像帧Ii(i=1,2,3…,N)计算对应的腭咽口面积Ai后,求取并确定腭咽口面积最大的图像帧,设该帧图像为Imax,其对应的腭咽口面积为Amax,按照公式(1)计算每帧图像的腭咽闭合度Bi
Bi=Ai/Amax(i=1,2,3…,N) (1)。
2.如权利要求1所述的一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法,其特征在于,所述步骤6具体包括以下步骤:
(6a)基于水平集计算初始轮廓:
对选定的第i帧经过预处理后的基准图像Ii3,确定距离图像边界10像素的矩形框内的点集合,对其进行水平集演化得到最优Wn值下的初始水平集轮廓Cfi
(6b)对初始轮廓的上边界进行修正:将水平集找到的上边缘强行拉回到检测出的黑腔的上边沿,具体为首先将黑腔边界的上边界Pi-up提取出来,同时把水平集初始轮廓的上边界Cfi-up提取出来,比较水平集上边缘Cfi-up和黑腔上边缘Pi-up里横坐标相同的点所对应的纵坐标,选择两者较小的点作为最终确定的上边界点;
(6c)对初始轮廓的下边界进行修正:在图像的下半部分中寻找最亮的区域,将其边界作为下边界;
(6d)对初始轮廓的左右边界进行修正:
上边界和下边界确定后,将上下边界的左右两端互相连接得到轮廓的左右边界,如果经过上下边界的修正后上边界和下边界已经互相连接,这时左右边界便自动确定了。
3.如权利要求1所述的一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法,其特征在于,所述步骤6c具体计算步骤如下:
(6c1)对图像Ii进行对比度拉伸,将图像的R、G、B通道同时进行拉伸,得到拉伸后的图像;
(6c2)在拉伸后的图像中找到图像中较亮的区域,其方法为设置灰度阈值条件Thre2,并基于图像区域像素灰度值与阈值条件比较进行筛选,得到较亮区域AreaL;
(6c3)找到较亮区域AreaL中最上面的一点A,所述最上面一点即为较亮区域AreaL中纵坐标位置为最高所在的像素点,即为对应的点A;
(6c4)计算黑腔区域质点Q,以及点Q分别和黑腔左右边界点(Li和Ri)的连线L1和L2,分别计算这两条线L1、L2的斜率k1、k2;
(6c5)以步骤(6c3)中的A点为中心,画两条线L11和L12,其斜率分别为步骤(6c4)中的斜率k2和k1,以这两条线作为下边界,其中L11和L12分别与L1和L2平行。
4.如权利要求1所述的一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法,其特征在于,灰度阈值条件Thre1=R<100&G<80&B<80,Thre2=200<R<255&85<G<255&85<B<255。
CN201810395048.5A 2018-04-27 2018-04-27 基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法 Expired - Fee Related CN108596897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810395048.5A CN108596897B (zh) 2018-04-27 2018-04-27 基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810395048.5A CN108596897B (zh) 2018-04-27 2018-04-27 基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法

Publications (2)

Publication Number Publication Date
CN108596897A true CN108596897A (zh) 2018-09-28
CN108596897B CN108596897B (zh) 2021-08-20

Family

ID=63610452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810395048.5A Expired - Fee Related CN108596897B (zh) 2018-04-27 2018-04-27 基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法

Country Status (1)

Country Link
CN (1) CN108596897B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111000633A (zh) * 2019-12-20 2020-04-14 山东大学齐鲁医院 一种内镜诊疗操作过程的监控方法及系统
CN112419353A (zh) * 2020-11-26 2021-02-26 复旦大学附属中山医院 一种检测开合式工具的方法、装置
CN112766416A (zh) * 2021-02-10 2021-05-07 中国科学院深圳先进技术研究院 一种消化内镜导航方法和系统
CN114332025A (zh) * 2021-12-29 2022-04-12 长沙慧维智能医疗科技有限公司 消化内镜口咽通过时间自动检测系统及方法
CN117132948A (zh) * 2023-10-27 2023-11-28 南昌理工学院 景区游客流量监控方法、系统、可读存储介质及计算机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2645329A1 (en) * 2012-03-27 2013-10-02 Westfälische Wilhelms-Universität Münster Method and system for image segmentation
CN103393423A (zh) * 2013-08-02 2013-11-20 广州医学院第一附属医院 一种口腔检测系统
CN104992707A (zh) * 2015-05-19 2015-10-21 四川大学 一种腭裂语音喉塞音自动识别算法及装置
CN105286798A (zh) * 2015-11-04 2016-02-03 深圳市福生医疗器械有限公司 腭咽闭合检测装置及检测方法
US20170110030A1 (en) * 2015-10-19 2017-04-20 Jennifer Branchini Apparatus and Method For Obtaining Visual Oral Airflow Feedback in Speech

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2645329A1 (en) * 2012-03-27 2013-10-02 Westfälische Wilhelms-Universität Münster Method and system for image segmentation
CN103393423A (zh) * 2013-08-02 2013-11-20 广州医学院第一附属医院 一种口腔检测系统
CN104992707A (zh) * 2015-05-19 2015-10-21 四川大学 一种腭裂语音喉塞音自动识别算法及装置
US20170110030A1 (en) * 2015-10-19 2017-04-20 Jennifer Branchini Apparatus and Method For Obtaining Visual Oral Airflow Feedback in Speech
CN105286798A (zh) * 2015-11-04 2016-02-03 深圳市福生医疗器械有限公司 腭咽闭合检测装置及检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111000633A (zh) * 2019-12-20 2020-04-14 山东大学齐鲁医院 一种内镜诊疗操作过程的监控方法及系统
CN112419353A (zh) * 2020-11-26 2021-02-26 复旦大学附属中山医院 一种检测开合式工具的方法、装置
CN112419353B (zh) * 2020-11-26 2023-09-26 复旦大学附属中山医院 一种检测开合式工具的方法、装置
CN112766416A (zh) * 2021-02-10 2021-05-07 中国科学院深圳先进技术研究院 一种消化内镜导航方法和系统
CN112766416B (zh) * 2021-02-10 2023-06-30 中国科学院深圳先进技术研究院 一种消化内镜导航方法和系统
CN114332025A (zh) * 2021-12-29 2022-04-12 长沙慧维智能医疗科技有限公司 消化内镜口咽通过时间自动检测系统及方法
CN114332025B (zh) * 2021-12-29 2022-07-26 长沙慧维智能医疗科技有限公司 消化内镜口咽通过时间自动检测系统及方法
CN117132948A (zh) * 2023-10-27 2023-11-28 南昌理工学院 景区游客流量监控方法、系统、可读存储介质及计算机
CN117132948B (zh) * 2023-10-27 2024-01-30 南昌理工学院 景区游客流量监控方法、系统、可读存储介质及计算机

Also Published As

Publication number Publication date
CN108596897B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN108596897A (zh) 基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法
CN102831606B (zh) 在医学影像中获取发音器官轮廓的方法
CN106651888B (zh) 基于多特征融合的彩色眼底图像视杯分割方法
CN102982542B (zh) 一种基于相位一致性的眼底图像血管分割方法
CN113436734B (zh) 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
CN107368859A (zh) 病变识别模型的训练方法、验证方法和病变图像识别装置
CN107346545A (zh) 用于视杯图像分割的改进区域生长方法
CN103456021B (zh) 一种基于形态学分析的布匹瑕疵检测方法
CN109636787A (zh) 一种基于深度学习的高精度实时电池点焊质量自动检测方法
CN106096491B (zh) 一种眼底彩色照相图像中微动脉瘤自动化识别方法
CN110495888B (zh) 一种基于中医舌、面图像的标准色卡及其应用
CN107658028A (zh) 一种获取病变数据的方法、识别病变方法及计算机设备
CN102567734A (zh) 基于比值的视网膜细小血管分割方法
CN106570530A (zh) 一种眼底影像中硬性渗出提取的方法
CN106599880A (zh) 一种面向无人监考的同人判别方法
CN106504289A (zh) 一种室内目标检测方法及装置
CN105308651A (zh) 检测装置、学习装置、检测方法、学习方法和程序
CN108257127A (zh) 一种应用于急性中毒安全预评价的系统
CN100383811C (zh) 舌图像中舌体提取方法
CN106960424A (zh) 基于优化分水岭的结核杆菌图像分割识别方法及装置
CN104408409A (zh) 一种适用于散光镜片环境下的瞳孔定位方法
CN106529420A (zh) 综合眼底图像边缘信息和亮度信息的视盘中心定位方法
CN108629780A (zh) 基于颜色分解和阈值技术的舌图像分割方法
CN108154512A (zh) 一种基于多重去趋势分析的视网膜图像血管分割系统
CN111210404B (zh) 晶状体分割难度分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210820

CF01 Termination of patent right due to non-payment of annual fee