CN108765388B - 食道内窥oct图像层次结构的自动分割方法和系统 - Google Patents
食道内窥oct图像层次结构的自动分割方法和系统 Download PDFInfo
- Publication number
- CN108765388B CN108765388B CN201810476217.8A CN201810476217A CN108765388B CN 108765388 B CN108765388 B CN 108765388B CN 201810476217 A CN201810476217 A CN 201810476217A CN 108765388 B CN108765388 B CN 108765388B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- edge
- segmentation
- baseline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了食道内窥OCT图像层次结构的自动分割方法和系统,该方法包括以下步骤:图像预处理,对图像进行滤波、搜索处理,补全像素值;图像平坦化,将图像中整个食道组织拉直水平,并修正;图像组织层分割,以当前分割层作为基准,通过向下平移一定像素的方式得到下一个待分割层的搜索区域,逐层分割;图像反平坦化,对分割后的的图像进行反向平移,获取最终的分割结果。本发明提出对探针保护膜、组织液等干扰的应对方案,避免其影响后续的组织层分割。本发明将Canny边缘检测与梯度算子相结合,提出新的图割法权重设计方案。该方案利用Canny算子提升边缘检测精度,用梯度算子弥补Canny算子中的遗漏边缘,通过二者的结合提升分割的准确性。
Description
技术领域
本发明涉及医学图像处理领域,特别涉及食道内窥OCT图像层次结构的自动分割方法和系统。
背景技术
OCT技术可以对活体实现快速无损害地高分辨率成像,是近年来医学影像领域的技术热点,目前已在临床医学上面得到了广泛的应用。内窥OCT技术是 OCT的重要分支,通过配合内窥镜的使用,可以在低侵入条件下进入人体内部腔道,对生物活体组织进行实时成像,为临床诊断提供了新的方向。食道疾病的诊断是内窥OCT技术在临床上的一个重要应用。内窥镜下的食道组织成像时表现为多层结构,但是OCT技术本身会使成像产生大量的斑点噪音,且活体组织成像通常会呈现高频波动,因此,实际应用中的食道OCT各层组织间的边界并不清晰,且结构变化十分复杂。只是通过医生的观察会导致很多病变没有被及时发现和治疗,致使初期病变发展为癌。本发明提出一种稳定的自动化的食道OCT图像分割方法,通过计算机的辅助诊断协助医生应用内窥OCT技术对病变进行筛查,对于内窥OCT技术在临床诊断的推广具有重要意义。
目前国内外关于OCT图像分割的研究多集中于视网膜结构。如Chiu等人利用图搜索实现的视网膜自动分割[1],专利CN107392909A利用神经网络改进了图搜索进行视网膜分割。尽管视网膜组织层与食道组织层具有类似的层状结构,但食道组织存在以下特殊性:(1)内窥成像系统存在一层塑料膜用以隔离探针以及组织层,该探针保护膜会对分割造成干扰;(2)活体组织的运动导致食道组织结构常出现不规则形态,难以提取稳定的分割基准;(3)组织液的干扰为分割带来困难。这些问题导致视网膜分割方法难以适用于食道OCT图像分割。
关于食道OCT图像分割方法的研究目前仅见于Zhang的文章[2],该方法首先通过L1和L0范数最小化的降噪方式来降低图像噪音,平滑各组织层,再通过引入与成像深度相关的衰减函数以增强表层的梯度,最后利用图割法,基于像素纵向梯度,以逐层搜索的方式完成组织层分割。但是该方法没有考虑到食道OCT图像中的组织液、异常结构及成像中的探针膜的影响,所以往往无法给出稳定的分割结果;此外,该方法第二步的衰减函数的参数设置困难,不利于自动化分割的实现;最后,由于仅使用纵向梯度作为图搜索的权重,在分割精度方面略显不足。
参考文献
[1]Chiu S J,Li X T,Nicholas P,et al.Automatic segmentation of sevenretinal layers in SDOCT images congruent with expert manual segmentation[J].Optics Express,2010, 18(18):19413–19428.
[2]Zhang J L,Yuan W,Liang W X,et al.Automatic and robust segmentationof endoscopic OCT images and optical staining[J].Biomedical Optics Express,2017,8(5):2697–2708.
发明内容
本发明的目的是通过以下技术方案实现的。
食道内窥OCT图像层次结构的自动分割方法,包括以下步骤:
图像预处理,对食道内窥OCT图像进行滤波、搜索处理,补全像素值;
图像平坦化,将食道内窥OCT图像中整个食道组织拉至水平并修正;
图像组织层分割,以当前分割层作为基准,通过向下平移一定像素的方式得到下一个待分割层的搜索区域,逐层分割;
图像反平坦化,对分割后的食道内窥OCT图像进行反向平移。
优选地,图像预处理包括以下步骤:
利用中值滤波器对采集到的食道OCT图像进行降噪;
用图割法完成探针膜上边缘的搜索;
将探针膜上边缘作为上边界,将其向下平移多个像素作为下边界,在上边界与下边界之间利用图割法定位探针膜下边缘;
删除探针膜上、下边缘间的像素值,再利用背景像素以像素平移的方式补全上边界至下边界区间的像素值。
优选地,图像平坦化包括以下步骤:
用图割法找到图像角质层上边缘,将此轮廓线作为初始基线;
标出图像每列中最亮像素点所在位置,将最亮像素点与初始基线进行位置比较,若存在最亮像素点在初始基线下方区域的情况,则进行校正;将初始基线准确的部分分别向上向下平移少量像素作为新搜索区域的上下边界,再将初始基线存在误差的部分向下分别平移一定像素作为误差区域的上下边界,将新搜索区域的上下边界与误差区域的上下边界两两对应相连,获得新的基线搜索区域,用图割法在新的基线搜索区域内重新提取基线;
将重新提取基线上的点上下平移使基线呈水平状,以水平状基线为基准,将整个图像对齐。
优选地,图像组织层分割包括以下步骤:
利用Canny边缘检测法提取食道组织的OCT图像中可能为边缘的像素点,并得到边缘指示的矩阵;
找到每个像素点的多个邻域像素点,结合像素点的梯度与边缘指示的矩阵,建立食道组织OCT的顶点-权重图;
从图像角质层下边缘的搜索开始,从上至下用图割法进行组织层分割,预先测量每个层边界相对上一层边界的大致分布位置,形成当前层的搜索区域并在此区域完成当前层的分割。
优选地,图割法包括以下步骤:
建立一个与原图像尺寸相同的零矩阵E;
应用Canny边缘检测法在OCT图像中找到可能为边缘的像素点并在E中的对应位置标记1,形成带有边缘指示的矩阵Ecanny。
优选地,图割法进一步包括如下步骤:
通过下式计算图像的新权重矩阵:
W(i,j)-(m,n)=2-(grad(i,j)+grad(m,n))+βEcanny+wmin
其中,β为Canny边缘的权重因子,wmin为预设的最小权重,(i,j)为任一像素点,(m,n)为领域像素点,grad(i,j)为任一像素点的梯度, grad(m,n)为领域像素点的梯度。
优选地,图像反平坦化包括以下步骤:
将探针膜还原,并对分割后的图像基于初始基线进行反向平移,获取最终的图像处理结果。
食道内窥OCT图像层次结构的自动分割系统,包括:
预处理模块,对食道内窥OCT图像进行滤波、搜索处理,补全像素值;
平坦化模块,将食道内窥OCT图像中整个食道组织拉至水平并修正;
组织层分割模块,以当前分割层作为基准,通过向下平移一定像素的方式得到下一个待分割层的搜索区域,逐层分割;
反平坦化模块,对分割后的食道内窥OCT图像进行反向平移。
优选地,预处理模块包括:
中值滤波器,对采集到的食道OCT图像进行降噪;
探针膜上边缘搜索单元,用图割法完成探针膜上边缘的搜索;
探针膜下边缘搜索单元,将探针膜上边缘作为上边界,将其向下平移多个像素作为下边界,在上边界与下边界之间利用图割法定位探针膜下边缘;
消除单元,删除探针膜上、下边缘间的像素值,再利用背景像素以像素平移的方式补全上边界至下边界区间的像素值。
优选地,平坦化模块包括:
提取初始基线单元,用图割法找到图像角质层上边缘,将此轮廓线作为初始基线;
修正单元,标出图像每列中最亮像素点所在位置,将最亮像素点与初始基线进行位置比较,若存在最亮像素点在初始基线下方区域的情况,则进行校正;将初始基线准确的部分分别向上向下平移少量像素作为新搜索区域的上下边界,再将初始基线存在误差的部分向下分别平移一定像素作为误差区域的上下边界,将新搜索区域的上下边界与误差区域的上下边界两两对应相连,获得新的基线搜索区域,用图割法在新的基线搜索区域内重新提取基线;
拉平单元,将重新提取基线上的点上下平移使基线呈水平状,以水平状基线为基准,将整个图像对齐。
优选地,所述组织层分割模块包括:
提取边缘点单元,利用Canny边缘检测法提取食道组织的OCT图像中可能为边缘的像素点,并得到边缘指示的矩阵;
建图单元,找到每个像素点的多个邻域像素点,结合所述像素点的梯度与所述边缘指示的矩阵,建立所述食道组织OCT的顶点-权重图;
逐层分割单元,从图像角质层下边缘的搜索开始,从上至下用图割法进行组织层分割,预先测量每个层边界相对上一层边界的大致分布位置,形成当前层的搜索区域并在此区域完成当前层的分割。
优选地,所述反平坦化模块包括:
复原单元,将所述探针膜还原,并对分割后的图像基于所述初始基线进行反向平移,获取最终的图像处理结果。
本发明的优点在于:
针对现有方法稳定性的不足,本发明提出对探针保护膜、组织液等干扰的应对方案,避免其影响后续的组织层分割。针对现有方法精度方面的不足,本发明将Canny边缘检测与梯度算子相结合,提出新的图割法权重设计方案。该方案利用Canny算子提升边缘检测精度,用梯度算子弥补Canny算子中的遗漏边缘,通过二者的结合提升分割的准确性。分割精度可以通过计算人工标记层厚与自动分割层厚之间的绝对偏差来评估。
附图说明
通过阅读下文具体实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出具体实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
附图1示出了根据本发明实施方式的食道内窥OCT图像结构示意图;
附图2示出了根据本发明实施方式的食道OCT图像自动化分割方法流程图;
附图3示出了根据本发明实施方式的预处理前后图像对比图,(a)原始图像, (b)预处理后图像;
附图4示出了根据本发明实施方式的平坦化示意图,(a)初始基线,(b)每列最亮点和误差区域,(c)基线修正,(d)平坦化后的图像;
附图5示出了根据本发明实施方式的Canny边缘检测结果图;
附图6示出了根据本发明实施方式的食道OCT图像分割过程示意图;
附图7示出了根据本发明实施方式的分割结果示意,(a)平坦化图像分割结果,(b)最终分割结果;
附图8示出了根据本发明实施方式的组织层厚度测量结果对比图;
附图9示出了根据本发明实施方式的食道OCT图像自动化分割系统流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的实施方式,提出食道内窥OCT图像层次结构的自动分割方法。采集到的食道OCT图像及结构如图1所示,共需要分割5个组织层所对应的6 个层边界,各个组织层对应的名称为角质层(Stratum Corneum,SC)、上皮层 (Epithelium,EP)、固有层(LaminaPropria,LP)、黏膜肌层(Muscularis Mucosae, MM)及黏膜下层(Submucosa,SM)。具体的分割是根据各层边缘处的梯度(层边缘处梯度较大)信息,利用本发明提出的基于Canny边缘检测法改进的图割法以从上至下的顺序,通过逐层搜索层轮廓的方式实现。通过充分考虑食道OCT 的图像特性,能够准确、稳定的提取食道OCT图像的各个组织层轮廓。
图割法是目前应用最广的层状组织分割技术,该算法利用图论思想将OCT 图像I∈RM×N转化为一个图G(V,E),其中V表示图的顶点,这里为OCT图像的像素,相邻顶点间以边E连接。考虑到食道OCT图像中的层边缘处相对组织层内部区域具有较大的梯度值,因此,可以通过该特性对边缘赋予权重。设任一像素点(i,j)的梯度为grad(i,j),代价值为C(i,j)=1-grad(i,j),因此,每个节点的带价值与梯度成反比。设有邻域像素点(m,n),W(i,j)-(m,n)为点(i,j)和点(i,j) 间的连接权重,定义如下:
(i,j)的邻域表示距离点(i,j)最近的像素点,本方法每个节点有8个邻域像素点。不难看出,梯度值较大的相邻像素点具有较小权重,可能为层边界。后续可以利用动态规划方法在图G(V,E)上搜索一组具有最小权重的路径,该路径即为组织层边界。为了提升后续分割的稳定性,在上述基础上我们利用Canny边缘检测对权重进行优化。Canny边缘检测于1986年由JOHN CANNY首次在论文《A Computational Approach to Edge Detection》中提出,是一种应用广泛的边缘检测技术。这里,我们首先建立一个与原图像尺寸相同的零矩阵E,再应用Canny 边缘检测法在OCT图像中找到可能为边缘的像素点并在E中的对应位置标记1,形成带有边缘指示的矩阵Ecanny,通过下式计算图像的新的权重矩阵,其中β为Canny边缘的权重因子,wmin为预设的最小权重。
W(i,j)-(m,n)=2-(grad(i,j)+grad(m,n))+βEcanny+wmin (2)
完整的食道OCT图像分割流程如图2所示,获取食道OCT图像,图像处理包含预处理、平坦化、组织层分割和反平坦化四个步骤。
1.预处理
观察图1可知,图中探针膜所在区域的亮度很强且边界明显,这对SC层上边缘的搜索造成很强的干扰,为了稳定地实现自动化分割我们首先对图像进行如下的预处理步骤:
1)降噪:采集到的食道OCT图像原始尺寸为2048×2048,利用7×7的中值滤波器对图像进行降噪。
2)搜索探针膜上边缘:考虑到上边缘与背景区域的像素灰度具有明显区分,这里直接用传统图割法完成探针膜上边缘的搜索。
3)搜索探针膜下边缘:通过人工测量得到探针膜的厚度在图中不超过10 个像素。将刚得到的探针膜上边缘作为上边界b1,将其向下平移10个像素作为下边界b2,探针膜下边缘必在b1与b2之间,在此区域利用图割法定位探针膜下边缘。
4)消除膜线:删除探针膜上、下边缘间的像素值,再利用背景像素以像素平移的方式补全该区间的像素值。预处理前后的图像对比如图3所示。
2.平坦化
平坦化是为了抑制成像过程中食道组织产生的弹性形变以及其他不规则结构对分割结果带来的不利影响。观察图1所示的食道OCT图像可知,组织层的弯曲趋势大体相同,因此可以考虑将相对较清晰的SC层上边缘作为平坦化基线,然后以此基线为拉平基准,将整个食道组织拉至水平。然而,许多食道OCT 图像伴有组织液干扰(如图1所示),因此很可能会引起平坦化基线的提取误差,需要设法对其修正。本发明提出的平坦化方案如下所述:
1)提取初始基线:预处理后的OCT图像的食道组织上边缘对应为SC层上边缘,该处与背景区域的像素灰度有明显差别,可利用图割法直接找到,并将此轮廓线作为初始基线,设为LI,如图4(a)所示,410即为初始基线LI。
2)基线修正:观察发现,SC层为食道结构中最亮的一层,利用该特性可以修正基线误差。具体做法为,首先标出图像每列中最亮像素点所在位置,如图4(b)420线所示为每列最亮点。然后将这些点与初始基线LI进行位置比较,若存在最亮像素点在LI下方区域的情况,则说明存在误差,需要校正。设LI准确的部分为Lr,存在误差的部分为Le,如图4(b)430线所示处为Le,首先将Lr分别向上向下平移5个像素作为新搜索区域的上下边界,设为Br1和Br2,再将Le向下平移2个像素作为误差区域的上边界Be1,向下平移50个像素作为误差区域的下边界Be2,将Br1、Br2与Be1和Be2两两对应相连,获得新的基线搜索区域,如图4(c)虚线440、450所示。最后,利用图割法在该区域内重新提取基线,如图4(c)虚线460所示。
3)图像拉平:将所提基线上的点上下平移使基线呈水平状,并以此为拉平的基准,将整个图像对齐,最终的平坦化效果如图4(d)。
3.组织层分割
组织层分割所用算法为本发明提出的结合Canny边缘检测的图割法,分割顺序是从上之下依次分割。每次分割均需要先限定搜索区域再分割。为了简化搜索区域的确定过程,在每次分割中,以当前分割层作为基准,利用组织层的先验知识,通过向下平移一定像素的方式得到下一个待分割层的搜索区域。具体实现方式如下:
1)提取可能边缘点:利用Canny边缘检测法提取食道组织中可能为边缘的像素点,并得到边缘指示的矩阵Ecanny。为了提高处理效率,仅取上部的包含食道组织的图像进行处理。Canny边缘检测提取到的边缘结果如图5所示。
2)建立顶点-权重的图G(V,E):找到每个像素点的8领域,基于前述理论,结合像素点梯度与上一步得到的边缘指示的矩阵Ecanny建立食道OCT的顶点- 权重的图G(V,E)。
3)逐层分割:从SC层下边缘的搜索开始,从上至下依次利用所提方法进行组织层分割。为了获得较好的分割结果,我们需要预先测量出每个层边界相对上一层边界的大致分布位置,形成当前层的搜索区域,并在此区域完成该层的分割。为了方便表述,将各个组织层边界从上至下标记为LB1-LB6,对应的边界名称如下:
SC层上(基线):LB1
EP层上边缘(SC层下边缘):LB2
LP层上边缘(EP层下边缘):LB3
MM层上边缘(LP层下边缘):LB4
SM层上边缘(MM层下边缘):LB5
SM层下边缘:LB6
首先分割SC层下边缘,将LB1向下分别平移20和60个像素得到LB2的搜索区域,在该区域内用动态规划法搜索具有最小权重的路径,即LB2。然后,以LB2为新的基准,利用同样方式,将LB2各点对应的向下的1至25个像素区间定为LB3的搜索区域,利用同样方式在该区域找到LB3。LB3向下的4至 60个像素区为LB4所在区域,在该区域找到LB4。再在LB4向下的3至20个像素区域内找到LB5。最后在LB5向下的3至60个像素内找到LB6,完成全部的组织层分割,具体的分割过程如图6所示,分割结果如图7(a)。
4.图像复原
将删除的探针膜还原,并对分割后的图像基于平坦化基线进行反平坦化操作,获取最终的分割结果,如图7(b)。
分割精度可以通过计算人工标记层厚与自动分割层厚之间的绝对偏差来评估。如图8所示,所提权重设计方案相对于3个人工标记结果在5个层厚测量中均取得了较小的偏差,从而验证所提权重具有更高的分割精度。
针对现有方法稳定性的不足,本发明提出对探针保护膜、组织液等干扰的应对方案,避免其影响后续的组织层分割。针对现有方法精度方面的不足,本发明将Canny边缘检测与梯度算子相结合,提出新的图割法权重设计方案。该方案利用Canny算子提升边缘检测精度,用梯度算子弥补Canny算子中的遗漏边缘,通过二者的结合提升分割的准确性。
根据本发明的实施方式,提出食道内窥OCT图像层次结构的自动分割系统,如图9所示,系统包括:预处理模块,对食道内窥OCT图像进行滤波、搜索处理,补全像素值;平坦化模块,将食道内窥OCT图像中整个食道组织拉至水平并修正;组织层分割模块,以当前分割层作为基准,通过向下平移一定像素的方式得到下一个待分割层的搜索区域,逐层分割;反平坦化模块,对分割后的食道内窥OCT图像进行反向平移。
预处理模块包括:中值滤波器,对采集到的食道OCT图像进行降噪;探针膜上边缘搜索单元,用图割法完成探针膜上边缘的搜索;探针膜下边缘搜索单元,将所述探针膜上边缘作为上边界,将其向下平移多个像素作为下边界,在上边界与下边界之间利用所述图割法定位探针膜下边缘;消除单元,删除所述探针膜上、下边缘间的像素值,再利用背景像素以像素平移的方式补全所述上边界至下边界区间的像素值。
平坦化模块包括:初始基线单元,用图割法找到图像角质层上边缘,将此轮廓线作为初始基线;修正单元,标出图像每列中最亮像素点所在位置,将所述最亮像素点与所述初始基线进行位置比较,若存在所述最亮像素点在所述初始基线下方区域的情况,则进行校正;将初始基线准确的部分分别向上向下平移少量像素作为新搜索区域的上下边界,再将初始基线存在误差的部分向下分别平移一定像素作为误差区域的上下边界,将所述新搜索区域的上下边界与所述误差区域的上下边界两两对应相连,获得新的基线搜索区域,用所述图割法在所述新的基线搜索区域内重新提取基线;拉平单元,将所述重新提取基线上的点上下平移使基线呈水平状,以水平状基线为基准,将整个图像对齐。
组织层分割模块包括:提取边缘点单元,利用Canny边缘检测法提取食道组织的OCT图像中可能为边缘的像素点,并得到边缘指示的矩阵;建图单元,找到每个像素点的多个邻域像素点,结合所述像素点的梯度与所述边缘指示的矩阵,建立所述食道组织OCT的顶点-权重图;逐层分割单元,从图像角质层下边缘的搜索开始,从上至下用图割法进行组织层分割,预先测量每个层边界相对上一层边界的大致分布位置,形成当前层的搜索区域并在此区域完成当前层的分割。
反平坦化模块包括:复原单元,将所述探针膜还原,并对分割后的图像基于所述初始基线进行反向平移,获取最终的图像处理结果。
以上,仅为本发明示例性的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.食道内窥OCT图像层次结构的自动分割方法,其特征在于,包括以下步骤:
图像预处理,对食道内窥OCT图像进行滤波、搜索处理,补全像素值;
图像平坦化,将食道内窥OCT图像中整个食道组织拉至水平并修正;
图像组织层分割,以当前分割层作为基准,通过向下平移一定像素的方式得到下一个待分割层的搜索区域,逐层分割;
图像反平坦化,对分割后的食道内窥OCT图像进行反向平移;
所述图像预处理包括以下步骤:
利用中值滤波器对采集到的食道OCT图像进行降噪;
用图割法完成探针膜上边缘的搜索;
将所述探针膜上边缘作为上边界,将其向下平移多个像素作为下边界,在上边界与下边界之间利用所述图割法定位探针膜下边缘;
删除所述探针膜上、下边缘间的像素值,再利用背景像素以像素平移的方式补全所述上边界至下边界区间的像素值。
2.如权利要求1所述的自动分割方法,其特征在于,所述图像平坦化包括以下步骤:
用图割法找到图像角质层上边缘,将此轮廓线作为初始基线;
标出图像每列中最亮像素点所在位置,将所述最亮像素点与所述初始基线进行位置比较,若存在所述最亮像素点在所述初始基线下方区域的情况,则进行校正;将初始基线准确的部分分别向上向下平移少量像素作为新搜索区域的上下边界,再将初始基线存在误差的部分向下分别平移一定像素作为误差区域的上下边界,将所述新搜索区域的上下边界与所述误差区域的上下边界两两对应相连,获得新的基线搜索区域,用所述图割法在所述新的基线搜索区域内重新提取基线;
将所述重新提取基线上的点上下平移使基线呈水平状,以水平状基线为基准,将整个图像对齐。
3.如权利要求1所述的自动分割方法,其特征在于,所述图像组织层分割包括以下步骤:
利用Canny边缘检测法提取食道组织的OCT图像中可能为边缘的像素点,并得到边缘指示的矩阵;
找到每个像素点的多个邻域像素点,结合所述像素点的梯度与所述边缘指示的矩阵,建立所述食道组织OCT的顶点-权重图;
从图像角质层下边缘的搜索开始,从上至下用图割法进行组织层分割,预先测量每个层边界相对上一层边界的大致分布位置,形成当前层的搜索区域并在此区域完成当前层的分割。
4.如权利要求1-3任意一项所述的自动分割方法,其特征在于,所述图割法包括以下步骤:
建立一个与原图像尺寸相同的零矩阵E;
应用Canny边缘检测法在OCT图像中找到可能为边缘的像素点并在E中的对应位置标记1,形成带有边缘指示的矩阵Ecanny。
5.如权利要求4所述的自动分割方法,其特征在于,所述图割法进一步包括如下步骤:
通过下式计算图像的新权重矩阵:
W(i,j)-(m,n)=2-(grad(i,j)+grad(m,n))+βEcanny+wmin
其中,β为Canny边缘的权重因子,wmin为预设的最小权重,(i,j)为任一像素点,(m,n)为领域像素点,grad(i,j)为任一像素点的梯度,grad(m,n)为领域像素点的梯度。
6.如权利要求2所述的自动分割方法,其特征在于,所述图像反平坦化包括以下步骤:
将所述探针膜还原,并对分割后的图像基于所述初始基线进行反向平移,获取最终的图像处理结果。
7.食道内窥OCT图像层次结构的自动分割系统,其特征在于,包括:
预处理模块,对食道内窥OCT图像进行滤波、搜索处理,补全像素值;
平坦化模块,将食道内窥OCT图像中整个食道组织拉至水平并修正;
组织层分割模块,以当前分割层作为基准,通过向下平移一定像素的方式得到下一个待分割层的搜索区域,逐层分割;
反平坦化模块,对分割后的食道内窥OCT图像进行反向平移;
所述预处理模块包括:
中值滤波器,对采集到的食道OCT图像进行降噪;
探针膜上边缘搜索单元,用图割法完成探针膜上边缘的搜索;
探针膜下边缘搜索单元,将所述探针膜上边缘作为上边界,将其向下平移多个像素作为下边界,在上边界与下边界之间利用所述图割法定位探针膜下边缘;
消除单元,删除所述探针膜上、下边缘间的像素值,再利用背景像素以像素平移的方式补全所述上边界至下边界区间的像素值。
8.如权利要求7所述的自动分割系统,其特征在于,所述平坦化模块包括:
初始基线单元,用图割法找到图像角质层上边缘,将此轮廓线作为初始基线;
修正单元,标出图像每列中最亮像素点所在位置,将所述最亮像素点与所述初始基线进行位置比较,若存在所述最亮像素点在所述初始基线下方区域的情况,则进行校正;将初始基线准确的部分分别向上向下平移少量像素作为新搜索区域的上下边界,再将初始基线存在误差的部分向下分别平移一定像素作为误差区域的上下边界,将所述新搜索区域的上下边界与所述误差区域的上下边界两两对应相连,获得新的基线搜索区域,用所述图割法在所述新的基线搜索区域内重新提取基线;
拉平单元,将所述重新提取基线上的点上下平移使基线呈水平状,以水平状基线为基准,将整个图像对齐。
9.如权利要求7所述的自动分割系统,其特征在于,所述组织层分割模块包括:提取边缘点单元,利用Canny边缘检测法提取食道组织的OCT图像中可能为边缘的像素点,并得到边缘指示的矩阵;
建图单元,找到每个像素点的多个邻域像素点,结合所述像素点的梯度与所述边缘指示的矩阵,建立所述食道组织OCT的顶点-权重图;
逐层分割单元,从图像角质层下边缘的搜索开始,从上至下用图割法进行组织层分割,预先测量每个层边界相对上一层边界的大致分布位置,形成当前层的搜索区域并在此区域完成当前层的分割。
10.如权利要求8所述的自动分割系统,其特征在于,所述反平坦化模块包括:
复原单元,将所述探针膜还原,并对分割后的图像基于所述初始基线进行反向平移,获取最终的图像处理结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810476217.8A CN108765388B (zh) | 2018-05-17 | 2018-05-17 | 食道内窥oct图像层次结构的自动分割方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810476217.8A CN108765388B (zh) | 2018-05-17 | 2018-05-17 | 食道内窥oct图像层次结构的自动分割方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108765388A CN108765388A (zh) | 2018-11-06 |
CN108765388B true CN108765388B (zh) | 2020-10-27 |
Family
ID=64006993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810476217.8A Active CN108765388B (zh) | 2018-05-17 | 2018-05-17 | 食道内窥oct图像层次结构的自动分割方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108765388B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859221B (zh) * | 2018-12-06 | 2023-03-14 | 中国科学院苏州生物医学工程技术研究所 | 基于oct图像的皮肤多亚层结构自动分割方法 |
CN109816665B (zh) * | 2018-12-30 | 2020-10-16 | 苏州大学 | 一种光学相干断层扫描图像的快速分割方法及装置 |
CN110292359B (zh) * | 2019-07-09 | 2021-01-08 | 浙江大学 | 一种无标记全光学神经调控与成像的方法与装置 |
CN110742582A (zh) * | 2019-10-09 | 2020-02-04 | 南京沃福曼医疗科技有限公司 | 一种导管偏振敏感光学相干层析成像解调用双态图像分割方法 |
CN113393478A (zh) * | 2021-05-21 | 2021-09-14 | 天津大学 | 基于卷积神经网络的oct视网膜分层方法、系统和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514605A (zh) * | 2013-10-11 | 2014-01-15 | 南京理工大学 | 基于hd-oct视网膜图像的脉络膜层自动分割方法 |
CN105374028A (zh) * | 2015-10-12 | 2016-03-02 | 中国科学院上海光学精密机械研究所 | 光学相干层析成像视网膜图像分层的方法 |
CN105551038A (zh) * | 2015-12-14 | 2016-05-04 | 苏州大学 | 一种基于三维oct图像的全自动分类及分割视网膜分支动脉阻塞的方法 |
CN106558030A (zh) * | 2016-11-15 | 2017-04-05 | 苏州大学 | 三维大视野扫频光学相干断层成像中脉络膜的分割方法 |
CN106846314A (zh) * | 2017-02-04 | 2017-06-13 | 苏州大学 | 一种基于术后角膜oct影像数据的图像分割方法 |
CN107392909A (zh) * | 2017-06-22 | 2017-11-24 | 苏州大学 | 基于神经网络与约束图搜索算法的oct图像层分割方法 |
-
2018
- 2018-05-17 CN CN201810476217.8A patent/CN108765388B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514605A (zh) * | 2013-10-11 | 2014-01-15 | 南京理工大学 | 基于hd-oct视网膜图像的脉络膜层自动分割方法 |
CN105374028A (zh) * | 2015-10-12 | 2016-03-02 | 中国科学院上海光学精密机械研究所 | 光学相干层析成像视网膜图像分层的方法 |
CN105551038A (zh) * | 2015-12-14 | 2016-05-04 | 苏州大学 | 一种基于三维oct图像的全自动分类及分割视网膜分支动脉阻塞的方法 |
CN106558030A (zh) * | 2016-11-15 | 2017-04-05 | 苏州大学 | 三维大视野扫频光学相干断层成像中脉络膜的分割方法 |
CN106846314A (zh) * | 2017-02-04 | 2017-06-13 | 苏州大学 | 一种基于术后角膜oct影像数据的图像分割方法 |
CN107392909A (zh) * | 2017-06-22 | 2017-11-24 | 苏州大学 | 基于神经网络与约束图搜索算法的oct图像层分割方法 |
Non-Patent Citations (3)
Title |
---|
Automated segmentation and characterization of esophageal wall in vivo by tethered capsule optical coherence tomography endomicroscopy;Giovanni J.Ughi 等;《Biomedical Optics express》;20160108;全文 * |
Automatic and robust segmentation of endoscopic OCT images and optical staining;JIANLIN ZHANG 等;《Biomedical Optics EXPRESS》;20170501;第8卷(第5期);第2697-2708页 * |
光学相干层析医学图像处理及其应用;孙延奎;《光学精密工程》;20140430;第22卷(第4期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108765388A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108765388B (zh) | 食道内窥oct图像层次结构的自动分割方法和系统 | |
JP4409166B2 (ja) | 画像処理装置 | |
Miranda-Luna et al. | Mosaicing of bladder endoscopic image sequences: Distortion calibration and registration algorithm | |
US8699774B2 (en) | Image processing apparatus, control method thereof, and program | |
Corona et al. | Digital stereo image analyzer for generating automated 3-D measures of optic disc deformation in glaucoma | |
Hernandez-Mier et al. | Fast construction of panoramic images for cystoscopic exploration | |
US9230331B2 (en) | Systems and methods for registration of ultrasound and CT images | |
CN103295224B (zh) | 一种基于均值漂移和分水岭的乳腺超声图像自动分割方法 | |
CN110033465A (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
US20110103655A1 (en) | Fundus information processing apparatus and fundus information processing method | |
US10401141B2 (en) | Method and apparatus for obtaining a three-dimensional map of tympanic membrane thickness | |
Zahnd et al. | Quantification of fibrous cap thickness in intracoronary optical coherence tomography with a contour segmentation method based on dynamic programming | |
CN106236264B (zh) | 基于光学跟踪和图像匹配的胃肠手术导航方法及系统 | |
CN111784720B (zh) | 一种dsa和ivoct的血管图像融合方法 | |
CN113643184B (zh) | 基于光学相干断层扫描的眼底血管展示方法、系统及介质 | |
Chen et al. | Quantitative 3D analysis of coronary wall morphology in heart transplant patients: OCT-assessed cardiac allograft vasculopathy progression | |
Kolar et al. | Registration of 3D retinal optical coherence tomography data and 2D fundus images | |
CN105894508A (zh) | 一种医学图像自动定位质量的评估方法 | |
CN103854284A (zh) | 基于三维图搜索浆液性色素上皮层脱离的视网膜分割方法 | |
Arikan et al. | Deep learning based multi-modal registration for retinal imaging | |
CN110717884B (zh) | 一种基于眼表结构变化一致性表达角膜不规则改变的方法 | |
CN106548491A (zh) | 一种图像配准方法、其图像融合方法及其装置 | |
CN109816665B (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
CN110033496B (zh) | 时间序列三维视网膜sd-oct图像的运动伪差校正方法 | |
CN113012151B (zh) | 用于ss-oct手术导航系统的oct图像矫正方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |