CN106709967B - 一种内窥成像算法及控制系统 - Google Patents

一种内窥成像算法及控制系统 Download PDF

Info

Publication number
CN106709967B
CN106709967B CN201611203281.6A CN201611203281A CN106709967B CN 106709967 B CN106709967 B CN 106709967B CN 201611203281 A CN201611203281 A CN 201611203281A CN 106709967 B CN106709967 B CN 106709967B
Authority
CN
China
Prior art keywords
image
imaging
optical path
analysis
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611203281.6A
Other languages
English (en)
Other versions
CN106709967A (zh
Inventor
田洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Hengyu Medical Technology Co ltd
Original Assignee
Tianjin Hengyu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Hengyu Medical Technology Co ltd filed Critical Tianjin Hengyu Medical Technology Co ltd
Priority to CN201611203281.6A priority Critical patent/CN106709967B/zh
Publication of CN106709967A publication Critical patent/CN106709967A/zh
Application granted granted Critical
Publication of CN106709967B publication Critical patent/CN106709967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种内窥系统中影像增强及其特征识别的算法和成像系统自动控制的一种方案。本发明涉及的内窥成像涉及血管内超声成像和光学相干断层成像,包括一种复合图像采集架构,超声光学光谱成像算法,横视图变换增强、自动光程校准、内膜估计检测、纵视图平滑处理、光谱图像分析法、自动感兴趣区域标记划分方法。

Description

一种内窥成像算法及控制系统
技术领域
本发明涉及一种内窥成像架构和算法,图像增强及其特征信息识别算法和自动控制的方案,尤其涉及一种内窥成像算法及控制系统。
背景技术
现有的医学图像具有数据量大,信噪比低,因此需要设计一种高速多用途采集处理架构满足医疗影像平台要求。
由于光学相干成像算法,超声成像算法和光谱成像算法的特殊性,目前没有可以为多用途开发的板卡和算法。本发明中提出了一种通用协处理卡,以满足可以对两种数据采集进行通用的需要。
医学图像处理和增强作为影像设备成像的一块重要部分,影响着医疗图像的发展和变革。图像增强,在近年来是一项热门的技术。研究图像增强其目的是使图像更便于后续处理,更便于医务工作者诊断。常用的方法一般包括灰度变换、直方图操作、滤波处理其中包括空间域和频域滤波,以及梯度增强和拉普拉斯增强等。血管内超声成像(IVUS)和光学相干层析影像技术(OCT)是目前比较热门心血管内的技术,光学相干层析影像增强和特征识别也是目前热门研究的技术之一。
IVUS数据要通过RF信号采集,RF信号滤波,径向时间增益补偿,包络检波。然后对数据进行对数压缩变化和正常化后,利用图像插值和增强算法构建极坐标图像,然后经坐标变换转成直角坐标图像。
OCT时域信号要经过傅立叶变换,变为频域信号。然后,利用求对数的方式计算信号的功率谱。继而可以转为像素数值,通过像素操作转为终端显示设备上的图像。为了使图像的显示效果更加饱满,重点细节更加突出,需要在图像显示之前做进一步的图像增强预处理。
一般的预处理方法:
①直接减去低噪:估计一个本地噪声值,用图像整体减去这个本地噪声。效果:减去本地噪声之后,我们感兴趣的图像部分相对于整个图像来说更加突出。不足:整体图像亮度下降,感兴趣边缘接近于低噪过渡部分的细节极易被破坏掉。
②灰度直方图操作:直方图均衡化操作及直方图规定化操作。效果:采用直方图修正后可使图像的灰度间距拉大或使灰度分布均匀,增大了视觉反差,使图像有效信息明显,达到增强图像清晰度的目的。不足:对基本图像有一定改善效果,但是针对光学相干层析图像,细节改善不大。
③图像平滑,利用卷积模板滤波的方式进行图像平滑。效果:针对图像的方格和锯齿边缘有一定的改善效果。缺点:平滑本就是一个图像信息量下降的过程,如果使用不恰当会造成图像关键细节及其一些病灶部位识别受到影响。
④对比度拉伸,效果:可以在一定程度上改善图像。缺点:在图像背景噪声和感兴趣区域的细节改善上并没较大表现。OCT成像技术中的内膜检测的一般现有技术和方法:
1.①首先对图像预处理,然后进行霍夫空间变换,去掉中心圆环区域。
②建立一个MRF模型,结合局部强度分配及其近邻的强度相似性,进行像素聚类。
③建立贝叶斯框架分类方法。
④利用高斯分配,优化的迭代条件模型,以及CWT分析识别血管壁。
2.①基于灰度强度筛选支架点。
②能量模型和支架点掩模计算。
③迭代计算和置信验证。
④识别血管壁内膜。
3.①利用样条形变算法。
②构建样条形变约束力。
以上算法,优点是识别比较精确,但是缺点是算法复杂,对图像要求比较高。而真正设备成像往往效果较差。本发明在以下要提供一个简单有效的内膜检测方法。
发明专利内容
本发明的目的在于提供一种图像增强和特征识别的方法。其中包括图像可视效果提高,内膜检测以及感兴趣区域检测和标注,其中,自动光程校准控制方法,包括图像的特征识别,以及图像信息处理结合命令的形式对下位机的控制。
一种内窥成像算法及控制系统,包括如下步骤:(1)一种信号采集处理架构,完成采集,处理,传输及控制的一体式硬件架构;(2)基于超声,光学干涉,光谱成像的内窥成像算法;(3)提高成像质量和特征识别的成像算法。
进一步地,提高成像质量和特征识别的成像算法包括如下步骤:
(1)图像变换增强,利用新的变换插值方法,进行图像增强,包括时域插值,插值补零,频域变换,频域插值等;
(2)自动光程校准,通过图像识别算法和自动控制设计方法,提供一个可以自动控制光程调节器系统的方案;
(3)内膜自动检测,利用一个新的由内到外的发散式搜索方法,进行识别内膜壁;
(4)纵视图平滑处理,利用基于低通滤波的方法进行图像处理,低通方法可以是时域或者频域、可以是高斯低通或者巴沃斯低通滤波;
(5)结合近红外光谱分析的光学相干层析方法,利用光谱分析特性及血管壁不同组织对光谱吸收的不同进行光谱分析成像;
(6)感兴趣区域的自动识别和标注方法,利用病例切片样本结合对照影像进行图像配准,通过特征信息分析,建立训练数据库,利用训练数据库对获取的影像图像进行特征分析,并利用不同伪彩色方法标注感兴趣区域。
进一步地,基于超声,光学干涉,光谱成像的内窥成像算法,血管内超声成像。
进一步地,用于自动光程校准模块,利用图像识别和命令传送控制相结合的方法。
进一步地,所述的感兴趣区域的自动识别和标注方法模块中的特征信息分析方法,转换到傅立叶域或者小波域的分析。
进一步地,图像纵视图提高和图像感兴趣识别方法,对血管内超声成像与光学相干断层成像适用。
附图说明
图1为本发明的实施例1的原理图
图2为本发明的实施例2的原理图
图3为本发明的实施例3的原理图
图4为本发明的实施例4的原理图
图5为本发明的实施例5的原理图
图6为本发明的实施例6的原理图
图7为本发明的实施例7的原理图
图8为本发明的实施例8的原理图
图9为本发明的实施例9的原理图
图10为本发明的实施例10的原理图
图11为本发明的实施例10第二原理图。
具体实施方式
一种内窥成像算法及控制系统,包括如下步骤:(1)一种信号采集处理架构,完成采集,处理,传输及控制的一体式硬件架构;(2)基于超声,光学干涉,光谱成像的内窥成像算法;(3)提高成像质量和特征识别的成像算法。
实施例一为通用采集协处理卡,完成采集,处理,传输及控制的一体式硬件架构.
通用采集协处理器卡1架构如实施例一所示,发送接收转换器2进行超声波的链路的发送接收控制。数字信号处理器5生成激励波形并驱动功率驱动电路4。功率放大电路3放大所需信号至相应功率用于驱动压电晶体或压电薄膜等。
接收电路由光路接收电路和超声接收电路两部分组成。放大电路6可以接收由发送接收转换器2传递的超声电信号,也可以直接接收由光电转换器转换得到的光电信号,该信号经过滤波器电路7,差分放大电路8,模数转换电路9进入数字信号处理器5。同时数字信号处理器5接收外部信号源输入的控制信号10。该控制信号作用是起到信号同步和输出控制等功能。该控制信号还需进入电压转换或隔离电路11,该模块是起到电压保护和输入输出接口保护的功能。数字信号处理器进行数据计算需要与缓存14模块相连接。数字信号处理器处理后的数据进入高速传输电路12传输至微处理器13。
实施例二为血管内超声成像算法。外部信号进入超声成像算法15,数据缓冲模,16,完成异步数据同步化,数字滤波器17完成数字滤波频率截断。包络检测器18提取信号包络,提取信号一般采用希尔伯特变换法。数字坐标变换模块19完成极坐标和直角坐标系的变换,由于数据量较大,因此还需要缓冲区进行数据存储。数据压缩和对齐20主要是完成数据格式的统一,最后通过传输协议控制模块21传输至上位机。
实施例三为采集传输处理算法。该算法对OCT成像应用。采集得到的信号在信道A22进入采集模块,输入模块模拟数字信号转换25。把通道采集的模拟信号转换成数字信号处理可以处理的模拟信号。模拟数字转换器的关键参数在于转换率和精度。转换率需要大于通道最大带宽的2倍以上,精度需要满足信号信噪比的要求。模拟通道也有可能不能直接进入模拟数字转换器,因此还需在该模块的前段集成模拟滤波器进行带宽限制,衰减带外信号进入转换器。同时为了避免共模信号的干扰,需要采用差分放大器,提高信号质量,降低噪声。该实施例包括但不限于前置滤波器,差分或单端放大器,模拟数字转换器,也可以根据实际需要进行缩减,比如只包含模拟数字转换器。时钟信号提供外部或内部时钟信号进行采样。触发信号提供外部或内部触发信号。
数字信号进入数字信号处理器26。首先需要进行数据前缓存模块27。这是由于信号前段信号流有突发性和随机性,会根据实际情况或参数调整,而后端的信号处理模块统一采用系统内部时钟源。直接相连接,有数据冲突的风险。故需要数据缓存模块作异步时钟同步。该数据结构可以是先进先出队列(FIFO)或者是双口数据随机存储器(DPRAM)等。该实施例包括但不限于先进先出队列(FIFO)或者是双口数据随机存储器(DPRAM)。该数据结构都具有共同特点,即具有独立的数据总线,满足双端口同时输入输出的数据并发处理能力。
数据预处理模块28是进入数据缓存模块后的数据进行滤波,加窗,整形,归一化。首先对数据转换器输出信号带宽进行滤波,为避免截断效应加入窗函数,并进行格式转换,归一数据为同一类长度,符合前后通讯的传输。
频谱分析模块29是进行数据频率域的计算,功率谱计算模块30提前信号功率谱,坐标变换模块32完成圆坐标和极坐标的转换,后数据压缩模块33进行数据字长截断或整理,并进入数据后缓冲模块35。经过高速通讯模块34传输至上位机。
实施例四为光谱算法示意图。
医学影像系统利用高谱成像系统所获得的高光谱图像能对图像中的每个像素提供连续的光谱曲线,且在待测物上获得空间信息的同时又能获得比多光谱更为丰富的光谱信息。这些数据信息用来形成复杂模型,来进行判别、分类、识别图像中的病症,组织信息。
高光谱图像技术提取对象信息的模型虽多,但很难找到一种通用的方法,每种模型和方法都有其适用条件,而且许多模型仅仅处于试验研究阶段,需要大规模实地观测数据来修正。不同的模型,其应用条件差别很大,不同区域通常要根据该区域实际情况采用不同的信息提取方法。
高光谱成像技术的关键是对高光谱数据的处理,尽可能地保留光谱信息的同时,对波段进行压缩,即―降维,高光谱特征提取方法的选择及校正模型的建立。由于国内针对生物组织高光谱特性的研究比较少,没有相应的模型。
因此,本实施例提出一种光谱成像的影像算法:
由于高光谱图像所包含的数据量比2维图像和1维光谱信息的数据量大得多,因此在进行分析之前,将原始高光谱数据进行重采样,使原来多维数据块归一化的三维数据块,它是由多张标准大小的一系列图像组成。图像重采样36(imageresampling)是对采样后形成的由离散数据组成的数字图像按所需的像元位或像元间距进行重新采样,以构成几何变换后的新图像。重采样过程本质上是图像恢复过程,它用输入的离散数字图像重建代表原始图像的二维连续函数,再按新的像元间距和像元位进行采样。其数学过程是根据重建的连续函数(曲面),用周围二像元点的值估计或内插出新采样点的值,相当于用采样函数与输入图像作二维卷积运算。
特征选择是对象表示的一个关键问题,其目的是在得到实际对象的若干具体特征之后,再由这些原始特征产生出对分类识别最有效、数目最少的特征。如何从众多特征中找出对分类识别最有效的特征,从而实现特征空间维数的压缩,即特征选择方法的优劣,这极大地影响着分类模型的设计和性能。模式识别最关键也是不足之处是特征的选择,几乎每一个具体对象均有不同的特点,需要具体分析,无法形成统一的方法或理论。
本实施例采用进行主成分分析(PCA)进行特征选择,得到前3个主成分分析图像:PC1、PC2、PC3(图3)。由于PC1颜色自然,最接近真实图像,最能表征油菜籽的原始信息,因此可以根据PC1来寻找特征波长。PCA是一种降维的算法,能够在不丢失主要光谱信息的前提下,提取特征波段37出相对少得多的新的特征变量,来代替原始光谱数据进行建模。PCA可以很好的解决因光谱带重叠而难以分析的难题。PCA的原理是对原有的相互之间具有一定相关性的因子进行重新组合,得到几个新的综合因子。这些综合因子可以取代原来众多的变量,使这些综合因子尽可能的反映原来变量的有用信息,又彼此不相关,从而达到简化运算和建模过程的目的。
纹理作为一种区域特征,是对于图像各像元之间空间分布的一种描述。由于纹理能充分利用图像信息,无论从理论上还是常识出发,它都可以成为描述与识别图像的重要依据,与其他图像特征相比,它能更好地兼顾图像宏观性质与细微结构两个方面,因此纹理成为目标识别需要提取的重要特征。提取纹理特征38的方法很多,如基于局部统计特性的特征、基于随机模型的特征、基于空间频率的特征、分形特征等,其中,应用最广泛的是基于灰度共生矩阵和灰度直方图特征
采用基于灰度统计方法中的2种方法(灰度直方图和灰度共生矩阵)对生物组织样本进行在特征波段下图像的纹理特征提取39。
Gray-levelCo-occurrenceMatrix(灰度共生矩阵)是用两个位像素的联合概率密度来进行定义,它不仅反映亮度的分布特性,也反映具有同样亮度或接近亮度的像素之间的位置分布特性,是关于图像亮度变化的二阶特征统计。一幅图像的灰度共生矩阵能反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息,它是分析图像的局部模式和图像排列规则的基础。为了更直观地用共生矩阵描述纹理状况,从共生矩阵导出一些反映矩阵状况的基本参数。
(1)能量:是灰度共生矩阵元素值的平方和,也称能量,它反映了图像灰度分布均匀程度和纹理粗细度。如果共生矩阵的所有值均相等,则ASM值小;相反,如果其中一些值大而其它值小,则ASM值大。当共生矩阵中元素集中分布时,此时ASM值较大。ASM的值大说明这是一种较均一和规则变化的纹理模式。
(2)对比度:反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深,其对比度越大,视觉效果越清晰;反之,沟纹浅,对比度小,则效果模糊。灰度共生矩阵中远离对角线的元素值越大,CON越大。
(3)相关:它是度量空间灰度共生矩阵元素在行或列方向上的相似程度,因此,相关值的大小反映了图像中局部灰度相关性。当矩阵元素值相等时,相关值就大;相反,如果矩阵像元值相差很大则相关值小。如果图像中有水平方向纹理,则水平方向矩阵的COR大于其余矩阵的COR值。
(4)熵:是图像所具有的信息量的度量,纹理信息也属于图像的信息,是一个随机性的度量,当共生矩阵中所有元素的最大随机性、空间共生矩阵中所有值几乎相等时,且共生矩阵中元素分散分布时,熵较大。它表示了图像中纹理的非均匀程度或复杂程度。
(5)逆差距:反映的是图像纹理的同质性,显示图像纹理局部变化的多少。其值比较大时表示图像纹理的不同区域间缺少变化,相似度高,局部非常均匀。
灰度直方图有如下性质:1)表征了图像的一维信息。只能反映图像中像素不同灰度值出现的次数(或频数)而不能反映像素所在位置。2)与图像之间的关系是多对一的映射关系。一幅图像能唯一确定出与一副之对应的直方图,但不同图像可能有相同的直方图。
灰度直方图常用均灰度级、标准方差、平滑度、三阶矩、一致性等参数来描述。
建立系统模块40主要采用人工神经网络的方法。人工神经网络的主体思想是,利用大量简单的处理单元连接组成的网络,以模拟人脑细胞(神经元)的工作原理建立的一种信息处理系统。由于ANN具有良好的非线性映射能力、快速的并行处理能力、强劲的自学组织能力和较强的联想能力等,在很多领域如模式识别、智能控制等领域得到广泛的应用。ANN最大的缺点在于ANN对信息的解释性比较差,输入节点不能过多,产生过度拟合等等.因此,ANN在在光谱数据处理中,一般与其他算法结合一起使用,而不是单独使用。目前,与ANN结合使用较多的方法主要有逐步回归分析(SRA)、主成分分析(PCR)、偏最小二乘回归分析(PLS)等。判决和预测41主要进行系统病症识别,特征确认。
实施例五为新的图像增强方案。
请参阅图5,本部分包括原始信号42,时域插值43,窗口化操作44,频域变换45,求取功率谱46,插值操作47。
基于本系统的所采集的数据和成像特点,探索出一种新的操作图像增强算法。该方法是针对数据采集后的数据在FFT之前进行处理。该方法可起到显著增强的效果,提高图像感兴趣部分的信息,同时抑制背景噪声,并且提升了图像信息过度的平滑感。
时域插值:基于已知序列x(n),按照设定的算法,对已知的数列直接进行插值。
窗口化操作:在时域插值后,频域变换前对信号的一个必要的处理方法。
频域变换:这里用的是离散傅立叶变换,设一个有限长序列的傅里叶变换(DFT)。
设x(n)是一个长度为M的有限长序列,
正变换:
通过以上变换之后把时域的信号,转变为频域的序列X(k)。
窗口化操作:指对变换前的信号进行一些处理。
插值方式:插值方式利用线性插零的方式针对时域数据进行操作。补零方式,根据数据需要进行操作。
求取功率谱:功率谱求取依然选用的对数求取方法。
插值操作:按照需要,选择合适方案插成大小合适的图像。
实施例六为自动光程校准
本实施例是针对OCT内窥成像系统所设计的一种自动控制方法。
请参阅图6,本部分包括上位机,指令1,运动复位终端,反向运动并图像识别,锁定范围,精确定位,指令2几个模块。
本实例提供的方案是克服手动操作的繁琐,给医生一个便捷的操作方法。
光程调整器,是设备中用来控制调节光程的器件。通过上位机命令进行电机控制的方式调节装置的前后走动,以此来改变光程。
实验过程中,可以通过手动发命令的形式控制步进电机依次调节光程,一边通过查看上位机成像情况,一边手动调整光程调整器,待等到合适的位置后即可停止调节。
缺点:1.由于使用的导管的长度不一,导致成像的光程差距都不相同。不同导管可能超出成像光程范畴,导致开机一团黑。
2.每换一个导管都要大范围的前后手工调节一次,费时,费力。
3.给设备的操作复杂性又增加不少,给医生的操作带来极大的不方便。
本实例提供一种自动识别定位电机定位方法。包括流程控制、图像识别和精确定位。
1.流程控制部分:
指令→运动复位到终端→反向运动并图像识别→锁定范围→精确定位
2.图像识别:
①线提取:利用间隔线提取方法,以圆心为起点提取n条线,线数n可根据算法及数据量进行调整。
②区域搜索和导管壁识别。导管壁成像时两个内外近似于圆环形图像,两个环形距离,以及随光程变化的成像变化有一定特点。利用这些特点,构建一个约束算法,当识别改点时,定位其区域位置。
3.正向或者反向运动控制:利用发送和接收命令的形式进行电机控制。
4.圈定范围:设定一个冗余范围,当区域搜索导管壁返回数据之后,使电机控制下的光程调节模块大范围运动在此结束。
5.精确定位:在此查找小范围内电机运动和精确控制。
①内外峰检测
小范围内识别内外管壁的位置,利用Alines平均线的数据,通过线图分析,得出尖峰位置坐标。
②精确定位。在步骤3的圈定范围内,结合Alines平均线形成的信号分析图中内外峰检测结合和电机命令,来精确确定电机的位置。
实施例七为内膜估计检测。
参阅图7,本部分包括图像增强预处理55,边缘提取56,制定搜索算法57,规定搜索区域58,样条拟合59。
1.图像增强预处理
①对象对比度调节,根据图像特点,设置合理的参数调节图像的对比度。可以使得感兴趣区域相比背景更加醒目,以方便后续的处理。
②图像滤波。滤波方法可采用空域或者频域滤波,一般选择低通的滤波。低通滤波可采用高斯低通或巴沃斯低通或理想低通等滤波方法。滤波参数应根据图像来设置合理的参数。
2.边缘提取。
图像边缘检测在目前有很多成熟的方法,此处用的边缘检测方法可以是sobel、log、prewitt等算子方法。
选定好合适的算子之后,基于编程提取出经过预处理之后的图像边缘骨架。在提取边缘骨架时,参数的调整非常重要。过大或者过小会导致提取的边缘骨架过多或者过少。这些可根据图像数据特点进行调整。
3.制定搜索区域
内部圆环区域,仍利用霍夫变换方式去除内环部分。
搜索区域:从圆心到外围的发散式所覆盖的区域。
4.制定搜索算法
从内到外发散式搜索,按照圆心方向的发散式搜索方法。建立参数式的极坐标方程,实施搜索方法。搜索所需要的在骨架上的点。
5.B样条拟合。B样条具有几个良好的性质。
基于B样条算法连接搜索计算出的坐标点。B样条曲线平滑,易于进行局部修改,更逼近型值点。
结合B样条曲线实现程序,带入已经识别计算完成并存储到数组的数据,拟合成封闭的内膜曲线。
实施例八:纵视图处理。
参阅图8,本部分包括原始信号,求取功率谱,双三次插值,频域低通滤波,后处理图像。本方法是针对IVUS或者OCT连续多张图片纵剖面截面图。
由于纵视图的数据是有多张横视图的剖面组合而成,然而横视图的帧数是有限的。如果直接拼图,通过普通的插值方式会产生比较明显的锯齿板状的图像。为了改善图像的质量,需要对图像进行一些处理。
滤波方法对比:
一般的常用的滤波方法包括中值滤波、均值滤波、双边滤波以及高斯滤波。这些常用滤波一般都是基于空间的滤波方式,即直接进行像素操作。只能在邻域范围改变像素效果,所以结果并不好。
1.原始信号求取功率谱数据。采集的数据经过一系列处理之后,再求取功率谱。
2.双三次插值,双三次插值方法会使图像成像更加平滑。插值计算量偏大,但是引入cuda的计算可以很好的解决这一问题。
3.频域低通滤波
纵视图是由100副以上(不设上限)横视图的截面拼成的,而后根据需要扩展成长度为四百到五百的长度,所以或带来许多高频的噪声。在这里,我们采用频域变换的方式,在傅立叶域进行低通滤波。滤波之后进行反变换,这样可以有效降低高频噪声。
经实验验证,此方法应用可得到效果改善的平滑的图像。
实施例九:近红外光谱域结合光学相干层析图像的分析
请参阅图9,本部分包括光谱发射装置,中间传输装置,打入血管内壁,返回光谱接收,光谱分析,传输装置,判决方法,光谱图与光学相干层析成像结合显示。
光学相干层析图像虽然较血管内超声图像的质量有了比较大的提高,可以更准确的确定支架、血管内壁的具体位置和情况。然而对于血管内壁的病灶组织识别,如脂质斑块、纤维化、钙化等情况快速明确的识别还是有一定的局限性。
为此,我们引入了一种新的全新的技术,近红外光谱域结合光学相干层析图像的分析。这种技术能协同识别病灶信息。
通过在导管的发射端增加一个发射近红外光谱装置,并且后端增加一个接收和分析光谱特征的装置。利用分析的光谱数据,在上位机做一个光谱分布图。光谱分布图,分别在纵视图和横视图都有叠加部分。
近红外光谱打到血管壁的不同部位,根据不同部位的组织特性针对光谱的反射不同,对收集到光谱进行分析,生成一个光谱分析图。其工作流程为:
①光谱发射装置发射设定范围的光谱并通过中间传输装置传输。
②传输的光谱最终由终端打到血管内壁。
③血管壁内部不同组织反射回光谱,通过接受装置进行接收。
④对接收的光谱进行成像分析。
⑤判决方法。组织放射回来为混合的光谱,通过之前设立的不同组织反射的光谱特性图,进行判决。设置一个判决规则,例如规定组织返回光谱和模板的相似性超过80%则为模板标定的组织。
⑤根据判决后的光谱,结合光学相干层析影像一同显示。
实施例十:一种OCT或者IVUS数字化频谱切片技术。
参阅图10,本部分包括大量血管组织病理切片样本,大量OCT或者IVUS血管组织影像成像样本,感兴趣区域配准,病灶影像或感兴趣区域分析,建立训练数据库,OCT或者IVUS血管组织影像,自动识别感兴趣部位,图像色彩标记处理。其中,病灶影像或感兴趣区域分析见图11,包括感兴趣区域配准72,大量IVUS和OCT血管组织影像成像样本78,识别样本影像感兴趣区域79,转换80,纤维化特征模板81,脂肪化特征模板82,钙化特征模板83,纤维脂肪化特征模板84,建立训练数据库74。
基于IVUS或者OCT的血管壁组织影像,对血管壁不同组织特性的显示有了一定区分效果。但是这些区分显示,有些并不十分明显,有时还是需要医生根据丰富的诊断经验进行判断。
提出一种基于IVUS和OCT的数字化频谱切片技术,数字化,即表示利用计算机技术,频谱,即表示对特征感兴趣区域采用频谱变换的方式进行分析,分析校准标注不同伪彩色之后,影像恰似切片。该算法所具有优点:对血管壁组织感兴趣区域将会很形象明确的区分标注,对医生来说可以一目了然的看出病灶所在。
算法流程图如:
1.利用大量血管组织病例切片样本和对应的大量血管影像成像样本进行配准。
有经验的医生识别病理切片中的感兴趣病灶组织,然后通过配准算法结合影像数据,由此可以识别影像图像中的感兴趣区域。
2.病灶影像或感兴趣区域的分析
大量IVUS或者OCT血管组织影像样本通过感兴趣区域配准方法之后,可以识别样本影像感兴趣区域。接下来对样本感兴趣区域转换,这里可以转换为小波域处理或者傅立叶域,转换之后进行信号分析。基于大量数据分析,得出感兴趣区域在傅立叶域或者小波域的信号特征模板。针对这些特征模板建立一个训练数据库。数据训练方法可采用非平衡数据训练方法或者大数据集的SVM数据训练方法或者PSVM数据训练方法。
3.结合训练数据库自动识别诊断设备获取的影像病例感兴趣区域。
通过诊断设备获取的图像,结合之前已经建立的训练数据库,按照一定配准算法,可以直接识别感兴趣区域。
4.图像感兴趣区域标记。
为了方便医生判断,在对感兴趣区域识别完成之后,需要采取一定方法,对感兴趣区域进行伪彩色标准。
该方法的特点是需要大量病例切片信息,建立一个庞大的数据库。这是需要耗费一定的精力和人力。
其中,提高成像质量和特征识别的成像算法包括如下步骤:
(1)图像变换增强,利用新的变换插值方法,进行图像增强,包括时域插值,插值补零,频域变换,频域插值等;
(2)自动光程校准,通过图像识别算法和自动控制设计方法,提供一个可以自动控制光程调节器系统的方案;
(3)内膜自动检测,利用一个新的由内到外的发散式搜索方法,进行识别内膜壁;
(4)纵视图平滑处理,利用基于低通滤波的方法进行图像处理,低通方法可以是时域或者频域、可以是高斯低通或者巴沃斯低通滤波;
(5)结合近红外光谱分析的光学相干层析方法,利用光谱分析特性及血管壁不同组织对光谱吸收的不同进行光谱分析成像;
(6)感兴趣区域的自动识别和标注方法,利用病例切片样本结合对照影像进行图像配准,通过特征信息分析,建立训练数据库,利用训练数据库对获取的影像图像进行特征分析,并利用不同伪彩色方法标注感兴趣区域。
其中,基于超声,光学干涉,光谱成像的内窥成像算法,血管内超声成像。
其中,用于自动光程校准模块,利用图像识别和命令传送控制相结合的方法。
其中,所述的感兴趣区域的自动识别和标注方法模块中的特征信息分析方法,转换到傅立叶域或者小波域的分析。
其中,图像纵视图提高和图像感兴趣识别方法,对血管内超声成像与光学相干断层成像适用。
最后说明的是,选取上述实施例并对其进行了详细的说明和描述是为了更好的说明本发明专利的技术方案,并不是想要局限于所示的细节。本领域的技术人员对本发明的技术方案进行修改或同等替换,而不脱离本发明技术方案的宗旨和范围的,均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种内窥成像方法,其特征在于:包括如下步骤:
(1)一种信号采集处理架构,完成采集,处理,传输及控制的一体式硬件架构;
(2)基于超声,光学干涉,光谱成像的内窥成像算法;
(3)提高成像质量和特征识别的成像算法,包括如下步骤:
S1、图像变换增强,利用新的变换插值方法,进行图像增强,包括时域插值,插值补零,频域变换,频域插值;
S2、自动光程校准,通过图像识别算法和自动控制设计方法,自动控制光程调节器;所述自动控制光程调节器包括如下过程:
S201、线提取:利用间隔线提取方法,以圆心为起点提取n条线;
S202、利用导管壁成像时形成的两个内外圆环形图像,根据两个环形距离以及随光程变化的成像变化特点,构建一个约束算法,当识别该点时,定位其区域位置;
S203、利用发送和接收命令的形式进行电机控制;
S204、设定一个冗余范围,当区域搜索导管壁返回数据之后,使电机控制下的光程调节模块大范围运动在此结束;
S205、在所述冗余范围查找小范围内电机运动和精确控制;包括:
①小范围内识别内外管壁的位置,利用Alines平均线的数据,通过线图分析,得出尖峰位置坐标;
②精确定位,在设定的冗余范围内,结合Alines平均线形成的信号分析图中内外峰检测结果和电机命令,来精确确定电机的位置;
S3、内膜自动检测,从内到外发散式搜索,按照圆心方向的发散式搜索方法,建立参数式的极坐标方程,实施搜索方法;识别内膜壁;
S4、纵视图平滑处理,利用基于低通滤波的方法进行图像处理;
S5、结合近红外光谱分析的光学相干层析方法,利用光谱分析特性及血管壁不同组织对光谱吸收的不同进行光谱分析成像;
S6、感兴趣区域的自动识别和标注方法,利用病例切片样本结合对照影像进行图像配准,通过特征信息分析,建立训练数据库,利用训练数据库对获取的影像图像进行特征分析,并利用不同伪彩色方法标注感兴趣区域。
2.一种内窥成像控制系统,其特征在于,基于上述权利要求1所述的内窥成像方法,进行血管内超声成像。
3.根据权利要求2所述的一种内窥成像控制系统,其特征在于:包括自动光程校准模块,所述自动光程校准模块,利用图像识别和命令传送控制相结合的方法自动控制光程调节器。
CN201611203281.6A 2016-12-23 2016-12-23 一种内窥成像算法及控制系统 Active CN106709967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611203281.6A CN106709967B (zh) 2016-12-23 2016-12-23 一种内窥成像算法及控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611203281.6A CN106709967B (zh) 2016-12-23 2016-12-23 一种内窥成像算法及控制系统

Publications (2)

Publication Number Publication Date
CN106709967A CN106709967A (zh) 2017-05-24
CN106709967B true CN106709967B (zh) 2024-03-26

Family

ID=58903126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611203281.6A Active CN106709967B (zh) 2016-12-23 2016-12-23 一种内窥成像算法及控制系统

Country Status (1)

Country Link
CN (1) CN106709967B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005640A1 (en) * 2017-07-03 2019-01-03 General Electric Company Physiology maps from multi-parametric radiology data
CN108986107B (zh) * 2018-06-15 2021-09-28 大连理工大学 基于光谱分析和骨架涂鸦的序列化可视人体切片图像自动分割方法
DE102018222595A1 (de) * 2018-12-20 2020-06-25 Siemens Healthcare Gmbh Verfahren zur Bildbearbeitung eines Bilddatensatzes eines Patienten, medizinische Bildgebungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger
CN110211089A (zh) * 2019-04-23 2019-09-06 中国科学院深圳先进技术研究院 肾透明细胞癌转移判断特征的提取方法、装置和存储介质
CN110852987B (zh) * 2019-09-24 2022-04-22 西安交通大学 基于深形态学的血管斑块检测方法、设备及存储介质
CN113143168A (zh) * 2020-01-07 2021-07-23 日本电气株式会社 医疗辅助操作方法、装置、设备和计算机存储介质
CN111493831B (zh) * 2020-04-24 2023-01-06 天津恒宇医疗科技有限公司 一种基于oct光干涉的自适应校准系统及工作方法
CN112370078B (zh) * 2020-11-10 2024-01-26 安徽理工大学 一种基于超声成像和贝叶斯优化的图像检测方法
CN113938622B (zh) * 2021-12-15 2022-02-15 慕思健康睡眠股份有限公司 一种基于异步录制视频的血压检测装置及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5994690A (en) * 1997-03-17 1999-11-30 Kulkarni; Manish D. Image enhancement in optical coherence tomography using deconvolution
CN101209199A (zh) * 2006-12-26 2008-07-02 株式会社拓普康 光图像计测装置
CN101317773A (zh) * 2007-06-06 2008-12-10 株式会社东芝 超声波图像处理装置
CN101716077A (zh) * 2009-12-03 2010-06-02 西交利物浦大学 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统
CN101808054A (zh) * 2010-03-26 2010-08-18 北京天碁科技有限公司 信道估计的实现方法和装置
CN103040429A (zh) * 2013-01-05 2013-04-17 无锡微奥科技有限公司 一种用于口腔的光学影像检测装置和成像方法
CN103873830A (zh) * 2014-03-20 2014-06-18 郑州赛福特电子设备有限公司 电子内窥镜影像系统及电子内窥镜图像处理方法
CN104143047A (zh) * 2014-07-21 2014-11-12 华北电力大学(保定) 血管内超声灰阶图像的自动组织标定方法
CN104168830A (zh) * 2012-03-16 2014-11-26 西安电子科技大学 内窥式x射线发光断层成像装置及方法
WO2015054243A1 (en) * 2013-10-07 2015-04-16 Van Dam, Jacques Integrated ultrasound, oct, pa and/or florescence imaging endoscope for diagnosing cancers in gastrointestinal, respiratory, and urogenital tracts
CN105877846A (zh) * 2016-03-30 2016-08-24 杨重骏 口腔诊疗机器人系统及其控制方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5994690A (en) * 1997-03-17 1999-11-30 Kulkarni; Manish D. Image enhancement in optical coherence tomography using deconvolution
CN101209199A (zh) * 2006-12-26 2008-07-02 株式会社拓普康 光图像计测装置
CN101317773A (zh) * 2007-06-06 2008-12-10 株式会社东芝 超声波图像处理装置
CN101716077A (zh) * 2009-12-03 2010-06-02 西交利物浦大学 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统
CN101808054A (zh) * 2010-03-26 2010-08-18 北京天碁科技有限公司 信道估计的实现方法和装置
CN104168830A (zh) * 2012-03-16 2014-11-26 西安电子科技大学 内窥式x射线发光断层成像装置及方法
CN103040429A (zh) * 2013-01-05 2013-04-17 无锡微奥科技有限公司 一种用于口腔的光学影像检测装置和成像方法
WO2015054243A1 (en) * 2013-10-07 2015-04-16 Van Dam, Jacques Integrated ultrasound, oct, pa and/or florescence imaging endoscope for diagnosing cancers in gastrointestinal, respiratory, and urogenital tracts
CN103873830A (zh) * 2014-03-20 2014-06-18 郑州赛福特电子设备有限公司 电子内窥镜影像系统及电子内窥镜图像处理方法
CN104143047A (zh) * 2014-07-21 2014-11-12 华北电力大学(保定) 血管内超声灰阶图像的自动组织标定方法
CN105877846A (zh) * 2016-03-30 2016-08-24 杨重骏 口腔诊疗机器人系统及其控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种面向超声胶囊内窥镜的成像装置;魏识广等;《深圳大学学报理工版》;20160531;第33卷(第3期);第18、69、98-103页 *
无线胶囊内窥镜系统及内窥图像中出血智能识别研究;潘国兵;《中国博士学位论文全文数据库》;20130415(第4期);第18、69、98-103页 *

Also Published As

Publication number Publication date
CN106709967A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106709967B (zh) 一种内窥成像算法及控制系统
US8483488B2 (en) Method and system for stabilizing a series of intravascular ultrasound images and extracting vessel lumen from the images
US11633169B2 (en) Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same
CN110269600B (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
Sinclair et al. Human-level performance on automatic head biometrics in fetal ultrasound using fully convolutional neural networks
Lu et al. Automated fetal head detection and measurement in ultrasound images by iterative randomized Hough transform
CN109829880A (zh) 一种基于深度学习的ct图像检测方法、装置和控制设备
KR101121396B1 (ko) 2차원 초음파 영상에 대응하는 2차원 ct 영상을 제공하는 시스템 및 방법
US8737703B2 (en) Systems and methods for detecting retinal abnormalities
JP2002224116A (ja) 超音波診断装置及び画像処理装置
CN111178369B (zh) 一种医学影像的识别方法及系统、电子设备、存储介质
CN110772286A (zh) 一种基于超声造影识别肝脏局灶性病变的系统
CN110310323A (zh) 基于Hessian矩阵和二维高斯拟合的视网膜血管管径测量方法
CN111986139A (zh) 颈动脉内中膜厚度的测量方法、设备及存储介质
CN103824057A (zh) 一种基于面积特征算子的猪的呼吸频率检测方法
CN114387479A (zh) 一种基于人脸视频的非接触式心率测量方法及系统
CN116451110A (zh) 基于信号能量特征和脉搏周期的血糖预测模型构建方法
CN116503548A (zh) 牙齿和牙槽骨图像分割重构方法及系统
CN117017347B (zh) 超声设备的图像处理方法、系统及超声设备
CN111640127B (zh) 一种用于骨科的精准临床诊断导航方法
CN117274487A (zh) 一种胃镜图像三维重建方法
CN113724214B (zh) 一种基于神经网络的图像处理方法及装置
CN111640126B (zh) 基于医学影像的人工智能诊断辅助方法
Ogiela et al. Computer analysis of gallbladder ultrasonic images towards recognition of pathological lesions
WO2011047342A1 (en) Systems and methods for detecting retinal abnormalities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant