CN113837973B - 基于光纤探头的共聚焦内窥镜图像校正方法及系统 - Google Patents
基于光纤探头的共聚焦内窥镜图像校正方法及系统 Download PDFInfo
- Publication number
- CN113837973B CN113837973B CN202111428581.5A CN202111428581A CN113837973B CN 113837973 B CN113837973 B CN 113837973B CN 202111428581 A CN202111428581 A CN 202111428581A CN 113837973 B CN113837973 B CN 113837973B
- Authority
- CN
- China
- Prior art keywords
- image
- dislocation
- average
- images
- background image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000000523 sample Substances 0.000 title claims abstract description 42
- 239000013307 optical fiber Substances 0.000 title claims abstract description 25
- 238000003702 image correction Methods 0.000 title claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 35
- 238000012935 Averaging Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 16
- 230000001360 synchronised effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004624 confocal microscopy Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007334 copolymerization reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种基于光纤探头的共聚焦内窥镜图像校正方法及系统,方法包括以下步骤:通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。本发明基于共聚焦内窥图像的固有特征,通过背景图信息校正样品图像信息,通过采集卡上的FPGA芯片进行并行计算,实时地解决了图像的错位和畸变问题,无需添加硬件结构,达到了图像错位和畸变的实时校正。
Description
技术领域
本发明属于图像校正领域,特别是一种基于光纤探头的共聚焦内窥镜图像校正方法及系统。
背景技术
激光共聚焦显微内镜是一种把激光共聚焦显微技术和传统内窥镜技术结合起来的新型内窥镜,它可以对活体组织进行高分辨率组织学诊断,并能实现一定深度的断层扫描,对于早期肿瘤和癌前病变的筛查具有重要的作用。
激光共聚焦内窥镜的原理如图 1所示,激光共聚焦显微内镜依靠X/Y轴扫描振镜偏转激光束对整个扫描平面逐点成像,X/Y轴振镜扫描方式如图 2所示。两个扫描振镜正交放置,X轴振镜扫描一行后Y轴振镜移动一个步长,X轴振镜一个往返周期完成两行图像的扫描。以扫描一幅512×512像素的图像为例,扫描整幅图像需要X轴振镜转动256个周期,Y轴只需转动1个周期,所以X轴一般使用转速较高的共振振镜,Y轴一般使用转速较低的检流计振镜。
由于共振振镜的运动特性和硬件原因,共聚焦显微内窥镜采集到的图像会存在畸变和错位两个问题。
畸变形成的原因:图像横向畸变的主要原因是共振振镜速度呈正弦变化。共振振镜的镜面连接一个扭力杆,在驱动电路的激励下以固定频率做简谐运动,振幅只取决于控制电压。共振振镜速度呈正弦变化,如图3所示,在两端的速度为0,在中间时的速度最高。如果采集卡以等时间间隔采集数据,直接利用采样数据拼成的图像两端呈拉伸形变,中间呈压缩形变,整幅图像会出现较大程度的横向畸变,如图4所示。
错位形成的原因:图像错位的问题的主要原因是共振振镜反馈的同步信号与振镜的实际位置不匹配。振镜驱动的位置反馈电路对外提供一个同步信号,同步信号高电平表示振镜正向运动,低电平表示振镜反向运动,信号的下降沿和上升沿表示振镜运动方向发生了反转。由于硬件原因,同步信号并不与振镜实际位置完全同步,共振振镜位置、速度和同步信号之间的关系如图 5所示,其中Δt表示同步信号边沿与实际位置之间的时间差。数据采集卡将同步信号的边沿作为采集一行数据的起点,同步信号和振镜的实际位置不匹配会造成同步信号边沿触发采集开始指令后,在振镜扫描过程中采集到的数据点与空间中的实际位置不能准确匹配。正向运动和反向运动采集到的数据点会向相反方向偏移,拼接成的图像会有锯齿状错位,导致图形特征的边缘模糊不清,影响图像质量,如图6所示。
对于共振振镜扫描引起的图像质量问题,目前有两种校正方法:硬件校正和软件校正。硬件校正方法是通过一个辅助校正激光照射到振镜上,辅助校正激光经振镜反射后照射在一个光栅上,光栅后有一个光电传感器;振镜运动时辅助激光扫过光栅产生一个交变的光信号,经光电传感器转换为一个交变的电信号,这个电信号与振镜位置完全同步,可以作为图像采集的参考信号。但是这种方式增加了硬件成本和系统复杂度,给调试安装带来了困难。软件校正方法是将扫描到的图像中偶数行数据和奇数行数据分别提取出来,形成一幅偶数行图像和一幅技术行图像。通过两幅图像的整体错位程度估算奇数行数据与偶数行数据的错位时间。在采集偶数行图像时采集卡延时,得到一个纠正了错位的图像。然后根据振镜速度呈正弦变化这一规律,对采集到的信号做非等时抽样,以解决振镜速度带来的畸变问题。软件校正方法前后的错位量示意图如图 7所示,其中a是软件校正前的错位量,b是软件校正后的错位量。首先,这种方法只能估计整体的错位时间,不能纠正每一行的抖动。其次,这种方法计算的是偶数行数据和技术行数据的错位时间,不是同步信号和振镜的错位时间。因此无法得知振镜的实际开始位置,那么就无法精确拟合振镜速度曲线。这样就没法实现精确的畸变校正。
发明内容
本发明的目的在于针对上述现有技术存在的问题,提供一种FPGA和计算机联合实时逐行错位校正的方法,解决随机变化的图像错位带来的画质降低的问题。
实现本发明目的的技术解决方案为:一种基于光纤探头的共聚焦内窥镜图像校正方法,所述方法包括以下步骤:
通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;
利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
进一步地,所述通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像,具体为:
将共聚焦内窥镜的光纤探头空置,同时将共振振镜同步信号边沿作为行同步信号,利用带有FPGA芯片的采集卡通过过采样的方式采集一组背景图像;
针对所述一组背景图像,对偶数行数据进行翻转得到一组新的背景图像;
对所述一组新的背景图像中的像素亮度值累加后取平均得到平均背景图像。
进一步地,所述校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a,具体过程包括:
将所述平均背景图像的所有奇数行和所有偶数行分别拼接,获得奇数行图像和偶数行图像;
对两幅图像进行互相关运算得到奇数行和偶数行之间的错位值;
将所述错位值除以2得到平均错位值a;
将所述平均背景图像的所有奇数行左移a,所有偶数行右移a,得到校正后的平均背景图像B,并对该平均背景图像B的偶数行数据进行翻转。
进一步地,所述利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变,具体过程包括:
(1)令m=0,n=0,数组Z中的元素Z[m] =0,预设最大值max=0,之后执行(3);
(2)令m自增1;
(3)判断n是否小于l,若是,则执行(4),否则执行(5);
(4)计算Z[m]=F[n]*B[n+m]+ Z[m],重复执行(3)至(4);
(6)判断m是否小于2k,若是则退出当前计算,输出r,否则返回执行(2)。
进一步地,上述对取出的两组数据进行互相关计算的具体过程中,对最内层循环体进行并行运算,对最外层循环进行流水线化运算。
基于振镜速度呈正弦变化的规律计算每个像素之间的采样间隔;
一种基于光纤探头的共聚焦内窥镜图像校正系统,所述系统包括:
图像采集模块,用于通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
第一校正模块,用于校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;
第二校正模块,用于利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;
利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;
利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
本发明与现有技术相比,其显著优点为:
1)基于共聚焦内窥图像的固有特征,通过背景图信息校正样品图像信息,通过采集卡上的FPGA芯片进行并行计算,实时地解决了图像的错位和畸变问题,无需添加硬件结构,达到了图像错位和畸变的实时校正。
2)方法中的互相关算法在传统的离散互相关算法的基础上做了优化,在互相关运算时不需要遍历所有的错位值,只需要在取值范围内搜索,根据硬件特点,可以测量到同步信号的抖动范围{-k,k}。本方法中互相关运算时数据移动后不再补零,而是把旁边的实际值补充过来。
3)本方法利用并行计算方式在采集卡自带的FPGA中对图像错位进行实时计算与校正,比传统计算方式速度更高,而且不用占用计算机的资源。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为激光共聚焦内窥镜原理图。
图2为共聚焦显微内镜扫描方式示意图。
图3为共振振镜速度变化示意图。
图4为共振振镜速度变化引起的畸变示意图,其中图(a)为无畸变的图像,图(b)为有畸变的图像。
图5为共振振镜速度与同步信号示意图。
图6为图像畸变和错位模拟图,其中图(a)为无畸变和错位的图像,图(b)为畸变和错位后的图像。
图7为软件校正前后的错位量示意图。
图8为固定的错位量示意图。
图 9为振镜信号与同步信号错位示意图。
图10为一个实施例中基于光纤探头的共聚焦内窥镜图像校正方法的流程图。
图 11为一个实施例中共聚焦内镜背景图。
图12为一个实施例中过采样得到的背景图。
图13为一个实施例中对背景图的逐行互相关计算流程图。
图14为一个实施例中并行优化后的FPGA处理流程图。
图15为一个实施例中采样间隔曲线图。
图16为一个实施例中错位的背景图像(局部)。
图17为一个实施例中校正后的平均背景图像。
图18为一个实施例中初步校正后的共聚焦内窥镜图像。
图19为一个实施例中校正畸变和错位后的共聚焦内窥镜图像。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本发明提出了一种FPGA和计算机联合实时逐行错位校正的方法,以解决随机变化的图像错位带来的画质降低的问题。具体原理如下:
由于a的存在,图像中奇数行数据和偶数行数据会有2a的错位量,如图8所示。
由于同步信号的抖动的存在图像中每行的错位程度都不相同,如果要彻底校正图像的错位需要计算每一行的。而逐行计算对计算实时性要求非常高。对于8KHz的共振振镜,每行数据的计算时间应小于62.5us,通过计算机难以达到运算时间的要求,故通过采集卡中的FPGA进行逐行计算。
通常对齐图像的方法通常利用相邻两行图像内容相关性较强的规律对相邻两行图像进行互相关计算。但是这种方法对内容的特征较为依赖,如图像中存在走向扭曲的内容,校正值也会受到相应的扭曲。
本方法摒弃这种利用一幅图像内部特征的对齐方法,而是利用共聚焦内镜图像的固有特点来实现。由于共聚焦内镜采用光纤传输图像,所以传输上来的图像是经过光纤离散采样后的信号,采集到的图像呈现蜂窝状结构。对于固定的光纤,图像中的蜂窝状结构不随目标内容的改变而变化。本方法就是利用图像之间的这种不随时间而改变的蜂窝状结构进行图像的对齐校正。
在一个实施例中,结合图10,提供了一种基于光纤探头的共聚焦内窥镜图像校正方法,所述方法包括以下步骤:
步骤1,通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
步骤2,校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;
步骤3,利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
进一步地,在其中一个实施例中,结合图13,步骤1所述通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像,具体为:
步骤1-1,将共聚焦内窥镜的光纤探头空置,同时将共振振镜同步信号边沿作为行同步信号,利用带有FPGA芯片的采集卡通过过采样的方式采集一组背景图像;
这里,没有借助外部光线,是由于光纤具有自发荧光,所以可以采集到亮度均匀的背景图像,如图11所示。
这里,过采样指的是,例如对数据进行5倍过采样,那么对于1000*1000的图像需要采集5000*1000个数据点。过采样的原因是为了保证后面的畸变校正的精度和对齐的精度。过采样得到的背景图如图12所示。
步骤1-2,针对所述一组背景图像,对偶数行数据进行翻转(因为图像是往返扫描采集到的,偶数行图像是在返回的过程采集的)得到一组新的背景图像;
步骤1-3,对所述一组新的背景图像中的像素亮度值累加后取平均得到平均背景图像。
进一步地,在其中一个实施例中,结合图13,步骤2所述校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a,具体过程包括:
步骤2-1,将所述平均背景图像的所有奇数行和所有偶数行分别拼接,获得奇数行图像和偶数行图像;
步骤2-2,对两幅图像进行互相关运算得到奇数行和偶数行之间的错位值;
步骤2-3,将所述错位值除以2得到平均错位值a;
步骤2-4,将所述平均背景图像的所有奇数行左移a,所有偶数行右移a,得到校正后的平均背景图像B,并对该平均背景图像B的偶数行数据进行翻转;
之后下发图像和校正值a到采集卡中的FPGA芯片。
进一步地,在其中一个实施例中,步骤3所述利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变,具体过程包括:
步骤3-2-1,从校正后的平均背景图像B中每行(中间部分)取长度为l的数据,构成图像数组B;从初步校正后的共聚焦内窥镜图像中对应行的对应位置取长度为l+2k的数据,构成图像数组F;这两组数据的中心位置对应;
这里,如果取一行所有数据进行互相关计算会非常浪费计算时间和FPGA资源。所以本方法只取一行图像中心的部分数据进行计算。本步骤的互相关算法在传统的离散互相关算法的基础上做了优化,在互相关运算时不需要遍历所有的错位值(具有一定的取值范围),只需要在取值范围内搜索,根据硬件特点,可以测量到同步信号的抖动范围{-k, k}。一般互相关运算时由于是移动所有的值进行计算,移动后边界上的值需要补零,但是这种补零操作会影响计算结果。本方法中数据移动后不再补零,而是把旁边的实际值补充过来。
(1)令m=0,n=0,数组Z中的元素Z[m] =0,预设最大值max=0,之后执行(3);
(2)令m自增1;
(3)判断n是否小于l,若是,则执行(4),否则执行(5);
(4)计算Z[m]=F[n]*B[n+m]+ Z[m],重复执行(3)至(4);
(6)判断m是否小于2k,若是则退出当前计算,输出r,否则返回执行(2)。
伪代码如下:
for(m=0;m<2k;m++){
for(n=0;n<l;n++){
Z[m]=F[n]*B[n+m]+ Z[m]
}
if(Z[m]>max) {
max= Z[m]
r=k-m
}
}
这里,为了提高运算效率,对最内层循环体进行并行展开处理,对最外层循环做流水线化处理,如图14所示。
步骤3-3-1,基于振镜速度呈正弦变化的规律计算每个像素之间的采样间隔,采样点间隔曲线如图15所示;
在一个实施例中,提供了一种基于光纤探头的共聚焦内窥镜图像校正系统,所述系统包括:
图像采集模块,用于通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
第一校正模块,用于校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;
第二校正模块,用于利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
关于基于光纤探头的共聚焦内窥镜图像校正系统的具体限定可以参见上文中对于基于光纤探头的共聚焦内窥镜图像校正方法的限定,在此不再赘述。上述基于光纤探头的共聚焦内窥镜图像校正系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
步骤1,通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
步骤2,校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;
步骤3,利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
关于每一步的具体限定可以参见上文中对于基于光纤探头的共聚焦内窥镜图像校正方法的限定,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
步骤1,通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
步骤2,校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;
步骤3,利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
关于每一步的具体限定可以参见上文中对于基于光纤探头的共聚焦内窥镜图像校正方法的限定,在此不再赘述。
示例性地,在一个实施例中,对本发明方法进行验证说明。
经步骤1采集了错位的背景图像如图16所示,经步骤2后获得校正后的平均背景图像如图17所示,经步骤3获得的初步校正后的共聚焦内窥镜图像、校正畸变和错位后的共聚焦内窥镜图像分别如图18、图19所示。
由上可知,本发明基于共聚焦内窥图像的固有特征,通过背景图信息校正样品图像信息,通过采集卡上的FPGA芯片进行并行计算,实时地解决了图像的错位和畸变问题,无需添加硬件结构,达到了图像错位和畸变的实时校正。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种基于光纤探头的共聚焦内窥镜图像校正方法,其特征在于,所述方法包括以下步骤:
通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;
利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变;所述通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像,具体为:
将共聚焦内窥镜的光纤探头空置,同时将共振振镜同步信号边沿作为行同步信号,利用带有FPGA芯片的采集卡通过过采样的方式采集一组背景图像;
针对所述一组背景图像,对偶数行数据进行翻转得到一组新的背景图像;
对所述一组新的背景图像中的像素亮度值累加后取平均得到平均背景图像;
所述利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变,具体过程包括:
基于振镜速度呈正弦变化的规律计算每个像素之间的采样间隔;
2.根据权利要求1所述的基于光纤探头的共聚焦内窥镜图像校正方法,其特征在于,所述校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a,具体过程包括:
将所述平均背景图像的所有奇数行和所有偶数行分别拼接,获得奇数行图像和偶数行图像;
对两幅图像进行互相关运算得到奇数行和偶数行之间的错位值;
将所述错位值除以2得到平均错位值a;
将所述平均背景图像的所有奇数行左移a,所有偶数行右移a,得到校正后的平均背景图像B,并对该平均背景图像B的偶数行数据进行翻转。
(1)令m=0,n=0,数组Z中的元素Z[m] =0,预设最大值max=0,之后执行(3);
(2)令m自增1;
(3)判断n是否小于l,若是,则执行(4),否则执行(5);
(4)计算Z[m]=F[n]*B[n+m]+ Z[m],重复执行(3)至(4);
(6)判断m是否小于2k,若是则退出当前计算,输出r,否则返回执行(2)。
4.根据权利要求3所述的基于光纤探头的共聚焦内窥镜图像校正方法,其特征在于,上述对取出的两组数据进行互相关计算的具体过程中,对最内层循环体进行并行运算,对最外层循环进行流水线化运算。
5.基于权利要求1至4任意一项所述的基于光纤探头的共聚焦内窥镜图像校正方法的系统,其特征在于,所述系统包括:
图像采集模块,用于通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
第一校正模块,用于校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;
第二校正模块,用于利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
6.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111428581.5A CN113837973B (zh) | 2021-11-29 | 2021-11-29 | 基于光纤探头的共聚焦内窥镜图像校正方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111428581.5A CN113837973B (zh) | 2021-11-29 | 2021-11-29 | 基于光纤探头的共聚焦内窥镜图像校正方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113837973A CN113837973A (zh) | 2021-12-24 |
CN113837973B true CN113837973B (zh) | 2022-02-18 |
Family
ID=78971883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111428581.5A Active CN113837973B (zh) | 2021-11-29 | 2021-11-29 | 基于光纤探头的共聚焦内窥镜图像校正方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113837973B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102282496A (zh) * | 2009-07-30 | 2011-12-14 | 奥林巴斯医疗株式会社 | 内窥镜用光学系统及内窥镜 |
WO2017158896A1 (ja) * | 2016-03-15 | 2017-09-21 | オリンパス株式会社 | 画像処理装置、画像処理システム、画像処理装置の作動方法 |
CN109541798A (zh) * | 2018-11-20 | 2019-03-29 | 成都理想境界科技有限公司 | 一种光纤扫描装置及投影显示设备 |
CN110766620A (zh) * | 2019-09-27 | 2020-02-07 | 中国科学院苏州生物医学工程技术研究所 | 基于光纤探头的共聚焦内窥镜图像畸变校正方法 |
CN113068015A (zh) * | 2021-03-24 | 2021-07-02 | 南京锐普创科科技有限公司 | 一种基于光纤探头的内窥镜图像畸变校正系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3756532B1 (en) * | 2018-02-20 | 2024-04-17 | FUJIFILM Corporation | Endoscope system |
CN109820471B (zh) * | 2019-02-27 | 2024-01-23 | 中国科学院苏州生物医学工程技术研究所 | 一种共聚焦内窥成像错位校正系统及方法 |
-
2021
- 2021-11-29 CN CN202111428581.5A patent/CN113837973B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102282496A (zh) * | 2009-07-30 | 2011-12-14 | 奥林巴斯医疗株式会社 | 内窥镜用光学系统及内窥镜 |
WO2017158896A1 (ja) * | 2016-03-15 | 2017-09-21 | オリンパス株式会社 | 画像処理装置、画像処理システム、画像処理装置の作動方法 |
CN109541798A (zh) * | 2018-11-20 | 2019-03-29 | 成都理想境界科技有限公司 | 一种光纤扫描装置及投影显示设备 |
CN110766620A (zh) * | 2019-09-27 | 2020-02-07 | 中国科学院苏州生物医学工程技术研究所 | 基于光纤探头的共聚焦内窥镜图像畸变校正方法 |
CN113068015A (zh) * | 2021-03-24 | 2021-07-02 | 南京锐普创科科技有限公司 | 一种基于光纤探头的内窥镜图像畸变校正系统 |
Non-Patent Citations (3)
Title |
---|
Endoscopic image feature matching via motion consensus and global bilateral regression;Yakui Chu 等;《Computer Methods and Programs in Biomedicine》;20200731;第190卷;全文 * |
医用电子内窥镜畸变实时校正系统的视频控制;刘滨安 等;《数字技术与应用》;20160630;全文 * |
高速扫描激光共聚焦显微内窥镜图像校正;徐宝腾 等;《光学精密工程》;20200131;第28卷(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113837973A (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11131841B2 (en) | High-resolution scanning light field microscopic imaging system and method | |
CN102360079B (zh) | 一种激光测距仪及工作方法 | |
CN104394309B (zh) | 一种图像稳定的超分辨率成像系统及方法 | |
CN102980561B (zh) | 一种移动终端测距方法及装置 | |
CN101295023B (zh) | 一种测量流场速度的方法 | |
CN110675451B (zh) | 基于相空间光学的数字自适应校正方法及系统 | |
CN104133078A (zh) | 基于片光扫描粒子图像的三维流场高频测量装置及其方法 | |
CN104769480A (zh) | 图像取得装置和图像取得装置的聚焦方法 | |
CN105911692A (zh) | 一种傅立叶叠层显微成像系统的最优系统参数选择方法 | |
CN109272575B (zh) | 一种提高数字切片扫描仪建模速度的方法 | |
CN109975814A (zh) | 超声成像方法、系统和设备 | |
BR112020007609B1 (pt) | Método e dispositivo de reconstrução de imagem e dispositivo de imagiologia microscópica | |
CN107680065A (zh) | 辐射图像校正方法和校正装置及校正系统 | |
JP2017006424A (ja) | 画像生成装置及び画像生成方法 | |
CN113837973B (zh) | 基于光纤探头的共聚焦内窥镜图像校正方法及系统 | |
JP5365419B2 (ja) | 3次元形状センサ | |
CN115760636A (zh) | 激光雷达点云的畸变补偿方法、装置、设备及存储介质 | |
CN101561267B (zh) | 距离测量装置与方法 | |
CN114219866A (zh) | 双目结构光三维重建方法、重建系统及重建设备 | |
CN209951205U (zh) | 一种共聚焦内窥成像错位校正系统 | |
JP6587430B2 (ja) | 画像生成装置及び画像生成方法 | |
CN108007382A (zh) | 基于结构光照明的面形测量装置和方法 | |
CN109645936B (zh) | 一种共聚焦内窥成像错位校正系统及方法 | |
JP6405092B2 (ja) | 画像生成装置および画像生成方法 | |
CN105321152A (zh) | 一种图像拼接方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |