CN113837973B - 基于光纤探头的共聚焦内窥镜图像校正方法及系统 - Google Patents

基于光纤探头的共聚焦内窥镜图像校正方法及系统 Download PDF

Info

Publication number
CN113837973B
CN113837973B CN202111428581.5A CN202111428581A CN113837973B CN 113837973 B CN113837973 B CN 113837973B CN 202111428581 A CN202111428581 A CN 202111428581A CN 113837973 B CN113837973 B CN 113837973B
Authority
CN
China
Prior art keywords
image
dislocation
average
images
background image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111428581.5A
Other languages
English (en)
Other versions
CN113837973A (zh
Inventor
徐宝腾
杨西斌
熊大曦
刘家林
周伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202111428581.5A priority Critical patent/CN113837973B/zh
Publication of CN113837973A publication Critical patent/CN113837973A/zh
Application granted granted Critical
Publication of CN113837973B publication Critical patent/CN113837973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20216Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种基于光纤探头的共聚焦内窥镜图像校正方法及系统,方法包括以下步骤:通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a;利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。本发明基于共聚焦内窥图像的固有特征,通过背景图信息校正样品图像信息,通过采集卡上的FPGA芯片进行并行计算,实时地解决了图像的错位和畸变问题,无需添加硬件结构,达到了图像错位和畸变的实时校正。

Description

基于光纤探头的共聚焦内窥镜图像校正方法及系统
技术领域
本发明属于图像校正领域,特别是一种基于光纤探头的共聚焦内窥镜图像校正方法及系统。
背景技术
激光共聚焦显微内镜是一种把激光共聚焦显微技术和传统内窥镜技术结合起来的新型内窥镜,它可以对活体组织进行高分辨率组织学诊断,并能实现一定深度的断层扫描,对于早期肿瘤和癌前病变的筛查具有重要的作用。
激光共聚焦内窥镜的原理如图 1所示,激光共聚焦显微内镜依靠X/Y轴扫描振镜偏转激光束对整个扫描平面逐点成像,X/Y轴振镜扫描方式如图 2所示。两个扫描振镜正交放置,X轴振镜扫描一行后Y轴振镜移动一个步长,X轴振镜一个往返周期完成两行图像的扫描。以扫描一幅512×512像素的图像为例,扫描整幅图像需要X轴振镜转动256个周期,Y轴只需转动1个周期,所以X轴一般使用转速较高的共振振镜,Y轴一般使用转速较低的检流计振镜。
由于共振振镜的运动特性和硬件原因,共聚焦显微内窥镜采集到的图像会存在畸变和错位两个问题。
畸变形成的原因:图像横向畸变的主要原因是共振振镜速度呈正弦变化。共振振镜的镜面连接一个扭力杆,在驱动电路的激励下以固定频率做简谐运动,振幅只取决于控制电压。共振振镜速度呈正弦变化,如图3所示,在两端的速度为0,在中间时的速度最高。如果采集卡以等时间间隔采集数据,直接利用采样数据拼成的图像两端呈拉伸形变,中间呈压缩形变,整幅图像会出现较大程度的横向畸变,如图4所示。
错位形成的原因:图像错位的问题的主要原因是共振振镜反馈的同步信号与振镜的实际位置不匹配。振镜驱动的位置反馈电路对外提供一个同步信号,同步信号高电平表示振镜正向运动,低电平表示振镜反向运动,信号的下降沿和上升沿表示振镜运动方向发生了反转。由于硬件原因,同步信号并不与振镜实际位置完全同步,共振振镜位置、速度和同步信号之间的关系如图 5所示,其中Δt表示同步信号边沿与实际位置之间的时间差。数据采集卡将同步信号的边沿作为采集一行数据的起点,同步信号和振镜的实际位置不匹配会造成同步信号边沿触发采集开始指令后,在振镜扫描过程中采集到的数据点与空间中的实际位置不能准确匹配。正向运动和反向运动采集到的数据点会向相反方向偏移,拼接成的图像会有锯齿状错位,导致图形特征的边缘模糊不清,影响图像质量,如图6所示。
对于共振振镜扫描引起的图像质量问题,目前有两种校正方法:硬件校正和软件校正。硬件校正方法是通过一个辅助校正激光照射到振镜上,辅助校正激光经振镜反射后照射在一个光栅上,光栅后有一个光电传感器;振镜运动时辅助激光扫过光栅产生一个交变的光信号,经光电传感器转换为一个交变的电信号,这个电信号与振镜位置完全同步,可以作为图像采集的参考信号。但是这种方式增加了硬件成本和系统复杂度,给调试安装带来了困难。软件校正方法是将扫描到的图像中偶数行数据和奇数行数据分别提取出来,形成一幅偶数行图像和一幅技术行图像。通过两幅图像的整体错位程度估算奇数行数据与偶数行数据的错位时间
Figure 687695DEST_PATH_IMAGE001
。在采集偶数行图像时采集卡延时
Figure 11360DEST_PATH_IMAGE001
,得到一个纠正了错位的图像。然后根据振镜速度呈正弦变化这一规律,对采集到的信号做非等时抽样,以解决振镜速度带来的畸变问题。软件校正方法前后的错位量示意图如图 7所示,其中a是软件校正前的错位量,b是软件校正后的错位量。首先,这种方法只能估计整体的错位时间
Figure 322255DEST_PATH_IMAGE001
,不能纠正每一行的抖动。其次,这种方法计算的是偶数行数据和技术行数据的错位时间,不是同步信号和振镜的错位时间。因此无法得知振镜的实际开始位置,那么就无法精确拟合振镜速度曲线。这样就没法实现精确的畸变校正。
发明内容
本发明的目的在于针对上述现有技术存在的问题,提供一种FPGA和计算机联合实时逐行错位校正的方法,解决随机变化的图像错位带来的画质降低的问题。
实现本发明目的的技术解决方案为:一种基于光纤探头的共聚焦内窥镜图像校正方法,所述方法包括以下步骤:
通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a
利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
进一步地,所述通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像,具体为:
将共聚焦内窥镜的光纤探头空置,同时将共振振镜同步信号边沿作为行同步信号,利用带有FPGA芯片的采集卡通过过采样的方式采集一组背景图像;
针对所述一组背景图像,对偶数行数据进行翻转得到一组新的背景图像;
对所述一组新的背景图像中的像素亮度值累加后取平均得到平均背景图像。
进一步地,所述校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a,具体过程包括:
将所述平均背景图像的所有奇数行和所有偶数行分别拼接,获得奇数行图像和偶数行图像;
对两幅图像进行互相关运算得到奇数行和偶数行之间的错位值;
将所述错位值除以2得到平均错位值a
将所述平均背景图像的所有奇数行左移a,所有偶数行右移a,得到校正后的平均背景图像B,并对该平均背景图像B的偶数行数据进行翻转。
进一步地,所述利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变,具体过程包括:
将行同步信号延迟a个周期后作为新的行同步信号,利用基于光纤探头的共聚焦内窥镜中的带有FPGA芯片的采集卡采集目标图像,得到初步校正后的共聚焦内窥镜图像
Figure 638836DEST_PATH_IMAGE002
将初步校正后的共聚焦内窥镜图像
Figure 984367DEST_PATH_IMAGE002
和校正后的平均背景图像B进行逐行错位计算,得到错位量
Figure 213354DEST_PATH_IMAGE001
采集卡上的FPGA芯片将共聚焦内窥镜图像
Figure 11546DEST_PATH_IMAGE002
的数据右移
Figure 866238DEST_PATH_IMAGE001
个周期后进行非等时重采样,获得错位和畸变校正后的图像。
进一步地,所述将初步校正后的共聚焦内窥镜图像
Figure 269538DEST_PATH_IMAGE002
和校正后的平均背景图像B进行逐行错位计算,得到错位量
Figure 794060DEST_PATH_IMAGE001
,具体过程包括:
假设初步校正后的共聚焦内窥镜图像
Figure 954914DEST_PATH_IMAGE002
和校正后的平均背景图像B的错位量的取值范围为{-k,k};
从校正后的平均背景图像B中每行取长度为l的数据,构成图像数组B;从初步校正后的共聚焦内窥镜图像
Figure 223084DEST_PATH_IMAGE002
中对应行的对应位置取长度为l+2k的数据,构成图像数组F;这两组数据的中心位置对应;
对取出的两组数据进行互相关计算,得到当前行的错位量
Figure 402262DEST_PATH_IMAGE001
进一步地,所述对取出的两组数据进行互相关计算,得到当前行的错位量
Figure 628844DEST_PATH_IMAGE001
,具体计算过程包括:
(1)令m=0,n=0,数组Z中的元素Z[m] =0,预设最大值max=0,之后执行(3);
(2)令m自增1;
(3)判断n是否小于l,若是,则执行(4),否则执行(5);
(4)计算Z[m]=F[n]*B[n+m]+ Z[m],重复执行(3)至(4);
(5)判断Z[m]是否大于预设最大值max,若是,则max= Z[m],r=k-mr即为错位量
Figure 604890DEST_PATH_IMAGE001
,之后执行(6);
(6)判断m是否小于2k,若是则退出当前计算,输出r,否则返回执行(2)。
进一步地,上述对取出的两组数据进行互相关计算的具体过程中,对最内层循环体进行并行运算,对最外层循环进行流水线化运算。
进一步地,所述采集卡上的FPGA芯片将共聚焦内窥镜图像
Figure 286538DEST_PATH_IMAGE002
的数据右移
Figure 461168DEST_PATH_IMAGE001
个周期后进行非等时重采样,获得错位和畸变校正后的图像,具体过程包括:
基于振镜速度呈正弦变化的规律计算每个像素之间的采样间隔;
从所述初步校正后的共聚焦内窥镜图像
Figure 452126DEST_PATH_IMAGE002
的第
Figure 712206DEST_PATH_IMAGE001
个采样周期开始,按照计算出来的采样间隔对初步校正后的共聚焦内窥镜图像
Figure 463125DEST_PATH_IMAGE002
进行采样,得到错位和畸变校正后的图像。
一种基于光纤探头的共聚焦内窥镜图像校正系统,所述系统包括:
图像采集模块,用于通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
第一校正模块,用于校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a
第二校正模块,用于利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a
利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a
利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
本发明与现有技术相比,其显著优点为:
1)基于共聚焦内窥图像的固有特征,通过背景图信息校正样品图像信息,通过采集卡上的FPGA芯片进行并行计算,实时地解决了图像的错位和畸变问题,无需添加硬件结构,达到了图像错位和畸变的实时校正。
2)方法中的互相关算法在传统的离散互相关算法的基础上做了优化,在互相关运算时不需要遍历所有的错位值,只需要在取值范围内搜索,根据硬件特点,可以测量到同步信号的抖动范围{-k,k}。本方法中互相关运算时数据移动后不再补零,而是把旁边的实际值补充过来。
3)本方法利用并行计算方式在采集卡自带的FPGA中对图像错位进行实时计算与校正,比传统计算方式速度更高,而且不用占用计算机的资源。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为激光共聚焦内窥镜原理图。
图2为共聚焦显微内镜扫描方式示意图。
图3为共振振镜速度变化示意图。
图4为共振振镜速度变化引起的畸变示意图,其中图(a)为无畸变的图像,图(b)为有畸变的图像。
图5为共振振镜速度与同步信号示意图。
图6为图像畸变和错位模拟图,其中图(a)为无畸变和错位的图像,图(b)为畸变和错位后的图像。
图7为软件校正前后的错位量示意图。
图8为固定的错位量示意图。
图 9为振镜信号与同步信号错位示意图。
图10为一个实施例中基于光纤探头的共聚焦内窥镜图像校正方法的流程图。
图 11为一个实施例中共聚焦内镜背景图。
图12为一个实施例中过采样得到的背景图。
图13为一个实施例中对背景图的逐行互相关计算流程图。
图14为一个实施例中并行优化后的FPGA处理流程图。
图15为一个实施例中采样间隔曲线图。
图16为一个实施例中错位的背景图像(局部)。
图17为一个实施例中校正后的平均背景图像。
图18为一个实施例中初步校正后的共聚焦内窥镜图像。
图19为一个实施例中校正畸变和错位后的共聚焦内窥镜图像。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本发明提出了一种FPGA和计算机联合实时逐行错位校正的方法,以解决随机变化的图像错位带来的画质降低的问题。具体原理如下:
本发明在解决问题的过程中,将错位量
Figure 695523DEST_PATH_IMAGE003
分作两部分:
Figure 998328DEST_PATH_IMAGE004
其中,a表示同步信号与振镜运动之间的相位差,这个相位差是一个常量,
Figure 604759DEST_PATH_IMAGE001
表示同步信号的抖动,具体图示如图 9。
由于a的存在,图像中奇数行数据和偶数行数据会有2a的错位量,如图8所示。
由于同步信号的抖动
Figure 284002DEST_PATH_IMAGE001
的存在图像中每行的错位程度都不相同,如果要彻底校正图像的错位需要计算每一行的
Figure 43010DEST_PATH_IMAGE001
。而逐行计算
Figure 719979DEST_PATH_IMAGE001
对计算实时性要求非常高。对于8KHz的共振振镜,每行数据的计算时间应小于62.5us,通过计算机难以达到运算时间的要求,故通过采集卡中的FPGA进行逐行计算。
通常对齐图像的方法通常利用相邻两行图像内容相关性较强的规律对相邻两行图像进行互相关计算。但是这种方法对内容的特征较为依赖,如图像中存在走向扭曲的内容,校正值也会受到相应的扭曲。
本方法摒弃这种利用一幅图像内部特征的对齐方法,而是利用共聚焦内镜图像的固有特点来实现。由于共聚焦内镜采用光纤传输图像,所以传输上来的图像是经过光纤离散采样后的信号,采集到的图像呈现蜂窝状结构。对于固定的光纤,图像中的蜂窝状结构不随目标内容的改变而变化。本方法就是利用图像之间的这种不随时间而改变的蜂窝状结构进行图像的对齐校正。
在一个实施例中,结合图10,提供了一种基于光纤探头的共聚焦内窥镜图像校正方法,所述方法包括以下步骤:
步骤1,通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
步骤2,校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a
步骤3,利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
进一步地,在其中一个实施例中,结合图13,步骤1所述通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像,具体为:
步骤1-1,将共聚焦内窥镜的光纤探头空置,同时将共振振镜同步信号边沿作为行同步信号,利用带有FPGA芯片的采集卡通过过采样的方式采集一组背景图像;
这里,没有借助外部光线,是由于光纤具有自发荧光,所以可以采集到亮度均匀的背景图像,如图11所示。
这里,过采样指的是,例如对数据进行5倍过采样,那么对于1000*1000的图像需要采集5000*1000个数据点。过采样的原因是为了保证后面的畸变校正的精度和对齐的精度。过采样得到的背景图如图12所示。
步骤1-2,针对所述一组背景图像,对偶数行数据进行翻转(因为图像是往返扫描采集到的,偶数行图像是在返回的过程采集的)得到一组新的背景图像;
步骤1-3,对所述一组新的背景图像中的像素亮度值累加后取平均得到平均背景图像。
进一步地,在其中一个实施例中,结合图13,步骤2所述校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a,具体过程包括:
步骤2-1,将所述平均背景图像的所有奇数行和所有偶数行分别拼接,获得奇数行图像和偶数行图像;
步骤2-2,对两幅图像进行互相关运算得到奇数行和偶数行之间的错位值;
步骤2-3,将所述错位值除以2得到平均错位值a
步骤2-4,将所述平均背景图像的所有奇数行左移a,所有偶数行右移a,得到校正后的平均背景图像B,并对该平均背景图像B的偶数行数据进行翻转;
之后下发图像和校正值a到采集卡中的FPGA芯片。
进一步地,在其中一个实施例中,步骤3所述利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变,具体过程包括:
步骤3-1,将行同步信号延迟a个周期后作为新的行同步信号,利用基于光纤探头的共聚焦内窥镜中的带有FPGA芯片的采集卡采集目标图像,得到初步校正后的共聚焦内窥镜图像
Figure 689072DEST_PATH_IMAGE002
这里,采集卡在同步信号到来后的a时间后开始采集图像,那么采集到的信号与实际位置间的错位只剩下了总错位值的抖动部分
Figure 31061DEST_PATH_IMAGE001
步骤3-2,将初步校正后的共聚焦内窥镜图像
Figure 34789DEST_PATH_IMAGE002
的每一行与校正后的平均背景图像B的对应行通过并行计算的方法进行互相关运算,得到本行的错位量
Figure 882659DEST_PATH_IMAGE001
步骤3-3,采集卡上的FPGA芯片将共聚焦内窥镜图像
Figure 214415DEST_PATH_IMAGE002
的数据右移
Figure 235460DEST_PATH_IMAGE001
个周期后进行非等时重采样,获得错位和畸变校正后的图像。
进一步地,在其中一个实施例中,步骤3-2所述将初步校正后的共聚焦内窥镜图像
Figure 952749DEST_PATH_IMAGE002
和校正后的平均背景图像B进行逐行错位计算,得到错位量
Figure 768259DEST_PATH_IMAGE001
,具体过程包括:
假设初步校正后的共聚焦内窥镜图像
Figure 915206DEST_PATH_IMAGE002
和校正后的平均背景图像B的错位量的取值范围为{-k,k};
步骤3-2-1,从校正后的平均背景图像B中每行(中间部分)取长度为l的数据,构成图像数组B;从初步校正后的共聚焦内窥镜图像
Figure 349730DEST_PATH_IMAGE002
中对应行的对应位置取长度为l+2k的数据,构成图像数组F;这两组数据的中心位置对应;
步骤3-2-2,对取出的两组数据进行互相关计算,得到当前行的错位量
Figure 328050DEST_PATH_IMAGE001
这里,如果取一行所有数据进行互相关计算会非常浪费计算时间和FPGA资源。所以本方法只取一行图像中心的部分数据进行计算。本步骤的互相关算法在传统的离散互相关算法的基础上做了优化,在互相关运算时不需要遍历所有的错位值(
Figure 173515DEST_PATH_IMAGE001
具有一定的取值范围),只需要在取值范围内搜索,根据硬件特点,可以测量到同步信号的抖动范围{-k, k}。一般互相关运算时由于是移动所有的值进行计算,移动后边界上的值需要补零,但是这种补零操作会影响计算结果。本方法中数据移动后不再补零,而是把旁边的实际值补充过来。
进一步地,在其中一个实施例中,步骤3-2-2所述对取出的两组数据进行互相关计算,得到当前行的错位量
Figure 807759DEST_PATH_IMAGE001
,具体计算过程包括:
(1)令m=0,n=0,数组Z中的元素Z[m] =0,预设最大值max=0,之后执行(3);
(2)令m自增1;
(3)判断n是否小于l,若是,则执行(4),否则执行(5);
(4)计算Z[m]=F[n]*B[n+m]+ Z[m],重复执行(3)至(4);
(5)判断Z[m]是否大于预设最大值max,若是,则max= Z[m],r=k-mr即为错位量
Figure 905028DEST_PATH_IMAGE001
,之后执行(6);
(6)判断m是否小于2k,若是则退出当前计算,输出r,否则返回执行(2)。
伪代码如下:
for(m=0;m<2k;m++){
for(n=0;n<l;n++){
Z[m]=F[n]*B[n+m]+ Z[m]
}
if(Z[m]>max) {
max= Z[m]
r=k-m
}
}
这里,为了提高运算效率,对最内层循环体进行并行展开处理,对最外层循环做流水线化处理,如图14所示。
进一步地,在其中一个实施例中,步骤3-3所述采集卡上的FPGA芯片将共聚焦内窥镜图像
Figure 878800DEST_PATH_IMAGE002
的数据右移
Figure 770533DEST_PATH_IMAGE001
个周期后进行非等时重采样,获得错位和畸变校正后的图像,具体过程包括:
步骤3-3-1,基于振镜速度呈正弦变化的规律计算每个像素之间的采样间隔,采样点间隔曲线如图15所示;
步骤3-3-2,从所述初步校正后的共聚焦内窥镜图像
Figure 892072DEST_PATH_IMAGE002
的第
Figure 917666DEST_PATH_IMAGE001
个采样周期开始,按照计算出来的采样间隔对初步校正后的共聚焦内窥镜图像
Figure 339420DEST_PATH_IMAGE002
进行采样,得到错位和畸变校正后的图像。
在一个实施例中,提供了一种基于光纤探头的共聚焦内窥镜图像校正系统,所述系统包括:
图像采集模块,用于通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
第一校正模块,用于校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a
第二校正模块,用于利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
关于基于光纤探头的共聚焦内窥镜图像校正系统的具体限定可以参见上文中对于基于光纤探头的共聚焦内窥镜图像校正方法的限定,在此不再赘述。上述基于光纤探头的共聚焦内窥镜图像校正系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
步骤1,通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
步骤2,校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a
步骤3,利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
关于每一步的具体限定可以参见上文中对于基于光纤探头的共聚焦内窥镜图像校正方法的限定,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
步骤1,通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
步骤2,校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a
步骤3,利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
关于每一步的具体限定可以参见上文中对于基于光纤探头的共聚焦内窥镜图像校正方法的限定,在此不再赘述。
示例性地,在一个实施例中,对本发明方法进行验证说明。
经步骤1采集了错位的背景图像如图16所示,经步骤2后获得校正后的平均背景图像如图17所示,经步骤3获得的初步校正后的共聚焦内窥镜图像、校正畸变和错位后的共聚焦内窥镜图像分别如图18、图19所示。
由上可知,本发明基于共聚焦内窥图像的固有特征,通过背景图信息校正样品图像信息,通过采集卡上的FPGA芯片进行并行计算,实时地解决了图像的错位和畸变问题,无需添加硬件结构,达到了图像错位和畸变的实时校正。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于光纤探头的共聚焦内窥镜图像校正方法,其特征在于,所述方法包括以下步骤:
通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a
利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变;所述通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像,具体为:
将共聚焦内窥镜的光纤探头空置,同时将共振振镜同步信号边沿作为行同步信号,利用带有FPGA芯片的采集卡通过过采样的方式采集一组背景图像;
针对所述一组背景图像,对偶数行数据进行翻转得到一组新的背景图像;
对所述一组新的背景图像中的像素亮度值累加后取平均得到平均背景图像;
所述利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变,具体过程包括:
将行同步信号延迟a个周期后作为新的行同步信号,利用基于光纤探头的共聚焦内窥镜中的带有FPGA芯片的采集卡采集目标图像,得到初步校正后的共聚焦内窥镜图像
Figure 15839DEST_PATH_IMAGE001
将初步校正后的共聚焦内窥镜图像
Figure 103006DEST_PATH_IMAGE001
和校正后的平均背景图像B进行逐行错位计算,得到错位量
Figure 595168DEST_PATH_IMAGE002
;具体过程包括:
假设初步校正后的共聚焦内窥镜图像
Figure 430268DEST_PATH_IMAGE001
和校正后的平均背景图像B的错位量的取值范围为{-k,k};
从校正后的平均背景图像B中每行取长度为l的数据,构成图像数组B;从初步校正后的共聚焦内窥镜图像
Figure 767709DEST_PATH_IMAGE001
中对应行的对应位置取长度为l+2k的数据,构成图像数组F;这两组数据的中心位置对应;
对取出的两组数据进行互相关计算,得到当前行的错位量
Figure 974961DEST_PATH_IMAGE002
采集卡上的FPGA芯片将共聚焦内窥镜图像
Figure 778969DEST_PATH_IMAGE001
的数据右移
Figure 570208DEST_PATH_IMAGE002
个周期后进行非等时重采样,获得错位和畸变校正后的图像;具体过程包括:
基于振镜速度呈正弦变化的规律计算每个像素之间的采样间隔;
从所述初步校正后的共聚焦内窥镜图像
Figure 976918DEST_PATH_IMAGE001
的第
Figure 537213DEST_PATH_IMAGE002
个采样周期开始,按照计算出来的采样间隔对初步校正后的共聚焦内窥镜图像
Figure 872641DEST_PATH_IMAGE001
进行采样,得到错位和畸变校正后的图像。
2.根据权利要求1所述的基于光纤探头的共聚焦内窥镜图像校正方法,其特征在于,所述校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a,具体过程包括:
将所述平均背景图像的所有奇数行和所有偶数行分别拼接,获得奇数行图像和偶数行图像;
对两幅图像进行互相关运算得到奇数行和偶数行之间的错位值;
将所述错位值除以2得到平均错位值a
将所述平均背景图像的所有奇数行左移a,所有偶数行右移a,得到校正后的平均背景图像B,并对该平均背景图像B的偶数行数据进行翻转。
3.根据权利要求2所述的基于光纤探头的共聚焦内窥镜图像校正方法,其特征在于,所述对取出的两组数据进行互相关计算,得到当前行的错位量
Figure 885597DEST_PATH_IMAGE002
,具体计算过程包括:
(1)令m=0,n=0,数组Z中的元素Z[m] =0,预设最大值max=0,之后执行(3);
(2)令m自增1;
(3)判断n是否小于l,若是,则执行(4),否则执行(5);
(4)计算Z[m]=F[n]*B[n+m]+ Z[m],重复执行(3)至(4);
(5)判断Z[m]是否大于预设最大值max,若是,则max= Z[m],r=k-mr即为错位量
Figure 95998DEST_PATH_IMAGE002
,之后执行(6);
(6)判断m是否小于2k,若是则退出当前计算,输出r,否则返回执行(2)。
4.根据权利要求3所述的基于光纤探头的共聚焦内窥镜图像校正方法,其特征在于,上述对取出的两组数据进行互相关计算的具体过程中,对最内层循环体进行并行运算,对最外层循环进行流水线化运算。
5.基于权利要求1至4任意一项所述的基于光纤探头的共聚焦内窥镜图像校正方法的系统,其特征在于,所述系统包括:
图像采集模块,用于通过基于光纤探头的共聚焦内窥镜采集一组背景图像,并取平均作为平均背景图像;
第一校正模块,用于校正所述平均背景图像的错位,得到校正后的平均背景图像B和平均错位值a
第二校正模块,用于利用所述平均背景图像B和平均错位值a校正共聚焦内窥镜图像的错位和畸变。
6.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
CN202111428581.5A 2021-11-29 2021-11-29 基于光纤探头的共聚焦内窥镜图像校正方法及系统 Active CN113837973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111428581.5A CN113837973B (zh) 2021-11-29 2021-11-29 基于光纤探头的共聚焦内窥镜图像校正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111428581.5A CN113837973B (zh) 2021-11-29 2021-11-29 基于光纤探头的共聚焦内窥镜图像校正方法及系统

Publications (2)

Publication Number Publication Date
CN113837973A CN113837973A (zh) 2021-12-24
CN113837973B true CN113837973B (zh) 2022-02-18

Family

ID=78971883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111428581.5A Active CN113837973B (zh) 2021-11-29 2021-11-29 基于光纤探头的共聚焦内窥镜图像校正方法及系统

Country Status (1)

Country Link
CN (1) CN113837973B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102282496A (zh) * 2009-07-30 2011-12-14 奥林巴斯医疗株式会社 内窥镜用光学系统及内窥镜
WO2017158896A1 (ja) * 2016-03-15 2017-09-21 オリンパス株式会社 画像処理装置、画像処理システム、画像処理装置の作動方法
CN109541798A (zh) * 2018-11-20 2019-03-29 成都理想境界科技有限公司 一种光纤扫描装置及投影显示设备
CN110766620A (zh) * 2019-09-27 2020-02-07 中国科学院苏州生物医学工程技术研究所 基于光纤探头的共聚焦内窥镜图像畸变校正方法
CN113068015A (zh) * 2021-03-24 2021-07-02 南京锐普创科科技有限公司 一种基于光纤探头的内窥镜图像畸变校正系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3756532B1 (en) * 2018-02-20 2024-04-17 FUJIFILM Corporation Endoscope system
CN109820471B (zh) * 2019-02-27 2024-01-23 中国科学院苏州生物医学工程技术研究所 一种共聚焦内窥成像错位校正系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102282496A (zh) * 2009-07-30 2011-12-14 奥林巴斯医疗株式会社 内窥镜用光学系统及内窥镜
WO2017158896A1 (ja) * 2016-03-15 2017-09-21 オリンパス株式会社 画像処理装置、画像処理システム、画像処理装置の作動方法
CN109541798A (zh) * 2018-11-20 2019-03-29 成都理想境界科技有限公司 一种光纤扫描装置及投影显示设备
CN110766620A (zh) * 2019-09-27 2020-02-07 中国科学院苏州生物医学工程技术研究所 基于光纤探头的共聚焦内窥镜图像畸变校正方法
CN113068015A (zh) * 2021-03-24 2021-07-02 南京锐普创科科技有限公司 一种基于光纤探头的内窥镜图像畸变校正系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Endoscopic image feature matching via motion consensus and global bilateral regression;Yakui Chu 等;《Computer Methods and Programs in Biomedicine》;20200731;第190卷;全文 *
医用电子内窥镜畸变实时校正系统的视频控制;刘滨安 等;《数字技术与应用》;20160630;全文 *
高速扫描激光共聚焦显微内窥镜图像校正;徐宝腾 等;《光学精密工程》;20200131;第28卷(第1期);全文 *

Also Published As

Publication number Publication date
CN113837973A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
US11131841B2 (en) High-resolution scanning light field microscopic imaging system and method
CN102360079B (zh) 一种激光测距仪及工作方法
CN104394309B (zh) 一种图像稳定的超分辨率成像系统及方法
CN102980561B (zh) 一种移动终端测距方法及装置
CN101295023B (zh) 一种测量流场速度的方法
CN110675451B (zh) 基于相空间光学的数字自适应校正方法及系统
CN104133078A (zh) 基于片光扫描粒子图像的三维流场高频测量装置及其方法
CN104769480A (zh) 图像取得装置和图像取得装置的聚焦方法
CN105911692A (zh) 一种傅立叶叠层显微成像系统的最优系统参数选择方法
CN109272575B (zh) 一种提高数字切片扫描仪建模速度的方法
CN109975814A (zh) 超声成像方法、系统和设备
BR112020007609B1 (pt) Método e dispositivo de reconstrução de imagem e dispositivo de imagiologia microscópica
CN107680065A (zh) 辐射图像校正方法和校正装置及校正系统
JP2017006424A (ja) 画像生成装置及び画像生成方法
CN113837973B (zh) 基于光纤探头的共聚焦内窥镜图像校正方法及系统
JP5365419B2 (ja) 3次元形状センサ
CN115760636A (zh) 激光雷达点云的畸变补偿方法、装置、设备及存储介质
CN101561267B (zh) 距离测量装置与方法
CN114219866A (zh) 双目结构光三维重建方法、重建系统及重建设备
CN209951205U (zh) 一种共聚焦内窥成像错位校正系统
JP6587430B2 (ja) 画像生成装置及び画像生成方法
CN108007382A (zh) 基于结构光照明的面形测量装置和方法
CN109645936B (zh) 一种共聚焦内窥成像错位校正系统及方法
JP6405092B2 (ja) 画像生成装置および画像生成方法
CN105321152A (zh) 一种图像拼接方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant