CN115409690B - 一种眼底图像实时映射方法及装置 - Google Patents

一种眼底图像实时映射方法及装置 Download PDF

Info

Publication number
CN115409690B
CN115409690B CN202110592127.7A CN202110592127A CN115409690B CN 115409690 B CN115409690 B CN 115409690B CN 202110592127 A CN202110592127 A CN 202110592127A CN 115409690 B CN115409690 B CN 115409690B
Authority
CN
China
Prior art keywords
image
planning
real
points
point1
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110592127.7A
Other languages
English (en)
Other versions
CN115409690A (zh
Inventor
孙国昊
李凯文
刘若阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Boshi Medical Technology Co ltd
Original Assignee
Nanjing Boshi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Boshi Medical Technology Co ltd filed Critical Nanjing Boshi Medical Technology Co ltd
Priority to CN202110592127.7A priority Critical patent/CN115409690B/zh
Publication of CN115409690A publication Critical patent/CN115409690A/zh
Application granted granted Critical
Publication of CN115409690B publication Critical patent/CN115409690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种眼底图像实时映射方法，包括：接收所保存的规划图像和规划方案，以及实时眼底图像；所述规划方案包括一个或多个规划点在规划图像上的位置坐标和图案特征；分别对规划图像和实时眼底图像做血管提取操作；使用经过血管提取操作的规划图像和实时眼底图像进行配准操作；将配准操作中得到的仿射矩阵中的参数作为坐标转换的参数，将规划方案中的所有规划点的相关坐标点的坐标依次进行坐标转换操作，输出新的规划点的相关坐标点的坐标，并在成像界面显示的实时眼底图像上绘制新的规划点的图案。该方法对眼底图像的配准过程进行优化，能够提供更完善的坐标点转换过程，其坐标转换更准确更高效。

Description

一种眼底图像实时映射方法及装置
技术领域
本发明涉及计算机辅助领域，具体而言，涉及一种眼底图像实时映射方法及装置。
背景技术
在计算机辅助医学领域，由于手术规划时使用的图像与实时获取的图像会存在偏移、旋转、缩放、不同模态的问题，因此，需要统一两张图的坐标系及映射关系。为实现此目的，需要使用基本的仿射变换函数，并根据得到的仿射变换矩阵进行坐标变换。例如申请号CN201910387870.1的专利申请(申请人：格罗伯斯医疗有限公司)公开了一种由手术植入规划计算机执行的方法，其中在手术或准备期间，手术系统可以生成与转换初始图像中示出的一个或多个骨骼轮廓相关的转换矩阵，以符合目标图像中的一个或多个相应骨骼轮廓。然后，手术系统使用转换矩阵来将相对于初始图像开发的手术计划转换成现在的相对于目标图像的计划。
在治疗机器人系统中，由于手术在开始进行前，医生需要在已经存在于系统内的患者的眼底图像，可能是眼底彩照，或者是激光扫描检验镜(SLO，scanning laserophthalmoscope)图像，医生在规划手术时会在选取的图像上利用规划工具画出激光点(很多小圆圈)、禁止区域。规划完成后，治疗机器人会开启实时图像采集功能，病人当前的眼底图像会反映在屏幕上，但由于规划时所使用的图像与实时图像不可能完全一致，因此，需要利用相关算法，采集到系统内部视野范围内质量最好的图像，并与规划时使用的图像做仿射变换，得到变换矩阵后，转换规划图上所有的规划方案，并将转换后的新规划方案显示在实时成像的窗口内。
因此，需要一种眼底图像实时映射方法及装置，作为治疗机器人系统的一部分，为激光器提供准确的激光点坐标。
发明内容
为解决上述问题，本发明的目的在于提供一种眼底图像实时映射方法，对规划方案转换中重要的配准过程进行优化，提供更完善的坐标点转换过程，其坐标转换更准确更高效，在用于辅助医疗时，可以辅助使得手术精度更高。
为实现上述目的，本发明提供了一种眼底图像实时映射方法，其特征在于，包括：步骤1，接收所保存的(获取)规划图像和规划方案，以及实时眼底图像；所述规划方案由用户通过规划操作完成，所述规划操作包括通过用户的点击操作，在规划图像上绘制相应的图案；所述规划方案包括一个或多个规划点在规划图像上的位置坐标和图案特征，所述规划方案具体包括激光点的中心坐标和激光点圆形图案的半径，以及禁止区域的中心坐标和禁止区域图案外切矩形框的四个顶点(角点)坐标；所述规划点包括激光点和禁止区域；步骤2，分别对规划图像和实时眼底图像做血管提取操作；步骤3，使用经过血管提取操作的规划图像和实时眼底图像进行配准操作；在配准操作中根据匹配的特征点得到仿射矩阵；步骤4，将配准操作中得到的仿射矩阵中的参数作为坐标转换的参数，将规划方案中的所有规划点作为输入；将所有规划点的相关坐标点的坐标依次进行坐标转换操作，输出新的规划点的相关坐标点的坐标，并在成像界面显示的实时眼底图像上绘制新的规划点的图案。
作为本发明进一步的改进，所述血管提取操作，包括：所述血管提取操作，包括：首先对接收到的原始图像进行灰度化，对灰度化之后得到的结果图像进行伽马变换，然后对经过伽马变换之后得到的结果图像进行自适应直方图均衡化操作从而进行图像细节增强，对图像细节增强后得到的结果图像进行滤波操作以进行去噪；接着使用匹配滤波操作进行滤波处理，得到经过血管提取操作的规划图像和实时眼底图像。
所述对接收到的原始图像进行灰度化包括：判断接收到的眼底图像是否是灰度图像，如果是，则不对眼底图像进行灰度化，如果不是，则对接收到的眼底图像进行灰度化。
作为本发明进一步的改进，所述规划图像和实时眼底图像是眼底彩照或SLO图像。
作为本发明进一步的改进，在坐标转换操作中，若仿射矩阵为3*3的向量[a b c；de f；g h i]，则将待转换坐标点的坐标转换到新的坐标点的坐标转换公式为：
point2.x＝(point1.x*a+point1.y*b+c)/(point1.x*g+point1.y*h+i)；
point2.y＝(point1.x*d+point1.y*e+f)/(point1.x*g+point1.y*h+i)；
其中point1为待转换坐标点，point2为新的坐标点；x为x轴坐标，y为y轴坐标；a，b，c，d，e，f，g，h，i为仿射矩阵中的参数值。
作为本发明进一步的改进，所述规划点包括禁止区域，所述禁止区域为任意图案(可以是圆形图案)，首先得到禁止区域的图案的外切矩形框(其中禁止区域的图案包含在外切矩形框的内部)，根据所述坐标转换公式，将所述外切矩形框的中心坐标点转换为新的中心坐标点，转换后的新的中心坐标点作为新的禁止区域的中心坐标；将所述外切矩形框的四个顶点的坐标，转换为新的四个顶点的坐标；根据新的四个顶点的坐标，计算出新的四个顶点所构成的框形的四个边长，此时计算出的四个边长会出现不一样的情况，取计算出的四个边长的最大值；根据所述四个边长的最大值相对于转换前的外切矩形框的最大边长值的比例，对禁止区域的图像的大小进行变化(比例值大于1为依比例放大，比例值小于1为依比例缩小)，并在成像界面内绘制禁止区域的图像。
作为本发明进一步的改进，所述匹配滤波操作包括：
步骤2.1，根据预定的多种血管直径长度，使用预定公式计算得到要使用的第一多种尺度；所述尺度是指滤波核的大小，所述第一多种尺度与所述多种血管直径长度一一对应；
步骤2.2，对于第一多种尺度中的每种尺度，根据预定的多个血管方向参数，使用预定公式分别计算得到每种尺度上的多个不同方向的滤波核，从而得到所述第一多种尺度中的全部尺度上的多个不同方向的滤波核；所计算得到的多个不同方向的滤波核与所述多个血管方向参数一一对应；所述多个血管方向参数与多个不同的血管方向角度一一对应；
步骤2.3，基于所述第一多种尺度中的每种尺度，对待进行匹配滤波操作的图像进行第一血管处理操作，得到每种尺度上的血管处理结果图像，从而得到所述第一多种尺度中的全部尺度的血管处理结果图像；
所述第一血管处理操作包括：使用当前尺度上的多个不同方向的滤波核，分别对待进行匹配滤波操作的图像的每个像素点进行第一滤波操作，得到每个像素点的多个响应值结果，取每个像素点的多个响应值结果中最大的一个作为每个像素点的最终处理结果，从而得到待进行匹配滤波操作的图像的全部像素点的最终处理结果；在得到待进行匹配滤波操作的图像的全部像素点的最终处理结果后，得到当前尺度上的血管处理结果图像。所述第一滤波操作为尺度上和方向上的匹配滤波；
步骤2.4，在得到所述第一多种尺度中的全部尺度的血管处理结果图像后，在所述全部尺度的血管处理结果图像中的全部图像之间进行像素点的或运算，将像素点的或预算的运算结果图像作为最终结果图像。
作为本发明进一步的改进，所述匹配滤波操作包括：
步骤2.1，根据预定的多种血管直径长度，使用预定公式计算得到要使用的第一多种尺度；所述尺度是指滤波核的大小，所述第一多种尺度与所述多种血管直径长度一一对应；
步骤2.2，在第一多种尺度中选择一个尺度，作为当前尺度；
步骤2.3，对于当前尺度，根据预定的多个血管方向参数，使用预定公式计算得到当前尺度上的多个不同方向的滤波核；所计算得到的多个不同方向的滤波核与所述多个血管方向参数一一对应；所述多个血管方向参数与多个不同的血管方向角度一一对应；判断是否得到了第一多种尺度中的全部尺度上的多个不同方向的滤波核；如果是，进行下一步；如果否，在第一多种尺度中还未得到多个不同方向的滤波核的尺度中选择一个尺度，作为当前尺度，重复步骤2.3；
步骤2.4，在第一多种尺度中选择一个尺度，作为当前尺度；
步骤2.5，基于当前尺度，对待进行匹配滤波操作的图像进行第一血管处理操作，得到当前尺度上的血管处理结果图像；所述第一血管处理操作包括：步骤2.5.1，对待进行匹配滤波操作的图像中的全部像素点进行遍历，选择第一个像素点作为当前像素点；步骤2.5.2，使用当前尺度上的多个不同方向的滤波核，分别对待进行匹配滤波操作的图像的当前像素点进行第一滤波操作，得到当前像素点的多个响应值结果，取当前像素点的多个响应值结果中最大的一个作为当前像素点的最终处理结果；判断是否得到待进行匹配滤波操作的图像的全部像素点的最终处理结果；如果是，则得到当前尺度上的血管处理结果图像，继续下一处理；如果否，继续对待进行匹配滤波操作的图像中的全部像素点进行遍历，选择当前像素点的下一个像素点作为当前像素点，重复步骤2.5.2；
判断是否得到所述第一多种尺度中的全部尺度的血管处理结果图像；如果是，进行下一步；如果否，在第一多种尺度中还未得到血管处理结果图像的尺度中选择一个尺度，作为当前尺度，重复步骤2.5；
步骤2.6，在得到所述第一多种尺度中的全部尺度的血管处理结果图像后，在所述全部尺度的血管处理结果图像中的图像之间进行像素点的或运算，将像素点的或预算的运算结果图像作为最终结果图像。
作为本发明进一步的改进，对血管分割和提取得到的结果图像进行再处理操作；再处理操作中采用长度滤波操作对血管分割和提取得到的结果图像进行过滤来去除噪声。所采用的长度滤波操作包括使用多种指定尺度的长度滤波核叠加来滤除面积小于多种指定尺寸面积的噪点，所述多种指定尺度的长度滤波核与多种指定尺寸面积一一对应。其中，对所述多种指定尺度进行从小到大的排序，先使用所述多种指定尺度中的最小尺度的滤波核进行滤波，然后依次使用所述多种指定尺度中的下一较大尺度的滤波核进行滤波，直至所述多种指定尺度均使用完成。因血管提取操作会误将背景判定为血管，本阶段则需要使用多个长度/尺度的滤波模板(长度滤波核)叠加进行去除噪声操作，针对各个尺寸大小的噪声设计不同的滤波核，过滤孤立的噪声点，分割出无噪声的眼底血管结构。
作为本发明进一步的改进，在步骤2中，所述血管提取操作还包括：在使用匹配滤波操作对去噪后的结果图像进行滤波处理之前，还要先对去噪后的结果图像进行去亮斑操作，去除因外部设备的影响而产生的亮斑区域；该去亮斑操作的具体步骤为：对步骤2中接收到的待进行血管提取操作的图像(如果图像不是灰度图像，需要先进行灰度化)进行亮斑检测，得到亮斑区域的分布图；在去噪后的结果图像上，对照该亮斑区域的分布图找到对应的亮斑区域，使用去噪后的结果图像的像素点的均值进行亮斑区域的像素点的值的替换。
其中所述亮斑检测操作包括：将待亮斑检测操作的图像(的像素点的值)进行归一化，对归一化之后的结果图像的每个像素点的值进行平方处理，再将经过平方处理后的结果图像进行二值化；二值化后的结果图像中，像素点的值大于预定阈值的区域为亮斑区域，像素点的值小于预定阈值的区域为非亮斑区域。
本发明还提供了一种眼底图像实时映射装置，包括：
接收装置，获取规划图像和规划方案，以及实时眼底图像；所述规划方案包括一个或多个规划点在规划图像上的位置坐标和图案特征；
血管提取装置，分别对规划图像和实时眼底图像做血管提取操作；
配准装置，使用经过血管提取操作的规划图像和实时眼底图像进行配准操作；
映射装置，将配准操作中得到的仿射矩阵中的参数作为坐标转换的参数，将规划方案中的所有规划点的相关坐标点的坐标依次进行坐标转换操作，输出新的规划点的相关坐标点的坐标，并在成像界面显示的实时眼底图像上绘制新的规划点的图案。
所述血管提取操作，包括：首先对接收到的原始图像进行灰度化，对灰度化之后得到的结果图像进行伽马变换，然后对经过伽马变换之后得到的结果图像进行自适应直方图均衡化操作从而进行图像细节增强，对图像细节增强后得到的结果图像进行滤波操作以进行去噪；接着使用匹配滤波操作进行滤波处理，得到经过血管提取操作的规划图像和实时眼底图像。
作为本发明进一步的改进，所述规划图像和实时眼底图像是眼底彩照或SLO图像。
作为本发明进一步的改进，在坐标转换操作中，若仿射矩阵为3*3的向量[a b c；de f；g h i]，则将待转换坐标点的坐标转换到新的坐标点的坐标转换公式为：
point2.x＝(point1.x*a+point1.y*b+c)/(point1.x*g+point1.y*h+i)；
point2.y＝(point1.x*d+point1.y*e+f)/(point1.x*g+point1.y*h+i)；
其中point1为待转换坐标点，point2为新的坐标点；x为x轴坐标，y为y轴坐标；a，b，c，d，e，f，g，h，i为仿射矩阵中的参数值。
作为本发明进一步的改进，提供一种计算机存储介质，介质中存储有若干指令，当处理器执行上述指令时执行本申请各实施例所述方法的全部或部分步骤。
作为本发明进一步的改进，提供一种计算机设备，包括存储器、处理器及存储在存储器上被可在处理器上运行的计算机程序，所述处理器执行所述程序时执行本申请各实施例所述方法的全部或部分步骤。
本发明的有益效果为：本发明对规划方案转换中重要的配准过程进行了优化，且在坐标点转换过程中考虑了众多因素，可以使得眼底图像实时映射的效果更好，用于手术的话，可以使得手术精度更高。该方法对眼底图像的配准过程进行优化，能够提供更完善的坐标点转换过程，其坐标转换更准确更高效。
附图说明
图1为本发明实施例所述的一种眼底图像实时映射方法的流程框架图；
图2是包含规划信息的眼底彩照；
图3为本发明实施例所述的映射前的实时眼底图像的示意图。
图4为本发明实施例所述的映射后的实时眼底图像的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对发明所公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开所保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明的描述中，所用术语仅用于说明目的，并非旨在限制本公开的范围。术语“包括”和/或“包含”用于指定元件、步骤、操作和/或组件的存在，但并不排除存在或添加一个或多个其他元件、步骤、操作和/或组件的情况。术语“第一”、“第二”等可能用于描述各种元件，不代表顺序，且不对这些元件起限定作用。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个及两个以上。这些术语仅用于区分一个元素和另一个元素。结合以下附图，这些和/或其他方面变得显而易见，并且，本领域普通技术人员更容易理解关于本发明实施例的说明。附图仅出于说明的目的用来描绘本公开实施例。本领域技术人员将很容易地从以下说明中认识到，在不背离本公开原理的情况下，可以采用本发明所示结构和方法的替代实施例。
本发明一个实施例中的一种眼底图像实时映射方法，如图1所示。首先，显示所选择的待规划眼底图像，供用户进行规划操作(所述规划操作包括通过用户的点击操作在图像上绘制相应的图案)。用户完成规划操作后，将待规划的眼底图像和规划方案(包括所有规划点)进行保存。完成规划后，用户点击按钮进入下一步，开启成像系统。在成像界面显示实时眼底图像，用户可以根据成像的效果选择是否点击按钮开始实时映射。点击开始实时映射按钮后，接收所保存的规划图像和规划方案，以及实时成像的眼底图像；分别对规划图像和实时成像的眼底图像做血管分割和提取。完成血管分割和提取后，使用分割和提取后的规划图像(这里用于配准的规划图像是没有规划点绘制内容的图像)和实时成像的眼底图像进行配准。完成配准后，将得到的仿射矩阵中的参数作为坐标转换的参数，将第一步保存的所有规划点作为输入。将规划内所有规划点依次进行坐标转换后，输出新的坐标点，并在实时成像界面上绘制新的规划点(放置规划方案)。完成所有规划点的绘图后，在实时成像窗口界面显示放置了规划方案后的实时眼底图像。
其中可以使用本发明的算法，调用OpenCV接口函数，对规划图像和实时图像分别做血管提取。使用提取后的血管图做配准，得到仿射矩阵。若仿射矩阵为3*3的向量vector[a b c；d e f；g h i]，则待转换激光坐标点point1到转换后坐标点point2的公式为：
point2.x＝(point1.x*a+point1.y*b+c)/(point1.x*g+point1.y*h+i)；
point2.y＝(point1.x*d+point1.y*e+f)/(point1.x*g+point1.y*h+i)；
将规划内的所有激光点依次进行坐标转换后，在成像窗口依次绘制新的激光点。
特别的，更新禁止区域的坐标及大小的方式为：由于禁止区域为任意图案，首先得到禁止区域的切线Bounding rect(即包含图案的矩形框)，将矩形框的四个顶点坐标，采用仿射矩阵算出新的四个顶点坐标，根据四个顶点坐标，算出矩形的四个边长，此时算出的四个边长会出现不一样的情况，取四边的最大值；将bounding rect的中心坐标点采用仿射矩阵算出新的中心坐标点；最后根据中心坐标点和边长，在实时成像窗口放入新的禁止区域图标。
本发明一个实施例中的血管提取算法的具体流程为：
1、图像预处理过程：
1.1、输入图像序列，其中图像为眼底彩照或眼底灰度图像，一个图像序列包含一帧或多帧图像；
1.2、判断输入的图像是否为灰度图，如果否，则将输入的RGB图像(彩照)转为灰度图；
1.3、对步骤1.2处理后的原图像进行亮斑检测，具体步骤为：将图像归一化到[0,1]区间上，对归一化之后的图像进行平方，会使接近“1”的较亮区域变得相对更亮，接近“0”的较暗区域变得相对更暗，再将经过平方处理后的图像进行二值化，这样容易分离出亮斑和非亮斑区域；
1.4、记录步骤1.3中得到的亮斑区域分布，在预处理的最后一步即步骤1.8中将亮斑区域替换为图像的像素的均值；
1.5、对经过步骤1.2处理后的灰度图进行伽马变换，sigma值为1.1；
1.6、对步骤1.5得到的结果进行自适应直方图均衡化操作；
1.7、对直方图均衡化之后的图像进行双边滤波和高斯滤波操作，实施此步骤的目的是过滤步骤1.6中图像增强而产生的噪声；其中可以是先执行双边滤波，然后执行高斯滤波。
1.8、将滤波之后的图像对照步骤1.3中检测出的亮斑区域进行替换操作，即将步骤1.3中的检测出的亮斑区域像素点记录下来(在步骤1.4中完成)，并根据记录的像素点在滤波之后的图像上进行像素替换；其中使用步骤1.4中记录的亮斑区域位置，遍历步骤1.7的滤波操作的结果图像中的像素点，如果当前像素点为亮斑，则将当前像素点的像素替换为步骤1.7的结果图像的均值。
2、血管提取过程：
2.1、对经过图像预处理后的结果图像进行血管提取，先判断图像是否为灰度图，如果否，则将图像转为灰度图；
2.2、计算提取血管的滤波核，首先要计算滤波核的大小，公式如下所示：
其中，sigma为滤波核的方差，yLength为血管的直径长度，提取动脉血管时，此处yLength取25，提取细小血管时，yLength取10(这里数值的单位是像素点)。如果无法确定血管直径长度，需要设置一个范围，如[5-25],以步长为2依次遍历，对此范围中的数值进行遍历(例如5，7，9……)，获得多个不同血管直径长度(例如5，7，9……)，根据上述公式依次计算不同血管直径长度的滤波核的大小，其中Widthkernel为滤波核的大小(即尺度)。其中ceil函数的定义是返回大于或等于指定表达式的最小整数。
2.3、根据步骤2.2中的公式得到滤波核大小之后，再对滤波核中的数值进行更新。
FilterKernel(i,j)＝FilterKernel(i,j)-meanval (4)
xprime＝x*cos(theta)+y*sin(theta) (5)
yprime＝y*cos(theta)-x*sin(theta) (6)
其中，FilterKernel(i,j)表示滤波核在位置(i,j)处的数值(i和j均为大于等于0，并且小于滤波核的大小Widthkernel的整数)(如3*3的滤波核，(i,j)的取值为0<＝i<3,0<＝j<3)，meanval为FilterKernel(i,j)的均值，即当前滤波核中所有数值的平均值，theta的范围为[0,2π]，x,y的范围是[-(Widthkernel-1)/2,(Widthkernel-1)/2](x,y为遍历FilterKernel所设置的变量，假如滤波核大小为3，则-1<＝x<＝1)；xprime和yprime是判断滤波核的各位置处应该赋什么数值的依据。其中，Theta为方向参数，计算方式为：Theta＝2*pi/检测的方向数*(当前迭代次数-1)；其中pi为弧度制的180°。在初始位置，即第一次迭代时，Theta＝0；滤波核中数值的初始值全为0，根据给定的sigma和yLength大小计算得出滤波核大小。更新的方向为从角度为0的x的正半轴开始，保持中心不变，依次旋转相应度数。更新中止条件为当迭代次数达到设定的值，即角度从0°开始，到360°时则停止更新。
2.4、根据步骤2.3得到的多个方向的滤波核进行自定义滤波操作，即使用步骤2.3得到的多个滤波核对步骤1.8中预处理的结果进行卷积，会得到多个响应值，此处取出其中最大的一个作为最终响应，得到血管分割灰度图。其中每个尺度上都有多个方向，且运行一次步骤2.3和2.4时，可使用某个尺度，每个尺度得到一个运行结果，不同尺度的结果之间取“或”操作，得到最终结果的血管分割灰度图。
3、图像后处理操作：
3.1、对血管分割之后的图像进行二值化，使用OTSU阈值分割算法得到二值图。
3.2、对步骤3.1得到的二值图进行尺度不同的长度滤波。其中所使用的长度滤波方法是指滤除指定尺寸的噪点，例如，如果设置长度滤波的大小/长度为指定值8，则计算8*8大小/尺度的滤波核下的噪声的面积，如果噪声的面积小于64(指定值的平方)，则会被过滤掉。针对灰度图像，使用了三种尺度的长度滤波核，先使用大小为16的长度滤波核进行过滤噪声；接着使用大小为32的长度滤波核进行过滤噪声；然后进行长度为64的长度滤波核进行滤波，得到最终处理的血管结构。
本发明一个实施例中的一种眼底图像实时映射方法，应用于手术中时，具体的流程如下：
1、手术规划界面内显示医生选择的待规划眼底图像，在用户进行规划行为时，首先通过捕捉鼠标点击事件，获取鼠标点击在屏幕上的坐标，根据用户选择的不同规划方案(绘图工具如：单点，多点，禁止区域等)，在图像显示窗口绘制相应图案，例如单点：绘制一个圆形图案；多点：在选择的区域内填充绘制多个圆形图案；禁止区域：在相应位置绘制圆形禁止图案。如图2所示。用户完成操作后，将所有规划点保存进一个向量vector，等待接下来的操作。
图2是医生用于规划的眼底彩照，其中包含规划信息：禁止区域，单点，以及多点。
2、完成规划后，用户点击按钮进入下一步，首先成像界面显示实时眼底图像，用户可以根据成像的效果选择是否点击按钮开始手术。本实施例中获得的实时图像如图3所示。
3、点击开始手术界面按钮后，首先分别对规划时的图像和实时成像的图像做血管提取。算法及实现流程为(也可以使用如其他实施例所述的具体的血管提取方法)：(1)首先对两幅图像进行灰度化处理，转换为灰度图像。(2)对两幅图像进行伽马(Gamma)变换，sigma值为1.1。(3)用对比度受限的自适应直方图均衡化对Gamma变换后的图像进行处理，增强血管与背景之间的对比度。(4)使用双边滤波、高斯滤波对增强后的图像进行滤波处理。(5)使用匹配滤波进行滤波处理得到提取的规划用血管图和实时成像血管图。
4、完成血管提取后，使用分割后的图像进行配准。算法及实现流程为(也可以使用其他具体的配准方法)：(1)对提取到两幅血管图进行降采样处理，长宽分别缩小为原尺寸大小的一半。
(2)根据ORB算法，提取所述降采样后的基准血管图中的4000个Fast特征点和对应的BRIEF描述子组成第一组Fast特征点集合和第一组BRIEF描述子集合，同样提取所述降采样后的待配准血管图中的相同数目的Fast特征点和对应的BRIEF描述子组成第二组Fast特征点集合和第二组BRIEF描述子集合，其中每一组的Fast特征点和BRIEF描述子是一一对应的。
(3)建立用于保存最终特征点的两个数组A和B，数组A和B中每个特征点都是一一对应的。
(4)第一次筛选，首先根据BFMatcher算法(该算法为OpenCV算法库的算法，可以直接调用)计算两组BRIEF描述子的相似度，得到一组相似度分数，例如两组BRIEF描述子中的一对特征点描述子如下：
a:10101011
b:10101010
则该对特征点描述子的相似度分数为0.875。
(5)对得到的相似度分数进行排序处理，排序方向为从大到小。
(6)根据排序后的相似度分数，选择排序为前35％的相似度分数对应的两组BRIEF描述子，选择的这两组BRIEF描述子是一一对应的。
(7)并根据BRIEF描述子获取对应的Fast特征点，获取的这两组Fast特征点同样是一一对应的。根据RANSAC算法，对上一步获取的两组Fast特征点进行提纯处理，筛选其中正确配准的特征点，分别放入A和B中。
(8)判断上一步剩下的其中一组Fast特征点个数是否小于10。若大于10，则对剩下的两组Fast特征点以及对应的BRIEF描述子进行再次筛选；若小于10，则停止筛选。其中第二次筛选以及后续的筛选中，除了根据相似度分数选择排序为前70％的相似度分数对应的两组BRIEF描述子，其余均与第一次筛选过程一致。关于阈值选择为10，是因为如果剩下的个数过少，则无法满足提纯处理的基本需求。
(9)配准后处理：根据RANSAC算法，对上一步获取的两组特征点进行最后一次提纯处理，筛选其中正确配对的特征点。对经过最后一次筛选后的两组数据A和B中每个特征点对应的坐标X和Y进行变换，即X和Y均乘以2。
根据FindHomography函数对经过变换后的两组特征点数组A和B进行计算，得到仿射变换矩阵。仿射变换矩阵与数组A和B之间的关系如下式所示：
其中(X’，Y’)表示数组A中的特征点的坐标，(X，Y)表示数据B中的特征点坐标，H为仿射变换矩阵，H是一个3*3大小的矩阵。本实施例中得到的仿射矩阵如下所示：
5、完成配准后，将得到的仿射矩阵中的参数作为坐标转换的参数，将第一步保存的vector中的所有规划点作为输入。算法及实现流程为：对于保存的规划容器内的激光点，使用循环语句，依次得到每一个激光点在规划图上的中心坐标和图案的半径，将中心坐标点输入坐标转换函数，函数内输入的仿射矩阵H为3*3的矩阵：
[a b c
d e f
g h i]
待转换激光坐标点point1到转换后坐标点point2的公式为:
point2.x＝(point1.x*a+point1.y*b+c)/(point1.x*g+point1.y*h+i)；
point2.y＝(point1.x*d+point1.y*e+f)/(point1.x*g+point1.y*h+i)。
将规划内所有激光点依次进行坐标转换后，输出新的坐标点，并根据新的中心坐标和半径(激光点大小与设备成像时的比例有关，半径相比规划图可以无变化)在实时成像界面上绘制新的激光点。
6、对于保存的规划容器内的禁止区域图标，使用循环语句，依次得到每一个禁止区域在规划图上的中心坐标点的坐标和与禁止区域图案外切矩形的四个顶点(角点)坐标，将上述坐标输入坐标转换函数，函数内输入的仿射矩阵为3*3的vector[a b c；d e f；g hi]，待转换坐标点point1到转换后坐标点point2的公式为：
point2.x＝(point1.x*a+point1.y*b+c)/(point1.x*g+point1.y*h+i)；
point2.y＝(point1.x*d+point1.y*e+f)/(point1.x*g+point1.y*h+i)。
将规划内所有禁止区域的相关坐标依次进行坐标转换后，转换后的中心坐标点作为新的禁止区域的中心坐标，转换后的四个顶点坐标用于禁止区域的大小转换。
7、禁止区域大小转换的方式为，利用得到的四个转换后的顶点坐标，算出矩形的四个边长，找到四个边长中的最大边长后，对禁止图标进行大小的重新变化(resize)，并在成像界面内绘制禁止图标。
完成所有绘图后，成像界面显示图像，如图4所示。
采用本发明所述的实施例，具有以下特点：有了本发明实施例提供的功能，可以辅助医生更准确地完成眼底图像实时映射，更快速地完成手术规划的转换，与其他产品相比，本发明可以减少医生工作量，减少病人等待的时间，且用于手术时可以使得手术精度更高。该方法对眼底图像的配准过程进行优化，能够提供更完善的坐标点转换过程，其坐标转换更准确更高效。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
此外，本领域普通技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本领域技术人员应理解，尽管已经参考示例性实施例描述了本公开，但是在不脱离本发明的范围的情况下，可进行各种改变并可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可进行许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是本发明将包括落入所附权利要求范围内的所有实施例。

Claims (8)

1.一种眼底图像实时映射方法，其特征在于，包括：
步骤1，获得规划图像和规划方案，以及实时眼底图像；所述规划方案包括一个或多个规划点在规划图像上的位置坐标和图案特征；
步骤2，分别对规划图像和实时眼底图像做血管提取操作；
步骤3，使用经过血管提取操作的规划图像和实时眼底图像进行配准操作；
步骤4，将配准操作中得到的仿射矩阵中的参数作为坐标转换的参数，将规划方案中的所有规划点的相关坐标点的坐标依次进行坐标转换操作，输出新的规划点的相关坐标点的坐标，并在成像界面显示的实时眼底图像上绘制新的规划点的图案；
其中，所述血管提取操作包括：首先对接收到的待进行血管提取操作的图像进行灰度化，对灰度化之后得到的结果图像进行伽马变换，然后对经过伽马变换之后得到的结果图像进行自适应直方图均衡化操作从而进行图像细节增强，对图像细节增强后得到的结果图像进行滤波操作以进行去噪；接着使用匹配滤波操作对去噪后的结果图像进行滤波处理，得到经过血管提取操作的结果图像；
所述血管提取操作还包括：在使用匹配滤波操作对去噪后的结果图像进行滤波处理之前，先对去噪后的结果图像进行去亮斑操作，去除因外部设备的影响而产生的亮斑区域；该去亮斑操作的具体步骤为：对步骤2中接收到的待进行血管提取操作的图像进行亮斑检测，得到亮斑区域的分布图；在去噪后的结果图像上，对照该亮斑区域的分布图找到对应的亮斑区域，使用去噪后的结果图像的像素点的均值进行亮斑区域的像素点的值的替换。
2.根据权利要求1所述的眼底图像实时映射方法，其特征在于：所述规划图像和实时眼底图像是眼底彩照或SLO图像。
3.根据权利要求1所述的眼底图像实时映射方法，其特征在于：在坐标转换操作中，若仿射矩阵为3*3的向量[a b c；d e f；g hi]，则将待转换坐标点的坐标转换到新的坐标点的坐标转换公式为：
point2.x＝(point1.x*a+point1.y*b+c)/(point1.x*g+point1.y*h+i)；
point2.y＝(point1.x*d+point1.y*e+f)/(point1.x*g+point1.y*h+i)；
其中point1为待转换坐标点，point2为新的坐标点；x为x轴坐标，y为y轴坐标；a，b，c，d，e，f，g，h，i为仿射矩阵中的参数值。
4.根据权利要求3所述的眼底图像实时映射方法，其特征在于：所述规划点包括禁止区域，首先得到禁止区域的图案的外切矩形框，根据所述坐标转换公式，将所述外切矩形框的中心坐标点转换为新的中心坐标点，转换后的新的中心坐标点作为新的禁止区域的中心坐标点；将所述外切矩形框的四个顶点的坐标，转换为新的四个顶点的坐标；根据新的四个顶点的坐标，计算出新的四个顶点所构成的框形的四个边长，取计算出的四个边长的最大值；根据所述四个边长的最大值相对于转换前的外切矩形框的最大边长值的比例，对禁止区域的图像的大小进行变化，并在成像界面内绘制禁止区域的图像。
5.根据权利要求1所述的眼底图像实时映射方法，其特征在于：所述匹配滤波操作包括：
步骤2.1，根据预定的多种血管直径长度，计算得到要使用的第一多种尺度；所述第一多种尺度与所述多种血管直径长度一一对应；
步骤2.2，对于第一多种尺度中的每种尺度，根据预定的多个血管方向参数，分别计算得到每种尺度上的多个不同方向的滤波核；所计算得到的多个不同方向的滤波核与所述多个血管方向参数一一对应；所述多个血管方向参数与多个不同的血管方向角度一一对应；
步骤2.3，基于所述第一多种尺度中的每种尺度，对待进行匹配滤波操作的图像进行第一血管处理操作，得到每种尺度上的血管处理结果图像；所述第一血管处理操作包括：使用当前尺度上的多个不同方向的滤波核，分别对待进行匹配滤波操作的图像的每个像素点进行第一滤波操作，得到每个像素点的多个响应值结果，取每个像素点的多个响应值结果中最大的一个作为每个像素点的最终处理结果，在得到待进行匹配滤波操作的图像的全部像素点的最终处理结果后，得到当前尺度上的血管处理结果图像；
步骤2.4，在得到所述第一多种尺度中的全部尺度的血管处理结果图像后，在所述全部尺度的血管处理结果图像中的图像之间进行像素点的或运算，将像素点的或预算的运算结果图像作为最终结果图像。
6.一种眼底图像实时映射装置，其特征在于，包括：
接收装置，获取规划图像和规划方案，以及实时眼底图像；所述规划方案包括一个或多个规划点在规划图像上的位置坐标和图案特征；
血管提取装置，分别对规划图像和实时眼底图像做血管提取操作；
配准装置，使用经过血管提取操作的规划图像和实时眼底图像进行配准操作；
映射装置，将配准操作中得到的仿射矩阵中的参数作为坐标转换的参数，将规划方案中的所有规划点的相关坐标点的坐标依次进行坐标转换操作，输出新的规划点的相关坐标点的坐标，并在成像界面显示的实时眼底图像上绘制新的规划点的图案；
其中，所述血管提取操作，包括：首先对接收到的待进行血管提取操作的图像进行灰度化，对灰度化之后得到的结果图像进行伽马变换，然后对经过伽马变换之后得到的结果图像进行自适应直方图均衡化操作从而进行图像细节增强，对图像细节增强后得到的结果图像进行滤波操作以进行去噪；接着使用匹配滤波操作对去噪后的结果图像进行滤波处理，得到经过血管提取操作的结果图像；
所述血管提取操作还包括：在使用匹配滤波操作对去噪后的结果图像进行滤波处理之前，先对去噪后的结果图像进行去亮斑操作，去除因外部设备的影响而产生的亮斑区域；该去亮斑操作的具体步骤为：对步骤2中接收到的待进行血管提取操作的图像进行亮斑检测，得到亮斑区域的分布图；在去噪后的结果图像上，对照该亮斑区域的分布图找到对应的亮斑区域，使用去噪后的结果图像的像素点的均值进行亮斑区域的像素点的值的替换。
7.根据权利要求6所述的眼底图像实时映射装置，其特征在于：所述规划图像和实时眼底图像是眼底彩照或SLO图像。
8.根据权利要求6所述的眼底图像实时映射装置，其特征在于：在坐标转换操作中，若仿射矩阵为3*3的向量[a b c；d e f；g hi]，则将待转换坐标点的坐标转换到新的坐标点的坐标转换公式为：
point2.x＝(point1.x*a+point1.y*b+c)/(point1.x*g+point1.y*h+i)；
point2.y＝(point1.x*d+point1.y*e+f)/(point1.x*g+point1.y*h+i)；
其中point1为待转换坐标点，point2为新的坐标点；x为x轴坐标，y为y轴坐标；a，b，c，d，e，f，g，h，i为仿射矩阵中的参数值。
CN202110592127.7A 2021-05-28 2021-05-28 一种眼底图像实时映射方法及装置 Active CN115409690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110592127.7A CN115409690B (zh) 2021-05-28 2021-05-28 一种眼底图像实时映射方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110592127.7A CN115409690B (zh) 2021-05-28 2021-05-28 一种眼底图像实时映射方法及装置

Publications (2)

Publication Number Publication Date
CN115409690A CN115409690A (zh) 2022-11-29
CN115409690B true CN115409690B (zh) 2023-09-29

Family

ID=84156201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110592127.7A Active CN115409690B (zh) 2021-05-28 2021-05-28 一种眼底图像实时映射方法及装置

Country Status (1)

Country Link
CN (1) CN115409690B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102908120A (zh) * 2012-10-09 2013-02-06 北京大恒图像视觉有限公司 眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法
CN108022228A (zh) * 2016-10-31 2018-05-11 天津工业大学 基于SIFT变换和Otsu匹配的彩色眼底图像拼接方法
CN108198211A (zh) * 2017-11-20 2018-06-22 海纳医信（北京）软件科技有限责任公司 眼底图像的处理方法及装置、存储介质、处理器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5432644B2 (ja) * 2009-09-10 2014-03-05 キヤノン株式会社 血管交差・分岐部位の抽出方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102908120A (zh) * 2012-10-09 2013-02-06 北京大恒图像视觉有限公司 眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法
CN108022228A (zh) * 2016-10-31 2018-05-11 天津工业大学 基于SIFT变换和Otsu匹配的彩色眼底图像拼接方法
CN108198211A (zh) * 2017-11-20 2018-06-22 海纳医信（北京）软件科技有限责任公司 眼底图像的处理方法及装置、存储介质、处理器

Also Published As

Publication number Publication date
CN115409690A (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
US8385688B2 (en) System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans
CN110021024B (zh) 一种基于lbp和链码技术的图像分割方法
Spraggon et al. Computational analysis of crystallization trials
US11783488B2 (en) Method and device of extracting label in medical image
CN110176010B (zh) 一种图像检测方法、装置、设备及存储介质
CN112634256B (zh) 圆检测及拟合方法、装置、电子设备和存储介质
WO2023065792A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111507908B (zh) 图像矫正处理方法、装置、存储介质及计算机设备
WO2007105517A1 (ja) 画像解析装置
CN107564048A (zh) 基于分叉点特征配准方法
CN111260694B (zh) 卫星遥感视频目标跟踪方法及装置
CN111292307A (zh) 一种消化系统胆囊结石识别方法及定位方法
CN111583286B (zh) 基于Flow-XDoG算子的腹部MRI图像轮廓提取方法
CN114022554A (zh) 一种基于yolo的按摩机器人穴位检测与定位方法
CN114693710A (zh) 血管管腔内膜轮廓提取方法、装置及超声设备和存储介质
AU2020103713A4 (en) Digital imaging methods and system for processing agar plate images for automated diagnostics
CN115409690B (zh) 一种眼底图像实时映射方法及装置
Zakariah et al. Image boundary, corner, and edge detection: past, present, and future
CN113362294B (zh) 含穿刺针超声血管图像的穿刺针识别方法、系统和设备
Mittal et al. Optic disk and macula detection from retinal images using generalized motion pattern
CN115359257A (zh) 基于深度学习的脊椎图像分割方法及手术导航定位系统
CN113724264B (zh) 图像分割方法、系统和可读存储介质
CN115409762B (zh) 自动检测规划点与血管的重叠的方法及装置
CN114170258A (zh) 图像分割方法、装置、电子设备及存储介质
CN113643225A (zh) 一种圆弧检测方法以及圆弧检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant