CN115439900A - 视网膜图谱构建方法及其装置、计算机设备、存储介质 - Google Patents

视网膜图谱构建方法及其装置、计算机设备、存储介质 Download PDF

Info

Publication number
CN115439900A
CN115439900A CN202210919551.2A CN202210919551A CN115439900A CN 115439900 A CN115439900 A CN 115439900A CN 202210919551 A CN202210919551 A CN 202210919551A CN 115439900 A CN115439900 A CN 115439900A
Authority
CN
China
Prior art keywords
image
retina
thickness
target
retinal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210919551.2A
Other languages
English (en)
Inventor
金日初
刘江
胡衍
缪函霈
姜泓羊
王星月
曾娜
叶海礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202210919551.2A priority Critical patent/CN115439900A/zh
Publication of CN115439900A publication Critical patent/CN115439900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请实施例提出的视网膜图谱构建方法及其装置、计算机设备、存储介质，通过获取不同被试对象的初始视网膜图像，对初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像，对整体厚度图像进行图像配准，得到变形向量场，根据变形向量场对分层厚度图像进行图像变换，得到目标视网膜图像，将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量，对视网膜厚度图像张量进行分解，得到目标视网膜图像中每一像素点对应的特征向量，基于特征向量对目标视网膜图像中的全部像素点进行聚类，得到聚类结果，根据聚类结果对分层厚度图像中与目标视网膜图像对应的像素点进行标记得到目标视网膜图谱，能够提高视网膜分区的准确性。

Description

视网膜图谱构建方法及其装置、计算机设备、存储介质
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种视网膜图谱构建方法及其装置、计算机设备、存储介质。
背景技术
相关技术中，采用ETDRS栅格法在en-face方向上对视网膜进行分区，ETDRS栅格法通过在视网膜en-face方向上绘制圆形区域，并在圆形区域进一步划分多个子区域来实现视网膜分区，但是圆形区域以及子区域采用固定尺寸，在特征提取的精度和鲁棒性方面都存在一定的局限性。
发明内容
本申请实施例的主要目的在于提出一种视网膜图谱构建方法及其装置、计算机设备、存储介质，能够提高特征提取的精度和鲁棒性，实现在视网膜en-face方向上进行精准分区。
为实现上述目的，本申请实施例的第一方面提出了一种视网膜图谱构建方法，所述方法包括：
获取不同被试对象的初始视网膜图像；
对所述初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像；
对所述整体厚度图像进行图像配准，得到变形向量场；
根据所述变形向量场对所述分层厚度图像进行图像变换，得到目标视网膜图像；
将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量；
对所述视网膜厚度图像张量进行分解，得到所述目标视网膜图像中每一像素点对应的特征向量，所述特征向量由不同被试对象的目标视网膜图像在同一像素位置的像素点组成；
基于所述特征向量对所述目标视网膜图像中的全部像素点进行聚类，得到聚类结果；
根据所述聚类结果对所述分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到所述分层厚度图像对应的目标视网膜图谱。
在一些实施例，在所述对所述初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像之后，所述视网膜图谱构建方法还包括：
对所述整体厚度图像进行图像去噪，得到去噪后的整体厚度图像；
对所述分层厚度图像进行图像去噪，得到去噪后的分层厚度图像。
在一些实施例，在所述对所述初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像之后，所述视网膜图谱构建方法还包括：
对所述整体厚度图像进行图像增强，得到增强后的整体厚度图像；
对所述分层厚度图像进行图像增强，得到增强后的分层厚度图像。
在一些实施例，所述对所述整体厚度图像进行图像配准，得到变形向量场，包括：
对不同被试对象的整体厚度图像进行厚度平均计算，得到模板视网膜图像；
对所述模板视网膜图像进行极坐标空间变换，得到极坐标模板图像；
对所述整体厚度图像进行极坐标空间变换，得到极坐标厚度图像；
将所述极坐标模板图像和所述极坐标厚度图像进行图像配准，得到极坐标空间变形向量场；
将所述极坐标空间变形向量场进行图像空间变换，得到变形向量场。
在一些实施例，所述将所述极坐标模板图像和所述极坐标厚度图像进行图像配准，得到极坐标空间变形向量场，包括：
根据极坐标空间的角度对所述极坐标模板图像进行扫描，得到第一厚度曲线；所述第一厚度曲线为所述极坐标模板图像每个角度对应的厚度信息；
根据极坐标空间的角度对所述极坐标厚度图像进行扫描，得到第二厚度曲线；所述第二厚度曲线为所述极坐标厚度图像每个角度对应的厚度信息；
对所述第一厚度曲线和所述第二厚度曲线进行一致性特征提取，得到目标特征点；
根据所述目标特征点在所述极坐标空间内对所述极坐标模板图像和所述极坐标厚度图像进行图像配准，得到极坐标空间变形向量场。
在一些实施例，所述基于所述特征向量对所述目标视网膜图像中的全部像素点进行聚类，得到聚类结果，包括：
确定聚类中心；
计算所述目标视网膜图像中每一像素点对应的所述特征向量与所述聚类中心的相似度；
根据所述相似度对所述目标视网膜图像中的全部像素点进行聚类，得到聚类结果。
在一些实施例，所述根据所述聚类结果对所述分层厚度图像中的像素点进行标记，得到所述分层厚度图像对应的目标视网膜图谱，包括：
根据所述聚类结果对所述分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到初始视网膜图谱；
对所述初始视网膜图谱进行后处理，从所述初始视网膜图谱中去除离群点，得到目标视网膜图谱。
本申请实施例的第二方面提出了一种视网膜图谱构建装置，所述装置包括：
获取模块，用于获取不同被试对象的初始视网膜图像；
分层模块，用于对所述初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像；
图像配准模块，用于对所述整体厚度图像进行图像配准，得到变形向量场；
图像变换模块，用于根据所述变形向量场对所述分层厚度图像进行图像变换，得到目标视网膜图像；
图像组合模块，用于将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量；
分解模块，用于对所述视网膜厚度图像张量进行分解，得到所述目标视网膜图像中每一像素点对应的特征向量，所述特征向量由不同被试对象的目标视网膜图像在同一像素位置的像素点组成；
聚类模块，用于基于所述特征向量对所述目标视网膜图像中的全部像素点进行聚类，得到聚类结果；
视网膜图谱构建模块，用于根据所述聚类结果对所述分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到所述分层厚度图像对应的目标视网膜图谱。
本申请实施例的第三方面提出了一种计算机设备，所述计算机设备包括存储器和处理器，其中，所述存储器中存储有程序，所述程序被所述处理器执行时所述处理器用于执行如本申请第一方面实施例任一项所述的视网膜图谱构建方法。
本申请实施例的第四方面提出了一种存储介质，该存储介质为计算机可读存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本申请第一方面实施例任一项所述的视网膜图谱构建方法。
本申请实施例提出的视网膜图谱构建方法及其装置、计算机设备、存储介质，通过获取不同被试对象的初始视网膜图像，对初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像，对整体厚度图像进行图像配准，得到变形向量场，根据变形向量场对分层厚度图像进行图像变换，得到目标视网膜图像，将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量，对视网膜厚度图像张量进行分解，得到目标视网膜图像中每一像素点对应的特征向量，特征向量由不同被试对象的目标视网膜图像在同一像素位置的像素点组成，基于特征向量对目标视网膜图像中的全部像素点进行聚类，得到聚类结果，根据聚类结果对分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到分层厚度图像对应的目标视网膜图谱，本申请实施例通过将初始视网膜图像进行分层处理，能够考虑到视网膜不同层解剖结构的差异，对整体厚度图像进行图像配准，能够消除不同被试对象的视网膜形态个体差异，避免视网膜形态个体差异对视网膜分区结果的影响，通过将不同被试对象的目标视网膜图像进行组合，能够引入不同被试对象不同区域之间的视网膜厚度信息，并通过该视网膜厚度信息的相关性对视网膜图像像素点对应的特征向量进行聚类，根据聚类结果得到视网膜分区结果，提高了视网膜分区的准确性。
附图说明
图1是本申请实施例提供的视网膜图谱构建方法的流程图；
图2是本申请实施例提供的视网膜图谱构建方法的视网膜厚度图像张量与特征向量的关系示意图；
图3是图1中步骤S120的具体方法的流程图；
图4是图1中步骤S120的具体方法的流程图；
图5是图1中步骤S130的具体方法的流程图；
图6是图5中步骤S540的具体方法的流程图；
图7是图1中步骤S170的具体方法的流程图；
图8是图1中步骤S180的具体方法的流程图；
图9是本申请实施例提供的视网膜图谱构建装置的模块结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
视网膜对于视觉的形成发挥着至关重要的作用，在眼轴方向上，视网膜可以分为十层，在en-face方向上，视网膜可以分为中心凹、旁中心凹、中心凹周围区域等不同区域。目前，眼底成像技术如OCT技术可以清晰地区分视网膜的不同层，但是无法清晰划分视网膜en-face方向上的不同区域。如何在en-face方向上对视网膜进行精准分区是视网膜特征提取面临的一大挑战。
针对这一问题，目前常用的方法是ETDRS格栅法，通过在视网膜en-face方向上绘制一个圆形区域，并将圆形区域进一步划分为不同的子区域，该圆形区域的中心与黄斑的中心对齐，该圆形区域的半径以及各子区域的范围均为固定的尺寸。ETDRS格栅法在一定程度上解决了视网膜en-face方向上难以分区的问题，但是，这种固定形状的划分方法并没有严格按照视网膜en-face方向上的解剖结构进行划分，同时固定的尺寸也没有考虑视网膜结构个体差异的问题。因而，该方法在特征提取的精度和鲁棒性方面都存在一定的局限性。
脑图谱是对大脑进行分区的常用方法，视网膜和脑具有结构上的相似性，借鉴脑图谱的方法构建视网膜图谱，有望实现更为精准的视网膜en-face方向分区。目前，脑图谱的构建主要通过配准多人脑影像生成脑影像模板，然后再在脑影像模板上对脑的不同结构进行手动或自动分割。该方法的实现主要基于不同被试具有相似的大脑结构，并且不同的脑区在脑影像上可以较为清晰地进行分辨。然而，在当前的视网膜影像上，无法清晰分辨视网膜en-face方向上的大部分区域。因此，无法直接利用脑图谱的构建方法来生成视网膜图谱。
基于此，本申请实施例的主要目的在于提出一种视网膜图谱构建方法，通过对整体厚度图像进行图像配准，能够消除不同被试对象的视网膜形态个体差异对视网膜分区结果的影响，通过将不同被试对象对应的目标视网膜图像进行组合，能够引入不同被试对象不同区域之间的视网膜厚度信息，通过视网膜厚度信息的相关性对视网膜图像像素点对应的特征向量进行聚类，根据聚类结果得到视网膜不同层解剖结构的分区结果，将分区结果作为视网膜图谱，能够考虑到视网膜不同层解剖结构的差异，解决了视网膜en-face方向上难以分区的问题。采用固定的形状和尺寸对视网膜进行分区，难以反映视网膜真实的解剖信息，也容易受到视网膜形态个体差异的影响，本申请实施例通过消除视网膜形态个体差异以及引入视网膜不同层解剖结构差异，能够提高视网膜分区的准确性。
参照图1，根据本申请实施例第一方面实施例的视网膜图谱构建方法，视网膜图谱构建方法包括但不限于步骤S110至步骤S180。
步骤S110，获取不同被试对象的初始视网膜图像；
步骤S120，对初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像；
步骤S130，对整体厚度图像进行图像配准，得到变形向量场；
步骤S140，根据变形向量场对分层厚度图像进行图像变换，得到目标视网膜图像；步骤S150，将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量；
步骤S160，对视网膜厚度图像张量进行分解，得到目标视网膜图像中每一像素点对应的特征向量，特征向量由不同被试对象的目标视网膜图像在同一像素位置的像素点组成；
步骤S170，基于特征向量对目标视网膜图像中的全部像素点进行聚类，得到聚类结果；
步骤S180，根据聚类结果对分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到分层厚度图像对应的目标视网膜图谱。
在步骤S110中，获取不同被试对象的初始视网膜图像，其中初始视网膜图像为OCT图像。
在步骤S120中，利用explorer或者训练好的深度学习模型对初始视网膜图像进行分层处理，实现对视网膜不同层的分割，得到整体厚度en-face图像和多个分层厚度en-face图像，其中深度学习模型可以为U-Net。
在步骤S130中，为了消除不同被试对象间的视网膜整体形态差异，将每个被试对象的整体厚度en-face图像配准到统一的模板上，得到每个被试对象的整体厚度en-face图像配准到模板的变形向量场。
在步骤S140中，为了对分层厚度en-face图像进行配准，根据被试对象的整体厚度en-face图像配准到模板生成的变形向量场，对该被试对象对应的分层厚度en-face图像进行图像变换，得到目标视网膜图像，其中目标视网膜图像为该被试对象配准后的分层厚度en-face图像。若分层厚度图像为第k层厚度en-face图像，根据变形向量场对第k层厚度en-face图像进行图像变换，得到目标视网膜图像。
在步骤S150中，如图2所示，将被试对象1至被试对象M的目标视网膜图像进行组合，得到一个图像序列，将该图像序列作为视网膜厚度图像张量，其中目标视网膜图像为配准后的第k层厚度en-face图像。将不同被试对象配准后的第k层厚度en-face图像进行组合，能够引入不同被试对象的视网膜解剖结构个体差异，以实现视网膜en-face方向分区，得到第k层视网膜图谱。
在步骤S160中，将视网膜厚度图像张量分解为多个特征向量，特征向量与视网膜厚度图像张量之间的关系如图2所示，目标视网膜图像中每一像素点均对应一个特征向量，第k层目标视网膜图像中某一像素点对应的特征向量由不同被试对象配准后的第k层厚度en-face图像中与该像素点处于同一像素位置的像素点组成。
在步骤S170中，根据不同被试对象视网膜图像不同区域之间厚度信息的相关性，基于特征向量对目标视网膜图像中的全部像素点进行聚类，得到聚类结果。
在步骤S180中，根据聚类结果对第k层厚度en-face图像中与第k层目标视网膜图像对应的像素点进行标记，得到第k层厚度en-face图像对应的第k层视网膜图谱。
本申请实施例提出的视网膜图谱构建方法，通过获取不同被试对象的初始视网膜图像，对初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像，对整体厚度图像进行图像配准，得到变形向量场，根据变形向量场对分层厚度图像进行图像变换，得到目标视网膜图像，将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量，对视网膜厚度图像张量进行分解，得到目标视网膜图像中每一像素点对应的特征向量，特征向量由不同被试对象的目标视网膜图像在同一像素位置的像素点组成，基于特征向量对目标视网膜图像中的全部像素点进行聚类，得到聚类结果，根据聚类结果对分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到分层厚度图像对应的目标视网膜图谱，本申请实施例通过将初始视网膜图像进行分层处理，能够考虑到视网膜不同层解剖结构的差异，对整体厚度图像进行图像配准，能够消除不同被试对象的视网膜形态个体差异，避免视网膜形态个体差异对视网膜分区结果的影响，通过将不同被试对象的目标视网膜图像进行组合，能够引入不同被试对象不同区域之间的视网膜厚度信息，并通过该视网膜厚度信息的相关性对目标视网膜图像中的全部像素点进行聚类，根据聚类结果得到视网膜分区结果，提高了视网膜分区的准确性。
在一些实施例中，如图3所示，在步骤S120之后，具体包括但不限于步骤S310至步骤S320。
步骤S310，对整体厚度图像进行图像去噪，得到去噪后的整体厚度图像；
步骤S320，对分层厚度图像进行图像去噪，得到去噪后的分层厚度图像。
在步骤S310至步骤S320中，为了去除整体厚度图像和分层厚度图像中的噪声，避免噪声对视网膜分区结果产生影响，利用高斯去噪、非局部均值去噪等方法对整体厚度图像和分层厚度图像进行图像去噪。
在一些实施例中，如图4所示，在步骤S120之后，具体包括但不限于步骤S410至步骤S420。
步骤S410，对整体厚度图像进行图像增强，得到增强后的整体厚度图像；
步骤S420，对分层厚度图像进行图像增强，得到增强后的分层厚度图像。
在步骤S410至步骤S420中，为了增强整体厚度图像和分层厚度图像的边缘等细节信息，利用直方图均衡化对整体厚度图像和分层厚度图像进行图像增强。
在一些实施例中，如图5所示，步骤S130具体包括但不限于步骤S510至步骤S550。
步骤S510，对不同被试对象的整体厚度图像进行厚度平均计算，得到模板视网膜图像；
步骤S520，对模板视网膜图像进行极坐标空间变换，得到极坐标模板图像；
步骤S530，对整体厚度图像进行极坐标空间变换，得到极坐标厚度图像；
步骤S540，将极坐标模板图像和极坐标厚度图像进行图像配准，得到极坐标空间变形向量场；
步骤S550，将极坐标空间变形向量场进行图像空间变换，得到变形向量场。
在步骤S510中，对不同被试对象的整体厚度图像中对应像素点的厚度进行相加，得到该像素点的厚度和值，将厚度和值与被试对象数量的比值作为模板视网膜图像在该像素点的厚度平均值，当计算得到所有像素点的厚度平均值，就得到了模板视网膜图像。
在步骤S520至步骤S550中，视网膜厚度以黄斑为中心分布，相比于原图像空间，极坐标空间更容易处理类似中心分布的特征，因此本申请实施例采用极坐标空间变换将模板视网膜图像和整体厚度图像从原图像空间变换到极坐标空间，得到极坐标模板图像和极坐标厚度图像。为了消除不同被试对象的视网膜形态个体差异对视网膜分区的影响，在极坐标空间内，将极坐标模板图像和极坐标厚度图像进行图像配准，生成极坐标空间变形向量场，并将极坐标空间变形向量场变换回原图像空间，得到变形向量场。
在一些实施例中，如图6所示，步骤S540具体包括但不限于步骤S610至步骤S640。
步骤S610，根据极坐标空间的角度对极坐标模板图像进行扫描，得到第一厚度曲线；第一厚度曲线为极坐标模板图像每个角度对应的厚度信息；
步骤S620，根据极坐标空间的角度对极坐标厚度图像进行扫描，得到第二厚度曲线；第二厚度曲线为极坐标厚度图像每个角度对应的厚度信息；
步骤S630，对第一厚度曲线和第二厚度曲线进行一致性特征提取，得到目标特征点；
步骤S640，根据目标特征点在极坐标空间内对极坐标模板图像和极坐标厚度图像进行图像配准，得到极坐标空间变形向量场。
在步骤S610至步骤S640中，沿极坐标空间的角度维度对极坐标模板图像和极坐标厚度图像进行扫描，提取每一个角度对应的厚度曲线信息，得到第一厚度曲线和第二厚度曲线，提取第一厚度曲线和第二厚度曲线中具有一致性的特征点作为目标特征点，根据目标特征点在极坐标空间内对极坐标模板图像和极坐标厚度图像进行图像配准，生成极坐标空间变形向量场。
在一些实施例中，如图7所示，步骤S170具体包括但不限于步骤S710至步骤S730。
步骤S710，确定聚类中心；
步骤S720，计算目标视网膜图像中每一像素点对应的特征向量与聚类中心的相似度；
步骤S730，根据相似度对目标视网膜图像中的全部像素点进行聚类，得到聚类结果。
在步骤S710中，采用的聚类方法为k-means聚类，确定聚类中心的个数以及各个聚类中心在图像空间中的像素坐标。
在步骤S720中，计算目标视网膜图像中每一像素点对应的特征向量到各聚类中心的欧式距离，距离越大，说明目标视网膜图像中该像素点对应的特征向量与聚类中心的相似度越小，距离越小，说明目标视网膜图像中该像素点对应的特征向量与聚类中心的相似度越大。
在步骤S730中，若目标视网膜图像中像素点对应的特征向量与一聚类中心的相似度小于预设的阈值，说明目标视网膜图像中该像素点对应的特征向量与该聚类中心不相似，即该像素点对应的特征向量不属于该聚类中心，若该目标视网膜图像像素点特征向量与该聚类中心的相似度大于或者等于预设的阈值，说明目标视网膜图像中该像素点对应的特征向量与该聚类中心相似，将目标视网膜图像中该像素点对应的特征向量聚类到该聚类中心所属的像素点集合中。通过k-means聚类，多个特征向量均被分类到不同的集合中，以实现对目标视网膜图像中的全部像素点进行聚类，从而对视网膜进行分区，得到视网膜图谱。
在一些实施例中，如图8所示，步骤S180具体包括但不限于步骤S810至步骤S820。
步骤S810，根据聚类结果对分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到初始视网膜图谱；
步骤S820，对初始视网膜图谱进行后处理，从初始视网膜图谱中去除离群点，得到目标视网膜图谱。
在步骤S810至步骤S820中，目标视网膜图像像素点特征向量属于不同的聚类中心，根据聚类中心的不同赋予分层厚度图像中与目标视网膜图像对应的像素点不同的标记，得到初始视网膜图谱，即初始视网膜分区，对初始视网膜分区进行后处理，从视网膜分区中去除离群点即视网膜分区中错误的分区结果，得到最终的视网膜分区，将最终的视网膜分区作为目标视网膜图谱。
下面以一个具体的实施例详细描述根据本发明实施例的视网膜图谱构建方法，值得理解的是，下述描述仅是示例性说明，而不是对发明的具体限制。
在OCT图像上分割出视网膜不同层，计算视网膜整体厚度信息和各层厚度信息，生成整体厚度图像和分层厚度图像，对不同被试对象的整体厚度图像进行厚度平均计算，得到模板视网膜图像，对模板视网膜图像进行极坐标空间变换，得到极坐标模板图像，对整体厚度图像进行极坐标空间变换，得到极坐标厚度图像，根据极坐标空间的角度对极坐标模板图像进行扫描，得到第一厚度曲线，根据极坐标空间的角度对极坐标厚度图像进行扫描，得到第二厚度曲线，对第一厚度曲线和第二厚度曲线进行一致性特征提取，得到目标特征点，根据目标特征点在极坐标空间内对极坐标模板图像和极坐标厚度图像进行图像配准，得到极坐标空间变形向量场，将极坐标空间变形向量场变换回原始图像空间，得到变形向量场，根据变形向量场对分层厚度图像进行图像变换，得到目标视网膜图像，将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量，对视网膜厚度图像张量进行分解，得到目标视网膜图像中每一像素点对应的特征向量，特征向量由不同被试对象的目标视网膜图像在同一像素位置的像素点组成，基于k-means聚类根据所有特征向量对目标视网膜图像中的全部像素点进行聚类，得到聚类结果，根据聚类结果对分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到初始视网膜图谱，对初始视网膜图谱进行后处理，从初始视网膜图谱中去除离群点，得到目标视网膜图谱。
本申请实施例还提供一种视网膜图谱构建装置，如图9所示，所述视网膜图谱构建装置可以实现上述视网膜图谱构建方法，该装置包括获取模块910、分层模块920、图像配准模块930、图像变换模块940、图像组合模块950、分解模块960、聚类模块970和视网膜图谱构建模块980。其中获取模块910用于获取不同被试对象的初始视网膜图像；分层模块920用于对初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像；图像配准模块930用于对整体厚度图像进行图像配准，得到变形向量场；图像变换模块940用于根据变形向量场对分层厚度图像进行图像变换，得到目标视网膜图像；图像组合模块950用于将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量；分解模块960用于对视网膜厚度图像张量进行分解，得到目标视网膜图像中每一像素点对应的特征向量，特征向量由不同被试对象的目标视网膜图像在同一像素位置的像素点组成；聚类模块970用于基于特征向量对目标视网膜图像中的全部像素点进行聚类，得到聚类结果；视网膜图谱构建模块980用于根据聚类结果对分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到分层厚度图像对应的目标视网膜图谱。
本申请实施例的视网膜图谱构建装置用于执行上述实施例中的视网膜图谱构建方法，其具体处理过程与上述实施例中的视网膜图谱构建方法相同，此处不再一一赘述。
本申请实施例提出的视网膜图谱构建装置，通过获取不同被试对象的初始视网膜图像，对初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像，对整体厚度图像进行图像配准，得到变形向量场，根据变形向量场对分层厚度图像进行图像变换，得到目标视网膜图像，将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量，对视网膜厚度图像张量进行分解，得到目标视网膜图像中每一像素点对应的特征向量，特征向量由不同被试对象的目标视网膜图像在同一像素位置的像素点组成，基于特征向量对目标视网膜图像中的全部像素点进行聚类，得到聚类结果，根据聚类结果对分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到分层厚度图像对应的目标视网膜图谱，本申请实施例通过将初始视网膜图像进行分层处理，能够考虑到视网膜不同层解剖结构的差异，对整体厚度图像进行图像配准，能够消除不同被试对象的视网膜形态个体差异，避免视网膜形态个体差异对视网膜分区结果的影响，通过将不同被试对象的目标视网膜图像进行组合，能够引入不同被试对象不同区域之间的视网膜厚度信息，并通过该视网膜厚度信息的相关性对目标视网膜图像中的全部像素点进行聚类，根据聚类结果得到视网膜分区结果，提高了视网膜分区的准确性。
本申请实施例还提供了一种计算机设备，包括：
至少一个处理器，以及，
与至少一个处理器通信连接的存储器；其中，
存储器存储有指令，指令被至少一个处理器执行，以使至少一个处理器执行指令时实现如本申请第一方面实施例中任一项的视网膜图谱构建方法。
该计算机设备包括：处理器、存储器、输入/输出接口、通信接口和总线。
处理器，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器，可以采用ROM(Read Only Memory，只读存储器)、静态存储设备、动态存储设备或者RAM(Random Access Memory，随机存取存储器)等形式实现。存储器可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器中，并由处理器来调用执行本申请第一方面实施例任一项的视网膜图谱构建方法；
输入/输出接口，用于实现信息输入及输出；
通信接口，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和
总线，在设备的各个组件(例如处理器、存储器、输入/输出接口和通信接口)之间传输信息；
其中处理器、存储器、输入/输出接口和通信接口通过总线实现彼此之间在设备内部的通信连接。
本申请实施例还提供一种存储介质，该存储介质是计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行本申请第一方面实施例任一项的视网膜图谱构建方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图1至图8中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.视网膜图谱构建方法，其特征在于，所述方法包括：
获取不同被试对象的初始视网膜图像；
对所述初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像；
对所述整体厚度图像进行图像配准，得到变形向量场；
根据所述变形向量场对所述分层厚度图像进行图像变换，得到目标视网膜图像；
将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量；
对所述视网膜厚度图像张量进行分解，得到所述目标视网膜图像中每一像素点对应的特征向量，所述特征向量由不同被试对象的目标视网膜图像在同一像素位置的像素点组成；
基于所述特征向量对所述目标视网膜图像中的全部像素点进行聚类，得到聚类结果；
根据所述聚类结果对所述分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到所述分层厚度图像对应的目标视网膜图谱。
2.根据权利要求1所述的视网膜图谱构建方法，其特征在于，在所述对所述初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像之后，所述视网膜图谱构建方法还包括：
对所述整体厚度图像进行图像去噪，得到去噪后的整体厚度图像；
对所述分层厚度图像进行图像去噪，得到去噪后的分层厚度图像。
3.根据权利要求1所述的视网膜图谱构建方法，其特征在于，在所述对所述初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像之后，所述视网膜图谱构建方法还包括：
对所述整体厚度图像进行图像增强，得到增强后的整体厚度图像；
对所述分层厚度图像进行图像增强，得到增强后的分层厚度图像。
4.根据权利要求1所述的视网膜图谱构建方法，其特征在于，所述对所述整体厚度图像进行图像配准，得到变形向量场，包括：
对不同被试对象的整体厚度图像进行厚度平均计算，得到模板视网膜图像；
对所述模板视网膜图像进行极坐标空间变换，得到极坐标模板图像；
对所述整体厚度图像进行极坐标空间变换，得到极坐标厚度图像；
将所述极坐标模板图像和所述极坐标厚度图像进行图像配准，得到极坐标空间变形向量场；
将所述极坐标空间变形向量场进行图像空间变换，得到变形向量场。
5.根据权利要求4所述的视网膜图谱构建方法，其特征在于，所述将所述极坐标模板图像和所述极坐标厚度图像进行图像配准，得到极坐标空间变形向量场，包括：
根据极坐标空间的角度对所述极坐标模板图像进行扫描，得到第一厚度曲线；所述第一厚度曲线为所述极坐标模板图像每个角度对应的厚度信息；
根据极坐标空间的角度对所述极坐标厚度图像进行扫描，得到第二厚度曲线；所述第二厚度曲线为所述极坐标厚度图像每个角度对应的厚度信息；
对所述第一厚度曲线和所述第二厚度曲线进行一致性特征提取，得到目标特征点；
根据所述目标特征点在所述极坐标空间内对所述极坐标模板图像和所述极坐标厚度图像进行图像配准，得到极坐标空间变形向量场。
6.根据权利要求1至5任一项所述的视网膜图谱构建方法，其特征在于，所述基于所述特征向量对所述目标视网膜图像中的全部像素点进行聚类，得到聚类结果，包括：
确定聚类中心；
计算所述目标视网膜图像中每一像素点对应的所述特征向量与所述聚类中心的相似度；
根据所述相似度对所述目标视网膜图像中的全部像素点进行聚类，得到聚类结果。
7.根据权利要求1至5任一项所述的视网膜图谱构建方法，其特征在于，所述根据所述聚类结果对所述分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到所述分层厚度图像对应的目标视网膜图谱，包括：
根据所述聚类结果对所述分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到初始视网膜图谱；
对所述初始视网膜图谱进行后处理，从所述初始视网膜图谱中去除离群点，得到目标视网膜图谱。
8.视网膜图谱构建装置，其特征在于，所述装置包括：
获取模块，用于获取不同被试对象的初始视网膜图像；
分层模块，用于对所述初始视网膜图像进行分层处理，得到整体厚度图像和多个分层厚度图像；
图像配准模块，用于对所述整体厚度图像进行图像配准，得到变形向量场；
图像变换模块，用于根据所述变形向量场对所述分层厚度图像进行图像变换，得到目标视网膜图像；
图像组合模块，用于将不同被试对象对应的目标视网膜图像进行组合，得到视网膜厚度图像张量；
分解模块，用于对所述视网膜厚度图像张量进行分解，得到所述目标视网膜图像中每一像素点对应的特征向量，所述特征向量由不同被试对象的目标视网膜图像在同一像素位置的像素点组成；
聚类模块，用于基于所述特征向量对所述目标视网膜图像中的全部像素点进行聚类，得到聚类结果；
视网膜图谱构建模块，用于根据所述聚类结果对所述分层厚度图像中与目标视网膜图像对应的像素点进行标记，得到所述分层厚度图像对应的目标视网膜图谱。
9.计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中，所述存储器中存储有程序，所述程序被所述处理器执行时所述处理器用于执行：
如权利要求1至7中任一项所述的视网膜图谱构建方法。
10.存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，在所述计算机程序被计算机执行时，所述计算机用于执行：
如权利要求1至7中任一项所述的视网膜图谱构建方法。
CN202210919551.2A 2022-08-02 2022-08-02 视网膜图谱构建方法及其装置、计算机设备、存储介质 Pending CN115439900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210919551.2A CN115439900A (zh) 2022-08-02 2022-08-02 视网膜图谱构建方法及其装置、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210919551.2A CN115439900A (zh) 2022-08-02 2022-08-02 视网膜图谱构建方法及其装置、计算机设备、存储介质

Publications (1)

Publication Number Publication Date
CN115439900A true CN115439900A (zh) 2022-12-06

Family

ID=84243037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210919551.2A Pending CN115439900A (zh) 2022-08-02 2022-08-02 视网膜图谱构建方法及其装置、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN115439900A (zh)

Similar Documents

Publication Publication Date Title
CN103116763B (zh) 一种基于hsv颜色空间统计特征的活体人脸检测方法
US20130071816A1 (en) Methods and systems for building a universal dress style learner
CN111539956B (zh) 基于脑部辅助图像的脑出血自动检测方法及电子介质
CN111639629B (zh) 一种基于图像处理的猪只体重测量方法、装置及存储介质
CN109725721B (zh) 用于裸眼3d显示系统的人眼定位方法及系统
CN111161268B (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN105678778A (zh) 一种图像匹配方法和装置
CN110866873A (zh) 内腔镜图像的高光消除方法及装置
US20160292529A1 (en) Image collation system, image collation method, and program
CN115937129B (zh) 基于多模态磁共振影像的左右半脑关系的处理方法及装置
CN115439900A (zh) 视网膜图谱构建方法及其装置、计算机设备、存储介质
CN116433976A (zh) 图像处理方法、装置、设备和存储介质
CN109359543B (zh) 一种基于骨骼化的人像检索方法及装置
CN111626313A (zh) 一种特征提取模型训练方法、图像处理方法及装置
CN111027469A (zh) 人体部位识别方法、计算机设备和可读存储介质
CN117218400A (zh) 一种图像识别模型训练方法、装置、电子设备及存储介质
JP6405603B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN111079551B (zh) 基于奇异值分解的手指静脉识别方法、装置和存储介质
CN114119446A (zh) 图像处理方法及装置、医学图像处理方法及装置
CN112949585A (zh) 一种眼底图像血管的识别方法、装置、电子设备及存储介质
CN111461246A (zh) 一种图像分类方法及装置
CN115205351A (zh) 被试间视网膜图像配准方法和装置、电子设备、存储介质
CN111783519A (zh) 图像处理方法、装置、电子设备及存储介质
JP2021051376A (ja) 画像処理装置、画像処理方法及びプログラム
CN114255203B (zh) 一种鱼苗数量估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination