CN115222876A - 模型训练方法、眼球体结构重塑方法和装置及存储介质 - Google Patents

模型训练方法、眼球体结构重塑方法和装置及存储介质 Download PDF

Info

Publication number
CN115222876A
CN115222876A CN202210648565.5A CN202210648565A CN115222876A CN 115222876 A CN115222876 A CN 115222876A CN 202210648565 A CN202210648565 A CN 202210648565A CN 115222876 A CN115222876 A CN 115222876A
Authority
CN
China
Prior art keywords
initial
model
images
depth image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210648565.5A
Other languages
English (en)
Inventor
胡衍
邱忠喜
张嘉奇
孙沛铖
刘江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern University of Science and Technology
Original Assignee
Southern University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern University of Science and Technology filed Critical Southern University of Science and Technology
Priority to CN202210648565.5A priority Critical patent/CN115222876A/zh
Publication of CN115222876A publication Critical patent/CN115222876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种模型训练方法及装置、眼球体结构重塑方法、装置及存储介质，模型训练方法包括：获取眼球的若干二维眼底图像和若干初始结构图像，对若干初始结构图像进行分层处理，以提取初始结构图像的目标数据，提取目标区域中三维结构的Z轴的深度信息，以得到深度图像，将若干二维眼底图像分别与深度图像进行配对处理，得到初始数据库，基于预设的学习算法根据初始数据库进行模型训练方法，以构建初始深度图像估计模型。本发明能够得到一个简单获取眼球体的三维结构图的估计模型。

Description

模型训练方法、眼球体结构重塑方法和装置及存储介质
技术领域
本发明涉及深度学习技术领域，尤其是涉及一种模型训练方法、眼球体结构重塑方法和装置及存储介质。
背景技术
病理性近视大多早年发病，随着近视屈光度进行性加深，发展加快，逐渐出现各种类似的眼底及视神经改变，主要包括青光眼、近视性黄斑病变，周边视网膜病变，甚至导致失明。目前的诊断都需要到眼科医院或者科室进行近视或者病理性近视的诊断，但眼科医疗条件严重不均衡，部分患者通常很难及时得到专业医生的诊断。
相关技术中，为了解决医疗条件不均衡问题，已有一些研究证明可以通过手机获取眼底图像，但一直没有真正应用到眼科疾病的诊断，因为目前手机直接拍摄的眼底图像是二维，没有其他的信息，如何获取更加准确的眼球体的三维结构图是目前亟待需要解决的问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种模型训练方法，能够得到一个根据二维眼底图像得到目标深度信息的初始深度图像估计模型，以便于根据眼底图像和目标深度信息构建三维的眼球图像更加准确。
本发明还提出一种眼球体结构重塑方法。
本发明还提出一种模型训练方法装置。
本发明还提出一种眼球体结构重塑装置。
本发明还提出一种存储介质。
第一方面，本发明的一个实施例提供了模型训练方法，应用于眼球体三维结构重塑，包括：
获取眼球的若干二维眼底图像和若干初始结构图像；
对若干所述初始结构图像进行分层处理，以提取所述初始结构图像的目标数据；
提取所述目标数据中三维结构的Z轴的深度信息，以得到深度图像；
将若干所述二维眼底图像分别与所述深度图像进行配对处理，得到初始数据库；
基于预设的学习算法根据所述初始数据库进行模型训练方法，以构建初始深度图像估计模型。
本发明实施例的模型训练方法至少具有如下有益效果：获取采集好的眼球的若干二维眼底图像和若干初始结构图像，对若干初始结构图像进行分层处理，以提取初始结构图像的目标数据，并提取目标数据中三维结构的Z轴的深度信息，以得到深度图像，然后，将若干二维眼底图像分别与深度图像进行配对处理，得到初始数据库，最后，基于预设的学习算法根据初始数据库进行模型训练方法，以构建初始深度图像估计模型，能够得到一个根据二维眼底图像得到目标深度信息的初始深度图像估计模型，以便于根据眼底图像和目标深度信息构建三维的眼球图像更加准确。
根据本发明的另一些实施例的模型训练方法，所述基于预设的学习算法根据所述初始数据库进行模型训练方法，以构建初始深度图像估计模型之后，所述方法还包括：
对所述初始深度图像估计模型进行轻量化处理，以得到目标深度图像估计模型；其中，所述目标深度图像估计模型以预设加载方式运行于终端上。
根据本发明的另一些实施例的模型训练方法，所述对若干所述初始结构图像进行分层处理，以提取所述初始结构图像的目标数据，包括：
对若干所述初始结构图进行分层处理，以得到bruch层的若干分层图像；
将若干所述分层图像进行组合，以得到所述目标数据。
根据本发明的另一些实施例的模型训练方法，所述提取所述目标数据中三维结构的Z轴的深度信息，以得到深度图像，包括：
根据所述三维结构的Z轴对所述目标数据进行信息提取，以得到目标深度信息；
将所述目标深度信息进行归一化处理，以得到所述深度图像。
根据本发明的另一些实施例的模型训练方法，所述对所述初始深度图像估计模型进行权重稀疏化训练，以得到稀疏权重模型，包括：
根据预设的稀疏缩放程度对所述初始深度图像估计模型的各个层的梯度值进行调整，得到目标梯度值；
根据所述目标梯度值调整所述初始深度图像估计模型的权重，以得到所述稀疏权重模型。
第二方面，本发明的一个实施例提供了眼球体结构重塑方法，包括：
获取待分析眼底图像；
将所述待分析眼底图像输入初始深度图像估计模型，得到目标深度信息；其中，所述初始深度图像估计模型通过如第一方面所述的模型训练方法得到；
根据所述目标深度信息和所述待分析眼底图像构建目标三维图像。
本发明实施例的眼球体结构重塑方法至少具有如下有益效果：获取用户输入的待分析眼底图像，将待分析眼底图像输入通过如第一方面所述的模型训练方法得到的初始深度图像估计模型，得到目标深度信息，根据目标深度信息和待分析眼底图像构建目标三维图像，能够构建与实际人眼球体匹配度更高的的三维结构图，有效辅助医生进行近视等疾病的诊断。
第三方面，本发明的一个实施例提供了模型训练方法装置，包括：
第一获取模块，用于获取眼球的若干二维眼底图像和若干初始结构图像；
分层模块，用于对若干所述初始结构图像进行分层处理，以提取所述初始结构图像的目标数据；
提取模块，用于提取所述目标数据中三维结构的Z轴的深度信息，以得到深度图像；
数据库模块，用于将若干所述二维眼底图像分别与所述深度图像进行配对处理，得到初始数据库；
模型构建模块，用于基于预设的学习算法根据所述初始数据库进行模型训练方法，以构建初始深度图像估计模型。
本发明实施例的模型训练方法装置至少具有如下有益效果：第一获取模块获取采集好的眼球的若干二维眼底图像和若干初始结构图像，分层模块对若干初始结构图像进行分层处理，以提取初始结构图像的目标数据，提取模块提取目标数据中三维结构的Z轴的深度信息，以得到深度图像，然后，数据库模块将若干二维眼底图像分别与深度图像进行配对处理，得到初始数据库，最后，模型构建模块基于预设的学习算法根据初始数据库进行模型训练方法，以构建初始深度图像估计模型，能够得到一个根据二维眼底图像得到目标深度信息的初始深度图像估计模型，以便于根据眼底图像和目标深度信息构建三维的眼球图像更加准确。
第四方面，本发明的一个实施例提供了眼球体结构重塑装置，包括：
第二获取模块，用于获取待分析眼底图像；
输入模块，用于将所述待分析眼底图像输入初始深度图像估计模型，得到目标深度信息；其中，所述初始深度图像估计模型通过如第一方面所述的模型训练方法得到；
结构重塑模块，用于根据所述目标深度信息和所述待分析眼底图像构建目标三维图像。
本发明实施例的眼球体结构重塑装置至少具有如下有益效果：第二获取模块获取用户输入的待分析眼底图像，输入模块将待分析眼底图像输入通过如第一方面所述的模型训练方法得到的初始深度图像估计模型，得到目标深度信息，结构重塑模块根据目标深度信息和待分析眼底图像构建目标三维图像，能够构建与实际人眼球体匹配度更高的的三维结构图，有效辅助医生进行近视等疾病的诊断。
第五方面，本发明的一个实施例提供了存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的模型训练方法，或者，所述计算机可执行指令用于使计算机执行如第二方面所述的眼球体结构重塑方法。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明实施例中模型训练方法的一具体实施例流程示意图；
图2是本发明实施例中模型训练方法的另一具体实施例流程示意图；
图3是图1中步骤S200的一具体实施例流程示意图；
图4是图1中步骤S300的一具体实施例流程示意图；
图5是图1中步骤S600的一具体实施例流程示意图；
图6是图1中步骤S610的一具体实施例流程示意图；
图7是本发明实施例中眼球体结构重塑方法的一具体实施例流程示意图；
图8是本发明实施例中模型训练方法装置的一具体实施例模块框图；
图9是本发明实施例中眼球体结构重塑装置的一具体实施例模块框图。
附图说明：
第一获取模块100、分层模块200、提取模块300、数据库模块400、模型构建模块500；
第二获取模块600、输入模块700、结构重塑模块800。
具体实施方式
以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。
在为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
在本发明实施例的描述中，如果涉及到“若干”，其含义是一个以上，如果涉及到“多个”，其含义是两个以上，如果涉及到“大于”、“小于”、“超过”，均应理解为不包括本数，如果涉及到“以上”、“以下”、“以内”，均应理解为包括本数。如果涉及到“第一”、“第二”，应当理解为用于区分技术特征，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
首先，对本申请中涉及的若干名词进行解析：
光学相干断层扫描图像(OCT)：光学相干断层扫描图像是一种利用低相干光从光散射介质(如生物组织)中获取微米级分辨率、二维和三维图像的成像技术。其中，光学相干断层扫描图像是由一系列B扫描图像组合成一个体数据得到。
小视野范围的眼底彩照：小视野范围的眼底彩照是一种视野范围小的眼底彩照。由于二维眼底图像受限于目前光学相干断层扫描图像的采集范围，所以只能获取到视野范围小的眼底彩照。
大视野拟估计深度信息的图像：大视野拟估计深度信息的图像是一种小视野范围的眼底彩照。通过基于大视野拟估计深度信息的图像及其深度图像的估计方法，可以估计出大视野范围的眼底彩照对应的深度图像。
深度图像(Depth Images)：深度图像也被称为距离影像(Range Images)，是指将图像采集器采集到的场景中各点的距离(深度)值作为像素值的图像，它直接反映了景物可见表面的几何形状，利用它可以很方便地解决3D目标描述中的许多问题。
Bruch层：Bruch层即眼球体的Bruch膜，位于视网膜色素上皮层和脉络膜之间，调节两者间的代谢，维持正常视觉活动，医生通常根据Bruch层的变化进行疾病诊断。
量化感知训练：量化感知训练是在轻量模型的浮点中插入一些伪量化的算子，然后对轻量模型重新进行训练，在轻量模型训练方法的过程中进行量化模拟，从而让被量化的对象获得在量化后需要调整的信息，使得量化后的行为保持一致，能够进一步减小模型体积与运算量，提高模型量化后的准确率，以最大程度地提高目标深度图像估计模型的精度。
权重稀疏化训练：权重稀疏化训练是模型精度和稀疏度的一种博弈过程，在尽可能的保持精度的情况下，获得较高精度的稀疏权重模型，即：提升稀疏权重模型的压缩率。
参照图1，示出了本发明实施例中模型训练方法的流程示意图。另外，本实施例公开了模型训练方法，应用于眼球体三维结构重塑，其具体包括但不限于包括步骤S100至步骤S500。
步骤S100，获取眼球的若干二维眼底图像和若干初始结构图像；
步骤S200，对若干初始结构图像进行分层处理，以提取初始结构图像的目标数据；
步骤S300，提取目标数据中三维结构的Z轴的深度信息，以得到深度图像；
步骤S400，将若干二维眼底图像分别与深度图像进行配对处理，得到初始数据库；
步骤S500，基于预设的学习算法根据初始数据库进行模型训练方法，以构建初始深度图像估计模型。
通过执行步骤S100至步骤S500，获取预先采集的眼球的若干二维眼底图像和若干初始结构图像，对若干初始结构图像进行分层处理，以提取初始结构图像的目标数据，提取目标数据中三维结构的Z轴的深度信息，以得到深度图像。将若干二维眼底图像分别与深度图像进行一一配对，配对后存储至数据库得到初始数据库，基于预设的学习算法根据初始数据库进行模型训练方法，以构建初始深度图像估计模型，能够得到一个根据二维眼底图像得到目标深度信息的初始深度图像估计模型，以便于根据眼底图像和目标深度信息构建三维的眼球图像更加准确。
在一些实施例的步骤S100中，预先采集若干二维眼底图像和若干初始结构图像，并存储若干二维眼底图像和若干初始结构图像。其中，二维眼底图像为小视野的眼底图像，即：大视野拟估计深度信息的图像。初始结构图像为三维结构图。并且，二维眼底图像和初始结构图像均为光学相干断层扫图像，在本申请不对二维眼底图像和初始结构图像进行具体限定。
在一些实施例的步骤S400中，通过光学相干断层扫描的投影图像与二维眼底图像之间进行配准，从而找出投影图像对应的二维眼底图像的区域，并将其提取出来得到局部眼底图像，局部眼底图像是与深度图像一一对应的，根据局部眼底图像和深度图像构建初始数据库。
在一些实施例的步骤S500中，预设的学习算法包括：深度学习算法或者机器学习算法，初始深度图像估计模型基于小视野的眼底图像和对应的深度信息可以估计出大视野眼底图像对应深度图像。通过构建的初始数据库来训练深度学习算法或者机器学习算法，使用训练好的初始深度图像估计模型估计出所需的大视野范围的眼底图像对应的深度图像。
初始深度图像估计模型采用深度学习算法构建时，通过大量的二维眼底图像和初始结构图像进行训练，从中获取到与眼球体三维结构构建相关的特征，从而将二维的深度图像构建成三维的眼球体结构图。
初始深度图像估计模型采用机器学习算法构建时，通过预先选择二维眼底图像和初始结构图像中的一些可能的特征，并提取这些特征，并将这些特征进行变换得到深度估计图像。
参照图2，示出了本发明实施例中模型训练方法的流程示意图。另外，本实施例公开了模型训练方法，模型训练方法还包括但不限于包括步骤S600。
步骤S600，对初始深度图像估计模型进行轻量化处理，以得到目标深度图像估计模型。
需要说明的是，目标深度图像估计模型以预设加载方式运行于终端上，其中预设加载方式包括：小程序方式、APP方式，本申请对预设加载方式不做具体限制。
参照图3，示出了本发明实施例中模型训练方法的流程示意图。另外，本实施例公开了模型训练方法，步骤S200具体包括但不限于步骤S210至步骤S220。
步骤S210，对若干初始结构图进行分层处理，以得到bruch层的若干分层图像；
步骤S220，将若干分层图像进行组合，以得到目标数据。
通过执行步骤S210至步骤S220，对若干初始结构图进行分层处理，以得到bruch层的若干分层图像，将若干分层图像进行组合，以得到目标数据。
在一些实施例的步骤S210和步骤S220中，通过OCTExplorer算法对若干初始结构图进行分层处理，并对分层的结果进行微调，得到目标数据。或者，通过手动分层对若干初始结构图进行分层处理，得到目标数据。或者，通过自动分层算法对若干初始结构图进行分层处理，得到目标数据。其中，自动分层算法包括：CENet算法，在本申请不对分层的方法进行具体限定。
参照图4，示出了本发明实施例中模型训练方法的流程示意图。另外，本实施例公开了模型训练方法，步骤S300具体包括但不限于步骤S310至步骤S320。
步骤S310，根据三维结构的Z轴对目标数据进行信息提取，以得到目标深度信息；
步骤S320，将目标深度信息进行归一化处理，以得到深度图像。
通过执行步骤S310至步骤S320，根据三维结构的Z轴对目标数据进行信息提取以得到目标深度信息，将目标深度信息进行归一化处理以得到深度图像。因此，得到的深度图像更加能够表征实际眼球的结构特征。
需要说明的是，三维结构的Z轴方向是眼球体的深度方向。
参照图5，示出了本发明实施例中模型训练方法的流程示意图。另外，本实施例公开了模型训练方法，步骤S600具体包括但不限于步骤S610至步骤S620。
步骤S610，对初始深度图像估计模型进行权重稀疏化训练，以得到稀疏权重模型；
步骤S620，根据预设模型剪枝策略对稀疏权重模型的冗余机构进行裁剪，以得到轻量模型；
步骤S630，对轻量模型进行量化感知训练，以更新初始深度图像估计模型得到目标深度图像估计模型。
通过执行步骤S610至步骤S630，对初始深度图像估计模型进行权重稀疏化训练，调整初始深度图像估计模型的权重，以得到稀疏权重模型，根据预设模型剪枝策略对稀疏权重模型的冗余机构进行裁剪，将稀疏权重模型一些不需要的机构裁剪掉，以得到轻量模型，对轻量模型进行量化感知训练，减小轻量模型的体积和运算量，以更新初始深度图像估计模型得到目标深度图像估计模型。
在一些实施例的步骤S620中，模型剪枝策略包括：基于通道的剪枝和基于层的剪枝，基于通道的剪枝是在通道层面上裁剪掉一些不需要的通道，并进行记录，以更新模型。其中，裁剪掉的通道并不是不激活，而是完全移除，从而在运行过程中减少空间占用和计算量。基于层的剪枝是直接将某一层去除，与基于通道的剪枝并不会发生冲突，可以同时采用基于通道的剪枝和基于层的剪枝，也可以选择其中的一种。
参照图6，示出了本发明实施例中模型训练方法的流程示意图。另外，本实施例公开了模型训练方法，步骤S610具体包括但不限于步骤S611至步骤S612。
步骤S611，根据预设的稀疏缩放程度对初始深度图像估计模型的各个层的梯度值进行调整，得到目标梯度值；
步骤S612，根据目标梯度值调整初始深度图像估计模型的权重，以得到稀疏权重模型。
通过执行步骤S611至步骤S612，根据预设的稀疏缩放程度对初始深度图像估计模型的各个层的梯度值进行调整，得到目标梯度值，根据目标梯度值调整初始深度图像估计模型的权重，以得到稀疏权重模型。
需要说明的是，权重稀疏化训练包括两种，第一种是固定稀疏缩放程度，然后在权重稀疏化训练过程中给所有层恒定的大小的稀疏缩放程度去增加梯度值，然后根据梯度调整层的权重，第二种方式是稀疏缩放程度的值不断调整，例如不断减小、不断增大或者随机变化等，同样是在权重稀疏化训练过程中根据当前的稀疏缩放程度将层的梯度进行调整，从而让权重进行变化。由于，权重稀疏化训练需要和模型剪枝策略相配合才能发挥出最大的效能，因此，本申请不对权重稀疏化训练进行具体限定。
参照图7，示出了本发明实施例中眼球体结构重塑方法的流程示意图。另外，本实施例公开了眼球体结构重塑方法，其具体包括但不限于步骤S700至步骤S900。
步骤S700，获取待分析眼底图像；
步骤S800，将待分析眼底图像输入初始深度图像估计模型，得到目标深度信息；
步骤S900，根据目标深度信息和待分析眼底图像构建目标三维图像。
通过执行步骤S700至步骤S900，获取用户上传的待分析眼底图像，将待分析眼底图像输入构建好的初始深度图像估计模型，得到目标深度信息，根据目标深度信息和待分析眼底图像构建目标三维图像，能够根据二维的待分析眼底图像经过初始深度图像估计模型得到目标深度信息，并通过目标深度图像和待分析眼底图像构建目标三维图像，能够构建与实际人眼球体匹配度更高的的三维结构图，有效辅助医生进行近视等疾病的诊断。
在一些实施例的步骤S700中，所获取的待分析眼底图像由用户通过手机拍摄，并通过小程序或者APP得到。其中，用户根据手机上预设的拍摄模板对眼底进行视频录制以得到眼底视频，通过对眼底视频进行分帧处理得到多个眼底视频帧图像，通过根据预设眼底规范从多个眼底视频帧图像中筛选出待分析眼底图像，以得到清晰度和图像类型都满足预设眼底规范的待分析眼底图像，以提高目标三维图像与实际人眼球的匹配度。
在一些实施例的步骤S900中，根据提取的目标深度信息和待分析眼底图像进行Z轴的数值转换，以得到三维结构的目标三维图像，实现三维立体效果展示。
需要说明的是，初始深度图像估计模型通过如上述的模型训练方法得到。
参照图8，本发明的一个实施例公开了模型训练方法装置。可以实现上述模型训练方法，模型训练方法装置包括：第一获取模块100、分层模块200、提取模块300、数据库模块400和模型构建模块500，第一获取模块100、分层模块200、提取模块300、数据库模块400和模型构建模块500均为通信连接。
第一获取模块100获取眼球的若干二维眼底图像和若干初始结构图像。分层模块200对若干初始结构图像进行分层处理，以提取初始结构图像的目标数据。提取模块300提取目标数据中三维结构的Z轴的深度信息，以得到深度图像。数据库模块400将若干二维眼底图像分别与深度图像进行配对处理，得到初始数据库。模型构建模块500基于预设的学习算法根据初始数据库进行模型训练方法，以构建初始深度图像估计模型。
本申请实施例所示意的模型训练装置，通过第一获取模块100获取预先采集的眼球的若干二维眼底图像和若干初始结构图像，并将若干二维眼底图像和若干初始结构图像传输至分层模块200。分层模块200对若干初始结构图像进行分层处理，以提取初始结构图像的目标数据，并将目标数据传输至提取模块300。提取模块300提取目标数据中三维结构的Z轴的深度信息，以得到深度图像，并将深度图像传输至数据库模块400。数据库模块400将若干二维眼底图像分别与深度图像进行一一配对，配对后存储至数据库，得到初始数据库，模型构建模块500基于预设的学习算法根据初始数据库进行模型训练方法，以构建初始深度图像估计模型，能够得到一个根据二维眼底图像得到目标深度信息的初始深度图像估计模型，以便于根据眼底图像和目标深度信息构建三维的眼球图像更加准确。
其中，本实施例的模型训练装置的操作过程具体参照如上描述图1、图2、图3、图4、图5和图6中的模型训练方法步骤S100至步骤S500、步骤S600、步骤S210和步骤S220、步骤S310和步骤S320、步骤S610至步骤S630和步骤S611和步骤S612，此处不再赘述。
参照图9，本发明的一个实施例公开了眼球体结构重塑装置。可以实现上述的眼球体结构重塑方法，眼球体结构重塑装置包括：第二获取模块600、输入模块700和结构重塑模块800，第二获取模块600、输入模块700和结构重塑模块800均为通信连接。
第二获取模块600获取待分析眼底图像。输入模块700将待分析眼底图像输入初始深度图像估计模型，得到目标深度信息。结构重塑模块800根据目标深度信息和待分析眼底图像构建目标三维图像。
本申请实施例所示意的眼球体结构重塑装置，通过第二获取模块600获取用户上传的待分析眼底图像，并将待分析眼底图像传输至输入模块700。输入模块700将待分析眼底图像输入构建好的初始深度图像估计模型，得到目标深度信息，并将目标深度信息传输至结构重塑模块800。结构重塑模块800根据目标深度信息和待分析眼底图像构建目标三维图像，能够构建与实际人眼球体匹配度更高的的三维结构图，有效辅助医生进行近视等疾病的诊断。
其中，本实施例的眼球体结构重塑装置的操作过程具体参照如上描述图7中的眼球体结构重塑方法步骤S700至步骤S900，此处不再赘述。
需要说明的是，初始深度图像估计模型通过如上述的模型训练方法得到。
本发明的另一个实施例公开了一种存储介质，存储介质包括：存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行图1中的模型训练方法步骤S100至步骤S500、图2中的模型训练方法步骤S600、图3中的模型训练方法步骤S210和步骤S220、图4中的模型训练方法步骤S310和步骤S320、图5中的模型训练方法步骤S610至步骤S630以及图6中的模型训练方法步骤S611和步骤S612中的任意一个，或者，图7中的方法步骤S700至步骤S900中的眼球体结构重塑方法。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种模型训练方法，应用于眼球体三维结构重塑，其特征在于，包括：
获取眼球的若干二维眼底图像和若干初始结构图像；
对若干所述初始结构图像进行分层处理，以提取所述初始结构图像的目标数据；
提取所述目标数据中三维结构的Z轴的深度信息，以得到深度图像；
将若干所述二维眼底图像分别与所述深度图像进行配对处理，得到初始数据库；
基于预设的学习算法根据所述初始数据库进行模型训练方法，以构建初始深度图像估计模型。
2.根据权利要求1所述的模型训练方法，其特征在于，所述基于预设的学习算法根据所述初始数据库进行模型训练方法，以构建初始深度图像估计模型之后，所述方法还包括：
对所述初始深度图像估计模型进行轻量化处理，以得到目标深度图像估计模型；其中，所述目标深度图像估计模型以预设加载方式运行于终端上。
3.根据权利要求1所述的模型训练方法，其特征在于，所述对若干所述初始结构图像进行分层处理，以提取所述初始结构图像的目标数据，包括：
对若干所述初始结构图进行分层处理，以得到bruch层的若干分层图像；
将若干所述分层图像进行组合，以得到所述目标数据。
4.根据权利要求3所述的模型训练方法，其特征在于，所述提取所述目标数据中三维结构的Z轴的深度信息，以得到深度图像，包括：
根据所述三维结构的Z轴对所述目标数据进行信息提取，以得到目标深度信息；
将所述目标深度信息进行归一化处理，以得到所述深度图像。
5.根据权利要求2所述的模型训练方法，其特征在于，所述对所述初始深度图像估计模型进行轻量化处理，以得到目标深度图像估计模型，包括：
对所述初始深度图像估计模型进行权重稀疏化训练，以得到稀疏权重模型；
根据预设模型剪枝策略对所述稀疏权重模型的冗余机构进行裁剪，以得到轻量模型；
对所述轻量模型进行量化感知训练，以更新所述初始深度图像估计模型得到所述目标深度图像估计模型。
6.根据权利要求5所述的模型训练方法，其特征在于，所述对所述初始深度图像估计模型进行权重稀疏化训练，以得到稀疏权重模型，包括：
根据预设的稀疏缩放程度对所述初始深度图像估计模型的各个层的梯度值进行调整，得到目标梯度值；
根据所述目标梯度值调整所述初始深度图像估计模型的权重，以得到所述稀疏权重模型。
7.一种眼球体结构重塑方法，其特征在于，包括：
获取待分析眼底图像；
将所述待分析眼底图像输入初始深度图像估计模型，得到目标深度信息；其中，所述初始深度图像估计模型通过如权利要求1至6任一项所述的模型训练方法得到；
根据所述目标深度信息和所述待分析眼底图像构建目标三维图像。
8.一种模型训练方法装置，其特征在于，包括：
第一获取模块，用于获取眼球的若干二维眼底图像和若干初始结构图像；
分层模块，用于对若干所述初始结构图像进行分层处理，以提取所述初始结构图像的目标数据；
提取模块，用于提取所述目标数据中三维结构的Z轴的深度信息，以得到深度图像；
数据库模块，用于将若干所述二维眼底图像分别与所述深度图像进行配对处理，得到初始数据库；
模型构建模块，用于基于预设的学习算法根据所述初始数据库进行模型训练方法，以构建初始深度图像估计模型。
9.一种眼球体结构重塑装置，其特征在于，包括：
第二获取模块，用于获取待分析眼底图像；
输入模块，用于将所述待分析眼底图像输入初始深度图像估计模型，得到目标深度信息；其中，所述初始深度图像估计模型通过如权利要求1至6任一项所述的模型训练方法得到；
结构重塑模块，用于根据所述目标深度信息和所述待分析眼底图像构建目标三维图像。
10.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的模型训练方法，或者，所述计算机可执行指令用于使计算机执行如权利要求7所述的眼球体结构重塑方法。
CN202210648565.5A 2022-06-09 2022-06-09 模型训练方法、眼球体结构重塑方法和装置及存储介质 Pending CN115222876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210648565.5A CN115222876A (zh) 2022-06-09 2022-06-09 模型训练方法、眼球体结构重塑方法和装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210648565.5A CN115222876A (zh) 2022-06-09 2022-06-09 模型训练方法、眼球体结构重塑方法和装置及存储介质

Publications (1)

Publication Number Publication Date
CN115222876A true CN115222876A (zh) 2022-10-21

Family

ID=83608484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210648565.5A Pending CN115222876A (zh) 2022-06-09 2022-06-09 模型训练方法、眼球体结构重塑方法和装置及存储介质

Country Status (1)

Country Link
CN (1) CN115222876A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824036A (zh) * 2023-04-19 2023-09-29 南京医科大学 基于三维成像的眼球立体建模方法、系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824036A (zh) * 2023-04-19 2023-09-29 南京医科大学 基于三维成像的眼球立体建模方法、系统
CN116824036B (zh) * 2023-04-19 2024-05-17 南京医科大学 基于三维成像的眼球立体建模方法、系统

Similar Documents

Publication Publication Date Title
EP3373798B1 (en) Method and system for classifying optic nerve head
CN110517235B (zh) 一种基于GCS-Net进行OCT图像脉络膜自动分割方法
KR20210041046A (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델
JP5607640B2 (ja) 眼の特徴の画像を得る方法と装置
CN108618749B (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
CN112017185B (zh) 病灶分割方法、装置及存储介质
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
WO2021190656A1 (zh) 眼底图像黄斑中心定位方法及装置、服务器、存储介质
CN117897778A (zh) 用于获取侧面图像以进行眼睛突出分析的方法、执行方法的图像捕获设备和记录介质
CN109215039B (zh) 一种基于神经网络的眼底图片的处理方法
CN115409774A (zh) 一种基于深度学习的眼检测方法及斜视筛查系统
CN115222876A (zh) 模型训练方法、眼球体结构重塑方法和装置及存储介质
CN116312986A (zh) 三维医学影像标注方法、装置、电子设备及可读存储介质
CN109919098B (zh) 目标对象的识别方法和装置
CN110598652B (zh) 眼底数据预测方法和设备
CN116725478A (zh) 眼底屈光力的分析方法以及地形图生成方法
CN114972462A (zh) 对眼底相机的工作距离对齐效果进行优化的方法及其相关产品
Nagaraj et al. A Comparative Analysis of Retinal Disease Image Classification for OCT Using Deep Learning Techniques
US12026263B2 (en) Method and apparatus for protecting privacy of ophthalmic patient and storage medium
CN117475270B (zh) 糖尿病视网膜病变图像的病灶识别方法及系统
CN116646079B (zh) 一种眼科病症辅助诊断方法及装置
US20220151482A1 (en) Biometric ocular measurements using deep learning
CN115862300B (zh) 监控脑卒中风险预警方法和脑卒中风险预警的智能眼镜
US20230298328A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
CN115251829A (zh) 一种基于眼底彩照直接生成octa图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination