CN114897678B - 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 - Google Patents
婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 Download PDFInfo
- Publication number
- CN114897678B CN114897678B CN202210320757.3A CN202210320757A CN114897678B CN 114897678 B CN114897678 B CN 114897678B CN 202210320757 A CN202210320757 A CN 202210320757A CN 114897678 B CN114897678 B CN 114897678B
- Authority
- CN
- China
- Prior art keywords
- image
- infant
- fundus
- registration
- random
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 210000001525 retina Anatomy 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 10
- 238000004321 preservation Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000000452 restraining effect Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000002207 retinal effect Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 15
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 3
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 206010047531 Visual acuity reduced Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 208000030533 eye disease Diseases 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种婴幼儿眼底视网膜全景影像生成采集反馈方法及系统，利用深度学习技术分别实现了配准模型和融合模型的建模设计和训练流程。通过实现影像文件监测，多图像持续配准，多图像持续融合以及全景影像图谱提示等模块功能，设计了一种婴幼儿眼底视网膜全景影像生成和反馈系统，能够在使用者采集数据过程中实时显示已采集数据的拼接图，提示已采集影像范围、未采集区域以及生成并显示视网膜全景影像。
Description
技术领域
本发明涉及图像拼接融合领域，更具体地，涉及一种婴幼儿眼底视网膜全景影像生成采集反馈方法及系统。
背景技术
近年来，国家对于儿童视力情况的关注不断加强，2021年6月24日，国家卫生健康委办公厅发布了《0～6岁儿童眼保健及视力检查服务规范(试行)》，目的是进一步规范0～6岁儿童眼保健及视力检查服务，早期发现儿童常见眼病、视力不良及远视储备量不足，及时转诊干预，减少和控制儿童可控性眼病及视力不良的发展；其中对于婴幼儿眼底影像的检查是确认幼儿眼底视网膜健康情况的必须环节，尤其是早产儿以及低体重儿，是规定必须要做的检查内容之一。
随着数字成像技术的发展，幼儿眼底检查手段从直接镜/间接镜到目前应用最普遍的数字广角眼底成像设备如RetCam成像系统，单张影像最高可达130°的视野范围。然而即便如此，对于整个视网膜而言也还是远远不够的，眼科医生在检查婴幼儿的时候，仍需要手持设备拍摄多达几十张的影像来确保完整的检查到整个视网膜区域。眼科医生在采集到数据后，需要对多个方位的数据进行遍历检查才能确定检查结果，而且在数据采集过程中由于缺少拍摄影像的方位提示，常常会重复采集方位数据或缺少部分方位数据的情况。因此，能够实现对多方位影像的快速拼接、展示以及提示范围的功能对于辅助眼科医生快速采集影像数据和评估已采集数据质量是很有必要的。然而目前市场上和业界还没有相关产品和研究工作，已有的工作几乎都集中于成人眼底影像的拼接方法，而且绝大多数是两张影像的匹配拼接和融合工作。专利(CN102908120A，CN106846293A，CN107564048A，CN108198211A，CN109658393A，CN112435281A)通过首先对血管进行分割，之后利用分割血管的结果提取其特征进行匹配，以此来确定两幅图像之间的配准变换关系；专利(CN101593351A，CN109744996A)利用血管以外的标志物如视盘进行刚性变换的参数计算，获得图像间刚性变换所需的单映矩阵后实现配准；专利(CN109767459A，CN110544274A)使用深度学习方法建模，对两幅图像之间的形变场进行预测，通过形变场可以将浮动图转换到目标图的位置上，实现配准功能；专利(CN108022228A，CN112164043A)基于传统特征点及其对应的局部特征来进行点配对，再经过配对点筛选后得到可靠的特征点配对关系，结合图像融合的方法如像素最大值或拼接缝加权等方式得到两张或多张眼底影像的拼接大图。
现有方法还存在几个问题：(1)现有已发表工作绝大多数集中于解决预测两张图像之间的配准关系以及对应的重合区域融合，然而对于配准方法的后续应用或者是多张图像之间的持续配准工作没有提及和进一步研究；(2)极少数工作提及能够实现多张图像的拼接和融合，而且其流程是高度相似的，都是基于特征点检测以然后提取其局部特征信息，再通过匹配筛选和变换矩阵估计来实现配准结果(然而在本发明的部分流程中使用了传统配准方法，并且显示其配准结果不稳定)；(3)部分基于深度学习建模的工作需要额外的数据标注工作，多数工作都需要利用血管、视盘等标志物的信息标注来训练一个标志物分割模型，这增加了建模的成本；(4)部分基于深度学习建模预测形变场的方法，只适用于预测图像对之间偏移量较小的情况，需要足够的重合区域进行像素拟合和形变估计，如果偏移量过大，形变场预测的效果会变差；(5)以上的工作影像都是基于成人的眼底影像，这类影像相比婴幼儿影像数据有视野范围小、血管密度高以及清晰度高几乎无噪声和噪点的特点，这使得之前的工作和方法在婴幼儿眼底影像中的效果会下降(婴幼儿眼底方位影像通常有大片的无血管区，使得在上述方法中无法进行特征对齐)，即目前还没有专门针对婴幼儿影像的多影像拼接融合方法，现有所有方法只能输出配准结果或预测配准后的信息，缺少对本次配准结果的评估，结果评估只能是人工观察主观评价。
发明内容
本发明的首要目的是提供一种婴幼儿眼底视网膜全景影像生成采集反馈方法，利用深度学习技术实现了配准模型和融合模型的建模设计和训练流程，实现婴幼儿眼底影像的拼接融合
本发明的进一步目的是提供一种婴幼儿眼底视网膜全景影像生成采集反馈系统。
为解决上述技术问题，本发明的技术方案如下：
一种婴幼儿眼底视网膜全景影像生成采集反馈方法，包括以下步骤：
S1：采集婴幼儿眼底影像并将采集到的婴幼儿眼底影像送入至保存路径中；
S2：自动监测保存路径中的是否有新的婴幼儿眼底影像，当有新的婴幼儿眼底影像时，将新的婴幼儿眼底影像送入至缓冲队列；
S3：判断缓冲队列中的队列长度是否大于两个婴幼儿眼底影像，小于两个婴幼儿眼底影像时，继续等待；不小于两个婴幼儿眼底影像的话开始进行拼接和融合；
S4：将缓冲队列中的两个婴幼儿眼底影像分别经过预训练的配准模型和融合模型得到拼接图；
S5：监测拼接图中的视盘，以视盘为中心，将拼接图更新至预先准备的视网膜全景图谱图上；
S6：根据所述视网膜全景图谱图和拼接图盘评估当前采集的影像范围和质量，决定是否继续采集数据，当确认采集完毕时，执行步骤S8；若需要继续采集数据，执行步骤S7：
S7：将缓冲队列中新增的婴幼儿眼底影像与拼接图分别经过预训练的配准模型和融合模型得到新的拼接图，返回步骤S5；
S8：输出当前的拼接图作为全景视网膜影像结果。
优选地，所述步骤S4中配准模型基于深度学习建模，利用通过自动配准生成的训练数据，结合了栅格点偏移估计、单映矩阵估计以及刚性变换对配准模型进行监督训练，在训练时还进行随机增强操作。
优选地，所述通过自动配准生成的训练数据，具体包括以下步骤：
S401：导出大量的以病例ID和拍摄数据序号为文件名的图像文件，按照病例ID进行分组；
S402：对每一组内的图像文件进行两两组合，进行配准操作并评估配准效果；
S403：将配准效果为可靠的集合作为训练数据，配准效果为不可靠的集合作为验证数据。
优选地，所述步骤S402中对每一组内的图像文件进行两两组合，进行配准操作，具体为：
S4021：对于两两组合的图像A和图像B，遍历检索图像A和图像B中的关键点集合KA和KB；
S4022：对集合KA和KB中的点的局部进行特征统计，得到每个特征点对应的局部特征向量集合FA和FB；
S4023：对两个局部特征向量集合FA和FB中的两两向量计算欧式距离，遍历检索从集合FA中到集合FB中所有最短的距离配对，再以同样的方式遍历检索从集合FB中到集合FA中所有最短的距离配对，两次配对中筛选重复的配对，完成交叉验证，得到粗匹配特征点对PPs；
S4024：利用配对筛选算法对粗匹配特征点对PPs进一步筛选出可靠配对PPsR。
优选地，所述步骤S402中评估配准效果，具体为：
S4025：对得到的可靠配对PPsR统计其点对数量Nps，分别统计每个配对点在x和y方向上的偏移距离Lx和Ly以及对应的所有点在x和y方向的平均偏移距离Lax和Lay，同时设置配对点数量阈值Nlevel和两个方向上的位移离群点阈值Xlevel、Ylevel，具体判定方式为：
只有当Nps<Nlevel且所有的Lx和Ly分别跟Lax和Lay都是同向的情况就是可靠配准，其余为不可靠配准，同向指同时是正数或同时负数。
优选地，所述配准模型的训练过程，具体为：
S411：通过配准操作生成的训练数据为成对的影像数据和对应的匹配点对关系信息，其配对点关系信息为InA-B，即图像A中的特征点坐标对应在图像B中的坐标信息，可拆分为PAs和PBs，通过阈值分割获取图像A和图像B的通用视野范围掩膜M；
S412：利用随机变换矩阵Hr对图像B及其配对点PBs进行随机角度、随机尺度以及x、y方向上随机偏移的处理，利用此时的转换后的配对点rPBs和PAs，通过SVD奇异值分解的方式可以求得由变换后图像rB向图像A进行配准的转换矩阵Hrba，利用转换矩阵Hrba对掩膜M进行转换后得到转换后的目标掩膜MB；
S413：在图像A中按照设置好的栅格数目进行均匀取点，得到栅格点坐标集合GAs，利用PAs和PBs进行SVD求解，得到由图像A向图像B左边转换的转换矩阵Hba，利用Hba得到栅格点集合GAs对应在图像B中的点集合GBs，再根据随机变换矩阵Hr，再次对点集合GBs进行同样的转换得到转换图像B对应的栅格点集合rGBs，其中点集合rGBs中的坐标是每一个点集合GBs中的坐标利用随机变换矩阵Hr转换过来；
S414：利用上述流程中的点集合rGBs和点集合GAs，两个集合中的坐标是一一对应的，逐元素相减得到由n个坐标对的偏移位移组成的集合Offs{[dx1,dy1],[dx2,dy2],…,[dxn,dyn]}；
S415：将转换矩阵Hrba、目标掩膜MB、集合Offs作为配准模型的训练标签，训练损失包括计算回归误差的损失函数和重合区域计算损失，分别选择smooth-L1 Loss损失和Dice Loss损失两种，具体对应关系是smooth-L1 Loss来约束配准模型对转换矩阵和偏移量的预测估计与标签的误差，Dice Loss用来约束训练配准模型对转换后的掩膜预测结果；
S416：训练过程中利用对配准模型预测的栅格点偏移量添加随机噪声的方式来生成不可靠预测结果，所述随机噪声是跟预测的栅格点偏移量同尺寸的符合标准正态分布的一组随机数组成的张量矩阵，随机50％的概率整体取负，原先不加入噪声的预测作为可靠预测结果，可靠和不可靠对应的评分标签分别为1和0，利用上述的回归误差的损失函数进行监督约束；利用若干层卷积作为评分估计模块对对配准模型预测的栅格点偏移量结果进行预测评分，评分模块需要利用配准模型预测的栅格点偏移量之间的影像特征图和预测偏移量进行拼接成一个张量矩阵后送入评分模块进行评分预测，训练后得到训练好的配准模型。
优选地，所述步骤S412中随机变换矩阵Hr，具体为：
式中，s作为随机尺度变换因子，lx和ly是随机偏移量，θ是随机旋转角度，s、lx、ly、θ有各自的取值范围，在使用中会随机在各自的取值范围内进行随机取值。
优选地，所述步骤S415中smooth-L1 Loss损失和Dice Loss损失，具体为：
smooth-L1 Loss是基于L1 Loss而来，具体定义为：
L1Loss＝|f(x)-y|
其中，f(x)是预测结果，y是标签数据，L1是L1Loss；
其中，f(x)是预测结果，Y是标签数据。
优选地，所述步骤S4中融合模型的训练过程，具体为：
S421：对于眼底方位图像I，首先分别随机截取两个图像I中的范围Ia和Ib，计算截取两个范围的重合度，以IOU来计算，即统计两个区域的交集和并集之比，如果满足预先设定的重合限定范围[NL，NH]，将Ia和Ib分别放置到与I具有相同尺寸的纯黑色背景图中，使得最终Ia，Ib和图像I具有相同的分辨率尺寸，如不满足重合范围就重复随机截取，直到满足为止；
S422：对上述得到的Ia和Ib进行随机图像增强，具体为随机亮度、对比度和HSV颜色转换后随机饱和度改变，随后利用Ia和Ib的范围并集，对原图像I进行ROI感兴趣区域扣取，并集以外的区域填充为像素0，以此作为Ia和Ib的真实融合图像；
S423：将上述增强后Ia和Ib送入融合模型，根据模型预测结果和所述真实融合图像进行模型的训练，基于纹理、内容、风格感知这三个模块进行监督和约束模型，具体方法为：
纹理特征提取，分别对预测结果I-pred和真实融合图像进行一个卷积操作，具体是利用卷积核CH对二者进行遍历滤波卷积操作得到纹理增强后的图像，再利用smooth-L1Loss计算纹理特征误差；
对于内容约束，直接利用smooth-L1 Loss计算预测结果I-pred和真实融合图之间的差异；
对于风格感知约束，利用相同的固定权重的编码网络对I-pred和真实融合图进行编码，首先利用编码网络得到I-pred的多层输出特征图组成特征图组1，然后用相同的方法得到真实融合图的特征图组2，利用两个特征图组计算对应的gram矩阵，得到两个组中对应每个特征图对的相关性，具体是预测图和真实图经过模型计算分别得到多个特征图，大小为N*C*H*W，对每个特征图，计算其gram矩阵：
Gf＝FTF
分别由预测图和真实图得到的两组特征图gram矩阵彼此间进行计算欧氏距离，得到的所有距离进行求和再取平均值作为风格感知差异来约束；
基于上述三个约束来训练融合模型，得到训练好的融合模型。
一种婴幼儿眼底视网膜全景影像生成采集反馈系统，包括：
采集模块，所述采集模块用于采集婴幼儿眼底影像并将采集到的婴幼儿眼底影像送入至保存路径中；
传输模块，所述传输模块用于自动监测保存路径中的是否有新的婴幼儿眼底影像，当有新的婴幼儿眼底影像时，将新的婴幼儿眼底影像送入至缓冲队列；
缓冲队列判断模块，所述缓冲队列判断模块用于判断缓冲队列中的队列长度是否大于两个婴幼儿眼底影像，小于两个婴幼儿眼底影像时，继续等待；不小于两个婴幼儿眼底影像的话开始进行拼接和融合；
第一拼接融合模块，所述拼接融合模块用于将缓冲队列中的两个婴幼儿眼底影像分别经过预训练的配准模型和融合模型得到拼接图；
图谱更新模块，所述图谱更新模块用于监测拼接图中的视盘，以视盘为中心，将拼接图更新至预先准备的视网膜全景图谱图上；
评估模块，所述评估模块根据所述视网膜全景图谱图和拼接图盘评估当前采集的影像范围和质量，决定是否继续采集数据，当确认采集完毕时，进入输出模块；若需要继续采集数据，则进入第二拼接融合模块；
第二拼接融合模块，所述第二拼接融合模块将缓冲队列中新增的婴幼儿眼底影像与拼接图分别经过预训练的配准模型和融合模型得到新的拼接图，返回图谱更新模块；
输出模块，所述输出模块输出当前的拼接图作为全景视网膜影像结果。
与现有技术相比，本发明技术方案的有益效果是：
(1)本发明在建模图像拼接模型和融合模型的基础上，实现对婴幼儿眼底影像的多图像持续拼接和融合流程，能够在数据采集过程中监测到新的数据后实时更新结果；
(2)本发明相比传统配准方法基础上的多图像拼接流程，在拼接的稳定性和速度上均优于之前的方法；
(3)本发明的配准和融合两个模型不需要额外的人工进行标注工作，配准模型的训练数据可以自动生成，融合模型的训练是一个自监督训练的范畴；
(4)本发明能适应多种情况下的图像配准和拼接条件，对于偏移距离较大的情况也能够兼容，除了偏移距离，本方法对于较大尺度缩放和角度旋转也有良好的匹配效果；
(5)本发明在婴幼儿眼底数据上进行建模，能适应该类型数据的特点，由于不需要人工的标注工作，在成人眼底数据中同样可以进行训练和后续的部署，方法具有通用性，不只局限于婴幼儿的影像数据。
(6)本发明利用自监督训练方法，利用随机噪声增强的方式实现对配准结果的评分。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的训练数据生成流程示意图。
图3为本发明的配准模型的训练过程示意图。
图4为本发明的融合模型的训练过程示意图。
图5的(a)为训练集中图像A和图像B，图5的(b)为实施例提供的通用掩膜M的示意图。
图6的(a)为训练集中图像A和图像B的栅格点示意图，图6的(b)为随机变换后的图rB和rGBs，图6的(c)为两个集合中栅格点的对应关系示意图。
图7的(a)为配准差的预测偏移量估计连线示意，图7的(b)为配准差的预测配准评分示意图，图7的(c)为配准优的预测偏移量估计连线示意，图7的(d)为配准优的预测配准评分示意图。
图8的(a)为眼底方位图像I，图8的(b)为截取两个图像I中的范围Ia和Ib，图8的(c)为范围Ia和Ib的真实融合图，图8的(d)为测试图IA、IB，图8的(e)为测试图IA、IB对应的预测融合图。
图9为视网膜全景影像图谱示意图。
图10为实施例提供的采集过程中持续配准的视网膜拼接影像展示以及对应的采集范围提示和未采集范围提示示意图。
图11为本发明的系统模块示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种婴幼儿眼底视网膜全景影像生成采集反馈方法，如图1所示，包括以下步骤：
S1：采集婴幼儿眼底影像并将采集到的婴幼儿眼底影像送入至保存路径中；
S2：自动监测保存路径中的是否有新的婴幼儿眼底影像，当有新的婴幼儿眼底影像时，将新的婴幼儿眼底影像送入至缓冲队列；
S3：判断缓冲队列中的队列长度是否大于两个婴幼儿眼底影像，小于两个婴幼儿眼底影像时，继续等待；不小于两个婴幼儿眼底影像的话开始进行拼接和融合；
S4：将缓冲队列中的两个婴幼儿眼底影像分别经过预训练的配准模型和融合模型得到拼接图；
S5：监测拼接图中的视盘，以视盘为中心，将拼接图更新至预先准备的视网膜全景图谱图上；
S6：根据所述视网膜全景图谱图和拼接图盘评估当前采集的影像范围和质量，决定是否继续采集数据，当确认采集完毕时，执行步骤S8；若需要继续采集数据，执行步骤S7：
S7：将缓冲队列中新增的婴幼儿眼底影像与拼接图分别经过预训练的配准模型和融合模型得到新的拼接图，返回步骤S5；
S8：输出当前的拼接图作为全景视网膜影像结果。
在具体实施过程中，本实施例提出一套应用于婴幼儿眼底影像的拼接融合方法，利用深度学习技术分别实现了配准模型和融合模型的建模设计和训练流程。通过实现影像文件监测，多图像持续配准，多图像持续融合以及全景影像图谱提示等模块功能。
实施例2
本实施例在实施例1的基础上，提供配准模块的训练过程：
所述步骤S4中配准模型基于深度学习建模，利用通过自动配准生成的训练数据，结合了栅格点偏移估计、单映矩阵估计以及刚性变换对配准模型进行监督训练，在训练时还进行随机增强操作。
所述通过自动配准生成的训练数据，如图2所示，具体包括以下步骤：
S401：以RetCam系统为例，导出大量的以病例ID和拍摄数据序号为文件名的图像文件，按照病例ID进行分组；
S402：对每一组内的图像文件进行两两组合，进行配准操作并评估配准效果；
S403：将配准效果为可靠的集合作为训练数据，配准效果为不可靠的集合作为验证数据。
所述步骤S402中对每一组内的图像文件进行两两组合，进行配准操作，具体为：
S4021：对于两两组合的图像A和图像B，遍历检索图像A和图像B中的关键点集合KA和KB，具体方法为传统配准领域常用的特征点检测方法如sift或surf特征点检测；
S4022：对集合KA和KB中的点的局部进行特征统计，得到每个特征点对应的局部特征向量集合FA和FB，具体方法为传统配准领域内常用的领域特征统计如sift或surf中的特征描述符计算方法；
S4023：对两个局部特征向量集合FA和FB中的两两向量计算欧式距离，遍历检索从集合FA中到集合FB中所有最短的距离配对，再以同样的方式遍历检索从集合FB中到集合FA中所有最短的距离配对，两次配对中筛选重复的配对，完成交叉验证，得到粗匹配特征点对PPs；
S4024：利用传统配准领域常用的配对筛选算法如RANSAC(随机抽取一致性)对粗匹配特征点对PPs进一步筛选出可靠配对PPsR。
所述步骤S402中评估配准效果，具体为：
S4025：对得到的可靠配对PPsR统计其点对数量Nps，分别统计每个配对点在x和y方向上的偏移距离Lx和Ly以及对应的所有点在x和y方向的平均偏移距离Lax和Lay，同时设置配对点数量阈值Nlevel和两个方向上的位移离群点阈值Xlevel、Ylevel，具体判定方式为：
只有当Nps<Nlevel且所有的Lx和Ly分别跟Lax和Lay都是同向的情况就是可靠配准，其余为不可靠配准，同向指同时是正数或同时负数。
基于以上流程将眼底影像数据两两配对，并且得到每一对图像的可靠配对点集合作为训练数据，此外不可靠的图像对可作为测试验证数据。在本实施例中，整理了2160张图像，经ID分组后分为101组，然后两两配对总共生成57360组配对，最终经筛选后可靠配对数量有19413，不可靠配对数量有37947组，同时也验证了传统配准方法效果不够稳定，不可靠配对数量远多于可靠配对
所述配准模型的训练过程，如图3所示，具体为：
S411：通过配准操作生成的训练数据为成对的影像数据和对应的匹配点对关系信息，其配对点关系信息为InA-B，即图像A中的特征点坐标对应在图像B中的坐标信息，可拆分为PAs和PBs，通过阈值分割获取图像A和图像B的通用视野范围掩膜M，如图5所示；
S412：利用随机变换矩阵Hr对图像B及其配对点PBs进行随机角度、随机尺度以及x、y方向上随机偏移的处理，利用此时的转换后的配对点rPBs和PAs，通过SVD奇异值分解的方式可以求得由变换后图像rB向图像A进行配准的转换矩阵Hrba，利用转换矩阵Hrba对掩膜M进行转换后得到转换后的目标掩膜MB；
S413：由于每个训练数据中的匹配点数目是不一致的，不适合建模估计，因此利用栅格均匀取点的方式来生成偏移量估计训练数据，具体做法是：在图像A中按照设置好的栅格数目(如8*8，16*16，32*32等)进行均匀取点，得到栅格点坐标集合GAs，利用PAs和PBs进行SVD求解，得到由图像A向图像B左边转换的转换矩阵Hba，利用Hba得到栅格点集合GAs对应在图像B中的点集合GBs，再根据随机变换矩阵Hr，再次对点集合GBs进行同样的转换得到转换图像B对应的栅格点集合rGBs，其中点集合rGBs中的坐标是每一个点集合GBs中的坐标利用随机变换矩阵Hr转换过来，如图6的(a)至图6的(c)所示；
S415：将转换矩阵Hrba、目标掩膜MB、集合Offs作为配准模型的训练标签，训练损失包括计算回归误差的损失函数和重合区域计算损失，分别选择smooth-L1 Loss损失和Dice Loss损失两种，具体对应关系是smooth-L1 Loss来约束配准模型对转换矩阵和偏移量的预测估计与标签的误差，Dice Loss用来约束训练配准模型对转换后的掩膜预测结果；
计算回归误差的损失函数不限于常见的数值回归预测约束损失如L1 Loss、smooth-L1 Loss、MSE Loss、Huber Loss等回归损失；重合区域计算损失不限于常见的区域重合度约束损失或分割损失如IOU Loss、Dice Loss、BCE Loss等。
S416：训练过程中利用对配准模型预测的栅格点偏移量添加随机噪声的方式来生成不可靠预测结果，所述随机噪声是跟预测的栅格点偏移量同尺寸的符合标准正态分布的一组随机数组成的张量矩阵，随机50％的概率整体取负，原先不加入噪声的预测作为可靠预测结果，可靠和不可靠对应的评分标签分别为1和0，利用上述的回归误差的损失函数进行监督约束；利用若干层卷积作为评分估计模块对对配准模型预测的栅格点偏移量结果进行预测评分，评分模块需要利用配准模型预测的栅格点偏移量之间的影像特征图和预测偏移量进行拼接成一个张量矩阵后送入评分模块进行评分预测，训练后得到训练好的配准模型。
所述步骤S412中随机变换矩阵Hr，具体为：
式中，s作为随机尺度变换因子，lx和ly是随机偏移量，θ是随机旋转角度，s、lx、ly、θ有各自的取值范围，在使用中会随机在各自的取值范围内进行随机取值。
所述步骤S415中smooth-L1 Loss损失和Dice Loss损失，具体为：
smooth-L1 Loss是基于L1 Loss而来，具体定义为：
L1Loss＝|f(x)-y|
其中，f(x)是预测结果，y是标签数据，L1是L1Loss；
其中，f(x)是预测结果，Y是标签数据。
实施例3
本实施例在实施例1和2的基础上，提供融合模型的训练过程。
所述步骤S4中融合模型的训练过程，如图4所示，具体为：
S421：对于眼底方位图像I，如图8的(a)所示，首先分别随机截取两个图像I中的范围Ia和Ib，如图8的(b)所示，计算截取两个范围的重合度，以IOU来计算，即统计两个区域的交集和并集之比，如果满足预先设定的重合限定范围[NL，NH]，将Ia和Ib分别放置到与I具有相同尺寸的纯黑色背景图中，使得最终Ia，Ib和图像I具有相同的分辨率尺寸，如不满足重合范围就重复随机截取，直到满足为止；
S422：对上述得到的Ia和Ib进行随机图像增强，具体为随机亮度、对比度和HSV颜色转换后随机饱和度改变，随后利用Ia和Ib的范围并集，对原图像I进行ROI感兴趣区域扣取，并集以外的区域填充为像素0，以此作为Ia和Ib的真实融合图像，如图8的(c)所示；
S423：将上述增强后Ia和Ib送入融合模型，根据模型预测结果和所述真实融合图像进行模型的训练，基于纹理、内容、风格感知这三个模块进行监督和约束模型，具体方法为：
纹理特征提取，分别对预测结果I-pred和真实融合图像进行一个卷积操作，具体是利用卷积核CH对二者进行遍历滤波卷积操作得到纹理增强后的图像，再利用smooth-L1Loss计算纹理特征误差；
对于内容约束，直接利用smooth-L1 Loss计算预测结果I-pred和真实融合图之间的差异；
对于风格感知约束，利用相同的固定权重的编码网络对I-pred和真实融合图进行编码，首先利用编码网络得到I-pred的多层输出特征图组成特征图组1，然后用相同的方法得到真实融合图的特征图组2，利用两个特征图组计算对应的gram矩阵，得到两个组中对应每个特征图对的相关性，具体是预测图和真实图经过模型计算分别得到多个特征图，大小为N*C*H*W，对每个特征图，计算其gram矩阵：
Gf＝FTF
分别由预测图和真实图得到的两组特征图gram矩阵彼此间进行计算欧氏距离，得到的所有距离进行求和再取平均值作为风格感知差异来约束；
基于上述三个约束来训练融合模型，得到训练好的融合模型。
利用图8的(d)中的测试图IA、IB输入训练好的融合模型，融合模型输出的预测融合图如图8的(e)所示。
实施例4
本实施例提供一种婴幼儿眼底视网膜全景影像生成采集反馈系统，如图11所示，包括：
采集模块，所述采集模块用于采集婴幼儿眼底影像并将采集到的婴幼儿眼底影像送入至保存路径中；
传输模块，所述传输模块用于自动监测保存路径中的是否有新的婴幼儿眼底影像，当有新的婴幼儿眼底影像时，将新的婴幼儿眼底影像送入至缓冲队列；
缓冲队列判断模块，所述缓冲队列判断模块用于判断缓冲队列中的队列长度是否大于两个婴幼儿眼底影像，小于两个婴幼儿眼底影像时，继续等待；不小于两个婴幼儿眼底影像的话开始进行拼接和融合；
第一拼接融合模块，所述拼接融合模块用于将缓冲队列中的两个婴幼儿眼底影像分别经过预训练的配准模型和融合模型得到拼接图；
图谱更新模块，所述图谱更新模块用于监测拼接图中的视盘，以视盘为中心，将拼接图更新至预先准备的视网膜全景图谱图上，如图9至图10所示；
评估模块，所述评估模块根据所述视网膜全景图谱图和拼接图盘评估当前采集的影像范围和质量，决定是否继续采集数据，当确认采集完毕时，进入输出模块；若需要继续采集数据，则进入第二拼接融合模块；
第二拼接融合模块，所述第二拼接融合模块将缓冲队列中新增的婴幼儿眼底影像与拼接图分别经过预训练的配准模型和融合模型得到新的拼接图，返回图谱更新模块；
输出模块，所述输出模块输出当前的拼接图作为全景视网膜影像结果。
采集模块主要是摄像头硬件，通过广角摄像头可以用来拍摄方位眼底影像；
采集到的数据会保存至数据存储设备(硬盘)中，以唯一ID进行图像文件命名并保存在设置好的文件夹中；
数据传输和运算处理设备主要由网线和高性能计算机主机组成，首先通过网线获取存储设备中的保存图像文件，监测文件夹情况，当有新的影像文件生成就通过该连接抓取文件到高性能主机中，存入待处理缓冲图像序列中，随后配准和融合处理模块对其进行持续处理直到缓冲队列中的图像处理完毕；
持续更新结果到显示设备中，采集人员可以通过显示设备直观且实时地判断已经采集到的数据质量情况，包括不只限于视野范围、影像质量等。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，包括以下步骤：
S1：采集婴幼儿眼底影像并将采集到的婴幼儿眼底影像送入至保存路径中；
S2：自动监测保存路径中的是否有新的婴幼儿眼底影像，当有新的婴幼儿眼底影像时，将新的婴幼儿眼底影像送入至缓冲队列；
S3：判断缓冲队列中的队列长度是否大于两个婴幼儿眼底影像，小于两个婴幼儿眼底影像时，继续等待；不小于两个婴幼儿眼底影像的话开始进行拼接和融合；
S4：将缓冲队列中的两个婴幼儿眼底影像分别经过预训练的配准模型和融合模型得到拼接图；
S5：监测拼接图中的视盘，以视盘为中心，将拼接图更新至预先准备的视网膜全景图谱图上；
S6：根据所述视网膜全景图谱图和拼接图盘评估当前采集的影像范围和质量，决定是否继续采集数据，当确认采集完毕时，执行步骤S8；若需要继续采集数据，执行步骤S7：
S7：将缓冲队列中新增的婴幼儿眼底影像与拼接图分别经过预训练的配准模型和融合模型得到新的拼接图，返回步骤S5；
S8：输出当前的拼接图作为全景视网膜影像结果。
2.根据权利要求1所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述步骤S4中配准模型基于深度学习建模，利用通过自动配准生成的训练数据，结合了栅格点偏移估计、单映矩阵估计以及刚性变换对配准模型进行监督训练，在训练时还进行随机增强操作。
3.根据权利要求2所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述通过自动配准生成的训练数据，具体包括以下步骤：
S401：导出以病例ID和拍摄数据序号为文件名的图像文件，按照病例ID进行分组；
S402：对每一组内的图像文件进行两两组合，进行配准操作并评估配准效果；
S403：将配准效果为可靠的集合作为训练数据，配准效果为不可靠的集合作为验证数据。
4.根据权利要求3所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述步骤S402中对每一组内的图像文件进行两两组合，进行配准操作，具体为：
S4021：对于两两组合的图像A和图像B，遍历检索图像A和图像B中的关键点集合KA和KB；
S4022：对集合KA和KB中的点的局部进行特征统计，得到每个特征点对应的局部特征向量集合FA和FB；
S4023：对两个局部特征向量集合FA和FB中的两两向量计算欧式距离，遍历检索从集合FA中到集合FB中所有最短的距离配对，再以同样的方式遍历检索从集合FB中到集合FA中所有最短的距离配对，两次配对中筛选重复的配对，完成交叉验证，得到粗匹配特征点对PPs；
S4024：利用配对筛选算法对粗匹配特征点对PPs进一步筛选出可靠配对PPsR。
5.根据权利要求4所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述步骤S402中评估配准效果，具体为：
S4025：对得到的可靠配对PPsR统计其点对数量Nps，分别统计每个配对点在x和y方向上的偏移距离Lx和Ly以及对应的所有点在x和y方向的平均偏移距离Lax和Lay，同时设置配对点数量阈值Nlevel和两个方向上的位移离群点阈值Xlevel、Ylevel，具体判定方式为：
只有当Nps<Nlevel且所有的Lx和Ly分别跟Lax和Lay都是同向的情况就是可靠配准，其余为不可靠配准，同向指同时是正数或同时负数。
6.根据权利要求5所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述配准模型的训练过程，具体为：
S411：通过配准操作生成的训练数据为成对的影像数据和对应的匹配点对关系信息，其配对点关系信息为InA-B，即图像A中的特征点坐标对应在图像B中的坐标信息，拆分为PAs和PBs，通过阈值分割获取图像A和图像B的通用视野范围掩膜M；
S412：利用随机变换矩阵Hr对图像B及其配对点PBs进行随机角度、随机尺度以及x、y方向上随机偏移的处理，利用此时的转换后的配对点rPBs和PAs，通过SVD奇异值分解的方式求得由变换后图像rB向图像A进行配准的转换矩阵Hrba，利用转换矩阵Hrba对掩膜M进行转换后得到转换后的目标掩膜MB；
S413：在图像A中按照设置好的栅格数目进行均匀取点，得到栅格点坐标集合GAs，利用PAs和PBs进行SVD求解，得到由图像A向图像B左边转换的转换矩阵Hba，利用Hba得到栅格点集合GAs对应在图像B中的点集合GBs，再根据随机变换矩阵Hr，再次对点集合GBs进行同样的转换得到转换图像B对应的栅格点集合rGBs，其中点集合rGBs中的坐标是每一个点集合GBs中的坐标利用随机变换矩阵Hr转换过来；
S414：利用上述流程中的点集合rGBs和点集合GAs，两个集合中的坐标是一一对应的，逐元素相减得到由n个坐标对的偏移位移组成的集合Offs{[dx1,dy1],[dx2,dy2],…,[dxn,dyn]}；
S415：将转换矩阵Hrba、目标掩膜MB、集合Offs作为配准模型的训练标签，训练损失包括计算回归误差的损失函数和重合区域计算损失，分别选择smooth-L1 Loss损失和DiceLoss损失两种，具体对应关系是smooth-L1 Loss来约束配准模型对转换矩阵和偏移量的预测估计与标签的误差，Dice Loss用来约束训练配准模型对转换后的掩膜预测结果；
S416：训练过程中利用对配准模型预测的栅格点偏移量添加随机噪声的方式来生成不可靠预测结果，所述随机噪声是跟预测的栅格点偏移量同尺寸的符合标准正态分布的一组随机数组成的张量矩阵，随机50％的概率整体取负，原先不加入噪声的预测作为可靠预测结果，可靠和不可靠对应的评分标签分别为1和0，利用上述的回归误差的损失函数进行监督约束；利用若干层卷积作为评分估计模块对对配准模型预测的栅格点偏移量结果进行预测评分，评分模块需要利用配准模型预测的栅格点偏移量之间的影像特征图和预测偏移量进行拼接成一个张量矩阵后送入评分模块进行评分预测，训练后得到训练好的配准模型。
7.根据权利要求6所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述步骤S412中随机变换矩阵Hr，具体为：
式中，s作为随机尺度变换因子，lx和ly是随机偏移量，θ是随机旋转角度，s、lx、ly、θ有各自的取值范围，在使用中会随机在各自的取值范围内进行随机取值。
8.根据权利要求7所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述步骤S415中smooth-L1 Loss损失和Dice Loss损失，具体为：
smooth-L1 Loss是基于L1 Loss而来，具体定义为：
L1Loss＝|f(x)-y|
其中，f(x)是预测结果，y是标签数据，L1是L1Loss；
其中，f(x)是预测结果，Y是标签数据。
9.根据权利要求8所述的婴幼儿眼底视网膜全景影像生成采集反馈方法，其特征在于，所述步骤S4中融合模型的训练过程，具体为：
S421：对于眼底方位图像I，首先分别随机截取两个图像I中的范围Ia和Ib，计算截取两个范围的重合度，以IOU来计算，即统计两个区域的交集和并集之比，如果满足预先设定的重合限定范围[NL，NH]，将Ia和Ib分别放置到与I具有相同尺寸的纯黑色背景图中，使得最终Ia，Ib和图像I具有相同的分辨率尺寸，如不满足重合范围就重复随机截取，直到满足为止；
S422：对上述得到的Ia和Ib进行随机图像增强，具体为随机亮度、对比度和HSV颜色转换后随机饱和度改变，随后利用Ia和Ib的范围并集，对原图像I进行ROI感兴趣区域扣取，并集以外的区域填充为像素0，以此作为Ia和Ib的真实融合图像；
S423：将上述增强后Ia和Ib送入融合模型，根据模型预测结果和所述真实融合图像进行模型的训练，基于纹理、内容、风格感知这三个模块进行监督和约束模型，具体方法为：
纹理特征提取，分别对预测结果I-pred和真实融合图像进行一个卷积操作，具体是利用卷积核CH对二者进行遍历滤波卷积操作得到纹理增强后的图像，再利用smooth-L1 Loss计算纹理特征误差；
对于内容约束，直接利用smooth-L1 Loss计算预测结果I-pred和真实融合图之间的差异；
对于风格感知约束，利用相同的固定权重的编码网络对I-pred和真实融合图进行编码，首先利用编码网络得到I-pred的多层输出特征图组成特征图组1，然后用相同的方法得到真实融合图的特征图组2，利用两个特征图组计算对应的gram矩阵，得到两个组中对应每个特征图对的相关性，具体是预测图和真实图经过模型计算分别得到多个特征图，大小为N*C*H*W，对每个特征图，计算其gram矩阵：
Gf＝FTF
分别由预测图和真实图得到的两组特征图gram矩阵彼此间进行计算欧氏距离，得到的所有距离进行求和再取平均值作为风格感知差异来约束；
基于纹理特征误差、内容约束和风格感知约束来训练融合模型，得到训练好的融合模型。
10.一种婴幼儿眼底视网膜全景影像生成采集反馈系统，其特征在于，包括：
采集模块，所述采集模块用于采集婴幼儿眼底影像并将采集到的婴幼儿眼底影像送入至保存路径中；
传输模块，所述传输模块用于自动监测保存路径中的是否有新的婴幼儿眼底影像，当有新的婴幼儿眼底影像时，将新的婴幼儿眼底影像送入至缓冲队列；
缓冲队列判断模块，所述缓冲队列判断模块用于判断缓冲队列中的队列长度是否大于两个婴幼儿眼底影像，小于两个婴幼儿眼底影像时，继续等待；不小于两个婴幼儿眼底影像的话开始进行拼接和融合；
第一拼接融合模块，所述拼接融合模块用于将缓冲队列中的两个婴幼儿眼底影像分别经过预训练的配准模型和融合模型得到拼接图；
图谱更新模块，所述图谱更新模块用于监测拼接图中的视盘，以视盘为中心，将拼接图更新至预先准备的视网膜全景图谱图上；
评估模块，所述评估模块根据所述视网膜全景图谱图和拼接图盘评估当前采集的影像范围和质量，决定是否继续采集数据，当确认采集完毕时，进入输出模块；若需要继续采集数据，则进入第二拼接融合模块；
第二拼接融合模块，所述第二拼接融合模块将缓冲队列中新增的婴幼儿眼底影像与拼接图分别经过预训练的配准模型和融合模型得到新的拼接图，返回图谱更新模块；
输出模块，所述输出模块输出当前的拼接图作为全景视网膜影像结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210320757.3A CN114897678B (zh) | 2022-03-29 | 2022-03-29 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210320757.3A CN114897678B (zh) | 2022-03-29 | 2022-03-29 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114897678A CN114897678A (zh) | 2022-08-12 |
| CN114897678B true CN114897678B (zh) | 2023-05-16 |
Family
ID=82715137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210320757.3A Active CN114897678B (zh) | 2022-03-29 | 2022-03-29 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897678B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115619747B (zh) * | 2022-10-26 | 2023-09-19 | 中山大学中山眼科中心 | 幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264424A (zh) * | 2019-06-20 | 2019-09-20 | 北京理工大学 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
| CN111612856A (zh) * | 2020-05-25 | 2020-09-01 | 中南大学 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
| CN112288720A (zh) * | 2020-10-29 | 2021-01-29 | 苏州体素信息科技有限公司 | 一种基于深度学习的彩色眼底图像青光眼筛查方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014161439A (ja) * | 2013-02-22 | 2014-09-08 | Sony Corp | 眼底情報取得装置および方法、並びにプログラム |
| JP6588462B2 (ja) * | 2013-12-23 | 2019-10-09 | アールエスビーブイ，リミティド ライアビリティ カンパニー | 広視野網膜画像取得システム及び方法 |
| JP6438216B2 (ja) * | 2014-05-22 | 2018-12-12 | キヤノン株式会社 | 画像生成装置および画像生成方法 |
| CN106780320B (zh) * | 2016-11-16 | 2019-11-29 | 北京新创恒远科技发展有限公司 | 一种利用裂隙灯进行眼底全景图成像的方法 |
| CN109658393B (zh) * | 2018-12-06 | 2022-11-22 | 代黎明 | 眼底图像拼接方法及系统 |
| CN112164043A (zh) * | 2020-09-23 | 2021-01-01 | 苏州大学 | 一种用于多眼底图像拼接的方法及系统 |
-
2022
- 2022-03-29 CN CN202210320757.3A patent/CN114897678B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264424A (zh) * | 2019-06-20 | 2019-09-20 | 北京理工大学 | 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 |
| CN111612856A (zh) * | 2020-05-25 | 2020-09-01 | 中南大学 | 用于彩色眼底图像的视网膜新生血管检测方法及成像方法 |
| CN112288720A (zh) * | 2020-10-29 | 2021-01-29 | 苏州体素信息科技有限公司 | 一种基于深度学习的彩色眼底图像青光眼筛查方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114897678A (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210174074A1 (en) | Human detection method and apparatus, computer device and storage medium | |
| CN110796080B (zh) | 一种基于生成对抗网络的多姿态行人图像合成算法 | |
| CN112241731B (zh) | 一种姿态确定方法、装置、设备及存储介质 | |
| CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
| CN109919141A (zh) | 一种基于骨架姿态的行人再识别方法 | |
| CN105303615A (zh) | 一种图像二维拼接与三维表面重建的组合方法 | |
| JP2004096402A (ja) | 物体追跡装置、物体追跡方法および物体追跡プログラム | |
| CN114219878A (zh) | 虚拟角色的动画生成方法及装置、存储介质、终端 | |
| CN109697696B (zh) | 用于全景视频的补盲方法 | |
| US20210241509A1 (en) | Method and apparatus for image processing, device for image processing, and storage medium | |
| CN112085659A (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
| CN114897678B (zh) | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 | |
| CN114894337B (zh) | 一种用于室外人脸识别测温方法及装置 | |
| CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
| CN112528902A (zh) | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 | |
| CN111563492B (zh) | 一种跌倒检测方法、跌倒检测装置及存储装置 | |
| JP2023082065A (ja) | ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのｉｄを検証するための方法 | |
| CN111582155A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| WO2024104144A1 (zh) | 图像合成方法和装置、存储介质及电子设备 | |
| CN117156298A (zh) | 一种基于人虫复合仿生的低慢小目标感知方法及系统 | |
| Bontala et al. | Image mosaicing of low quality neonatal retinal images | |
| WO2024012024A1 (zh) | 一种光学遥感影像几何质量可用性评价方法 | |
| CN114548224B (zh) | 一种用于强交互人体运动的2d人体位姿生成方法及装置 | |
| US20220207261A1 (en) | Method and apparatus for detecting associated objects | |
| CN115170897A (zh) | 一种基于掩码区域卷积神经网络的图像处理方法及其应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |