CN114972462A - 对眼底相机的工作距离对齐效果进行优化的方法及其相关产品 - Google Patents

对眼底相机的工作距离对齐效果进行优化的方法及其相关产品 Download PDF

Info

Publication number
CN114972462A
CN114972462A CN202210893707.4A CN202210893707A CN114972462A CN 114972462 A CN114972462 A CN 114972462A CN 202210893707 A CN202210893707 A CN 202210893707A CN 114972462 A CN114972462 A CN 114972462A
Authority
CN
China
Prior art keywords
fundus
fundus image
camera
working distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210893707.4A
Other languages
English (en)
Other versions
CN114972462B (zh
Inventor
陈荡荡
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Airdoc Technology Co Ltd
Original Assignee
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Airdoc Technology Co Ltd filed Critical Beijing Airdoc Technology Co Ltd
Priority to CN202210893707.4A priority Critical patent/CN114972462B/zh
Publication of CN114972462A publication Critical patent/CN114972462A/zh
Application granted granted Critical
Publication of CN114972462B publication Critical patent/CN114972462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开公开了一种用于对眼底相机的工作距离对齐效果进行优化的方法及其相关产品,其中眼底相机包括主摄像头,所述方法包括:获取所述主摄像头所采集到的多个眼底图像,其中每个所述眼底图像具有关联的采集位置和质量指标;根据所述质量指标从多个眼底图像中选择一个眼底图像作为目标眼底图像;以及使用所述目标眼底图像所关联的采集位置来对所述眼底相机的工作距离对齐效果进行优化。利用本公开的工作距离对齐效果优化方案,可以有效地将主摄像头移动到眼底相机的工作距离处,从而提高采集到的眼底图像的图像质量。

Description

对眼底相机的工作距离对齐效果进行优化的方法及其相关 产品
技术领域
本公开一般地涉及控制领域。更具体地,本公开涉及一种用于对眼底相机的工作距离对齐效果进行优化的方法、设备和计算机可读存储介质。
背景技术
对于当前的全自动智能眼底相机来说,其通常通过双目系统(由两个副摄像头或镜头组成)来确定瞳孔的位置,并控制马达将主摄像头移动到合适的预设位置(工作距离,“WD”),以便进行眼底图像的采集。具体来说,眼底相机可以根据瞳孔在两个副摄像头图像坐标系的位置计算出瞳孔在三维空间世界坐标系下的位置。接着,可以将该位置与预先设计的工作距离进行比较,从而获得二者的空间位置差异。此后,可以利用该位置差异来确定马达的移动,从而可以将主摄像头移动到预先设计的工作距离处。在正常情况下或理论上来说,当主摄像头移动到工作距离处时,其可以在红外补光灯的照射下观察到眼底的图像,从而进行对焦和眼底图像的采集操作。
然而,由于眼底相机在使用过程中受震动、老化变形等因素的影响,从而理论上的工作距离和经由双目系统观测到的工作距离发生偏差。另外,由于使用者的瞳孔较小或其眼皮发生遮挡,这些都有可能导致主摄像头采集不到眼底图像或者采集到的眼底图像质量很差,无法用于眼底的进一步图像分析和研究。因此,当前需要一种有效地对眼底相机的工作距离对齐效果进行优化的方案,从而可以提供高质量的眼底图像。
发明内容
鉴于上文所提到的技术问题,本公开提供了一种用于对眼底相机的工作距离对齐效果进行优化的方案,以便可以将主摄像头有效移动到眼底相机的工作距离处,由此可以拍摄到高质量的眼底图像,从而为眼底图像的后续分析提供可靠的基础。
在第一方面中,本公开提供了一种用于对眼底相机的工作距离对齐效果进行优化的方法,其中所述眼底相机包括主摄像头,所述方法包括:获取所述主摄像头所采集到的多个眼底图像,其中每个所述眼底图像具有关联的采集位置和质量指标;根据所述质量指标从多个眼底图像中选择一个眼底图像作为目标眼底图像;以及使用所述目标眼底图像所关联的采集位置来对所述眼底相机的工作距离对齐效果进行优化。
在一个实施例中,其中获取所述主摄像头所采集到的多个眼底图像包括:获取所述主摄像头在预定的采集次数或采集时间内持续采集眼底的多个眼底图像。
在一个实施例中,其中根据所述质量指标从多个眼底图像中选择一个眼底图像作为目标眼底图像包括:响应于在所述预定的采集次数或采集时间内采集到质量指标大于质量阈值的眼底图像,将所述质量指标大于质量阈值的一个眼底图像选择作为所述目标眼底图像。
在一个实施例中,其中根据所述质量指标从多个眼底图像中选择一个眼底图像作为目标眼底图像还包括:响应于在所述预定的采集次数或采集时间内未采集到质量指标大于所述质量阈值的眼底图像,从采集到的所有眼底图像中选择具有最大质量指标的一个眼底图像作为所述目标眼底图像。
在一个实施例中,上述方法还包括:利用计算机视觉方法来确定所述眼底图像所关联的所述质量指标。
在一个实施例中,其中所述计算机视觉方法包括深度学习模型,上述方法还包括:利用经标注的眼底图像作为训练数据对所述深度学习模型进行前期训练,其中根据所述眼底图像中是否存在眼底内容以及眼底内容被遮挡的程度对所述眼底图像进行分类和标注。
在一个实施例中,其中所述计算机视觉方法包括深度学习模型,所述方法还包括:根据所述深度学习模型输出的眼底图像的分类及其对应概率确定所述眼底图像的质量指标。
在第二方面中,本公开提供了一种用于对眼底相机的工作距离对齐效果进行优化的设备,包括:处理器;以及存储器,其上存储有用于对齐所述眼底相机的工作距离的程序指令,当所述程序指令由处理器执行时,实现上述第一方面及其多个实施例中所述的方法。
在第三方面中,本公开提供了一种眼底相机,包括:主摄像头,其用于采集眼底的眼底图像;以及根据第二方面所述的设备,其与所述主摄像头连接并且从所述主摄像头获取多个眼底图像,以便对所述眼底相机的工作距离对齐效果进行优化。
在第四方面中,本公开提供了一种计算机可读存储介质,其上存储有用于对所述眼底相机的工作距离对齐效果进行优化的程序指令,当所述程序指令由处理器执行时,实现上述第一方面及其多个实施例中所述的方法。
利用本公开的工作距离对齐优化方案,特别是利用主摄像头所获取的满足预定要求的眼底图像作为对齐参考,可以不断优化工作距离对齐效果,从而有效地将主摄像头移动到眼底相机的工作距离处,由此实现采集到高质量的眼底图像。进一步,为了选取满足预定要求的眼底图像,本公开还创新性地使用计算机视觉方法(例如深度学习模型)来对采集到的多个眼底图像进行质量评估,从而可以准确地选择出满足预定要求的眼底图像,由此进一步提升工作距离对齐效果优化的精准性。另外,为了得到支持推断操作的前述深度学习模型,本公开还提出利用经标注等级的眼底图像对深度学习模型进行训练,从而经训练后的深度学习模型可以对眼底图像进行准确分类和质量评估。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是示出根据本公开实施例的用于对眼底相机的工作距离对齐效果进行优化的方法的简化流程图;
图2是示出根据本公开实施例的用于对眼底相机的工作距离对齐效果进行优化的方法的详细流程图;
图3A是示意性示出正常成像的眼底图像;
图3B是示意性示出眼球受眼皮遮挡的眼部图像;
图3C是示意性示出采集到受眼皮遮挡的眼底图像;
图4A是示意性示出无眼底内容的图像;
图4B是示意性示出遭严重遮挡眼底的眼底图像;
图4C是示意性示出遭一般遮挡眼底的眼底图像;
图4D是示意性示出遭轻微遮挡眼底的眼底图像;
图4E是示意性示出无遮挡的眼底图像;
图5是示出根据本公开实施例的深度学习模型的示意性结构图;
图6是示出根据本公开实施例的深度学习模型的操作流程图;
图7是示出根据本公开实施例用于对眼底相机的工作距离对齐效果进行优化的设备原理框图;以及
图8是示出根据本公开实施例用于对眼底相机的工作距离对齐效果进行优化的系统结构框图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
如前所述,为了实现眼底相机的工作距离的有效对齐,本公开提出利用眼底相机的主摄像头所采集的眼底图像进行参考,确定出采集到的多个眼底图像中满足要求的眼底图像,并且根据其采集位置来调整工作距离,从而优化工作距离对齐效果。在一个实施例中,本公开的对齐方案提出基于采集的眼底图像的质量指标来选择满足要求的眼底图像,从而选择的眼底图像就用于工作距离对齐而言将更为适宜和准确。在另一个实施例中,本公开提出利用计算机视觉方法(例如深度学习模型)来确定眼底图像的质量指标,从而令眼底图像的选择更为精准和有效。
下面结合附图来详细描述本公开的具体实施方式。
图1是示出根据本公开实施例的用于对眼底相机的工作距离对齐效果进行优化的方法100的简化流程图。可以理解的是,这里的方法100可以由图7所示出的设备700或图8所示出的系统800来执行。如前所述,这里的眼底相机可以包括由两个副摄像头所构成的双目系统以及用于采集(或者说拍摄)眼底图像的主摄像头。作为示例,两个副摄像头和主摄像头之间可以刚性连接,并且在马达的适当驱动下而移动到可以清晰拍摄眼底图像的工作距离处。
如图1所示,在步骤S102处,获取主摄像头所采集到的多个眼底图像,其中每个所述眼底图像具有关联的采集位置和质量指标。如前所述,这里的眼底图像采集是主摄像头在工作距离处对眼底进行拍摄所得到的眼底图像。在一个实施例中,前述获取主摄像头所采集到的多个眼底图像可以包括在预定的采集次数或采集时间内持续采集眼底的多个眼底图像。在另一个实施例中,前述的质量指标可以通过这样的方式来获得,即利用本公开下文将要讨论的深度学习模型(其作为本发明的计算机视觉方法的例子)来对眼底图像进行分类评估,并且给出关于该眼底图像的图像质量评分,从而获得本公开上下文所称的质量指标。
接着,在步骤S104处,根据质量指标从前述的多个眼底图像中选择一个眼底图像作为目标眼底图像。在一个实施场景中,这里的选择可以是从多个眼底图像中选择具有最高质量指标的眼底图像作为目标眼底图像。在另一个实施场景中,前述选择可以是将满足质量阈值要求(例如大于预定的质量指标)的眼底图像作为目标眼底图像。
最后,在步骤S106处,使用在步骤S104处选择的目标眼底图像所关联的采集位置来对眼底相机的工作距离对齐效果进行优化。在一个实施例中,基于目标眼底图像的采集位置来将主摄像头移动到先前采集该目标眼底图像时的位置,也即是将主摄像头移动到调整后的眼底相机的工作距离处,从而实现工作距离对齐效果的优化。由此,主摄像头可以在后续的眼底图像采集中,在优化调整后的该工作距离处拍摄到质量较高的眼底图像。如前所述,基于图像质量较高的眼底图像,可以对眼底进行后续的分析或辅助对与眼底相关的疾病的诊断。
图2是示出根据本公开实施例的用于对齐眼底相机的工作距离的方法200的详细流程图。应当理解的是,图2所示出的方法200可以视为图1所示方法100的一种可能实现方式,因此关于图1对方法100的描述同样适用于下文结合图2对方法200的描述。
如图2所示,在步骤S202处流程开始。接着,在步骤S204处,执行工作距离(“WD”)对齐并且设置采集眼底图像数目的初始值,即n=0。此后,在步骤S206处,开始执行眼底图像采集操作,即利用眼底相机的主摄像头在工作距离处对眼底进行拍摄,并且利用式“n=n+1”来实现对拍摄的眼底图像的数目进行累加。
在步骤S208处,判断当前所采集到的眼底图像的数目是否大于预设的阈值“N”。当判断当前的眼底图像数目小于预设的阈值“N”时,在步骤S210处,继续利用主摄像头进行红外眼底图像的拍摄。接着,在步骤S212处,对拍摄的眼底图像进行质量评价,从而在步骤S214处获得当前拍摄的眼底图像的质量得分,也即本公开上下文所称的质量指标。
在步骤S216处,将得到的质量得分与针对质量大小设置的得分阈值(或称质量阈值)进行比较。当确定此次拍摄的眼底图像的质量得分高于得分阈值,则在步骤S218处,将拍摄到该满足阈值要求的眼底图像的采集位置视为眼底相机化化后的工作距离,并且主摄像头可以在该调整优化后的工作距离处采集眼底图像,从而在步骤S220处获得图像质量较佳的眼底图像。
当在步骤S216处判断此次所拍摄的眼底图像的质量得分小于或等于质量阈值,则流程前进到步骤S222。在该步骤处,眼底相机内的处理单元或控制单元可以向马达传送驱动指令,以便马达例如步进式的移动,也即微调马达位置。当马达移动时,其可以带动主摄像头例如上下、左右和/或前后移动,从而动态调整工作距离。此后,在步骤S206处,主摄像头在经由马达移动而位置微调后(也即经工作距离对齐效果优化后),再次执行眼底图像采集,并且利用“n=n+1”进行数目的实时更新。此后,重复步骤S208之后的流程操作。
当在步骤S208处判断或确定当前所采集到的眼底图像的数目(也可以视为当前采集的眼底图像的序号)大于预设的阈值“N”,则此时在步骤S224处,确定N张眼底图像中质量得分最高的眼底图像(假设其为眼底图像m)。可以理解的是,这里N张眼底图像的质量得分的计算操作与步骤S214中的质量得分操作相同。此后,在步骤S226处,可以调整马达到达采集眼底图像m时的位置,也即令主摄像头移动至位于眼底相机优化后的工作距离处。接着,流程可以执行如前所述的步骤S218,即执行眼底图像采集并且在步骤S220处得到经优化的工作距离处所采集的眼底图像。最后,流程结束于步骤S228。
以上结合图2对本公开的工作距离对齐效果优化方案进行了描述,可以理解的是图2的步骤和执行顺序仅仅是示例性而非限制性的,本领域技术人员根据本公开的教导,也可以想到对其中的步骤作出改变和替换。例如,除了设置采集眼底图像数目的阈值以外,还可以设置采集眼底图像的时间段。具体地,可以在预定的时间段内采集多个眼底图像,并且比较这些眼底图像的质量得分。此后,从质量得分中选择最高得分的眼底图像作为本公开的目标眼底图像,并且根据采集该目标眼底图像的位置来对工作距离对齐效果进行优化。
下文将结合图3A-3C、图4A-4E、图5和图6来描述用于获得本公开的眼底图像的质量指标(即上文的质量得分)的深度学习模型,包括其训练过程、示例性的网络或模型结构以及生成质量指标的工作原理。
为了获得有效的深度学习模型,本公开提出采集各种类型的眼底图像,甚至是非眼底图像来进行标注,以形成深度学习模型的训练数据。具体地,可以收集眼底相机在工作距离处拍摄的红外眼底图像,该红外眼底图像可以包括正常无遮挡的眼底图像(如图3A所示)、以及受瞳孔小、眼皮遮挡(如图3B和图3C所示)等因素影响而造成质量退化的眼底图像。
在获得上述的初始训练数据后,本公开提出根据采集到的眼底图像中的图像内容来对眼底图像进行分类,例如可以将眼底图像分为5个类别以便进行标注,即非眼底图像(即所采集的眼底图像内不存在眼底内容,如图4A所示)、遭严重遮挡的眼底图像(如图4B所示)、一般遮挡的眼底图像(如图4C所示)、轻微遮挡的眼底图像(如图4D所示)以及无遮挡眼底图像(如图4E所示)。
在获得如上的眼底图像和标注的标签后,可以将其作为深度学习模型的输入来输入至模型中,以便对深度学习模型所构成的分类器进行训练。仅为了示例性的目的,本公开在图5中示出了示例性的深度学习模型结构。从图5中所示出的示例性网络结构可以看出,其包含输入层(“Input”)、第一卷积层(“Conv1”)、第一激活层(“Relu1”)、第一最大池化层(“MaxPool1”)、第二卷积层(“Conv2”)、第二激活层(“Relu2”)、第二最大池化层(“MaxPool2”)、第三卷积层(“Conv3”)、第三激活层(“Relu3”)、第三最大池化层(“MaxPool3”)、第四卷积层(“Conv4”)、第四激活层(“Relu4”)、第四最大池化层(“MaxPool4”)、第一全连接层(“Fc1”)、第五激活层(“Relu5”)、第二全连接层(“Fc2”)、归一化层(“Softmax”)和输出层(“Output”)。需要强调的是,这里所示出的模型结构仅是为了示例,本领域技术人员可以采用其他的深度学习模型结构。例如,基于本公开的教导,本领域技术人员可以想到设置更多或更少的层,如增加或减少卷积层。进一步,也可以选择使用其他适宜的激活函数和选择设置不同的参数(例如不同的卷积核尺寸和数值)。
在将眼底图像和标注的标签经由输入层输入至该深度学习模型后,将在输出层输出该眼底图像属于5种类别的概率。接着,可以给每种类别分配一定的分数,比如非眼底图像为0分、严重遮挡为0.25分,一般遮挡为0.5分,轻微遮挡为0.75分,而无遮挡为1.0分。假设一张眼底图片经深度学习模型计算得到属于5种类别的概率分别为P 1 P 2P 3 P 4 P 5 ,则该眼底图像的最终质量得分可以表达为下式(1):
质量得分=0*P 1+0.25*P 2+0.5*P 3+0.75*P 4+1.0*P 5 (1)。
基于式(1)的表达,可以确定本公开的质量指标可以通过下式(2)的通式来计算:
Figure 790199DEST_PATH_IMAGE001
(2)
其中Q表示图像质量,N表示类别的总数,
Figure 81503DEST_PATH_IMAGE002
表示类别的分数,而
Figure 692744DEST_PATH_IMAGE003
表示类别的概率。
图6是示出根据本公开实施例的深度学习模型的操作600的流程图。如图6所示,流程开始于步骤S602。接着,在步骤S604处,获得待输入至深度学习模型的眼底图像,并且在步骤S606处将眼底图像输入至深度学习模型(即分类器)中进行计算。此后,在步骤S608处,深度学习模型对输入的眼底图像进行处理,以输出眼底图像属于各类别的概率,例如属于上述5种类别的概率。基于所得到的概率,在步骤S610处,计算眼底图像的质量得分(也即质量指标),例如使用上式(2)来进行计算。最终,当得到该眼底图像的质量得分时,流程结束于步骤S612。从图中所示出的处理流程来看,本公开的质量指标的获得相对简单且易实现,从而也间接提高了后续工作距离对齐的时间效率。
图7是示出根据本公开实施例用于对眼底相机的工作距离对齐效果进行优化的设备原理框图。可以理解的是,图中所示设备700可以执行结合图1-图6所描述的操作步骤。
如图7所示,本公开的设备700可以包括存储器702和处理器703,其中存储器可以存储有对用于对眼底相机的工作距离对齐效果进行优化的程序指令。附加地或可选地,存储器702也可以存储用于实现对眼底图像进行分析的算法代码(例如前文所提到的深度学习模型等程序代码)。根据不同的实现场景,这里的处理器703可以是通用处理器或专用处理器(例如人工智能处理器)。进一步,当存储器702中的程序由处理器703执行时,设备例如通过其接口来接收眼底图像704,并且执行结合图1-图6所描述的方法步骤,从而最终输出满足预定要求的眼底图像的采集位置,以便眼底相机根据该采集位置来调整马达将主摄像头移动至该采集位置,也即优化对齐效果后的工作距离处。
图8是示出根据本公开实施例的用于对眼底相机的工作距离对齐效果进行优化的系统800的结构框图。该系统800可以包括根据本公开实施例的设备801(其可以相当于图7中所示出的设备700)以及其外围设备和外部网络,其中设备801可以用于执行对齐眼底相机的工作距离的操作,具体例如可以实现前述结合图1-图6所述的本公开的工作距离对齐方案。
如图8中所示,设备801可以包括CPU 8011,其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步,设备801还可以包括大容量存储器8012和只读存储器ROM 8013,其中大容量存储器8012可以配置用于存储各类数据,包括各类眼底图像数据、用于训练深度学习模型的训练数据、中间结果数据、最终驱动马达使得主摄像头到达工作距离的马达移动数据等数据,以及运行深度学习模型所需要的各种程序代码。ROM 8013可以配置成存储对于设备801的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。
进一步,设备801还包括其他的硬件平台或组件,例如示出的张量数据处理单元(“TPU”)8014、图像处理单元(“GPU”)8015、现场可编程门阵列(“FPGA”)8016和机器学习单元(“MLU”)8017。可以理解的是,尽管在设备801中示出了多种硬件平台或组件,但这里仅仅是示例性的而非限制性的,本领域技术人员可以根据实际需要增加或移除相应的硬件。例如,设备801可以仅包括通用CPU作为公知硬件平台或另一专用硬件平台作为本公开的硬件平台,以实现眼底相机的工作距离的对齐。
本公开的设备801还包括通信接口8018,从而可以通过该通信接口8018连接到局域网/无线局域网(LAN/WLAN)805,进而可以通过LAN/WLAN连接到本地服务器806或连接到因特网(“Internet”)807。替代地或附加地,本公开的设备801还可以通过通信接口8018基于无线通信技术直接连接到因特网或蜂窝网络,例如基于第三代(“3G”)、第四代(“4G”)或第5代(“5G”)的无线通信技术。在一些应用场景中,本公开的设备801还可以根据需要访问外部网络的服务器808以及可能的数据库809,以便获得各种已知的神经网络模型、数据和模块,并且可以远程地存储计算出或采集的各种数据(包括用于训练深度学习模型的训练数据)。
设备801的外围设备可以包括显示装置802、输入装置803以及数据传输接口804。在一个实施例中,显示装置802可以例如包括一个或多个扬声器和/或一个或多个视觉显示器,其配置用于对本公开设备的运算过程或者最终预测结果进行语音提示和/或图像视频显示。输入装置803可以包括例如键盘、鼠标、麦克风、眼底相机,或其他输入按钮或控件,其配置用于接收图像数据(如本公开的眼底图像)的输入或用户指令。数据传输接口804可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等,其配置用于与其他设备或系统的数据传输和交互。根据本公开的方案,该数据传输接口804还可以接收各种数据(例如本公开的眼底图像),并且向设备801传送各种类型的数据和结果。
本公开的设备801的上述CPU 8011、大容量存储器8012、只读存储器ROM 8013、TPU8014、GPU 8015、FPGA 8016、MLU 8017和通信接口8018可以通过总线8019相互连接,并且通过该总线与外围设备实现数据交互。在一个实施例中,通过该总线8019,CPU 8011可以控制设备801中的其他硬件组件及其外围设备。
在工作中,本公开的设备801的处理器CPU 8011可以通过输入装置803或数据传输接口804接收各种输入数据(例如本公开上下文中的眼底图像,其可以由眼底相机的主摄像头来拍摄获得),并调取存储于存储器8012中的计算机程序指令或代码(例如涉及深度学习模型的代码)对接收到的输入数据进行处理,以获得针对于工作距离对齐效果优化的马达移动数据。另外,设备801还可以通过通信接口8018将所述马达移动数据上传至网络,例如远程的数据库809,从而例如可以作为其他眼底相机工作距离对齐时的参考。在一个应用场景中,此处的数据库809可以是隶属于眼部医疗机构的数据库,从而眼科仪器相关从业人员可以直接获取不同类型的眼底相机在工作距离对齐效果优化时的马达移动量。
还应当理解,本公开示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质,诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性,可移动和不可移动介质,例如计算机可读指令、数据结构、程序模块或其他数据。
基于上文,本公开还公开了一种计算机可读存储介质,其中存储有用于近视预测的计算机程序代码,所述计算机程序代码由处理器加载并执行时,实现结合图1-图6所描述的对眼底相机的工作距离对齐效果进行优化的操作流程。例如,当计算机程序代码由处理器执行时,可以执行获取主摄像头所采集到的多个眼底图像、根据所述质量指标从多个眼底图像中选择一个眼底图像作为目标眼底图像以及使用所述目标眼底图像所关联的采集位置来对所述眼底相机的工作距离对齐效果进行优化。
计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质,比如,阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(DynamicRandom Access Memory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等,或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本公开描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
应当理解,本公开披露的权利要求、说明书及附图中的可能术语“第一”或“第二”等是用于区别不同对象,而不是用于描述特定顺序。本公开披露的说明书和权利要求书中使用的术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本公开披露说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本公开披露。如在本公开披露说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本公开披露说明书和权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
虽然本公开的实施方式如上,但所述内容只是为便于理解本公开而采用的实施例,并非用以限定本公开的范围和应用场景。任何本公开所述技术领域内的技术人员,在不脱离本公开所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本公开的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于对眼底相机的工作距离对齐效果进行优化的方法,其中所述眼底相机包括主摄像头,所述方法包括:
获取所述主摄像头所采集到的多个眼底图像,其中每个所述眼底图像具有关联的采集位置和质量指标;
根据所述质量指标从多个眼底图像中选择一个眼底图像作为目标眼底图像;以及
使用所述目标眼底图像所关联的采集位置来对所述眼底相机的工作距离对齐效果进行优化。
2.根据权利要求1所述的方法,其中获取所述主摄像头所采集到的多个眼底图像包括:
获取所述主摄像头在预定的采集次数或采集时间内持续采集眼底的多个眼底图像。
3.根据权利要求2所述的方法,其中根据所述质量指标从多个眼底图像中选择一个眼底图像作为目标眼底图像包括:
响应于在所述预定的采集次数或采集时间内采集到质量指标大于质量阈值的眼底图像,将所述质量指标大于质量阈值的一个眼底图像选择作为所述目标眼底图像。
4.根据权利要求2或3所述的方法,其中根据所述质量指标从多个眼底图像中选择一个眼底图像作为目标眼底图像还包括:
响应于在所述预定的采集次数或采集时间内未采集到质量指标大于所述质量阈值的眼底图像,从采集到的所有眼底图像中选择具有最大质量指标的一个眼底图像作为所述目标眼底图像。
5.根据权利要求1所述的方法,还包括:
利用计算机视觉方法来确定所述眼底图像所关联的所述质量指标。
6.根据权利要求5所述的方法,其中所述计算机视觉方法包括深度学习模型,所述方法还包括:
利用经标注的眼底图像作为训练数据对所述深度学习模型进行前期训练,其中根据所述眼底图像中是否存在眼底内容以及眼底内容被遮挡的程度对所述眼底图像进行分类和标注。
7.根据权利要求5所述的方法,其中所述计算机视觉方法包括深度学习模型,所述方法还包括:
根据所述深度学习模型输出的眼底图像的分类及其对应概率确定所述眼底图像的质量指标。
8.一种用于对眼底相机的工作距离对齐效果进行优化的设备,包括:
处理器;以及
存储器,其上存储有用于对所述眼底相机的工作距离对齐效果进行优化的程序指令,当所述程序指令由处理器执行时,实现根据权利要求1-7的任意一项所述的方法。
9.一种眼底相机,包括:
主摄像头,其用于采集眼底的眼底图像;以及
根据权利要求8所述的设备,其与所述主摄像头连接并且从所述主摄像头获取多个眼底图像,以便对所述眼底相机的工作距离对齐效果进行优化。
10.一种计算机可读存储介质,其上存储有用于对所述眼底相机的工作距离对齐效果进行优化的程序指令,当所述程序指令由处理器执行时,实现根据权利要求1-7的任意一项所述的方法。
CN202210893707.4A 2022-07-27 2022-07-27 对眼底相机的工作距离对齐效果进行优化的方法及其相关产品 Active CN114972462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210893707.4A CN114972462B (zh) 2022-07-27 2022-07-27 对眼底相机的工作距离对齐效果进行优化的方法及其相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210893707.4A CN114972462B (zh) 2022-07-27 2022-07-27 对眼底相机的工作距离对齐效果进行优化的方法及其相关产品

Publications (2)

Publication Number Publication Date
CN114972462A true CN114972462A (zh) 2022-08-30
CN114972462B CN114972462B (zh) 2023-08-15

Family

ID=82968576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210893707.4A Active CN114972462B (zh) 2022-07-27 2022-07-27 对眼底相机的工作距离对齐效果进行优化的方法及其相关产品

Country Status (1)

Country Link
CN (1) CN114972462B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379121A (zh) * 2022-10-17 2022-11-22 北京鹰瞳科技发展股份有限公司 对眼底相机的图像预览结果进行优化的方法和相关产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110875092A (zh) * 2018-08-31 2020-03-10 福州依影健康科技有限公司 一种基于远程眼底筛查的健康大数据服务方法和系统
CN111325631A (zh) * 2018-12-14 2020-06-23 福州依影健康科技有限公司 一种基于眼底图像的健康保险控费的方法和系统
US20210327051A1 (en) * 2018-06-08 2021-10-21 Shanghai Sixth People's Hospital Method, computer device and storage medium of fundus oculi image analysis
CN113729619A (zh) * 2021-09-24 2021-12-03 北京鹰瞳科技发展股份有限公司 便携式眼底相机及锁定/解锁其的方法
CN114098632A (zh) * 2022-01-27 2022-03-01 北京鹰瞳科技发展股份有限公司 用于对眼底相机中的马达进行控制的方法及其相关产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210327051A1 (en) * 2018-06-08 2021-10-21 Shanghai Sixth People's Hospital Method, computer device and storage medium of fundus oculi image analysis
CN110875092A (zh) * 2018-08-31 2020-03-10 福州依影健康科技有限公司 一种基于远程眼底筛查的健康大数据服务方法和系统
CN111325631A (zh) * 2018-12-14 2020-06-23 福州依影健康科技有限公司 一种基于眼底图像的健康保险控费的方法和系统
CN113729619A (zh) * 2021-09-24 2021-12-03 北京鹰瞳科技发展股份有限公司 便携式眼底相机及锁定/解锁其的方法
CN114098632A (zh) * 2022-01-27 2022-03-01 北京鹰瞳科技发展股份有限公司 用于对眼底相机中的马达进行控制的方法及其相关产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379121A (zh) * 2022-10-17 2022-11-22 北京鹰瞳科技发展股份有限公司 对眼底相机的图像预览结果进行优化的方法和相关产品
CN115379121B (zh) * 2022-10-17 2022-12-20 北京鹰瞳科技发展股份有限公司 对眼底相机的图像预览结果进行优化的方法和相关产品

Also Published As

Publication number Publication date
CN114972462B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US20220012533A1 (en) Object Recognition Method and Apparatus
US11270169B2 (en) Image recognition method, storage medium and computer device
US11861873B2 (en) Event camera-based gaze tracking using neural networks
US20210052135A1 (en) Endoscopic image processing method and system, and computer device
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
EP4105877A1 (en) Image enhancement method and image enhancement apparatus
WO2020125499A9 (zh) 一种操作提示方法及眼镜
US20220148328A1 (en) Pedestrian detection method and apparatus, computer-readable storage medium, and chip
CN111402217B (zh) 一种图像分级方法、装置、设备和存储介质
EP3953859A1 (en) Method and system for estimating eye-related geometric parameters of a user
CN111862009B (zh) 一种眼底oct图像的分类方法及计算机可读存储介质
CN112000226B (zh) 一种人眼视线估计方法、装置及视线估计系统
CN111783997B (zh) 一种数据处理方法、装置及设备
CN114120432A (zh) 基于视线估计的在线学习注意力跟踪方法及其应用
CN111046734A (zh) 基于膨胀卷积的多模态融合视线估计方法
US11947717B2 (en) Gaze estimation systems and methods using relative points of regard
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
CN114972462B (zh) 对眼底相机的工作距离对齐效果进行优化的方法及其相关产品
CN114494347A (zh) 一种单摄像头多模式视线追踪方法和装置、电子设备
CN106774929A (zh) 一种虚拟现实终端的显示处理方法和虚拟现实终端
CN115376125A (zh) 一种基于多模态数据融合的目标检测方法以及基于目标检测模型的在体果实采摘方法
CN111160431A (zh) 一种基于多维特征融合的圆锥角膜识别方法及装置
CN110598652A (zh) 眼底数据预测方法和设备
CN115222876A (zh) 模型训练方法、眼球体结构重塑方法和装置及存储介质
US20230036611A1 (en) Gaze estimation apparatus, gaze estimation method, model generation apparatus, and model generation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant