CN109124564B - 一种眼底光场成像方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，尤其涉及一种眼底光场成像方法及装置，用以对现有眼底光学成像系统进行改造，使得光场成像能应用于眼底成像，该方法为，先基于目标眼部，确定可编程液晶动态掩膜的孔径模式，再基于目标眼部的病变程度，确定各个液晶单元的在已选定的孔径模式下的空间分布，然后确定照明满足时，启动拍摄并获得初始眼底光场图像，以及采用预设的重聚焦规则对初始眼底光场图像进行处理，获得目标眼底光场图像，这样，通过增加可编程液晶动态掩膜，能够实现眼底光场成像，拍摄眼底图像时，不仅无需对焦，而且不用受限于被拍摄者眼部运动的影响，方便拍摄和后期诊断分析，进而改善了用户体验，而且，改造方式相对简单，容易推广。

Description

一种眼底光场成像方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种眼底光场成像方法及装置。

背景技术

在临床医学中，眼科医生借助眼检镜、眼底照相机等仪器观察病人眼底状况以帮助诊断病情，由于眼睛本身就是一个复杂的光学系统，眼底照相机需要通过眼睛的光学部分，才能拍摄到清晰的眼底图像，而一个完整眼底照相机的成像系统通常由照明子系统、观察子系统和照相子系统三部分组成。

目前来说，眼底照相机一般是光学成像的眼底照相机，由于传统的光学成像只能记录来自观察目标的光线，通过成像孔径，辐射到二维的成像平面上，而丢失了其他维度信息，且由于眼底环境的特殊性，如眼底本身成凹面状，眼底边缘成像易畸变等，眼科医生在使用光线成像的眼底照相机拍摄眼底图像时，不仅需要手动调焦，而且，还得要求眼底图像被拍摄者配合在拍摄期内保持眼睛不动，才能得到清晰的眼底图像，显然，光学成像的眼底照相机在应用时存在易散焦、运动模糊、曝光不足等缺陷。

倘若能获得光辐射在空间中的完整分布，则可以通过变换和积分等计算手段获得所需要的图像，从而实现连续变焦，不仅不用手动变焦，而且，即便是眼底图像被拍摄者不能在拍摄期内保持眼睛不动，也能拍摄到清晰的眼底图像。

而现有技术下，获得光场成像有如下三种方法：

其一，通过相机阵列在空间的一定排布来同时抓取一系列视角略有差别的图像，从而重构出四维光场数据。

其二，通过在普通成像系统的一次像面处插入微透镜阵列，每个微透镜元记录的光线对应相同位置不同视角的场景图像，从而重构出四维光场数据。

其三，通过在普通成像系统增加掩膜，对相机的孔径做相应处理，从而重构出四维光场数据。

发明内容

研究发现，现有光场成像方法，由于实际应用场景和设备尺寸等方面的限制，无法应用于眼底成像系统中，有鉴于此，需重新设计一种眼底光场成像方法，以克服上述缺陷。

本发明实施例提供一种眼底光场成像方法及装置，用以解决现有眼底光学成像系统存在聚焦不准，且拍摄易受患者眼部运动、眼底的凹面状以及边缘成像畸变的影响，但现有光场成像方法又无法应用于眼底成像系统的问题。

本发明实施例提供的具体技术方案如下：

第一方面，一种眼底光场成像方法，包括：

基于目标眼部，确定可编程液晶动态掩膜的孔径模式，其中，所述可编程液晶动态掩膜包含若干液晶单元；

基于所述目标眼部的病变程度，确定所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布；

基于所述若干液晶单元的空间分布，确定满足照明条件时，启动拍摄，并获得初始眼底光场图像；

基于预设重聚焦规则，对所述初始眼底光场图像进行处理，获得目标眼底光场图像。

可选的，所述孔径模式由液晶单元的形状决定。

可选的，基于所述目标眼部的病变程度，确定所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布，包括：

确定所述目标眼部的病变程度；

基于所述病变程度，通过编程施加外加电场，调整所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布。

可选的，基于预设重聚焦规则，对所述初始眼底光场图像进行处理，获得目标眼底光场图像，包括:

基于预设重聚焦规则，对所述初始眼底光场图像进行反变换，获得若干处于不同焦平面下的候选眼底光场图像；

确定目标景深，并从所述若干处于不同焦平面下的候选眼底光场图像中，筛选出与所述目标景深对应的目标眼底光场图像。

可选的，所述预设重聚焦规则所采用的计算参数，与已选定的孔径模式对应。

第二方面，一种眼底光场成像装置，包括：

模式选择单元，用于基于目标眼部，确定可编程液晶动态掩膜的孔径模式，其中，所述可编程液晶动态掩膜包含若干液晶单元；

分布选择单元，用于基于所述目标眼部的病变程度，确定所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布；

拍摄单元，用于基于所述若干液晶单元的空间分布，确定满足照明条件时，启动拍摄，并获得初始眼底光场图像；

处理单元，用于基于预设重聚焦规则，对所述初始眼底光场图像进行处理，获得目标眼底光场图像。

第三方面，一种电子设备，包括：一个或多个处理器；以及

一个或多个计算机可读介质，所述可读介质上存储有用于眼底光场成像的程序，其中，所述程序被所述一个或多个处理器执行时，实现上述第一方面中任一项所述的方法的步骤。

第四方面，一个或多个计算机可读介质，所述可读介质上存储有用于眼底光场成像的程序，其中，所述程序被一个或多个处理器执行时，使得通信设备执行上述第一方面中任一项所述的方法。

本发明实施例中，先基于目标眼部，确定可编程液晶动态掩膜的孔径模式，再基于目标眼部的病变程度，确定各个液晶单元的在已选定的孔径模式下的空间分布，然后确定照明满足时，启动拍摄并获得初始眼底光场图像，以及采用预设的重聚焦规则对初始眼底光场图像进行处理，获得目标眼底光场图像，这样，通过增加可编程液晶动态掩膜，能够实现眼底光场成像，拍摄眼底图像时，不仅无需对焦，而且不用受限于被拍摄者眼部运动的影响，方便拍摄和后期诊断分析，进而改善了用户体验，而且，改造方式相对简单，容易推广。

附图说明

图1为本发明实施例中眼底光场成像系统结构示意图；

图2为本发明实施例中眼底光场成像方法流程图；

图3为本发明实施例中可编程液晶动态掩膜的结构示意图；

图4为本发明实施例中眼底光场成像装置结构示意图。

具体实施方式

为了解决现有眼底光学成像系统存在聚焦不准，且拍摄易受患者眼部运动、眼底的凹面状以及边缘成像畸变的影响，但现有光场成像方法又无法应用于眼底成像系统的问题，本发明实施例中，重新设计了一种眼底光场成像方法，该方法为，首先，基于目标眼部，确定可编程液晶动态掩膜的孔径模式，其中，可编程液晶动态掩膜包含若干液晶单元，然后，基于目标眼部的病变程度，确定可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布，以及基于若干液晶单元的空间分布，确定满足照明条件时，启动拍摄，并获得初始眼底光场图像，最后，基于预设重聚焦规则，对初始眼底光场图像进行处理，获得目标眼底光场图像。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面将通过具体实施例对本发明的方案进行详细描述，当然，本发明并不限于以下实施例。

本发明实施例中，对现有眼底照相机进行改造，在现有的成像透镜和感光器件之间，增加了一个可编程液晶动态掩膜，具体参阅图1所示，成像单元包含成像透镜(图1中简称主透镜)、感光器件和可编程液晶动态掩膜，其中，感光器件为电荷耦合元件(Charge-coupled Device，CCD)。

进一步地，成像透镜、感光器件和可编程液晶动态掩膜之间的装配方式可以是分体的，也可以是集成一体的，其中，成像透镜并不限定于是单透镜，也可以为满足设定光学参数的透镜组，或者，可以是连续变焦的透镜。

基于上述改进的眼底照相机，参阅图2所述，本发明实施例中，提供的眼底光场成像方法流程如下：

步骤200：基于目标眼部，确定可编程液晶动态掩膜的孔径模式，其中，可编程液晶动态掩膜包含若干液晶单元。

具体的，眼睛由眼内腔和眼内容物构成，其中，眼内腔包括前房、后房和玻璃体腔，眼内容物包括房水、晶体和玻璃体，基于眼睛的结构，先确定要拍摄的目标眼部，例如，晶体。

进一步地，确定目标眼部后，基于已选定的目标眼部，确定可编程液晶动态掩膜的孔径模式，其中，可编程液晶动态掩膜的孔径模式由组成可编程液晶动态掩膜的若干液晶单元的形状决定，且一个眼部对应一种孔径模式。

例如，参阅图3所示，可预先将液晶单元实刻为正方形和六边形，且正方形的液晶单元和六边形的液晶单元在未施加电场之前，是均匀分布的，继续假设若眼部细化为眼内腔和眼内容物两部分，且眼内腔对应正方形的液晶单元，眼内容物对应六边形的液晶单元，那么，在确定目标眼部为眼内腔后，可确定可编程液晶动态掩膜的孔径为正方形，然后，通过编程，使正方形的液晶单元聚集在成像透镜与感光器件之间。

当然，上述仅为举例，眼部也可以细化为前房、后房、玻璃体腔、房水、晶体和玻璃体六部分，那么，可基于实际需要，分别为上述每一种眼部都分配一种孔径模式，在此不做限定，而且，液晶单元的实刻形状也不限定为正方形和六边形，也可以是同心圆等等。

步骤210：基于目标眼部的病变程度，确定可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布。

具体的，在选定目标眼部和可编程液晶动态掩膜的孔径模式后，可继续基于目标眼部的病变程度，确定组成可编程液晶动态掩膜的若干液晶单元的空间分布。

进一步地，可通过编程施加外加电场，由外加电场控制液晶单元的活动，从而，调整所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布。

例如，假设目标眼部为玻璃体腔，且玻璃体腔对应的孔径为六边形的液晶单元，若玻璃体腔内存在异物，在异物较大时，可相应增加外加电场力度，将六边形的液晶单元调整到呈现中间与边缘为同样厚度的状态，在异物较小时，可相应减弱外加电场力度，将六边形的液晶单元调整为呈现中间厚边缘薄的状态。

又例如，假设目标眼部为晶体，且晶体对应的孔径为同心圆的液晶单元，若晶体存在红肿，当红肿症状较轻时，可相应增加外加电场力度，将同心圆的液晶单元调整为呈现中间厚边缘薄的状态，当红肿症状较严重时，可相应减弱外加电场力度，将同心圆的液晶单元调整到呈现中间与边缘为同样厚度的状态。

步骤220：基于若干液晶单元的空间分布，确定满足照明条件时，启动拍摄，并获得初始眼底光场图像。

具体的，确定液晶单元的空间分布后，当满足照明条件时，启动眼底照相机进行拍摄，并获得初始眼底光场图像，其中，满足照明条件可以理解为，在现有的眼底相机系统的照明部分的辅助下，病人的眼底能被照亮。

步骤230：基于预设重聚焦规则，对初始眼底光场图像进行处理，获得目标眼底光场图像。

具体的，在现有的光场成像中，以4乘以4的微透镜阵列获取光场为例，获得的初始光场图像是由，16个处于不同焦距的微透镜阵列各自的光场图像叠加而成，因此，初始光场图像是模糊不清的，而为了使人眼看清，对于获得的初始光场图像，需基于预设重聚焦规则，对初始眼底光场图像进行处理，获得目标眼底光场图像。

进一步地，首先，基于预设重聚焦规则，对初始眼底光场图像进行反变换，获得若干处于不同焦平面下的候选眼底光场图像，然后，确定目标景深，并从若干处于不同焦平面下的候选眼底光场图像中，筛选出与目标景深对应的目标眼底光场图像，其中，预设重聚焦规则所采用的计算参数，与已选定的孔径模式对应，例如，预设的重聚焦规则可以为空间域的数字重聚焦方法，上述空间域的数字重聚焦方法可通过基于空间域的积分投影法和基于频率域的傅里叶切片法实现。

例如，以步骤210的示例一为例，假设目标眼部为玻璃体腔，存在5乘以5的六边形的液晶单元，那么，获得的初始光场图像为由25个图像叠加而成的模糊图像，若所需拍摄玻璃体腔的异物景深对应的液晶单元为第3行第3列，则提取第3行第3列的液晶单元对应的图像，并基于预设重聚焦规则对提取的上述图像进行傅里叶反变换，获得目标光场图像。

又例如，以步骤210的示例二为例，假设目标眼部为晶体，存在4乘以4的同心圆的液晶单元，那么，获得的初始光场图像为由16个图像叠加而成的模糊图像，若所需拍摄晶体的红肿物景深对应的液晶单元为第1行第2列，则提取第1行第2列的液晶单元对应的图像，并基于预设重聚焦规则对提取的上述图像进行傅里叶反变换，获得目标光场图像。

基于上述实施例，参阅图4所示，本发明实施例中，眼底光场成像装置，至少包括模式选择单元41、分布选择单元42、拍摄单元43和处理单元44，其中，

模式选择单元41，用于基于目标眼部，确定可编程液晶动态掩膜的孔径模式，其中，所述可编程液晶动态掩膜包含若干液晶单元；

分布选择单元42，用于基于所述目标眼部的病变程度，确定所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布；

拍摄单元43，用于基于所述若干液晶单元的空间分布，确定满足照明条件时，启动拍摄，并获得初始眼底光场图像；

处理单元44，用于基于预设重聚焦规则，对所述初始眼底光场图像进行处理，获得目标眼底光场图像。

可选的，所述孔径模式由液晶单元的形状决定。

可选的，基于所述目标眼部的病变程度，确定所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布时，所述分布选择单元42用于：

确定所述目标眼部的病变程度；

基于所述病变程度，通过编程施加外加电场，调整所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布。

可选的，基于预设重聚焦规则，对所述初始眼底光场图像进行处理，获得目标眼底光场图像时，所述处理单元44用于:

基于预设重聚焦规则，对所述初始眼底光场图像进行反变换，获得若干处于不同焦平面下的候选眼底光场图像；

确定目标景深，并从所述若干处于不同焦平面下的候选眼底光场图像中，筛选出与所述目标景深对应的目标眼底光场图像。

可选的，所述预设重聚焦规则所采用的计算参数，与已选定的孔径模式对应。

综上所述，本发明实施例中，先基于目标眼部，确定可编程液晶动态掩膜的孔径模式，再基于目标眼部的病变程度，确定各个液晶单元的在已选定的孔径模式下的空间分布，然后确定照明满足时，启动拍摄并获得初始眼底光场图像，以及采用预设的重聚焦规则对初始眼底光场图像进行处理，获得目标眼底光场图像，这样，通过增加可编程液晶动态掩膜，能够实现眼底光场成像，拍摄眼底图像时，不仅无需对焦，而且不用受限于被拍摄者眼部运动的影响，方便拍摄和后期诊断分析，进而改善了用户体验，而且，改造方式相对简单，容易推广。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种眼底光场成像方法，其特征在于，包括：

基于目标眼部，确定可编程液晶动态掩膜的孔径模式，其中，所述可编程液晶动态掩膜包含若干液晶单元；

基于所述目标眼部的病变程度，确定所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布；

基于所述若干液晶单元的空间分布，确定满足照明条件时，启动拍摄，并获得初始眼底光场图像；

基于预设重聚焦规则，对所述初始眼底光场图像进行处理，获得目标眼底光场图像。

2.如权利要求1所述的方法，其特征在于，所述孔径模式由液晶单元的形状决定。

3.如权利要求2所述的方法，其特征在于，基于所述目标眼部的病变程度，确定所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布，包括：

基于所述目标眼部的病变程度，通过编程施加外加电场，调整所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布。

4.如权利要求3所述的方法，其特征在于，基于预设重聚焦规则，对所述初始眼底光场图像进行处理，获得目标眼底光场图像，包括:

基于预设重聚焦规则，对所述初始眼底光场图像进行反变换，获得若干处于不同焦平面下的候选眼底光场图像；

确定目标景深，并从所述若干处于不同焦平面下的候选眼底光场图像中，筛选出与所述目标景深对应的目标眼底光场图像。

5.如权利要求4所述的方法，其特征在于，所述预设重聚焦规则所采用的计算参数，与已选定的孔径模式对应。

6.一种眼底光场成像装置，其特征在于，包括：

模式选择单元，用于基于目标眼部，确定可编程液晶动态掩膜的孔径模式，其中，所述可编程液晶动态掩膜包含若干液晶单元；

分布选择单元，用于基于所述目标眼部的病变程度，确定所述可编程液晶动态掩膜包含的若干液晶单元在已选定的孔径模式下的空间分布；

拍摄单元，用于基于所述若干液晶单元的空间分布，确定满足照明条件时，启动拍摄，并获得初始眼底光场图像；

处理单元，用于基于预设重聚焦规则，对所述初始眼底光场图像进行处理，获得目标眼底光场图像。

7.一种电子设备，其特征在于，包括：一个或多个处理器；以及

一个或多个计算机可读介质，所述可读介质上存储有用于眼底光场成像的程序，其中，所述程序被所述一个或多个处理器执行时，实现如权利要求1-5中任一项所述的方法的步骤。

8.一个或多个计算机可读介质，其特征在于，所述可读介质上存储有用于眼底光场成像的程序，其中，所述程序被一个或多个处理器执行时，实现如权利要求1-5中任一项所述的方法。

Images