CN115802160A - 一种眼底图像的智能拍摄方法及系统 - Google Patents

Abstract

本发明涉及用于摄像机遥控的图像通信领域，具体涉及一种眼底图像的智能拍摄方法及系统，包括：获取得到各初始骨架图像中的关键点的关键程度，根据关键程度得到各候选关键点的骨架图像序列，根据所述骨架图像序列得到各候选关键点在各节点图像的关键程度以及各候选关键点在各节点图像的分布密度，根据各候选关键点的各节点图像中各关键点的分布密度和关键程度得到候选关键点的选取权重，根据所述选取权重得到最佳焦点坐标，从而实现为眼底相机确定一个准确的焦点坐标。本发明通过视频序列中眼底图像质量的好坏自适应的调节相机选择焦点，避免由于图像通信过程中盲目的或来回反复的调节相机，导致效率低的问题。

Description

一种眼底图像的智能拍摄方法及系统

技术领域

本申请涉及用于摄像机遥控的图像通信领域，具体涉及一种眼底图像的智能拍摄方法及系统。

背景技术

眼底相机可以用于检查眼部的健康问题，通过观察眼底相机不仅可以发现眼部疾病，还可以检测出高血压等全身的疾病，因此眼底相机的获取对于眼科疾病的检查以及其他人体全身血液循环疾病十分重要。

现有的利用眼底相机检测眼科疾病通常使用图像通信技术，即利用眼底相机拍摄眼底图像视频序列，然后眼底相机通过无线网络将视频序列传输到电视机等显示器上，然后医生通过显示器来观测眼睛病情，同时医生可以通过远程控制相机的参数，例如相机的焦点位置来观测眼底不同位置的病情。

但是现有的这种通过控制相机实现图像通信的方法存在一些问题，例如由于高清的眼底图像数据量大，进行无线传输是图像通信具有延时，在考虑到实际应用过程中，医生需要不断的控制相机焦点，这个过程中由于图像通信的延时导致医生不能实时的看到相机在被控制调整后的视频效果，导致盲目的或来回反复的调节相机，进而导致病情诊断效率低。

现有的图像通信技术中采用压缩图像的方法来提高图像通信效率，但是图像压缩量不大时依然会存在上述问题，当图像压缩量较大时，导致视频图像在电视上呈现的细节较少或者模糊不清晰，进而导致医生无法准确的控制相机，依旧导致病情诊断效率低。

考虑到只是使用图像通信技术检测眼科疾病，对图像通信过程的信号延迟不太关注，因此本发明提出一种用于图像通信的智能相机控制拍摄方法，通过视频序列中眼底图像质量的好坏自适应的调节相机焦点，避免由于通信过程中医生盲目的或来回反复的调节相机，进而导致病情诊断效率低的问题。

发明内容

为了解决上述技术问题，本发明提供一种眼底图像的智能拍摄系统，所述系统包括：

相机采集模块，该模块使用眼底相机采集高清的眼底图像视频序列；

图像通信模块，该模块包括WIFY模块，利用5G通信网络将相机采集模块采集的视频序列进行压缩编码以及传输，实现图像通信功能；

显示模块，该模块包含一个显示器，显示器能够接收图像通信模块传输来的视频图像并进行显示；

图像通信数据处理模块，该模块用于运行计算机程序，该程序处理相机采集模块中的眼底图像数据，获得相机焦点；

相机遥控模块，该模块将图像通信数据处理模块得到的相机焦点传输给眼底相机，然后相机进行焦点调节，调节之后相机再次采集视频序列，传输给显示模块；

相机手动控制模块，该模块根据显示模块显示的画面内容在显示器上选取一个焦点，然后该模块获得的焦点通过相机遥控模块传输给眼底相机，然后相机进行焦点调节，调节之后相机采集视频序列，传输给显示模块；

所述图像通信数据处理模块中的计算机程序执行的方法包括：采集得到初始眼底图像，根据初始眼底图像得到初始骨架图像以及初始骨架图像的多个关键点；计算初始骨架图像中各关键点的关键程度，根据各关键点的关键程度选取候选关键点，根据候选关键点得到各候选关键点的骨架图像序列；根据各候选关键点的骨架图像序列构建候选关键点之间的二分图，计算二分图中各节点的节点值和连接边的边权值，根据各节点的节点值和连接边的边权值得到候选关键点之间的二分图的匹配值，根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重；根据各候选关键点的选取权重得到相机焦点。

优选的，所述图像通信数据处理模块的计算机程序中的一种眼底图像的智能拍摄的方法，包括的具体步骤为：

获取得到初始骨架图像以及各初始骨架图像中的多个关键点，根据初始骨架图像中各关键点与相邻关键点的关系得到各关键点的关键程度，根据关键程度得到多个候选关键点，根据各候选关键点得到各候选关键点的骨架图像序列，将各候选关键点的骨架图像序列中各骨架图像作为一个节点图像，任意两个候选关键点的骨架图像序列构成一个候选关键点之间的二分图，获取各候选关键点在各节点图像的关键程度，根据各候选关键点在各节点图像的关键程度得到各候选关键点在各节点图像的邻域范围，根据各候选关键点在各节点图像的邻域范围得到各候选关键点在各节点图像的分布密度，将各候选关键点在各节点图像的分布密度作为节点图像所在节点的节点值；获取各候选关键点的各节点图像中各关键点的分布密度和关键程度，根据各候选关键点的各节点图像中各关键点的分布密度和关键程度得到关于候选关键点的节点图像之间的边权值；根据关于候选关键点的节点图像之间的边权值和各节点的节点值得到候选关键点之间的二分图的匹配值，根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重，根据候选关键点的坐标和选取权重得到最佳焦点的坐标并作为相机焦点。

优选的，所述根据初始骨架图像中各关键点与相邻关键点的关系得到各关键点的关键程度，包括的具体步骤为：

第i个关键点的关键程度计算公式为：

其中，

表示初始骨架图像中关键点的数量；

表示初始骨架图像中与第

个关键 点相连接的关键点的数量；

表示初始骨架图像中与第

个关键点相连接的关键点的平均 欧式距离，

表示第i个关键点的关键程度。

优选的，所述根据各候选关键点在各节点图像的邻域范围得到各候选关键点在各节点图像的分布密度，包括的具体步骤为：

第j个候选关键点在第z个节点图像中的分布密度计算公式为：

其中，

表示第j个候选关键点在第z个节点图像中的邻域范围，

表示第j个候 选关键点在第z个节点图像的邻域范围内的关键点个数，

表示第j个候选关键点在第z 个节点图像中的分布密度。

优选的，所述根据各候选关键点的各节点图像中各关键点的分布密度和关键程度得到关于候选关键点的节点图像之间的边权值，包括的具体步骤为：

将第j1个候选关键点的第p个节点图像与第j2个候选关键点的第q个节点图像进行匹配，假设第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点为匹配点对，将所述匹配点对称为关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对，计算第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点的关键程度均值，作为关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度；

根据关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度、第j1个候选关键点第p个节点图像第s1个关键点的分布密度和第j2个候选关键点第p个节点图像第s2个关键点的分布密度，得到关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值。

优选的，所述根据候选关键点各节点图像之间的各匹配点对的关键程度、各候选关键点各节点图像中各关键点的分布密度得到关于候选关键点的节点图像之间的边权值，包括的具体步骤：

关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值的计算公式为：

其中，

表示关于第j1个候选关键点第p个节点图像与第j2个候选关 键点第q个节点图像之间的第s个匹配点对的关键程度；

表示第j1个候选关键点第p个 节点图像的第s1个关键点的分布密度，

表示第j2个候选关键点第q个节点图像的第s2 个关键点的分布密度，

表示关于第j1个候选关键点第p个节点图像与第j2个 候选关键点第q个节点图像之间的边权值，Z表示第j1个候选关键点第p个节点图像与第j2 个候选关键点第q个节点图像之间的匹配点对的数量。

优选的，所述根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重，包括的具体步骤为：

将第j1个候选关键点与其他所有候选关键点之间的二分图的匹配值的累加和作为第j1个候选关键点的选取权重。

优选的，所述根据候选关键点的坐标和选取权重得到最佳焦点的坐标，包括的具体步骤为：

将各候选关键点的选取权重作为权重，将所有候选关键点的横坐标的加权累加和作为最佳焦点的横坐标，将所有候选关键点的纵坐标的加权累加和作为最佳焦点坐标的纵坐标。

本发明实施例至少具有如下有益效果：

为了避免人为手动调整焦点导致采集到的眼底图像数据量较大，影响图像通讯效率，进而降低眼睛诊断效率较低，因而本实施例通过初始的相机参数获取眼底图像，并根据眼底图像进行骨架化提取获取每个关键点，根据每个关键点获取候选关键点。为了获取图像中准确的最佳焦点坐标，通过比较不同候选关键点为焦点下，不同焦距的眼底图像之间的候选关键点的分布差异，获取每个候选关键点的选取权重值。其中通过二分图KM匹配方法，以不同候选关键点为焦点且不同焦距情况下的眼底图像作为二分图中的节点，以节点对应的眼底图像中的候选关键点的邻域范围内的分布密度变化之间的差异，作为二分图的边权值，表征不同焦点不同焦距情况下候选关键点的分布变化差异，进而根据二分图KM匹配方法的匹配结果来表征每个候选关键点在不同焦距下对于最佳焦点的权重值的大小，进而获取准确的最佳焦点，避免了传统的自动调焦方法中，焦点选取不准确的情况，并且通过选取合理的最佳焦点，保证眼底图像中的关键区域不虚假，提高眼底图像的质量。从而实现通过视频序列中眼底图像质量的好坏自适应的调节相机选择焦点，避免由于图像通信过程中医生盲目的或来回反复的调节相机，导致病情诊断效率低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明提供的一种眼底图像的智能拍摄系统的流程图；

图2为本法明提供的一种眼底图像的智能拍摄方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种眼底图像的智能拍摄方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种眼底图像的智能拍摄方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种眼底图像的智能拍摄系统的流程图，该系统包括以下步骤：

本实施例首先构建用于控制眼底相机的图像通信系统，该图像通信系统，包括：

相机采集模块，该模块使用眼底相机采集高清的眼底图像视频序列。

图像通信模块，该模块包括WIFY模块，利用5G通信网络将相机采集模块采集的视频序列进行压缩编码以及传输，实现图像通信功能。

显示模块，该模块包含一个显示器，如电视机、液晶屏等，本实施例以液晶屏为例进行叙述，显示器能够接收图像通信模块输来的视频图像并进行显示；

图像通信数据处理模块，该模块用于运行计算机程序，该程序处理相机采集模块中的眼底图像数据，获得相机焦点。

相机遥控模块，该模块将图像通信数据处理模块得到的相机焦点传输给眼底相机，然后相机进行焦点调节，调节之后相机再次采集视频序列，传输给显示模块。

相机手动控制模块，该模块与医生进行交互，即医生根据显示模块显示的画面内容，通过摇杆或者鼠标在显示器上选取一个焦点。模块根据显示模块显示的画面内容在显示器上选取一个焦点，然后该模块获得的焦点通过相机遥控模块传输给眼底相机，然后相机进行焦点调节，调节之后相机采集视频序列，传输给显示模块。

其中相机手动控制模块和图像通信数据处理模块都是用于获取相机焦点，其中的图像通信数据处理模块是自动的获取相机焦点，无需人为的参与，该模块通过视频序列中眼底图像质量的好坏自适应的调节相机选择焦点，避免由于图像通信过程中医生盲目的或来回反复的调节相机，导致病情诊断效率低的问题；图像通信数据处理模块中的计算机程序执行的方法包括：S001：采集得到初始眼底图像，根据初始眼底图像得到初始骨架图像以及初始骨架图像的多个关键点；S002：计算初始骨架图像中各关键点的关键程度，根据各关键点的关键程度选取候选关键点，根据候选关键点得到各候选关键点的骨架图像序列；S003：根据各候选关键点的骨架图像序列构建候选关键点之间的二分图，计算二分图中各节点的节点值和连接边的边权值，根据各节点的节点值和连接边的边权值得到候选关键点之间的二分图的匹配值，根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重；S004：根据各候选关键点的选取权重得到最佳焦点坐标，即所述的相机焦点。

请参阅图2，图像通信数据处理模块中的计算机程序执行一种眼底图像的智能拍摄方法，具体如下：

步骤S001，采集得到初始眼底图像，根据初始眼底图像得到初始骨架图像以及初始骨架图像的多个关键点。

1、利用相机采集模块中的眼底相机，采集得到初始眼底图像。需要说明的此时眼底相机的相机参数是预设设置的，例如相机的焦点位置事先由相机手动控制模块得到，由于本实施例中主要是对眼底相机的焦点进行分析，因而后续再采集图像时，需保障眼底相机的其他参数保持不变。

2、获取初骨架图像的所有关键点：

由于眼底图像的蓝色通道含有的特征关键点的信息较少，因此本实施例中主要对红色通道和绿色通道进行分析。

根据初始眼底图像得到初始眼底图像的初始骨架图像：获取初始眼底图像的红色通道和绿色通道，将红色通道与绿色通道的同位置像素求均值得到初始融合图像，利用骨架提取算法对初始融合图像进行处理得到初始融合图像的初始骨架图像。

将初始骨架图像中像素值不为0像素点为初始骨架图像的关键点。

步骤S002，计算初始骨架图像中各关键点的关键程度，根据各关键点的关键程度选取候选关键点，根据候选关键点得到各候选关键点的骨架图像序列。

1、计算各关键点的关键程度：

在眼底图像中，血管的交点处是眼底图像研究的重点关注信息，因而基于此来计算各关键点的关键程度。

关键点的关键程度与关键点的聚集程度和相邻关键点的数量有关，第i个关键点的关键程度为：

式中，

表示初始骨架图像中关键点的数量；

表示初始骨架图像中与第

个关键点 直接相连接的关键点的数量；

表示初始骨架图像中与第

个关键点相连接的关键点的平 均欧式距离，

表示第i个关键点的关键程度。

同理得到初始骨架图像中各关键点的关键程度。

将初始骨架图像中各关键点按关键程度进行降序排列得到关键点序列，在关键点 序列中选取处于前

个关键点作为候选关键点。

2、获取各关键点的骨架图像序列：

以第

个候选关键点为焦点下利用相机采集模块获取的不同焦距的眼底图像，得 到第j候选关键点的眼底图像序列

，同理得到其他各候选关键点的眼底 图像序列。

根据第j个候选关键点的眼底图像序列中各眼底图像得到第j个候选关键点的眼 底图像序列中各眼底图像的骨架图像，因而第j个候选关键点的眼底图像序列得到第j个候 选关键点的骨架图像序列

。

步骤S003，根据各候选关键点的骨架图像序列构建候选关键点之间的二分图，计算二分图中各节点的节点值和连接边的边权值，根据各节点的节点值和连接边的边权值得到候选关键点之间的二分图的匹配值，根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重。

为了确保眼底相机采集到的眼底图像质量较好，需将眼底相机聚焦在合适的位置，因而通过分析不同候选关键点作为焦点时得到的眼底图像的情况来确定各候选关键点作为焦点的选取权重。当各候选关键点作为焦点采集到的眼底图像质量较高时，该眼底图像包含较多的关键信息，因而该眼底图像与其他候选关键点作为焦点时采集到的眼底图像具有较多的相似信息，因而该眼底图像与其他候选关键点作为焦点时采集到的眼底图像匹配值较高，因而基于此来对各候选关键点作为焦点时采集眼底图像进行分析得到各关键点作为焦点的选取权重。

1、构建候选关键点之间的二分图：

将第j个候选关键点的骨架图像序列

中的每个骨架图像以及第j+1个候选关键 点的骨架图像序列

中的每个骨架图像分别作为二分图中的各节点图像，得到第j个候 选关键点与第j+1候选关键点之间的二分图，然后该二分图的KM匹配值，通过此来反应上述 两个候选关键点的不同焦距的图像之间的匹配关系，同理将任意两个候选关键点的骨架图 像序列构成二分图，来计算二分图的KM匹配值。

由于在KM匹配过程中，需要计算二分图中每个节点的节点值以及对应的边权值，其中本实施例中利用各候选节点在不同骨架图像中的分布特征作为各节点的节点值。

2、计算各节点的节点值：

一个候选关键点对应多张节点图像，每个节点为一个候选关键点下的一个节点图 像，为了便于描述将每个节点对应的图像称为节点图像。通过对每个节点图像进行分析，将 节点图像中候选关键点处的分布密度作为每个节点的节点值。而候选关键点的分布密度与 邻域范围内的其他像素点存在较大的联系，因而需先根据各候选关键点的关键程度来确定 各候选关键点的邻域范围，其中候选关键点的关键程度越大，说明该候选关键点越重要，则 计算候选关键点的分布密度过程中，应参考较多的该候选关键点的邻域范围内的像素点信 息，因而该候选关键点的邻域范围就越大，其中第

个候选关键点的邻域范围为：

（1）计算各候选关键点在各节点图像中的关键程度：

这些骨架图像上都包含第j个候选关键点，

分别为第j个候选关键点的节点图像，利用步骤S002中计算各关键点 的关键程度的方法对第j个候选关键点在各节点图像进行处理得到第j个候选关键点在各 节点图像中的关键程度，其中第j个候选关键点在第z个节点图像中的关键程度记为

。

（2）计算各候选关键点在各节点图像中的邻域边长：

其中，

第j个候选关键点在第z个节点图像中的关键程度，该值越大说明第j个候 选关键点在第z个节点图像中越重要，因而在计算j候选关键点在第z个节点图像中的分布 密度时应更多的参考周围信息，因而第j个候选关键点在第z个节点图像的邻域范围应该越 大，

表示超参数，本实施例中A取

，其中

表示眼底图像的行数和列数的最大值，

表示 第j个候选关键点在第z个节点图像中的邻域边长；其中

，

表示向下取整符号，通过

来实现将邻域范围值始终取奇数。

因而第j个候选关键点在第z个节点图像中的邻域范围为

。

（3）计算各候选关键点在各节点图像中的分布密度：

由于本实施例中将各候选关键点在各节点图像中的分布密度作为各节点的节点值，通过上述过程已经得到了各候选关键点在各节点图像中的邻域范围，下面需结合各候选关键点在各节点图像中邻域范围内的信息得到各候选关键点在各节点图像中的分布密度，具体如下：

其中，

表示第j个候选关键点在第z个节点图像中的邻域范围，

表示第j个候 选关键点在第z个节点图像的邻域范围内的关键点个数，该值越大说明第j个候选关键点在 第z个节点图像的邻域范围内的关键点个数越多，因而第j个候选关键点在第z个节点图像 的关键点分布密度就越大，

表示第j个候选关键点在第z个节点图像中的分布密度。

同理得到各候选关键点在各节点图像中的分布密度，将各候选关键点在各节点图像中的分布密度作为该候选关键点下的该节点图像对应节点的节点值。

同理对各候选关键点下的各节点图像中各关键点进行处理得到各候选关键点下 的各节点图像中各关键点的分布密度，其中将第j个候选关键点第z个节点图像的第s个关 键点的分布密度记为

。

3、计算各连接边的边权值：

边权值应该表征每个节点对应的节点图像的分布特征的变化情况，即对应的两个节点图像中每个候选关键点的分布密度的变化情况，因而基于此得到各连接边的边权值：

将第j1个候选关键点的第p个节点图像与第j2个候选关键点的第q个节点图像进行匹配处理，第j1个候选关键点的第p个节点图像与第j2个候选关键点的第q个节点图像的各关键点之间构成多个匹配点对。假设第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点为匹配点对，将这两个关键点构成的匹配点对称为关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像的第s个匹配点对。利用步骤S002中计算各关键点的关键程度的计算方法计算第j1个候选关键点的第p个节点图像的第s1个关键点的关键程度和第j2个候选关键点的第q个节点图像的第s2个关键点的关键程度，将第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点的关键程度均值作为关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像的第s个匹配点对的关键程度；

根据关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度、第j1个候选关键点第p个节点图像第s1个关键点的分布密度和第j2个候选关键点第p个节点图像第s2个关键点的分布密度，得到关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值：

其中，

表示关于第j1个候选关键点第p个节点图像与第j2个候选关键点 第q个节点图像的第s个匹配点对的关键程度，该值越大说明匹配点对中的两个关键点均较 为重要，因而当两个关键点之间存储分布密度差异时影响较大；

表示第j1个候选关键 点第p个节点图像的第s1个关键点的分布密度，

表示第j2个候选关键点第q个节点图像 的第s2个关键点的分布密度，

表示第j1个候选关键点第p个节点图像的第s1个 关键点与第j2个候选关键点第q个节点图像的第s2个关键点的分布密度差异，该值越大说 明两个节点图像在这两个关键点处的分布差异越大，

表示关于第j1个候选关键 点第p个节点图像与第j2个候选关键点第q个节点图像的边权值，S表示第j1个候选关键点 第p个节点图像与第j2个候选关键点第q个节点图像之间的匹配点对的数量。

4、计算候选关键点之间的匹配值：

任意两个候选关键点的骨架图像序列构成一个二分图，利用上述计算节点值和边 权值的方法可以计算各二分图中各节点的节点值和节点之间的边权值，因而利用KM匹配算 法即可得到各候选关键点之间的二分图的匹配值，其中将第j1个候选关键点与第j2个候选 关键点之间的二分图的匹配值记为

。

5、计算各候选关键点的选取权重：

第j1个候选关键点与其他各候选关键点之间构成一个候选关键点对，每个候选关键点对均会对应一个匹配值，因而根据第j1个候选关键点与其他各候选关键点之间的二分图的匹配值得到第j1个候选关键点的选取权重为：

其中，

表示第

1个候选关键点与第j2个候选关键点之间的二分图的匹配值， 该值越大说明两个候选关键点作为焦点得到的眼底图像差异较小，当第j1个候选关键点作 为焦点得到的眼底图像与其他眼底图像的差异均较小时，说明第j1个候选关键点作为焦点 得到的眼底图像中包含的信息较多，因而第j1个候选关键点被选取为焦点的选取权重较 大；

表示第j1个候选关键点与其他候选关键点构成的候选关键点对的数量，

表示第j1个 候选关键点的选取权重。

将各候选关键点的选取权重利用Softmax归一化方法得到各候选关键点的归一化选取权重值，为了便于描述后续将各候选关键点的归一化选取权重称为各候选关键点的选取权重。

步骤S004，根据各候选关键点的选取权重得到最佳焦点坐标，作为相机焦点。

式中，

表示候选关键点的数量，

表示第j1个候选关键点的选取权重值，该值越 大说明第j1个候选关键点作为焦点时得到的眼底图像质量较高，因而在确定最佳焦点坐标 时，应该较多的参考该候选关键点；

表示第

个候选关键点的坐标，

表示最佳焦 点的横坐标，

表示最佳焦点的纵坐标。

综上所述，本发明实施例提供一种眼底图像的智能拍摄方法及系统，为了避免人为手动调整焦点导致采集到的眼底图像数据量较大，影响电视通讯效率，进而降低眼睛诊断效率较低，因而本实施例通过初始的相机参数获取眼底图像，并根据眼底图像进行骨架化提取获取每个关键点，根据每个关键点获取候选关键点。为了获取图像中准确的最佳焦点坐标，通过比较不同候选关键点为焦点下，不同焦距的眼底图像之间的候选关键点的分布差异，获取每个候选关键点的选取权重值。其中通过二分图KM匹配方法，以不同候选关键点为焦点且不同焦距情况下的眼底图像作为二分图中的节点，以节点对应的眼底图像中的候选关键点的邻域范围内的分布密度变化之间的差异，作为二分图的边权值，表征不同焦点不同焦距情况下候选关键点的分布变化差异，进而根据二分图KM匹配方法的匹配结果来表征每个候选关键点在不同焦距下对于最佳焦点的权重值的大小，进而获取准确的最佳焦点，避免了传统的自动调焦方法中，焦点选取不准确的情况，并且通过选取合理的最佳焦点，保证眼底图像中的关键区域不虚假，提高眼底图像的质量。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种眼底图像的智能拍摄系统，其特征在于，所述系统包括：

相机采集模块，该模块使用眼底相机采集高清的眼底图像视频序列；

图像通信模块，该模块包括WIFY模块，利用5G通信网络将相机采集模块采集的视频序列进行压缩编码以及传输，实现图像通信功能；

显示模块，该模块包含一个显示器，显示器能够接收图像通信模块传输来的视频图像并进行显示；

图像通信数据处理模块，该模块用于运行计算机程序，该程序处理相机采集模块中的眼底图像数据，获得相机焦点；

相机遥控模块，该模块将图像通信数据处理模块得到的相机焦点传输给眼底相机，然后相机进行焦点调节，调节之后相机再次采集视频序列，传输给显示模块；

相机手动控制模块，该模块根据显示模块显示的画面内容在显示器上选取一个焦点，然后该模块获得的焦点通过相机遥控模块传输给眼底相机，然后相机进行焦点调节，调节之后相机采集视频序列，传输给显示模块；

所述图像通信数据处理模块中的计算机程序执行的方法包括：采集得到初始眼底图像，根据初始眼底图像得到初始骨架图像以及初始骨架图像的多个关键点；计算初始骨架图像中各关键点的关键程度，根据各关键点的关键程度选取候选关键点，根据候选关键点得到各候选关键点的骨架图像序列；根据各候选关键点的骨架图像序列构建候选关键点之间的二分图，计算二分图中各节点的节点值和连接边的边权值，根据各节点的节点值和连接边的边权值得到候选关键点之间的二分图的匹配值，根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重；根据各候选关键点的选取权重得到相机焦点。

2.如权利要求1所述的一种眼底图像的智能拍摄系统，其特征在于，所述图像通信数据处理模块的计算机程序中的一种眼底图像的智能拍摄的方法，包括的具体步骤为：

获取得到初始骨架图像以及各初始骨架图像中的多个关键点，根据初始骨架图像中各关键点与相邻关键点的关系得到各关键点的关键程度，根据关键程度得到多个候选关键点，根据各候选关键点得到各候选关键点的骨架图像序列，将各候选关键点的骨架图像序列中各骨架图像作为一个节点图像，任意两个候选关键点的骨架图像序列构成一个候选关键点之间的二分图，获取各候选关键点在各节点图像的关键程度，根据各候选关键点在各节点图像的关键程度得到各候选关键点在各节点图像的邻域范围，根据各候选关键点在各节点图像的邻域范围得到各候选关键点在各节点图像的分布密度，将各候选关键点在各节点图像的分布密度作为节点图像所在节点的节点值；获取各候选关键点的各节点图像中各关键点的分布密度和关键程度，根据各候选关键点的各节点图像中各关键点的分布密度和关键程度得到关于候选关键点的节点图像之间的边权值；根据关于候选关键点的节点图像之间的边权值和各节点的节点值得到候选关键点之间的二分图的匹配值，根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重，根据候选关键点的坐标和选取权重得到最佳焦点的坐标并作为相机焦点。

3.如权利要求2所述的一种眼底图像的智能拍摄系统，其特征在于，所述根据初始骨架图像中各关键点与相邻关键点的关系得到各关键点的关键程度，包括的具体步骤为：

第i个关键点的关键程度计算公式为：

其中，

表示初始骨架图像中关键点的数量；

表示初始骨架图像中与第

个关键点相连接的关键点的数量；

表示初始骨架图像中与第

个关键点相连接的关键点的平均欧式距离，

表示第i个关键点的关键程度。

4.如权利要求2所述的一种眼底图像的智能拍摄系统，其特征在于，所述根据各候选关键点在各节点图像的邻域范围得到各候选关键点在各节点图像的分布密度，包括的具体步骤为：

第j个候选关键点在第z个节点图像中的分布密度计算公式为：

其中，

表示第j个候选关键点在第z个节点图像中的邻域范围，

表示第j个候选关键点在第z个节点图像的邻域范围内的关键点个数，

表示第j个候选关键点在第z个节点图像中的分布密度。

5.如权利要求2所述的一种眼底图像的智能拍摄系统，其特征在于，所述根据各候选关键点的各节点图像中各关键点的分布密度和关键程度得到关于候选关键点的节点图像之间的边权值，包括的具体步骤为：

将第j1个候选关键点的第p个节点图像与第j2个候选关键点的第q个节点图像进行匹配，假设第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点为匹配点对，将所述匹配点对称为关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对，计算第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点的关键程度均值，作为关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度；

根据关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度、第j1个候选关键点第p个节点图像第s1个关键点的分布密度和第j2个候选关键点第p个节点图像第s2个关键点的分布密度，得到关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值。

6.如权利要求5所述的一种眼底图像的智能拍摄系统，其特征在于，所述根据候选关键点各节点图像之间的各匹配点对的关键程度、各候选关键点各节点图像中各关键点的分布密度得到关于候选关键点的节点图像之间的边权值，包括的具体步骤：

关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值的计算公式为：

其中，

表示关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度；

表示第j1个候选关键点第p个节点图像的第s1个关键点的分布密度，

表示第j2个候选关键点第q个节点图像的第s2个关键点的分布密度，

表示关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值，Z表示第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的匹配点对的数量。

7.如权利要求2所述的一种眼底图像的智能拍摄系统，其特征在于，所述根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重，包括的具体步骤为：

将第j1个候选关键点与其他所有候选关键点之间的二分图的匹配值的累加和作为第j1个候选关键点的选取权重。

8.如权利要求2所述的一种眼底图像的智能拍摄系统，其特征在于，所述根据候选关键点的坐标和选取权重得到最佳焦点的坐标，包括的具体步骤为：

将各候选关键点的选取权重作为权重，将所有候选关键点的横坐标的加权累加和作为最佳焦点的横坐标，将所有候选关键点的纵坐标的加权累加和作为最佳焦点坐标的纵坐标。

Images