CN115802160B - 一种眼底图像的智能拍摄方法及系统 - Google Patents
一种眼底图像的智能拍摄方法及系统 Download PDFInfo
- Publication number
- CN115802160B CN115802160B CN202310053384.2A CN202310053384A CN115802160B CN 115802160 B CN115802160 B CN 115802160B CN 202310053384 A CN202310053384 A CN 202310053384A CN 115802160 B CN115802160 B CN 115802160B
- Authority
- CN
- China
- Prior art keywords
- image
- key point
- candidate key
- node
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及用于摄像机遥控的图像通信领域,具体涉及一种眼底图像的智能拍摄方法及系统,包括:获取得到各初始骨架图像中的关键点的关键程度,根据关键程度得到各候选关键点的骨架图像序列,根据所述骨架图像序列得到各候选关键点在各节点图像的关键程度以及各候选关键点在各节点图像的分布密度,根据各候选关键点的各节点图像中各关键点的分布密度和关键程度得到候选关键点的选取权重,根据所述选取权重得到最佳焦点坐标,从而实现为眼底相机确定一个准确的焦点坐标。本发明通过视频序列中眼底图像质量的好坏自适应的调节相机选择焦点,避免由于图像通信过程中盲目的或来回反复的调节相机,导致效率低的问题。
Description
技术领域
本申请涉及用于摄像机遥控的图像通信领域,具体涉及一种眼底图像的智能拍摄方法及系统。
背景技术
眼底相机可以用于检查眼部的健康问题,通过观察眼底相机不仅可以发现眼部疾病,还可以检测出高血压等全身的疾病,因此眼底相机的获取对于眼科疾病的检查以及其他人体全身血液循环疾病十分重要。
现有的利用眼底相机检测眼科疾病通常使用图像通信技术,即利用眼底相机拍摄眼底图像视频序列,然后眼底相机通过无线网络将视频序列传输到电视机等显示器上,然后医生通过显示器来观测眼睛病情,同时医生可以通过远程控制相机的参数,例如相机的焦点位置来观测眼底不同位置的病情。
但是现有的这种通过控制相机实现图像通信的方法存在一些问题,例如由于高清的眼底图像数据量大,进行无线传输是图像通信具有延时,在考虑到实际应用过程中,医生需要不断的控制相机焦点,这个过程中由于图像通信的延时导致医生不能实时的看到相机在被控制调整后的视频效果,导致盲目的或来回反复的调节相机,进而导致病情诊断效率低。
现有的图像通信技术中采用压缩图像的方法来提高图像通信效率,但是图像压缩量不大时依然会存在上述问题,当图像压缩量较大时,导致视频图像在电视上呈现的细节较少或者模糊不清晰,进而导致医生无法准确的控制相机,依旧导致病情诊断效率低。
考虑到只是使用图像通信技术检测眼科疾病,对图像通信过程的信号延迟不太关注,因此本发明提出一种用于图像通信的智能相机控制拍摄方法,通过视频序列中眼底图像质量的好坏自适应的调节相机焦点,避免由于通信过程中医生盲目的或来回反复的调节相机,进而导致病情诊断效率低的问题。
发明内容
为了解决上述技术问题,本发明提供一种眼底图像的智能拍摄系统,所述系统包括:
相机采集模块,该模块使用眼底相机采集高清的眼底图像视频序列;
图像通信模块,该模块包括WiFi模块,利用5G通信网络将相机采集模块采集的视频序列进行压缩编码以及传输,实现图像通信功能;
显示模块,该模块包含一个显示器,显示器能够接收图像通信模块传输来的视频图像并进行显示;
图像通信数据处理模块,该模块用于运行计算机程序,该程序处理相机采集模块中的眼底图像数据,获得相机焦点;
相机遥控模块,该模块将图像通信数据处理模块得到的相机焦点传输给眼底相机,然后相机进行焦点调节,调节之后相机再次采集视频序列,传输给显示模块;
相机手动控制模块,该模块根据显示模块显示的画面内容在显示器上选取一个焦点,然后该模块获得的焦点通过相机遥控模块传输给眼底相机,然后相机进行焦点调节,调节之后相机采集视频序列,传输给显示模块;
所述图像通信数据处理模块中的计算机程序执行的方法包括:采集得到初始眼底图像,根据初始眼底图像得到初始骨架图像以及初始骨架图像的多个关键点,根据初始骨架图像中各关键点与相邻关键点的关系得到各关键点的关键程度,根据关键程度得到多个候选关键点,根据各候选关键点得到各候选关键点的骨架图像序列,将各候选关键点的骨架图像序列中各骨架图像作为一个节点图像,任意两个候选关键点的骨架图像序列构成一个候选关键点之间的二分图,获取各候选关键点在各节点图像的关键程度,根据各候选关键点在各节点图像的关键程度得到各候选关键点在各节点图像的邻域范围,根据各候选关键点在各节点图像的邻域范围得到各候选关键点在各节点图像的分布密度,将各候选关键点在各节点图像的分布密度作为节点图像所在节点的节点值;获取各候选关键点的各节点图像中各关键点的分布密度和关键程度,根据各候选关键点的各节点图像中各关键点的分布密度和关键程度得到关于候选关键点的节点图像之间的边权值;根据关于候选关键点的节点图像之间的边权值和各节点的节点值得到候选关键点之间的二分图的匹配值,根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重,根据候选关键点的坐标和选取权重得到最佳焦点的坐标并作为相机焦点。
优选的,所述根据初始骨架图像中各关键点与相邻关键点的关系得到各关键点的关键程度,包括的具体步骤为:
第i个关键点的关键程度计算公式为:
优选的,所述根据各候选关键点在各节点图像的邻域范围得到各候选关键点在各节点图像的分布密度,包括的具体步骤为:
第j个候选关键点在第z个节点图像中的分布密度计算公式为:
优选的,所述根据各候选关键点的各节点图像中各关键点的分布密度和关键程度得到关于候选关键点的节点图像之间的边权值,包括的具体步骤为:
将第j1个候选关键点的第p个节点图像与第j2个候选关键点的第q个节点图像进行匹配,假设第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点为匹配点对,将所述匹配点对称为关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对,计算第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点的关键程度均值,作为关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度;
根据关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度、第j1个候选关键点第p个节点图像第s1个关键点的分布密度和第j2个候选关键点第p个节点图像第s2个关键点的分布密度,得到关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值。
优选的,所述根据候选关键点各节点图像之间的各匹配点对的关键程度、各候选关键点各节点图像中各关键点的分布密度得到关于候选关键点的节点图像之间的边权值,包括的具体步骤:
关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值的计算公式为:
其中,表示关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度;表示第j1个候选关键点第p个节点图像的第s1个关键点的分布密度,表示第j2个候选关键点第q个节点图像的第s2个关键点的分布密度,表示关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值,S表示第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的匹配点对的数量。
优选的,所述根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重,包括的具体步骤为:
将第j1个候选关键点与其他所有候选关键点之间的二分图的匹配值的累加和作为第j1个候选关键点的选取权重。
优选的,所述根据候选关键点的坐标和选取权重得到最佳焦点的坐标,包括的具体步骤为:
将各候选关键点的选取权重作为权重,将所有候选关键点的横坐标的加权累加和作为最佳焦点的横坐标,将所有候选关键点的纵坐标的加权累加和作为最佳焦点坐标的纵坐标。
本发明实施例至少具有如下有益效果:
为了避免人为手动调整焦点导致采集到的眼底图像数据量较大,影响图像通讯效率,进而降低眼睛诊断效率较低,因而本实施例通过初始的相机参数获取眼底图像,并根据眼底图像进行骨架化提取获取每个关键点,根据每个关键点获取候选关键点。为了获取图像中准确的最佳焦点坐标,通过比较不同候选关键点为焦点下,不同焦距的眼底图像之间的候选关键点的分布差异,获取每个候选关键点的选取权重值。其中通过二分图KM匹配方法,以不同候选关键点为焦点且不同焦距情况下的眼底图像作为二分图中的节点,以节点对应的眼底图像中的候选关键点的邻域范围内的分布密度变化之间的差异,作为二分图的边权值,表征不同焦点不同焦距情况下候选关键点的分布变化差异,进而根据二分图KM匹配方法的匹配结果来表征每个候选关键点在不同焦距下对于最佳焦点的权重值的大小,进而获取准确的最佳焦点,避免了传统的自动调焦方法中,焦点选取不准确的情况,并且通过选取合理的最佳焦点,保证眼底图像中的关键区域不虚假,提高眼底图像的质量。从而实现通过视频序列中眼底图像质量的好坏自适应的调节相机选择焦点,避免由于图像通信过程中医生盲目的或来回反复的调节相机,导致病情诊断效率低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明提供的一种眼底图像的智能拍摄系统的流程图;
图2为本法明提供的一种眼底图像的智能拍摄方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种眼底图像的智能拍摄方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种眼底图像的智能拍摄方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种眼底图像的智能拍摄系统的流程图,该系统包括以下步骤:
本实施例首先构建用于控制眼底相机的图像通信系统,该图像通信系统,包括:
相机采集模块,该模块使用眼底相机采集高清的眼底图像视频序列。
图像通信模块,该模块包括WiFi模块,利用5G通信网络将相机采集模块采集的视频序列进行压缩编码以及传输,实现图像通信功能。
显示模块,该模块包含一个显示器,如电视机、液晶屏等,本实施例以液晶屏为例进行叙述,显示器能够接收图像通信模块输来的视频图像并进行显示;
图像通信数据处理模块,该模块用于运行计算机程序,该程序处理相机采集模块中的眼底图像数据,获得相机焦点。
相机遥控模块,该模块将图像通信数据处理模块得到的相机焦点传输给眼底相机,然后相机进行焦点调节,调节之后相机再次采集视频序列,传输给显示模块。
相机手动控制模块,该模块与医生进行交互,即医生根据显示模块显示的画面内容,通过摇杆或者鼠标在显示器上选取一个焦点。模块根据显示模块显示的画面内容在显示器上选取一个焦点,然后该模块获得的焦点通过相机遥控模块传输给眼底相机,然后相机进行焦点调节,调节之后相机采集视频序列,传输给显示模块。
其中相机手动控制模块和图像通信数据处理模块都是用于获取相机焦点,其中的图像通信数据处理模块是自动的获取相机焦点,无需人为的参与,该模块通过视频序列中眼底图像质量的好坏自适应的调节相机选择焦点,避免由于图像通信过程中医生盲目的或来回反复的调节相机,导致病情诊断效率低的问题;图像通信数据处理模块中的计算机程序执行的方法包括:S001:采集得到初始眼底图像,根据初始眼底图像得到初始骨架图像以及初始骨架图像的多个关键点;S002:计算初始骨架图像中各关键点的关键程度,根据各关键点的关键程度选取候选关键点,根据候选关键点得到各候选关键点的骨架图像序列;S003:根据各候选关键点的骨架图像序列构建候选关键点之间的二分图,计算二分图中各节点的节点值和连接边的边权值,根据各节点的节点值和连接边的边权值得到候选关键点之间的二分图的匹配值,根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重;S004:根据各候选关键点的选取权重得到最佳焦点坐标,即所述的相机焦点。
请参阅图2,图像通信数据处理模块中的计算机程序执行一种眼底图像的智能拍摄方法,具体如下:
步骤S001,采集得到初始眼底图像,根据初始眼底图像得到初始骨架图像以及初始骨架图像的多个关键点。
1、利用相机采集模块中的眼底相机,采集得到初始眼底图像。需要说明的此时眼底相机的相机参数是预设设置的,例如相机的焦点位置事先由相机手动控制模块得到,由于本实施例中主要是对眼底相机的焦点进行分析,因而后续再采集图像时,需保障眼底相机的其他参数保持不变。
2、获取初骨架图像的所有关键点:
由于眼底图像的蓝色通道含有的特征关键点的信息较少,因此本实施例中主要对红色通道和绿色通道进行分析。
根据初始眼底图像得到初始眼底图像的初始骨架图像:获取初始眼底图像的红色通道和绿色通道,将红色通道与绿色通道的同位置像素求均值得到初始融合图像,利用骨架提取算法对初始融合图像进行处理得到初始融合图像的初始骨架图像。
将初始骨架图像中像素值不为0像素点为初始骨架图像的关键点。
步骤S002,计算初始骨架图像中各关键点的关键程度,根据各关键点的关键程度选取候选关键点,根据候选关键点得到各候选关键点的骨架图像序列。
计算各关键点的关键程度:
在眼底图像中,血管的交点处是眼底图像研究的重点关注信息,因而基于此来计算各关键点的关键程度。
关键点的关键程度与关键点的聚集程度和相邻关键点的数量有关,第i个关键点的关键程度为:
同理得到初始骨架图像中各关键点的关键程度。
2、获取各关键点的骨架图像序列:
步骤S003,根据各候选关键点的骨架图像序列构建候选关键点之间的二分图,计算二分图中各节点的节点值和连接边的边权值,根据各节点的节点值和连接边的边权值得到候选关键点之间的二分图的匹配值,根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重。
为了确保眼底相机采集到的眼底图像质量较好,需将眼底相机聚焦在合适的位置,因而通过分析不同候选关键点作为焦点时得到的眼底图像的情况来确定各候选关键点作为焦点的选取权重。当各候选关键点作为焦点采集到的眼底图像质量较高时,该眼底图像包含较多的关键信息,因而该眼底图像与其他候选关键点作为焦点时采集到的眼底图像具有较多的相似信息,因而该眼底图像与其他候选关键点作为焦点时采集到的眼底图像匹配值较高,因而基于此来对各候选关键点作为焦点时采集眼底图像进行分析得到各关键点作为焦点的选取权重。
构建候选关键点之间的二分图:
将第j个候选关键点的骨架图像序列中的每个骨架图像以及第j+1个候选关键点的骨架图像序列中的每个骨架图像分别作为二分图中的各节点图像,得到第j个候选关键点与第j+1候选关键点之间的二分图,然后该二分图的KM匹配值,通过此来反应上述两个候选关键点的不同焦距的图像之间的匹配关系,同理将任意两个候选关键点的骨架图像序列构成二分图,来计算二分图的KM匹配值。
由于在KM匹配过程中,需要计算二分图中每个节点的节点值以及对应的边权值,其中本实施例中利用各候选节点在不同骨架图像中的分布特征作为各节点的节点值。
2、计算各节点的节点值:
一个候选关键点对应多张节点图像,每个节点为一个候选关键点下的一个节点图像,为了便于描述将每个节点对应的图像称为节点图像。通过对每个节点图像进行分析,将节点图像中候选关键点处的分布密度作为每个节点的节点值。而候选关键点的分布密度与邻域范围内的其他像素点存在较大的联系,因而需先根据各候选关键点的关键程度来确定各候选关键点的邻域范围,其中候选关键点的关键程度越大,说明该候选关键点越重要,则计算候选关键点的分布密度过程中,应参考较多的该候选关键点的邻域范围内的像素点信息,因而该候选关键点的邻域范围就越大,其中第个候选关键点的邻域范围为:
计算各候选关键点在各节点图像中的关键程度:
这些骨架图像上都包含第j个候选关键点,分别为第j个候选关键点的节点图像,利用步骤S002中计算各关键点的关键程度的方法对第j个候选关键点在各节点图像进行处理得到第j个候选关键点在各节点图像中的关键程度,其中第j个候选关键点在第z个节点图像中的关键程度记为。
计算各候选关键点在各节点图像中的邻域边长:
其中,第j个候选关键点在第z个节点图像中的关键程度,该值越大说明第j个候选关键点在第z个节点图像中越重要,因而在计算j候选关键点在第z个节点图像中的分布密度时应更多的参考周围信息,因而第j个候选关键点在第z个节点图像的邻域范围应该越大,表示超参数,本实施例中A取,其中表示眼底图像的行数和列数的最大值,表示第j个候选关键点在第z个节点图像中的邻域边长;其中,表示向下取整符号,通过来实现将邻域范围值始终取奇数。
计算各候选关键点在各节点图像中的分布密度:
由于本实施例中将各候选关键点在各节点图像中的分布密度作为各节点的节点值,通过上述过程已经得到了各候选关键点在各节点图像中的邻域范围,下面需结合各候选关键点在各节点图像中邻域范围内的信息得到各候选关键点在各节点图像中的分布密度,具体如下:
其中,表示第j个候选关键点在第z个节点图像中的邻域范围,表示第j个候选关键点在第z个节点图像的邻域范围内的关键点个数,该值越大说明第j个候选关键点在第z个节点图像的邻域范围内的关键点个数越多,因而第j个候选关键点在第z个节点图像的关键点分布密度就越大,表示第j个候选关键点在第z个节点图像中的分布密度。
同理得到各候选关键点在各节点图像中的分布密度,将各候选关键点在各节点图像中的分布密度作为该候选关键点下的该节点图像对应节点的节点值。
3、计算各连接边的边权值:
边权值应该表征每个节点对应的节点图像的分布特征的变化情况,即对应的两个节点图像中每个候选关键点的分布密度的变化情况,因而基于此得到各连接边的边权值:
将第j1个候选关键点的第p个节点图像与第j2个候选关键点的第q个节点图像进行匹配处理,第j1个候选关键点的第p个节点图像与第j2个候选关键点的第q个节点图像的各关键点之间构成多个匹配点对。假设第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点为匹配点对,将这两个关键点构成的匹配点对称为关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像的第s个匹配点对。利用步骤S002中计算各关键点的关键程度的计算方法计算第j1个候选关键点的第p个节点图像的第s1个关键点的关键程度和第j2个候选关键点的第q个节点图像的第s2个关键点的关键程度,将第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点的关键程度均值作为关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像的第s个匹配点对的关键程度;
根据关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度、第j1个候选关键点第p个节点图像第s1个关键点的分布密度和第j2个候选关键点第p个节点图像第s2个关键点的分布密度,得到关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值:
其中,表示关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像的第s个匹配点对的关键程度,该值越大说明匹配点对中的两个关键点均较为重要,因而当两个关键点之间存储分布密度差异时影响较大;表示第j1个候选关键点第p个节点图像的第s1个关键点的分布密度,表示第j2个候选关键点第q个节点图像的第s2个关键点的分布密度,表示第j1个候选关键点第p个节点图像的第s1个关键点与第j2个候选关键点第q个节点图像的第s2个关键点的分布密度差异,该值越大说明两个节点图像在这两个关键点处的分布差异越大,表示关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像的边权值,S表示第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的匹配点对的数量。
计算候选关键点之间的匹配值:
任意两个候选关键点的骨架图像序列构成一个二分图,利用上述计算节点值和边权值的方法可以计算各二分图中各节点的节点值和节点之间的边权值,因而利用KM匹配算法即可得到各候选关键点之间的二分图的匹配值,其中将第j1个候选关键点与第j2个候选关键点之间的二分图的匹配值记为。
计算各候选关键点的选取权重:
第j1个候选关键点与其他各候选关键点之间构成一个候选关键点对,每个候选关键点对均会对应一个匹配值,因而根据第j1个候选关键点与其他各候选关键点之间的二分图的匹配值得到第j1个候选关键点的选取权重为:
其中,表示第1个候选关键点与第j2个候选关键点之间的二分图的匹配值,该值越大说明两个候选关键点作为焦点得到的眼底图像差异较小,当第j1个候选关键点作为焦点得到的眼底图像与其他眼底图像的差异均较小时,说明第j1个候选关键点作为焦点得到的眼底图像中包含的信息较多,因而第j1个候选关键点被选取为焦点的选取权重较大;表示第j1个候选关键点与其他候选关键点构成的候选关键点对的数量,表示第j1个候选关键点的选取权重。
将各候选关键点的选取权重利用Softmax归一化方法得到各候选关键点的归一化选取权重值,为了便于描述后续将各候选关键点的归一化选取权重称为各候选关键点的选取权重。
步骤S004,根据各候选关键点的选取权重得到最佳焦点坐标,作为相机焦点。
式中,表示候选关键点的数量,表示第j1个候选关键点的选取权重值,该值越大说明第j1个候选关键点作为焦点时得到的眼底图像质量较高,因而在确定最佳焦点坐标时,应该较多的参考该候选关键点;表示第个候选关键点的坐标,表示最佳焦点的横坐标,表示最佳焦点的纵坐标。
综上所述,本发明实施例提供一种眼底图像的智能拍摄方法及系统,为了避免人为手动调整焦点导致采集到的眼底图像数据量较大,影响电视通讯效率,进而降低眼睛诊断效率较低,因而本实施例通过初始的相机参数获取眼底图像,并根据眼底图像进行骨架化提取获取每个关键点,根据每个关键点获取候选关键点。为了获取图像中准确的最佳焦点坐标,通过比较不同候选关键点为焦点下,不同焦距的眼底图像之间的候选关键点的分布差异,获取每个候选关键点的选取权重值。其中通过二分图KM匹配方法,以不同候选关键点为焦点且不同焦距情况下的眼底图像作为二分图中的节点,以节点对应的眼底图像中的候选关键点的邻域范围内的分布密度变化之间的差异,作为二分图的边权值,表征不同焦点不同焦距情况下候选关键点的分布变化差异,进而根据二分图KM匹配方法的匹配结果来表征每个候选关键点在不同焦距下对于最佳焦点的权重值的大小,进而获取准确的最佳焦点,避免了传统的自动调焦方法中,焦点选取不准确的情况,并且通过选取合理的最佳焦点,保证眼底图像中的关键区域不虚假,提高眼底图像的质量。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种眼底图像的智能拍摄系统,其特征在于,所述系统包括:
相机采集模块,该模块使用眼底相机采集高清的眼底图像视频序列;
图像通信模块,该模块将相机采集模块采集的视频序列进行压缩编码后,利用5G通信网络进行传输,实现图像通信功能;
显示模块,该模块包含一个显示器,显示器能够接收图像通信模块传输来的视频图像并进行显示;
图像通信数据处理模块,该模块用于运行计算机程序,该程序处理相机采集模块中的眼底图像数据,获得相机焦点;
相机遥控模块,该模块将图像通信数据处理模块得到的相机焦点传输给眼底相机,然后相机进行焦点调节,调节之后相机再次采集视频序列,传输给显示模块;
相机手动控制模块,该模块根据显示模块显示的画面内容在显示器上选取一个焦点,然后该模块获得的焦点通过相机遥控模块传输给眼底相机,然后相机进行焦点调节,调节之后相机采集视频序列,传输给显示模块;
所述图像通信数据处理模块中的计算机程序执行的方法包括:采集得到初始眼底图像,根据初始眼底图像得到初始骨架图像以及初始骨架图像的多个关键点,根据初始骨架图像中各关键点与相邻关键点的关系得到各关键点的关键程度,根据关键程度得到多个候选关键点,根据各候选关键点得到各候选关键点的骨架图像序列,将各候选关键点的骨架图像序列中各骨架图像作为一个节点图像,任意两个候选关键点的骨架图像序列构成一个候选关键点之间的二分图,获取各候选关键点在各节点图像的关键程度,根据各候选关键点在各节点图像的关键程度得到各候选关键点在各节点图像的邻域范围,根据各候选关键点在各节点图像的邻域范围得到各候选关键点在各节点图像的分布密度,将各候选关键点在各节点图像的分布密度作为节点图像所在节点的节点值;获取各候选关键点的各节点图像中各关键点的分布密度和关键程度,根据各候选关键点的各节点图像中各关键点的分布密度和关键程度得到关于候选关键点的节点图像之间的边权值;根据关于候选关键点的节点图像之间的边权值和各节点的节点值得到候选关键点之间的二分图的匹配值,根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重,根据候选关键点的坐标和选取权重得到最佳焦点的坐标并作为相机焦点。
4.如权利要求1所述的一种眼底图像的智能拍摄系统,其特征在于,所述根据各候选关键点的各节点图像中各关键点的分布密度和关键程度得到关于候选关键点的节点图像之间的边权值,包括的具体步骤为:
将第j1个候选关键点的第p个节点图像与第j2个候选关键点的第q个节点图像进行匹配,假设第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点为匹配点对,将所述匹配点对称为关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对,计算第j1个候选关键点的第p个节点图像的第s1个关键点与第j2个候选关键点的第q个节点图像的第s2个关键点的关键程度均值,作为关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度;
根据关于j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的第s个匹配点对的关键程度、第j1个候选关键点第p个节点图像第s1个关键点的分布密度和第j2个候选关键点第p个节点图像第s2个关键点的分布密度,得到关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值。
5.如权利要求4所述的一种眼底图像的智能拍摄系统,其特征在于,所述根据候选关键点各节点图像之间的各匹配点对的关键程度、各候选关键点各节点图像中各关键点的分布密度得到关于候选关键点的节点图像之间的边权值,包括的具体步骤:
关于第j1个候选关键点第p个节点图像与第j2个候选关键点第q个节点图像之间的边权值的计算公式为:
6.如权利要求1所述的一种眼底图像的智能拍摄系统,其特征在于,所述根据候选关键点之间的二分图的匹配值得到候选关键点的选取权重,包括的具体步骤为:
将第j1个候选关键点与其他所有候选关键点之间的二分图的匹配值的累加和作为第j1个候选关键点的选取权重。
7.如权利要求1所述的一种眼底图像的智能拍摄系统,其特征在于,所述根据候选关键点的坐标和选取权重得到最佳焦点的坐标,包括的具体步骤为:
将各候选关键点的选取权重作为权重,将所有候选关键点的横坐标的加权累加和作为最佳焦点的横坐标,将所有候选关键点的纵坐标的加权累加和作为最佳焦点坐标的纵坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310053384.2A CN115802160B (zh) | 2023-02-03 | 2023-02-03 | 一种眼底图像的智能拍摄方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310053384.2A CN115802160B (zh) | 2023-02-03 | 2023-02-03 | 一种眼底图像的智能拍摄方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115802160A CN115802160A (zh) | 2023-03-14 |
CN115802160B true CN115802160B (zh) | 2023-04-11 |
Family
ID=85429619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310053384.2A Active CN115802160B (zh) | 2023-02-03 | 2023-02-03 | 一种眼底图像的智能拍摄方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115802160B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413322A (zh) * | 2013-07-16 | 2013-11-27 | 南京师范大学 | 序列视频关键帧提取方法 |
CN110709002A (zh) * | 2017-05-18 | 2020-01-17 | 伟伦公司 | 眼底图像捕获 |
WO2020119458A1 (zh) * | 2018-12-10 | 2020-06-18 | 腾讯科技(深圳)有限公司 | 脸部关键点检测方法、装置、计算机设备和存储介质 |
CN112069988A (zh) * | 2020-09-04 | 2020-12-11 | 徐尔灵 | 一种基于枪球联动的驾驶员安全驾驶行为检测方法 |
CN112149494A (zh) * | 2020-08-06 | 2020-12-29 | 中国地质大学(武汉) | 一种多人姿态识别方法及系统 |
CN112220447A (zh) * | 2020-10-14 | 2021-01-15 | 上海鹰瞳医疗科技有限公司 | 眼底相机及眼底图像拍摄方法 |
-
2023
- 2023-02-03 CN CN202310053384.2A patent/CN115802160B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413322A (zh) * | 2013-07-16 | 2013-11-27 | 南京师范大学 | 序列视频关键帧提取方法 |
CN110709002A (zh) * | 2017-05-18 | 2020-01-17 | 伟伦公司 | 眼底图像捕获 |
WO2020119458A1 (zh) * | 2018-12-10 | 2020-06-18 | 腾讯科技(深圳)有限公司 | 脸部关键点检测方法、装置、计算机设备和存储介质 |
CN112149494A (zh) * | 2020-08-06 | 2020-12-29 | 中国地质大学(武汉) | 一种多人姿态识别方法及系统 |
CN112069988A (zh) * | 2020-09-04 | 2020-12-11 | 徐尔灵 | 一种基于枪球联动的驾驶员安全驾驶行为检测方法 |
CN112220447A (zh) * | 2020-10-14 | 2021-01-15 | 上海鹰瞳医疗科技有限公司 | 眼底相机及眼底图像拍摄方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115802160A (zh) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11880972B2 (en) | Tissue nodule detection and tissue nodule detection model training method, apparatus, device, and system | |
WO2021147500A1 (zh) | 内窥镜图像处理方法、装置、电子设备及存储介质 | |
US11790672B2 (en) | Image processing method, microscope, image processing system, and medium based on artificial intelligence | |
WO2006100808A1 (ja) | カプセル内視鏡画像表示制御装置 | |
CN113379693A (zh) | 基于视频摘要技术的胶囊内镜关键病灶图像检测方法 | |
CN104125410A (zh) | 一种全景视频多镜头曝光补偿方法及其装置 | |
CN104867125B (zh) | 获取图像的方法以及装置 | |
CN112465772A (zh) | 眼底彩照图像血管评估方法、装置、计算机设备和介质 | |
CN111080639A (zh) | 基于人工智能的多场景消化道内镜图像识别方法及系统 | |
CN111784668A (zh) | 基于感知哈希算法的消化内镜检查影像自动冻结的方法 | |
CN113610887A (zh) | 胶囊内窥镜运动拍摄路径的确定方法、存储介质和设备 | |
US11636582B1 (en) | Stitching quality evaluation method and system and redundancy reduction method and system for low-altitude unmanned aerial vehicle remote sensing images | |
CN102104784A (zh) | 一种大数据量的像素集窗宽窗位调节方法 | |
CN104274164A (zh) | 一种基于人脸图像的血压预测方法及手机 | |
CN110706794B (zh) | 一种医学图像处理系统和医学图像处理方法 | |
CN115802160B (zh) | 一种眼底图像的智能拍摄方法及系统 | |
CN116614705A (zh) | 基于多模态视频特征分析的采煤工作面相机调控系统 | |
CN110458834B (zh) | 一种乳腺肿瘤图像处理系统、方法及装置 | |
CN108470585A (zh) | 一种互动式虚拟切片远程标注方法及系统 | |
CN113128517B (zh) | 色调映射图像混合视觉特征提取模型建立及质量评价方法 | |
CN112381821A (zh) | 一种智能手持式眼底相机以及图像分析方法 | |
CN111064864A (zh) | 设置畸变校正参数的方法、装置和内窥镜系统 | |
CN117095169A (zh) | 超声影像疾病识别方法及系统 | |
CN111507948A (zh) | 基于机器视觉的超声视频流关键图像自动截取系统和方法 | |
CN113676706B (zh) | 烹饪视频生成方法、装置、服务器及控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |