CN118340496A - 目诊仪自动定位采集装置、方法、电子设备及存储介质 - Google Patents
目诊仪自动定位采集装置、方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118340496A CN118340496A CN202410235923.9A CN202410235923A CN118340496A CN 118340496 A CN118340496 A CN 118340496A CN 202410235923 A CN202410235923 A CN 202410235923A CN 118340496 A CN118340496 A CN 118340496A
- Authority
- CN
- China
- Prior art keywords
- camera
- imaging
- lens
- detected
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003384 imaging method Methods 0.000 claims abstract description 154
- 210000001508 eye Anatomy 0.000 claims abstract description 67
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 41
- 210000003128 head Anatomy 0.000 claims abstract description 25
- 210000001061 forehead Anatomy 0.000 claims abstract description 16
- 238000005286 illumination Methods 0.000 claims abstract description 5
- 241001469893 Oxyzygonectes dovii Species 0.000 claims description 63
- 230000006870 function Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 25
- 210000000554 iris Anatomy 0.000 description 20
- 210000003786 sclera Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 210000004087 cornea Anatomy 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 210000004240 ciliary body Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000000795 conjunctiva Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000003889 eye drop Substances 0.000 description 1
- 229940012356 eye drops Drugs 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 208000037911 visceral disease Diseases 0.000 description 1
Abstract
本申请涉及医疗检测技术领域,特别涉及一种目诊仪自动定位采集装置、方法、电子设备及存储介质,其中,装置包括:成像系统,包括相机、镜头和照明设备;运动平台,用于在待测人员头部置于额托后,基于人眼定位信息确定待测人员的眼球对应的待测区域,并移动成像系统的相机和镜头以将成像范围移动至待测区域;控制模块,用于在移动至待测区域之后,根据成像范围和图像清晰度控制运动平台进一步移动相机和/或镜头,使得成像焦点和成像范围移至待测区域上,得到最终成像结果。由此,解决了相关技术中,相机位置相对固定,导致需要移动待测人员的头部位置,成像操作繁琐,且待测人员的不自主运动,降低了成像的效率和精确性等技术问题。
Description
技术领域
本申请涉及医疗检测技术领域,特别涉及一种目诊仪自动定位采集装置、方法、电子设备及存储介质。
背景技术
随着现代医学技术的不断发展,中医在努力与现代科技相结合,实现诊断和治疗方法的现代化。中医的“望诊”主要是通过观察患者的面部、舌部以及眼睛等部位进行诊断。其中,眼睛可以直接观察到血管的器官,反映身体的健康状况,而白睛的不同部位与人体的脏腑相对应。因此,可以通过对白睛的观察和分析,辅助医生识别和评估脏腑疾病。
相关技术中,可以借助现代光学成像技术、图像处理算法、人工智能诊断方法进行白睛成像和诊断研究,辅助医生进行诊疗和决策,也可以利用微型目诊仪对白睛成像,从而对人体的健康情况进行分析,也可以将巩膜成像和人工智能相结合进行诊断分析。
然而,相关技术中,相机位置相对固定,导致需要移动待测人员的头部位置,从而将待测人员的眼球移动至最佳成像位置,成像操作繁琐,并且待测人员的不自主运动,导致眼球离焦,降低了成像的效率和精确性,亟需改进。
发明内容
本申请提供一种目诊仪自动定位采集装置、方法、电子设备及存储介质,以解决相关技术中,相机位置相对固定,导致需要移动待测人员的头部位置,成像操作繁琐,并且待测人员的不自主运动,降低了成像的效率和精确性等技术问题。
本申请第一方面实施例提供一种目诊仪自动定位采集装置,包括:成像系统,所述成像系统包括相机、镜头和照明设备;运动平台,用于在待测人员头部置于额托后,基于人眼定位信息确定所述待测人员的眼球对应的待测区域,并移动所述成像系统的相机和所述镜头以将成像范围移动至所述待测区域;以及控制模块,用于在移动至所述待测区域之后,根据相机成像范围和图像清晰度控制所述运动平台进一步移动所述相机和/或所述镜头,使得成像焦点和成像范围移至所述待测区域上,以使所述成像系统对所述待测区域成像,得到最终成像结果。
可选地,在本申请的一个实施例中,所述相机可以但不限于为白睛相机,且所述照明设备可以为白睛照明系统,其中,所述白睛照明系统可以但不限于包括第一至第四LED(Light Emitting Diode,发光二极管)灯源,所述第一至第四LED灯源与左侧部分白睛、右侧部分白睛、上侧部分白睛和下侧部分白睛对应设置。
可选地,在本申请的一个实施例中,所述运动平台进一步用于根据人眼图像进行霍夫变换得到所述人眼定位信息,或者利用预先构建的人眼定位模型,输出所述人眼定位信息。
可选地,在本申请的一个实施例中,所述运动平台包括:上下移动平台,用于调整所述相机和所述镜头相对所述待测人员的竖直高度;左右移动平台,用于调整所述相机和所述镜头与所述待测人员之间的水平距离;前后移动平台,用于调整所述相机与所述待测人员之间的前后距离,和/或所述相机与所述镜头的距离。
可选地,在本申请的一个实施例中,所述前后移动平台进一步用于调整成像焦点和成像范围,其中,调整所述相机与所述待测人员之间的距离和/或调整所述相机和所述镜头的距离。
可选地,在本申请的一个实施例中,所述控制模块进一步用于在调焦过程中根据采集的当前帧和前一帧的图像清晰度差异决定下一步调焦搜索的方向,以收敛到最佳聚焦位置。
可选地,在本申请的一个实施例中,所述图像清晰度的评价函数可以为:
其中,EV可以用于评价图像清晰度,M、N表示图像具有M列和N行像素,f(x,y)表示第x列、第y行像素的灰度值,p表示图像平均灰度值。EV值越大,图像越清晰。
本申请第二方面实施例提供一种目诊仪自动定位采集方法,包括以下步骤:在所述待测人员头部置于额托后,基于所述人眼定位信息确定所述待测人员的眼球对应的待测区域,并移动所述成像系统的相机和所述镜头以将成像范围移动至所述待测区域;在移动至所述待测区域之后,根据所述成像范围和图像清晰度控制所述运动平台进一步移动所述相机和/或所述镜头,使得成像焦点和成像范围移至所述待测区域上,以使所述成像系统对所述待测区域成像,得到所述最终成像结果。
可选地,在本申请的一个实施例中,在基于所述人眼定位信息确定所述待测人员的眼球对应的待测区域之前,还包括:根据人眼图像进行霍夫变换得到所述人眼定位信息;或者,利用预先构建的人眼定位模型,输出所述人眼定位信息。
本申请第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的目诊仪自动定位采集方法。
本申请第四方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,该程序被处理器执行时实现如上的目诊仪自动定位采集方法。
本申请实施例可以在待测人员的头部置于额托后,能够基于人眼定位信息确定其待测区域,并自动移动相机和镜头至待测区域,适用于更多的使用场景,如白睛成像、巩膜成像、眼底成像等,进一步根据成像范围和图像清晰度移动相机和/或镜头,使成像焦点和成像范围移至待测区域,进而得到最终成像结果,实现了通过自动调整相机和/或镜头的位置获取待测区域的成像结果,操作更加简单方便,提高了成像的效率和精确性。由此,解决了相关技术中,相机位置相对固定,导致需要移动待测人员的头部位置,成像操作繁琐,并且待测人员的不自主运动,降低了成像的效率和精确性等技术问题。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请实施例提供的目诊仪自动定位采集装置的方框示意图;
图2为根据本申请一个实施例提供的待测人员眼球、镜头和相机安装位置的结构示意图;
图3为根据本申请一个实施例提供的基于霍夫变换的虹膜定位算法的流程图;
图4为根据本申请一个实施例提供的基于不同应用场景和实现指标的调焦方法分类的方框示意图;
图5为根据本申请一个实施例提供的对焦深度法的工作原理的流程图;
图6为根据本申请实施例提供的目诊仪自动定位采集装置的工作原理的流程图;
图7为根据本申请实施例提供的一种目诊仪自动定位采集方法的流程图;
图8为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的目诊仪自动定位采集装置、方法、电子设备及存储介质。针对上述背景技术中提到的相机位置相对固定,导致需要移动待测人员的头部位置,成像操作繁琐,并且待测人员的不自主运动,降低了成像的效率和精确性的技术问题,本申请提供了一种目诊仪自动定位采集装置,在该装置中,可以在待测人员的头部置于额托后,能够基于人眼定位信息确定其待测区域,并自动移动相机和镜头至待测区域,适用于更多的使用场景,如白睛成像、巩膜成像、眼底成像等,进一步根据成像范围和图像清晰度移动相机和/或镜头,使成像焦点和成像范围移至待测区域,进而得到最终成像结果,实现了通过自动调整相机和/或镜头的位置获取待测区域的成像结果,操作更加简单方便,提高了成像的效率和精确性。由此,解决了相关技术中,相机位置相对固定,导致需要移动待测人员的头部位置,成像操作繁琐,并且待测人员的不自主运动,降低了成像的效率和精确性等技术问题。
具体而言,图1为根据本申请实施例提供的目诊仪自动定位采集装置的方框示意图。
如图1所示,该目诊仪自动定位采集装置10包括:成像系统100、运动平台200和控制模块300。
具体地,成像系统100包括相机、镜头和照明设备。
其中,相机可以但不限于为白睛相机。
在一个可实现示例中,照明设备可以为白睛照明系统。其中,白睛照明系统可以但不限于包括第一至第四LED灯源,第一至第四LED灯源与左侧部分白睛、右侧部分白睛、上侧部分白睛和下侧部分白睛对应设置。
可以理解的是,白睛又可以称为白仁、白珠、眼白等,在医学领域,白睛是中医对眼球壁外层的称呼,是眼球壁外层的一部分,可以包括球结膜和巩膜。其中,眼球可以但不限于包括角膜、巩膜、虹膜、睫状体、脉络膜、视网膜等,本申请不作具体限制。
本申请实施例的白睛相机是一种相机设备,可以用于拍摄眼球的图像,具体地,可以使用CCD(Charge Coupled Device,电荷耦合器件相机)相机作为白睛相机,也可以使用CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)相机作为白睛相机,还可以使用数字单反相机作为白睛相机,以及一些其他相机如便携式数码相机、手机摄像头等相机作为白睛相机,相机可由本领域内技术人员根据实际情况进行设置,本申请不作具体限制。
另外,在本申请的一个实施例中,白睛相机的接收光和视标的发射光同为可见光,因此,可以共用光路达到节省空间的目的,当待测人员转动眼珠后,可以使用白睛相机捕捉待测人员的白睛图像。
进一步地,本申请实施例的镜头可以但不限于自动对焦镜头、定焦镜头、变焦镜头等,本申请不做具体限制。可以理解为,在本申请实施例中,可以使用自动对焦镜头调整成像焦点,也可以使用定焦镜头调整成像焦点,还可以使用变焦镜头调整成像焦点,本申请不作具体限制。
进一步地,本申请实施例的白睛照明系统可以使用普通LED灯源,也可以使用其他类型的光源,本申请不作具体限制,而白睛照明系统的安装方向可以使用四个方向的灯源,也可以使用环形照明灯等其他形状,与第一至第四LED灯源相对应,并可以获取左侧部分白睛的图像、右侧部分白睛的图像、上侧部分白睛的图像和下侧部分白睛的图像。其中,第一至第四LED灯源可以理解为相对白睛位置的左、右、上、下四个方向的灯源,具体方向的划定可由本领域技术人员根据实际情况进行设置,本申请不作具体限制。
作为一种可能实现的方式,本申请实施例的成像系统100包括相机、镜头、照明设备。其中,相机可以为白睛相机,待测人员转动眼珠后,可以利用白睛相机捕捉待测人员的白睛图像,照明设备可以为白睛照明系统,为获取左侧部分白睛、右侧部分白睛、上侧部分白睛和下侧部分白睛图像提供照明。
具体的,待测人员眼球、镜头和相机安装位置的结构示意图可以如图2所示,目诊仪自动定位采集装置10还可以包括眼球400、相机101、镜头102、上下移动平台201、左右移动平台202和前后移动平台203。
举例而言,待测人员头部置于额托后,位置保持固定,打开白睛照明系统,白睛相机101开始拍照。当白睛相机101拍摄左侧部分白睛时,右侧灯源打开,待测人员转动眼珠朝向右侧灯源,白睛相机101拍摄图片。当白睛相机101拍摄右侧部分白睛时,左侧灯源打开,待测人员转动眼珠朝向左侧灯源,白睛相机101拍摄图片。当白睛相机101拍摄上侧部分白睛时,下侧灯源打开,待测人员转动眼珠朝向下侧灯源,白睛相机101拍摄图片。当白睛相机101拍摄下侧部分白睛时,上侧灯源打开,待测人员转动眼珠朝向上侧灯源,白睛相机101拍摄图片。
运动平台200,用于在待测人员头部置于额托后,基于人眼定位信息确定待测人员的眼球400对应的待测区域,并移动成像系统100的相机101和镜头102以将成像范围移动至待测区域。
可以理解的是,待测人员可以为但不限于医生、患者、护士等,本申请不作具体限制,其眼球400对应的待测区域可以为但不限于眼球400的角膜、巩膜、虹膜、视网膜等,本申请不作具体限制。另外,本申请实施例相机101的移动可以通过电机控制实现,也可以利用位移台实现等,本申请不作具体限制。镜头102的移动可以通过移动相机101实现,可以通过电机控制实现,可以利用位移台实现,也可以根据镜头102的变焦功能实现,具体地,镜头102移动方式可由本领域内技术人员根据实际情况进行设置,本申请不作具体限制。
在实际执行过程中,本申请实施例可以在待测人员头部置于额托后,基于人眼定位信息确定待测人员的眼球400对应的待测区域,并根据相机101和镜头102拍摄的图像分析当前成像区域与待测区域的相对位置,控制运动平台200移动相机101和镜头102使成像范围移动至待测区域。其中,运动平台200的移动方式可以是三维运动平台200,包括前后、左右、上下运动等,也可以是旋转运动,本申请不作具体限制。
举例而言,在待测人员头部置于额托后,利用人眼定位信息,基于白睛相机101拍摄的图像识别待测人员眼球400对应的待测区域,并通过控制运动平台200移动白睛相机101和镜头102,使白睛相机101的成像范围移动至眼球400的待测区域,如巩膜等。进一步地,在本申请实施例中,白睛相机101和镜头102移动距离的计算可以通过拍摄图像像素之间的间距,将图像中眼球400对应的待测区域与相机101成像范围的像素数量转化为白睛相机101移动的实际距离,进而控制运动平台200移动白睛相机101和镜头102,使白睛相机101的成像范围中央移动至待测区域,获得畸变较小的图像。
可选地,在本申请的一个实施例中,运动平台200可以进一步用于根据人眼图像进行霍夫变换得到人眼定位信息,或者利用预先构建的人眼定位模型,输出人眼定位信息。
可以理解的是,在本申请实施例中,人眼定位信息的获得可以根据终端设备的性能,分为两类:第一类是传统数字图像处理方法,如基于霍夫变换的虹膜定位算法;第二类是利用机器学习的虹膜定位算法,如基于预先构建的人眼定位模型,其中,预先构建的人眼定位模型可由本领域内技术人员根据实际情况进行设置,本申请不作具体限制。也可以根据其他分类标准获得人眼定位信息,达到自动定位目的,本申请不作具体限制。
下面对这两类具体的算法展开详细的描述。
其中,第一类基于霍夫变换的虹膜定位算法,其实现的流程图可以如图3所示,主要流程可以为:
步骤S1:图像二值化。可以理解为,在霍夫变换的预处理阶段,本申请实施例为了提取图像的边缘信息,可以对图像进行二值化处理。
具体地,本申请实施例在基于霍夫变换的虹膜定位算法中可以先对目标形状进行检测和定位,在只考虑目标边缘信息而不考虑颜色或灰度级别信息的情况下,可以将图像进行二值化处理,用以简化图像处理的过程,提高计算的效率。
步骤S2:中值滤波。可以理解为,在霍夫变换的预处理阶段,在图像进行二值化后,图像中虹膜边缘存在一些噪声,对后续霍夫变换圆拟合虹膜位置可能会产生影响,因此,本申请实施例可以进行滤波去除图像中的噪声。
具体地,本申请实施例在基于霍夫变换的虹膜定位算法中可以使用中值滤波减少噪声对霍夫变换的影响。其实现原理可以是先将图像中的每个像素点替换为其邻域窗口内的中值,并以某点(x,y)为中心的小窗口内的所有像素的灰度按从大到小的顺序排列,再将中间值作为(x,y)处的灰度值,如果窗口中有偶数个像素,则取两个中间值的平均,最后通过计算像素周围邻域内像素值的中值,有效地去除噪声,保持图像边缘信息的同时,还可以更好地保留图像的细节信息。
步骤S3:膨胀腐蚀。可以理解为,在霍夫变换的预处理阶段,可以利用膨胀腐蚀增强图像的边缘信息,以便更好地进行后续霍夫变换的检测。
具体地,本申请实施例在基于霍夫变换的虹膜定位算法中腐蚀操作可以通过结构元素在图像中移动,将与结构元素不完全匹配的像素点置为0,从而使边缘变细或消失。腐蚀操作可以去除图像中剩余的噪声和细小的不连续区域部分,也可以保留图像中主要的边缘结构。
而本申请实施例的膨胀操作与腐蚀相反,其通过将结构元素覆盖区域内的像素点置为1,从而扩展边缘或连通区域。膨胀操作可以填充边缘间的空洞,使图像边缘更加连续和完整。
举例而言,在本申请实施例中,通过角膜映射出的灯源点在实际情况下呈现出来的形状更接近圆形,因此,本申请实施例可以把灯源点膨胀腐蚀为圆形,也可以通过设定一个圆形的结构元素对图像中的灯源点像以及睫毛进行腐蚀操作。
步骤S4:边缘提取。可以理解为,在霍夫变换的预处理阶段,可以对图像进行边缘提取,识别出图像中的边界或轮廓,以便更好地检测直线或其他形状的特征。
具体地,本申请实施例在基于霍夫变换的虹膜定位算法中边缘提取可以表示图像中像素强度发生较大变化的区域,这些变化可能由物体边界、纹理变化或其他图像特征引起的,本申请实施例可以采用Canny算子实现图像的边缘提取。
其中,Canny算子是一种广泛应用于许多图像处理领域里的边缘检测算子。其实现流程可以为:先对图像进行平滑滤波,再通过求取局部梯度极大值提取图像的边缘,最后根据两个阈值分别检测出强边缘和与强边缘相邻的弱边缘。Canny算子对于噪声和弱边缘的图像具有更强的适应性,较高的精度定位能力,并且还可以检测单一边缘,具有良好的检测效果。
步骤S5:霍夫变换。可以理解为,在霍夫变换的预处理阶段,在获得虹膜图像边界点集合后,可以进行霍夫变换,用来求得虹膜内外边界的参数,实现准确的定位眼睛的位置和大小。
第二类:基于预先构建的人眼定位模型。作为一种可以实现的方式,本申请实施例可以通过自建数据库,完成人眼定位模型的构建。
具体的,本申请实施例可以利用机器学习YOLOv4-MobileNetV3的虹膜定位算法。在本申请实施例中,YOLOv4网络结构可以分为主干网络、特征金字塔网络、预测头和后处理等部分,MobileNetV3可以包括主干网络,特征扩张,特征融合,分类器等部分。此外,MobileNetV3是一种轻量级的卷积神经网络模型,具有较低的计算复杂度,能够在移动设备和嵌入式系统中高效地运行,并在资源受限的环境下进行实时人眼定位。
可选地,在本申请的一个实施例中,运动平台200可以包括:上下移动平台201、左右移动平台202和前后移动平台203。
其中,上下移动平台201,用于调整相机101和镜头102相对待测人员的竖直高度。
左右移动平台202,用于调整相机101和镜头102与待测人员之间的水平距离。
前后移动平台203,用于调整相机101与待测人员之间的前后距离,和/或相机101与镜头102的距离。
在实际执行过程中,本申请实施例的运动平台200可以包括:上下移动平台201、左右移动平台202和前后移动平台203。
其中,上下移动平台201、左右移动平台202进行上下、左右移动时,相机101和镜头102可以一起移动,相机101和镜头102的之间的竖直高度、水平距离均未产生变化。
而前后移动平台203前后移动(调整成像焦点和成像范围)时,相机102和镜头102之间的距离可能会改变,此时,相机101和镜头102的竖直高度、水平距离相对不变。通常,相机101的芯片中心和镜头102的中心对齐。
具体地,在本申请实施例中,当相机101拍摄图像后识别眼球400时,比如虹膜,可以通过控制上下移动平台201上下移动相机101和镜头102,比如Y方向,将相机101成像范围移动至眼球400对应的待测区域。
在本申请实施例中,当相机101拍摄图像后识别眼球400时,比如虹膜,可以通过控制左右移动平台202左右移动相机101和镜头102,比如X方向,将相机101成像范围移动至眼球400对应的待测区域。
在本申请实施例中,当相机101拍摄图像后识别眼球400时,比如虹膜,可以通过控制运动平台200上下、左右移动相机101和镜头102,比如Y、X方向,将相机101成像范围移动至眼球400对应的待测区域。其中,上下、左右移动相机101和镜头102的顺序可由本领域内技术人员根据实际情况进行设置,本申请不作具体限制。
在本申请实施例中,当相机101拍摄图像后分析眼球400的图像清晰度时,比如巩膜,可以通过控制前后移动平台203前后移动相机101,比如Z方向,将相机101的成像焦点和成像范围移动至眼球400对应的待测区域上。
在本申请实施例中,当相机101拍摄图像后分析眼球400的图像清晰度,比如巩膜,可以通过控制前后移动平台203前后移动镜头102位置,比如Z方向,将相机101的成像焦点和成像范围移动至眼球400对应的待测区域上。
在本申请实施例中,当相机101拍摄图像后识别眼球400时,比如虹膜,可以通过控制运动平台200前后移动相机101和镜头102的位置,比如Z方向,将成像焦点和成像范围移动至眼球400对应的待测区域上。其中,前后移动相机101和/或镜头102可由本领域技术人员根据实际情况进行设置,本申请不作具体限制。
作为一种可能实现的方式,本申请实施例在获取人眼定位信息后,可以驱动电机控制相机101和镜头102进行上下、左右、前后移动,使人眼位于成像画面的中间。
控制模块300,用于在移动至待测区域之后,根据成像范围和图像清晰度控制运动平台200进一步移动相机101和/或镜头102,使得成像焦点和成像范围移至待测区域上,以使成像系统100对待测区域成像,得到最终成像结果。其中,前后移动平台203进一步用于调整成像焦点和成像范围,其中,调整相机101与待测人员之间的距离和/或调整相机101和镜头102的距离。
可以理解的是,相机101成像焦点的定位算法可以包含视场定位算法和调焦算法。如图4所示,在不同的应用场景和实现指标下,调焦算法根据存在的差异可以分为手动调焦算法和自动调焦算法,而自动调焦算法可以但不限于分为主动式和被动式两类。
其中,主动式可以但不限于包括超声波测距法,红外测距系统,PSD(PositionSensor Diode,位置传感器)测距系统,VAF(Visitronic Automatic Focusing,双像对称式光电自动对焦)测距系统,SST(Solid State Triangulation,固态三角测量)测距系统,以及FCM(Focusing Central Memory,对焦中央存储器)测距系统。
被动式可以但不限于包括对比度检测法,TCL(Through the Camera Lens,通过相机101镜头)相位检测法,透镜分离相位检测法,离焦深度法,以及对焦深度法。
另外,本申请实施例可以使用自动调焦算法达到自动对焦的目的,也可以使用手动调焦操作达到对焦的目的,本申请不作具体限制。
在实际执行过程中,本申请实施例可以将相机101成像范围移动至眼球400对应的待测区域后,可以使用自动对焦算法根据相机101成像范围和图像清晰度控制运动平台200进一步移动相机101和/或镜头102,使相机101的成像焦点和成像范围移至待测区域上,进而获得最终成像结果。其中,进一步移动相机101和/或镜头102的方法可以是:可以通过控制前后移动平台203前后移动相机101,也可以通过控制前后移动平台203前后移动镜头102位置,还可以通过前后移动相机101和镜头102的位置,本申请不作具体限制。
举例而言,本申请实施例可以将相机101成像范围移动至眼球400对应的待测区域后,利用对焦深度法根据相机101成像范围和图像清晰度控制运动平台200进一步移动相机101和/或镜头102,也就是可以通过控制前后移动平台203前后移动相机101和/或镜头102,使相机101的成像焦点和成像范围移至待测区域上,获得最终成像结果。其中,对焦深度法工作原理的实现框图可以如图5所示,对焦深度法可以直接对图像进行处理,无需建立任何数学模型,且不需要额外装置,因此应用较为广泛。
步骤S1:目标物体。也就是说,本申请实施例可以获取图像的待测区域。
步骤S2:变焦镜头。也就是说,本申请实施例可以使用变焦镜头实现对焦。
步骤S3:图像采集。也就是说,本申请实施例可以将相机101的成像范围移动至眼球400对应的待测区域后进行图像采集。
步骤S4:图像预处理。也就是说,本申请实施例可以将对采集的图像进行预处理。
步骤S5:图像清晰度计算。也就是说,本申请实施例可以计算采集到的图像的清晰度。
步骤S6:极值点搜索策略。也就是说,本申请实施例可以搜索图像清晰度的极值点。
步骤S7:显示模块。也就是说,本申请实施例可以利用微处理机/PC(PersonalComputer,个人电脑)进行显示。
步骤S8:驱动器。也就是说,本申请实施例可以利用驱动器改变镜头102的焦距。
可选地,在本申请的一个实施例中,控制模块300可以进一步用于在调焦过程中根据采集的当前帧和前一帧的图像清晰度差异决定下一步调焦搜索的方向,以收敛到最佳聚焦位置。其中,图像清晰度的评价函数可以为:
其中,EV用于评价图像清晰度,M、N表示图像具有M列和N行像素,f(x,y)表示第x列、第y行像素的灰度值,p表示图像平均灰度值。
可以理解的是,图像清晰度评价函数是基于对焦深度的自动调焦算法的一个核心问题,对调焦效果有十分重要的影响。本申请实施例可以将常用的统计学评价函数分为:Range函数,Masgrn函数,Menmay函数,方差函数,Vollaths函数等,本申请不作具体限制。
在本申请实施例中,极值点搜索策略是基于对焦深度的自动调焦算法的另一个核心问题,能够直接影响算法的性能。本申请实施例可以将搜索策略分为:遍历搜索法、斐波纳契搜索法、黄金分割搜索法、尺子搜索法、爬山搜索法、曲线拟合的搜索法等,本申请不作具体限制。其中,搜索策略的设置可由本领域技术人员根据实际情况进行设置,本申请不作具体限制。
具体地,在本申请实施例中,可以利用方差函数构建图像清晰度评价函数,并利用爬山搜索法进行搜索。其中,构造的图像清晰度评价函数可以为:
进一步地,图像平均灰度值p可以为:
其中,EV可以用于评价图像清晰度,M、N表示图像具有M列和N行像素,f(x,y)表示第x列、第y行像素的灰度值,p表示图像平均灰度值。EV值越大,图像越清晰。
作为一种可能实现的方式,本申请实施例可以根据构建的图像清晰度评价函数比较调焦过程中当前帧和前一帧的图像清晰度差异,并利用爬山搜索法决定下一步调焦搜索的方向,以最快的速度收敛到最佳聚焦位置。
结合图6所示,以一个实施例对本申请实施例的目诊仪自动定位采集装置的工作原理进行阐述。
步骤S601:待测人员头部置于额托。可以理解为,在实际执行过程中,本申请实施例的待测人员头部置于额托后,位置保持固定,打开白睛照明系统,白睛相机101开始拍照。
步骤S602:人眼定位。可以理解为,在实际执行过程中,本申请实施例可以使用基于霍夫变换的虹膜定位算法获得人眼定位信息,也可以基于预先构建的人眼定位模型获得人眼定位信息,还可以根据其他方式获得人眼定位信息,达到自动定位目的,本申请不作具体限制。
步骤S603:成像范围移动至待测区域。可以理解为,在实际执行过程中,本申请实施例可以基于人眼定位信息,移动相机101和镜头102,以将相机101的成像范围移动至待测区域。
步骤S604:自动对焦。可以理解为,在实际执行过程中,本申请实施例的相机101继续拍照,并利用自动对焦算法,通过控制运动平台200移动相机101和/或镜头102的位置,寻找图像最清晰时相机101和镜头102的位置。
步骤S605:成像焦点移至待测区域。可以理解为,在实际执行过程中,通过控制前后移动平台203移动相机101和/或镜头102的位置,使相机101的成像焦点和成像范围移至待测区域。
步骤S606:最终成像结果。可以理解为,在实际执行过程中,本申请实施例对眼球400的待测区域进行成像,得到清晰的最终成像结果。
根据本申请实施例提出的目诊仪自动定位采集装置,可以在待测人员的头部置于额托后,能够基于人眼定位信息确定其待测区域,自动移动相机和镜头使其能够捕捉待测区域,适用于更多的使用场景,如白睛成像、巩膜成像、眼底成像等,进而根据成像范围和图像清晰度进一步移动相机和/或镜头,使成像焦点和成像范围移至待测区域得到最终的成像结果,实现了通过自动调整相机和/或镜头的位置获取待测区域的成像结果,操作更加简单方便,提高了成像的效率和精确性。由此,解决了相关技术中,相机位置相对固定,导致需要移动待测人员的头部位置,成像操作繁琐,并且待测人员的不自主运动,降低了成像的效率和精确性等技术问题。
其次参照附图描述根据本申请实施例提出的目诊仪自动定位采集方法。
其中,图7为根据本申请实施例提供的一种目诊仪自动定位采集方法的流程图。
如图7所示,该目诊仪自动定位采集方法包括以下步骤:
在步骤S701中,在待测人员头部置于额托后,基于人眼定位信息确定待测人员的眼球对应的待测区域,并移动成像系统的相机和镜头以将成像范围移动至待测区域。
在步骤S702中,在移动至待测区域之后,根据成像范围和图像清晰度控制运动平台进一步移动相机和/或镜头,使得成像焦点和成像范围移至待测区域上,以使成像系统对待测区域成像,得到最终成像结果。
可选地,在本申请的一个实施例中,在基于人眼定位信息确定待测人员的眼球对应的待测区域之前,还包括:根据人眼图像进行霍夫变换得到人眼定位信息;或者,利用预先构建的人眼定位模型,输出人眼定位信息。
需要说明的是,前述对目诊仪自动定位采集装置实施例的解释说明也适用于该实施例的目诊仪自动定位采集方法,此处不再赘述。
根据本申请实施例提出的目诊仪自动定位采集方法,可以在待测人员的头部置于额托后,能够基于人眼定位信息确定其待测区域,自动移动相机和镜头使其能够捕捉待测区域,适用于更多的使用场景,如白睛成像、巩膜成像等,进而根据成像范围和图像清晰度进一步移动相机和/或镜头,使成像焦点和成像范围移至待测区域得到最终的成像结果,实现了通过自动调整相机和/或镜头的位置获取待测区域的成像结果,操作更加简单方便,提高了成像的效率和精确性。由此,解决了相关技术中,相机位置相对固定,导致需要移动待测人员的头部位置,成像操作繁琐,并且待测人员的不自主运动,降低了成像的效率和精确性等技术问题。
图8为根据本申请实施例提供的电子设备的结构示意图。该电子设备可以包括:
存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序。
处理器802执行程序时实现上述实施例中提供的目诊仪自动定位采集方法。
进一步地,电子设备还包括:
通信接口803,用于存储器801和处理器802之间的通信。
存储器801,用于存放可在处理器802上运行的计算机程序。
存储器801可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器801、处理器802和通信接口803独立实现,则通信接口803、存储器801和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent Interconnect,简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,在具体实现上,如果存储器801、处理器802及通信接口803,集成在一块芯片上实现,则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
处理器802可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的目诊仪自动定位采集方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种目诊仪自动定位采集装置,其特征在于,包括:
成像系统,所述成像系统包括相机、镜头和照明设备;
运动平台,用于在待测人员头部置于额托后,基于人眼定位信息确定所述待测人员的眼球对应的待测区域,并移动所述成像系统的相机和所述镜头以将成像范围移动至所述待测区域;以及
控制模块,用于在移动至所述待测区域之后,根据成像范围和图像清晰度控制所述运动平台进一步移动所述相机和/或所述镜头,使得成像焦点和成像范围移至所述待测区域上,以使所述成像系统对所述待测区域成像,得到最终成像结果。
2.根据权利要求1所述的目诊仪自动定位采集装置,其特征在于,所述相机为白睛相机,且所述照明设备为白睛照明系统,其中,所述白睛照明系统包括第一至第四LED灯源,所述第一至第四LED灯源与左侧部分白睛、右侧部分白睛、上侧部分白睛和下侧部分白睛对应设置。
3.根据权利要求1所述的目诊仪自动定位采集装置,其特征在于,所述运动平台进一步用于根据人眼图像进行霍夫变换得到所述人眼定位信息,或者利用预先构建的人眼定位模型,输出所述人眼定位信息。
4.根据权利要求1所述的目诊仪自动定位采集装置,其特征在于,所述运动平台包括:
上下移动平台,用于调整所述相机和所述镜头相对所述待测人员的竖直高度;
左右移动平台,用于调整所述相机和所述镜头与所述待测人员之间的水平距离;
前后移动平台,用于调整所述相机与所述待测人员之间的前后距离,和/或所述相机与所述镜头的距离。
5.根据权利要求4所述的目诊仪自动定位采集装置,其特征在于,所述前后移动平台进一步用于调整成像焦点和成像范围,其中,调整所述相机与所述待测人员之间的距离和/或调整所述相机和所述镜头的距离。
6.根据权利要求1所述的目诊仪自动定位采集装置,其特征在于,所述控制模块进一步用于在调焦过程中根据采集的当前帧和前一帧的图像清晰度差异决定下一步调焦搜索的方向,以收敛到最佳聚焦位置。
7.根据权利要求6所述的目诊仪自动定位采集装置,其特征在于,所述图像清晰度的评价函数为:
其中,EV用于评价图像清晰度,M、N表示图像具有M列和N行像素,f(x,y)表示第x列、第y行像素的灰度值,p表示图像平均灰度值。
8.一种目诊仪自动定位采集方法,其特征在于,利用如权利要求1-6任一项所述的目诊仪自动定位采集装置,其中,所述方法包括以下步骤:
在所述待测人员头部置于额托后,基于所述人眼定位信息确定所述待测人员的眼球对应的待测区域,并移动所述成像系统的相机和所述镜头以将成像范围移动至所述待测区域;
在移动至所述待测区域之后,根据所述成像范围和图像清晰度控制所述运动平台进一步移动所述相机和/或所述镜头,使得成像焦点和成像范围移至所述待测区域上,以使所述成像系统对所述待测区域成像,得到所述最终成像结果。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求8所述的目诊仪自动定位采集方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求8所述的目诊仪自动定位采集方法。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118340496A true CN118340496A (zh) | 2024-07-16 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106774863B (zh) | 一种基于瞳孔特征实现视线追踪的方法 | |
JP6049518B2 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 | |
JP5694161B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
US10799115B2 (en) | Through focus retinal image capturing | |
CN111128382B (zh) | 一种人工智能多模成像分析装置 | |
JP5466610B2 (ja) | 視線推定装置 | |
JP2000113199A (ja) | 眼の位置を判断する方法 | |
JP2004320286A (ja) | デジタルカメラ | |
US10165939B2 (en) | Ophthalmologic apparatus and ophthalmologic apparatus control method | |
US20120050515A1 (en) | Image processing apparatus and image processing method | |
JP4706197B2 (ja) | 対象決定装置及び撮像装置 | |
US10713483B2 (en) | Pupil edge detection in digital imaging | |
IL264530B1 (en) | Device for tracking eye movement and method therefor | |
KR101992016B1 (ko) | 광원 및 초점 자동 제어 기능을 가지는 안저 형광 영상 획득 장치 및 방법 | |
CN115209782A (zh) | 内窥镜系统和基于内窥镜系统的管腔扫描方法 | |
US9323978B2 (en) | Image processing device, endoscope apparatus, and image processing method | |
CN111161852B (zh) | 一种内窥镜图像处理方法、电子设备及内窥镜系统 | |
JP2021150760A (ja) | 撮像装置およびその制御方法 | |
CN118340496A (zh) | 目诊仪自动定位采集装置、方法、电子设备及存储介质 | |
CN113658243B (zh) | 眼底三维模型建立方法、眼底照相机、装置和存储介质 | |
US20230000344A1 (en) | Ophthalmology inspection device and pupil tracking method | |
JP2016151584A (ja) | 器官画像撮影装置 | |
JP2016150024A (ja) | 器官画像撮影装置 | |
CN111798387B (zh) | 一种用于共聚焦内窥镜的图像处理方法及系统 | |
WO2021149141A1 (ja) | フォーカス制御装置、内視鏡システム及びフォーカス制御装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |