CN116824036B - 基于三维成像的眼球立体建模方法、系统 - Google Patents
基于三维成像的眼球立体建模方法、系统 Download PDFInfo
- Publication number
- CN116824036B CN116824036B CN202310423470.8A CN202310423470A CN116824036B CN 116824036 B CN116824036 B CN 116824036B CN 202310423470 A CN202310423470 A CN 202310423470A CN 116824036 B CN116824036 B CN 116824036B
- Authority
- CN
- China
- Prior art keywords
- eyeball
- dimensional
- partial
- dimensional model
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000005252 bulbus oculi Anatomy 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003384 imaging method Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 210000001508 eye Anatomy 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 19
- 210000004087 cornea Anatomy 0.000 claims description 17
- 210000001957 retinal vein Anatomy 0.000 claims description 15
- 210000001927 retinal artery Anatomy 0.000 claims description 13
- 210000001525 retina Anatomy 0.000 claims description 11
- 210000004204 blood vessel Anatomy 0.000 claims description 9
- 230000005477 standard model Effects 0.000 claims description 9
- 210000000695 crystalline len Anatomy 0.000 claims description 8
- 210000003786 sclera Anatomy 0.000 claims description 8
- 210000004127 vitreous body Anatomy 0.000 claims description 8
- 210000000554 iris Anatomy 0.000 claims description 7
- 210000003128 head Anatomy 0.000 description 22
- 238000001514 detection method Methods 0.000 description 18
- 210000001367 artery Anatomy 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 210000003462 vein Anatomy 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 3
- 206010030113 Oedema Diseases 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229940023490 ophthalmic product Drugs 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010011409 Cross infection Diseases 0.000 description 1
- 241000521257 Hydrops Species 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 206010029803 Nosocomial infection Diseases 0.000 description 1
- 230000006578 abscission Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于三维成像的眼球立体建模方法、系统，所述方法包括：采用双目摄像机获取眼球的影像，基于获得的眼球局部表面的影像，建立眼球局部立体模型；拍摄眼底照片，采用特征提取模型获取所述眼底照片边缘点的特征值；将眼底照片边缘点的特征值与眼球局部立体模型进行比对，将眼球局部立体模型中比对一致的点的坐标位置赋予对应的眼底照片边缘点；基于眼底照片边缘点的坐标位置，计算眼底照片中视盘的二维坐标，基于眼球局部立体模型推算视盘的第三维度坐标，组合得到视盘的三维坐标；基于眼球局部立体模型和视盘的三维坐标，进行三维拟合，得到眼球立体模型。采用上述技术方案，可以准确的建立眼球立体模型。
Description
技术领域
本发明涉及眼科医学技术领域，尤其涉及一种基于三维成像的眼球立体建模方法、系统。
背景技术
在眼科医学中，快速、准确和全面的获取病人的眼球信息，有着诸多积极的意义和优势，例如，可以更好的观察眼球的生理状况，确定存在的病症，以及制定合理的眼科手术等等。
现有技术中，对于眼球信息的获取和诊断，通常应用如下的方案：(1)广角眼底照相，利用单个照相机进行图像拍摄，检查视网膜有无脱落、视网膜内有无水肿积液，血管的通畅性和完整性(有无出血点)，玻璃体有无出血；(2)眼底光学相干断层扫描(OCT)，对眼透光组织做断层成像，对眼部的病情做全面了解，可以检查黄斑部结构、视神经厚度等；眼底血管造影技术，将造影剂从肘静脉注入，使用特定的滤光片和眼底照相机，拍摄眼底照片。
上述现有技术存在的问题是，各种检测方法都是利用摄像机进行平面拍摄，无法获知眼睛及其病变的三维立体结构，单一的摄像技术无法一次量化确定眼球的立体模型，进而难以确定眼球中血管、视网膜等眼球内部的结构与眼球结构和位置关系，而且拍摄眼球的部位固定，不进行也无法对眼球整体结构的拍摄，单一图片无法精准获知眼球的周边结构对观测点的病理的影响。另外，由于各类拍摄，医生语言引导病人旋转眼球到不同部位，整个的拍摄过程依靠经验和配合，无法保证拍摄的完整性，对于眼球信息的获取存在限制。
发明内容
发明目的：本发明提供一种基于三维成像的眼球立体建模方法、系统，建立眼球局部立体模型，通过与眼底照片边缘点进行特征比对，确定眼底照片边缘点的位置信息，从而得到视盘的二维位置信息，由于视盘通常位于眼球后端偏下的固定位置，视盘的第三维度位置信息可以较为准度的推算得到，进而可以准确的建立眼球立体模型。
技术方案：本发明提供一种基于三维成像的眼球立体建模方法，包括：对眼球进行转动引导，在眼球进行转动的过程中，采用双目摄像机获取眼球的影像，基于获得的眼球局部表面的影像，建立眼球局部立体模型；拍摄眼底照片，采用特征提取模型获取所述眼底照片边缘点的特征值；将眼底照片边缘点的特征值与眼球局部立体模型进行比对，将眼球局部立体模型中比对一致的点的坐标位置赋予对应的眼底照片边缘点；基于眼底照片边缘点的坐标位置，计算眼底照片中视盘的二维坐标，基于眼球局部立体模型推算视盘的第三维度坐标，组合得到视盘的三维坐标；基于眼球局部立体模型和视盘的三维坐标，进行三维拟合，得到眼球立体模型。
具体的，在眼球上标记多个参考点，在眼球进行转动的过程中，根据参考点的移动路径确定眼球的转动方向和幅度，对于每个方向的转动过程拍摄相应的影像，获取多段眼球局部表面的影像。
具体的，基于每段眼球局部表面的影像中参考点的位置，将多段影像进行结合，建立眼球局部立体模型。
具体的，确定眼底照片中视网膜静脉和动脉在照片边缘的边缘点，并获取边缘点的特征值，以及各个边缘点之间距离信息的特征值，并对距离信息的特征值进行立体差值补偿。
具体的，获取眼球局部立体模型表面上的视网膜静脉和动脉区域的点的特征值，与眼底照片中视网膜静脉和动脉的边缘点的特征值进行比对，并将眼球局部立体模型表面上相应点之间距离信息的特征值，和眼底照片中边缘点之间距离信息的特征值进行比对，若比对结果的相似度满足标准要求，认定眼球局部立体模型表面上的点和眼底照片上的边缘点为一致。
具体的，将眼底照片和眼球局部立体模型进行对应的区域划分，将对应区域的眼球局部立体模型表面上的点和眼底照片上的边缘点进行比对。
具体的，进行广角眼球照相，通过多个摄像机，获取虹膜、巩膜、晶状体、血管、玻璃体和视网膜的空间位置视频。
具体的，通过数字孪生建模，基于眼球立体模型，构建虹膜、巩膜、晶状体、血管、玻璃体和视网膜的立体模型。
具体的，通过双目摄像机获取眼球眼角膜上多个点的三维位置信息，并与眼角膜标准模型上相应的点进行比对，若眼角膜上超过预定数量的点与眼角膜标准模型上的点之间的偏差小于标准阈值，认定眼球已经处于初始位置，准备对眼球进行转动引导。
本发明还提供一种基于三维成像的眼球立体建模系统，包括：影像获取单元、图像显示单元和控制单元，其中：所述影像获取单元在所述控制单元的控制下进行工作，在眼球进行转动的过程中，采用获取眼球的影像；拍摄眼底照片；所述控制单元，用于通过图像显示单元对眼球进行转动引导，基于获得的眼球局部表面的影像，建立眼球局部立体模型；采用特征提取模型获取所述眼底照片边缘点的特征值；将眼底照片边缘点的特征值与眼球局部立体模型进行比对，将眼球局部立体模型中比对一致的点的坐标位置赋予对应的眼底照片边缘点；基于眼底照片边缘点的坐标位置，计算眼底照片中视盘的二维坐标，基于眼球局部立体模型推算视盘的第三维度坐标，组合得到视盘的三维坐标；基于眼球局部立体模型和视盘的三维坐标，进行三维拟合，得到眼球立体模型。
有益效果：与现有技术相比，本发明具有如下显著优点：建立眼球局部立体模型，通过与眼底照片边缘点进行特征比对，确定眼底照片边缘点的位置信息，从而得到视盘的二维位置信息，由于视盘通常位于眼球后端偏下的固定位置，视盘的第三维度位置信息可以较为准度的推算得到，进而可以准确的建立眼球立体模型。
附图说明
图1为本发明提供的基于三维成像的眼球立体建模方法的流程示意图；
图2为本发明提供的基于三维成像的眼球立体建模系统的结构示意图；
1-检测台；2-操作台；3-控制单元；4-连接线缆；101-摄像机；102-暗室；103-图像显示单元；104-检测台底板；105-头托；106-平台导轨；107-伺服电机；108-摄像机云台支架；211-操纵显示装置；212-操纵摇杆；213-操作台支架。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
参阅图1，其为本发明提供的基于三维成像的眼球立体建模方法的流程示意图。
步骤1，对眼球进行转动引导，在眼球进行转动的过程中，采用双目摄像机获取眼球的影像，基于获得的眼球局部表面的影像，建立眼球局部立体模型。
在具体实施中，由于眼球在眼窝中的转动范围是有限的，因此，双目摄像机只能获取有限的、局部的眼球表面的影像。
本发明实施例中，在眼球上标记多个参考点，在眼球进行转动的过程中，根据参考点的移动路径确定眼球的转动方向和幅度，对于每个方向的转动过程拍摄相应的影像，获取多段眼球局部表面的影像。
本发明实施例中，基于每段眼球局部表面的影像中参考点的位置，将多段影像进行结合，建立眼球局部立体模型。
本发明实施例中，通过双目摄像机获取眼球眼角膜上多个点的三维位置信息，并与眼角膜标准模型上相应的点进行比对，若眼角膜上超过预定数量(可以根据实际应用情况进行相应的设定)的点与眼角膜标准模型上的点之间的偏差小于标准阈值(可以根据实际应用情况进行相应的设定)，认定眼球已经处于初始位置，准备对眼球进行转动引导。
在具体实施中，眼球上的参考点，其作用主要表现在以下两个方面，第一，由于眼球的转动速度较快，实际的转动方向也较多，并且在转动过程中往往伴随着眨眼等动作，由于眼球的外观没有一个较为明显的特征参考区域，因此，参考点的设定可以使得多段影像有一个统一的参考坐标，便于建立局部三维立体模型；第二，双目摄像机获取眼球眼角膜上多个点的三维位置信息，可以是获取的参考点的三维位置信息，也即参考点的位置可以是预定确定的，将参考点(例如A1点)的三维位置信息和眼角膜标准模型上相应的点(例如A2点，A1点和A2点是对应的两个点)的三维位置信息进行比对，若位置之间的偏差小于标准阈值，认定眼球已经处于初始位置，准备对眼球进行转动引导，由此可以将眼球在转动之前的初始位置，限定在预先确定的位置范围内，可以更好进行眼球转动的引导和影像的获取，有利于后续信息处理的统一性和准确性。眼角膜标准模型，可以是预先建立的通用的立体模型，眼角膜标准模型上的点，可以是预先在立体模型上确定的点。
步骤2，拍摄眼底照片，以及采用特征提取模型获取所述眼底照片边缘点的特征值。
在具体实施中，眼底照片中存在较为密集的视网膜静脉和动脉，并且延伸至眼底照片的边缘，其色彩和纹理与其他部分具有可区分性，在难以直接获取眼球整体的影像的情况下，借由眼底照片的边缘点来确定眼底照片视盘的位置信息，可以较为准确的建立眼球整体立体模型。
步骤3，将眼底照片边缘点的特征值与眼球局部立体模型进行比对，将眼球局部立体模型中比对一致的点的坐标位置赋予对应的眼底照片边缘点。
本发明实施例中，确定眼底照片中视网膜静脉和动脉在照片边缘的边缘点，并获取边缘点的特征值，以及各个边缘点之间距离信息的特征值，并对距离信息的特征值进行立体差值补偿。
本发明实施例中，获取眼球局部立体模型表面上的视网膜静脉和动脉区域的点的特征值，与眼底照片中视网膜静脉和动脉的边缘点的特征值进行比对，并将眼球局部立体模型表面上相应点之间距离信息的特征值，和眼底照片中边缘点之间距离信息的特征值进行比对，若比对结果的相似度满足标准要求，认定眼球局部立体模型表面上的点和眼底照片上的边缘点为一致。
在具体实施中，视网膜静脉和动脉一直延伸至眼球的边缘，在眼球转动的过程中，眼球上的部分静脉和动脉将会被记录到，而眼球上的静脉和动脉的点与眼底照片上的边缘点存在对应关系，由此就可以确定眼底照片边缘点的位置信息，当然在很多情况下只能获得眼底照片中部分边缘点的位置信息，但也足够了，从而确定眼底照片上的视盘的位置信息，再结合眼球局部立体模型，通过拟合的方式既可以得到完整的眼球立体模型。
在具体实施中，将点与点之间的距离特征也纳入比对范围之一，原因在于，某个静脉或动脉的边缘点虽然与晶状体之间有着较为明显的区别，但是和其他的静脉或动脉的边缘点可能在颜色和纹理上较为相近，因此，将距离特征也纳入比对范围之内。距离特征也可以有效的进行点与点之间的比对，原因在于，眼底照片是将立体的视网膜静脉和动脉压缩至二维的图片，因此边缘点上的静脉和动脉可能实际上不处于同一个平面上，甚至是处于前后距离较远的两个平面，距离较远，原本眼底照片上的B1点和C1点，与眼球局部立体模型上的B2点和C2点由于比对错误认定一致，在纳入了距离特征之后，由于B1点和C1点与B2点和C2点在距离特征上不符，由此可以纠正上述错误的一致认定，进而可以显著的提升比对准确度。
在具体实施中，对距离信息的特征值进行立体差值补偿，是针对眼底照片上的边缘点，原因在于，眼底照片是将球形的视网膜静脉和动脉压缩至二维的图片，因此损失一定的距离信息，为了提升准确度，可以进行距离值的补偿，也即立体差值补偿，具体补偿方式可以是乘以固定的参数。
在具体实施中，若比对结果的相似度满足标准要求，其中标准要求可以是特征值的比对在预定的偏差范围内，具体预定的偏差范围可以根据实际应用场景进行相应的设定。
本发明实施例中，将眼底照片和眼球局部立体模型进行对应的区域划分，将对应区域的眼球局部立体模型表面上的点和眼底照片上的边缘点进行比对。
在具体实施中，为了进一步提升眼球局部立体模型表面上的点的特征值，与眼底照片中视网膜静脉和动脉的边缘点之间比对结果的准确度，对比对过程进行进一步的限定，在眼底照片和眼球局部立体模型相应区域内的点进行比对。例如，眼底照片从中心点出发，以90度为间隔，将眼底照片划分为上下左右四个部分，眼球局部立体模型从瞳孔中心点出发，同样以90度为间隔，将眼球局部立体模型划分为上下左右四个部分，那么眼底照片上部分的边缘点，只与眼球局部立体模型的上部分进行比对，进一步提升比对结果的准确度。为了更为精准的比对结果，可以增加区域划分的数量，具体可以根据实际应用场景进行相应的设定。
步骤4，基于眼底照片边缘点的坐标位置，计算眼底照片中视盘的二维坐标，基于眼球局部立体模型推算视盘的第三维度坐标，组合得到视盘的三维坐标。
在具体实施中，视盘(视神经)在眼底照片中的区域是十分明显的，在确定了眼底照片边缘点的三维位置信息后，可以直接根据视盘在眼底照片中的区域计算视盘的平面二维坐标信息(x轴和y轴)。在计算过程中，如果相近或者相邻的眼底照片边缘点之间的平面二维位置信息偏差较大，可以采用计算平均值的方式降低偏差。
在具体实施中，视盘在眼球上的位置一般是较为固定的，是在眼球后端的中下位置，在已经获得了视盘的二维位置信息后，还缺少第三维度(z轴)的位置信息，根据眼球从前端至后端的长度信息，可以补充获得z轴的位置信息。而由于不同眼球从前端至后端的长度区别较小，使用基于卷积神经网络构建的算法模型(使用已知的眼球模型作为训练数据)，可以基于已有的眼球局部立体模型推算得到视盘的第三维度坐标，并且精准度较高。
步骤5，基于眼球局部立体模型和视盘的三维坐标，进行三维拟合，得到眼球立体模型。
在具体实施中，获得了眼球局部立体模型和视盘的三维坐标，两者处于眼球的前端和后端，而眼球表面一般是曲线的，具备了进行三维拟合的所有条件，可以通过已知的眼球局部立体模型和视盘的三维坐标，拟合得到眼球立体模型。
本发明实施例中，在眼球进行转动的过程中，包括进行广角眼球照相，通过多个摄像机，获取虹膜、巩膜、晶状体、血管、玻璃体和视网膜的空间位置视频。
本发明实施例中，得到眼球立体模型，之后还包括通过数字孪生建模，基于眼球立体模型，在眼球立体模型内，构建虹膜、巩膜、晶状体、血管、玻璃体和视网膜的立体模型。
本发明还提供一种基于三维成像的眼球立体建模系统，包括：影像获取单元(由摄像机101组成)、图像显示单元103和控制单元3，其中：所述影像获取单元在所述控制单元3的控制下进行工作，在眼球进行转动的过程中，采用获取眼球的影像；拍摄眼底照片；所述控制单元3，用于通过图像显示单元103对眼球进行转动引导，基于获得的眼球局部表面的影像，建立眼球局部立体模型；采用特征提取模型获取所述眼底照片边缘点的特征值；将眼底照片边缘点的特征值与眼球局部立体模型进行比对，将眼球局部立体模型中比对一致的点的坐标位置赋予对应的眼底照片边缘点；基于眼底照片边缘点的坐标位置，计算眼底照片中视盘的二维坐标，基于眼球局部立体模型推算视盘的第三维度坐标，组合得到视盘的三维坐标；基于眼球局部立体模型和视盘的三维坐标，进行三维拟合，得到眼球立体模型。
在具体实施中，基于三维成像的眼球立体建模系统主要包括检测台1、操作台2、控制单元3以及相关的安装支架和连接线缆4。检测台1、操作台2、控制单元3可以安装在一起，也可以分开安装。如果安装在一起，检测台1、操作台2可以在同一个方向，也可以在相反的方向。如果在相同的方向，便于医生和病人进行近距离交流；如果在相反的方向，整个检测装置占用空间面积小。实施例考虑到医患空间物理上分开，避免疾病交叉感染及医患之间面对面之间容易引起的纠纷和干扰。
检测台1的检测暗室102、头托105、平台导轨106等安装在检测台底板104上，当病人把头部放置在头托105上，检测暗室102能够开启其检测装置，对眼部进行摄像等检查。
需要说明的是，本实施例中，通过头托105的检测装置能够检测病人把头部置于头托105上。检测装置可以是安装在头托105上近距离红外检测开关或超声波测距传感器。本实施例从成本的角度考虑，把头托105分为下部固定部分和上部运动部分，两者之间通过中心轴、自动复位弹簧相连接，下部固定部位安装接近开关，接近开关通过连接线缆4连接到控制器。当病人头部放置在头托105上，上部运动部分受重力克服弹簧阻力向下运动，安装在头托105下部固定部分的接近开关检测到上部运动部分运动到结合点，把头部放在到位的信息传递给控制器；如果病人没有把头部放在头托105上或者上下两个部分没有运动到位，接近开关无法检测到信号，系统认为头部没有放置到位，不具备检测条件。
检测台1上安装有暗室102，图像显示单元103、摄像机101等安装在暗室102内，只有病人眼睛观察窗与暗室102外相通。在检测眼睛时，眼睛恰好堵住该观察窗，保证在眼部检测时暗室102内部不受外部光线的干扰。
检测台1上暗室102、图像显示单元103、摄像机101等通过固定支架(如摄像机云台支架108)与伺服电机107相连接，伺服电机107通过安装在检测台底板104上的平台导轨106与头托105相连接，伺服电机107的运动可以调整摄像机与病人眼球的空间距离。
需要说明的是，选用了单个伺服电机107控制摄像机101进行X轴运动，实现摄像机101与被检测眼球的远近调节，采用3个伺服电机107控制摄像机101进行X、Y、Z三维空间的调节，更加有利于通过摄像机101观察眼球的结构细节。
需要说明的是，多个摄像机101能够从不同的角度拍摄眼球，眼球的三维立体模型至少需要双目摄像机。
需要说明的是，本实施例中，图像显示单元103安装在摄像机后方，采用彩色液晶显示器，通过改变显示内容及在显示器上的位置，引导眼球做旋转等运动。例如，需要病人聚精会神观察正前方时，先把满屏幕的大图像逐渐缩小到显示器中间位置，在中间位置出现一个小的变化(如数字的跳变等)，吸引眼球观察正前方；如果需要眼球旋转，根据预先设置的程序，让一只小蝴蝶从一个位置飞到另外一个位置，吸引眼球跟踪观察。
需要说明的是，本实施例中，在改变图像显示单元103显示内容吸引眼球观察的同时，摄像机基于标记的参考点对眼球的运动方向和大小进行判定。
需要说明的是，本实施例中，摄像机拍摄的图像/视频信息，及时传送到控制单元3，控制单元3利用预先设置好的三维实体重构方法，通过数字孪生建模方法，使用SolidWorks、3D Max和Visual Components共同建模的方式，构建其几何模型，获取虹膜、巩膜、晶状体、血管、玻璃体和视网膜的立体模型。。
本实施例中，操作台2包括操纵显示装置211、操纵摇杆212、操作台支架213和切换开关等，医生能够通过操作台2控制暗室102工作，并在其显示器上看到实时的视频/图片信息，以及眼球三维立体模型。
需要说明的是，操纵摇杆212为双轴(X轴、Y轴)输出形式，其作用是配合切换开关，通过伺服电机107的运动调整摄像机与病人眼球的空间距离，还可以调整通过发送指令到控制单元3调整摄像机的焦距、调整眼球结构在图像显示单元103、操纵显示装置211显示姿态(如旋转、放大、缩小等)。
本实施例中，控制单元3为高性能数据服务器，具体为戴尔易安信PowerEdge R740机架式服务器(Xeon Silver 4210R/32GB/4TB)，CPU型号为Intel Xeon Silver 4210R，10核为20线程，其计算速度、存储空间都能够满足4个高清摄像机视频分析、建模的要求，能够检查病人是否就位，在操纵摇杆212及自动控制下驱动伺服电机107使检查暗室102运动，控制摄像机拍摄视频/图片，进行眼球及其组织的三维立体模型构建，并存储数据。
操纵摇杆212、显示装置、伺服电机107等都是通过CAN通信与控制单元3连接，2个显示装置、摄像机通过HDMI和数据连接线与控制单元3连接。
需要说明的是，本发明实施例中摄像机可以使用迈德威视(MINDVISION)公司的USB3.0彩色多目相机模组，由于其体积小、可以输出无损的灰度图像、支持连续、软触发、硬触发工作模式，各个模式下双目图像均能自动同步，该相机模组最大像素1200万，支持CMOS、CCD，能够满足眼球检测的各种视频要求。
本实施例中，本实施例中，由于可以通过改变图像显示单元103的亮度，对暗室102进行补光，没有安装LED等补光系统。控制单元3根据摄像机的感光特性，按照预先设定的补光特性曲线控制图像显示单元103的亮度，继而对暗室102进行补光。
本发明提供的检测方法按照以下5个步骤完成：
需要说明的是，本实施例中检测病人头部就位的装置，包括安装在头托105装置上的检测开关，当病人端坐就位时，改检测开关向控制单元3发送就位信息，作为开启摄像机及摄像机调整的依据。
需要说明的是，本实施例中的高清工业摄像机，能够从不同的空间视角，拍摄眼球的影像，且这些视频信息可以进行全眼球的无缝图像拼接。
需要说明的是，本实施例中的摄像机，安装在一个云台上，该云台在伺服电机107的控制下，至少可以进行一个运动方向的运动，以调整摄像机与眼球的距离，进行要求不同部位的影像拍摄。
需要说明的是，本实施例中图像显示单元103安装在检测装置的暗室102内，当需要引导眼球运动时，在不同的位置显示图像或者亮点，引导眼球跟随图像或者亮点旋转。
需要说明的是，本实施例中三维实体重构的方法，通过数字孪生建模方法，使用SolidWorks、3D Max和Visual Components共同建模的方式，构建其几何模型，获取整个眼球和/或眼球的部分组织(如角膜、巩膜、视网膜等)实体模型。
Claims (7)
1.一种基于三维成像的眼球立体建模方法，其特征在于，包括：
对眼球视线进行转动引导，在眼球进行转动的过程中，采用双目摄像机获取眼球的影像，基于获得的眼球局部表面的影像，建立眼球局部立体模型；
拍摄眼底照片，确定眼底照片中视网膜静脉和动脉在照片边缘的边缘点，并获取边缘点的特征值，以及各个边缘点之间距离信息的特征值，并对距离信息的特征值进行立体差值补偿；
将眼底照片和眼球局部立体模型进行对应的区域划分，获取眼球局部立体模型表面上的视网膜静脉和动脉区域的点的特征值，与眼底照片中对应区域的视网膜静脉和动脉的边缘点的特征值进行比对，并将眼球局部立体模型表面上相应点之间距离信息的特征值，和眼底照片中边缘点之间距离信息的特征值进行比对，若比对结果的相似度满足标准要求，认定眼球局部立体模型表面上的点和眼底照片上的边缘点为一致，将眼球局部立体模型中比对一致的点的坐标位置赋予对应的眼底照片边缘点；
基于眼底照片边缘点的坐标位置，计算眼底照片中视盘的二维坐标，基于眼球局部立体模型推算视盘的第三维度坐标，组合得到视盘的三维坐标；
基于眼球局部立体模型和视盘的三维坐标，进行三维拟合，得到眼球立体模型。
2.根据权利要求1所述的基于三维成像的眼球立体建模方法，其特征在于，所述对眼球视线进行转动引导，在眼球进行转动的过程中，采用双目摄像机获取眼球的影像，包括：
在眼球上标记多个参考点，在眼球进行转动的过程中，根据参考点的移动路径确定眼球的转动方向和幅度，对于每个方向的转动过程拍摄相应的影像，获取多段眼球局部表面的影像。
3.根据权利要求2所述的基于三维成像的眼球立体建模方法，其特征在于，所述基于获得的眼球表面的局部影像，建立眼球局部立体模型，包括：
基于每段眼球局部表面的影像中参考点的位置，将多段影像进行结合，建立眼球局部立体模型。
4.根据权利要求3所述的基于三维成像的眼球立体建模方法，其特征在于，所述在眼球进行转动的过程中，包括：
进行广角眼球照相，通过多个摄像机，获取虹膜、巩膜、晶状体、血管、玻璃体和视网膜的空间位置视频。
5.根据权利要求4所述的基于三维成像的眼球立体建模方法，其特征在于，所述得到眼球立体模型，之后还包括：
通过数字孪生建模，基于眼球立体模型，构建虹膜、巩膜、晶状体、血管、玻璃体和视网膜的立体模型。
6.根据权利要求1所述的基于三维成像的眼球立体建模方法，其特征在于，所述对眼球进行转动引导，之前包括：
通过双目摄像机获取眼球眼角膜上多个点的三维位置信息，并与眼角膜标准模型上相应的点进行比对，若眼角膜上超过预定数量的点与眼角膜标准模型上的点之间的偏差小于标准阈值，认定眼球已经处于初始位置，准备对眼球进行转动引导。
7.一种基于三维成像的眼球立体建模系统，其特征在于，包括：影像获取单元、图像显示单元和控制单元，其中：
所述影像获取单元在所述控制单元的控制下进行工作，在眼球进行转动的过程中，采用获取眼球的影像；拍摄眼底照片；
所述控制单元，用于通过图像显示单元对眼球视线进行转动引导，基于获得的眼球局部表面的影像，建立眼球局部立体模型；采用特征提取模型获取所述眼底照片中视网膜静脉和动脉在照片边缘的边缘点，并获取边缘点的特征值，以及各个边缘点之间距离信息的特征值，并对距离信息的特征值进行立体差值补偿；将眼底照片和眼球局部立体模型进行对应的区域划分，获取眼球局部立体模型表面上的视网膜静脉和动脉区域的点的特征值，与眼底照片中对应区域的视网膜静脉和动脉的边缘点的特征值进行比对，并将眼球局部立体模型表面上相应点之间距离信息的特征值，和眼底照片中边缘点之间距离信息的特征值进行比对，若比对结果的相似度满足标准要求，认定眼球局部立体模型表面上的点和眼底照片上的边缘点为一致，将眼球局部立体模型中比对一致的点的坐标位置赋予对应的眼底照片边缘点；基于眼底照片边缘点的坐标位置，计算眼底照片中视盘的二维坐标，基于眼球局部立体模型推算视盘的第三维度坐标，组合得到视盘的三维坐标；基于眼球局部立体模型和视盘的三维坐标，进行三维拟合，得到眼球立体模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310423470.8A CN116824036B (zh) | 2023-04-19 | 2023-04-19 | 基于三维成像的眼球立体建模方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310423470.8A CN116824036B (zh) | 2023-04-19 | 2023-04-19 | 基于三维成像的眼球立体建模方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116824036A CN116824036A (zh) | 2023-09-29 |
| CN116824036B true CN116824036B (zh) | 2024-05-17 |
Family
ID=88119226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310423470.8A Active CN116824036B (zh) | 2023-04-19 | 2023-04-19 | 基于三维成像的眼球立体建模方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116824036B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101968891A (zh) * | 2009-07-28 | 2011-02-09 | 上海冰动信息技术有限公司 | 用于游戏的照片自动生成三维图形系统 |
| CN104958061A (zh) * | 2015-07-28 | 2015-10-07 | 北京信息科技大学 | 双目立体视觉三维成像的眼底oct成像方法及其系统 |
| JP2016173313A (ja) * | 2015-03-17 | 2016-09-29 | 国立大学法人鳥取大学 | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム |
| CN112581518A (zh) * | 2020-12-25 | 2021-03-30 | 百果园技术(新加坡)有限公司 | 基于三维卡通模型的眼球配准方法、装置、服务器和介质 |
| CN113658243A (zh) * | 2021-10-18 | 2021-11-16 | 广东唯仁医疗科技有限公司 | 眼底三维模型建立方法、眼底照相机、装置和存储介质 |
| CN113674394A (zh) * | 2021-07-19 | 2021-11-19 | 南方科技大学 | 眼底全局立体图像生成方法、装置、电子设备及存储介质 |
| CN115222876A (zh) * | 2022-06-09 | 2022-10-21 | 南方科技大学 | 模型训练方法、眼球体结构重塑方法和装置及存储介质 |
| CN115963931A (zh) * | 2023-02-10 | 2023-04-14 | 宜擎新能源科技(上海)有限公司 | 一种确定眼球注视点的方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3625064B2 (ja) * | 2002-06-28 | 2005-03-02 | 独立行政法人理化学研究所 | 眼底の立体表示および座標計測装置 |
| JP7198023B2 (ja) * | 2018-09-27 | 2022-12-28 | 株式会社アイシン | 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム |
-
2023
- 2023-04-19 CN CN202310423470.8A patent/CN116824036B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101968891A (zh) * | 2009-07-28 | 2011-02-09 | 上海冰动信息技术有限公司 | 用于游戏的照片自动生成三维图形系统 |
| JP2016173313A (ja) * | 2015-03-17 | 2016-09-29 | 国立大学法人鳥取大学 | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム |
| CN104958061A (zh) * | 2015-07-28 | 2015-10-07 | 北京信息科技大学 | 双目立体视觉三维成像的眼底oct成像方法及其系统 |
| CN112581518A (zh) * | 2020-12-25 | 2021-03-30 | 百果园技术(新加坡)有限公司 | 基于三维卡通模型的眼球配准方法、装置、服务器和介质 |
| CN113674394A (zh) * | 2021-07-19 | 2021-11-19 | 南方科技大学 | 眼底全局立体图像生成方法、装置、电子设备及存储介质 |
| CN113658243A (zh) * | 2021-10-18 | 2021-11-16 | 广东唯仁医疗科技有限公司 | 眼底三维模型建立方法、眼底照相机、装置和存储介质 |
| CN115222876A (zh) * | 2022-06-09 | 2022-10-21 | 南方科技大学 | 模型训练方法、眼球体结构重塑方法和装置及存储介质 |
| CN115963931A (zh) * | 2023-02-10 | 2023-04-14 | 宜擎新能源科技(上海)有限公司 | 一种确定眼球注视点的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| A novel model of subretinal edema induced by DL-alpha aminoadipic acid;Qinghuai Liu 等;Experimental Eye Research;20230131;全文 * |
| 眼底图像的三维重建;陈骥;彭承琳;;生物医学工程学杂志;20080225(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116824036A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105050483B (zh) | 用于眼部光学相干断层扫描的装置和用于眼部光学相干断层扫描的方法 | |
| FI125445B (fi) | Katseenohjausjärjestely | |
| WO2017053871A2 (en) | Methods and devices for providing enhanced visual acuity | |
| US12016631B2 (en) | System and method for visualization of ocular anatomy | |
| CN107092346B (zh) | 一种信息处理方法及电子设备 | |
| US11382498B2 (en) | Ophthalmologic apparatus and measurement method of eye | |
| CN110215186A (zh) | 一种自动对准定位眼底相机及其工作方法 | |
| JP6641730B2 (ja) | 眼科装置、および眼科装置用プログラム | |
| WO2020262206A1 (ja) | 視覚検査装置及び視覚検査方法 | |
| EP3984016A1 (en) | Systems and methods for superimposing virtual image on real-time image | |
| CN115580692A (zh) | 基于眼动追踪原理的定位扩视野方法及智能眼镜 | |
| CN113827181A (zh) | 角膜图像生成方法及装置 | |
| CN112954296B (zh) | 基于双目视觉的眼底对焦方法、系统以及存储介质 | |
| CN116824036B (zh) | 基于三维成像的眼球立体建模方法、系统 | |
| CN113729609B (zh) | 同视机 | |
| CN118078205A (zh) | 图像处理方法、存储介质及图像处理装置 | |
| KR102263830B1 (ko) | 자동 초점 기능을 이용한 안저 영상 촬영 장치 | |
| CN214595824U (zh) | 穿戴式眼底视网膜成像设备 | |
| CN104905764B (zh) | 一种基于fpga的高速视线跟踪方法 | |
| CN104720838B (zh) | 一种血管造影影像采集装置及方法 | |
| CN111227785A (zh) | 眼球激光扫描成像方法 | |
| JPWO2020111103A1 (ja) | 眼科装置 | |
| JP7472914B2 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
| WO2024034298A1 (ja) | 眼科装置、眼科装置を制御する方法、及び記録媒体 | |
| CN111281337B (zh) | 图像采集设备及基于图像采集设备的眼底视网膜成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |