CN115100380A - 基于眼部体表特征点的医学影像自动识别方法 - Google Patents
基于眼部体表特征点的医学影像自动识别方法 Download PDFInfo
- Publication number
- CN115100380A CN115100380A CN202210688979.0A CN202210688979A CN115100380A CN 115100380 A CN115100380 A CN 115100380A CN 202210688979 A CN202210688979 A CN 202210688979A CN 115100380 A CN115100380 A CN 115100380A
- Authority
- CN
- China
- Prior art keywords
- eye
- dimensional
- virtual model
- eyelid
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000001508 eye Anatomy 0.000 claims abstract description 229
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 210000000744 eyelid Anatomy 0.000 claims description 80
- 239000003550 marker Substances 0.000 claims description 20
- 238000004141 dimensional analysis Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 abstract description 9
- 238000011161 development Methods 0.000 abstract description 4
- 229940023490 ophthalmic product Drugs 0.000 abstract description 4
- 210000001519 tissue Anatomy 0.000 description 13
- 238000011282 treatment Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 210000004872 soft tissue Anatomy 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000016134 Conjunctival disease Diseases 0.000 description 1
- 208000029728 Eyelid disease Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 208000011671 Lacrimal disease Diseases 0.000 description 1
- 208000021642 Muscular disease Diseases 0.000 description 1
- 201000009623 Myopathy Diseases 0.000 description 1
- 208000029091 Refraction disease Diseases 0.000 description 1
- 208000027076 Uveal disease Diseases 0.000 description 1
- 208000036866 Vitreoretinopathy Diseases 0.000 description 1
- 230000004430 ametropia Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 206010023365 keratopathy Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000013441 ocular lesion Diseases 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000006785 proliferative vitreoretinopathy Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 208000021165 scleral disease Diseases 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Abstract
本申请涉及一种基于眼部体表特征点的医学影像自动识别方法，通过设定并标记眼部的生物体表特征；对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像；根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型；深度识别所述眼部虚拟模型，根据不同部位的深度识别结果，对所述眼部虚拟模型进行区别标记。能够通过眼部的体表特征位置，来矫正、调节眼部深度图像的实时动态位置，可以避免因患者晃动而导致眼部组织结构显像不明显、组织位置不精准的发生。随时矫正眼部深度模型和眼部实际组织位置的一致性，便于精准手术，或者精准开展眼球深度模型的解析和定义，提高眼科医学操作性。
Description
技术领域
本公开涉及眼科医学技术领域，尤其涉及一种基于眼部体表特征点的医学影像自动识别方法、装置和控制系统。
背景技术
视觉是人类最为重要的感觉，通过视觉系统获得了外界80％～90％的信息。眼科学是研究视觉器官疾病的发生、表现、诊断、治疗和预防的医学学科。眼科学与基础科学关系紧密，基础科学与相关学科的快速发展推动了眼科学的发展。对眼科疾病的认识己从细胞水平上升到分子水平，先进技术的运用提高了眼科疾病的诊断和治疗水平。
眼科主要针对视觉器官的发生和发育，视觉信号的产生和传递，视功能的评价进行研究和治疗，涉及到眼部疾病(包括眼睑病、结膜病、泪器病、角膜病、巩膜病、葡萄膜病、晶体病、青光眼、玻璃体视网膜病、视路病、屈光不正及调节障碍、眼肌病、眼眶病、眼外伤和全身病在眼部表现)的病因、发病机制、流行病学、诊断、治疗和预防。因此，眼部尤其是眼球的软组织结构研究，是眼部病灶的主要研究基础。
在现有技术下，可以通过深度学习对眼部的深度扫描数据进行三维建模，得到眼部(主要是眼球)的三维扫描数据并进一步构建生成眼部的三维模型，以此通过眼部三维模型实现精准的眼部如视网膜、虹膜等组织部位的研究和治疗。
然而，在对患者进行手术观察、术中治疗过程中，会因为患者的身体部位或者头部晃动动作，导致眼部组织结构在三维扫描环境下出现显像不明显、组织位置不精准的现象。这就不能保证眼部深度模型和眼部实际组织位置的一致性，影响手术的精准性，降低了眼科的医学操作性。因此，有必要进行实时的动态模型矫正。
发明内容
有鉴于此，本公开提出了一种基于眼部体表特征点的医学影像自动识别方法、装置和控制系统。
根据本公开的一方面，提供了一种基于眼部体表特征点的医学影像自动识别方法，包括如下步骤：
S100、设定并标记眼部的生物体表特征；
S200、对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像；
S300、根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型；
S400、深度识别所述眼部虚拟模型，根据不同部位的深度识别结果，对所述眼部虚拟模型进行区别标记。
在一种可能的实现方式中，可选地，在步骤S100中，设定并标记眼部的生物体表特征，包括：
S101、扫描并获取所述眼部处于预设状态时的三维点云数据；
S102、解析所述三维点云数据，并进行预处理，得到所述眼部的眼睑三维点云数据；
S103、将所述眼睑三维点云数据，标记为所述眼部的生物体表特征并储存。
在一种可能的实现方式中，可选地，在步骤S102中，解析所述三维点云数据，并进行预处理，得到所述眼部的眼睑三维点云数据，包括：
S1020、获取所述三维点云数据并进行解析，得到三维点云解析数据；
S1021、根据所述眼部所处的预设状态，将所述三维点云解析数据划分为若干表示不同部位的眼表三维点云区域；
S1022、从所述眼表三维点云区域中，识别并标记出表示所述眼睑部位的三维点云区域，并对应获取该区域的三维点云数据，以此作为所述眼部的眼睑三维点云数据。
在一种可能的实现方式中，可选地，在步骤S200中，对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像，包括：
S201、启动三维深度扫描系统，对所述眼部进行三维扫描，获得所述眼部的三维医学深度图像；
S202、解析所述三维医学深度图像，得到所述眼部的三维解析图像数据并保存；
S203、调取所述眼睑三维点云数据，并将所述眼睑三维点云数据加载于所述三维解析图像数据中，得到包含所述眼部的生物体表特的眼部三维深度图像数据。
在一种可能的实现方式中，可选地，在步骤S300中，根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型，包括：
S301、预置三维建模软件；
S302、将所述三维解析图像数据导入所述三维建模软件中，生成并建立所述眼部的第一虚拟模型；
S303、对所述第一虚拟模型进行裁剪和灰度区域预处理，得到所述眼部的前期虚拟模型。
在一种可能的实现方式中，可选地，在步骤S300中，根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型，还包括：
S310、将所述眼睑三维点云数据导入所述三维建模软件中，生成并建立所述眼睑的第二虚拟模型；
S320、对所述第二虚拟模型进行裁剪和灰度区域预处理，得到眼睑虚拟模型；
S330、将所述眼睑虚拟模型同步显示在所述前期虚拟模型的一侧，并根据所述眼睑虚拟模型的三维空间位置，矫正调整所述前期虚拟模型所处的三维空间位置，得到所述眼部虚拟模型。
在一种可能的实现方式中，可选地，在步骤S330中，根据所述眼睑虚拟模型的三维空间位置，矫正调整所述前期虚拟模型所处的三维空间位置，得到所述眼部虚拟模型，包括：
S311、计算所述前期虚拟模型的三维空间中心点，得到第一空间坐标；
S321、计算所述眼睑虚拟模型的三维空间中心点，得到第二空间坐标；
S331、将所述第一空间坐标和所述第二空间坐标进行坐标换算，使得所述前期虚拟模型的三维空间中心点同步所述眼睑虚拟模型的三维空间中心点，更新所述眼睑虚拟模型的三维解析图像数据，并重新导入所述三维建模软件中，生成所述眼部虚拟模型。
根据本公开的另一方面，提供了一种实现上述所述的基于眼部体表特征点的医学影像自动识别方法的装置，包括：
标记物，用于设定并标记眼部的生物体表特征；
三维扫描系统，用于对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像；
三维建模系统，用于根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型；
标记模块，用于深度识别所述眼部虚拟模型，根据不同部位的深度识别结果，对所述眼部虚拟模型进行区别标记。
根据本公开的另一方面，还提供了一种控制系统，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现上述所述的基于眼部体表特征点的医学影像自动识别方法。
本申请的技术效果：
本发明通过设定并标记眼部的生物体表特征；对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像；根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型；深度识别所述眼部虚拟模型，根据不同部位的深度识别结果，对所述眼部虚拟模型进行区别标记。能够通过眼部的体表特征位置，来矫正、调节眼部深度图像的实时动态位置，可以避免在眼部手术甚至眼球治疗中，因为患者的晃动而导致眼部组织结构显像不明显、组织位置不精准的发生。通过眼表特征，可以随时矫正眼部深度模型和眼部实际组织位置的一致性，便于精准手术，或者精准开展眼球深度模型的解析和定义，提高眼科医学操作性。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为本发明实施例1的实施流程示意图；
图2示出为本发明采取标记点的眼部生物特征标记示意图；
图3示出为本发明采取标记区域的眼部生物特征标记示意图；
图4示出为本发明一实施例中包含A、B、C、D四个不同眼部区域的数据点云团集合示意图；
图5示出为本发明仅仅保留眼睑区域A的数据点云团的示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
本实施例，通过眼部的体表特征位置，来矫正、调节眼部深度图像的实时动态位置，可以避免在眼部手术甚至眼球治疗中，因为患者的晃动而导致眼部组织结构显像不明显、组织位置不精准的发生。通过眼表特征，可以随时矫正眼部深度模型和眼部实际组织位置的一致性，便于精准手术，或者精准开展眼球深度模型的解析和定义，提高眼科医学操作性。
实施例1
如图1所示，根据本公开的一方面，提供了一种基于眼部体表特征点的医学影像自动识别方法，包括如下步骤：
S100、设定并标记眼部的生物体表特征；
在现有技术上，对三维对象的三维数据扫描和三维模型的建立，直接是通过三维扫描设备比如点云相机进行扫描获取数据进行建模的，得到的眼部模型是根据采集的数据或者图像直接生成的，后期得到的虚拟模型是静态模型，不能实时跟随人体动作而动态调整虚拟模型，使其和实际动态保持一致。
而对人体比如眼部进行三维扫描建模时，有时候病人眼部会动作比如眨眼、跳动或者因身体动作因其眼部空间位置变动，这时候的眼部虚拟模型就缺乏贴合眼部体表特征反馈的矫正，虚拟模型和实际眼部的体表位置关系就会不对应，影响所建立模型的精准度。
本实施例，通过眼部的生物体表特征，来对眼部模型进行实时动态调整、矫正，使得眼部虚拟模型得到眼部体表特征点的实际位置数据反馈，从而调整所建立眼部三维虚拟模型的精准度，使得眼部虚拟模型和现实中的眼部实际情况相匹配。通过采取在眼部的体表设置特征点/面，实施获取该特征点/面的三维点云数据，来调整眼部尤其是眼球深度模型的三维点云数据。通知两者点云数据之间的转换计算，实现模型之间的空间位置矫正。
因此，在眼部的生物体表如眼睑、眼眉等表皮位置设置特征位置，进行识别、标记，作为三维模型数据的参考转换。
本实施例，在上眼皮即上眼睑的位置，设置特征点/面，来标记眼部的生物特征。本实施例，优先在上眼睑(也可以选择其他参考点，眼部具体的构成，为眼科专业术语，本实施例不做详述)所在表皮设置标记点，用于表示眼部的特表特征位置，以此作为参考。眼部的生物体表特征，主要是通过一个面或者几个点所在的三维参数体现。对眼部进行三维深度扫描时，可以同步获得包含该特征点/面的三维数据，也就是说设于眼部体表的标记物的外形，可以是一个点或者一个面，当然，标记物的数量可以适当调整。下面将具体描述两种不同的标记物实施方式：
如图2所示，采用的是在上眼睑1的外眼皮设定了几个不同位置的标记点3，比如置入的组织标记物，组织标记物可以在深度扫描系统(如热成像)的扫描下显像，可以是金属Ti或者其他物质。
如图3所示，采用的是在上眼睑1的外眼皮设定了一个标记区域2，采用一个匹配眼皮外表的Ti贴片，贴在眼皮的眼睑位置，进行标记。
标记点3和Ti贴片的形状和大小以及安放位置，本实施例不进行限定。
S200、对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像；
通过三维深度扫描对眼部进行扫描，将获得包含该Ti标记物三维数据的眼部数据，即具备所述生物体表特征的三维医学深度图像。三维深度扫描可以是医学常见的扫描系统比如CT扫描或者红外超声，或者其他技术，本实施例不进行限制。
在具体实施时，眼部填表设置的标记物的三维扫描数据或者扫描图像，可以在扫描时，和眼部比如眼球的三维扫描数据或者扫描图像进行区别标记，标记的方式不限制。这样可以很好的区别出两者之间的位置和数据属性。
S300、根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型；
三维医学深度图像，实际上是通过三维扫描系统扫描获得的三维扫描数据建立的三维深度图像的。不同软组织的深度扫描图像，具有不同的显像成都比如灰度值的不同，或者比如在热成像红外扫描下，不同组织呈现的分层显像，这样就可以反映出软组织的三维医学深度图像。因此，可以通过扫描数据直接建立对应的眼部数据库，进而通过三维建模软件进行虚拟建模，获得该组织的虚拟模型。此模型包含生物特征标记区域(模型)，可以同步显示图像，并且根据现实的图像进行矫正、调整空间相对位置，实现眼部深度模型的精准匹配，实现术中精准导航，可以避免患者晃动导致的眼部模型变化带来的术中困扰。
根据扫描得到的三维比如点云数据/图像合成或者建立三维虚拟模型的技术，可以采用现有的虚拟建模技术比如UG建模或者其他三维建模软件建模，本实施例不限制。
在建立各自虚拟模型后，需要用户判断并建立眼部虚拟模型和标记物图像所对应虚拟模型之间的关联位置关系，且保持两者之间的实时联系，便于病人动作带动眼部动作时，标记物的实时扫描数据直接通过关联位置关系反馈至眼部虚拟模型上，实现眼部虚拟模型的实时动态反馈。以及通过标记物的位置而调节眼部虚拟模型与实际眼部的位置差。
S400、深度识别所述眼部虚拟模型，根据不同部位的深度识别结果，对所述眼部虚拟模型进行区别标记。
当眼部虚拟模型得到校正后，即可进行不同软组织位置、区域的深度识别和区域划分了，实现精准的导向和手术、观察。此时得到的眼部虚拟模型，是经过生物特征标记点数据进行空间位置矫正后的模型，可以实时动态跟随患者身体动态，实现变化。
下面将具体描述步骤S100-300。
在一种可能的实现方式中，可选地，在步骤S100中，设定并标记眼部的生物体表特征，包括：
S101、扫描并获取所述眼部处于预设状态时的三维点云数据；
S102、解析所述三维点云数据，并进行预处理，得到所述眼部的眼睑三维点云数据；
S103、将所述眼睑三维点云数据，标记为所述眼部的生物体表特征并储存。
眼部处于预设状态，标识眼部配置有标记物的状态下，可以是睁眼或者闭眼状态，此时通过三维扫描系统进行眼部扫描，可以获得眼部的三维点云数据，此三维点云数据包含标记物的点云，可以特别显像。比如在眼部软组织的三维点云数据中，凸出显示标记物的位置(系统可以根据不同标记物材质而显示)。
扫描数据经过预定的解析算法进行解析，可以得到一定格式的所述眼部的眼睑三维点云数据，将解析数据进行预处理比如降噪、区域划分或者隐藏处理，得到所述眼部的眼睑三维点云数据。此时，需要对预处理的三维点云数据进行选择，仅仅对其中标记物所在的数据进行选择。
本实施例，优选睁眼状态下进行扫描。
在一种可能的实现方式中，可选地，在步骤S102中，解析所述三维点云数据，并进行预处理，得到所述眼部的眼睑三维点云数据，包括：
S1020、获取所述三维点云数据并进行解析，得到三维点云解析数据；
S1021、根据所述眼部所处的预设状态，将所述三维点云解析数据划分为若干表示不同部位的眼表三维点云区域；
S1022、从所述眼表三维点云区域中，识别并标记出表示所述眼睑部位的三维点云区域，并对应获取该区域的三维点云数据，以此作为所述眼部的眼睑三维点云数据。
在获得三维点云数据后，首先将标记物所在体表位置的数据解析、分离出来。解析所述三维点云数据，得到三维点云解析数据，此时得到的三维点云解析数据，实际上是多个眼部区域位置的数据团集合，此时需要将眼睑部位所在的三维点云数据团分离处理。因此，需要通过图像处理软件对三维点云解析数据进行处理，将其根据眼部状态，划分出此时的表示不同部位的眼表三维点云区域，然后获取其中的眼睑部位的数据团，即眼睑部位的点云。通过图像处理软件对三维点云解析数据进行处理的技术方案，本处不限定。
如图4所示，比如此时得到的三维点云数据，整体包含A、B、C、D四个数据点云，其中，点云团A为所需要的眼睑部位的数据团，此时需要将B、C、D三个数据点云团删除，单独保留点云团A作为特征标记点的三维点云数据，即眼部生物体表特征的三维数据，具体如图5所示。
将点云团A，即所述眼睑三维点云数据，单独标记并储存在系统中，便于后续使用调度。
在一种可能的实现方式中，可选地，在步骤S200中，对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像，包括：
S201、启动三维深度扫描系统，对所述眼部进行三维扫描，获得所述眼部的三维医学深度图像；
S202、解析所述三维医学深度图像，得到所述眼部的三维解析图像数据并保存；
S203、调取所述眼睑三维点云数据，并将所述眼睑三维点云数据加载于所述三维解析图像数据中，得到包含所述眼部的生物体表特的眼部三维深度图像数据。
三维深度扫描系统，扫描得到眼部的整体或者指定部位比如眼球的三维医学深度图像后(经过解析得到解析数据)，将所述眼睑三维点云数据加载于所述三维解析图像数据中，得到包含所述眼部的生物体表特的眼部三维深度图像数据。因为所述眼睑三维点云数据进行了如颜色标记，可以较好地分辨出所述眼睑三维点云数据。
将点云团A即所述眼睑三维点云数据和眼部的三维解析图像数据，分别输入三维建模系统，开始建模。建模过程进行模型处理，可以分别得到眼部的前期虚拟模型和眼睑虚拟模型。具体的：
在一种可能的实现方式中，可选地，在步骤S300中，根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型，包括：
S301、预置三维建模软件；
S302、将所述三维解析图像数据导入所述三维建模软件中，生成并建立所述眼部的第一虚拟模型；
S303、对所述第一虚拟模型进行裁剪和灰度区域预处理，得到所述眼部的前期虚拟模型。
在一种可能的实现方式中，可选地，在步骤S300中，根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型，还包括：
S310、将所述眼睑三维点云数据导入所述三维建模软件中，生成并建立所述眼睑的第二虚拟模型；
S320、对所述第二虚拟模型进行裁剪和灰度区域预处理，得到眼睑虚拟模型；
S330、将所述眼睑虚拟模型同步显示在所述前期虚拟模型的一侧，并根据所述眼睑虚拟模型的三维空间位置，矫正调整所述前期虚拟模型所处的三维空间位置，得到所述眼部虚拟模型。
三维建模软件，本实施例不限制。
对虚拟模型进行裁剪和灰度区域预处理的方法，根据配置的建模软件的功能进行处理即可。
得到眼部的前期虚拟模型和眼睑虚拟模型后，将得到眼部的前期虚拟模型和眼睑虚拟模型两个模型，统一输入在同一个坐标系下，分别计算各自模型的中心点坐标，并计算两个中心点坐标之间的差值，得到坐标差值，将初始的坐标差值作为参考值，便于后续计算得到的差值结果，根据初始差值进行坐标计算、实现差值换算，以此矫正眼部的所述前期虚拟模型的初始状态位置，和下一状态位置之间的差值。当计算发现两个模型之间的中心点坐标差值发生了变化，说明患者的眼部位置发生变化，比如眨眼，这时需要根据实时扫描得到的三维坐标进行差值计算，得到的当下差值和参考差值之间的数据差，是否超过了预设值(自行设定)，超过了，则通过与初始差值之间的差值数值，调整眼部虚拟模型相对眼睑模型的空间位置。空间坐标的差值计算方法，本实施例不限制，可以采用向量计算或者其他方法。
在一种可能的实现方式中，可选地，在步骤S330中，根据所述眼睑虚拟模型的三维空间位置，矫正调整所述前期虚拟模型所处的三维空间位置，得到所述眼部虚拟模型，包括：
S311、计算所述前期虚拟模型的三维空间中心点，得到第一空间坐标；
S321、计算所述眼睑虚拟模型的三维空间中心点，得到第二空间坐标；
S331、将所述第一空间坐标和所述第二空间坐标进行坐标换算，使得所述前期虚拟模型的三维空间中心点同步所述眼睑虚拟模型的三维空间中心点，更新所述眼睑虚拟模型的三维解析图像数据，并重新导入所述三维建模软件中，生成所述眼部虚拟模型。
两个空间坐标的差值计算描述，详见上述。
超过了初始的参考差值，则进行数据调整、矫正，以及更新更新所述眼睑虚拟模型的三维解析图像数据，并重新导入所述三维建模软件中，生成所述眼部虚拟模型。数据更新，可以通过计算的矫正数据直接在模型系统中更新。
需要说明的是，尽管以眼睑部位作为示例介绍了眼部生物体表特征矫正如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定眼部特征部位，只要可以进行眼部数据参考矫正即可。
实施例2
基于实施例1的实施，本实施，根据本公开的另一方面，提供了一种实现上述所述的基于眼部体表特征点的医学影像自动识别方法的装置，包括：
标记物，用于设定并标记眼部的生物体表特征；
三维扫描系统，用于对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像；
三维建模系统，用于根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型；
标记模块，用于深度识别所述眼部虚拟模型，根据不同部位的深度识别结果，对所述眼部虚拟模型进行区别标记。
本实施例，三维扫描系统、三维建模系统和标记模块的具体操作和功能原理，详细参见实施例1的描述，本实施例不再进行赘述。
标记物，参见实施例1的说明。
各个系统/模块/硬件的功能和实施原理，具体参见上述实施例的描述，本处不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
实施例3
更进一步地，根据本公开的另一方面，还提供了一种控制系统，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现上述所述的基于眼部体表特征点的医学影像自动识别方法。
本公开实施例控制系统包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的一种基于眼部体表特征点的医学影像自动识别方法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的控制系统中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一种基于眼部体表特征点的医学影像自动识别方法计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种基于眼部体表特征点的医学影像自动识别方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行控制系统的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (9)
1.一种基于眼部体表特征点的医学影像自动识别方法，其特征在于，包括如下步骤：
S100、设定并标记眼部的生物体表特征；
S200、对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像；
S300、根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型；
S400、深度识别所述眼部虚拟模型，根据不同部位的深度识别结果，对所述眼部虚拟模型进行区别标记。
2.根据权利要求1所述的一种基于眼部体表特征点的医学影像自动识别方法，其特征在于，在步骤S100中，设定并标记眼部的生物体表特征，包括：
S101、扫描并获取所述眼部处于预设状态时的三维点云数据；
S102、解析所述三维点云数据，并进行预处理，得到所述眼部的眼睑三维点云数据；
S103、将所述眼睑三维点云数据，标记为所述眼部的生物体表特征并储存。
3.根据权利要求2所述的一种基于眼部体表特征点的医学影像自动识别方法，其特征在于，在步骤S102中，解析所述三维点云数据，并进行预处理，得到所述眼部的眼睑三维点云数据，包括：
S1020、获取所述三维点云数据并进行解析，得到三维点云解析数据；
S1021、根据所述眼部所处的预设状态，将所述三维点云解析数据划分为若干表示不同部位的眼表三维点云区域；
S1022、从所述眼表三维点云区域中，识别并标记出表示所述眼睑部位的三维点云区域，并对应获取该区域的三维点云数据，以此作为所述眼部的眼睑三维点云数据。
4.根据权利要求2所述的一种基于眼部体表特征点的医学影像自动识别方法，其特征在于，在步骤S200中，对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像，包括：
S201、启动三维深度扫描系统，对所述眼部进行三维扫描，获得所述眼部的三维医学深度图像；
S202、解析所述三维医学深度图像，得到所述眼部的三维解析图像数据并保存；
S203、调取所述眼睑三维点云数据，并将所述眼睑三维点云数据加载于所述三维解析图像数据中，得到包含所述眼部的生物体表特的眼部三维深度图像数据。
5.根据权利要求4所述的一种基于眼部体表特征点的医学影像自动识别方法，其特征在于，在步骤S300中，根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型，包括：
S301、预置三维建模软件；
S302、将所述三维解析图像数据导入所述三维建模软件中，生成并建立所述眼部的第一虚拟模型；
S303、对所述第一虚拟模型进行裁剪和灰度区域预处理，得到所述眼部的前期虚拟模型。
6.根据权利要求5所述的一种基于眼部体表特征点的医学影像自动识别方法，其特征在于，在步骤S300中，根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型，还包括：
S310、将所述眼睑三维点云数据导入所述三维建模软件中，生成并建立所述眼睑的第二虚拟模型；
S320、对所述第二虚拟模型进行裁剪和灰度区域预处理，得到眼睑虚拟模型；
S330、将所述眼睑虚拟模型同步显示在所述前期虚拟模型的一侧，并根据所述眼睑虚拟模型的三维空间位置，矫正调整所述前期虚拟模型所处的三维空间位置，得到所述眼部虚拟模型。
7.根据权利要求6所述的一种基于眼部体表特征点的医学影像自动识别方法，其特征在于，在步骤S330中，根据所述眼睑虚拟模型的三维空间位置，矫正调整所述前期虚拟模型所处的三维空间位置，得到所述眼部虚拟模型，包括：
S311、计算所述前期虚拟模型的三维空间中心点，得到第一空间坐标；
S321、计算所述眼睑虚拟模型的三维空间中心点，得到第二空间坐标；
S331、将所述第一空间坐标和所述第二空间坐标进行坐标换算，使得所述前期虚拟模型的三维空间中心点同步所述眼睑虚拟模型的三维空间中心点，更新所述眼睑虚拟模型的三维解析图像数据，并重新导入所述三维建模软件中，生成所述眼部虚拟模型。
8.一种实现权利要求1-7中任一项所述的基于眼部体表特征点的医学影像自动识别方法的装置，其特征在于，包括：
标记物，用于设定并标记眼部的生物体表特征；
三维扫描系统，用于对所述眼部进行三维深度扫描，获取具备所述生物体表特征的三维医学深度图像；
三维建模系统，用于根据所述三维医学深度图像，建立所述眼部的对应虚拟模型并进行预处理，得到眼部虚拟模型；
标记模块，用于深度识别所述眼部虚拟模型，根据不同部位的深度识别结果，对所述眼部虚拟模型进行区别标记。
9.一种控制系统，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至7中任一项所述的基于眼部体表特征点的医学影像自动识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210688979.0A CN115100380B (zh) | 2022-06-17 | 2022-06-17 | 基于眼部体表特征点的医学影像自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210688979.0A CN115100380B (zh) | 2022-06-17 | 2022-06-17 | 基于眼部体表特征点的医学影像自动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115100380A true CN115100380A (zh) | 2022-09-23 |
| CN115100380B CN115100380B (zh) | 2024-03-26 |
Family
ID=83290049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210688979.0A Active CN115100380B (zh) | 2022-06-17 | 2022-06-17 | 基于眼部体表特征点的医学影像自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100380B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107260420A (zh) * | 2017-07-03 | 2017-10-20 | 南京邮电大学 | 基于眼部动作识别的智能轮椅人机交互控制系统及方法 |
| CN107862732A (zh) * | 2017-11-08 | 2018-03-30 | 清华大学 | 实时的三维眼皮重建方法及装置 |
| WO2018137456A1 (zh) * | 2017-01-25 | 2018-08-02 | 迈吉客科技（北京）有限公司 | 一种视觉跟踪方法和跟踪装置 |
| CN108629830A (zh) * | 2018-03-28 | 2018-10-09 | 深圳臻迪信息技术有限公司 | 一种三维环境信息显示方法及设备 |
| CN109979600A (zh) * | 2019-04-23 | 2019-07-05 | 上海交通大学医学院附属第九人民医院 | 基于虚拟现实的眼眶手术训练方法、系统和存储介质 |
| CN111128367A (zh) * | 2020-01-13 | 2020-05-08 | 浙江清华柔性电子技术研究院 | 眼部的建模和仿真方法及系统 |
| CN111582120A (zh) * | 2020-04-29 | 2020-08-25 | 北京攸乐科技有限公司 | 用于捕捉眼球活动特征的方法、终端设备 |
| KR20200100020A (ko) * | 2020-08-13 | 2020-08-25 | 삼성전자주식회사 | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 |
| CN113842227A (zh) * | 2021-09-03 | 2021-12-28 | 上海涞秋医疗科技有限责任公司 | 医疗辅助三维模型定位匹配方法、系统、设备及介质 |
| CN114299260A (zh) * | 2021-12-22 | 2022-04-08 | 安徽大学 | 一种基于ar眼镜的产品配件检测定位引导组装方法及系统 |
-
2022
- 2022-06-17 CN CN202210688979.0A patent/CN115100380B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018137456A1 (zh) * | 2017-01-25 | 2018-08-02 | 迈吉客科技（北京）有限公司 | 一种视觉跟踪方法和跟踪装置 |
| CN107260420A (zh) * | 2017-07-03 | 2017-10-20 | 南京邮电大学 | 基于眼部动作识别的智能轮椅人机交互控制系统及方法 |
| CN107862732A (zh) * | 2017-11-08 | 2018-03-30 | 清华大学 | 实时的三维眼皮重建方法及装置 |
| CN108629830A (zh) * | 2018-03-28 | 2018-10-09 | 深圳臻迪信息技术有限公司 | 一种三维环境信息显示方法及设备 |
| CN109979600A (zh) * | 2019-04-23 | 2019-07-05 | 上海交通大学医学院附属第九人民医院 | 基于虚拟现实的眼眶手术训练方法、系统和存储介质 |
| CN111128367A (zh) * | 2020-01-13 | 2020-05-08 | 浙江清华柔性电子技术研究院 | 眼部的建模和仿真方法及系统 |
| CN111582120A (zh) * | 2020-04-29 | 2020-08-25 | 北京攸乐科技有限公司 | 用于捕捉眼球活动特征的方法、终端设备 |
| KR20200100020A (ko) * | 2020-08-13 | 2020-08-25 | 삼성전자주식회사 | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 |
| CN113842227A (zh) * | 2021-09-03 | 2021-12-28 | 上海涞秋医疗科技有限责任公司 | 医疗辅助三维模型定位匹配方法、系统、设备及介质 |
| CN114299260A (zh) * | 2021-12-22 | 2022-04-08 | 安徽大学 | 一种基于ar眼镜的产品配件检测定位引导组装方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 夏妍;张欣然;廖洪恩;: "大纵深医学图像裸眼真三维显示", 中国医疗设备, vol. 2021, no. 09, pages 23 - 27 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115100380B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102018565B1 (ko) | 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램 | |
| US10143522B2 (en) | Systems and methods for planning hair transplantation | |
| CN105392423B (zh) | 生物医学成像中的实时适应性运动补偿的运动追踪系统 | |
| US7953260B2 (en) | Predicting movement of soft tissue of the face in response to movement of underlying bone | |
| KR101757642B1 (ko) | 3d 얼굴 모델링 장치 및 방법 | |
| CN111631744B (zh) | Ct扫描定位的方法、装置及系统 | |
| US11660142B2 (en) | Method for generating surgical simulation information and program | |
| CN111096835A (zh) | 一种矫形器设计方法和系统 | |
| CN110547869A (zh) | 一种基于虚拟现实的术前辅助规划装置 | |
| JP6038438B2 (ja) | 眼底画像解析装置、眼底画像解析方法及びプログラム | |
| EP3804670A1 (en) | Image processing device, image processing method, and intraocular image processing system | |
| CN115100380A (zh) | 基于眼部体表特征点的医学影像自动识别方法 | |
| WO2021220990A1 (ja) | 画像認識装置および画像認識プログラム | |
| KR102400525B1 (ko) | 2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램 | |
| KR20190133423A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| CN113240645B (zh) | 显示处理方法、装置、存储介质、处理器及终端设备 | |
| EP3836008A1 (en) | Method for automatically marking muscle feature points on face | |
| WO2022173055A1 (ja) | 骨格推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル | |
| JP2023549096A (ja) | 深層学習を使用する生体眼球測定 | |
| CN117788685A (zh) | 一种基于深度学习的骨折眼眶壁自动重建方法 | |
| CN116778118A (zh) | 一种人体建模方法和系统 | |
| Duffin | Kinematic Analysis of Rapid Eye Movements for Vestibular Disorders |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |