CN115116113A - 一种光学导航方法 - Google Patents
一种光学导航方法 Download PDFInfo
- Publication number
- CN115116113A CN115116113A CN202210758114.7A CN202210758114A CN115116113A CN 115116113 A CN115116113 A CN 115116113A CN 202210758114 A CN202210758114 A CN 202210758114A CN 115116113 A CN115116113 A CN 115116113A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- cloud data
- mri
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003287 optical effect Effects 0.000 title claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 13
- 230000007613 environmental effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 4
- 230000001965 increasing effect Effects 0.000 abstract description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 74
- 238000011491 transcranial magnetic stimulation Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000000638 stimulation Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010001497 Agitation Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000020401 Depressive disease Diseases 0.000 description 1
- 206010028347 Muscle twitching Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 239000003963 antioxidant agent Substances 0.000 description 1
- 230000003078 antioxidant effect Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000003618 cortical neuron Anatomy 0.000 description 1
- 230000002898 effect on depression Effects 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种光学导航方法，涉及导航定位技术领域，包括：获取MRI点云数据；获取MRI点云数据中每个点Q的正向法线，得到带法线的MRI点云数据；获取人脸点云数据；获取人脸点云数据中每个点M的正向法线，得到带法线的人脸点云数据；对带法线的MRI点云数据进行特征提取，得到MRI点云特征；对带法线的人脸点云数据进行特征提取，得到人脸点云特征；对MRI点云特征和人脸点云特征进行配准，得到配准矩阵。本申请在特征提取之前先统一人脸点云数据和MRI点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。
Description
技术领域
本发明涉及导航定位技术领域，更具体地，涉及一种光学导航方法。
背景技术
随着社会的快速发展，生活和工作节奏加快，现代人的生活压力增大，“抑郁”、“焦虑”等精神类疾病的词语时常出现在生活中，精神类疾病的发病率也日益增高。
1985年，Barker等将通电的刺激线圈放置在被试者头部上方，对大脑皮层运动区进行磁场刺激，观察到被试者的手部肌肉产生抽动，并将小指外展肌的运动皮质诱发的电位(motor evoked potentials，MEPs)通过表面电极记录下来，这种形式即经颅磁刺激(Transcranial Magnetic Stimulation， TMS)。1987年，Amassian等通过实验证明刺激线圈的放置方向对TMS针对大脑皮层的刺激效果有影响；1993年，Hoflide等将经颅磁刺激应用于抑郁症的治疗，实验证明TMS对抑郁症有一定的治疗效果；2005年， Edwards等利用实验证明低强度的重复经颅磁刺激能够引起大脑皮层神经元的兴奋性；2007年，Joo E Y等研究发现，长时间、低频重复经颅磁刺激对癫痫的症状有减轻效果；2015年，Ku Y等利用单脉冲经颅磁刺激对大脑感觉皮层和侧后顶叶皮质进行刺激，发现这种刺激形式对大脑的认知功能有干预作用。
伴随着医学成像技术和医学图像处理技术的迅速发展，基于影像引导的手术系统应运而生，借助于医学图像的三维重建模型，医生能够直观、精确的分析器官或组织的结构及其周围组织。影像引导手术系统使用患者的术中图像和相关病变及周围组织的三维模型来实时指导临床程序的实施。在手术操作过程中，影像引导软件可以准确地显示患者的组织解剖结构和病变周围的三维空间的细节。影像引导是利用医学成像技术扫描头部影像，对获取的医学头部图像进行分割、三维重建等，建立包含脑组织的头部三维模型，在重建的大脑三维模型上规划刺激靶点，再利用图像配准技术将大脑三维模型上的靶点映射到术中患者头部，从而指导医生定位靶点。
近年来，随着人工智能发展和人脸匹配技术的成熟，在导航中也逐渐开始引入点云匹配算法。使用光学导航定位系统能够实现经颅磁刺激治疗过程中的可视化操作，在一定程度上提高刺激线圈定位的准确性，然而在点云匹配技术中，在进行配准时需要进行特征提取，特征提取时会出现法线方向不一致的情况，法线方向不一致会导致特征匹配不准确，从而造成配准失败的问题。
发明内容
有鉴于此，本发明提供了一种光学导航方法，在特征提取之前先统一人脸点云数据和MRI点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。
本申请有如下技术方案：
本申请提供一种光学导航方法，包括：
获取MRI点云数据；
获取所述MRI点云数据中每个点Q的正向法线，得到带法线的MRI 点云数据；
利用点云相机获取人脸点云数据；
获取所述人脸点云数据中每个点M的正向法线，得到带法线的人脸点云数据；
对所述带法线的MRI点云数据进行特征提取，得到MRI点云特征；
对所述带法线的人脸点云数据进行特征提取，得到人脸点云特征；
对所述MRI点云特征和所述人脸点云特征进行配准，得到配准矩阵。
可选地，其中：
获取所述MRI点云数据中每个点Q的正向法线，具体为：
在RAS坐标系上选取第一预定点P；获取所述MRI点云数据中每个点Q的切平面法线V；根据向量
与对应点Q的切平面法线V的夹角α，确定点Q的正向法线。
可选地，其中：
所述第一预定点P到X轴和Z轴所在平面的垂直距离大于预设距离，
与Y轴的夹角小于预设角度。
可选地，其中：
获取所述人脸点云数据中每个点M的正向法线，具体为：
在点云相机坐标系上选取第二预定点N；获取所述人脸点云数据中每个点M的切平面法线W；根据向量
与对应点M的切平面法线W的夹角β，确定点M的正向法线。
可选地，其中：
所述第二预定点N为点云相机坐标系的原点N(0、0、0)。
可选地，其中：
所述获取MRI点云数据，具体为：
获取MRI数据，并将所述MRI数据转换为MRI点云数据。
可选地，其中：
所述利用点云相机获取人脸点云数据，具体为：
利用点云相机获取环境点云数据和环境RGB数据，通过人脸检测算法在环境RGB数据中提取人脸数据；
将环境点云数据配准到RGB坐标系内，并根据所述人脸数据去除非人脸点云数据，得到人脸点云数据。
可选地，其中：
所述MRI点云特征和所述人脸点云特征包括FPFH特征或PFH特征。
可选地，其中：
所述对所述MRI点云特征和所述人脸点云特征进行配准，具体为：
利用RANSAC算法，将所述MRI点云特征和所述人脸点云特征进行配准。
与现有技术相比，本发明提供的一种光学导航方法，至少实现了如下的有益效果：
(1)本申请提供的光学导航方法，在特征提取之前先统一人脸点云数据和MRI点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。
(2)本申请提供的光学导航方法，将人脸点云数据和MRI点云数据进行配准，不需要固定患者和点云相机的位置，不仅可以扩大适用人群的范围，而且有利于降低操作难度，增加易用性。
当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1所示为本申请实施例所提供的光学导航方法的一种流程图；
图2所示为本申请实施例所提供的获取MRI点云数据中每个点Q的正向法线的一种流程图；
图3所示为本申请实施例所提供的RAS坐标系的一种结构示意图；
图4所示为本申请实施例所提供的获取人脸点云数据中每个点M的正向法线的一种流程图；
图5所示为本申请实施例所提供的获取人脸点云数据的一种流程图；
图6所示为本申请实施例所提供的光学导航方法的另一种流程图；
图7所示为本申请实施例所提供的光学导航方法的又一种流程图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
近年来，随着人工智能发展和人脸匹配技术的成熟，在导航中也逐渐开始引入点云匹配算法。使用光学导航定位系统能够实现经颅磁刺激治疗过程中的可视化操作，在一定程度上提高刺激线圈定位的准确性，然而在点云匹配技术中，在进行配准时需要进行特征提取，特征提取时会出现法线方向不一致的情况，法线方向不一致会导致特征匹配不准确，从而造成配准失败的问题。
有鉴于此，本发明提供了一种光学导航方法，在特征提取之前先统一人脸点云数据和MRI点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。
以下结合附图和具体实施例进行详细说明。
图1所示为本申请实施例所提供的光学导航方法的一种流程图，请参考图1，本实施例所提供的光学导航方法，包括：
步骤1：获取MRI(Magnetic Resonance Imaging，磁共振成像)点云数据；
步骤2：获取MRI点云数据中每个点Q的正向法线，得到带法线的 MRI点云数据；
步骤3：利用点云相机获取人脸点云数据；
步骤4：获取人脸点云数据中每个点M的正向法线，得到带法线的人脸点云数据；
步骤5：对带法线的MRI点云数据进行特征提取，得到MRI点云特征；
步骤6；对带法线的人脸点云数据进行特征提取，得到人脸点云特征；
步骤7：对MRI点云特征和人脸点云特征进行配准，得到配准矩阵。
具体地，请参考图1，本申请实施例所提供的光学导航方法，首先通过步骤1获取MRI数据，然后将MRI数据转换为MRI点云数据，其中， MRI数据指的是磁共振成像，点云数据指的是获取物体表面各个采样点的空间坐标后，得到的点的集合。需要说明的是，在实际工作中，如果MRI 点云数据的数据量太大，会影响计算速度，从而影响效率，因此，可以根据实际需要进行降采样处理，在不影响精度的基础上提高效率。
得到MRI点云数据后，由于每个点的法线方向有正向和反向两个方向，为了后续特征提取的准确性，对每个点的法线进行调整，确保各个点的法线方向一致，如在步骤2中获取MRI点云数据中每个点Q的正向法线，即可得到带法线的MRI点云数据。此处的正向法线例如可以为朝向正脸外侧的方向，当然，朝向正脸外向的方向作为正向法线的方向，仅是一种示意性说明，并不作为对本申请的限制，在实际应用中，也可以将朝向正脸内侧的方向作为正向法线。
得到带法线的MRI点云数据后，在步骤3中利用点云相机获取人脸点云数据，并与MRI点云数据类似，通过步骤4获取人脸点云数据中每个点的正向法线，以使各个点的法线方向一致。需要说明的是，在实际应用中，并不是必须按照步骤1、步骤2、步骤3、步骤4的顺序执行，也可以是先获取人脸点云数据，然后再获取MRI点云数据，也即，先执行步骤3和步骤4，然后再执行步骤1和步骤2，或者也可以人脸点云数据和MRI点云数据同时执行，具体可以根据实际需要设置，本申请对此不作具体限定。
得到带法线的人脸点云数据和MRI点云数据之后，在步骤5和步骤6 中分别进行特征提取，由于KDTree(K-demension tree，kd树)算法的查找效率很高，因此，进行特征提取时，可以采用KDTree算法进行加速，KDTree是一种分割k维数据空间的数据结构，可以应用于多维空间关键数据的近邻查找和近似最近邻查找。关于KDTree算法的具体构建，可以参照现有的KDTree算法，此处不再进行赘述。需要说明的是，图1仅是为了示意性说明通过步骤5和步骤6进行特征提取，并不代表步骤5步骤6 的执行顺序。
通过步骤5和步骤6得到MRI点云特征和人脸点云特征后，在步骤7 中对MRI点云特征和人脸点云特征进行配准，得到MRI点云特征和人脸点云特征之间的转换关系，也即配准矩阵。在对MRI点云特征和人脸点云特征进行配准时，可以利用RANSAC(Random SampleConsensus，随机抽样一致)算法首先进行粗匹配，此处的粗匹配指的是在两幅点云之间的变换完全未知的情况下进行较为粗糙的配准。
需要说明的是，为了能够得到MRI点云和人脸点云之间的更精确的变换，在完成粗匹配后，还可以进一步利用ICP(Iterative Closest Point，最近点迭代)算法进行精确匹配，精确匹配指的是给定一个初始变换，例如以粗匹配的结果作为精配准的变换初值，进一步优化得到更精确的变换。在实际使用过程中，可以根据需要进行精匹配或不进行精匹配，本申请对此不进行限定。
本申请实施例所提供的光学导航方法，在特征提取之前先统一人脸点云数据和MRI点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。此外，本申请将人脸点云数据和 MRI点云数据进行配准，不需要固定患者和点云相机的位置，不仅可以扩大适用人群的范围，而且有利于降低操作难度，增加易用性。
可选地，图2所示为本申请实施例所提供的获取MRI点云数据中每个点Q的正向法线的一种流程图，图3所示为本申请实施例所提供的RAS 坐标系的一种结构示意图，请参考图1-图3，步骤2中，获取MRI点云数据中每个点Q的正向法线，具体为：步骤21：在RAS坐标系上选取第一预定点P；步骤22：获取MRI点云数据中每个点Q的切平面法线V；步骤 23：根据向量
与对应点Q的切平面法线V的夹角α，确定点Q的正向法线。
具体地，请参考图1-图3，获取MRI点云数据中每个点Q的正向法线时，可以引用解剖学坐标体系RAS(Right、Anterior、Superior，右、前、上)坐标系，其中，RAS坐标系是以头部的几何中心为原点，原点指向右手边的轴为X轴，原点指向正脸前方的轴为Y轴，原点指向头顶的轴为Z 轴。在步骤22中，根据切平面算法计算MRI点云数据中每个点Q的切平面法线V，由于切平面的法线V具有正反两个方向，为了后续特征提取的准确性，对每个点的法线进行调整，确保各个点的法线方向一致。
在调整每个点的法线方向时，可以通过步骤21在RAS坐标系上选取第一预定点P，然后在步骤23中根据向量
与对应点Q的切平面法线V 的夹角α大小，确定点Q的正向法线。例如，若将朝向正脸外向的方向作为正向，则当α≤90°时，将Q点的切平面法线V作为点Q的正向法线；当α>90°时，将Q点的切平面法线V取反后作为点Q的正向法线。而将朝向正脸内侧的方向作为正向时，正向法线的调整方法与朝向正脸外向的方向作为正向时相反，当α≤90°时，将Q点的切平面法线V取反后作为点Q的正向法线；当α>90°时，将Q点的切平面法线V作为点Q的正向法线。确保得到的MRI点云数据中每个点Q的法相方向一致，从而可以避免由于法线方向不一致而造成配准失败的问题，有利于提高配准的准确率。
需要说明的是，引用RAS坐标系作为坐标轴，仅是在本实施例中的一种实施方式，并不作为对本申请的限定，在其他实施例中，也可以选用其他坐标系，但当选用其他坐标系时，需要先转换在RAS坐标系下，然后再进行法线调整。此外，图2仅是为了示意性说明调整法线方向的方法，并不代表各个步骤的执行顺序，例如，步骤21和步骤22的执行顺序可以交换。
可选地，请参考图3，第一预定点P到X轴和Z轴所在平面的垂直距离大于预设距离，
与Y轴的夹角θ小于预设角度。
具体地，由于RAS坐标系的原点位于头部的几何中心，原点与人脸表面具有一定的距离，假设为预设距离，在选取第一预定点P时，为了确保该点位于人脸前方，需要使第一预定点P的y坐标大于该预设距离，也即，第一预定点P到RAS坐标系中XZ平面的垂直距离大于预设距离，从而确保该第一预定点P在Y轴方向上位于人脸外。通常情况下，原点到人脸的距离不会小于200mm，所以，第一预定点P的y轴坐标例如可以为200。当然，第一预定点P的y轴坐标为200仅为一种示例性说明，在实际使用中，第一预定点P的y轴坐标可以根据实际需要进行设置，本申请不进行具体限定。
此外，选取第一预定点P时，需要确保MRI点云数据与该点组成的向量为正向，因此，除了考虑y轴坐标外，还要考虑该点的x轴坐标和z轴坐标。当第一预定点P位于人脸正前方时，MRI点云数据与该点组成的向量为正向，因此，本实施例中设置
与Y轴的夹角θ小于预设角度，此处， O表示RAS坐标系的原点，预设角度例如可以为30度，当然，预设角度为30度仅仅是一种示意性说明，在实际应用中，预设角度可以根据实际需要具体设置，本申请对此不进行具体限定。例如，当第一预定点P的坐标为(0，200，0)时，第一坐标点P位于Y轴上，此时，
与Y轴的夹角为0，第一预定点P位于人脸正前方。
可选地，图4所示为本申请实施例所提供的获取人脸点云数据中每个点M的正向法线的一种流程图，请参考图1和图4，步骤4中，获取人脸点云数据中每个点M的正向法线，具体为：步骤41：在点云相机坐标系上选取第二预定点N；步骤42：获取人脸点云数据中每个点M的切平面法线 W；步骤43：根据向量
与对应点M的切平面法线W的夹角β，确定点 M的正向法线。
具体地，请参考图1和图4，获取人脸点云数据中每个点M的正向法线时，以点云相机坐标系作为坐标轴，根据切平面算法计算人脸点云数据中每个点M的切平面法线W，由于切平面的法线W具有正反两个方向，为了后续特征提取的准确性，对每个点的法线进行调整，确保各个点的法线方向一致。
在调整每个点的法线方向时，可以在点云相机坐标系上选取第二预定点N，根据向量
与对应点M的切平面法线W的夹角β大小，确定点M 的正向法线。例如，若将朝向正脸外向的方向作为正向，则当α≤90°时，将M点的切平面法线W作为点M的正向法线；当α>90°时，将M点的切平面法线W取反后作为点M的正向法线。而将朝向正脸内侧的方向作为正向时，正向法线的调整方法与朝向正脸外向的方向作为正向时相反，当α≤90°时，将M点的切平面法线W取反后作为点M的正向法线；当α>90°时，将M点的切平面法线W作为点M的正向法线。确保得到的人脸点云数据中每个点M的法相方向一致，从而可以避免由于法线方向不一致而造成配准失败的问题，有利于提高配准的准确率。
需要说明的是，图4仅是为了示意性说明调整法线方向的方法，并不代表各个步骤的执行顺序，例如，步骤21和步骤22的执行顺序可以交换。
可选地，第二预定点N为点云相机坐标系的原点N(0、0、0)。具体地，选取第二与定点N时，需要确保人脸点云数据与该点组成的向量为正向。而当第二预定点N位于人脸正前方时，人脸点云数据与该点组成的向量为正向，因此，本实施例中选取人脸正前方的点云相机的原点(0，0，0) 作为第二预定点N。当然，以点云相机的原点作为第二预定点N，仅仅是一种示意性说明，在实际应用中，第二预定点N还可以为其他，本申请对此不进行具体限定。
可选地，请参考图1，步骤1中，获取MRI点云数据，具体为：获取 MRI数据，并将MRI数据转换为MRI点云数据。具体地，请参考图1，要获取MRI点云数据，首先要获取MRI数据，MRI数据指的是磁共振成像，然后将MRI数据转换为MRI点云数据，点云数据指的是RGBD图像，即在RGB(red、green、blue，红、绿、蓝)图像的基础上增加了一个表示像素点深度通道的图像。将MRI数据转换为MRI点云数据，通过对MRI点云数据和人脸点云数据进行配准，从而不需要固定患者和点云相机的位置，不仅可以扩大适用人群的范围，而且有利于降低操作难度，增加易用性。
可选地，图5所示为本申请实施例所提供的获取人脸点云数据的一种流程图，请参考图1和图5，步骤3中，利用点云相机获取人脸点云数据，具体为：步骤31：利用点云相机获取环境点云数据和环境RGB数据，通过人脸检测算法在环境RGB数据中提取人脸数据；步骤32：将环境点云数据配准到RGB坐标系内，并根据人脸数据去除非人脸点云数据，得到人脸点云数据。
具体地，请参考图1和图5，环境RGB数据中包含人脸特征信息和人脸周围的非人脸特征信息，在获取人脸点云数据时，首先在步骤31中利用点云相机获取环境点云数据和环境RGB数据，并通过人脸检测算法在环境 RGB数据中提取人脸数据。同样的，环境点云数据包含人脸点云数据和非人脸点云数据，在步骤32中将环境点云数据配准到RGB坐标系内，并利用步骤31中得到的人脸数据去除环境点云数据中人脸区域外的信息，剩下的即为人脸点云数据。由于去除了与人脸无关的信息，因此，可以提高后续点云匹配算法的效率和鲁棒性。
需要说明的是，得到人脸点云数据之后，需要配准到点云相机坐标系下，在进行配准时，如果点云相机坐标系和RGB坐标系不一致，则先将 RGB数据转到点云相机坐标系下，然后再处理点云。或者，也可以将点云数据转到RGB坐标系下，处理完后再转到点云相机坐标系下。
可选地，MRI点云特征和人脸点云特征包括FPFH特征或PFH特征。具体地，点特征的描述子一般是基于点坐标、法向量、曲率来描述某个点周围的几何特征，用点特征描述子不能提供特征之间的关系，减少了全局特征信息。因此，本实施例中通过PFH(point featurehistogram，点特征直方图)进行特征描述，PFH通过参数化查询点和紧邻点之间的空间差异，形成了一个多维直方图对点的近邻进行几何描述，直方图提供的信息对于点云具有平移旋转不变性，对采样密度和噪声点具有稳健性。PFH是基于点与其邻近之间的关系以及它们的估计法线，也即是它考虑估计法线之间的相互关系，来描述几何特征。
当然，除了采用FPH描述几何特征外，还可以采用FPFH(fast point featurehistograms，快速点特征直方图)来描述几何特征，FPFH是PFH公式的简单化，PFH是计算邻域点所有组合的特征元素，而FPFH只计算查询点和近邻点之间的特征元素，FPFH保留了PFH的大部分判别能力，但其计算复杂度相对于PFH降低。
可选地，图6所示为本申请实施例所提供的光学导航方法的另一种流程图，请参考图6，步骤7中，对MRI点云特征和人脸点云特征进行配准，具体为：利用RANSAC算法，将MRI点云特征和人脸点云特征进行配准。
具体地，请参考图6，在对MRI点云特征和人脸点云特征进行配准时，采用RANSAC算法进行粗配准，RANSAC算法是从一组含有“外点”(outliers) 的数据中正确估计数学模型参数的迭代算法。“外点”一般指数据中的噪声，比如说匹配中的误匹配和估计曲线中的离群点。RANSAC算法是一种不确定算法，它只能在一种概率下产生结果，并且这个概率会随着迭代次数的增加而加大。
在实际使用中，如果对配准精度要求较高，则在得到RANSAC算法的配准结果后，还可以进一步进行精配准。图7所示为本申请实施例所提供的光学导航方法的又一种流程图，请参考图7，本实施例中在步骤71中，利用RANSAC算法，将MRI点云特征和人脸点云特征进行配准，得到粗匹配数据。在粗配准后，在步骤72中，利用ICP算法进一步进行精配准， ICP算法是基于数据配准法，利用点到点、点到线或点到面的最近距离搜索法，从而解决基于自由形态曲面的一种算法。RANSAC算法和ICP算法的具体算法流程可参考现有算法，此处不再进行赘述。
通过以上各实施例可知，本申请存在的有益效果是：
(1)本申请提供的光学导航方法，在特征提取之前先统一人脸点云数据和MRI点云数据的法线方向，使得在进行配准前不需要手动调整法线方向，可以避免由于法线方向不一致而造成配准失败的问题，还可以增加配准的速度和准确率，减少人工误差。
(2)本申请提供的光学导航方法，将人脸点云数据和MRI点云数据进行配准，不需要固定患者和点云相机的位置，不仅可以扩大适用人群的范围，而且有利于降低操作难度，增加易用性。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。
Claims (9)
1.一种光学导航方法，其特征在于，包括：
获取MRI点云数据；
获取所述MRI点云数据中每个点Q的正向法线，得到带法线的MRI点云数据；
利用点云相机获取人脸点云数据；
获取所述人脸点云数据中每个点M的正向法线，得到带法线的人脸点云数据；
对所述带法线的MRI点云数据进行特征提取，得到MRI点云特征；
对所述带法线的人脸点云数据进行特征提取，得到人脸点云特征；
对所述MRI点云特征和所述人脸点云特征进行配准，得到配准矩阵。
2.根据权利要求1所述的一种光学导航方法，其特征在于，获取所述MRI点云数据中每个点Q的正向法线，具体为：
在RAS坐标系上选取第一预定点P；获取所述MRI点云数据中每个点Q的切平面法线V；根据向量
与对应点Q的切平面法线V的夹角α，确定点Q的正向法线。
3.根据权利要求2所述的一种光学导航方法，其特征在于，所述第一预定点P到X轴和Z轴所在平面的垂直距离大于预设距离，
与Y轴的夹角小于预设角度。
4.根据权利要求1所述的一种光学导航方法，其特征在于，获取所述人脸点云数据中每个点M的正向法线，具体为：
在点云相机坐标系上选取第二预定点N；获取所述人脸点云数据中每个点M的切平面法线W；根据向量
与对应点M的切平面法线W的夹角β，确定点M的正向法线。
5.根据权利要求4所述的一种光学导航方法，其特征在于，所述第二预定点N为点云相机坐标系的原点N(0、0、0)。
6.根据权利要求1所述的一种光学导航方法，其特征在于，所述获取MRI点云数据，具体为：
获取MRI数据，并将所述MRI数据转换为MRI点云数据。
7.根据权利要求1所述的一种光学导航方法，其特征在于，所述利用点云相机获取人脸点云数据，具体为：
利用点云相机获取环境点云数据和环境RGB数据，通过人脸检测算法在环境RGB数据中提取人脸数据；
将环境点云数据配准到RGB坐标系内，并根据所述人脸数据去除非人脸点云数据，得到人脸点云数据。
8.根据权利要求1所述的一种光学导航方法，其特征在于，
所述MRI点云特征和所述人脸点云特征包括FPFH特征或PFH特征。
9.根据权利要求1所述的一种光学导航方法，其特征在于，所述对所述MRI点云特征和所述人脸点云特征进行配准，具体为：
利用RANSAC算法，将所述MRI点云特征和所述人脸点云特征进行配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210758114.7A CN115116113A (zh) | 2022-06-29 | 2022-06-29 | 一种光学导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210758114.7A CN115116113A (zh) | 2022-06-29 | 2022-06-29 | 一种光学导航方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115116113A true CN115116113A (zh) | 2022-09-27 |
Family
ID=83329741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210758114.7A Pending CN115116113A (zh) | 2022-06-29 | 2022-06-29 | 一种光学导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115116113A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563561A (zh) * | 2023-07-06 | 2023-08-08 | 北京优脑银河科技有限公司 | 点云特征提取方法、点云配准方法及可读存储介质 |
-
2022
- 2022-06-29 CN CN202210758114.7A patent/CN115116113A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563561A (zh) * | 2023-07-06 | 2023-08-08 | 北京优脑银河科技有限公司 | 点云特征提取方法、点云配准方法及可读存储介质 |
| CN116563561B (zh) * | 2023-07-06 | 2023-11-14 | 北京优脑银河科技有限公司 | 点云特征提取方法、点云配准方法及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230293130A1 (en) | Method for a brain region location and shape prediction | |
| Grimson et al. | Utilizing segmented MRI data in image-guided surgery | |
| EP3309749B1 (en) | Registration of a magnetic tracking system with an imaging device | |
| CN106997594B (zh) | 一种眼部组织的定位方法及装置 | |
| CN111640143A (zh) | 一种基于PointNet的神经导航快速面配准方法及系统 | |
| Liu et al. | Automatic localization of the anterior commissure, posterior commissure, and midsagittal plane in MRI scans using regression forests | |
| Kuijf et al. | Registration of brain CT images to an MRI template for the purpose of lesion-symptom mapping | |
| CN115116113A (zh) | 一种光学导航方法 | |
| CN112184720A (zh) | 一种ct图像的内直肌和视神经分割方法及系统 | |
| US20120087559A1 (en) | Device and method for cerebral location assistance | |
| Onofrey et al. | Segmenting the brain surface from CT images with artifacts using locally oriented appearance and dictionary learning | |
| Hofmanis et al. | Automatic Depth Electrode Localization in Intracranial Space. | |
| Schwing et al. | Reliable extraction of the mid-sagittal plane in 3D brain MRI via hierarchical landmark detection | |
| Zagorchev et al. | Patient-specific sensor registration for electrical source imaging using a deformable head model | |
| Kim et al. | Clinical subthalamic nucleus prediction from high-field brain MRI | |
| Saha et al. | Tensor scale-based image registration | |
| Lötjönen et al. | Four-chamber 3-D statistical shape model from cardiac short-axis and long-axis MR images | |
| CN113870324A (zh) | 多模态图像的配准方法及其配准装置和计算机可读存储介质 | |
| Steger et al. | Automated skeleton based multi-modal deformable registration of head&neck datasets | |
| Yang et al. | A novel neurosurgery registration pipeline based on heat maps and anatomic facial feature points | |
| CN116580820B (zh) | 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统 | |
| TWI766253B (zh) | 基於影像匹配決定手術路徑之方法與系統 | |
| Žgaljić et al. | Improving Markerless Registration Accuracy by Mapping Facial Deformation | |
| CN116563297B (zh) | 颅脑靶点定位方法、装置及存储介质 | |
| CN115137988A (zh) | 一种医疗导航方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240430 Address after: Room 504, floor 5, building 2, hospital 9, Yiyi Road, Life Science Park, Changping District, Beijing 102206 Applicant after: Beijing Yinhe Fangyuan Technology Co.,Ltd. Country or region after: China Address before: Room 504, floor 5, building 2, hospital 9, Yiyi Road, Life Science Park, Changping District, Beijing 102206 Applicant before: Beijing Yinhe Fangyuan Technology Co.,Ltd. Country or region before: China Applicant before: Beijing yone Galaxy Technology Co.,Ltd. |