CN115068082A - 基于机器视觉的电极植入方法及系统 - Google Patents

基于机器视觉的电极植入方法及系统 Download PDF

Info

Publication number
CN115068082A
CN115068082A CN202210696347.9A CN202210696347A CN115068082A CN 115068082 A CN115068082 A CN 115068082A CN 202210696347 A CN202210696347 A CN 202210696347A CN 115068082 A CN115068082 A CN 115068082A
Authority
CN
China
Prior art keywords
implantation
camera
electrode
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210696347.9A
Other languages
English (en)
Inventor
赵郑拓
李雪
赵若兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ladder Medical Technology Co ltd
Original Assignee
Center for Excellence in Brain Science and Intelligence Technology Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Center for Excellence in Brain Science and Intelligence Technology Chinese Academy of Sciences filed Critical Center for Excellence in Brain Science and Intelligence Technology Chinese Academy of Sciences
Priority to CN202210696347.9A priority Critical patent/CN115068082A/zh
Priority to PCT/CN2022/102359 priority patent/WO2023245708A1/zh
Publication of CN115068082A publication Critical patent/CN115068082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3468—Trocars; Puncturing needles for implanting or removing devices, e.g. prostheses, implants, seeds, wires
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A61B2017/3405—Needle locating or guiding means using mechanical guide means
    • A61B2017/3409—Needle locating or guiding means using mechanical guide means including needle or instrument drives
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种基于机器视觉的电极植入方法和系统。该方法包括：由第一相机针对脑表面捕获第一图像，并由第二相机针对脑表面捕获第二图像；对第一图像和第二图像进行运算处理，其中，基于血管分割算法获得脑表面血管区域掩码，以确定脑表面图像中的可植入区域；在可植入区域中选择至少一个植入位置，根据已知的电极位置计算该至少一个植入位置与电极位置的距离，从而确定电极的植入顺序；匹配第一相机和第二相机的成像以获得变换矩阵，将第一相机的成像中植入位置所在的第一直线投影到第二相机的成像中，将第一直线与第二相机的成像中该植入位置所在的第二直线之间的交点确定为植入装置的预测落点；以及根据预测落点实时控制植入装置，直至植入点与预测落点重合。

Description

基于机器视觉的电极植入方法及系统
技术领域
本公开涉及生命科学技术领域，并且具体地及一种基于机器视觉的电极植入方法及系统。
背景技术
在神经外科手术机器人领域，涉及到一种柔性电极向脑表面的植入。在植入的过程中，植入设备先穿过电极，随后带着电极植入到脑表面。而脑表面术区多为毫米级的小窗，依靠机械臂或者外部步进电机初步移至小窗上方，分析避开血管的可植入位点，控制植入工具进行植入。为了在植入电极时减少或降低出血，需要自动识别出可植入区域。由于动物脑表面血管分布复杂，有较多毛细血管；且图像质量对成像条件较为苛刻，光照的变化会大幅影响血管识别的效果。因此，需要稳定的光学系统来保证图像质量，以及稳定能识别出脑血管并提供植入区域的算法。
进一步地，在电极的植入中，要求明确植入脑区与电极通道的对应关系，需要对植入位置进行编号。在植入电极过程中，往往有多个位点需要植入，然而电极长度有限，要考虑电极不被拉扯以及与其他电极的排布关系，对电极的植入位置顺序提出要求。此外，由于植入工具不一定完全竖直，并且脑表面存在起伏，要求植入精确严格控制植入工具与表面的植入角度和位置，准确判断植入工具空间位置。因此，还需要设计相应的立体显微成像系统，实时监测植入工具的位置，预判其在脑表面的落点。
发明内容
本申请提出了一种基于机器视觉的电极植入方法和系统。
根据本公开的实施例的第一方面，提供了一种基于机器视觉的电极植入方法，包括：由第一相机针对脑表面捕获第一图像，并由第二相机针对脑表面捕获第二图像；对第一图像和第二图像进行运算处理，其中，基于血管分割算法获得脑表面血管区域掩码，以确定脑表面图像中的可植入区域；在可植入区域中选择至少一个植入位置，根据已知的电极位置计算该至少一个植入位置与电极位置的距离，从而确定电极的植入顺序；匹配第一相机和第二相机的成像以获得变换矩阵，将第一相机的成像中植入位置所在的第一直线投影到第二相机的成像中，将第一直线与第二相机的成像中该植入位置所在的第二直线之间的交点确定为植入装置的预测落点；以及根据预测落点实时控制植入装置，直至植入点与预测落点重合。
根据本公开的实施例的第二方面，提供了一种基于机器视觉的电极植入系统，包括：第一相机，被配置为针对脑表面捕获第一图像；第二相机，被配置为针对脑表面捕获第二图像；血管分割运算单元，被配置为对第一图像和第二图像进行运算处理，其中，基于血管分割算法获得脑表面血管区域掩码，以确定脑表面图像中的可植入区域；植入顺序确定单元，被配置为在可植入区域中选择至少一个植入位置，根据已知的电极位置计算该至少一个植入位置与电极位置的距离，从而确定电极的植入顺序；植入落点预测单元，被配置为匹配第一相机和第二相机的成像以获得变换矩阵，将第一相机的成像中植入位置所在的第一直线投影到第二相机的成像中，将第一直线与第二相机的成像中该植入位置所在的第二直线之间的交点确定为植入装置的预测落点；以及植入装置控制单元，被配置为根据预测落点实时控制植入装置，直至植入点与预测落点重合。
根据本公开的实施例的优点在于适用于多种不同的成像模式，所使用的算法具有比较好的普适性，并且能够实现较好的边界分割，得到稳定的成像识别结果。
根据本公开的实施例的另一优点在于能够提供自动化的血管分割算法，易于调整算法参数，并且能够降低分割算法的计算量。
应当认识到，上述优点不需全部集中在一个或一些特定实施例中实现，而是可以部分分散在根据本公开的不同实施例中。根据本公开的实施例可以具有上述优点中的一个或一些，也可以替代地或者附加地具有其它的优点。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得更为清楚。
附图说明
图1是示出了根据本公开的实施例的基于机器视觉的电极植入系统的示意图。
图2是示出了根据本公开的实施例的基于机器视觉的电极植入系统的配置图。
图3是示出了根据本公开的实施例的血管分割算法的流程图。
图4是示出了根据本公开的实施例的血管分割算法的步骤示意图。
图5是示出了根据本公开的实施例的血管分割算法的效果图。
图6是示出了根据本公开的实施例的脑表面电极的可植入位置选择和路径规划的示意图。
图7是示出了根据本公开的实施例的植入工具落点预测的示意图。
图8是示出了根据本公开的实施例的植入工具控制算法的流程图。
图9是示出了根据本公开的实施例的基于机器视觉的电极植入方法的步骤示意图。
具体实施方式
下面将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。也就是说，本文中的结构及方法是以示例性的方式示出以说明本公开中的结构和方法的不同实施例。然而，本领域技术人员将会理解，它们仅仅说明可以用来实施的本公开的示例性方式，而不是穷尽的方式。此外，附图不必按比例绘制，一些特征可能被放大以示出具体组件的细节。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在进行脑表面的电极植入过程中，需要进行血管识别与植入位点选择、植入路径规划以及植入工具的定位。
一般地，对于脑表面的血管识别主要包括对于脑表面成像进行区域分割，即将血管和非血管的区域进行区分，实现区域分割的方式至少包括阈值分割、边缘检测、基于数学形态学的分割方法等。
具体而言，阈值分割是最常见的并行的直接检测区域的分割方法，同时也是最简单的分割方法。这种方法一般都对图像有一定的假设，假设图像的目标和背景占据不同的灰度级范围，在目标和背景内部的相邻像素间的灰度值差异较小，但在目标和背景交界处两边的像素在灰度值上有较大的差别。如果选取一个适当的灰度阈值T，然后将图像中每个像素的灰度值与该阈值T相比较，根据比较结果可以将像素分为两类：像素的灰度值大于阈值的为一类，它们被赋值1；像素的灰度值小于阈值的为另一类，它们被赋值0，这样就得到了一幅二值图像，并把目标从背景中提取出来.通常根据先验知识确定分割门限，也可以利用灰度直方图特征和统计判决方法确定。图像的灰度直方图会呈现双峰一谷状。两个峰值分别对应于目标的中心灰度和背景的中心灰度，边界点位于目标周围，其灰度介于目标灰度和背景灰度之间，因此边界的灰度对应着双峰之间的谷点。为了使像素错分的概率达到最小，将谷点的灰度作为分割门限。由于直方图的参差性，直方图的谷值很难确定，需要设计特定的方法进行搜索。目前，有很多的方法可以确定最优阈值(谷底)，如求取高斯模型参数的方法、对直方图曲线拟合求极值的方法等。
基于阈值的分割方法具有计算简单、运算效率高的优点。但是这类方法没有考虑空间特性，对噪声和灰度多样性敏感，对目标和背景灰度差异不明显的图像很难得到准确的分割阈值。在实际应用中，通常与其他图像分割方法配合使用，才能取得满意的效果。现有技术由时飞磁共振血管造影图像中提取血管时，提出一个基于血流物理模型的统计模型。为了提高血管的分割能力，将PCA的速度和相位信息进行融合，分别采用自适应局部阈值方法和单一全局阈值方法分割两种不同的统计模型，使其附近信号非常低的动脉瘤取得较好的分割效果。现有技术还采用了将局部阈值和全局阈值结合起来，对脑血管图像进行三维重建，使用局部阈值可以增强小血管的对比度，使用全局阈值可以将目标血管从背景中提取出来。
边缘检测是一种基于灰度不连续性的并行边界分割技术，是所有基于边界分割方法的第一步。因为边缘是目标和背景的分界线，提取出边缘才能将目标和背景区分开来。边缘检测一般利用目标和背景在某种特性上存在差异来实现，如灰度、颜色、纹理等特征。检测边缘一般常用一阶或二阶导数来完成，但在实际的数字图像中求导是利用差分运算近似代替微分运算。图像中处于边缘两侧的点，其灰度值发生突变，所以这些点将具有较大的微分值，当微分的方向和边界垂直时，微分值最大。可见，微分是有方向性的运算，用于测量微分方向上灰度级的变化。
基于数学形态学的分割方法，其基本原则是利用具有一定形态的结构元素对图像进行基本操作，以达到对图像分析和识别的目的。数学形态学的基本运算有膨胀(dilation)和腐蚀(erosion)，以及它们组合形成的开运算(opening)和闭运算(closing).开运算是先腐蚀后膨胀，闭运算是先膨胀后腐蚀。各种运算对图像的处理都各具特点，膨胀使图像扩大而腐蚀使图像缩小。开运算和闭运算都能使图像的轮廓变得平滑，但两种运算的作用相反，开运算能断开狭窄的间断，消除细的突出物；闭运算能消除图像中小的孔洞，填补轮廓线中的断裂，并将狭窄的缺口和细长的鸿沟合并。结合图像的具体特征，可根据这些基本运算进行推导和组合不同的数学形态学算法，用于对图像形状和结构进行处理和分析，如边缘检测、图像滤波、特征提取、图像增强等。医学图像常用的处理算法有头帽变换(top-hat transformation)和分水岭变换(watershed transformation)。
为实现上述多种不同方法，实践中还将神经网络运用到图像区域分割中。一方面，神经网络能够进行学习；另一方面，在训练的过程中能够使用网络的非线性进行边界分割。其不足是每当有新的特征加入网络系统时，就需要重新进行学习和训练，而且其调试过程也很复杂。为了使网络系统利用其可学习性在特征中分类边界，应该尽可能多的选择物体的特征。学习过程中广泛应用的一种算法是后传播算法，由于训练数据集合决定学习，所以训练数据量的大小就决定了学习过程。
进一步地，对于植入工具的定位主要包括机器人视觉应用中的手眼标定。其目标在于获取机器人坐标系和相机坐标系的关系，最后将视觉识别的结果转移到机器人坐标系下。
手眼标定行业内分为两种形式，根据相机固定的地方不同，如果相机和机器人末端固定在一起，则称为“眼在手”(eye in hand)；如果相机固定在机器人外面的底座上，则称为“眼在外”(eye to hand)。
在工业上，常见的手眼标定方法主要分为九点标定法和标定板标定法两种方法。九点标定直接建立相机和机械手之间的坐标变换关系。让机械手末端的指示针去接触这9个点得到在机器人坐标系中的坐标，同时还要用相机识别在初始画面中9个点得到像素坐标，这样就得到了9组对应的坐标，再求解变换矩阵就能得到图像与机械手坐标的转换仿射矩阵。标定板标定法利用棋盘格标定板或圆网格标定板子，得到相机的内外参，即可得到图像与机械手之间的坐标变换关系。
单目系统的标定，只适用于一个观测物体在一个水平面的情况，无法获取深度信息。用传统的手眼标定方法不能准确预测出植入工具在脑表面的落点。相比之下，双目系统根据光轴的位置关系分为两大类，即光轴基本平行的为平行双目系统和光轴相交的为汇聚双目系统。平行双目系统，由于光轴平行使得视野重叠范围较少，在视野范围小的情况下很少使用，一般用于工作距离远大于镜头之间距离的情况。而如果需要观察毫米级的物体，汇聚式双目系统更符合需求。
但是，现有技术仍存在许多不足。一方面，对于图像区域分割的算法而言，部分针对特定成像模式提出的算法不具备普适性，即不能适用于其它成像模式。血管的边界判断是依据像素的灰度梯度场来进行，但在血流速度低、血流复杂的区域，梯度值往往不够高，会导致边检判断的精度下降。算法中假设每个组织的灰度分布是高斯分布，但实际的情况并非完全如此，导致提出的模型和临床数据之间存在偏差。同时，图像分割算法中涉及的多个参数需要调整，而且参数的估计过程非常困难。对于部分交互式算法，需要人工选择血管内的种子点或者终止点，使得自动化程度受到影响。此外，总体上分割方法的计算量大，计算代价昂贵。
另一方面，对于植入工具的定位而言，手眼标定中为实现准确预测植入工具在脑表上的落点，需要的成像系统必须使用至少两个相机，也就是使用双目系统。并且，由于不同双目系统的成像特性，需要使用汇聚双目系统。为得到清晰的成像还需要使用放大倍数为×1或×2的镜头，在同等相机像素的情况下，视野范围较小，镜头的景深非常受限，一般在1mm左右。这就需要调整摄像头位置来获得清晰的成像，导致两个相机之间的相对不固定。然而，双目相机的标定只在相机位置相对固定时成立，这也意味着传统的双目标定方法无法直接应用到本申请所公开的脑表面电极植入系统中。
为解决上述技术问题，本申请的发明人提出了一种改进的基于机器视觉的电极植入方法和系统，特别地，涉及基于对机器成像进行血管分割处理的脑表面电极植入方法和系统。概括而言，本公开的技术方案主要包括在电极植入过程自动检测并规避血管，根据植入工具与植入电极大小、数量和形状自动检测多个待选。使用图像配准与融合技术，在脑表面投射脑分区，方便手术过程中定位电极植入的脑区。实现选点后植入系统自动移动至所选位置，基于所选位置和电极植入的角度等控制电极植入装置在三维空间上精确移动，并且实时监测植入装置与脑表面的精确距离。根据距离脑表面的距离预计电极植入的深度。在此过程中，使用目标追踪等技术实现电极到选择的植入位点的精准移动与植入。
以下将结合附图对根据本公开的实施例进行详细描述。首先，图1和图2分别示出了根据本公开的实施例的基于机器视觉的电极植入系统的示意图和配置图。如图1中所示，本申请的脑表面电极植入系统的硬件结构包括光学系统与运动控制系统。其中，光学系统主要与两个相机101和102(下文也称“第一相机”和“第二相机”)相关联，诸如可以采用高清面阵CMOS工业相机，其分别具有对术区106进行成像放大的远心镜头103和104。相机101和102成像平面相同，在一个投影平面上互成一定的角度，固定在一个刚性底板上，并且安装同轴光源(未示出)使曝光时间缩短帧率增加。该光源可以采用外置的点光源，其主要用于使得术区106受光均匀，避免植入装置105和术区106成像模糊不清或过曝光，从而有利于后续的图像和数据处理。该光源可以采用白光，也可以采用给定波长的其它光。优选地，由于脑表面以及血管本身的颜色影响，为实现更好的成像效果，可以采用绿光(诸如波长为495nm至570nm的光)。
此外，相机101和102的后方分别设置三轴滑台，可以将放大镜头103和104调整达到工作距离，以对植入装置105相对于术区106的位置和角度进行多个方位的成像。图1示出了本申请所公开的系统的一个非限制性实施例，其中相机101和相机102在水平投影上互成约90°角。
运动控制系统主要由三个步进电机构成，用于控制植入装置105在某个空间坐标系的三个方向(如图1所示的±x、±y和±z方向)上的运动。相机101和102分别耦接到运动控制系统在图1所示的非限制性实施例中，该三个电机包括控制±z方向运动的一个步进电机和两个微型步进电机(未示出)，诸如行程5mm，用于分别控制植入装置105在±x、±y方向的运动，即与术区106基本平行的区域移动。
可替代地，运动控制系统也可以包括具有相似运动控制功能的机械臂等。此时相机101/102设置在机械臂上方，但由于机械臂的运动精度(诸如±30μm)不能满足本申请的系统所需的精度需求(诸如±10μm)，因此机械臂用于粗略地找到植入位置，对电极位置的精细微调仍由两个微型操作电机完成。
附加地，植入装置105被配置为将柔性电极植入到术区106的指定位置，包括植入针、植入进给机构和植入执行机构。其中，植入针构用于将以针头部分接合电极的自由端部，以便带动电极运动。植入进给机构用于使植入针沿植入装置的纵向方向移动。植入执行机构构用于驱动植入针以将植入针的针头部分扎入术区106。此外，植入装置105还可以配设有植入运动机构，用于使植入装置105能够从不同角度在不同的朝向下进行电极的植入。
图2示出了脑表面电极植入系统的一个非限制性实施例。在该脑表面电极植入系统20中采用了双目系统，其主要包括第一相机201、第二相机202、血管分割运算单元203、植入顺序确定单元204、植入落点预测单元205以及植入装置控制单元206。其中第一相机201和第二相机202分别对应于图1中的相机101和102，用于互成角度地对植入装置相对于术区的位置和方向进行成像，相似的特征在此不作赘述。
具体而言，脑表面电极植入系统20采用第一相机201和第二相机针对脑表面进行成像，分别捕获第一图像2010和第二图像2020。该第一图像2010和第二图像2020是对于植入装置和术区在不同方向上的成像，如图1所示，在一个非限制性示例中，如果根据运动控制系统中的步进电机的控制方向建立一个三维坐标系，那么根据互成角度的第一相机201和第二相机202，可以基于第一图像2010和第二图像2020在该坐标系内确定植入装置和术区的位置坐标。
血管分割运算单元203被配置为对第一图像2010和第二图像2020进行运算处理。血管分割运算单元203主要执行的功能是基于血管分割算法获得脑表面血管区域掩码，以确定脑表面图像中的可植入区域2030。一般地，血管分割算法可以有许多种实现方式，如前所述，包括阈值划分、边缘提取与数学形态学处理等。本申请所采用的算法结合了几种处理方法的优点，以除视频本身的抖动，对多帧图像进行处理，获得平滑的血管图像掩码。图3示出了该血管分割算法的一个非限制性实施例，图4示出了该血管分割算法中每一步处理所得到的结果示意图。
具体而言，在图3的步骤S301中，将第一图像2010以及/或者第二图像2020输入到该血管分割算法中。接下来，在步骤S302中，对输入图像进行了一系列的图像处理步骤。首先，将输入图像转变为灰度图，然后进行自适应阈值分割处理，在处理后的结果中寻找血管的轮廓并去除小轮廓噪声，接着进行开运算以消除原图像中属于血管中的气泡状噪声图案，随后取反运算处理，在处理后的结果中对血管部分进行膨胀处理以获取安全距离(也称“腐蚀”一段安全位移)，最后再次进行反运算处理。此时在步骤S303中得到了可植入区域的图像掩码。进一步地，在步骤S304中设置判断，使得所获得的图像张数达到预设的平滑数n之前重复S302中的系列处理。经过上述判断，在步骤S305中将最近获得的n张图像中的可植入区域取交集，最终在S306中输出比较稳定的血管图像掩码。
相应地，图4主要示出了在步骤S302的系列处理中每一步处理后得到的中间结果。如图所示，在S402转为灰度图后的结果中消除了血管颜色的干扰，在S403经过自适应阈值分割后的结果中将血管和非血管区域进行了粗略划分，由于采用了自适应阈值算法，因此不需要提前计算得到血管灰度阈值，也不需要先验数据。在成像条件合适的情况下，能得到稳定的结果。接下来，在S404去除轮廓噪声、S405去除血管中的气泡状噪声图案后，使得提取的轮廓边缘在时域上尽量减少变化，从而提高轮廓提取算法的稳定性与安全性。最后，通过S406至S408的处理，使得被识别为血管的图像区域具有合理的安全距离，以最大程度上减少将血管识别为可植入区域的风险。
图5示出了根据上述实施例的血管分割算法的效果图。如图所示，在3mm x 3mm的猕猴大脑术区中取得如下图像血管分析效果，在输入相机原始成像结果后经过一系列算法处理得到图像识别结果，其中条纹形状掩码为分割出的血管区域，空白部分为可植入区域。由图中可以看出，本申请所公开的血管分割算法能够有效、稳定地识别出脑表面成像中的血管区域，以较高的精度确保可植入区域只包含非血管的部分。
附加地，本申请所公开的血管分割算法可以灵活地调整参数。一般而言，脑表面电极植入系统的算法参数可以基于植入电极的位点进行调整，诸如在对可插入点数和准确率的要求发生变化时，可能会影响血管分割算法中边缘检测的精度阈值或膨胀处理的安全距离。对于光学系统而言，由于其镜头与术区之间的物距变化会导致成像中特定区域放大或缩小，进而影响到要检测到的位点个数、点距以及成像分辨率。可替代地，可以由用户指定、由系统自动选定或由系统辅助用户确定所需的电极位点的个数及点距，并基于此对算法参数进行调整。
返回图2继续描述。植入顺序确定单元204被配置为在可植入区域2030中选择至少一个植入位置。特别地，对于需要选择多个电极植入位置的情况，由植入顺序确定单元204根据已知的电极位置计算植入位置与电极位置的距离，从而对电极植入的顺序进行路径规划，得到电极额植入顺序2040。在基于术区确定的指定区域内，以电极方向为参考，运动控制系统经由步进电机或机械臂控制植入装置的运动方向，从而将电极依次植入到所确定的位置上。为防止电极之间产生不期望的相互影响，即正在植入的电极不会对已植入的电极施加作用力，需要由植入顺序确定单元204按照如下原则进行路径规划：后植入的电极不能对之前植入的电极产生干扰；移动过程中不能拉扯已经植入的电极。亦即，理想的电极植入路径应尽可能避免出现交叉、横跳等情形。
在一个非限制性实施例中，植入顺序确定单元204可采用的顺序为按照植入电极相对于脑表面的由近到远并且从左到右的顺序，如图6所示。以图5中获得的基于血管分割算法的图像处理结果为例，图6示出了针对该图像处理结果确定植入位置和植入顺序。图6的(A)是一种参考的路径规划顺序，其中，根据前述一系列处理得到的脑表面可植入位置及其分布简化为二维坐标系中5×7的点阵，植入电极(未示出)相对于脑表面的点阵采用从上到下的方向(即图中y轴正方向)，则得到如6(A)中点阵间的箭头所示的顺序，即沿x轴正方向并且沿y轴正方向。需要注意的是，图6(A)中的点阵数量仅用于示意，而不具有限制性。将6(A)的示例顺序运用到图5的图像处理结果中，得到如图6(B)所示的路径规划。图6(B)中示出了19个计算出的位置，其中由方形标记指示的位置表示不推荐的植入位点，圆形标记指示的位置表示算法推荐的植入位点，三角形标记指示的位置表示已植入电极的位点。数字的大小表示植入顺序，从图中可以看到这些植入位置连成的植入顺序没有发生交叉，并且电极位点由不同标记指示状态以辅助观察和植入过程，从而使得后植入的电极不会对先植入的电极产生干扰和拉扯。
接下来将继续描述图2中的植入落点预测单元205。植入落点预测单元205被配置为匹配第一相机201和第二相机202的成像以获得变换矩阵。由于两个相机都能清晰获得术区的血管成像，而血管中有较多特征，因此可以基于数据的特征匹配以进行两个相机的标定。实际应用中可以用于匹配的特征诸如SURF特征或SIFT特征。
在采用SURF特征的情况下，基于SURF特征匹配两个相机以获得两个摄像头之间的仿射变换矩阵。其中，使用连续不同尺度的高斯滤波器处理影像，并且经由高斯差来侦测影像中尺度不变的特征点。此外，使用斑点侦测的海森矩阵来侦测特征点，其行列式值代表像素点周围的变化量，因此特征点需取行列式值为极大、极小值。除此之外，为了达到尺度上的不变，SURF还使用了尺度σ的行列式值作特征点的侦测，给定图形中的一点p＝(x,y)在尺度σ的海森矩阵为H(p,σ)：
Figure BDA0003702707810000121
其中矩阵内的Lxx(p,σ)等函数为二阶微分后的灰阶图像。9×9的方型滤波器被作为SURF最底的尺度，近似于σ＝1.2的高斯滤波器。
在采用SIFT特征的情况，其计算效率高，能够快速进行图像匹配。其中，使用了连续不同尺度的高斯滤波器处理影像，并且经由高斯差来侦测影像中尺度不变的特征点。SURF使用了方型滤波器取代SIFT中的高斯滤波器，借此达到高斯模糊的近似。其滤波器可表示为：
Figure BDA0003702707810000122
此外使用方型滤波器可利用积分图大幅提高运算速度，仅需计算位于滤波器方型的四个角落值即可。
在经由特征匹配后第一相机201与第二相机202标定，即对于任一组或多组第一图像2010与第二图像2020而言得到了其对应和转换关系。基于此，图7进一步示出了植入工具落点预测的原理示意图。
在一个非限制性实施例中，当植入装置在双目系统的成像中出现，两个相机各能在其成像中定位一条植入工具所在的直线，也即，第一相机201和第二相机202在三维空间(以及/或者所建立的空间坐标系)中能够分别确定植入工具所在的一个平面。由于两个相机的视角不同，在其成像中获取的图像和位置信息并不完全相同。以第一相机201捕获第一图像2010、第二相机202捕获第二图像2020为例，图7(A)和图7(B)分别示出了将第一相机201和第二相机202中任一个相机投影到另一个的成像方向上的示意图。图7(C)示出了第二图像2020中的植入位置示意图。植入落点预测单元205将第一图像2010中植入位置所在的第一直线7001投影到第二图像2020中，而植入位置本身在第二图像2020中落在第二直线7002中，则将第一直线7001与第二直线7002之间的交点确定为植入装置在第二图像2020中的预测落点2050。类似地，图7(D)示出了第一图像2010中植入位置的预测落点。由于两个相机之间变关系的计算误差，得到的两个交点在实际图像中可能并不完全重合，但可以确定实际的预测落点在这两个交点的附近。
继续返回图2描述植入装置控制单元206。基于从植入顺序确定单元204所确定的植入顺序2040以及植入落点预测单元205所确定的预测落点2050，最终由植入装置控制单元206按照植入顺序2040依次根据预测落点2050实时控制植入装置，直至植入点与预测落点重合。植入装置控制单元206可以采用全监督或半监督的控制，可以根据用户选择进行不同的选择，实现个性化的控制效果。
图8示出了一个非限制性实施例中植入工具控制算法的流程图。该控制算法在步骤S801处以光学系统中的相机内参作为输入。首先执行步骤S802中的系列处理。将标定板放置在术区，并且确保术区在钨丝微调电极移动范围内。此时调节相机的成像条件致使对脑表面的成像清晰，通过标定板的位置得到相机外参后移开标定板，保持术区位置不变。接下来，在步骤S803中实时监测钨丝下落位置，接触到脑表面时停止，记录当前图像中钨丝落点位置。在步骤S804中进行血管识别，基于植入顺序2040的限制人工选择植入点，也可以由系统自动或辅助计算来进行选择。接下来，在步骤S805中进行坐标转换，将两个图像坐标转换为世界坐标。具体而言，按照“像素坐标系→图像坐标系→相机坐标系→世界坐标系”进行转换。到步骤S806中，计算植入装置对电极的移动向量，并将该向量分解为电极移动的两个方向，诸如在步进电机的z轴方向之外精细地控制两个微型步进电机在x和y方向的运动。随后在步骤S807中控制前述不同方向的电机移动待植入的钨丝。步骤S808重复步骤S803的处理。
接下来，在步骤S809处执行一个判断，当钨丝落点位置不存在血管(步骤S809判断为“否(No)”)时继续进入步骤S810处的另一个判断，即钨丝落点与植入点的差异是否在可接受误差范围内。如果步骤S809处判断为“是(Yes)”，即当前图像中的钨丝落点位置存在血管，则返回到S804选择新的符合要求的植入点。随后在步骤S810处，如果判断结果为“是”，则表明植入工具控制算法导航成功，可以开始电极的植入。如果步骤S810的判断结果为“否”，则说明当前图像中的钨丝落点位置与选定的植入点误差不可接受，则返回到S805重新进行坐标转换，以获得精度更高的落点位置。
图9是示出了根据本公开的实施例的基于机器视觉的电极植入方法的步骤示意图。基于前述，电极植入方法9000主要包括以下步骤：在步骤S901处，由第一相机针对脑表面捕获第一图像，并由第二相机针对脑表面捕获第二图像。在步骤S902处，对第一图像和第二图像进行运算处理，其中，基于血管分割算法获得脑表面血管区域掩码，以确定脑表面图像中的可植入区域。接下来在步骤S903处，在可植入区域中选择至少一个植入位置，根据已知的电极位置计算该至少一个植入位置与电极位置的距离，从而确定电极的植入顺序。随后，在步骤S904中匹配第一相机和第二相机的成像以获得变换矩阵，将第一相机的成像中植入位置所在的第一直线投影到第二相机的成像中，将第一直线与第二相机的成像中该植入位置所在的第二直线之间的交点确定为植入装置的预测落点。最后，在步骤S905处，根据预测落点实时控制植入装置，直至植入点与预测落点重合。
可替代地，本申请所公开的基于机器视觉的电极植入方法和系统还可以具有其它的实现方式。
在一个示例中，本申请所公开的脑表面电极植入系统不一定需要采用两个相机的双目系统用于标定，单目系统也能进行植入工具平面上的位置控制。可采用的实现方式有两种，即垂直观察和倾斜观察。在垂直观察的情况中，相机在脑表面垂直上方进行拍摄，获得静止图像，在此图像中进行血管分割，通过像素坐标与机械臂坐标的变换控制植入装置的位置，将其移到脑表面上方进行植入。在此种实现方式中，可以附加一个倾斜放置的观察相机，便于观察植入情况。而在倾斜观察的情况中，相机倾斜于脑表面放置，得到一个存在倾角的画面，通过坐标变换得到植入装置的位置，控制电极移动其位置以进行植入。相比之下，由于成像角度的问题，垂直观察的方法控制精度与血管分割精度比倾斜观察的方法更优。
如果使用单目系统，则在标定中主要采用标定板法与九点标定法来实现本系统的目标需求。标定板法指在紧贴术区的位置放上标定板，得到相机外参之后，算出图像与实际坐标的转换关系。九点标定法指的是在某个位置拍摄脑区，再控制钨丝移动到指定的九个点上，分别记录此时钨丝在图像中的位置和实际坐标系中的位置，从而得到坐标转换关系。基于转换关系，就能通过图像中钨丝落点和目标点的距离，算出钨丝在实际位置应该移动的位移。相比于双目系统，单目系统的这两个方法都要求脑表面距离相机的高度位置不变，会对其精度产生影响。在实际应用中，由于脑表面本身不是一个平面，需要相机进行实时的高度调节，即以微米级的精度到达脑表面上方同一位置。
在说明书及权利要求中的词语“前”、“后”、“顶”、“底”、“之上”、“之下”等，如果存在的话，用于描述性的目的而并不一定用于描述不变的相对位置。应当理解，这样使用的词语在适当的情况下是可互换的，使得在此所描述的本公开的实施例，例如，能够在与在此所示出的或另外描述的那些取向不同的其他取向上操作。
如在此所使用的，词语“示例性的”意指“用作示例、实例或说明”，而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其他实现方式优选的或有利的。而且，本公开不受在上述技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。
如在此所使用的，词语“基本上”意指包含由设计或制造的缺陷、器件或元件的容差、环境影响和/或其他因素所致的任意微小的变化。词语“基本上”还允许由寄生效应、噪声以及可能存在于实际的实现方式中的其他实际考虑因素所致的与完美的或理想的情形之间的差异。
仅仅为了参考的目的，可以在本文中使用“第一”、“第二”等类似术语，并且因而并非意图限定。例如，除非上下文明确指出，否则涉及结构或元件的词语“第一”、“第二”和其他此类数字词语并没有暗示顺序或次序。
还应理解，“包括/包含”一词在本文中使用时，说明存在所指出的特征、整体、步骤、操作、单元和/或组件，但是并不排除存在或增加一个或多个其他特征、整体、步骤、操作、单元和/或组件以及/或者它们的组合。
如本文所使用的，术语“和/或”包括相关联的列出项目中的一个或多个的任何和所有组合。本文中使用的术语只是出于描述特定实施例的目的，并不旨在限制本公开。如本文中使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外清楚指示。
本领域技术人员应当意识到，在上述操作之间的边界仅仅是说明性的。多个操作可以结合成单个操作，单个操作可以分布于附加的操作中，并且操作可以在时间上至少部分重叠地执行。而且，另选的实施例可以包括特定操作的多个实例，并且在其他各种实施例中可以改变操作顺序。但是，其他的修改、变化和替换同样是可能的。因此，本说明书和附图应当被看作是说明性的，而非限制性的。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。在此公开的各实施例可以任意组合，而不脱离本公开的精神和范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本公开的范围和精神。本公开的范围由所附权利要求来限定。

Claims (30)

1.一种基于机器视觉的电极植入方法，包括：
由第一相机针对脑表面捕获第一图像，并由第二相机针对脑表面捕获第二图像；
对第一图像和第二图像进行运算处理，其中，基于血管分割算法获得脑表面血管区域掩码，以确定脑表面图像中的可植入区域；
在可植入区域中选择至少一个植入位置，根据已知的电极位置计算所述至少一个植入位置与电极位置的距离，从而确定电极的植入顺序；
匹配第一相机和第二相机的成像以获得变换矩阵，将第一相机的成像中植入位置所在的第一直线投影到第二相机的成像中，将第一直线与第二相机的成像中该植入位置所在的第二直线之间的交点确定为植入装置的预测落点；以及
根据预测落点实时控制植入装置，直至植入点与预测落点重合。
2.根据权利要求1所述的电极植入方法，其中：
根据预测落点对植入装置进行全监督或半监督的控制。
3.根据权利要求1所述的电极植入方法，其中：
第一相机与第二相机成像平面相同。
4.根据权利要求3所述的电极植入方法，其中：
第一相机与第二相机在水平投影上成约90°夹角。
5.根据权利要求1所述的电极植入方法，其中：
第一相机与第二相机中的每一个分别包括光学系统，并且第一相机与第二相机分别耦接到运动控制系统。
6.根据权利要求5所述的电极植入方法，其中：
所述光学系统包括使脑表面受光均匀的外置光源。
7.根据权利要求6所述的电极植入方法，其中：
所述外置光源的波长范围为495nm至570nm。
8.根据权利要求5所述的电极植入方法，还包括：
由第一相机和第二相机分别进行图像处理，并且将来自第一相机和第二相机的经过图像处理的数据进行合并处理；
根据经过合并处理的数据确定植入装置在第一相机和第二相机的成像中的坐标。
9.根据权利要求8所述的电极植入方法，其中：
所述运动控制系统根据所述坐标控制植入装置的移动。
10.根据权利要求5所述的电极植入方法，其中：
所述运动控制系统包括三个步进电机，用于控制植入装置在与电极植入术区基本平行的区域移动。
11.根据权利要求1所述的电极植入方法，其中所述脑血管分割算法包括以下步骤：
将脑表面图像转变为灰度图；
针对该灰度图根据自适应阈值进行分割；
对分割后的灰度图去除小轮廓噪声；
进行开运算，去除血管中的气泡状噪声图案；
进行反运算；
进行膨胀处理以获取血管区域边界处的安全距离；以及
再次进行反运算。
12.根据权利要求11所述的电极植入方法，其中：
基于要检测到的位点个数、点距、成像分辨率调整所述脑血管分割算法中的参数。
13.根据权利要求1所述的电极植入方法，其中：
确定电极的植入顺序使得正在植入的电极不会对已植入电极施加作用力。
14.根据权利要求13所述的电极植入方法，其中：
基于电极的植入顺序规划植入电极的路径，其中所述路径不发生交叉。
15.根据权利要求1所述的电极植入方法，其中：
对第一相机与第二相机进行数据的特征匹配以进行标定。
16.根据权利要求15所述的电极植入方法，其中：
使用方形滤波器实现高斯模糊的图像处理效果。
17.根据权利要求1所述的电极植入方法，其中：
所述植入装置包括植入针、植入进给机构和植入执行机构，
其中，所述植入针构造成用于将以其针头部分接合电极的自由端部，以便带动电极运动，
所述植入进给机构构造成用于使植入针沿植入装置的纵向方向移动，以及
所述植入执行机构构造成用于驱动植入针以将植入针的针头部分扎入脑部中。
18.根据权利要求17所述的电极植入方法，其中：
所述植入装置配设有植入运动机构，所述植入运动机构构造成用于使所述植入装置能够从不同角度在不同的朝向下进行电极的植入。
19.一种基于机器视觉的电极植入系统，包括：
第一相机，被配置为针对脑表面捕获第一图像；
第二相机，被配置为针对脑表面捕获第二图像；
血管分割运算单元，被配置为对第一图像和第二图像进行运算处理，其中，基于血管分割算法获得脑表面血管区域掩码，以确定脑表面图像中的可植入区域；
植入顺序确定单元，被配置为在可植入区域中选择至少一个植入位置，根据已知的电极位置计算所述至少一个植入位置与电极位置的距离，从而确定电极的植入顺序；
植入落点预测单元，被配置为匹配第一相机和第二相机的成像以获得变换矩阵，将第一相机的成像中植入位置所在的第一直线投影到第二相机的成像中，将第一直线与第二相机的成像中该植入位置所在的第二直线之间的交点确定为植入装置的预测落点；以及
植入装置控制单元，被配置为根据预测落点实时控制植入装置，直至植入点与预测落点重合。
20.根据权利要求19所述的电极植入系统，其中：
根据预测落点对植入装置进行全监督或半监督的控制。
21.根据权利要求19所述的电极植入系统，其中：
第一相机与第二相机成像平面相同。
22.根据权利要求19所述的电极植入系统，其中：
第一相机与第二相机中的每一个分别包括光学系统，并且第一相机与第二相机分别耦接到运动控制系统。
23.根据权利要求22所述的电极植入系统，其中：
所述光学系统包括使脑表面受光均匀的外置光源。
24.根据权利要求19所述的电极植入系统，其中：
由第一相机和第二相机分别进行图像处理，并且将来自第一相机和第二相机的经过图像处理的数据进行合并处理；
根据经过合并处理的数据确定植入装置在第一相机和第二相机的成像中的坐标。
25.根据权利要求24所述的电极植入系统，其中：
所述运动控制系统根据所述坐标控制植入装置的移动。
26.根据权利要求19所述的电极植入系统，其中所述脑血管分割算法包括以下步骤：
将脑表面图像转变为灰度图；
针对该灰度图根据自适应阈值进行分割；
对分割后的灰度图去除小轮廓噪声；
进行开运算，去除血管中的气泡状噪声图案；
进行反运算；
进行膨胀处理以获取血管区域边界处的安全距离；以及
再次进行反运算。
27.根据权利要求26所述的电极植入系统，其中：
所述植入顺序确定单元还被配置为确定电极的植入顺序使得正在植入的电极不会对已植入电极施加作用力。
28.根据权利要求27所述的电极植入系统，其中：
基于电极的植入顺序规划植入电极的路径，其中所述路径不发生交叉。
29.根据权利要求19所述的电极植入系统，其中：
对第一相机与第二相机进行数据的特征匹配以进行标定。
30.根据权利要求19所述的电极植入系统，其中：
所述植入装置包括植入针、植入进给机构和植入执行机构，
其中，所述植入针构造成用于将以其针头部分接合电极的自由端部，以便带动电极运动，
所述植入进给机构构造成用于使植入针沿植入装置的纵向方向移动，以及
所述植入执行机构构造成用于驱动植入针以将植入针的针头部分扎入脑部中。
CN202210696347.9A 2022-06-20 2022-06-20 基于机器视觉的电极植入方法及系统 Pending CN115068082A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210696347.9A CN115068082A (zh) 2022-06-20 2022-06-20 基于机器视觉的电极植入方法及系统
PCT/CN2022/102359 WO2023245708A1 (zh) 2022-06-20 2022-06-29 基于机器视觉的电极植入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210696347.9A CN115068082A (zh) 2022-06-20 2022-06-20 基于机器视觉的电极植入方法及系统

Publications (1)

Publication Number Publication Date
CN115068082A true CN115068082A (zh) 2022-09-20

Family

ID=83252767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210696347.9A Pending CN115068082A (zh) 2022-06-20 2022-06-20 基于机器视觉的电极植入方法及系统

Country Status (2)

Country Link
CN (1) CN115068082A (zh)
WO (1) WO2023245708A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116473673A (zh) * 2023-06-20 2023-07-25 浙江华诺康科技有限公司 内窥镜的路径规划方法、装置、系统和存储介质
CN117789923A (zh) * 2024-02-23 2024-03-29 湖南安泰康成生物科技有限公司 电极片贴敷方案确定方法及装置、设备、系统及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117982211B (zh) * 2024-04-03 2024-07-30 北京智冉医疗科技有限公司 电极植入设备和电极植入方法
CN117982212B (zh) * 2024-04-03 2024-06-21 北京智冉医疗科技有限公司 电极植入设备和电极植入方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006212133A (ja) * 2005-02-02 2006-08-17 National Institute Of Advanced Industrial & Technology 埋め込み型電極装置及び電極埋め込み方法、電極埋め込み装置
US20200085508A1 (en) * 2018-09-14 2020-03-19 Neuralink Corp. Computer vision techniques
US20200111207A1 (en) * 2018-10-04 2020-04-09 National Chiao Tung University Method and system for localizing implanted intracranial electrode
US20200170542A1 (en) * 2017-07-17 2020-06-04 Ice Neurosystems, Inc. Systems and methods for positioning an intracranial device using brain activity
CN111631813A (zh) * 2020-05-27 2020-09-08 武汉联影智融医疗科技有限公司 植入性电极自动排序方法、排序系统、设备及计算机可读存储介质
US20210264623A1 (en) * 2020-02-20 2021-08-26 Board Of Regents Of The University Of Texas System Methods for optimizing the planning and placement of probes in the brain via multimodal 3d analyses of cerebral anatomy
WO2022057840A1 (zh) * 2020-09-16 2022-03-24 中国科学院脑科学与智能技术卓越创新中心 脑认知功能检测系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7198950B2 (ja) * 2019-07-12 2023-01-04 ニューラリンク コーポレーション ロボット脳外科手術用の光コヒーレンストモグラフィ
CN113017566B (zh) * 2021-02-26 2023-05-09 北京伟浩君智能技术有限公司 基于图像的血管识别与定位方法及装置
CN113797440B (zh) * 2021-09-27 2022-05-10 首都医科大学附属北京天坛医院 基于影像和电生理实时定位的脑深部电极自动植入系统
CN215691052U (zh) * 2021-09-27 2022-02-01 首都医科大学附属北京天坛医院 基于影像和电生理实时定位的脑深部电极自动植入系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006212133A (ja) * 2005-02-02 2006-08-17 National Institute Of Advanced Industrial & Technology 埋め込み型電極装置及び電極埋め込み方法、電極埋め込み装置
US20200170542A1 (en) * 2017-07-17 2020-06-04 Ice Neurosystems, Inc. Systems and methods for positioning an intracranial device using brain activity
US20200085508A1 (en) * 2018-09-14 2020-03-19 Neuralink Corp. Computer vision techniques
US20200111207A1 (en) * 2018-10-04 2020-04-09 National Chiao Tung University Method and system for localizing implanted intracranial electrode
US20210264623A1 (en) * 2020-02-20 2021-08-26 Board Of Regents Of The University Of Texas System Methods for optimizing the planning and placement of probes in the brain via multimodal 3d analyses of cerebral anatomy
CN111631813A (zh) * 2020-05-27 2020-09-08 武汉联影智融医疗科技有限公司 植入性电极自动排序方法、排序系统、设备及计算机可读存储介质
WO2022057840A1 (zh) * 2020-09-16 2022-03-24 中国科学院脑科学与智能技术卓越创新中心 脑认知功能检测系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116473673A (zh) * 2023-06-20 2023-07-25 浙江华诺康科技有限公司 内窥镜的路径规划方法、装置、系统和存储介质
CN116473673B (zh) * 2023-06-20 2024-02-27 浙江华诺康科技有限公司 内窥镜的路径规划方法、装置、系统和存储介质
CN117789923A (zh) * 2024-02-23 2024-03-29 湖南安泰康成生物科技有限公司 电极片贴敷方案确定方法及装置、设备、系统及存储介质
CN117789923B (zh) * 2024-02-23 2024-05-31 湖南安泰康成生物科技有限公司 电极片贴敷方案确定方法及装置、设备、系统及存储介质

Also Published As

Publication number Publication date
WO2023245708A1 (zh) 2023-12-28

Similar Documents

Publication Publication Date Title
CN115068082A (zh) 基于机器视觉的电极植入方法及系统
US10288418B2 (en) Information processing apparatus, information processing method, and storage medium
CN108898634B (zh) 基于双目相机视差对绣花机目标针眼进行精确定位的方法
Vezhnevets et al. Robust and accurate eye contour extraction
JP6030617B2 (ja) 画像処理装置および画像処理方法
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN110736747B (zh) 一种细胞液基涂片镜下定位的方法及系统
CN106022210A (zh) 一种静脉轮廓三维点云匹配的身份识别方法及装置
JP2012118698A (ja) 画像処理装置
JP2011198349A (ja) 情報処理方法及びその装置
CN115096206B (zh) 一种基于机器视觉的零件尺寸高精度测量方法
US20220189113A1 (en) Method for generating 3d skeleton using joint-based calibration acquired from multi-view camera
CN110926330A (zh) 图像处理装置和图像处理方法
CN109146866A (zh) 机器人对焊缝处理的方法及装置
Farag A comprehensive real-time road-lanes tracking technique for autonomous driving
CN113221953A (zh) 基于实例分割和双目深度估计的目标姿态识别系统与方法
CN112800966B (zh) 一种视线的追踪方法及电子设备
KR20100121817A (ko) 눈의 영역을 추적하는 방법
CN113125434A (zh) 图像分析系统和控制拍摄样本图像的方法
WO2020250348A1 (ja) 物体認識装置及び物体認識方法
CN116109701A (zh) 一种基于被动双目的高反光物体抓取方法
Chen et al. Modeling tumor/polyp/lesion structure in 3D for computer-aided diagnosis in colonoscopy
CN118429388B (zh) 基于图像处理的视觉追踪方法及装置
CN111563912B (zh) 一种行人追踪系统和方法
CN117830392B (zh) 一种环境物体识别方法和成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240207

Address after: 200131, 3rd Floor, Unit 1, Building 4, No. 160 Baosheng Road, Pudong New Area, Shanghai

Applicant after: Shanghai Ladder Medical Technology Co.,Ltd.

Country or region after: China

Address before: 200031 No. 320, Yueyang Road, Shanghai, Xuhui District

Applicant before: Center for excellence and innovation of brain science and intelligent technology, Chinese Academy of Sciences

Country or region before: China

TA01 Transfer of patent application right