CN114757995A - 一种基于数据识别的医疗器械可视化仿真方法 - Google Patents

一种基于数据识别的医疗器械可视化仿真方法 Download PDF

Info

Publication number
CN114757995A
CN114757995A CN202210676663.XA CN202210676663A CN114757995A CN 114757995 A CN114757995 A CN 114757995A CN 202210676663 A CN202210676663 A CN 202210676663A CN 114757995 A CN114757995 A CN 114757995A
Authority
CN
China
Prior art keywords
medical instrument
coordinate
tip
image
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210676663.XA
Other languages
English (en)
Other versions
CN114757995B (zh
Inventor
付竹霓
刘兴惠
李至立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Vhengdata Technology Co ltd
Original Assignee
Shandong Vhengdata Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Vhengdata Technology Co ltd filed Critical Shandong Vhengdata Technology Co ltd
Priority to CN202210676663.XA priority Critical patent/CN114757995B/zh
Publication of CN114757995A publication Critical patent/CN114757995A/zh
Application granted granted Critical
Publication of CN114757995B publication Critical patent/CN114757995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于数据识别的医疗器械可视化仿真方法，涉及仿真建模领域，在术前病灶三维建模得到三维模型，术中实时病灶图像采集，术中使用加速度传感进行医疗器械尖端的移动轨迹采集，术中实时获取医疗器械的图像数据，使用所述医疗器械的图像数据对所述医疗器械尖端的移动轨迹进行校准，使用所述实时病灶图像与所述术前病灶三维建模得到三维模型进行配准并蒙皮得到病灶变化模型，将所述医疗器械尖端的移动轨迹叠加至所述病灶变化模型。本发明通过图像数据识别出医疗器械的真实空间坐标，进而对加速度传感器获取的轨迹进行校准，提高了仿真模型的精确性。

Description

一种基于数据识别的医疗器械可视化仿真方法
技术领域
本发明属于仿真建模领域，尤其涉及一种基于数据识别的医疗器械可视化仿真方法。
背景技术
外科手术中，医疗器械在患者体内的移动轨迹的可视化仿真在教学、医疗事故鉴定、手术复盘等场景中应用广泛，现有技术中通常使用加速度传感器进行空间定位，确定医疗器械在手术过程中的移动状态；但由于手术动作精细且复杂，通过加速度传感器进行定位会产生累积误差，在长时间手术后误差会越来越大，造成定位不精确；如果采用摄像设备进行图像采集，由于手术过程复杂，设备经常会被医生挡住，摄像设备难以全程采集到医疗器械的图像，无法完整地还原出医疗器械的移动轨迹；并且手术中最关键的是医疗器械的尖端（医疗器械主要与病灶接触的位置，如手术刀的刀尖，止血钳的钳嘴等）的位置，而尖端经常在病灶内部操作，摄像设备难以获取尖端的具体轨迹。
发明内容
为解决上述技术问题，本发明提出一种基于数据识别的医疗器械可视化仿真方法。
在本发明的一个方面，提出一种基于数据识别的医疗器械可视化仿真方法，包括如下步骤：步骤S11，术前病灶三维建模得到三维模型；步骤S12，术中实时病灶图像采集；步骤S13，术中使用加速度传感进行医疗器械尖端的移动轨迹采集；步骤S14，术中实时获取医疗器械的图像数据；步骤S15，使用所述医疗器械的图像数据对所述医疗器械尖端的移动轨进行校准；步骤S16，使用所述实时病灶图像与所述术前病灶三维建模得到三维模型进行配准并蒙皮得到病灶变化模型；步骤S17，将所述医疗器械尖端的移动轨迹叠加至所述病灶变化模型。
优选地，所述步骤S12中，由主刀医生的头戴式设备采集所述实时病灶图像。
优选地，所述步骤S13中，采用三轴加速度传感器实时采集医疗器械的移动轨迹，通过事先存储的器械尖端与三轴加速度传感的距离以及器械的移动方向计算所述医疗器械尖端的坐标以得到所述医疗器械尖端的移动轨迹。
优选地，所述步骤S14-S15中，所述医疗器械每隔一固定距离设置一标识线，其中每一器械的所有所述标识线颜色均不相同，每一医疗器械的尺寸、标识线间隔、标识线颜色及位置均事先存储于计算机系统；通过悬于手术台正上方且位置固定的第一摄像设备获取所述医疗器械的第一图像数据；在所述第一图像中包含至少两条标识线时，通过所述标识线的颜色确定所述至少两条标识线的位置，根据事先存储的第一图像中像素点与实际空间x坐标与y坐标之间的关系确定所述至少两条标识线的实际空间x坐标与y坐标，通过医疗器械的尺寸、标识线间隔、标识线颜色及位置计算所述医疗器械的尖端的实际空间x坐标与y坐标；通过平行于手术台平面且位置固定的第二摄像设备获取所述医疗器械的第二图像数据；在所述第二图像中包含至少两条标识线时，通过所述标识线的颜色确定所述至少两条标识线的位置，根据事先存储的第二图像中像素点与实际空间z坐标之间的关系确定所述至少两条标识线的实际空间z坐标，通过医疗器械的尺寸、标识线间隔、标识线颜色及位置计算所述医疗器械的尖端的实际空间z坐标；通过所述医疗器械的尖端的实际空间x坐标、y坐标与z坐标计算x，y，z三个方向的一段时间内的第一变化距离，根据所述医疗器械尖端的移动轨迹计算同一时间段内x，y，z三个方向的第二变化距离；计算所述第一变化距离与所述第二变化距离之差，当差值大于预设阈值时，认定加速度传感器出现累积误差，则使用所述医疗器械的尖端的实际空间x坐标、y坐标与z坐标重新初始化所述加速度传感器。
优选地，所述步骤S16中，首先对术前病灶三维建模的病灶图像与术中实时病灶图像进行特征点提取，对病灶边缘未进行切割的部分通过进行相似性度量找到匹配的特征点对，然后通过匹配的特征点对对实时病灶图像赋予三维坐标，再将术中实时病灶图像按照特征点坐标蒙皮至三维模型中，得到手术过程中病灶变化模型。
本发明另一个方面提出一种基于数据识别的医疗器械可视化仿真系统，包括如下模块：模型建立模块，用于术前病灶三维建模得到三维模型；第一采集模块，用于术中实时病灶图像采集；第二采集模块，用于术中使用加速度传感器进行医疗器械尖端的移动轨迹采集；第三采集模块，用于术中实时获取医疗器械的图像数据；校准模块，用于使用所述医疗器械的图像数据对所述医疗器械尖端的移动轨进行校准；配准蒙皮模块，用于使用所述实时病灶图像与所述术前病灶三维建模得到三维模型进行配准并蒙皮得到病灶变化模型；叠加模块，用于将所述医疗器械尖端的移动轨迹叠加至所述病灶变化模型。
优选地，所述第一采集模块中，由主刀医生的头戴式设备采集所述实时病灶图像。
优选地，所述第二采集模块中，采用三轴加速度传感器实时采集医疗器械的移动轨迹，通过事先存储的器械尖端与三轴加速度传感的距离以及器械的移动方向计算所述医疗器械尖端的坐标以得到所述医疗器械尖端的移动轨迹。
优选地，所述第三采集模块及校准模块中，所述医疗器械每隔一固定距离设置一标识线，其中每一器械的所有所述标识线颜色均不同，每一医疗器械的尺寸、标识线间隔、标识线颜色及位置均存事先存储于计算机系统；通过悬于手术台正上方且位置固定的第一摄像设备获取所述医疗器械的第一图像数据；在所述第一图像中包含至少两条标识线时，通过所述标识线的颜色确定所述至少两条标识线的位置，根据事先存储的第一图像中像素点与实际空间x坐标与y坐标之间的关系确定所述至少两条标识线的实际空间x坐标与y坐标，通过医疗器械的尺寸、标识线间隔、标识线颜色及位置计算所述医疗器械的尖端的实际空间x坐标与y坐标；通过平行于手术台平面且位置固定的第二摄像设备获取所述医疗器械的第二图像数据；在所述第二图像中包含至少两条标识线时，通过所述标识线的颜色确定所述至少两条标识线的位置，根据事先存储的第二图像中像素点与实际空间z坐标之间的关系确定所述至少两条标识线的实际空间z坐标，通过医疗器械的尺寸、标识线间隔、标识线颜色及位置计算所述医疗器械的尖端的实际空间z坐标；通过所述医疗器械的尖端的实际空间x坐标、y坐标与z坐标计算x，y，z三个方向的一段时间内的第一变化距离，根据所述医疗器械尖端的移动轨迹计算同一时间段内x，y，z三个方向的第二变化距离；计算所述第一变化距离与所述第二变化距离之差，当差值大于预设阈值时，认定加速度传感器出现累积误差，则使用所述医疗器械的尖端的实际空间x坐标、y坐标与z坐标重新初始化所述加速度传感器。
优选地，所述配准蒙皮模块中，首先对术前病灶三维建模的病灶图像与术中实时病灶图像进行特征点提取，对病灶边缘未进行切割的部分通过进行相似性度量找到匹配的特征点对，然后通过匹配的特征点对对实时病灶图像赋予三维坐标，再将术中实时病灶图像按照特征点坐标蒙皮至三维模型中，得到手术过程中病灶变化模型。
本发明采用加速度传感器进行空间定位，获取连续不断的空间位置信息，在摄像设备能够识别到医疗设备的至少两个标识线时，通过标识线确定医疗设备尖端的当前位置，对加速度传感器进行修正；通过本发明的技术方案，可以通过加速度传感器获得不间断地空间位置数据，通过摄像设备识别的数据对空间位置数据进行修正，保证了数据的精确性；同时，通过设置标识线能够准确在识别出医疗设备的尖端坐标数据，通过统一坐标系的设定大大减少了计算难度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程图；
图2为本发明坐标系示意图；
图3为本发明标识线示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出优选的描述。
如图1所示，为本发明的一种基于数据识别的医疗器械可视化仿真方法，包括：
步骤S11，术前病灶三维建模得到三维模型；
为了完整还原病灶的切除过程，需要在术前对病灶进行数据采集，并对病灶进行三维建模，数据采集的方法可采用超声、CT、MRI、X-Ray等，具体方法本发明不做限定，只要能够表示出病灶的三维轮廓即可，并采用3D建模软件（如3d Max，unity 3D 等）进行三维建模。
步骤S12，术中实时病灶图像采集；
外科手术通常包括切除、缝合等多重操作，为了能够真实模拟病灶的状态变化，需要实时获取病灶的状态图像，实时病灶图像可通过任何拍摄设备获取，本发明不做具体限定；一种优选的方式中，为了能够清晰地采集到病灶处的图像，由主刀医生的头戴式设备采集所述实时病灶图像。
步骤S13，术中使用加速度传感进行医疗器械尖端的移动轨迹采集；
为了获取医疗器械的轨迹，可以采用目前较为流行的加速度传感器；由于本发明后续有校准的过程并且为了方便数据的处理，优选地，本发明采用成本较低的三轴加速度传感器实时采集医疗器械的移动轨迹。
优选地，为了方便后续的数据处理，如图2所示，本发明以手术台的一角为坐标原点，并且Z轴方向与重力加速度方向重合，手术台水平设置为XOY平面水平，即坐标系与加速度传感器三轴对应，以方便处理加速度传感器的三轴数据；医疗器械台相对手术台固定，每一种医疗器械都位于器械台的固定位置，因此每一种医疗器械的初始位置都相对于坐标原点O固定，每一种医疗器械的初始坐标都事先输入计算机系统，以方便后续的计算。
在手术的过程中，当医生拿起一个医疗器械，医疗器械内部的三轴加速度传感器实时获取该医疗器械相对x，y，z三个方向的加速度数据，并采用如下公式实时计算医疗器械相对坐标原点的实时坐标。
Figure 285015DEST_PATH_IMAGE001
其中对于任意一方向而言，对于本发明的三轴加速度传感器即x y z三个方向，v 表示当前速度，
Figure 188774DEST_PATH_IMAGE002
表示计算周期开始时间，
Figure 437352DEST_PATH_IMAGE003
表示计算周期结束时间，a表示计算周期内的 加速度（通常是非线性的），由加速度传感器测量得到，
Figure 504666DEST_PATH_IMAGE004
表示计算周期开始时的速度，s表 示移动距离，
Figure 505989DEST_PATH_IMAGE005
表示计算周期开始时的移动距离。
在获取到速度以及移动距离后（三个方向的移动距离
Figure 62872DEST_PATH_IMAGE006
），周期性地，根 据器械的初始位置，累积计算设备当前所处的坐标（将三个方向的移动距离进行累加）。
示例性地，以x坐标为例，器械在器械台的初始位置x坐标为-120，由于器械未动则 x方向的初始速度
Figure 798747DEST_PATH_IMAGE007
；从医生拿起器械起算，在0-2秒内，x方向的移动速度分别为+ 20，+10，-10，则通过
Figure 856701DEST_PATH_IMAGE008
进行分段积分得到速度的分段函数，然后通过
Figure 509268DEST_PATH_IMAGE009
进行分段积分，得到最终x方向的坐标变化量
Figure 174736DEST_PATH_IMAGE010
，此时x坐标为
Figure 663486DEST_PATH_IMAGE011
。
优选地，由于医疗器械主要靠尖端实施手术（尖端是指医疗器械主要与病灶接触的位置，如手术刀的刀尖，止血钳的钳嘴等），而加速度传感器通常安装于手柄内部，为了优选得到器械的尖端的移动数据，事先将每一器械尖端与三轴加速度传感的距离存储于计算机系统，在获取三轴加速度传感器的数据后，通过事先存储的器械尖端与三轴加速度传感的距离以及器械的移动方向（器械的移动方向通过计算得到的速度方向获得）计算器械的尖端坐标。
步骤S14，术中实时获取医疗器械的图像数据及器械坐标；
三轴加速度传感器可以获取医疗器械的移动坐标，但手术动作精细且复杂，根据加速度计算移动轨迹的原理，随着移动距离以及计算次数的增加，每次计算过程中的微小误差会不断累积，在手术后期会出现明显的误差，为了校准误差，本发明优选地获取医联器械的实时图像。
优选地，为了能够方便地从图像中计算出器械的坐标，本发明的医疗器械每隔一固定距离设置一标识线，其中每一器械的所有标识线颜色均不相同，每一医疗器械的尺寸、标识线间隔、标识线颜色及位置均事先存储于计算机系统；由于医疗器械的本体从头到尾均有标识线，因此即使手术过程中由于医生手握遮挡了部分标识线，依然有部分标识线可视，如图3所示，箭头表示某一医疗器械，由于遮挡，只露出两根标识线。在手术过程中，器械的尖端通常会位于病灶内，无法直接通过图像确定尖端的坐标位置，而尖端相对标识线固定，因此可以通过标识线的坐标数据获取到尖端的坐标。
优选地，为了方便地获取的图像中医疗器械的坐标，本发明通过悬于手术台正上 方且位置固定的第一摄像设备获取器械的第一图像数据；第一摄像设备位置固定且拍摄目 标点固定，因此其获取的图像每一像素的实际空间坐标点固定（即第一图像中的每一个像 素点都固定地对应于一个实际空间的坐标）；优选地，实际空间坐标使用的坐标系为步骤 S13中设定的坐标系；通过获取的图像的像素点在图像中的位置即可确定出该像素点的实 际空间坐标，将第一图像中像素点与实际空间坐标之间的关系事先存储于计算机系统；由 于第一摄像设备垂直拍摄，被摄物体的x，y坐标直接映射至图像中，当第一图像数据中出现 至少两条标识线时，即可通过标识线的颜色确定标识线的位置，以及标识线的之间的距离， 在确定两个标识线的实际空间坐标之后，根据直线的性质即可通过两个标识线的坐标确定 出器械尖端的实际空间x坐标及y坐标；如图3所示，器械在一个计算周期从开始位置移动至 结束位置，通过标识线确定开始位置尖端的坐标和结束位置尖端的坐标后，按方向相减即 可计算水平方向（x，y方向）的移动距离
Figure 301362DEST_PATH_IMAGE012
。
优选地，与获取x坐标、y坐标类似地，为了方便地获取的图像中医疗器械的坐标， 本发明通过水平于手术台方且位置固定的第二摄像设备获取器械的第二图像数据；第二摄 像设备位置固定且拍摄目标点固定，因此其获取的图像每一像素的坐标点固定，通过获取 的图像的像素点在图像中的位置即可确定出该像素点的坐标，将第二图像中像素点与实际 空间坐标的坐标之间的关系事先存储于计算机系统；由于第二摄像设备水平拍摄，被摄物 体的(z，y)或（z，x）坐标直接映射至图像中，当第二图像数据中出现至少两条标识线时，即 可通过标识线的颜色确定标识线的位置，以及标识线的之间的距离，在确定两个标识线的 坐标之后，即可通过两个标识线的坐标确定出器械尖端的实际空间坐标z坐标；由于第二摄 像设备与手术平行，在成像上反应出的上下位置变化即器械的垂直位置（z方向）的位置变 化，从而可以计算出尖端的垂直移动距离
Figure 559168DEST_PATH_IMAGE013
。
步骤S15，使用所述医疗器械的图像数据识别所述医疗器械尖端的移动轨迹的误差并进行校准；
当拍摄设备能够获取到医疗器械的至少两条标识线后，在同一时间段内，分别计算通过加速度传感器获得的移动距离，以及使用拍摄设备获得的图像识别出的医疗器械的移动距离，计算加速度传感器获得的移动距离与拍摄设备获得的图像识别出的医疗器械的移动距离之差，当差值大于一阈值时，认定加速度传感器出现累积误差，需要进行校准。
对于前述步骤中的示例，即当
Figure 910384DEST_PATH_IMAGE014
大于一阈值时，产 生了过大的误差，此时不宜再使用加速度传感器继续叠加计算；此时使用根据第一图像数 据确定出的x坐标、y坐标，根据第二图像数据确定出的z坐标重新初始化所述加速度传感 器。由于加速度传感器使用了新的正确的坐标，因此消除了后续的计算累计误差。
步骤S16，使用所述实时病灶图像与所述术前病灶三维建模得到三维模型进行配准，并蒙皮得到病灶变化模型；
首先对术前病灶三维建模的病灶图像与术中实时病灶图像进行特征点提取，对病灶边缘未进行切割的部分通过进行相似性度量找到匹配的特征点对，然后通过匹配的特征点对对实时病灶图像赋予三维坐标，再将术中实时病灶图像按照特征点坐标蒙皮至三维模型中，得到手术过程中病灶变化模型。
步骤S17，将医疗器械的尖端移动轨迹叠加至所述病灶变化模型。
在前述步骤中通过加速度传感器以及摄像设备的校准得到了准确的医疗器械的尖端的坐标变化数据，将坐标变化数据直接叠加至所述病灶变化模型即得到医疗器械的尖端在病灶中的移动轨迹。
本发明另一方面提供一种基于数据识别的医疗器械可视化仿真系统，所述系统包括：
模型建立模块，用于术前病灶三维建模得到三维模型；
为了完整还原病灶的切除过程，需要在术前对病灶进行数据采集，并对病灶进行三维建模，数据采集的方法可采用超声、CT、MRI、X-Ray等，具体方法本发明不做限定，只要能够表示出病灶的三维轮廓即可，并采用3D建模软件（如3d Max，unity 3D 等）进行三维建模。
第一采集模块，用于术中实时病灶图像采集；
外科手术通常包括切除、缝合等多重操作，为了能够真实模拟病灶的状态变化，需要实时获取病灶的状态图像，实时病灶图像可通过任何拍摄设备获取，本发明不做具体限定；一种优选的方式中，为了能够清晰地采集到病灶处的图像，由主刀医生的头戴式设备采集所述实时病灶图像。
第二采集模块，用于术中使用加速度传感进行医疗器械尖端的移动轨迹采集；
为了获取医疗器械的轨迹，可以采用目前较为流行的加速度传感器；由于本发明后续有校准的过程并且为了方便数据的处理，优选地，本发明采用成本较低的三轴加速度传感器实时采集医疗器械的移动轨迹。
优选地，为了方便后续的数据处理，如图2所示，本发明以手术台的一角为坐标原点，并且Z轴方向与重力加速度方向重合，手术台水平设置为XOY平面水平，即坐标系与加速度传感器三轴对应，以方便处理加速度传感器的三轴数据；医疗器械台相对手术台固定，每一种医疗器械都位于器械台的固定位置，因此每一种医疗器械的初始位置都相对于坐标原点O固定，每一种医疗器械的初始坐标都事先输入计算机系统，以方便后续的计算。
在手术的过程中，当医生拿起一个医疗器械，医疗器械内部的三轴加速度传感器实时获取该医疗器械相对x，y，z三个方向的加速度数据，并采用如下公式实时计算医疗器械相对坐标原点的实时坐标。
Figure 886430DEST_PATH_IMAGE015
其中对于任意一方向而言，对于本发明的三轴加速度传感器即x y z三个方向，v 表示当前速度，
Figure 630395DEST_PATH_IMAGE002
表示计算周期开始时间，
Figure 195237DEST_PATH_IMAGE003
表示计算周期结束时间，a表示计算周期内的 加速度（通常是非线性的），由加速度传感器测量得到，
Figure 999245DEST_PATH_IMAGE016
表示计算周期开始时的速度，s表 示移动距离，
Figure 462588DEST_PATH_IMAGE005
表示计算周期开始时的移动距离。
在获取到速度以及移动距离后（三个方向的移动距离
Figure 10244DEST_PATH_IMAGE017
），周期性地，根 据器械的初始位置，累积计算设备当前所处的坐标（将三个方向的移动距离进行累加）。
示例性地，以x坐标为例，器械在器械台的初始位置x坐标为-120，由于器械未动则 x方向的初始速度
Figure 226330DEST_PATH_IMAGE018
；从医生拿起器械起算，在0-2秒内，x方向的移动速度分别为+ 20，+10，-10，则通过
Figure 466819DEST_PATH_IMAGE008
进行分段积分得到速度的分段函数，然后通过
Figure 886299DEST_PATH_IMAGE019
进行分段积分，得到最终x方向的坐标变化量
Figure 237646DEST_PATH_IMAGE010
，此时x坐标为
Figure 45589DEST_PATH_IMAGE020
。
优选地，由于医疗器械主要靠尖端实施手术（尖端是指医疗器械主要与病灶接触的位置，如手术刀的刀尖，止血钳的钳嘴等），而加速度传感器通常安装于手柄内部，为了优选得到器械的尖端的移动数据，事先将每一器械尖端与三轴加速度传感的距离存储于计算机系统，在获取三轴加速度传感器的数据后，通过事先存储的器械尖端与三轴加速度传感的距离以及器械的移动方向（器械的移动方向通过计算得到的速度方向获得）计算器械的尖端坐标。
第三采集模块，用于术中实时获取医疗器械的图像数据及器械坐标；
三轴加速度传感器可以获取医疗器械的移动坐标，但手术动作精细且复杂，根据加速度计算移动轨迹的原理，随着移动距离以及计算次数的增加，每次计算过程中的微小误差会不断累积，在手术后期会出现明显的误差，为了校准误差，本发明优选地获取医联器械的实时图像。
优选地，为了能够方便地从图像中计算出器械的坐标，本发明的医疗器械每隔一固定距离设置一标识线，其中每一器械的所有所述标识线颜色均不同，每一医疗器械的尺寸、标识线间隔、标识线颜色及位置均事先存储于计算机系统；由于医疗器械身体从头到尾均有标识线，因此即使手术过程中由于医生手握遮挡了部分标识线，依然有部分标识线可视，如图3所示，箭头表示一医疗器械，由于遮挡，只露出两根标识线。在手术过程中，器械的尖端通常会位于病灶内，无法直接通过图像确定尖端的坐标位置，而尖端相对标识线固定，因此可以通过标识线的坐标数据获取到尖端的坐标。
优选地，为了方便地获取的图像中医疗器械的坐标，本发明通过悬于手术台正上 方且位置固定的第一摄像设备获取器械的第一图像数据；第一摄像设备位置固定且拍摄目 标点固定，因此其获取的图像每一像素的实际空间坐标点固定（即第一图像中的每一个像 素点都固定地对应于一个实际空间的坐标）；优选地，实际空间坐标使用的坐标系为第二采 集模块中设定的坐标系，所述；通过获取的图像的像素点在图像中的位置即可确定出该像 素点的实际空间坐标，将第一图像中像素点与实际空间坐标之间的关系事先存储于计算机 系统；由于第一摄像设备垂直拍摄，被摄物体的x，y坐标直接映射至图像中，当第一图像数 据中出现至少两条标识线时，即可通过标识线的颜色确定标识线的位置，以及标识线的之 间的距离，在确定两个标识线的实际空间坐标之后，根据直线的性质即可通过两个标识线 的坐标确定出器械尖端的实际空间x坐标及y坐标；如图3所示，器械在一个计算周期从开始 位置移动至结束位置，通过标识线确定开始位置尖端的坐标和结束位置尖端的坐标后，按 方向相减即可计算水平方向（x，y方向）的移动距离
Figure 456979DEST_PATH_IMAGE012
。
优选地，与获取x坐标、y坐标类似地，为了方便地获取的图像中医疗器械的坐标， 本发明通过水平于手术台方且位置固定的第二摄像设备获取器械的第二图像数据；第二摄 像设备位置固定且拍摄目标点固定，因此其获取的图像每一像素的坐标点固定，通过获取 的图像的像素点在图像中的位置即可确定出该像素点的坐标，将第二图像中像素点与实际 空间坐标的坐标之间的关系事先存储于计算机系统；由于第二摄像设备水平拍摄，被摄物 体的(z，y)或（z，x）坐标直接映射至图像中，当第二图像数据中出现至少两条标识线时，即 可通过标识线的颜色确定标识线的位置，以及标识线的之间的距离，在确定两个标识线的 坐标之后，即可通过两个标识线的坐标确定出器械尖端的实际空间坐标z坐标；由于第二摄 像设备与手术平行，在成像上反应出的上下位置变化即器械的垂直位置（z方向）的位置变 化，从而可以计算出尖端的垂直移动距离
Figure 363755DEST_PATH_IMAGE013
。
校准模块，使用所述医疗器械的图像数据识别所述医疗器械尖端的移动轨迹的误差并进行校准；
当拍摄设备能够获取到医疗器械的至少两条标识线后，在同一时间段内，分别计算通过加速度传感器获得的移动距离，以及使用拍摄设备获得的图像识别出的医疗器械的移动距离，计算加速度传感器获得的移动距离与拍摄设备获得的图像识别出的医疗器械的移动距离之差，当差值大于一阈值时，认定加速度传感器出现累积误差，需要进行校准。
对于前述模块中的示例，即当
Figure 830377DEST_PATH_IMAGE021
大于一阈值时，产 生了过大的误差，此时不宜再使用加速度传感器继续叠加计算；此时使用根据第一图像数 据确定出的x坐标、y坐标，根据第二图像数据确定出的z坐标重新初始化所述加速度传感 器。由于加速度传感器使用了新的正确的坐标，因此消除了后续的计算累计误差。
配准蒙皮模块，用于使用所述实时病灶图像与所述术前病灶三维建模得到三维模型进行配准，并蒙皮得到病灶变化模型；
首先对术前病灶三维建模的病灶图像与术中实时病灶图像进行特征点提取，对病灶边缘未进行切割的部分通过进行相似性度量找到匹配的特征点对，然后通过匹配的特征点对对实时病灶图像赋予三维坐标，再将术中实时病灶图像按照特征点坐标蒙皮至三维模型中，得到手术过程中病灶变化模型。
叠加模块，用于将所述医疗器械尖端的移动轨迹叠加至所述病灶变化模型；
在前述模块中通过加速度传感器以及摄像设备的校准得到了准确的医疗器械的尖端的坐标变化数据，将坐标变化数据直接叠加至所述病灶变化模型即得到医疗器械的尖端在病灶中的移动轨迹。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分以及具体实施例部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。

Claims (5)

1.一种基于数据识别的医疗器械可视化仿真方法，其特征在于，包括如下步骤：
步骤S11，术前病灶三维建模得到三维模型；
步骤S12，术中实时病灶图像采集；
步骤S13，术中使用加速度传感器进行医疗器械尖端的移动轨迹采集；
步骤S14，术中实时获取医疗器械的图像数据及器械坐标；
步骤S15，使用所述医疗器械的图像数据识别所述医疗器械尖端的移动轨迹的误差并进行校准；
步骤S16，使用所述实时病灶图像与所述术前病灶三维建模得到三维模型进行配准并蒙皮得到病灶变化模型；
步骤S17，将所述医疗器械尖端的移动轨迹叠加至所述病灶变化模型。
2.如权利要求1所述的一种基于数据识别的医疗器械可视化仿真方法，其特征在于，所述步骤S12中，由主刀医生的头戴式设备采集所述实时病灶图像。
3.如权利要求1所述的一种基于数据识别的医疗器械可视化仿真方法，其特征在于，所述步骤S13中，采用三轴加速度传感器实时采集医疗器械的移动轨迹，通过事先存储的器械尖端与三轴加速度传感的距离以及器械的移动方向计算所述医疗器械尖端的坐标以得到所述医疗器械尖端的移动轨迹。
4.如权利要求1所述的一种基于数据识别的医疗器械可视化仿真方法，其特征在于，所述步骤S14-S15中，所述医疗器械每隔一固定距离设置一标识线，其中每一器械的所有标识线颜色均不相同，每一医疗器械的尺寸、标识线间隔、标识线颜色及位置均事先存储于计算机系统；
通过悬于手术台正上方且位置固定的第一摄像设备获取所述医疗器械的第一图像数据；在所述第一图像中包含至少两条标识线时，通过标识线的颜色确定所述至少两条标识线的位置，根据事先存储的第一图像中的像素点与实际空间的x坐标与y坐标之间的关系确定所述至少两条标识线的实际空间的x坐标与y坐标，通过医疗器械的尺寸、标识线间隔、标识线颜色及位置计算所述医疗器械的尖端的实际空间的x坐标与y坐标；
通过平行于手术台平面且位置固定的第二摄像设备获取所述医疗器械的第二图像数据；在所述第二图像中包含至少两条标识线时，通过所述标识线的颜色确定所述至少两条标识线的位置，根据事先存储的第二图像中的像素点与实际空间的z坐标之间的关系确定所述至少两条标识线的实际空间的z坐标，通过医疗器械的尺寸、标识线间隔、标识线颜色及位置计算所述医疗器械的尖端的实际空间的z坐标；
通过所述医疗器械的尖端的实际空间的x坐标、y坐标与z坐标计算x，y，z三个方向的一段时间内的第一变化距离，根据所述医疗器械尖端的移动轨迹计算同一时间段内x，y，z三个方向的第二变化距离；计算所述第一变化距离与所述第二变化距离之差，当差值大于预设阈值时，认定加速度传感器出现累积误差，则使用所述医疗器械的尖端的实际空间的x坐标、y坐标与z坐标重新初始化所述加速度传感器。
5.如权利要求1所述的一种基于数据识别的医疗器械可视化仿真方法，其特征在于，所述步骤S16中，首先对术前病灶三维建模的病灶图像与术中实时病灶图像进行特征点提取，对病灶边缘未进行切割的部分通过进行相似性度量找到匹配的特征点对，然后通过匹配的特征点对对实时病灶图像赋予三维坐标，再将术中实时病灶图像按照特征点坐标蒙皮至三维模型中，得到手术过程中病灶变化模型。
CN202210676663.XA 2022-06-16 2022-06-16 一种基于数据识别的医疗器械可视化仿真方法 Active CN114757995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210676663.XA CN114757995B (zh) 2022-06-16 2022-06-16 一种基于数据识别的医疗器械可视化仿真方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210676663.XA CN114757995B (zh) 2022-06-16 2022-06-16 一种基于数据识别的医疗器械可视化仿真方法

Publications (2)

Publication Number Publication Date
CN114757995A true CN114757995A (zh) 2022-07-15
CN114757995B CN114757995B (zh) 2022-09-16

Family

ID=82336506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210676663.XA Active CN114757995B (zh) 2022-06-16 2022-06-16 一种基于数据识别的医疗器械可视化仿真方法

Country Status (1)

Country Link
CN (1) CN114757995B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105030188A (zh) * 2015-08-06 2015-11-11 桂林电子科技大学 具有轨迹显示功能的肠镜系统及肠镜轨迹显示方法
US20170143429A1 (en) * 2014-03-14 2017-05-25 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
CN108430373A (zh) * 2015-10-28 2018-08-21 安多卓思公司 用于在患者体内跟踪内窥镜的位置的装置和方法
WO2021123651A1 (fr) * 2019-12-18 2021-06-24 Quantum Surgical Méthode de planification automatique d'une trajectoire pour une intervention médicale
CN113693725A (zh) * 2021-10-22 2021-11-26 杭州维纳安可医疗科技有限责任公司 进针路径规划方法、装置、设备及存储介质
CN113950301A (zh) * 2019-04-26 2022-01-18 康迈德机器人公司 用于计算机引导手术的系统
CN114041875A (zh) * 2021-11-24 2022-02-15 电子科技大学 一种一体式手术定位导航系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170143429A1 (en) * 2014-03-14 2017-05-25 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
CN105030188A (zh) * 2015-08-06 2015-11-11 桂林电子科技大学 具有轨迹显示功能的肠镜系统及肠镜轨迹显示方法
CN108430373A (zh) * 2015-10-28 2018-08-21 安多卓思公司 用于在患者体内跟踪内窥镜的位置的装置和方法
CN113950301A (zh) * 2019-04-26 2022-01-18 康迈德机器人公司 用于计算机引导手术的系统
WO2021123651A1 (fr) * 2019-12-18 2021-06-24 Quantum Surgical Méthode de planification automatique d'une trajectoire pour une intervention médicale
CN113693725A (zh) * 2021-10-22 2021-11-26 杭州维纳安可医疗科技有限责任公司 进针路径规划方法、装置、设备及存储介质
CN114041875A (zh) * 2021-11-24 2022-02-15 电子科技大学 一种一体式手术定位导航系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张曦等: "基于双目立体视觉的手术导航脑部穿刺关键技术研究", 《计量与测试技术》 *

Also Published As

Publication number Publication date
CN114757995B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
CN107735016B (zh) 用于扫描解剖结构且用于显示扫描结果的系统和方法
WO2021227548A1 (zh) 一种下颌骨切削手术的数字化引导系统
BR102018077046A2 (pt) Uso de realidade aumentada para ajudar na navegação durante procedimentos médicos
US11904182B2 (en) Research and development of augmented reality in radiotherapy
WO2020151119A1 (zh) 一种用于牙科手术的增强现实方法及装置
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
US20120004541A1 (en) Surgery assistance system
US20220139044A1 (en) Method and system for proposing and visualizing dental treatments
CN112184653B (zh) 一种基于双目内窥镜的病灶三维尺寸测量及显示方法
CN110547872A (zh) 手术导航注册系统
CN114010314B (zh) 一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统
CN116327079A (zh) 内窥镜测量系统和工具
JP6493877B2 (ja) 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
CN114757995B (zh) 一种基于数据识别的医疗器械可视化仿真方法
CN115954096B (zh) 一种基于图像数据处理的腔镜vr成像系统
EP2009613A1 (en) System for simultaing a manual interventional operation
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
CN116650111A (zh) 一种支气管异物清除手术的模拟和导航方法及系统
Zhao Real-time 3D visual tracking of laparoscopic instruments for robotized endoscope holder
CN116793334A (zh) 骨科手术导航系统的精度测试系统及测试方法
CN111658141B (zh) 一种胃切除术端口位置导航系统、装置及存储介质
KR102362149B1 (ko) 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법
CN106236263A (zh) 基于场景分解的胃肠手术导航方法及系统
US20230240558A1 (en) Surgical site measurement, and camera calibration using fiducial markers on surgical tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant