CN113133828B - 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质 - Google Patents
一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN113133828B CN113133828B CN202110358149.7A CN202110358149A CN113133828B CN 113133828 B CN113133828 B CN 113133828B CN 202110358149 A CN202110358149 A CN 202110358149A CN 113133828 B CN113133828 B CN 113133828B
- Authority
- CN
- China
- Prior art keywords
- registration
- registration device
- identifiable
- preset
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims description 42
- 238000003860 storage Methods 0.000 title claims description 10
- 210000003484 anatomy Anatomy 0.000 claims abstract description 35
- 230000033001 locomotion Effects 0.000 claims description 155
- 239000003550 marker Substances 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 206010011224 Cough Diseases 0.000 description 4
- 208000012661 Dyskinesia Diseases 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010028347 Muscle twitching Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000036461 convulsion Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001954 sterilising effect Effects 0.000 description 2
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Abstract
一种用于手术导航的交互配准系统，其特征在于，该系统包括：医学影像获取模块、现场图像获取模块、识别模块、判断模块；其中，所述医学影像获取模块，用于获取施术对象的术前医学影像；所述现场图像获取模块，用于获取手术现场的现场图像；所述识别模块，用于根据所述现场图像识别手术现场中配准设备的位置所述配准设备至少包括可识别部位和标记部位；所述判断模块，用于判断所述配准设备的位置是否符合预设的配准条件；当所述配准设备的位置符合所述预设的配准条件时，根据所述施术对象的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场进行位置配准。实施本发明的技术方案可以提高空间位置配准的精确性和效率。
Description
技术领域
本申请涉及医疗领域，尤其涉及一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质。
背景技术
手术导航系统，是将病人术前或术中影像数据和手术床上病人解剖结构准确对应，手术中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示，使医生对手术器械相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。
利用增强现实进行手术导航，首先需要提前将手术计划信息预先存储在计算机中；其次，还需要将术前影像扫描获得的医学影像数据，与术中施术对象实时拍摄的现场图像通过坐标变换的方式实现数据配准。现有技术通常通过多次捕捉到的现场画面来提取点云，进行现场场景点云与计算机模型的配准。数据配准的精确度越高，手术操作者获得的导航信息越精准。但是，在现场拍摄现场画面过程中，操作者或操作对象难免会产生移动、抖动、呼吸、心跳等各种情况，这些情况给配准过程带来难度增大，精度下降的问题。
发明内容
为了解决上述技术问题中的至少一个，本申请提供了用于手术导航的交互配准系统、方法、电子设备和可读存储介质。
本申请的第一方面，提供一种用于手术导航的交互配准系统，其特征在于，该装置包括：
医学影像获取模块、现场图像获取模块、识别模块、判断模块和执行模块；其中，
所述医学影像获取模块，用于获取施术对象的术前医学影像，并根据所述术前医学影像获得所述施术对象的解剖结构模型；
所述现场图像获取模块，用于获取手术现场的现场图像；
所述识别模块，用于根据所述现场图像识别手术现场中配准设备的位置；
所述判断模块，用于根据所述配准设备的位置状态判断当前是否符合预设的配准条件；当符合所述预设的配准条件时，根据所述施术对象的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场进行位置配准。
所述配准设备至少包括可识别部位和标记部位；所述预设配准条件为：
当所述配准设备的可识别部位和标记部位处于稳定状态；
和/或，
当所述配准设备的可识别部位处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配。
可选的，所述预设运动参数为与人体呼吸或心跳导致的身体运动相应的运动参数。可选的，所述运动参数包括运动频率、运动幅度、运动速度和运动轨迹中的至少一种。
可选的，所述判断模块还包括计算模块，所述计算模块用于进行以下计算：
获取一段时间内所述配准的所述可识别部位和所述标记部位各时刻的坐标，并
计算该时间段内，所述配准设备的可识别部位的平均坐标；
计算该时间段内，所述配准设备的标记部位的平均坐标；
计算该时间段内，所述配准设备的所述可识别部位各时刻的坐标相对所述可识别部位的平均坐标的距离；
计算该时间段内，所述配准设备的所述标记部位的各时刻的坐标相对其所述标记部位的平均坐标的距离；
计算该时间段内，所述配准设备的所述标记部位的各时刻的移动速度；
可选的，当所述配准设备的可识别部位任意一点相对其几何平均位置的距离均小于或等于第一预设阈值时，判定所述配准设备的可识别部位处于稳定状态。
当所述配准设备的标记部位任意一点相对其几何平均位置的距离；均小于或等于第二预设阈值时，判定所述配准设备的标记部位处于稳定状态。
当所述配准设备的标记部位在该时间段内，出现最大运动速度时刻前后，均出现了小于或等于第三预设值的速度时，判定所述配准设备的标记部位的运动参数和预设运动参数相匹配。
可选的，所述判断模块还包括记录模块，所述记录模块具体用于：
当所述配准设备的可识别部位和标记部位处于稳定状态时，记录各时刻所述配准设备的标记部位的平均坐标；
当所述配准设备的可识别部位的位置处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配时，记录所述配准设备标记部位在设定时刻的坐标的平均值，所述设定时刻为运动参数周期中运动参数最小的时刻。
可选的，还包括提示模块，用于引导操作者进行特定的操作。
可选的，所述提示模块用于显示提示信息提示所述操作者做出指定行为以符合所述预设的配准条件；所述提示信息具体包括：
指导所述操作者将配准设备移动至指定位置，或
引导所述操作者使其自身相对施术对象按照指定位置关系移动，或
指导所述所述操作者支配所述配准设备在指定时间内保持指定状态，或
引导所述操作者使其自身相对施术对象保持指定位置关系。
可选的，所述指导所述操作者支配所述配准设备在指定时间内保持指定状态时，显示用于表征时间进度的动态图案。
可选的，若所述配准设备在指定时间内保持指定状态失败，所述提示模块提示所述操作者重新保持指定状态并重新开始计算指定时间。
本申请的第二方面，一种用于手术导航的交互配准方法，包括：
获取施术对象的术前医学影像，并根据所述术前医学影像获得所述施术对象的解剖结构模型；
获取手术现场的现场图像；
根据所述现场图像识别手术现场中配准设备的位置；
根据所述配准设备的位置状态判断当前是否符合预设的配准条件，当所述配准设备的位置符合所述预设的配准条件时，根据所述施术对象的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场进行位置配准。
可选的，所述配准设备至少包括可识别部位和标记部位；所述配准条件为：
当所述配准设备的可识别部位和标记部位处于稳定状态；
和/或，
当所述配准设备的可识别部位处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配。
可选的，还包括以下计算步骤：
获取一段时间内所述配准设备的所述可识别部位和所述标记部位在各时刻的坐标，并
计算该时间段内，所述配准设备的可识别部位的平均坐标；
计算该时间段内，所述配准设备的标记部位的平均坐标；
计算该时间段内，所述配准设备的所述可识别部位的各时刻的坐标相对所述可识别部位的平均坐标的距离；
计算该时间段内，所述配准设备的所述标记部位的各时刻的坐标相对所述标记部位的平均坐标的距离；
计算该时间段内，所述配准设备的所述标记部位的各时刻的移动速度。
可选的，当所述配准设备的可识别部位任意一点相对其几何平均位置的距离均小于或等于第一预设阈值时，判定所述配准设备的可识别部位处于稳定状态。
当所述配准设备的标记部位任意一点相对其几何平均位置的距离；均小于或等于第二预设阈值时，判定所述配准设备的标记部位处于稳定状态。
当所述配准设备的标记部位在该时间段内，出现最大运动速度时刻前后，均出现了小于或等于第三预设值的速度时，判定所述配准设备的标记部位的运动参数和预设运动参数相匹配。
可选的，本发明还包括以下记录步骤：
当所述配准设备的可识别部位和标记部位处于稳定状态时，记录所述配准设备的标记部位的所有位置的几何平均坐标；
当所述配准设备的可识别部位处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配时，记录所述可识别部位在设定时刻的坐标的平均值，所述设定时刻为运动参数周期中运动参数最小的时刻。
可选的，本发明还包括提示步骤，用于引导操作者进行特定的操作。
可选的，本发明的提示步骤用于显示提示信息提示所述操作者做出指定行为以符合所述预设的配准条件；所述提示信息具体包括：
指导所述操作者将配准设备移动至指定位置，或
引导所述操作者使其自身相对施术对象按照指定位置关系移动，或
指导所述操作者支配所述配准设备在指定时间内保持指定状态，或
引导所述操作者使其自身相对施术对象保持指定位置关系。
可选的，所述指导所述操作者支配所述配准设备在指定时间内保持指定状态时，显示用于表征时间进度的动态图案。
可选的，若所述配准设备在指定时间内保持指定状态失败，所述提示模块提示所述操作者重新保持指定状态并重新开始计算指定时间。
本申请的第三方面，一种电子设备，其包括存储器和处理器；其中，所述存储器用于存储可执行程序代码；所述计算机指令被所述处理器执行以实现本申请第二方面任一项所述的方法。
本申请的第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，该计算机指令被处理器执行时实现本申请第二方面任一项所述的方法。
通过实施本申请的技术方案可以取得以下有益技术效果：
本发明实施例中的技术方案，可以自动识别手术场景图像中所包含的配准设备，根据所述施术对象的解剖结构模型以及所述现场图像，将解剖结构模型与手术现场的相应解剖结构进行位置配准。
本发明使得操作者在全程无需其他操作或指令，如操作键盘、鼠标、语音口令、手势等情况下，全程自动完成一个或多个空间点的配准。
本发明还可在空间点与施术对象生理运动(如呼吸、心跳、抖动等)同步运动的情况下，完成特定空间点的配准。
此外，本发明还可以通过提供全程增强现实提示信息，帮助操作者更快速、更精准地完成配准过程。相对于现有技术，实施本发明的技术方案可以提高空间位置配准的精确性和效率。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是本申请实施例公开的用于手术导航的交互配准系统的结构框图；
图2是本申请实施例公开的另一种用于手术导航的交互配准系统的结构框图；
图3是本申请实施例公开的一种手术场景示意图；
图4是本申请实施例公开配准设备标记部位运动参数图；
图5是本申请实施例公开的另一配准设备标记部位运动参数图；
图6是本申请实施例公开的用于手术导航的交互配准方法的流程图；
图7是本申请实施例公开的另一种电子设备的结构框图；
图8是本申请实施例公开的一种计算机系统的结构示意图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。虽然每个实施方式代表了发明的单一组合，但是本发明不同实施例可以替换，或者合并组合，因此本发明也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含A、B、C，另一个实施例包含B和D的组合，那么本发明也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
下面将参考附图并结合实施方式来详细说明本公开。
参见图1，一种用于手术导航的交互配准系统,包括：医学影像获取模块、现场图像获取模块、识别模块、计算模块和执行模块；其中，
所述医学影像获取模块，用于获取施术对象的术前医学影像，并根据所述术前医学影像获得所述施术对象的解剖结构模型；
所述现场图像获取模块，用于获取手术现场的现场图像；
所述识别模块，用于根据所述现场图像识别手术现场中配准设备的位置，所述配准设备至少包括可识别部位和标记部位；
所述判断模块，用于根据所述配准设备的位置状态判断当前是否符合预设的配准条件；当符合所述预设的配准条件时，根据所述施术对象的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场进行位置配准。
本发明实施例中的技术方案，可以自动识别手术场景图像中所包含的配准设备，根据施术对象的解剖结构模型以及现场图像，将解剖结构模型与手术现场的相应解剖结构进行位置配准。本发明可以使得操作者在全程无需其他操作或指令，如操作键盘、鼠标、语音口令、手势等情况下，全程自动完成一个或多个空间点的配准。
其中，可以知道的，操作者可以通过佩戴头戴式设备的摄像头来拍摄手术场景以采集手术场景图像，参见图3，图3中是操作者1根据通过佩戴头戴式设备2的摄像头拍摄到方框区域3的手术场景图像。
本发明的识别模块，用于根据所述现场图像识别手术现场中配准设备的位置。
作为识别模块的可选实施方式，所述配准设备至少包括可识别部位和标记部位。可识别部位具有特定的光学特征、图案特征和几何特征中的至少一种，以使得拍摄标识物所得到的图像具有特定的图像特征，例如，所述图案信息为二维码。所述标记部位可用于触碰/点击指定位置，所述指定位置可以为施术对象身体上预先确定好的点，这些点的空间坐标已提前配置在交互配准系统中。优选地，所述指定位置的数量为2个或多个。
作为识别模块的可选实施方式，本发明实施例中的识别模块可以利用现有的图像识别算法进行图像识别，例如斑点检测算法、角点检测算法等。具体的，可根据标识物的形式选择相应合适的算法，例如标识物是设置在手术台或手术器械上的二维码时，可直接采用相应的二维码识别算法。
所述配准设备的可识别部位和标记部位的相对坐标关系可以通过数据库中相关联的结构信息计算获得。如此，所述标记部位的空间坐标可以通过配准设备上的光学特征来获得。可识别部位的空间坐标及标记部位的空间坐标可以通过坐标变换转换至世界坐标系。
本申请实施例中的配准设备优先选用与手术器械一致的设备，更优选为集配准功能与手术实施功能一体的医疗器械，这样可以减少因器械更换带来的数据误差。例如，配准设备可以为穿刺针，可识别部位为设置在穿刺针上的光学特征，例如：二维码；标记部位可以为穿刺针的针尖。如此，配准设备即可满足重复灭菌或一次性无菌使用这两个条件之一。
本发明实施例中的判断模块，用于判断所述配准设备的位置是否符合预设的配准条件。当判断所述配准设备的位置是否符合所述的预设配准条件时，根据所述施术对象的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场进行位置配准。
作为判断模块的可选实施方式，所述预设配准条件为：当所述配准设备的可识别部位和标记部位处于稳定状态；和/或，当所述配准设备的可识别部位处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配。所述预设运动参数可以是参数数值，也可以是一定的数值范围。
也就是说，判断所述配准设备的位置是否符合配准条件时，可以通过以下方式来确定：
(1)当所述配准设备的可识别部位和标记部位处于稳定状态；
(2)当所述配准设备的可识别部位处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配；
(3)当(1)和(2)同时满足。
当出现上述三种情况之一时，即认为配准设备的位置符合配准条件，可以执行位置配准操作。当配准设备的位置不符合上述配准条件时，则不执行配准操作。具体地，当配准设备地位置符合第(1)种情况时，可以认为配准设备已经处于稳定状态，可以开始执行配准；当配准设备的位置符合第(2)种情况时，可以认为配准设备的识别部位相对于对象体表处于稳定状态，可以开始执行配准。这样可以使得在指定采集位置与施术对象生理运动同步运动的情况下，完成特定空间点的记录。也就是说，本发明的空间位置配准系统可以消除操作对象体表特定运动所带来的影响。
作为判断模块的可选实施方式，所述预设运动参数为与人体呼吸或心跳导致的身体运动相应的运动参数。作为判断模块的可选实施方式，所述运动参数包括运动频率、运动幅度、运动速度和运动轨迹中的至少一种。例如，施术对象身体随呼吸、移动、抖动、心跳等引起的指定采集位置的运动幅度、运动速度，和/或运动轨迹等。所述运动参数可提前提供，也可现场采集。现场采集可采用现有技术中已有的方式进行。
作为判断模块的可选实施方式，所述判断模块还包括计算模块，所述计算模块用于进行以下计算：
获取一段时间内所述配准设备的所述可识别部位和所述标记部位在各时刻的坐标，并
计算该时间段内，所述配准设备的可识别部位的平均坐标；
计算该时间段内，所述配准设备的标记部位的平均坐标；
计算该时间段内，所述配准设备的所述可识别部位的各时刻的坐标相对所述可识别部位的平均坐标的距离；
计算该时间段内，所述配准设备的所述标记部位的各时刻的坐标相对所述标记部位的平均坐标的距离；
计算该时间段内，所述配准设备的所述标记部位的各时刻的移动速度。
根据本发明的一个实施方式，所述计算模块具体执行以下计算：
D1i＝AiO1 <公式1>
D2i＝BiO2 <公式2>
V2i＝BiBi-1/Δt <公式3>
公式1中，
D1i为Δt时间段内，所述配准设备的可识别部位任意一点相对其几何平均位置的距离；
Ai为Δt时间段内，所述配准设备的可识别部位的位置坐标，Ai的位置坐标以(X1i,Y1i,Z1i)来表示；
O1为Δt时间段内，所述配准设备的可识别部位的位置坐标的几何平均坐标，O1的位置坐标以来表示；
类似的，公式2中，
D2i为Δt时间段内，所述配准设备的标记部位任意一点相对其几何平均位置的距离；
Bi为Δt时间段内，所述配准设备的标记部位的位置坐标，Bi的位置坐标以(X2i,Y2i,Z2i)来表示；
O2为Δt时间段内，所述配准设备的标记部位的位置坐标的几何平均坐标，O2的位置坐标以来表示；
公式3中，
V2i为Δt时间段内，所述配准设备的标记部位的移动速度；
所述坐标位置可以以世界坐标或空间坐标予以表征。
根据本发明的又一个实施方式，所述计算过程如下：
获取Δt时间段内所述配准设备可识别部位A(X1,Y1,Z1)所有位置坐标，记为A1(X11,Y11,Z11)…Ai(X1i,Y1i,Z1i)，计算几何平均坐标，记为
获取同一段时间内所述配准设备标记部位B(X2,Y2,Z2)的全部位置坐标，记为B1(X21,Y21,Z21)…Bi(X2i,Y2i,Z2i)，计算几何平均坐标，记为
计算Δt时间段内，所述配准设备的可识别部位任意一点相对其几何平均位置的距离，计算公式如下：
D1i＝AiO1 <公式1>，
计算同样时间段内，所述配准设备的标记部位任意一点相对其几何平均位置的距离，计算公式如下：
D2i＝BiO2 <公式2>；
计算同样时间段内所述配准设备的标记部位的移动速度，计算公式如下：
V2i＝BiBi-1/Δt <公式3>；
其中，所述坐标位置以世界坐标或空间坐标予以表征。
作为判断模块的可选实施方式，当所有D1i均小于或等于第一预设阈值时，判定所述配准设备的可识别部位处于稳定状态。优选的，所述第一预设值为1-3mm；更优选地，所述第一预设值为2mm。
当所有D2i均小于或等于第二预设阈值时，判定所述配准设备的标记部位处于稳定状态。优选的，所述第二预设值为1-3mm；更优选地，所述第二预设值为2mm。
当所述配准设备的标记部位B在Δt时间段内，出现最大运动速度时刻前的后，均出现了小于或等于第三预设值的速度时，判定所述配准设备的标记部位的运动参数和预设运动参数相匹配。优选的，所述第三预设值为1-3mm/s；更优选地，所述第三预设值为2mm/s。
根据本发明的一个实施例，当所有D1i均小于2mm，且当所有D2i均小于2mm时，系统开始执行配准操作。
根据本发明的另一个实施例，当所有D2i均小于2mm，当所述配准设备的标记部位B在Δt时间段内，出现最大运动速度时刻的前后，均出现了小于2mm/s的速度时，系统开始执行配准操作。
若Δt时间段内，出现任一D2i大于第二预设阈值，或出现最大运动速度时刻的前后，没有同时出现小于第三预设值的速度，则系统不执行配准操作。
当运动参数为运动幅度时，参见图4。图4中，横轴表示时间，纵轴表示配准设备标记部位空间位置的运动幅度。从图中可以看出，在T1时刻，标记部位的空间位置到达了最高位置；在T2时刻，标记部位的空间位置到达了最低位置；在T3时刻，标记部位的空间位置再次到达了最高位置。此时，将采集的该运动幅度曲线与实时采集的或预先存储的预设位置点随呼吸而出现的运动幅度曲线相比较，如果两者相匹配，则认为在T1至T3时间段内，配准设备的标记部位相对于体表处于稳定状态，可以执行配准操作。
运动参数为运动速度时，参见图5。从图中可以看到，在T1、T2时刻，标记部位运动速度趋近于零，在T4时刻附近，运动速度达到了最大值。也就是说，达到运动最大值的T4时刻之前和之后，分别出现了运动速度趋近于零的时刻，此时即可判定配准设备的标记部位相对于体表处于稳定状态，可以执行配准操作。
进一步地，本发明还可以包括记录模块，所述记录模块用于获取指定位置点的判断结果，当判断结果为所述配准设备的位置符合配准条件时，记录当前指定位置点的坐标信息。若记录过程中出现了超出任一阈值的移动，则停止记录。优选地，所述指定位置的数量为2个或多个。具体地，本发明中的记录模块可以用于连续记录一段时间内的多个指定位置点的坐标信息。
具体地，当所述配准设备的可识别部位和标记部位的位置处于稳定状态时，记录各时刻所述配准设备的标记部位的平均坐标。根据本发明的一个实施例，当配准设备的可识别部位的D1i小于第一预设阈值，如2mm，并且标记部位的D2i小于第二预设阈值，如2mm时，此时可以认为配准设备已处于稳定状态，记录此时配准设备标记部位的几何平均坐标
根据本发明的另一种实施方式，当所述配准设备的可识别部位的位置处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配时，记录所述可识别部位在设定时刻的坐标的平均值，所述设定时刻为运动参数周期中运动参数最小的时刻。例如，当配准设备的可识别部位的D1i小于第一预设阈值，如2mm，且所述配准设备的标记部位的运动参数和人体心跳运动参数相匹配时，记录可识别部位在设定时刻的坐标的平均值，设定时刻为人体心跳周期中心跳幅度最小的时刻。进一步地，心跳周期的数量可以为2个或2个以上。根据本发明的一个实施例，记录过程具体如下：获取n个运动参数周期中，所述配准设备标记部位B(X2,Y2,Z2)在每个运动周期中运动参数最小值时刻所对应的位置坐标B’1(X21,Y21,Z21)…B’n(X2n,Y2n,Z2n)，计算其几何平均位置坐标，记为记录所述若记录过程中出现了超出任一阈值的移动，则停止记录，重新开始判断阶段。
可选地，本发明实施例中所述的一种用于手术导航的交互配准系统,还包括提示模块，用于引导操作者进行特定的操作。
可选地，本发明的提示模块，用于显示提示信息提示所述操作者做出指定行为以符合所述预设的配准条件；所述提示信息具体包括：指导所述操作者将配准设备移动至指定位置，或引导所述操作者使其自身相对施术对象按照指定位置关系移动，或指导所述操作者支配所述配准设备在指定时间内保持指定状态，或引导所述操作者使其自身相对施术对象保持指定位置关系。
作为提示模块的可选实施方式，提示模块还包括确定模块和显示模块。确定模块用于确定配准的具体阶段；显示模块用于显示导航阶段和具体的引导信息，不同的配准阶段显示不同的引导信息。例如，当配准的具体阶段为位置配准阶段时，显示模块至少显示指导所述操作者将配准设备移动至指定位置，或引导所述操作者使其自身相对施术对象按照指定位置关系移动的信息；当配准的具体阶段为位置记录阶段时，显示模块至少显示指导所述操作者将配准设备保持指定状态，或引导所述操作者使其自身相对施术对象保持指定位置关系的信息。如此，本发明所述用于手术导航的交互配准系统，可以实现根据配准的具体阶段的不同而进行差异化提醒的功能，进而提高配准过程的效率和准确性。
作为提示模块的可选实施方式，所述指导所述操作者支配所述配准设备在指定时间内保持指定状态时，显示用于表征时间进度的动态图案。例如，沙漏、进度条、画圈等。
作为提示模块的可选实施方式，所述引导所述操作者进行特定操作的提示通过文字、箭头、语音、颜色、图案、动画、节奏音中的一种或多种形式予以实现。优选的，提示形式包括文字、箭头、颜色、图案、动画中的一种或多种。更优选地，当配准的具体阶段为位置配准阶段时，提示形式为箭头或文字；当配准的具体阶段为位置记录阶段时，提示形式为动画或文字。优选地，本发明的提示方式可以由操作者自行设定。这样做的好处是可以加深操作者的记忆，增强系统个性化的程度。
根据本发明的一个实施例，当配准的具体阶段为位置配准阶段时，显示模块中显示文字“当前为配准阶段，请移动配准设备至指定位置”，并配以方向箭头；当配准的具体阶段为位置记录阶段时，显示模块中显示文字“已进入记录阶段，请保持目前动作”，并配以画圈、沙漏，或进度条的动画。
根据本发明的另一个实施例，当配准的具体阶段为位置配准阶段时，选取特定的颜色表示当前为配准阶段，并在显示模块中显示文字“请移动配准设备至指定位置”，并配以方向箭头；当配准的具体阶段为位置记录阶段时，选取特定的颜色表示当前为配准阶段，在显示模块中显示文字“请保持目前动作”，并配以画圈、沙漏，或进度条的动画。
作为提示模块的可选实施方式，若所述配准设备在指定时间内保持指定状态失败，所述提示模块提示所述操作者重新保持指定状态并重新开始计算指定时间。这样是为了防止配准过程中出现异常抖动而引起配准数据出现误差。例如，操作者有可能在系统提示“请保持目前动作”的指定时间内打喷嚏、咳嗽或其他异常动作，施术对象也可能出现身体抽动、位置突然变化等异常移动，这些情况都可能导致配准设备在指定时间内保持指定状态失败，此时需要中断正在进行的配准过程，开始新一轮的位置计算和配准。
本发明中，所述保持指定状态是为了完成配准过程。根据本发明的一个实施例，当系统提示模块显示指导所述操作者支配所述配准设备在指定时间内保持指定状态的提示信息时，系统正在执行位置配准过程。根据本发明的又一个实施例，当系统提示模块显示指导所述操作者支配所述配准设备在指定时间内保持指定状态的提示信息时，系统正在执行记录过程。
对于配准设备在指定时间内保持指定状态失败的判断可采取与记录过程类似的判断方式。例如，在配准过程中，配准设备若出现超出任一阈值的移动，则停止当前位置配准和时间计算，然后重新开始新的配准和时间计算。具体地，当配准过程中出现因操作者咳嗽而引起的异常动作时，判断配准设备的可识别部位和标记部位是否出现了超出任一阈值的移动，若判断结果为是，则停止当前位置配准和时间计算，如有记录过程则一并停止，重新执行计算配准设备的位置坐标和配准条件的判断。
图6表示本发明的第二方面，一种用于手术导航的交互配准方法，包括：
S601:获取施术对象的术前医学影像，并根据所述术前医学影像获得所述施术对象的解剖结构模型；
S602:获取手术现场的现场图像；
S603:根据所述现场图像识别手术现场中配准设备的位置；
S604:根据所述配准设备的位置状态判断当前是否符合预设的配准条件；当符合所述预设的配准条件时，根据所述施术对象的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场进行位置配准。
本发明实施例中的技术方案，可以自动识别手术场景图像中所包含的配准设备，根据施术对象的解剖结构模型以及现场图像，将解剖结构模型与手术现场的相应解剖结构进行位置配准。本发明可以使得操作者在全程无需其他操作或指令，如操作键盘、鼠标、语音口令、手势等情况下，全程自动完成一个或多个空间点的配准。
操作者可以通过佩戴头戴式设备的摄像头来拍摄手术场景以采集手术场景图像，参见图3，图3中是操作者1根据通过佩戴头戴式设备2的摄像头拍摄到方框区域3的手术场景图像。
本发明步骤S603识别步骤根据所述现场图像识别手术现场中配准设备的位置。作为步骤S603的可选实施方式，所述配准设备至少包括可识别部位和标记部位。可识别部位具有特定的光学特征、图案特征和几何特征中的至少一种，以使得拍摄标识物所得到的图像具有特定的图像特征，例如，所述图案信息为二维码。所述标记部位可用于触碰/点击指定位置，所述指定位置可以为施术对象身体上预先确定好的点，这些点的空间坐标已提前配置在交互配准系统中。优选地，所述指定位置的数量为2个或多个。
作为步骤S603的可选实施方式，本发明实施例中的识别模块可以利用现有的图像识别算法进行图像识别，例如斑点检测算法、角点检测算法等。具体的，可根据标识物的形式选择相应合适的算法，例如标识物是设置在手术台或手术器械上的二维码时，可直接采用相应的二维码识别算法。
所述配准设备的可识别部位和标记部位的相对坐标关系可以通过数据库中相关联的结构信息计算获得。如此，可以通过配准设备上的光学特征来获得所述标记部位的空间坐标。可识别部位的空间坐标及标记部位的空间坐标可以通过坐标变换转换至世界坐标系。
作为步骤S603的可选实施方式，配准设备优先选用与手术器械一致的设备，更优选为集配准功能与手术实施功能一体的医疗器械，这样可以减少因器械更换带来的数据误差。例如，配准设备可以为穿刺针，可识别部位为设置在穿刺针上的光学特征，例如：二维码；标记部位可以为穿刺针的针尖。如此，配准设备即可满足重复灭菌或一次性无菌使用这两个条件之一。
步骤S604：判断所述配准设备的位置是否符合预设的配准条件，当所述配准设备的位置符合配准条件时，根据所述施术对象的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场进行位置配准。
作为步骤S604的可选实施方式，所述预设配准条件为：
当所述配准设备的可识别部位和标记部位处于稳定状态；和/或，当所述配准设备的可识别部位处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配。所述预设运动参数可以是参数数值，也可以是一定的数值范围。
也就是说，判断所述配准设备的位置是否符合配准条件时，可以通过以下方式来确定：
(1)当所述配准设备的可识别部位和标记部位处于稳定状态；
(2)当所述配准设备的可识别部位处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配；
(3)当(1)和(2)同时满足。
当出现上述三种情况之一时，即认为配准设备的位置符合配准条件，可以执行位置配准操作。当配准设备的位置不符合上述配准条件时，则不执行配准操作。具体地，当配准设备地位置符合第(1)种情况时，可以认为配准设备已经处于稳定状态，可以开始执行配准；当配准设备的位置符合第(2)种情况时，可以认为配准设备的识别部位相对于对象体表处于稳定状态，可以开始执行配准。这样可以使得在指定采集位置与施术对象生理运动同步运动的情况下，完成特定空间点的记录。也就是说，本发明的空间位置配准系统可以消除操作对象体表特定运动所带来的影响。
作为步骤S604的可选实施方式，所述预设运动参数为与人体呼吸或心跳导致的身体运动相应的运动参数。作为步骤S604的可选实施方式，所述运动参数包括运动频率、运动幅度、运动速度、和运动轨迹中的至少一种。例如，施术对象身体随呼吸、移动、抖动、心跳等引起的指定采集位置的运动幅度、运动速度，和/或运动轨迹等。所述运动参数可提前提供，也可现场采集。现场采集可采用现有技术中已有的方式进行。
作为步骤S704的可选实施方式，还包括以下计算步骤：
获取一段时间内所述配准设备的所述可识别部位和所述标记部位在各时刻的坐标，并
计算该时间段内，所述配准设备的可识别部位的平均坐标；
计算该时间段内，所述配准设备的标记部位的平均坐标；
计算该时间段内，所述配准设备的所述可识别部位的各时刻的坐标相对所述可识别部位的平均坐标的距离；
计算该时间段内，所述配准设备的所述标记部位的各时刻的坐标相对所述标记部位的平均坐标的距离；
计算该时间段内，所述配准设备的所述标记部位的各时刻的移动速度。
所述坐标位置可以以世界坐标或空间坐标的形式予以表征。
根据本发明的一种实施方式，计算步骤具体过程如下：
D1i＝AiO1 <公式1>
D2i＝BiO2 <公式2>
V2i＝BiBi-1/Δt <公式3>
公式1中，
D1i为Δt时间段内，所述配准设备的可识别部位任意一点相对其几何平均位置的距离；
Ai为Δt时间段内，所述配准设备的可识别部位的位置坐标，Ai的位置坐标以(X1i,Y1i,Z1i)来表示；
O1为Δt时间段内，所述配准设备的可识别部位的位置坐标的几何平均坐标，O1的位置坐标以来表示；
类似的，公式2中，
D2i为Δt时间段内，所述配准设备的标记部位任意一点相对其几何平均位置的距离；
Bi为Δt时间段内，所述配准设备的标记部位的位置坐标，Bi的位置坐标以(X2i,Y2i,Z2i)来表示；
O2为Δt时间段内，所述配准设备的标记部位的位置坐标的几何平均坐标，O2的位置坐标以来表示；
公式3中，
V2i为Δt时间段内，所述配准设备的标记部位的移动速度；
所述坐标位置以世界坐标或空间坐标予以表征。
根据本发明的一个具体实施例，具体计算过程如下：
获取Δt时间段内所述配准设备可识别部位A(X1,Y1,Z1)所有位置坐标，记为A1(X11,Y11,Z11)…Ai(X1i,Y1i,Z1i)，计算Δt时间段内所有位置坐标几何平均坐标，记为
获取同一段时间内所述配准设备标记部位B(X2,Y2,Z2)的全部位置坐标，记为B1(X21,Y21,Z21)…Bi(X2i,Y2i,Z2i)，计算Δt时间段内所有位置坐标几何平均坐标，记为
计算Δt时间段内，所述配准设备的可识别部位任意一点相对其几何平均位置的距离，计算公式如下：
D1i＝AiO1 <公式1>，
计算同样时间段内，所述配准设备的标记部位任意一点相对其几何平均位置的距离，计算公式如下：
D2i＝BiO2 <公式2>；
计算同样时间段内所述配准设备的标记部位的移动速度，计算公式如下：
V2i＝BiBi-1/Δt <公式3>；
所述坐标位置以世界坐标或空间坐标予以表征。
作为步骤S604的可选实施方式，当所有D1i均小于或等于第一预设阈值时，判定所述配准设备的可识别部位处于稳定状态。优选的，所述第一预设值为1-3mm；更优选地，所述第一预设值为2mm。
当所有D2i均小于或等于第二预设阈值时，判定所述配准设备的标记部位处于稳定状态。优选的，所述第二预设值为1-3mm；更优选地，所述第二预设值为2mm。
当所述配准设备的标记部位B在Δt时间段内，出现最大运动速度时刻前的后，均出现了小于或等于第三预设值的速度时，判定所述配准设备的标记部位的运动参数和预设运动参数相匹配。优选的，所述第三预设值为1-3mm/s；更优选地，所述第三预设值为2mm/s。
根据本发明的一个实施例，当所有D1i均小于2mm，且当所有D2i均小于2mm时，系统开始执行配准操作。
根据本发明的另一个实施例，当所有D2i均小于2mm，当所述配准设备的标记部位B在Δt时间段内，出现最大运动速度时刻的前后，均出现了小于2mm/s的速度时，系统开始执行配准操作。
若Δt时间段内，出现任一D2i大于第二预设阈值，或出现最大运动速度时刻的前后，没有同时出现小于第三预设值的速度，则系统不执行配准操作。
当运动参数为运动幅度时，参见图4。图4中，横轴表示时间，纵轴表示配准设备标记部位空间位置的运动幅度。从图中可以看出在T1时刻，标记部位的空间位置到达了最高位置；在T2时刻，标记部位的空间位置到达了最低位置，在T3时刻，标记部位的空间位置再次到达了最高位置。此时，将采集的该运动幅度曲线与实时采集的或预先存储的预设位置点随呼吸而出现的运动幅度曲线相比较，如果两者相匹配，则认为在T1至T3时间段内，配准设备的标记部位相对于体表处于稳定状态，可以执行配准操作。
运动参数为运动速度时，参见图5。从图中可以看到，在T1、T2时刻，标记部位运动速度趋近于零，在T4时刻附近，运动速度达到了最大值。也就是说，达到运动最大值的T4时刻之前和之后，分别出现了运动速度趋近于零的时刻，此时即可判定配准设备的标记部位相对于体表处于稳定状态，可以执行配准操作。
作为步骤S604的可选实施方式，本发明还可以包括如下记录步骤：获取指定位置点的判断结果，当判断结果为所述配准设备的位置符合配准条件时，记录当前指定位置点的坐标信息。若记录过程中出现了超出任一阈值的移动，则停止记录。优选地，所述指定位置的数量为2个或多个。具体地，本发明中的记录模块可以用于连续记录一段时间内的多个指定位置点的坐标信息。
具体地，当所述配准设备的可识别部位和标记部位的位置处于稳定状态时，记录各时刻所述配准设备的标记部位的平均坐标。根据本发明的一个实施例，当配准设备的可识别部位的D1i小于第一预设阈值，如2mm，并且标记部位的D2i小于第二预设阈值，如2mm时，此时可以认为配准设备已处于稳定状态，记录此时配准设备标记部位的几何平均坐标/>
根据本发明的另一种实施方式，当所述配准设备的可识别部位的位置处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配时，记录所述可识别部位在设定时刻的坐标的平均值，所述设定时刻为运动参数周期中运动参数最小的时刻。例如，当配准设备的可识别部位的D1i小于第一预设阈值，如2mm，且所述配准设备的标记部位的运动参数和人体心跳运动参数相匹配时，记录可识别部位在设定时刻的坐标的平均值，设定时刻为人体心跳周期中心跳幅度最小的时刻。进一步地，心跳周期的数量可以为2个或2个以上。根据本发明的一个实施例，记录过程具体如下：获取n个运动参数周期中，所述配准设备标记部位B(X2,Y2,Z2)在每个运动周期中运动参数最小值时刻所对应的位置坐标B’1(X21,Y21,Z21)…B’n(X2n,Y2n,Z2n)，计算其几何平均位置坐标，记为记录所述若记录过程中出现了超出任一阈值的移动，则停止记录，重新开始判断阶段。
可选地，本发明还包括S605提示步骤，用于引导操作者进行特定的操作。可选地，本发明的提示模块，用于显示提示信息提示所述操作者做出指定行为以符合所述预设的配准条件；所述提示信息具体包括：指导所述操作者将配准设备移动至指定位置，或引导所述操作者使其自身相对施术对象按照指定位置关系移动，或指导所述操作者支配所述配准设备在指定时间内保持指定状态，或引导所述操作者使其自身相对施术对象保持指定位置关系。
作为步骤S605的可选实施方式，提示步骤还包括确定步骤和显示步骤。确定步骤用于确定配准的具体阶段；显示步骤用于显示导航阶段和具体的引导信息，不同的配准阶段显示不同的引导信息。例如，当配准的具体阶段为位置配准阶段时，显示步骤至少显示指导所述操作者将配准设备移动至指定位置，或引导所述操作者使其自身相对施术对象按照指定位置关系移动的信息；当配准的具体阶段为位置记录阶段时，显示步骤至少显示指导所述操作者将配准设备保持指定状态，或引导所述操作者使其自身相对施术对象保持指定位置关系的信息。如此，本发明所述用于手术导航的交互配准系统，可以实现根据配准的具体阶段的不同而进行差异化提醒的功能，进而提高配准过程的效率和准确性。
所述指导所述操作者支配所述配准设备在指定时间内保持指定状态时，显示用于表征时间进度的动态图案。例如，沙漏、进度条、画圈等。
作为步骤S605的可选实施方式，所述引导所述操作者进行特定的操作包括：
在增强现实设备内使用文字、箭头、语音、颜色、图案、动画、节奏音的一种或多种形式进行提示。优选的，提示形式包括文字、箭头、颜色、图案、动画中的一种或多种。更优选地，当配准的具体阶段为位置配准阶段时，提示形式为箭头或文字；当配准的具体阶段为位置记录阶段时，提示形式为动画或文字。优选地，本发明的提示方式可以由操作者自行设定。这样做的好处是可以加深操作者的记忆，增强系统个性化的程度。
根据本发明的一个实施例，当配准的具体阶段为位置配准阶段时，显示模块中显示文字“当前为配准阶段，请移动配准设备至指定位置”，并配以方向箭头；当配准的具体阶段为位置记录阶段时，显示模块中显示文字“已进入记录阶段，请保持目前动作”，并配以画圈、沙漏，或进度条的动画。
根据本发明的另一个实施例，当配准的具体阶段为位置配准阶段时，选取特定的颜色表示当前为配准阶段，并在显示模块中显示文字“请移动配准设备至指定位置”，并配以方向箭头；当配准的具体阶段为位置记录阶段时，选取特定的颜色表示当前为配准阶段，在显示模块中显示文字“请保持目前动作”，并配以画圈、沙漏，或进度条的动画。
作为步骤S605的可选实施方式，若所述配准设备在指定时间内保持指定状态失败，则提示所述操作者重新保持指定状态并重新开始计算指定时间。这样是为了防止配准过程中出现异常抖动而引起配准数据出现误差。例如，操作者有可能在系统提示“请保持目前动作”的指定时间内打喷嚏、咳嗽或其他异常动作，施术对象也可能出现身体抽动、位置突然变化等异常移动，这些情况都可能导致配准设备在指定时间内保持指定状态失败，此时需要中断正在进行的配准过程，开始新一轮的位置计算和配准。
本发明中，所述保持指定状态是为了完成配准过程。根据本发明的一个实施例，当系统显示指导所述操作者支配所述配准设备在指定时间内保持指定状态的提示信息时，系统正在执行位置配准过程。根据本发明的又一个实施例，当系统提示模块显示指导所述操作者支配所述配准设备在指定时间内保持指定状态的提示信息时，系统正在执行记录过程。
对于配准设备在指定时间内保持指定状态失败的判断可采取与记录过程类似的判断方式。例如，在配准过程中，配准设备若出现超出任一阈值的移动，则停止当前位置配准和时间计算，然后重新开始新的配准和时间计算。具体地，当配准过程中出现因操作者咳嗽而引起的异常动作时，判断配准设备的可识别部位和标记部位是否出现了超出任一阈值的移动，若判断结果为是，则停止当前位置配准和时间计算，如有记录过程则一并停止，重新执行计算配准设备的位置坐标和配准条件的判断。
参见图7，一种电子设备700，包括存储器701和处理器702，存储器701用于存储计算机指令，计算机指令被处理器702执行以实现本申请实施例中任一的信息交互方法。
本申请还提供了一种可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例中任一的信息交互方法。
图8为适于用来实现本申请一实施方式的方法的计算机系统的结构示意图。
参见图8，计算机系统包括处理单元801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行上述附图所示的实施方式中的各种处理。在RAM803中，还存储有系统操作所需的各种程序和数据。处理单元801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器8010也根据需要连接至I/O接口805。可拆卸介质8011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器8010上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。其中，处理单元801可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本申请的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，计算机程序包含用于执行附图中的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质8011被安装。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
Claims (13)
1.一种用于手术导航的交互配准系统，其特征在于，该系统包括：医学影像获取模块、现场图像获取模块、识别模块、判断模块；其中，
所述医学影像获取模块，用于获取施术对象的术前医学影像，并根据所述术前医学影像获得所述施术对象的解剖结构模型；
所述现场图像获取模块，用于获取手术现场的现场图像；
所述识别模块，用于根据所述现场图像识别手术现场中配准设备的位置；所述判断模块，用于根据所述配准设备的位置状态判断当前是否符合预设的配准条件；当符合所述预设的配准条件时，根据所述施术对象的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场进行位置配准；其中，
所述配准设备至少包括可识别部位和标记部位；所述预设的配准条件为：
当所述配准设备的可识别部位和标记部位处于稳定状态；或，
当所述配准设备的可识别部位处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配。
2.根据权利要求1所述的一种用于手术导航的交互配准系统,其特征在于，所述预设运动参数为与人体呼吸或心跳导致的身体运动相应的运动参数。
3.根据权利要求1所述的一种用于手术导航的交互配准系统,其特征在于，所述运动参数包括运动频率、运动幅度、运动速度和运动轨迹中的至少一种。
4.根据权利要求1所述的一种用于手术导航的交互配准系统,其特征在于，所述判断模块还包括计算模块，所述计算模块用于进行以下计算：
获取一段时间内所述配准设备的所述可识别部位和所述标记部位在各时刻的坐标，并
计算该时间段内，所述配准设备的可识别部位的平均坐标；
计算该时间段内，所述配准设备的标记部位的平均坐标；
计算该时间段内，所述配准设备的所述可识别部位的各时刻的坐标相对所述可识别部位的平均坐标的距离；
计算该时间段内，所述配准设备的所述标记部位的各时刻的坐标相对所述标记部位的平均坐标的距离；
计算该时间段内，所述配准设备的所述标记部位的各时刻的移动速度。
5.根据权利要求4所述的一种用于手术导航的交互配准系统,其特征在于，
当所述配准设备的可识别部位任意一点相对其几何平均位置的距离均小于或等于第一预设阈值时，判定所述配准设备的可识别部位处于稳定状态；
当所述配准设备的标记部位任意一点相对其几何平均位置的距离；均小于或等于第二预设阈值时，判定所述配准设备的标记部位处于稳定状态；
当所述配准设备的标记部位在该时间段内，出现最大运动速度时刻前后，均出现了小于或等于第三预设值的速度时，判定所述配准设备的标记部位的运动参数和预设运动参数相匹配。
6.根据权利要求1所述的一种用于手术导航的交互配准系统,其特征在于，所述判断模块还包括记录模块，所述记录模块具体用于：
当所述配准设备的可识别部位和标记部位的位置处于稳定状态时，记录各时刻所述配准设备的标记部位的平均坐标；
当所述配准设备的可识别部位的位置处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配时，记录所述可识别部位在设定时刻的坐标的平均值，所述设定时刻为运动参数周期中运动参数最小的时刻。
7.根据权利要求1所述的一种用于手术导航的交互配准系统,其特征在于，还包括提示模块，用于引导操作者进行特定的操作。
8.根据权利要求7所述的一种用于手术导航的交互配准系统,其特征在于，所述提示模块用于显示提示信息提示所述操作者做出指定行为以符合所述预设的配准条件；所述提示信息具体包括：
指导所述操作者将配准设备移动至指定位置；或
指导所述操作者支配所述配准设备在指定时间内保持指定状态。
9.根据权利要求8所述的一种用于手术导航的交互配准系统,其特征在于，所述指导所述操作者支配所述配准设备在指定时间内保持指定状态时，显示用于表征时间进度的动态图案。
10.根据权利要求9所述的一种用于手术导航的交互配准系统,其特征在于，若所述配准设备在指定时间内保持指定状态失败，所述提示模块提示所述操作者重新保持指定状态并重新开始计算指定时间。
11.一种用于手术导航的交互配准方法，其特征在于，包括：
获取施术对象的术前医学影像，并根据所述术前医学影像获得所述施术对象的解剖结构模型；
获取手术现场的现场图像；
根据所述现场图像识别手术现场中配准设备的位置；
根据所述配准设备的位置状态判断当前是否符合预设的配准条件，当所述配准设备的位置符合所述预设的配准条件时，根据所述施术对象的解剖结构模型以及所述现场图像，将所述解剖结构模型与所述手术现场进行位置配准；其中，
所述预设的配准条件为：
当所述配准设备的可识别部位和标记部位处于稳定状态；或，
当所述配准设备的可识别部位处于稳定状态，且所述配准设备的标记部位的运动参数和预设运动参数相匹配。
12.一种电子设备，其包括存储器和处理器；其中，所述存储器用于存储可执行程序代码；所述处理器用于读取所述存储器中存储的可执行程序代码以执行根据权利要求11所述的方法。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求11所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110358149.7A CN113133828B (zh) | 2021-04-01 | 2021-04-01 | 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质 |
| PCT/CN2022/081727 WO2022206434A1 (zh) | 2021-04-01 | 2022-03-18 | 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110358149.7A CN113133828B (zh) | 2021-04-01 | 2021-04-01 | 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113133828A CN113133828A (zh) | 2021-07-20 |
| CN113133828B true CN113133828B (zh) | 2023-12-01 |
Family
ID=76810384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110358149.7A Active CN113133828B (zh) | 2021-04-01 | 2021-04-01 | 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113133828B (zh) |
| WO (1) | WO2022206434A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113133828B (zh) * | 2021-04-01 | 2023-12-01 | 上海复拓知达医疗科技有限公司 | 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102949240A (zh) * | 2011-08-26 | 2013-03-06 | 高欣 | 一种影像导航肺部介入手术系统 |
| CN103040525A (zh) * | 2012-12-27 | 2013-04-17 | 深圳先进技术研究院 | 一种多模医学影像手术导航方法及系统 |
| WO2017030913A2 (en) * | 2015-08-14 | 2017-02-23 | Intuitive Surgical Operations, Inc. | Systems and methods of registration for image-guided surgery |
| WO2017098505A1 (en) * | 2015-12-07 | 2017-06-15 | M.S.T. Medical Surgery Technologies Ltd. | Autonomic system for determining critical points during laparoscopic surgery |
| CN107049489A (zh) * | 2017-03-29 | 2017-08-18 | 中国科学院苏州生物医学工程技术研究所 | 一种手术导航方法及系统 |
| CN109741284A (zh) * | 2018-01-27 | 2019-05-10 | 上海联影医疗科技有限公司 | 用于校正pet成像中由呼吸运动引起的失配的系统和方法 |
| CN110772320A (zh) * | 2018-07-30 | 2020-02-11 | 上海术凯机器人有限公司 | 一种配准方法、配准装置及计算机可读存储介质 |
| CN111388092A (zh) * | 2020-03-17 | 2020-07-10 | 京东方科技集团股份有限公司 | 一种定位跟踪件、配准方法、存储介质及电子设备 |
| CN111772792A (zh) * | 2020-08-05 | 2020-10-16 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 |
| CN112006776A (zh) * | 2020-09-27 | 2020-12-01 | 安徽埃克索医疗机器人有限公司 | 一种手术导航系统及手术导航系统的配准方法 |
| CN112155727A (zh) * | 2020-08-31 | 2021-01-01 | 上海市第一人民医院 | 基于三维模型的手术导航系统、方法、设备和介质 |
| CN112155734A (zh) * | 2020-09-29 | 2021-01-01 | 苏州微创畅行机器人有限公司 | 可读存储介质、骨建模配准系统及骨科手术系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020082498A1 (en) * | 2000-10-05 | 2002-06-27 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
| JP5416900B2 (ja) * | 2007-11-22 | 2014-02-12 | 株式会社東芝 | 超音波診断装置及び穿刺支援用制御プログラム |
| KR20140136517A (ko) * | 2012-05-02 | 2014-11-28 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록 |
| US20140081659A1 (en) * | 2012-09-17 | 2014-03-20 | Depuy Orthopaedics, Inc. | Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking |
| CN104055520B (zh) * | 2014-06-11 | 2016-02-24 | 清华大学 | 人体器官运动监测方法和手术导航系统 |
| JP6612873B2 (ja) * | 2014-12-11 | 2019-11-27 | コーニンクレッカ フィリップス エヌ ヴェ | 追跡型インターベンショナルプロシージャにおける最適なキャリブレーションの自動選択 |
| GB2568426B (en) * | 2016-08-17 | 2021-12-15 | Synaptive Medical Inc | Methods and systems for registration of virtual space with real space in an augmented reality system |
| WO2018162079A1 (en) * | 2017-03-10 | 2018-09-13 | Brainlab Ag | Augmented reality pre-registration |
| US10786311B2 (en) * | 2017-12-22 | 2020-09-29 | Acclarent, Inc. | Apparatus and method for registering facial landmarks for surgical navigation system |
| CN111973273A (zh) * | 2020-08-31 | 2020-11-24 | 上海交通大学医学院附属第九人民医院 | 基于ar技术的手术导航系统、方法、设备和介质 |
| CN113133828B (zh) * | 2021-04-01 | 2023-12-01 | 上海复拓知达医疗科技有限公司 | 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质 |
-
2021
- 2021-04-01 CN CN202110358149.7A patent/CN113133828B/zh active Active
-
2022
- 2022-03-18 WO PCT/CN2022/081727 patent/WO2022206434A1/zh active Application Filing
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102949240A (zh) * | 2011-08-26 | 2013-03-06 | 高欣 | 一种影像导航肺部介入手术系统 |
| CN103040525A (zh) * | 2012-12-27 | 2013-04-17 | 深圳先进技术研究院 | 一种多模医学影像手术导航方法及系统 |
| WO2017030913A2 (en) * | 2015-08-14 | 2017-02-23 | Intuitive Surgical Operations, Inc. | Systems and methods of registration for image-guided surgery |
| WO2017098505A1 (en) * | 2015-12-07 | 2017-06-15 | M.S.T. Medical Surgery Technologies Ltd. | Autonomic system for determining critical points during laparoscopic surgery |
| CN107049489A (zh) * | 2017-03-29 | 2017-08-18 | 中国科学院苏州生物医学工程技术研究所 | 一种手术导航方法及系统 |
| CN109741284A (zh) * | 2018-01-27 | 2019-05-10 | 上海联影医疗科技有限公司 | 用于校正pet成像中由呼吸运动引起的失配的系统和方法 |
| CN110772320A (zh) * | 2018-07-30 | 2020-02-11 | 上海术凯机器人有限公司 | 一种配准方法、配准装置及计算机可读存储介质 |
| CN111388092A (zh) * | 2020-03-17 | 2020-07-10 | 京东方科技集团股份有限公司 | 一种定位跟踪件、配准方法、存储介质及电子设备 |
| CN111772792A (zh) * | 2020-08-05 | 2020-10-16 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 |
| CN112155727A (zh) * | 2020-08-31 | 2021-01-01 | 上海市第一人民医院 | 基于三维模型的手术导航系统、方法、设备和介质 |
| CN112006776A (zh) * | 2020-09-27 | 2020-12-01 | 安徽埃克索医疗机器人有限公司 | 一种手术导航系统及手术导航系统的配准方法 |
| CN112155734A (zh) * | 2020-09-29 | 2021-01-01 | 苏州微创畅行机器人有限公司 | 可读存储介质、骨建模配准系统及骨科手术系统 |
Non-Patent Citations (3)
| Title |
|---|
| 一种基于Kinect相机的腹部肝穿刺介入导航系统;肖德强等;《集成技术》;20180208(第02期);24-38 * |
| 牙种植动态导航配准方式对配准精度的影响;田田等;《国际口腔医学杂志》;20200301(第02期);78-83 * |
| 计算机辅助口腔种植手术实时导航系统的研究与实现;陈晓军等;《生物医学工程学杂志》;20080425(第02期);429-434，438 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022206434A1 (zh) | 2022-10-06 |
| CN113133828A (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102014359B1 (ko) | 수술영상 기반 카메라 위치 제공 방법 및 장치 | |
| JP6511050B2 (ja) | イメージング装置を追跡装置と位置合わせする位置合わせシステム、イメージングシステム、介入システム、位置合わせ方法、イメージングシステムの作動方法、位置合わせコンピュータプログラム、及びイメージングコンピュータプログラム | |
| CN108720924B (zh) | 基于到骨组织的视觉接近度来改善解剖图像与位置跟踪坐标系的配准 | |
| US11660142B2 (en) | Method for generating surgical simulation information and program | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| CN113133828B (zh) | 一种用于手术导航的交互配准系统、方法、电子设备和可读存储介质 | |
| CN110613519B (zh) | 动态配准定位装置及方法 | |
| CN113133829B (zh) | 一种手术导航系统、方法、电子设备和可读存储介质 | |
| KR20190080705A (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
| CN116420107A (zh) | 使用增强现实的深脑部路径规划 | |
| EP3866140A1 (en) | Systems and methods for simulated product training and/or experience | |
| CN109106448A (zh) | 一种手术导航方法和装置 | |
| JP2023504703A (ja) | 追跡システムとの画像の位置合わせ | |
| CN110478042B (zh) | 一种基于人工智能技术的介入手术导航装置 | |
| CN116650111A (zh) | 一种支气管异物清除手术的模拟和导航方法及系统 | |
| US20220370147A1 (en) | Technique of Providing User Guidance For Obtaining A Registration Between Patient Image Data And A Surgical Tracking System | |
| CN108852513A (zh) | 一种骨科手术导引系统的器械导引方法 | |
| CN116153510B (zh) | 矫正镜控制方法、装置、设备、存储介质及智能矫正镜 | |
| US20230363821A1 (en) | Virtual simulator for planning and executing robotic steering of a medical instrument | |
| CN109559585B (zh) | 一种模拟训练仿真控制系统和方法 | |
| WO2023179876A1 (en) | System configured to aid in training a patient's breathing in preparation for a radiotherapy treatment | |
| Atkins et al. | Eye monitoring applications in medicine | |
| GONZÁLEZ RUBALCAVA | Development and evaluation of a simple hologram-to-patient registration method using a head-mounted display and an external depth camera | |
| WO2022248982A1 (en) | Volumetric filter of fluoroscopic sweep video | |
| CN116634961A (zh) | 用于医疗机器人的增强现实导航系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |