CN114288523A - 柔性器械的检测方法、装置、手术系统、设备与介质 - Google Patents
柔性器械的检测方法、装置、手术系统、设备与介质 Download PDFInfo
- Publication number
- CN114288523A CN114288523A CN202111603329.3A CN202111603329A CN114288523A CN 114288523 A CN114288523 A CN 114288523A CN 202111603329 A CN202111603329 A CN 202111603329A CN 114288523 A CN114288523 A CN 114288523A
- Authority
- CN
- China
- Prior art keywords
- flexible instrument
- virtual
- shape
- sensor
- instrument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 12
- 239000013307 optical fiber Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 11
- 230000003902 lesion Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供了一种柔性器械的检测方法、装置、手术系统、设备与介质,所述方法包括:获取所述形状传感器检测得到的所述柔性器械的形状数据;获取指定传感器检测得到的所述柔性器械的指定部位的指定信息,所述指定信息至少能表征出所述指定部位的位置;基于所述指定信息与所述形状数据,确定所述柔性器械在真实生理通道中的目标位置。
Description
技术领域
本发明涉及医疗领域,尤其涉及一种柔性器械的检测方法、装置、手术系统、设备与介质。
背景技术
在医疗活动中,可将柔性器械伸入生理通道(例如气管),并沿生理通道运动至病灶区域,并在到达病灶区域后实现治疗、探测等活动。在柔性器械的运动过程中,需要对柔性器械进行定位。
现有相关技术中,可在柔性器械中配置传感器,采集传感器的运动轨迹,然后通过运动轨迹与生理通道完整的图纸进行配准,从而定位出柔性器械的位置。然而,在该过程中,难以准确、有效地采集到连续的运动轨迹,从而会导致定位准确性不佳的问题。
发明内容
本发明提供一种柔性器械的检测方法、装置、手术系统、设备与介质,以解决定位准确型不佳的问题。
根据本发明的第一方面,提供了柔性器械的检测方法,所述柔性器械位于真实生理通道,所述柔性器械设有形状传感器、以及在指定部位设有指定传感器;
所述方法包括:
获取所述形状传感器检测得到的所述柔性器械的形状数据;
获取指定传感器检测得到的所述柔性器械的指定部位的指定信息,所述指定信息至少能表征出所述指定部位的位置;
基于所述指定信息与所述形状数据,确定所述柔性器械在真实生理通道中的目标位置。
可选的,基于所述指定信息与所述形状数据,确定所述柔性器械在真实生理通道中的目标位置,包括:
基于所述指定信息,对所述形状数据进行修正,得到修正后形状数据;
基于所述修正后形状数据,确定所述柔性器械在真实生理通道中的目标位置。
可选的,所述形状传感器用于检测所述柔性器械多个部位的曲率信息,所述形状数据包括:在以所述形状传感器为基准的第一坐标系中,基于所述多个部位的曲率信息构建出的多个器械位置点的位置;所述柔性器械的形状匹配于所述多个器械位置点的分布形状;
所述指定传感器为磁传感器,所述磁传感器设于磁场发生器所产生的磁场内,所述指定信息包括:以所述磁场发生器为基准的第二坐标系中的一个或多个指定位置点的位置;
基于所述指定信息,对所述形状数据进行修正,得到修正后形状数据,包括:
将所述指定位置点和/或所述器械位置点投射到目标坐标系,得到所述器械位置点对应的第一位置点,以及所述指定位置点对应的第二位置点;所述第一位置点与所述第二位置点均在所述目标坐标系下;
在所有第一位置点中,将基于所述第二位置确定的指定范围内的第一位置点筛除,并将未被筛除的第一位置点与所述第二位置点在所述目标坐标系的位置确定为所述修正后形状数据。
可选的,基于所述修正后形状数据,确定所述柔性器械在真实生理通道中的目标位置,包括:
通过比对所述修正后形状数据与预先建立的虚拟生理通道的形状,确定所述目标位置。
可选的,通过比对所述修正后形状数据与预先建立的虚拟生理通道的形状,确定所述目标位置,包括:
确定所述虚拟生理通道中导航路径的形状;所述导航路径为:所述柔性器械进入所述真实生理通道后运动至病灶区域的路径;
通过比对所述修正后形状数据与所述导航路径的形状,在所述导航路径中匹配目标路径段,所述目标路径段的形状相同或相似于所述修正后形状数据所表征的形状;
基于所述目标路径段在所述虚拟生理通道中的位置,确定所述目标位置。
可选的,确定所述虚拟生理通道中导航路径的形状,包括:
在所述虚拟生理通道的中心线中,确定所述导航路径所覆盖的曲线段,并以所述曲线段的形状作为所述导航路径的形状。
可选的,所述的柔性器械的检测方法,还包括:
基于所述目标位置,确定用于模拟所述柔性器械的虚拟柔性器械在所述虚拟生理通道中的虚拟位置。
可选的,所述指定信息为所述指定部位的指定位姿信息;
所述检测方法,还包括:
基于所述指定位姿信息,确定所述虚拟柔性器械的特定部位在所述虚拟生理通道中的虚拟姿态,所述特定部位用于模拟所述指定部位。
可选的,所述检测方法,还包括:
利用显示设备显示所述虚拟生理通道,并将所述虚拟柔性器械显示于所述虚拟生理通道中的所述虚拟位置,将所述特定部位显示为所述虚拟姿态。
可选的,所述的柔性器械的检测方法,还包括:
在所述虚拟生理通道中规划导航路径,所述导航路径为:所述柔性器械进入所述真实生理通道后运动至病灶区域的路径;
利用显示设备显示所述虚拟生理通道时,将所述导航路径显示于所述虚拟生理通道。
可选的,所述指定部位为所述柔性器械的末端。
可选的,所述形状传感器为设于所述柔性器械的光纤传感器。
可选的,所述指定传感器为设于所述柔性器械的磁传感器。
根据本发明的第二方面,提供了一种柔性器械的检测装置,包括:
形状获取模块,用于获取所述形状传感器检测得到的所述柔性器械的形状数据;
指定获取模块,用于获取指定传感器检测得到的所述柔性器械的指定部位的指定信息,所述指定信息至少能表征出所述指定部位的位置;
位置确定模块,用于基于所述指定信息与所述形状数据,确定所述柔性器械在真实生理通道中的目标位置。
根据本发明的第三方面,提供了一种手术系统,包括柔性器械、数据处理部、形状传感器与指定传感器,
所述数据处理部用于执行第一方面及其可选方案涉及的柔性器械的检测方法。
根据本发明的第四方面,提供了一种电子设备,包括处理器与存储器,
所述存储器,用于存储代码;
所述处理器,用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的柔性器械的检测方法。
根据本发明的第五方面,提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面及其可选方案涉及的柔性器械的检测方法。
本发明提供的柔性器械的检测方法、装置、手术系统、设备与介质中,可获取柔性器械的形状数据,并以器械形状为依据而实现柔性器械的定位,由于柔性器械的形状数据可以无需连续追踪,相较于需要连续追踪从而采集运动轨迹的方案,本发明可避免因无法连续追踪而带来定位不准的问题,有助于保障定位准确性。同时,现有技术中大多仅关注柔性器械的位置,本发明则通过指定传感器的检测结果而确定了柔性器械指定部位的指定信息,从而以指定信息与形状数据为依据,可有效提高柔性器械的定位准确性,降低指定部位形状检测的误差对定位准确性的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一示例性的实施例中手术系统的构造示意图;
图2是本发明另一示例性的实施例中手术系统的构造示意图;
图3是本发明一示例性的实施例中柔性器械的检测方法的流程示意图;
图4是本发明一示例性的实施例中确定目标位置的流程示意图;
图5是本发明一示例性的实施例中确定修正后形状数据的流程示意图;
图6是本发明一示例性的实施例中通过形状比对确定目标位置的流程示意图;
图7是本发明另一示例性的实施例中柔性器械的检测方法的流程示意图;
图8是本发明一示例性的实施例中规划并显示导航路径的流程示意图;
图9是本发明一示例性的实施例中虚拟气管的显示界面示意图;
图10是本发明一示例性的实施例中柔性器械的检测装置的程序模块示意图;
图11是本发明另一示例性的实施例中柔性器械的检测装置的程序模块示意图;
图12是本发明一示例性的实施例中电子设备的构造示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
请参考图1,本发明实施例提供了一种手术系统,包括柔性器械101与数据处理部104。
其中的柔性器械101,可理解为能够实现柔性弯曲的任意器械,进一步的,该柔性器械101可以为能够伸入生理通道(例如气道)而沿生理通道运动的器械,基于该柔性器械,可用于实现治疗,也可用于实现检查。不论用于何种用途,也不论柔性器械101如何实现柔性弯曲,均不脱离本发明实施例的范围。
基于所需实现的用途不同,柔性器械101可装载相应的部件。例如,柔性器械101可以作为内窥镜(例如支气管镜),此时,柔性器械101可配置有图像采集部;再例如,柔性器械101内也可用于形成器械通道,此时,手术器械、检查器械可经器械通道而进入生理通道,完成对应的治疗、检查。此外,柔性器械101中可设有用于操控柔性器械101运动(例如弯曲、行进等)的操控部。
其中的数据处理部104可理解为能够实现数据处理的任意设备或设备的组合,其可用于执行本发明实施例提供的柔性器械的检测方法。
为便于实现本发明实施例提供的柔性器械的检测方法,本发明实施例的手术系统还包括形状传感器102与指定传感器103。
其中的形状传感器102,可理解为可用于检测柔性器械(部分或全部器械段)形状的传感器,具体的,所述形状传感器用于检测所述柔性器械多个部位的曲率信息,对应的,数据处理部(或形状传感器自身)可基于曲率信息形成形状数据,形状数据包括:在以所述形状传感器为基准的第一坐标系中,基于所述多个部位的曲率信息构建出的多个器械位置点的位置;所述柔性器械的形状匹配于所述多个器械位置点的分布形状;其中的第一坐标系,也可理解为形状传感器或数据处理部中用于描述器械点位置点的一种坐标系。
在图1所示的实施例中,形状传感器102可设于柔性器械101,进而形状传感器102可随柔性器械101而一同弯曲。在未图示的实施例中,形状传感器也可未设于柔性器械,例如,形状传感器也可以为显影检测装置,可通过显影检测装置而实现柔性器械101在体内的显影,从而基于显影结果提取出位置点和/或线条来表征器械形状。
其中的指定传感器103,可理解为用于检测所述柔性器械的指定部位的位置(或位姿)的传感器;检测而得的位置(或位姿)可例如对该指定部位的位置(或位姿)进行描述的第二坐标系下的任意数据(例如偏航角、横滚角、俯仰角等等)。
其中的指定部位,可以指柔性器械中的任意一个或多个部位;
其中的第二坐标系,可理解为指定传感器中用于描述指定部位的位置(或位姿)的一种坐标系。
在此基础上,指定部位的选择可基于柔性器械中各部位的重要程度而选择,例如可选择重要程度较高的部位,也可基于形状传感器检测器械形状时各部位形状的准确性(也可视作各部位器械位置点的准确性)而选择,例如可选择准确性相对较低的部位作为指定部位,从而弥补准确性的缺陷。
在图1所示的实施例中,指定传感器103可设于柔性器械101,例如可设于指定部位,此时,随着指定部位的位置、姿态变化,指定传感器103的位置、姿态也会对应发生变化,此时指定传感器所测得的其自身的位置、位姿,即是指定部位的位置、姿态。在未图示的实施例中,指定传感器也可未设于柔性器械。
图2所示实施例中的数据处理部204、形状传感器202、指定传感器203与柔性器械201,可参照图1所示实施例中的数据处理部104、形状传感器102、指定传感器103与柔性器械101理解,对于相同或相似的内容,在此不再赘述。
在图2所示实施例中,形状传感器202可以采用光纤传感器,指定传感器203可以采用磁场传感器,该磁场传感器可配合磁场发生器205而使用。其他举例中,指定传感器203也可采用惯性传感器等实现。
针对于光纤传感器,其中可设有光纤,进而可通过对光纤中传播的光信号解析,获取多个器械位置点,从而利用多个器械位置点描绘出光纤的弯曲形状,由于光纤传感器可随柔性器械201一同弯曲,所以,多个器械位置点也可描绘出柔性器械201的弯曲形状(即器械形状)。
其中,由于光纤传感器依赖于光的传播,进而,光传播至光纤传感器末端的距离较长,对应的,末端处(或靠近末端)的形状、器械位置点的准确性较差,所以,更需要结合指定传感器而弥补检测准确性较差的缺陷,同时,柔性器械末端可体现出柔性器械伸入生理通道的何种深度,受控操作下柔性器械的末端如何变化,所以,末端的重要程度较高;若以内窥镜为例,则末端还可体现出图像采集部所采集图像究竟是何处的,朝向于何种方向采集到的,可见,基于以上种种原因,选择柔性器械的末端作为所述指定部位的情况下,可为柔性器械的操控提供充分、有效的依据,也可弥补光纤传感器的准确性缺陷。
针对于磁场传感器,在利用磁进行定位和导航时需要利用磁场发生器205产生一定强度的磁场环境,磁场传感器203定位原理是根据磁场发生器205发射的磁场强度和方向,反馈当前磁场传感器203的所在位置和姿态。进而,第二坐标系可例如为以磁场发生器为基准的坐标系。
具体举例中,安装在柔性器械末端的磁场传感器可以获得当前柔性器械末端的位置和姿态,例如可以包括其偏航角,横滚角,俯仰角(即指定姿态信息)以及在笛卡尔坐标系(即一种第二坐标系)下的三个坐标位置(即指定位置点)。
请参考图3,本发明实施例提供了一种柔性器械的检测方法。
在一个实施例中,所述柔性器械位于真实生理通道,所述柔性器械设有形状传感器、以及在指定部位设有指定传感器。其中,可选地,真实生理通道可以是支气管等。
如图3所示,该方法包括:
S301:获取所述形状传感器检测得到的所述柔性器械的形状数据;
其中的形状传感器、形状数据,可参照图1、图2所示实施例中的相关描述理解;
S302:获取指定传感器检测得到的所述柔性器械的指定部位的指定信息;
其中的指定部位、指定信息,可参照图1、图2所示实施例中的相关描述理解;所述指定信息至少能表征出所述指定部位的位置;
S303:基于所述指定信息与所述形状数据,确定所述柔性器械在真实生理通道中的目标位置。
所述目标位置可通过视觉、听觉、触觉等感知手段而反馈给用户。例如,可以通过虚拟生理通道来模拟真实生理通道,并使用虚拟柔性器械来模拟该柔性器械,从而通过虚拟柔性器械在虚拟生理通道中的位置来向用户展示。
以上方案中,可获取柔性器械的形状数据,并以器械形状(即形状数据所表征的形状)为依据而实现柔性器械的定位,由于柔性器械的形状数据可以无需连续追踪,相较于需要连续追踪从而采集运动轨迹的方案,本发明可避免因无法连续追踪而带来定位不准的问题,有助于保障定位准确性。同时,现有技术中大多仅关注柔性器械的位置,本发明则通过指定传感器的检测结果而确定了柔性器械指定部位的指定信息,从而以指定信息与形状数据为依据,可有效提高柔性器械的定位准确性,降低指定部位形状检测的误差对定位准确性的影响。
其中一种实施方式中,请参考图4,基于所述指定信息与所述形状数据,确定所述柔性器械在真实生理通道中的目标位置的过程,可以包括:
S401:基于所述指定信息,对所述形状数据进行修正,得到修正后形状数据;
S402:基于所述修正后形状数据,确定所述柔性器械在真实生理通道中的目标位置。
步骤S402的一种举例中,可以通过比对所述修正后形状数据与预先建立的虚拟生理通道的形状,确定所述目标位置。
其中的虚拟生理通道可以是在虚拟坐标系下用于模拟真实生理通道的任意虚拟对象,具体举例中,可基于目标人体的CT数据而构建该虚拟生理通道,进而,针对不同的人体,可形成准确反映其生理通道构造的虚拟生理通道(例如虚拟气管、虚拟支气管树等),另部分举例中,虚拟生理通道也可采用标准化的虚拟生理通道;
虚拟生理通道中还可设有虚拟柔性器械;其中的虚拟柔性器械可以是在虚拟坐标系下用于模拟柔性器械的任意虚拟对象,例如可以是通过复杂建模而形成的虚拟对象,也可以是简单构件的长条形的立体形状;
其中,对形状数据的修正可理解为:由于指定信息可体现出指定部位在空间上应在何种位置,形状数据可体现出在空间中柔性器械的形状,进而,指定部位的位置会对柔性器械指定部位的形状产生一定的约束,以上步骤S401与S402中,正是利用这种约束,弥补所检测出的形状在指定部位的误差。可见,通过以上修正过程,可有助于保障修正后形状数据能更准确地描绘出柔性器械的真实形状,提高柔性器械定位的准确性。
其中一种实施方式中,所述形状传感器用于检测所述柔性器械多个部位的曲率信息,所述形状数据包括:在以所述形状传感器为基准的第一坐标系中,基于所述多个部位的曲率信息构建出的多个器械位置点的位置;所述柔性器械的形状匹配于所述多个器械位置点的分布形状;所述指定传感器为磁传感器,所述磁传感器设于磁场发生器所产生的磁场内,所述指定信息包括:以所述磁场发生器为基准的第二坐标系中的一个或多个指定位置点的位置;
对应的,请参考图5,基于所述指定信息,对所述形状数据进行修正,得到修正后形状数据的过程,可以包括:
S501:将所述指定位置点和/或所述器械位置点投射到目标坐标系,得到所述器械位置点对应的第一位置点,以及所述指定位置点对应的第二位置点;
S502:在所有第一位置点中,将基于所述第二位置确定的指定范围内的第一位置点筛除,并将未被筛除的第一位置点与所述第二位置点在所述目标坐标系的位置确定为所述修正后形状数据。
其中:
若所述目标坐标系为所述第一坐标系,则所述第一位置点为所述器械位置点,所述第二位置点为所述指定位置点投射后的位置点;
若所述目标坐标系为所述第二坐标系,则所述第一位置点为所述器械位置点投射后的位置点,所述第二位置点为所述指定位置点;
具体的,由于形状传感器与指定传感器的相对位置是已知的,可通过预先标定而得到第一坐标系与第二坐标系之间的相对位姿关系(例如转换矩阵),进而,在步骤S501中,可基于已经标定好的相对位姿关系实现相应的投射;
若所述目标坐标系为用于模拟真实生理通道的虚拟生理通道所属的虚拟坐标系,则所述第一位置点为所述器械位置点投射后的位置点,所述第二位置点为所述指定位置点投射后的位置点;该虚拟坐标系可理解为构建虚拟生理通道从而采用的坐标系;
具体的,可在柔性器械未进入真实生理通道时或进入真实生理通道之后,实现第一坐标系相对于虚拟坐标系的相对位姿关系的标定,和/或:第二坐标系相对于虚拟坐标系的相对位姿关系的标定;进而,在步骤S501中,可基于已经标定好的相对位姿关系实现相应的投射。
步骤S502中的指定范围内,可例如是以第二位置为球心的指定半径的球型空间范围内,也可例如是以第二位置为中心的长条形空间范围内,通过步骤S502,可将第二位置点附近的第一位置点替换为第二位置点,从而体现出指定传感器对指定部位的检测结果。
此外,若附近指定范围内无第一位置点,或仅存在重合于第二位置点的第一位置点,则步骤S502的实施结果可以与未实施之前类似。
一种实施方式中,若目标坐标系为虚拟坐标系,则可直接以未被筛除的第一位置点与所述第二位置点的分布形状作为修正后形状数据,从而实现其与预先建立的虚拟生理通道形状的比对,从而实现定位。另一种实施方式中,若目标坐标系不为虚拟坐标系(例如为第一坐标系或第二坐标系),则也可将未被筛除的第一位置点与所述第二位置点均投射到虚拟坐标系,以投射后的位置点的分布形状作为所述形状数据所表征的形状,从而实现其与虚拟生理通道形状的比对;其他实施方式中,即便目标坐标系不为虚拟坐标系,也可在不投射到虚拟坐标系的情况下而实现其与虚拟生理通道形状的比对。
以上方案中,未被筛除的第一位置点与所述第二位置点的分布形状可综合体现出形状传感器对柔性器械中各部位位置的检测结果,以及指定传感器对柔性器械中指定部位的位置检测结果,实现位置检测结果的整合,还可起到准确性弥补的作用,实现了不同传感器之间的互补,例如形状传感器采用光纤传感器时,柔性器械的某些部位(例如末端)的位置检测准确性欠佳,此时,指定传感器的检测结果(体现为指定位置点)可对这种欠佳的准确性进行弥补,进而,所确定的形状数据可以更准确地反应出柔性器械的形状,在此基础上,可提高柔性器械定位的准确性。
其中一种实施方式中,请参考图6,通过比对所述修正后形状数据与预先建立的虚拟生理通道的形状,确定所述目标位置,可以包括:
S601:确定所述虚拟生理通道中导航路径的形状;
S602:通过比对所述修正后形状数据与所述导航路径的形状,在所述导航路径中匹配目标路径段;
所述目标路径段的形状相同或相似于所述修正后形状数据所表征的形状;
S603:基于所述目标路径段在所述虚拟生理通道中的位置,确定所述目标位置。
步骤S601中的导航路径可以是预先在虚拟生理通道中规划好的任意路径,具体可以用于模拟所述柔性器械进入所述真实生理通道后运动至病灶区域的路径;确定其形状的过程可例如是确定其中多个路径位置点或多个路径位置点所形成的曲线段的过程;对应的,步骤S602的一种举例中,可以在多个路径位置点中多次取连续的N个路径位置点,计算所述形状数据的N位置点(例如未被筛除的第一位置点与所述第二位置点,或其投射至虚拟坐标系下的位置点)中各位置点与连续的N路径位置点中相应路径位置点之间的距离,然后基于此计算出形状最匹配(相同或最相似)的一段路径段作为目标路径段。以上仅为一种举例,本领域任意可实现点集之间、曲线之间匹配的方式,均可应用于此而作为一种可选方案。
步骤S601的一种举例中,可以包括:在所述虚拟生理通道的中心线中,确定所述导航路径所覆盖的曲线段,并以所述曲线段的形状作为所述导航路径的形状。进而,该曲线段中的位置点可理解为用于在步骤S603中进行比对的路径位置点。
步骤S603的一种举例中,可以目标路径段中一个或多个路径位置点表征所述目标位置,其他举例中,也可基于目标路径段而提取出特征位置点(或其他特征信息)而表征所述目标位置。
以上方案中,由于柔性器械通常是受控沿预先规划好的导航路径运动的,所以,通过比对所述形状数据所表征形状与所述导航路径的形状可在不影响检测结果的情况下,有效节约数据量,提高处理效率。
图7所示的实施例中的步骤S701、S702、S703相同或相似于图3所示实施例中的步骤S301、S302、S303,对于重复的内容,在此不再赘述。
在图7所示实施例中,所述指定信息为所述指定部位的指定位姿信息;
检测方法,还包括:
S704:基于所述目标位置,确定用于模拟所述柔性器械的虚拟柔性器械在所述虚拟生理通道中的虚拟位置;
其中的虚拟位置,可理解为能够对虚拟柔性器械在虚拟柔性器械中的位置进行描述的任意位置,具体可通过虚拟坐标系中虚拟柔性器械中的位置点来表征。
具体举例中,若目标位置通过虚拟生理通道中的某个或某些位置来表征,例如利用图6所示实施例中所提及的目标路径段的一个或多个路径位置点、特征位置点来表征,则:
一种举例中,该路径位置点、特征位置点可直接用以表征虚拟位置,例如,该路径位置点(或特征位置点)可以为目标路径段的两端,对应的,虚拟位置可例如通过虚拟柔性器械的两端位置来表征,那么,可直接采用目标路径段的两端位置作为虚拟柔性器械的两端位置,从而表征出虚拟位置;
另一举例中,也可结合虚拟柔性器械的长度、形状等推算出虚拟位置,例如,该路径位置点(或特征位置点)可以为目标路径段的一端,对应的,虚拟位置可例如通过虚拟柔性器械的两端位置来表征,此时,可以该路径位置点(或特征位置点)作为虚拟柔性器械的一端,再基于虚拟柔性器械的长度等信息推算出虚拟柔性器械另一端在虚拟生理通道中的位置,从而得到虚拟柔性器械两端的位置,并据此表征所述虚拟位置
其他举例中,表征目标位置的位置点、表征虚拟位置的位置点数量可以不限于1个、2个,还可以是3个或更多。
不论采用何种方式,均可为虚拟柔性器械的定位、显示提供充分的依据;S705:基于所述指定位姿信息,确定所述虚拟柔性器械的特定部位在所述虚拟生理通道中的虚拟姿态;
所述特定部位用于模拟所述指定部位。特定部位的虚拟姿态可体现出所述指定部位在所述真实生理通道中的姿态;
步骤S705的一种举例中,可基于将所述指定位姿信息投射到所述虚拟生理通道的虚拟坐标系(例如可基于第一坐标系与虚拟坐标系之间的转换关系实现投射),并提取出其中描述姿态的信息,并据此确定所述虚拟姿态,其中,若指定部位指的是柔性器械的末端,虚拟姿态也可理解为柔性器械末端的朝向。在一个例子中,该朝向可以通过虚拟柔性器械末端相对于虚拟坐标系的位姿来指示。
其他举例中,也可对指定位姿信息进行修正、调整后再投射到虚拟坐标系;
在检测时,现有技术中大多仅关注柔性器械的位置,以上方案则通过指定传感器的检测结果而确定了柔性器械指定部位的虚拟姿态,可以为手术的执行(或复盘等)提供更多样、丰富的信息,例如,通过虚拟姿态的确定,可便于用户及时、准确地获悉柔性器械的操控对指定部位的影响,从而更好地完成柔性器械的操作;
S706:利用显示设备显示所述虚拟生理通道,并将所述虚拟柔性器械显示于所述虚拟生理通道中的所述目标位置,将所述特定部位显示为所述虚拟姿态;
部分举例中,也可仅显示出目标位置而不显示目标姿态。
其中的显示设备可以二维的显示设备,也可以是三维的显示设备,只要呈现的结果能够被人的双眼感知到,就不脱离本发明实施例的范围。
以上方案中,实现了虚拟位置与虚拟姿态的直观呈现,为用户的操控提供了充分准确的依据,方便进行下一步的手术或者柔性器械的前进(例如沿着导航路径方向的前进)。
其中一种实施方式中,请参考图8,检测方法,还包括:
S801:在所述虚拟生理通道中规划导航路径;
S802:利用显示设备显示所述虚拟生理通道时,将所述导航路径显示于所述虚拟生理通道。
所述导航路径为:所述柔性器械进入所述真实生理通道后运动至病灶区域的路径;
一种举例中,若以肺部支气管树模型(即一种虚拟气管)作为虚拟生理通道,则,可通过获取目标人体(例如病人)的手术前医学影像的CT数据,利用计算机视觉和图像处理的方法,对肺部的支气管进行提取和重建,获得病人的肺部支气管树三维模型(即虚拟生理通道),然后,医生可在其中标记病灶所在位置(其可反映出病灶区域),计算机利用重建的模型计算得到可抵达的支气管路径作为导航路径,在此基础上,为实现形状的匹配,还可提取获得支气管路径相应的中心线。
以图9所示为例,在虚拟气管900中可提取出规划路径的中心线902,该中心线902自起点903开始,至病灶点901附近的病灶区域结束,其中还示意了虚拟柔性器械904。可见,在显示虚拟气管900时,可同时显示出虚拟柔性器械904,与导航路径(例如以指定颜色显示出其中心线902)。此外,虚拟柔性器械904的末端姿态可显示为虚拟姿态。
其中的虚拟气管901可以是三维的虚拟气管,进而,在呈现时,若显示设备是二维图像的显示设备,则可利用虚拟的摄像源对虚拟气管(含虚拟柔性器械)进行取景,得到二维图像,从而在显示设备显示出虚拟气管的二维图像。此外,在虚拟气管中,还可显示有病灶点、虚拟骨骼、虚拟血管等至少之一。
其中,通过对规划路径的显示,从而实现柔性器械定位的同时,可实现运动过程中规划路径的自动规划与显示,实现柔性器械相对于规划路径的跟踪定位,简化医生的识别任务(医生无需自己规划路径,也无需采用其他手段跟踪观察柔性器械是否沿规划路径运动),加快手术效率,以顺利完成整个手术过程。
请参考图10,本发明实施例还提供了一种柔性器械的检测装置1000,包括:
形状获取模块1001,用于获取所述形状传感器检测得到的所述柔性器械的形状数据;
指定获取模块1002,用于获取指定传感器检测得到的所述柔性器械的指定部位的指定信息,所述指定信息至少能表征出所述指定部位的位置;
位置确定模块1003,用于基于所述指定信息与所述形状数据,确定所述柔性器械在真实生理通道中的目标位置。
可选的,所述位置确定模块1003,具体用于:
基于所述指定信息,对所述形状数据进行修正,得到修正后形状数据;
基于所述修正后形状数据,确定所述柔性器械在真实生理通道中的目标位置。
可选的,所述位置确定模块1003,具体用于:
将所述指定位置点和/或所述器械位置点投射到目标坐标系,得到所述器械位置点对应的第一位置点,以及所述指定位置点对应的第二位置点;所述第一位置点与所述第二位置点均在所述目标坐标系下;
在所有第一位置点中,将基于所述第二位置确定的指定范围内的第一位置点筛除,并将未被筛除的第一位置点与所述第二位置点在所述目标坐标系的位置确定为所述修正后形状数据。
可选的,所述位置确定模块1003,具体用于:
通过比对所述修正后形状数据与预先建立的虚拟生理通道的形状,确定所述目标位置。
可选的,所述位置确定模块1003,具体用于:
确定所述虚拟生理通道中导航路径的形状;所述导航路径为:所述柔性器械进入所述真实生理通道后运动至病灶区域的路径;
通过比对所述修正后形状数据与所述导航路径的形状,在所述导航路径中匹配目标路径段,所述目标路径段的形状相同或相似于所述修正后形状数据所表征的形状;
基于所述目标路径段在所述虚拟生理通道中的位置,确定所述目标位置。
可选的,所述位置确定模块1003,具体用于:
在所述虚拟生理通道的中心线中,确定所述导航路径所覆盖的曲线段,并以所述曲线段的形状作为所述导航路径的形状。
请参考图11,其中的形状获取模块1101、指定获取模块1102、位置确定模块1103与图10所示实施例中的形状获取模块1001、指定获取模块1002、位置确定模块1003相同或相似,对于重复的内容,在此不再赘述。
其中一种实施方式中,所述的柔性器械的检测装置1100,还包括:
虚拟位置确定模块1104,用于基于所述目标位置,确定用于模拟所述柔性器械的虚拟柔性器械在所述虚拟生理通道中的虚拟位置;
虚拟姿态确定模块1105,用于基于所述指定位姿信息,确定所述虚拟柔性器械的特定部位在所述虚拟生理通道中的虚拟姿态,所述特定部位用于模拟所述指定部位;
显示模块1106,用于利用显示设备显示所述虚拟生理通道,并将所述虚拟柔性器械显示于所述虚拟生理通道中的所述目标位置,将所述特定部位显示为所述目标姿态。
其中一种实施方式中,所述的柔性器械的检测装置1100,还包括:
路径规划模块1107,用于在所述虚拟生理通道中规划导航路径,所述导航路径为:所述柔性器械进入所述真实生理通道后运动至病灶区域的路径;
所述显示模块1106还用于:利用显示设备显示所述虚拟生理通道时,将所述导航路径显示于所述虚拟生理通道。
请参考图12,提供了一种电子设备1200,包括:
处理器1201;以及,
存储器1202,用于存储所述处理器的可执行指令;
其中,所述处理器1201配置为经由执行所述可执行指令来执行以上所涉及的方法。
处理器1201能够通过总线1203与存储器1202通讯。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以上所涉及的方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (15)
1.一种柔性器械的检测方法,其特征在于,所述柔性器械位于真实生理通道,所述柔性器械设有形状传感器、以及在指定部位设有指定传感器;
所述方法包括:
获取所述形状传感器检测得到的所述柔性器械的形状数据;
获取指定传感器检测得到的所述柔性器械的指定部位的指定信息,所述指定信息至少能表征出所述指定部位的位置;
基于所述指定信息与所述形状数据,确定所述柔性器械在真实生理通道中的目标位置。
2.根据权利要求1所述的柔性器械的检测方法,其特征在于,
基于所述指定信息与所述形状数据,确定所述柔性器械在真实生理通道中的目标位置,包括:
基于所述指定信息,对所述形状数据进行修正,得到修正后形状数据;
基于所述修正后形状数据,确定所述柔性器械在真实生理通道中的目标位置。
3.根据权利要求2所述的柔性器械的检测方法,其特征在于,所述形状传感器用于检测所述柔性器械多个部位的曲率信息,所述形状数据包括:在以所述形状传感器为基准的第一坐标系中,基于所述多个部位的曲率信息构建出的多个器械位置点的位置;所述柔性器械的形状匹配于所述多个器械位置点的分布形状;
所述指定传感器为磁传感器,所述磁传感器设于磁场发生器所产生的磁场内,所述指定信息包括:以所述磁场发生器为基准的第二坐标系中的一个或多个指定位置点的位置;
基于所述指定信息,对所述形状数据进行修正,得到修正后形状数据,包括:
将所述指定位置点和/或所述器械位置点投射到目标坐标系,得到所述器械位置点对应的第一位置点,以及所述指定位置点对应的第二位置点;所述第一位置点与所述第二位置点均在所述目标坐标系下;
在所有第一位置点中,将基于所述第二位置确定的指定范围内的第一位置点筛除,并将未被筛除的第一位置点与所述第二位置点在所述目标坐标系的位置确定为所述修正后形状数据。
4.根据权利要求2所述的柔性器械的检测方法,其特征在于,
基于所述修正后形状数据,确定所述柔性器械在真实生理通道中的目标位置,包括:
通过比对所述修正后形状数据与预先建立的虚拟生理通道的形状,确定所述目标位置。
5.根据权利要求4所述的柔性器械的检测方法,其特征在于,
通过比对所述修正后形状数据与预先建立的虚拟生理通道的形状,确定所述目标位置,包括:
确定所述虚拟生理通道中导航路径的形状;所述导航路径为:所述柔性器械进入所述真实生理通道后运动至病灶区域的路径;
通过比对所述修正后形状数据与所述导航路径的形状,在所述导航路径中匹配目标路径段,所述目标路径段的形状相同或相似于所述修正后形状数据所表征的形状;
基于所述目标路径段在所述虚拟生理通道中的位置,确定所述目标位置。
6.根据权利要求5所述的柔性器械的检测方法,其特征在于,
确定所述虚拟生理通道中导航路径的形状,包括:
在所述虚拟生理通道的中心线中,确定所述导航路径所覆盖的曲线段,并以所述曲线段的形状作为所述导航路径的形状。
7.根据权利要求4所述的柔性器械的检测方法,其特征在于,还包括:
基于所述目标位置,确定用于模拟所述柔性器械的虚拟柔性器械在所述虚拟生理通道中的虚拟位置。
8.根据权利要求7所述的柔性器械的检测方法,其特征在于,所述指定信息为所述指定部位的指定位姿信息;
所述检测方法,还包括:
基于所述指定位姿信息,确定所述虚拟柔性器械的特定部位在所述虚拟生理通道中的虚拟姿态,所述特定部位用于模拟所述指定部位。
9.根据权利要求8所述的柔性器械的检测方法,其特征在于,
所述检测方法,还包括:
利用显示设备显示所述虚拟生理通道,并将所述虚拟柔性器械显示于所述虚拟生理通道中的所述虚拟位置,将所述特定部位显示为所述虚拟姿态。
10.根据权利要求4所述的柔性器械的检测方法,其特征在于,还包括:
在所述虚拟生理通道中规划导航路径,所述导航路径为:所述柔性器械进入所述真实生理通道后运动至病灶区域的路径;
利用显示设备显示所述虚拟生理通道时,将所述导航路径显示于所述虚拟生理通道。
11.根据权利要求1、2、4至10任一项所述的柔性器械的检测方法,其特征在于,所述指定部位为所述柔性器械的末端;
所述形状传感器为设于所述柔性器械的光纤传感器;
所述指定传感器为设于所述柔性器械的磁传感器。
12.一种柔性器械的检测装置,其特征在于,包括:
形状获取模块,用于获取所述形状传感器检测得到的所述柔性器械的形状数据;
指定获取模块,用于获取指定传感器检测得到的所述柔性器械的指定部位的指定信息,所述指定信息至少能表征出所述指定部位的位置;
位置确定模块,用于基于所述指定信息与所述形状数据,确定所述柔性器械在真实生理通道中的目标位置。
13.一种手术系统,其特征在于,包括柔性器械、数据处理部、形状传感器与指定传感器,
所述数据处理部用于执行权利要求1至11任一项所述的柔性器械的检测方法。
14.一种电子设备,其特征在于,包括处理器与存储器,
所述存储器,用于存储代码;
所述处理器,用于执行所述存储器中的代码用以实现权利要求1至13任意之一所述的柔性器械的检测方法。
15.一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1至11任意之一所述的柔性器械的检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111603329.3A CN114288523A (zh) | 2021-12-24 | 2021-12-24 | 柔性器械的检测方法、装置、手术系统、设备与介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111603329.3A CN114288523A (zh) | 2021-12-24 | 2021-12-24 | 柔性器械的检测方法、装置、手术系统、设备与介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114288523A true CN114288523A (zh) | 2022-04-08 |
Family
ID=80970610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111603329.3A Pending CN114288523A (zh) | 2021-12-24 | 2021-12-24 | 柔性器械的检测方法、装置、手术系统、设备与介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114288523A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103648361A (zh) * | 2011-05-13 | 2014-03-19 | 直观外科手术操作公司 | 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统 |
CN107690302A (zh) * | 2015-04-06 | 2018-02-13 | 直观外科手术操作公司 | 在图像引导的外科手术中的配准补偿的系统和方法 |
CN110621252A (zh) * | 2017-04-18 | 2019-12-27 | 直观外科手术操作公司 | 用于监测图像引导程序的图形用户界面 |
CN113712674A (zh) * | 2021-09-13 | 2021-11-30 | 上海微创医疗机器人(集团)股份有限公司 | 导管机器人及系统与控制方法、可读存储介质及电子设备 |
-
2021
- 2021-12-24 CN CN202111603329.3A patent/CN114288523A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103648361A (zh) * | 2011-05-13 | 2014-03-19 | 直观外科手术操作公司 | 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统 |
CN107690302A (zh) * | 2015-04-06 | 2018-02-13 | 直观外科手术操作公司 | 在图像引导的外科手术中的配准补偿的系统和方法 |
CN110621252A (zh) * | 2017-04-18 | 2019-12-27 | 直观外科手术操作公司 | 用于监测图像引导程序的图形用户界面 |
CN113712674A (zh) * | 2021-09-13 | 2021-11-30 | 上海微创医疗机器人(集团)股份有限公司 | 导管机器人及系统与控制方法、可读存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11690527B2 (en) | Apparatus and method for four dimensional soft tissue navigation in endoscopic applications | |
EP3801189B1 (en) | Path-based navigation of tubular networks | |
US20200197106A1 (en) | Registration with trajectory information with shape sensing | |
CN108778113B (zh) | 管状网络的导航 | |
EP3245974B1 (en) | System and method to access lung tissue | |
CA2945884C (en) | Method of using lung airway carina locations to improve enb registration | |
CA2986168C (en) | Electromagnetic navigation registration using ultrasound | |
US20190059833A1 (en) | Displaying Position and Optical Axis of an Endoscope in an Anatomical Image | |
CN109561832B (zh) | 使用软点特征来预测呼吸循环并改善端部配准的方法 | |
US20230360212A1 (en) | Systems and methods for updating a graphical user interface based upon intraoperative imaging | |
CN111386078B (zh) | 用于将电磁导航空间非刚性地配准到ct体积的系统、方法和计算机可读介质 | |
US20240099776A1 (en) | Systems and methods for integrating intraoperative image data with minimally invasive medical techniques | |
CN114288523A (zh) | 柔性器械的检测方法、装置、手术系统、设备与介质 | |
EP3545852B1 (en) | Electromagnetic navigation bronchoscopy using ultrasound | |
US20230240750A1 (en) | Systems for evaluating registerability of anatomic models and associated methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |