CN113940753B - 一种用于组织切割路径自动规划的多图像信息融合方法及系统 - Google Patents
一种用于组织切割路径自动规划的多图像信息融合方法及系统 Download PDFInfo
- Publication number
- CN113940753B CN113940753B CN202111339201.0A CN202111339201A CN113940753B CN 113940753 B CN113940753 B CN 113940753B CN 202111339201 A CN202111339201 A CN 202111339201A CN 113940753 B CN113940753 B CN 113940753B
- Authority
- CN
- China
- Prior art keywords
- information
- position information
- endoscope
- image
- cutting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005520 cutting process Methods 0.000 title claims abstract description 76
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 238000002679 ablation Methods 0.000 claims abstract description 44
- 239000000523 sample Substances 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 241000934136 Verruca Species 0.000 claims description 6
- 208000000260 Warts Diseases 0.000 claims description 6
- 201000010153 skin papilloma Diseases 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 210000001519 tissue Anatomy 0.000 description 48
- 230000009466 transformation Effects 0.000 description 16
- 210000002307 prostate Anatomy 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000002604 ultrasonography Methods 0.000 description 4
- 210000003708 urethra Anatomy 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 206010004446 Benign prostatic hyperplasia Diseases 0.000 description 2
- 208000004403 Prostatic Hyperplasia Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000010317 ablation therapy Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 210000003689 pubic bone Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本申请提供了一种用于组织切割路径自动规划的多图像信息融合方法，包括运动控制装置、消融工具模块、三维超声成像模块和处理器，其中运动控制装置包括所在坐标系作为标准坐标系的固定基准部件；消融工具模块包括消融工具、带有位置反馈装置的内窥镜，够获取目标组织工作区域的位置信息；三维成像模块包括超声探头，用于获取目标组织的三维超声图像信息；处理器可提取三维超声图像的二维切片图像轮廓位置信息，并将所获取的所述目标组织工作区域的位置信息和目标组织的二维切片图像轮廓位置信息融合入同一标准坐标系。从而有助于实现真正自动、精确定位，有助于解决现有技术中人工参与过多、精确度低的问题，为真正实现切割路径的自动规划提供了技术支撑。
Description
技术领域
本申请涉及医疗设备领域，尤其是涉及一种用于组织切割路径自动规划的多图像信息融合方法及系统。
背景技术
针对增生组织或癌组织，如良性前列腺增生(BPH)、前列腺癌等的治疗，除药物治疗外，很长时间内较为常用的为传统外科切除或部分切除手术，该种方式普遍依赖开放式切口，具有侵入性强、创伤大、恢复期长等缺陷。后微创切除疗法在该领域得到广泛应用，如以激光、水射流、光纤等能量作为流体流用于对前列腺等组织通过切除和/或烧灼病变或增生组织，其一般经由尿道途径进入，而无需开放式切口，具有创伤小的优点。
在利用能量对前列腺等组织进行切除时，需提前对组织切割路径进行规划，切割路径规划的准确度不仅影响手术的效率，更是关系着手术的安全、可靠性。现有技术中切割路径的规划通常是借助超声图像进行，通过超声探头获取目标组织的超声图像，同时提供超声探头的参考结构，经过调整，获取与参考结构对准的超声图像。医生通过阅读图像信息手动输入轮廓参数，根据所输入的参数信息规划切割路径。对于敏感或者关键部位(如精阜等)需要医生人工标记。可见，现有切割路径的规划自动化程度低，需大量的人工参与。鉴于图像质量及人工操作误差的客观影响。现有技术这种切割路径规划方法不仅要求大量的人工参与，使得操作繁琐，医护人员工作量增大，而且准确度较低，很难精确获取轮廓位置，尤其是精阜或膀胱颈的准确位置，从而导致手术切割精度较低、切割不彻底，且安全性较差。
就目前的技术发展现状而言，若要实现组织切割路径的真正自动化规划，仍存在较多技术障碍亟需克服，例如如何实现敏感部位、关键部位、切割始末位置等在三维超声图像上的自动精确标记、如何自动标记目标组织的轮廓信息等。
发明内容
本申请的目的是提供一种用于组织切割路径自动规划的多图像信息融合方法及系统，通过设置具有位置反馈装置的内窥镜装置、并将内窥镜装置所获取的图像信息与三维超声图像信息融合在同一坐标系内，使得通过内窥镜所获取的图像信息与三维超声图像信息可直接进行计算，从而使得敏感部位、关键部位、切割始末位置等在三维超声图像上的自动精确标记，为实现切割路径的真正自动规划提供了技术支撑。
为达到上述发明目的，本申请采用了下列技术方案：
本申请所要保护的一种用于组织切割路径自动规划的多图像信息融合方法，包括如下步骤：
获取内窥镜装置所标定的目标组织工作区域的位置信息，并将目标组织工作区域的位置信息转换为标准坐标系下的坐标信息；获取目标组织的三维超声图像；提取三维超声图像的二维切片图像轮廓位置信息，将二维切片图像轮廓位置信息转换为标准坐标系下的坐标信息；内窥镜装置包括内窥镜和位置反馈装置。
根据本申请所提供的一种用于组织切割路径自动规划的多图像信息融合方法，优选地，还包括以下步骤：将固定基准部件所在的坐标系选定为标准坐标系，将所获取位置信息通过坐标转换矩阵转换为标准坐标系下的坐标信息。
优选地，所述坐标转换矩阵通过相对校准标定获得。
优选地，所述内窥镜装置所标定的目标组织工作区域的位置信息的获取步骤包括：获取所述内窥镜装置所标定的消融工具的切割起始位置信息和切割结束位置信息。
优选地，所述消融工具的切割起始位置信息获取步骤包括：移动所述内窥镜装置至通过膀胱颈观察到尿道口的位置，将该位置标定为切割起始位置，所述位置反馈装置自动获取所述切割起始位置信息。
优选地，所述消融工具的切割结束位置信息获取步骤包括：移动所述内窥镜装置至精阜位置，将该位置标定为切割结束位置，所述位置反馈装置自动获取所述切割结束位置信息。
优选地，所述二维切片图像轮廓位置信息提取步骤包括：提取消融工具轮廓位置信息和目标组织轮廓位置信息。
本申请还提供一种用于组织切割路径自动规划的多图像信息融合系统，包括：
运动控制装置，所述运动控制装置包括固定基准部件、与所述固定基准部件相连接的第一运动控制部件和第二运动控制部件；
消融工具模块，所述消融工具模块包括消融工具、带有位置反馈装置的内窥镜，所述消融工具模块能够获取目标组织工作区域的位置信息，所述内窥镜及消融工具均与第一运动控制部件相连接；
三维超声成像模块，所述三维成像模块包括超声探头，所述超声探头可用于获取目标组织的三维超声图像信息，所述超声探头与所述第二运动控制部件相连接；
处理器，所述处理器可提取三维超声图像的二维切片图像轮廓位置信息，并将所获取的所述目标组织工作区域的位置信息和目标组织的二维切片图像轮廓位置信息融合入同一标准坐标系。
根据本申请所提供的一种用于组织切割路径自动规划的多图像信息融合系统，优选地，所述内窥镜及消融工具均通过第一适配器与所述第一运动控制部件相连接；所述超声探头通过第二适配器与所述第二运动控制部件相连接。
优选地，所述第一运动控制部件和/或第二运动控制部件为设有位置反馈装置的机械臂或支架。
优选地，所述位置反馈装置为编码器。
优选地，所述标准坐标系为固定基准部件所在的坐标系。
本申请还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请任一实施例所述的方法。
本申请还提出一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请任一实施例所述的方法。
本申请具有如下有益效果：本申请技术方案通过引入设置有位置反馈装置的内窥镜装置，通过内窥镜装置可获取待切割组织的图像信息，并通过本申请所提供的多图像信息融合方法，将内窥镜所获取的图像信息及三维超声图像信息融合至同一标准坐标系下，从而有助于实现自动、精确标定切割时需避开的敏感位置区域如精阜位置，以及切割的起始位置、结束位置等，有助于解决现有技术中人工参与过多、精确度低的问题，同时为真正实现切割路径的自动规划提供了技术支撑。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请用于组织切割路径自动规划的多图像信息融合系统的具体实施例示意图；
图2为本申请用于组织切割路径自动规划的多图像信息融合方法的流程示意图；
图3为本申请内窥镜视野示意图；
图4为本申请采用二维图像内窥镜获取位置信息的实施例的流程示意图；
图5为本申请采用立体视觉内窥镜获取位置信息的实施例的流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。虽然本申请具体实施例部分详细描述了许多技术细节，但需知悉的是这些细节不构成对本申请保护范围的限制。基于本申请所公开的技术方案，本领域普通技术人员在未进行创造性劳动的前提下所作出的任何改进或变动，亦属于本申请的保护范围。
需说明的是本申请虽是基于前列腺组织的切除背景下进行的介绍，但本申请在组织切除路径自动规划过程中使得内窥镜图像信息和超声图像信息等多图像信息融合的方法及系统，并不限于前列腺组织，也同样可利用于处理任何其他类似的人体组织器官，如肾、肝、皮肤、肌肉、腺体、食道、咽喉、肠等，本领域技术人员在本申请的基本方法、宗旨和精神下，根据目标组织的差异对本申请方法和系统作适应性调整即可，亦属于本申请的保护范围。
其中，本申请所使用术语“消融工具”含义如下：指通过能量(如水射流、激光、电等)对组织进行切割、烧灼等，使得目标组织或病灶组织被消融(即体积减小)的工具。
以下结合附图，详细说明本申请各实施例提供的技术方案。
如图1所示，本申请所提供的一种用于组织切割路径自动规划的多图像信息融合系统，包括运动控制装置、消融工具模块、三维超声成像模块和处理器。其中，运动控制装置包括作为固定基准部件的固定基座100、与固定基座100转动配合连接的第一机械臂110和第二机械臂120，其中第一机械臂110和第二机械臂120端部均设置有编码器、或其他类似的可用于传输第一机械臂和第二机械臂位置的位置反馈装置或定位装置。第一机械臂110和/或第二机械臂120可以相同也可以不同，本领域技术人员可以根据需要选择，如可选择6轴、7轴机械臂，可选择均为主动机械臂，均为被动机械臂，或一个为主动机械臂、另一个为被动机械臂。此外，在一些实施例中，第一机械臂110和/或第二机械臂120还可用可转动支架代替。
其中，固定基座100主要用来作为固定基准，对其结构不作限制，以固定基座100所在的坐标系作为标准坐标系。固定基座100内置或外部连接设置有一个或多个处理器(CPU)，处理器用于完成运动控制、坐标转换、图像提取处理等数据处理及控制工作。
消融工具模块包括消融工具、以及带有编码器的内窥镜(图中未示出)，其中编码器也可用其他可用于反馈位置信息的装置代替。消融工具可利用能量切割病灶组织，消融工具可以水流、激光、光纤、电极等作为能量源用以切割、烧灼病灶组织，从而达到对病灶组织的切除。其中消融工具及内窥镜装置集成在鞘套112内，消融工具及内窥镜装置后端部伸出鞘套112与固定设置在第一机械臂110前端部的第一适配器111插接配合，在处理器的控制下使得第一机械臂110带动消融工具及内窥镜装置前进/后退/旋转运动。鞘套112呈细长管状，鞘套112可沿尿道运动伸入前列腺200内，通过内窥镜及内窥镜编码器获取待切割病灶组织的位置信息。
三维超声成像模块包括细长管状超声探头122，超声探头122后端部与固定设置在第二机械臂120前端的第二适配器121插接配合，处理器通过第二机械臂120及第二适配器121控制超声探头的前进/后退/旋转运动。在超声探头122按特定速度在第二机械臂120控制下前进的过程中，处理器按特定步长采集二维超声切片图像，提取二维切片图像轮廓位置信息并记录。处理器将前列腺病灶组织位置信息及二维切片图像位置信息分别通过坐标转换矩阵转换为固定基座100所在坐标系下的坐标，从而使得前列腺病灶组织位置信息及二维切片图像位置信息位于同一坐标系下，进而可进行路径规划步骤，具体坐标转换的具体步骤参见下文详细记载。
需说明的是，在另外一些实施例中，第一适配器111和第二适配器121并非必须的，可替代的选择其他连接部件。
图2示出的为本申请所提供的一种用于组织切割路径自动规划的多图像信息融合方法，包括如下步骤：
步骤S101:校准内窥镜装置、消融工具、及集成有内窥镜装置及消融工具的鞘套112，将集成有经校准的内窥镜装置及消融工具的鞘套112插入尿道。
步骤S102:处理器通过第一机械臂110控制鞘套112按一定速度v沿尿道向前移动，在该过程中，调整内窥镜装置和消融工具的位置，内窥镜编码器实时向处理器反馈内窥镜位置信息，当内窥镜装置运动至通过膀胱颈可观察到尿道口的位置时，内窥镜编码器将该位置的坐标信息反馈至处理器，处理器将该位置标定为切割起始位置，并提取切割起始位置坐标A(xa1,ya1,za1)。
步骤S103:在处理器控制下由第一机械臂110带动鞘套112继续向前移动，当内窥镜到达越过精阜的位置时或经处理器判断到达等同位置时，内窥镜编码器将该位置的坐标信息反馈至处理器，处理器将该位置标定为切割结束位置，并提取切割结束位置坐标B(xa2,ya2,za2)。此过程也可记录内窥镜到达精阜附近时，根据内窥镜图像判断得到的精阜起始及结束的多个位置数据信息，为规划过程提供精阜部位准确位置信息。
步骤S104:以固定基座100所在的坐标系作为标准坐标系，通过处理器内置程序获取第一适配器111相对于固定基座100的坐标转换矩阵TH1toBase。
步骤S105:与步骤S104类似，通过处理器内置程序获取鞘套112相对于第一适配器111的坐标转换矩阵TM1oH1。
步骤S106:依据下列公式将切割起始位置坐标A转换为标准坐标系下的坐标A'，将切割结束位置坐标B转换为标准坐标系下的坐标B'，其中：
A'＝TM1oH1·TH1toBase·A＝(xc1,yc1,zc1)
B'＝TM1oH1·TH1toBase·B＝(xc2,yc2,zc2)
步骤S201:校准超声探头122,将经校准的超声探头122至于扫描起始位置。
步骤S202:处理器通过第二机械臂120控制超声探头122沿预设路径运动至终止位置，将运动过程中所获取目标组织的全部超声图像数据序列反馈至处理器，处理器根据所获取的超声图像数据序列进行三维重建，从而形成目标组织的整体三维超声图像，本实施例中目标组织为前列腺组织。
步骤S203:在超声探头122沿预设路径从起始位置向终止位置运动的过程中，处理器按照特定步长采集沿内窥镜轴向运动方向的二维切片图像，且切片时调整超声探头122与消融工具呈平行状态，确保可在二维切片图像内清晰观察到消融工具。
步骤S204:对目标组织前列腺的二维切片图像进行轮廓提取，获取消融工具轮廓位置坐标C(xb1,yb1,zb1),以及前列腺轮廓位置坐标D(xb2,yb2,zb2)。
步骤S205:以固定基座100所在的坐标系作为标准坐标系，通过处理器内置程序获取第二适配器121相对于固定基座100的坐标转换矩阵TH2toBase。
步骤S206:与步骤S205类似，通过处理器内置程序获取超声探头122相对于第二适配器121的坐标转换矩阵TM2oH2。
步骤S207:将消融工具轮廓位置坐标C转换为标准坐标系下的坐标C'，将目标组织前列腺轮廓位置坐标D转换为标准坐标系下的坐标D'，其中：
C'＝TM2oH2·TH2toBase·C＝(xc3,yc3,zc3)
D'＝TM2oH2·TH2toBase·D＝(xc4,yc4,zc4)
步骤S300:经上述步骤完成内窥镜装置所标定位置信息与三维超声图像信息向同一标准坐标系下的坐标转换，此时，位于同一标准坐标系下的切割起始位置坐标A'、切割结束位置坐标B'、消融工具轮廓位置坐标C'和目标组织前列腺轮廓位置坐标D'等可直接进行位置坐标计算，直接获取其距离及路径信息，从而为后续切割路径自动规划的顺利实现提供技术支撑。
需说明的是，上述步骤顺序仅为清晰说明本实施例而进行的说明，不构成对处理步骤先后的限制。实际上，上述步骤可以以不同的顺序完成，本领域技术人员根据需要进行调整即可，且可添加和/或删除某些步骤，其中部分步骤还可包含若干子步骤，对于较为常规的处理步骤本文不再赘述。若有利于处理，还可重复上述某些步骤。
在一些实施例中，坐标转换矩阵通过相对校准获得，例如，TM1oH1、TH1toBase根据对水刀模块连接固定适配器和适配器固定结构与固定基准的校准标定获得，TM2oH2、TH2toBase根据超声图像与超声模块固定适配器和适配器固定结构与固定基准的校准标定获得。坐标转换矩阵的数量由所涉及的相对运动部件的多少决定，在某些实施例中，可仅含有坐标转换矩阵TH1toBase和TH2toBase。在某些实施例中，坐标转换矩阵TM1oH1、TH1toBase、TM2oH2、TH2toBase可为3x3或4x4旋转矩阵等。在另一些实施例中，坐标转换矩阵还可采用其他矩阵形式，本领域技术人员可根据需要确定，可实现坐标的空间转换即可，可将所选定的具体程序预先内置于处理器，根据编码器所反馈的位置信息，根据所预置的程序指令确定所述坐标转换矩阵，用于后续坐标转换的计算。
在另外一些实施例中，利用内窥镜装置所获取的图像信息除包括切割起始位置坐标、切割结束位置坐标外，还可包括其他不希望切除位置的坐标信息或需避开的敏感位置坐标信息等，本领域技术人员可以根据目标组织及病灶组织的特点具体选择。
在一些实施例中，采用二维图像内窥镜获取目标位置信息，获取方法400，如图4所示，具体步骤如下：
步骤S401:选定内窥镜位置，获取内窥镜相机内参矩阵，获取内窥镜初始位置坐标信息。
步骤S402:在标准场景下测量光斑001在一定变形范围内的面积与深度距离，获取光斑面积与深度的拟合关系曲线，内窥镜视野示意图如图3所示。
步骤S403:分割光斑图像，并对分割出的光斑图像进行椭圆型拟合。
步骤S404:若分割出的光斑图像可进行椭圆型拟合，则进行步骤S405，根据拟合曲线计算得出切割起始位置和/或切割结束位置的近似深度距离，从而获取其位置坐标信息。
若分割出的光斑图像无法进行椭圆型拟合，则移动内窥镜装置，重新选定位置，重复步骤S401至S406，直至可获取位置信息。
其中，内窥镜通过膀胱颈观察到尿道口或经处理器判断到达等同位置，作为切割起始位置。内窥镜移动至精阜附近的位置或者经处理器判断到达等同位置，作为切割结束位置。
在该实施例中，可通过神经网络等图像算法识别光斑信息辅助获取目标点的深度信息，同时结合人工观察的方法，最终确定切割起始位置坐标信息及切割结束位置坐标信息，如有需要，还可用于确定其他敏感位置或目标点的位置坐标信息，反馈处理器进行分析处理。
在另外一些实施例中，采用立体视觉内窥镜获取目标位置信息，获取方法500，如图5所示，具体步骤如下：
步骤S501:对内窥镜装置、消融工具及鞘套112标定校准，将集成有经校准的内窥镜装置和消融工具的鞘套112插入尿道，利用处理器控制第一机械臂110使得集成有内窥镜装置和消融工具的鞘套112运动至前列腺腔体预设位置。
步骤S502:立体视觉内窥镜含有多个相机，所述多个相机同时针对目标测量位置(如激光光斑位置、或敏感位置等)进行拍照，获得多幅图像。在获取切割起始位置坐标信息和切割结束位置坐标信息的过程中，目标测量位置分别为内窥镜通过膀胱颈观察到尿道口或经处理器判断到达等同位置，作为切割起始位置；内窥镜移动至精阜附近的位置或者经处理器判断到达等同位置，作为切割结束位置。
步骤S503:针对所获取的多幅图像，使用图像算法等分割出目标测量位置。
步骤S504:处理器提取目标测量位置中心或质心的位置坐标信息，并反馈处理器。
步骤S505:根据步骤S502所获取的多幅图像信息及步骤S504所获取的目标测量位置中心或质心的位置坐标信息，经处理器计算获得目标测量位置的深度距离信息。
步骤S506:根据步骤S505所获取的目标测量位置的深度距离信息和此时内窥镜编码器的位置信息，经处理器计算得出目标测量位置的坐标信息并记录。
本领域技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请中任一实施例所述的方法。
进一步地，本申请还提出一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请任一实施例所述的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。本申请中所引用的如“前”、“后”、“前进”、“后退”等的用语，亦仅为便于叙述的明了，而非用以限定本申请可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本申请可实施的范畴。
以上对本申请的实施例进行了详细说明，但所述内容仅为本申请的较佳实施例，不能被认为用于限定本申请的实施范围。凡依本申请发明范围所作的均等变化与改进等，均应仍归属于本申请的专利涵盖范围之内。
Claims (13)
1.一种用于组织切割路径自动规划系统的多图像信息融合方法，所述系统包含运动控制装置，所述运动控制装置包括固定基准部件、与所述固定基准部件相连接的第一运动控制部件和第二运动控制部件；消融工具模块，所述消融工具模块包括消融工具、带有位置反馈装置的内窥镜，所述消融工具模块能够获取目标组织工作区域的位置信息，所述内窥镜及消融工具均与第一运动控制部件相连接；三维超声成像模块，所述三维超声成像模块包括超声探头，所述超声探头可用于获取目标组织的三维超声图像信息，所述超声探头与所述第二运动控制部件相连接，处理器，所述处理器可提取三维超声图像的二维切片图像轮廓位置信息，并将所获取的所述目标组织工作区域的位置信息和目标组织的二维切片图像轮廓位置信息融合入同一标准坐标系；
所述方法包括如下步骤：
获取所述内窥镜所标定的消融工具的切割起始位置信息和切割结束位置信息，并将所述消融工具的切割起始位置信息和切割结束位置信息转换为标准坐标系下的坐标信息；
获取所述目标组织的三维超声图像；
提取所述三维超声图像的二维切片图像轮廓位置信息，并将所获取的所述目标组织工作区域的位置信息和目标组织的二维切片图像轮廓位置信息融合入同一标准坐标系；其中，所述二维切片图像轮廓位置信息提取步骤包括：提取消融工具轮廓位置信息和目标组织轮廓位置信息，将所述消融工具轮廓位置信息和所述目标组织轮廓位置信息转换为标准坐标系下的坐标信息。
2.根据权利要求1所述的用于组织切割路径自动规划系统的多图像信息融合方法，其特征在于，所述标准坐标系为固定基准部件所在的坐标系。
3.根据权利要求2所述的用于组织切割路径自动规划系统的多图像信息融合方法，其特征在于，将所获取位置信息通过坐标转换矩阵转换为标准坐标系下的坐标信息，所述坐标转换矩阵通过相对校准标定获得。
4.根据权利要求1所述的用于组织切割路径自动规划系统的多图像信息融合方法，其特征在于，所述消融工具的切割起始位置信息获取步骤包括：移动所述内窥镜装置至通过膀胱颈观察到尿道口的位置，将该位置标定为切割起始位置，所述位置反馈装置自动获取所述切割起始位置信息。
5.根据权利要求1所述的用于组织切割路径自动规划系统的多图像信息融合方法，其特征在于，所述消融工具的切割结束位置信息获取步骤包括：移动所述内窥镜装置至精阜位置，将该位置标定为切割结束位置，所述位置反馈装置自动获取所述切割结束位置信息。
6.根据权利要求4或5所述的用于组织切割路径自动规划系统的多图像信息融合方法，其特征在于，采用二维图像内窥镜或立体视觉内窥镜获取所述消融工具的切割起始位置信息或切割结束位置信息。
7.根据权利要求6所述的用于组织切割路径自动规划系统的多图像信息融合方法，其特征在于，还包含步骤：
选定内窥镜位置，获取内窥镜相机内参矩阵，获取内窥镜初始位置坐标信息；
在标准场景下测量光斑在一定变形范围内的面积与深度距离，获取光斑面积与深度的拟合关系曲线；
分割光斑图像，并对分割出的光斑图像进行椭圆型拟合；
若分割出的光斑图像可进行椭圆型拟合，则根据拟合曲线计算得出切割起始位置和/或切割结束位置的近似深度距离，从而获取其位置坐标信息。
8.根据权利要求6所述的用于组织切割路径自动规划系统的多图像信息融合方法，其特征在于，还包含步骤：
利用立体视觉内窥镜的多个相机同时对目标测量位置进行拍照，获得多幅图像；
针对所获取的多幅图像，分割出目标测量位置，提取目标测量位置中心或质心的位置坐标信息；
根据所述多幅图像信息及所述目标测量位置中心或质心的位置坐标信息，计算获得目标测量位置的深度距离信息；
根据所述深度距离信息和所述位置反馈装置的位置信息，计算得出目标测量位置的坐标信息。
9.根据权利要求1所述的用于组织切割路径自动规划系统的多图像信息融合方法，其特征在于，所述内窥镜及消融工具均通过第一适配器与所述第一运动控制部件相连接；所述超声探头通过第二适配器与所述第二运动控制部件相连接。
10.根据权利要求1所述的用于组织切割路径自动规划系统的多图像信息融合方法，其特征在于，所述第一运动控制部件和/或第二运动控制部件为设有位置反馈装置的机械臂或支架。
11.根据权利要求1所述的用于组织切割路径自动规划系统的多图像信息融合方法，其特征在于，所述位置反馈装置为编码器。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的方法。
13.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-11中任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111339201.0A CN113940753B (zh) | 2021-11-12 | 2021-11-12 | 一种用于组织切割路径自动规划的多图像信息融合方法及系统 |
| PCT/CN2022/131742 WO2023083352A1 (zh) | 2021-11-12 | 2022-11-14 | 一种用于组织切割路径规划的多图像信息融合方法、系统、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111339201.0A CN113940753B (zh) | 2021-11-12 | 2021-11-12 | 一种用于组织切割路径自动规划的多图像信息融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113940753A CN113940753A (zh) | 2022-01-18 |
| CN113940753B true CN113940753B (zh) | 2023-12-19 |
Family
ID=79337963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111339201.0A Active CN113940753B (zh) | 2021-11-12 | 2021-11-12 | 一种用于组织切割路径自动规划的多图像信息融合方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113940753B (zh) |
| WO (1) | WO2023083352A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113940753B (zh) * | 2021-11-12 | 2023-12-19 | 北京智愈医疗科技有限公司 | 一种用于组织切割路径自动规划的多图像信息融合方法及系统 |
| CN116473673B (zh) * | 2023-06-20 | 2024-02-27 | 浙江华诺康科技有限公司 | 内窥镜的路径规划方法、装置、系统和存储介质 |
| CN117204951B (zh) * | 2023-09-22 | 2024-04-30 | 上海睿触科技有限公司 | 一种基于x射线的手术定位导航设备及其定位实现方法 |
| CN117495693A (zh) * | 2023-10-24 | 2024-02-02 | 北京仁馨医疗科技有限公司 | 用于内窥镜的图像融合方法、系统、介质及电子设备 |
| CN117481753B (zh) * | 2023-12-29 | 2024-04-05 | 北京智愈医疗科技有限公司 | 一种基于内窥镜的水刀运动轨迹的监测方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101375805A (zh) * | 2007-12-29 | 2009-03-04 | 清华大学深圳研究生院 | 一种计算机辅助引导电子内窥镜操作的方法和系统 |
| CN204364123U (zh) * | 2014-11-07 | 2015-06-03 | 刘弘毅 | 医疗导航系统 |
| CN105534593A (zh) * | 2014-10-29 | 2016-05-04 | 深圳迈瑞生物医疗电子股份有限公司 | 介入消融模拟系统及方法 |
| CN108606773A (zh) * | 2012-02-29 | 2018-10-02 | 普罗赛普特生物机器人公司 | 自动化图像引导的组织切除和处理 |
| CN212165755U (zh) * | 2020-02-13 | 2020-12-18 | 宁波思康鑫电子科技有限公司 | 一种用于内窥镜定位的系统 |
| GB2591093A (en) * | 2020-01-14 | 2021-07-21 | Gyrus Medical Ltd | In vitro multi-modal tissue imaging method and system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010088699A (ja) * | 2008-10-09 | 2010-04-22 | National Center For Child Health & Development | 医療画像処理システム |
| CN109965976B (zh) * | 2013-09-06 | 2022-05-31 | 普罗赛普特生物机器人公司 | 利用致脱脉冲的用于消融组织的装置 |
| JP7133474B2 (ja) * | 2016-05-31 | 2022-09-08 | コーニンクレッカ フィリップス エヌ ヴェ | 内視鏡画像及び超音波画像の画像ベースの融合 |
| WO2019100212A1 (zh) * | 2017-11-21 | 2019-05-31 | 深圳迈瑞生物医疗电子股份有限公司 | 用于规划消融的超声系统及方法 |
| CN113940753B (zh) * | 2021-11-12 | 2023-12-19 | 北京智愈医疗科技有限公司 | 一种用于组织切割路径自动规划的多图像信息融合方法及系统 |
-
2021
- 2021-11-12 CN CN202111339201.0A patent/CN113940753B/zh active Active
-
2022
- 2022-11-14 WO PCT/CN2022/131742 patent/WO2023083352A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101375805A (zh) * | 2007-12-29 | 2009-03-04 | 清华大学深圳研究生院 | 一种计算机辅助引导电子内窥镜操作的方法和系统 |
| CN108606773A (zh) * | 2012-02-29 | 2018-10-02 | 普罗赛普特生物机器人公司 | 自动化图像引导的组织切除和处理 |
| CN105534593A (zh) * | 2014-10-29 | 2016-05-04 | 深圳迈瑞生物医疗电子股份有限公司 | 介入消融模拟系统及方法 |
| CN204364123U (zh) * | 2014-11-07 | 2015-06-03 | 刘弘毅 | 医疗导航系统 |
| GB2591093A (en) * | 2020-01-14 | 2021-07-21 | Gyrus Medical Ltd | In vitro multi-modal tissue imaging method and system |
| CN212165755U (zh) * | 2020-02-13 | 2020-12-18 | 宁波思康鑫电子科技有限公司 | 一种用于内窥镜定位的系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023083352A1 (zh) | 2023-05-19 |
| CN113940753A (zh) | 2022-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113940753B (zh) | 一种用于组织切割路径自动规划的多图像信息融合方法及系统 | |
| US6423009B1 (en) | System, employing three-dimensional ultrasonographic imaging, for assisting in guiding and placing medical instruments | |
| CN104203078B (zh) | 自动化图像引导的组织切除和处理 | |
| CN113796952B (zh) | 一种组织切除系统及其切割参数确定方法 | |
| US20100063392A1 (en) | Ultrasound-guided ablation method and ultrasound-guided ablation system | |
| CN112741692B (zh) | 实现将器件导航至目标组织位置的快速导航方法及系统 | |
| US11253220B2 (en) | Stone identification methods and systems | |
| CA2856549A1 (en) | Surgical navigation for repair of heart valve leaflets | |
| CA3061578A1 (en) | Methods for conducting guided oral and maxillofacial procedures, and associated system | |
| CN114376610B (zh) | 一种双平面超声图像规划方法和装置 | |
| US7162292B2 (en) | Beam scanning probe system for surgery | |
| CN109069213A (zh) | 用于肿瘤抽吸的图像引导的机器人系统 | |
| CN104921805A (zh) | 可视化点阵激光治疗仪 | |
| CN111870344A (zh) | 术前导航方法、系统及终端设备 | |
| Mattos et al. | Next-generation micromanipulator for computer-assisted laser phonomicrosurgery | |
| EP3527159A2 (en) | 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking | |
| CN116966450A (zh) | 一种聚焦超声无创消融装置、消融术前规划方法及系统 | |
| CN112741689B (zh) | 应用光扫描部件来实现导航的方法及系统 | |
| JP2021506365A (ja) | ロボット光学ナビゲーション手術システム | |
| CN114286650A (zh) | 使用干涉测量系统配准磁跟踪系统 | |
| CN114760951A (zh) | 在身体内精准计划、引导和放置探针 | |
| CN115998429A (zh) | 用于规划和导航管腔网络的系统和方法 | |
| DK2621329T3 (en) | DEVICE FOR SUPPORTING A SURGICAL TREATMENT OF AN EYE | |
| EP3843650A1 (en) | A system and method for the ablation of uterine fibroids | |
| CN116650022B (zh) | 超声与内窥镜图像融合辅助定位子宫病灶的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |