CN114903590B - 一种莫氏显微手术标记信息处理方法、系统及存储介质 - Google Patents
一种莫氏显微手术标记信息处理方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114903590B CN114903590B CN202210389731.4A CN202210389731A CN114903590B CN 114903590 B CN114903590 B CN 114903590B CN 202210389731 A CN202210389731 A CN 202210389731A CN 114903590 B CN114903590 B CN 114903590B
- Authority
- CN
- China
- Prior art keywords
- surgical
- information
- morse
- skin
- tumor boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 31
- 238000002406 microsurgery Methods 0.000 title claims abstract description 19
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 50
- 206010029098 Neoplasm skin Diseases 0.000 claims abstract description 20
- 208000000453 Skin Neoplasms Diseases 0.000 claims abstract description 20
- 238000013439 planning Methods 0.000 claims abstract description 16
- 208000035346 Margins of Excision Diseases 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 206010052428 Wound Diseases 0.000 claims description 34
- 208000027418 Wounds and injury Diseases 0.000 claims description 34
- 239000003550 marker Substances 0.000 claims description 31
- 208000002847 Surgical Wound Diseases 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 description 12
- 238000005192 partition Methods 0.000 description 5
- 239000004677 Nylon Substances 0.000 description 4
- 238000001531 micro-dissection Methods 0.000 description 4
- 229920001778 nylon Polymers 0.000 description 4
- 238000002271 resection Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 208000007660 Residual Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 208000017520 skin disease Diseases 0.000 description 2
- 206010004146 Basal cell carcinoma Diseases 0.000 description 1
- 241001422033 Thestylus Species 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000000976 ink Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007431 microscopic evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037311 normal skin Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及手术标记信息处理技术领域,公开了一种莫氏显微手术标记信息处理方法、系统及存储介质,该方法获取临床图片和皮肤镜图片;采用预设深度学习网络模型对皮肤镜图片中的肿瘤边界进行分割提取,得到皮肤镜下的皮肤肿瘤边界,将皮肤肿瘤边界与临床图片进行配准,得到目标肿瘤边界,并基于目标肿瘤边界、临床图片以及待切除肿瘤的类型规划手术切缘路线;将手术切缘路线投影于患者皮肤表面,并基于手术切缘路线确定创面信息,对创面信息进行分割处理,得到手术标记信息,这样,可以使得到的手术标记信息更加精准,便于进一步根据手术标记信息指导医师快速准确地确定患者皮肤需要提取的组织位置。
Description
技术领域
本发明涉及手术标记信息处理技术领域,尤其涉及一种莫氏显微手术标记信息处理方法、系统及存储介质。
背景技术
Mohs(莫氏)显微切除术是运用快速水平冰冻切片在显微镜下准确检测皮肤肿瘤边缘是否被切除干净,并将皮肤肿瘤切除的一种方法。Mohs显微切除术的最大优点是去除所有的肿瘤,又能保证术后皮肤缺损最小。但目前Mohs显微切除术在皮肤肿瘤切除应用中的边界描记和分区描绘仍存在一定的缺陷。边界描记上,手术前需医师结合肿瘤皮肤镜图像在患者体表描记手术切除边界,但肉眼的差异和绘图水平均影响着边界的面积;分区描绘上,手术程序要求准确描绘Mohs图以确定活检标本所属位置,精确的描绘很大程度上取决于医师的绘画技巧和解剖学知识。且大而深的伤口或没有表面标志的特殊位置,如头皮,使标记更加困难。此外,皮肤表面标记的象限位置也会因皮肤组织的切除而无法辨认。目前,常采用的分区方式包括,在Mohs显微切除术前,如图1-图2所示,用尼龙缝线沿切口将伤口分成几个象限进行定位;用平板电脑拍摄伤口照片,编辑照片,并用手写笔记录重要信息,如患者姓名、手术部位方向;肿瘤去除后,从伤口取出一薄层组织,将其分割成块状,并像往常一样在边界上标记色码;对于较大的伤口,事先用尼龙缝线将伤口床隔开,并将其细分成块用于冰冻切片。使用平板电脑的手写笔绘制的线条或颜色有助于标记其位置。组织块用蓝色和红色墨水染色,内部的细块组织在显微镜分析后进行绘制。这样,采用尼龙缝线定位分割可能引起手术切口的感染以及尼龙线的摩擦切割作用可能引起切口组织的损伤,且平板电脑绘制分区仍与现实中实际标本的位置对照存在着偏差。
发明内容
本发明提供了一种莫氏显微手术标记信息处理方法、系统及存储介质,以解决现有技术中存在的问题。
为了实现上述目的,本发明通过如下的技术方案来实现:
第一方面,本发明提供一种莫氏显微手术标记信息处理方法,包括:
获取临床图片和皮肤镜图片;
采用预设深度学习网络模型对所述皮肤镜图片中的肿瘤边界进行分割提取,得到皮肤镜下的皮肤肿瘤边界;
将所述皮肤肿瘤边界与临床图片进行配准,得到目标肿瘤边界;
并基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线;
将所述手术切缘路线投影于患者皮肤表面,并基于所述手术切缘路线确定创面信息,对所述创面信息进行分割处理,得到手术标记信息。
可选地,所述得到手术标记信息之后,所述方法还包括:
将所述手术标记信息以投影方式显示于患者皮肤表面,其中,投影比例为1:1。
可选地,所述创面信息包括创面面积大小或者创面厚度;所述对所述创面信息进行分割处理,得到手术标记信息,包括:
确定手术创面的纵轴和横轴,基于所述躯体的纵轴和横轴将手术创面面积划分为四部分;
将所述四部分手术创面以预设边长值进行分隔,得到多个分格,将不同分格赋予不同标记予以区分,得到所述手术标记信息。
可选地,所述预设边长值为5mm-20mm。
可选地,所述标记的类型包括:颜色或者序号。
可选地,所述基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线,包括:
确定目标肿瘤边界与临床图片的配准尺寸大小;
以配准尺寸大小为基准,等距扩大目标倍数形成手术路线,每一待切除类型对应一个目标倍数。
第二方面,本申请还提供一种基于莫氏显微手术标记信息处理系统,包括:
摄像头,用于获取临床图片信息;
皮肤镜,用于获取皮肤镜图片信息;
数据处理系统,用于采用预设深度学习网络模型对所述皮肤镜图片中的肿瘤边界进行分割提取,得到皮肤镜下的皮肤肿瘤边界;将所述皮肤肿瘤边界与临床图片进行配准,得到目标肿瘤边界;并基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线;将所述手术切缘路线投影于患者皮肤表面,并基于所述手术切缘路线确定创面信息,对所述创面信息进行分割处理,得到手术标记信息。
可选地,还包括AR投影设备,所述投影设备与所述数据处理系统连接,且所述投影设备用于将所述手术标记信息以投影方式显示于患者皮肤表面,其中,投影比例为1:1。
第三方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的方法步骤。
有益效果:
本发明提供的莫氏显微手术标记信息处理方法,将皮肤肿瘤边界与临床图片进行配准,得到目标肿瘤边界,并基于目标肿瘤边界、临床图片以及待切除肿瘤的类型规划手术切缘路线;将手术切缘路线投影于患者皮肤表面,并基于手术切缘路线确定创面信息,对创面信息进行分割处理,得到手术标记信息,这样,首先确定手术切缘路线,然后基于切缘路线确定创面信息并得到手术标记信息,可以使得到的手术标记信息更加精准,便于进一步根据手术标记信息指导医师快速准确地确定患者皮肤需要提取的组织位置。
附图说明
图1为现有技术的手术标记方式示意图之一;
图2为现有技术的手术标记方式示意图之二;
图3为本发明优选实施例的一种基于AR的显微手术标记信息处理方法的流程图之一;
图4为本发明优选实施例的一种基于AR的显微手术标记信息处理方法的流程图之二;
图5为本发明优选实施例的手术标记信息的示意图;
图6为本发明优选实施例的投影结果示意图;
图7为本发明优选实施例的AR眼镜的结构示意图。
附图标记:
1、摄像头;2、镜头;3、调节器。
具体实施方式
下面对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应理解,传统根据皮肤肿瘤皮损直接规划手术路线或根据皮肤病设计路线,前者可能由于肉眼难以判断部分疑似正常皮肤的病变区域,后者医师需不断从患者到影像的切换,增加难度的同时容易产生交互匹配的误差。在分区描绘上,较大的皮损通过传统四分象限很难准确定位残留肿瘤组织。
基于此,本申请提供一种基于AR的显微手术标记信息处理方法,一方面同时将皮肤镜图像与肉眼所见的临床图片相叠加,根据皮肤病类型自动规划扩大切除路线,手术中更精细分区以确定患者皮肤需要提取的组织位置,本申请中,通过虚拟图像、真实皮损、皮肤镜相叠加更有利于Mohs显微切除术的精确进行,且采用可穿戴眼镜,方便多方位观察,避免对手术视野的影响。
请参见图3-图4,本申请实施例提供一种莫氏显微手术标记信息处理方法,包括:
获取临床图片和皮肤镜图片;
采用预设深度学习网络模型对皮肤镜图片中的肿瘤边界进行分割提取,得到皮肤镜下的皮肤肿瘤边界;
将皮肤肿瘤边界与临床图片进行配准,得到目标肿瘤边界;
并基于目标肿瘤边界、临床图片以及待切除肿瘤的类型规划手术切缘路线;
将手术切缘路线投影于患者皮肤表面,并基于手术切缘路线确定创面信息,对创面信息进行分割处理,得到手术标记信息。
在本实施例中,可以通过平板电脑或者相关的图像采集设备获取临床图片信息,可以通过皮肤镜获取皮肤镜图片信息。其中,皮肤镜可以放大肉眼难以识别的皮肤特征,因此,采用皮肤镜获取的皮肤镜图片可以准确地捕捉到皮肤的实际信息。通过采用皮肤镜图片进行分析,可以更准确的获取到患者的皮肤实际情况。
其中,在采用预设深度学习网络模型对皮肤镜图片中的肿瘤边界进行分割提取,得到皮肤镜下的皮肤肿瘤边界之前,上述的方法还包括训练得到预设深度学习网络模型。
具体而言,预设深度学习网络模型是根据历史采集的皮肤镜图片以及该皮肤镜图片中的肿瘤边界训练得到的。在训练时,首先对历史采集的皮肤镜图片进行数据标注处理,得到不同类型的病例信息,然后将不同类型的病例信息作为初始化的深度学习网络模型的输入,病例信息对应的实际肿瘤边界作为输出,进行迭代训练,以得到预设深度学习网络模型。该预设深度学习网络模型的输入是皮肤镜图片,输出是皮肤镜图片中的肿瘤边界。
在其他示例中,还可以根据待切除肿瘤对象所在的位置和大小不同,自动扩大切除进行手术路线规划。
上述的莫氏显微手术标记信息处理方法,首先确定手术切缘路线,然后基于切缘路线确定创面信息并得到手术标记信息,可以使得到的手术标记信息更加精准,其中,手术标记信息如图5所示,这样,可以便于进一步根据手术标记信息指导医师快速准确地确定患者皮肤需要提取的组织位置。
可选地,如图6所示,得到手术标记信息之后,上述的方法还包括:
将手术标记信息以投影方式显示于患者皮肤表面,其中,投影比例为1:1。
在本可选的实施方式中,可以通过投影设备,将手术标记信息以1:1的方式投影于患者皮肤表面,便于医师开展工作。其中,投影设备可以是AR投影设备。
在另一实施例中,还可以采用AR眼镜显示手术标记信息,这样,医师通过佩戴AR眼睛,可以清楚的查看到手术标记信息。
在此基础上,上述的方法还包括:调整手术标记信息的透明度。例如,医师可以通过AR眼镜调节器调整虚拟影像的透明度;例如,调整手术切缘路线规划和分格的透明度,可通过电脑对手术规划、分区进行调整,录入患者个人信息便于存档,也可标记残余肿瘤组织所在分区。
在一示例中,一方面,医师可通过电脑或者AR眼镜进行调整路线规划;还可以通过匹配定位系统将真实图像与虚拟图像进行配对,且动作跟踪系统会根据真实图像变化调节虚拟图像,最后可携带式AR眼镜将三维真实图像与三维虚拟图像显示在同一平面。
可选地,创面信息包括创面面积大小或者创面厚度;对所述创面信息进行分割处理,得到手术标记信息,包括:
确定手术创面的纵轴和横轴,基于躯体的纵轴和横轴将手术创面面积划分为四部分;
将所述四部分手术创面以预设边长值进行分隔,得到多个分格,将不同分格赋予不同标记予以区分,得到所述手术标记信息。
其中,预设边长值为5mm-20mm。标记的类型包括:颜色或者序号。
具体而言,首先识别手术创面纵轴和横轴,按照纵轴横轴将术中图像四分,再以此为纵横轴,每隔10mm进行自动分区,自左上角按照1,2,3标记,不同边界赋予不同颜色予以区分,这样,可以避免传统四分象限定位分区模糊的局限性。
可选地,基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线,包括:
确定目标肿瘤边界与临床图片的配准尺寸大小;
以配准尺寸大小为基准,等距扩大目标倍数形成手术路线,每一待切除类型对应一个目标倍数。
其中,目标倍数的具体取值根据待切除类型确定,经过扩大目标倍数,使得确定的手术路线在边界的基础上扩大0.2-2cm,便于将病灶彻底清除。
在本可选的实施方式中,将目标肿瘤边界配准至临床图片,得到一个尺寸范围,根据不同肿瘤类型等距扩大尺寸范围自动规划手术路线,如基底细胞癌直径小于2cm,手术路线为在该直径的基础上扩大4mm形成,这样,可以实现以扩大4mm的路径进行切除,直径大于2cm,且在躯干、四肢低风险部位,扩大10mm切除。此处仅做示例,不做限定。
上述的基于莫氏显微手术标记信息处理方法,术前利用图像分割技术和皮肤镜图像进行手术规划,术中实现Mohs图的精确分区,并利用AR技术将手术规划路线和分区通过可穿戴眼镜进行显示,可以协助医师更便捷直观地对手术图像进行分析。
作为可替代的实施方式,还可以采用激光、耳机等其他AR显示方式显示手术标记信息。
本申请实施例还提供一种基于莫氏显微手术标记信息处理系统,包括:
摄像头,用于获取临床图片信息;
皮肤镜,用于获取皮肤镜图片信息;
数据处理系统,用于采用预设深度学习网络模型对所述皮肤镜图片中的肿瘤边界进行分割提取,得到皮肤镜下的皮肤肿瘤边界;将所述皮肤肿瘤边界与临床图片进行配准,得到目标肿瘤边界;并基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线;将所述手术切缘路线投影于患者皮肤表面,并基于所述手术切缘路线确定创面信息,对所述创面信息进行分割处理,得到手术标记信息。
可选地,还包括投影设备,所述投影设备与所述数据处理系统连接,且所述投影设备用于将所述手术标记信息以投影方式显示于患者皮肤表面,其中,投影比例为1:1。
可选地,如图7所示,上述的基于AR的显微手术标记信息处理系统还包括AR眼镜,AR眼镜与数据处理系统相连,且AR眼镜用于显示手术标记信息以供医师查看。
具体而言,AR眼镜包括摄像头1、镜头2以及调节器3,在使用时,医师可以通过AR眼镜的镜头2查看手术标记信息,还可以通过调节器3调整虚拟影像的透明度。
可选地,上述的基于AR的显微手术标记信息处理系统还可以包括匹配定位系统和动作跟踪系统,其中,匹配定位系统将真实图像与虚拟图像进行配对,且动作跟踪系统会根据真实图像变化调节虚拟图像,具体而言,在术前,设置一次标定,例如,可以使用棋盘格标定“张氏标定法”,应用于配准,后期如果有变化就会跟着变。最后可携带式AR眼镜将三维真实图像与三维虚拟图像显示在同一平面。
上述的基于AR的显微手术标记信息处理系统,能实现上述的基于AR的显微手术标记信息处理方法的各个实施例,且能达到相同的有益效果,此处,不做赘述。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的方法步骤。该计算机可读存储介质能实现上述的基于AR的显微手术标记信息处理方法的各个实施例,且能达到相同的有益效果,此处,不做赘述。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (9)
1.一种莫氏显微手术标记信息处理方法,其特征在于,包括:
获取临床图片和皮肤镜图片;
采用预设深度学习网络模型对所述皮肤镜图片中的肿瘤边界进行分割提取,得到皮肤镜下的皮肤肿瘤边界;
将所述皮肤肿瘤边界与临床图片进行配准,得到目标肿瘤边界;
并基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线;
将所述手术切缘路线投影于患者皮肤表面,并基于所述手术切缘路线确定创面信息,对所述创面信息进行分割处理,得到手术标记信息。
2.根据权利要求1所述的莫氏显微手术标记信息处理方法,其特征在于,所述得到手术标记信息之后,所述方法还包括:
将所述手术标记信息以投影方式显示于患者皮肤表面,其中,投影比例为1:1。
3.根据权利要求1所述的莫氏显微手术标记信息处理方法,其特征在于,所述创面信息包括创面面积大小或者创面厚度;所述对所述创面信息进行分割处理,得到手术标记信息,包括:
确定手术创面的纵轴和横轴,基于所述躯体的纵轴和横轴将手术创面面积划分为四部分;
将所述四部分手术创面以预设边长值进行分隔,得到多个分格,将不同分格赋予不同标记予以区分,得到所述手术标记信息。
4.根据权利要求3所述的莫氏显微手术标记信息处理方法,其特征在于,所述预设边长值为5mm-20mm。
5.根据权利要求3所述的莫氏显微手术标记信息处理方法,其特征在于,所述标记的类型包括:颜色或者序号。
6.根据权利要求1所述的莫氏显微手术标记信息处理方法,其特征在于,所述基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线,包括:
确定目标肿瘤边界与临床图片的配准尺寸大小;
以配准尺寸大小为基准,等距扩大目标倍数形成手术路线,每一待切除类型对应一个目标倍数。
7.一种莫氏显微手术标记信息处理系统,其特征在于,包括:
摄像头,用于获取临床图片信息;
皮肤镜,用于获取皮肤镜图片信息;
数据处理系统,用于采用预设深度学习网络模型对所述皮肤镜图片中的肿瘤边界进行分割提取,得到皮肤镜下的皮肤肿瘤边界;将所述皮肤肿瘤边界与临床图片进行配准,得到目标肿瘤边界;并基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线;将所述手术切缘路线投影于患者皮肤表面,并基于所述手术切缘路线确定创面信息,对所述创面信息进行分割处理,得到手术标记信息。
8.根据权利要求7所述的莫氏显微手术标记信息处理系统,其特征在于,还包括AR投影设备,所述投影设备与所述数据处理系统连接,且所述投影设备用于将所述手术标记信息以投影方式显示于患者皮肤表面,其中,投影比例为1:1。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210389731.4A CN114903590B (zh) | 2022-04-13 | 2022-04-13 | 一种莫氏显微手术标记信息处理方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210389731.4A CN114903590B (zh) | 2022-04-13 | 2022-04-13 | 一种莫氏显微手术标记信息处理方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114903590A CN114903590A (zh) | 2022-08-16 |
CN114903590B true CN114903590B (zh) | 2023-10-27 |
Family
ID=82765480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210389731.4A Active CN114903590B (zh) | 2022-04-13 | 2022-04-13 | 一种莫氏显微手术标记信息处理方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114903590B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115063290B (zh) * | 2022-08-17 | 2022-11-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备、系统及存储介质 |
CN117562678B (zh) * | 2024-01-08 | 2024-04-12 | 华中科技大学同济医学院附属协和医院 | 一种用于神经外科手术显微镜的辅助系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109242775A (zh) * | 2018-09-03 | 2019-01-18 | 科大讯飞股份有限公司 | 一种属性信息迁移方法、装置、设备以及可读存储介质 |
CN109223176A (zh) * | 2018-10-26 | 2019-01-18 | 中南大学湘雅三医院 | 一种手术规划系统 |
CN109685739A (zh) * | 2018-12-25 | 2019-04-26 | 中国科学院苏州生物医学工程技术研究所 | 伤口创面图像处理方法及采用该方法的伤口创面治疗系统 |
CN109730769A (zh) * | 2018-12-10 | 2019-05-10 | 华南理工大学 | 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 |
WO2020234653A1 (en) * | 2019-05-20 | 2020-11-26 | Aranz Healthcare Limited | Automated or partially automated anatomical surface assessment methods, devices and systems |
CN112132833A (zh) * | 2020-08-25 | 2020-12-25 | 沈阳工业大学 | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 |
CN112419286A (zh) * | 2020-11-27 | 2021-02-26 | 苏州斯玛维科技有限公司 | 皮肤镜图像的分割方法及其分割装置 |
CN114041755A (zh) * | 2021-11-24 | 2022-02-15 | 宁波市第六医院 | 通过前臂皮肤数据来预警骨筋膜室综合症的数据处理系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9886758B2 (en) * | 2016-03-31 | 2018-02-06 | International Business Machines Corporation | Annotation of skin image using learned feature representation |
US10198822B2 (en) * | 2016-10-27 | 2019-02-05 | International Business Machines Corporation | Systems and user interfaces for determination of electro magnetically identified lesions as included in medical images of differing perspectives |
US20210209755A1 (en) * | 2020-01-02 | 2021-07-08 | Nabin K. Mishra | Automatic lesion border selection based on morphology and color features |
-
2022
- 2022-04-13 CN CN202210389731.4A patent/CN114903590B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109242775A (zh) * | 2018-09-03 | 2019-01-18 | 科大讯飞股份有限公司 | 一种属性信息迁移方法、装置、设备以及可读存储介质 |
CN109223176A (zh) * | 2018-10-26 | 2019-01-18 | 中南大学湘雅三医院 | 一种手术规划系统 |
CN109730769A (zh) * | 2018-12-10 | 2019-05-10 | 华南理工大学 | 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 |
CN109685739A (zh) * | 2018-12-25 | 2019-04-26 | 中国科学院苏州生物医学工程技术研究所 | 伤口创面图像处理方法及采用该方法的伤口创面治疗系统 |
WO2020234653A1 (en) * | 2019-05-20 | 2020-11-26 | Aranz Healthcare Limited | Automated or partially automated anatomical surface assessment methods, devices and systems |
CN112132833A (zh) * | 2020-08-25 | 2020-12-25 | 沈阳工业大学 | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 |
CN112419286A (zh) * | 2020-11-27 | 2021-02-26 | 苏州斯玛维科技有限公司 | 皮肤镜图像的分割方法及其分割装置 |
CN114041755A (zh) * | 2021-11-24 | 2022-02-15 | 宁波市第六医院 | 通过前臂皮肤数据来预警骨筋膜室综合症的数据处理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114903590A (zh) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114903590B (zh) | 一种莫氏显微手术标记信息处理方法、系统及存储介质 | |
CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
CN109464196B (zh) | 采用结构光影像配准的手术导航系统及配准信号采集方法 | |
CN106952347B (zh) | 一种基于双目视觉的超声手术辅助导航系统 | |
CN107358595B (zh) | 用于肝叶分割和术前手术规划的方法和系统 | |
CN107456278B (zh) | 一种内窥镜手术导航方法和系统 | |
CN107689045B (zh) | 内窥镜微创手术导航的图像显示方法、装置及系统 | |
CN114145846B (zh) | 基于增强现实辅助的手术导航方法及系统 | |
CN112641514B (zh) | 一种微创介入导航系统与方法 | |
CN106127753B (zh) | 一种外科手术中ct影像体表人工标记自动提取方法 | |
CN112907642B (zh) | 一种配准重合的方法、系统、存储介质及设备 | |
CN107392916A (zh) | 一种3d肺表面投影肺结节定位系统及方法 | |
Sadda et al. | Surgical navigation with a head-mounted tracking system and display | |
KR102302483B1 (ko) | 3차원 수술 항법 시스템을 위한 정밀 얼굴 정합 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
CN110720985A (zh) | 一种多模式引导的手术导航方法和系统 | |
Hussain et al. | Real-time augmented reality for ear surgery | |
WO2022206435A1 (zh) | 一种手术导航系统、方法、电子设备和可读存储介质 | |
CN112043378A (zh) | 对人进行导航支持以关于切除部分进行导航的方法和系统 | |
CN113274130A (zh) | 用于光学手术导航系统的无标记手术注册方法 | |
KR20230013041A (ko) | 딥러닝을 기반으로 절제 부위를 정하는 방법 | |
CN111728695A (zh) | 一种用于开颅手术的光束辅助定位方法及定位系统 | |
US20240185448A1 (en) | Dynamic position recognition and prompt system and method | |
CN108143501B (zh) | 一种基于体表静脉特征的解剖投影方法 | |
DK2621329T3 (en) | DEVICE FOR SUPPORTING A SURGICAL TREATMENT OF AN EYE | |
CN116012328A (zh) | 腔道分支点的检测方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |