CN114903590A - 一种莫氏显微手术标记信息处理方法、系统及存储介质 - Google Patents

一种莫氏显微手术标记信息处理方法、系统及存储介质 Download PDF

Info

Publication number
CN114903590A
CN114903590A CN202210389731.4A CN202210389731A CN114903590A CN 114903590 A CN114903590 A CN 114903590A CN 202210389731 A CN202210389731 A CN 202210389731A CN 114903590 A CN114903590 A CN 114903590A
Authority
CN
China
Prior art keywords
surgical
skin
information
tumor boundary
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210389731.4A
Other languages
English (en)
Other versions
CN114903590B (zh
Inventor
赵爽
黄凯
陈翔
蒋梓汐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangya Hospital of Central South University
Original Assignee
Xiangya Hospital of Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangya Hospital of Central South University filed Critical Xiangya Hospital of Central South University
Priority to CN202210389731.4A priority Critical patent/CN114903590B/zh
Publication of CN114903590A publication Critical patent/CN114903590A/zh
Application granted granted Critical
Publication of CN114903590B publication Critical patent/CN114903590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及手术标记信息处理技术领域，公开了一种莫氏显微手术标记信息处理方法、系统及存储介质，该方法获取临床图片和皮肤镜图片；采用预设深度学习网络模型对皮肤镜图片中的肿瘤边界进行分割提取，得到皮肤镜下的皮肤肿瘤边界，将皮肤肿瘤边界与临床图片进行配准，得到目标肿瘤边界，并基于目标肿瘤边界、临床图片以及待切除肿瘤的类型规划手术切缘路线；将手术切缘路线投影于患者皮肤表面，并基于手术切缘路线确定创面信息，对创面信息进行分割处理，得到手术标记信息，这样，可以使得到的手术标记信息更加精准，便于进一步根据手术标记信息指导医师快速准确地确定患者皮肤需要提取的组织位置。

Description

一种莫氏显微手术标记信息处理方法、系统及存储介质
技术领域
本发明涉及手术标记信息处理技术领域，尤其涉及一种莫氏显微手术标记信息处理方法、系统及存储介质。
背景技术
Mohs(莫氏)显微切除术是运用快速水平冰冻切片在显微镜下准确检测皮肤肿瘤边缘是否被切除干净，并将皮肤肿瘤切除的一种方法。Mohs显微切除术的最大优点是去除所有的肿瘤，又能保证术后皮肤缺损最小。但目前Mohs显微切除术在皮肤肿瘤切除应用中的边界描记和分区描绘仍存在一定的缺陷。边界描记上，手术前需医师结合肿瘤皮肤镜图像在患者体表描记手术切除边界，但肉眼的差异和绘图水平均影响着边界的面积；分区描绘上，手术程序要求准确描绘Mohs图以确定活检标本所属位置，精确的描绘很大程度上取决于医师的绘画技巧和解剖学知识。且大而深的伤口或没有表面标志的特殊位置，如头皮，使标记更加困难。此外，皮肤表面标记的象限位置也会因皮肤组织的切除而无法辨认。目前，常采用的分区方式包括，在Mohs显微切除术前，如图1-图2所示，用尼龙缝线沿切口将伤口分成几个象限进行定位；用平板电脑拍摄伤口照片，编辑照片，并用手写笔记录重要信息，如患者姓名、手术部位方向；肿瘤去除后，从伤口取出一薄层组织，将其分割成块状，并像往常一样在边界上标记色码；对于较大的伤口，事先用尼龙缝线将伤口床隔开，并将其细分成块用于冰冻切片。使用平板电脑的手写笔绘制的线条或颜色有助于标记其位置。组织块用蓝色和红色墨水染色，内部的细块组织在显微镜分析后进行绘制。这样，采用尼龙缝线定位分割可能引起手术切口的感染以及尼龙线的摩擦切割作用可能引起切口组织的损伤，且平板电脑绘制分区仍与现实中实际标本的位置对照存在着偏差。
发明内容
本发明提供了一种莫氏显微手术标记信息处理方法、系统及存储介质，以解决现有技术中存在的问题。
为了实现上述目的，本发明通过如下的技术方案来实现：
第一方面，本发明提供一种莫氏显微手术标记信息处理方法，包括：
获取临床图片和皮肤镜图片；
采用预设深度学习网络模型对所述皮肤镜图片中的肿瘤边界进行分割提取，得到皮肤镜下的皮肤肿瘤边界；
将所述皮肤肿瘤边界与临床图片进行配准，得到目标肿瘤边界；
并基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线；
将所述手术切缘路线投影于患者皮肤表面，并基于所述手术切缘路线确定创面信息，对所述创面信息进行分割处理，得到手术标记信息。
可选地，所述得到手术标记信息之后，所述方法还包括：
将所述手术标记信息以投影方式显示于患者皮肤表面，其中，投影比例为1:1。
可选地，所述创面信息包括创面面积大小或者创面厚度；所述对所述创面信息进行分割处理，得到手术标记信息，包括：
确定手术创面的纵轴和横轴，基于所述躯体的纵轴和横轴将手术创面面积划分为四部分；
将所述四部分手术创面以预设边长值进行分隔，得到多个分格，将不同分格赋予不同标记予以区分，得到所述手术标记信息。
可选地，所述预设边长值为5mm-20mm。
可选地，所述标记的类型包括：颜色或者序号。
可选地，所述基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线，包括：
确定目标肿瘤边界与临床图片的配准尺寸大小；
以配准尺寸大小为基准，等距扩大目标倍数形成手术路线，每一待切除类型对应一个目标倍数。
第二方面，本申请还提供一种基于莫氏显微手术标记信息处理系统，包括：
摄像头，用于获取临床图片信息；
皮肤镜，用于获取皮肤镜图片信息；
数据处理系统，用于采用预设深度学习网络模型对所述皮肤镜图片中的肿瘤边界进行分割提取，得到皮肤镜下的皮肤肿瘤边界；将所述皮肤肿瘤边界与临床图片进行配准，得到目标肿瘤边界；并基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线；将所述手术切缘路线投影于患者皮肤表面，并基于所述手术切缘路线确定创面信息，对所述创面信息进行分割处理，得到手术标记信息。
可选地，还包括AR投影设备，所述投影设备与所述数据处理系统连接，且所述投影设备用于将所述手术标记信息以投影方式显示于患者皮肤表面，其中，投影比例为1:1。
第三方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法步骤。
有益效果：
本发明提供的莫氏显微手术标记信息处理方法，将皮肤肿瘤边界与临床图片进行配准，得到目标肿瘤边界，并基于目标肿瘤边界、临床图片以及待切除肿瘤的类型规划手术切缘路线；将手术切缘路线投影于患者皮肤表面，并基于手术切缘路线确定创面信息，对创面信息进行分割处理，得到手术标记信息，这样，首先确定手术切缘路线，然后基于切缘路线确定创面信息并得到手术标记信息，可以使得到的手术标记信息更加精准，便于进一步根据手术标记信息指导医师快速准确地确定患者皮肤需要提取的组织位置。
附图说明
图1为现有技术的手术标记方式示意图之一；
图2为现有技术的手术标记方式示意图之二；
图3为本发明优选实施例的一种基于AR的显微手术标记信息处理方法的流程图之一；
图4为本发明优选实施例的一种基于AR的显微手术标记信息处理方法的流程图之二；
图5为本发明优选实施例的手术标记信息的示意图；
图6为本发明优选实施例的投影结果示意图；
图7为本发明优选实施例的AR眼镜的结构示意图。
附图标记：
1、摄像头；2、镜头；3、调节器。
具体实施方式
下面对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应理解，传统根据皮肤肿瘤皮损直接规划手术路线或根据皮肤病设计路线，前者可能由于肉眼难以判断部分疑似正常皮肤的病变区域，后者医师需不断从患者到影像的切换，增加难度的同时容易产生交互匹配的误差。在分区描绘上，较大的皮损通过传统四分象限很难准确定位残留肿瘤组织。
基于此，本申请提供一种基于AR的显微手术标记信息处理方法，一方面同时将皮肤镜图像与肉眼所见的临床图片相叠加，根据皮肤病类型自动规划扩大切除路线，手术中更精细分区以确定患者皮肤需要提取的组织位置，本申请中，通过虚拟图像、真实皮损、皮肤镜相叠加更有利于Mohs显微切除术的精确进行，且采用可穿戴眼镜，方便多方位观察，避免对手术视野的影响。
请参见图3-图4，本申请实施例提供一种莫氏显微手术标记信息处理方法，包括：
获取临床图片和皮肤镜图片；
采用预设深度学习网络模型对皮肤镜图片中的肿瘤边界进行分割提取，得到皮肤镜下的皮肤肿瘤边界；
将皮肤肿瘤边界与临床图片进行配准，得到目标肿瘤边界；
并基于目标肿瘤边界、临床图片以及待切除肿瘤的类型规划手术切缘路线；
将手术切缘路线投影于患者皮肤表面，并基于手术切缘路线确定创面信息，对创面信息进行分割处理，得到手术标记信息。
在本实施例中，可以通过平板电脑或者相关的图像采集设备获取临床图片信息，可以通过皮肤镜获取皮肤镜图片信息。其中，皮肤镜可以放大肉眼难以识别的皮肤特征，因此，采用皮肤镜获取的皮肤镜图片可以准确地捕捉到皮肤的实际信息。通过采用皮肤镜图片进行分析，可以更准确的获取到患者的皮肤实际情况。
其中，在采用预设深度学习网络模型对皮肤镜图片中的肿瘤边界进行分割提取，得到皮肤镜下的皮肤肿瘤边界之前，上述的方法还包括训练得到预设深度学习网络模型。
具体而言，预设深度学习网络模型是根据历史采集的皮肤镜图片以及该皮肤镜图片中的肿瘤边界训练得到的。在训练时，首先对历史采集的皮肤镜图片进行数据标注处理，得到不同类型的病例信息，然后将不同类型的病例信息作为初始化的深度学习网络模型的输入，病例信息对应的实际肿瘤边界作为输出，进行迭代训练，以得到预设深度学习网络模型。该预设深度学习网络模型的输入是皮肤镜图片，输出是皮肤镜图片中的肿瘤边界。
在其他示例中，还可以根据待切除肿瘤对象所在的位置和大小不同，自动扩大切除进行手术路线规划。
上述的莫氏显微手术标记信息处理方法，首先确定手术切缘路线，然后基于切缘路线确定创面信息并得到手术标记信息，可以使得到的手术标记信息更加精准，其中，手术标记信息如图5所示，这样，可以便于进一步根据手术标记信息指导医师快速准确地确定患者皮肤需要提取的组织位置。
可选地，如图6所示，得到手术标记信息之后，上述的方法还包括：
将手术标记信息以投影方式显示于患者皮肤表面，其中，投影比例为1:1。
在本可选的实施方式中，可以通过投影设备，将手术标记信息以1:1的方式投影于患者皮肤表面，便于医师开展工作。其中，投影设备可以是AR投影设备。
在另一实施例中，还可以采用AR眼镜显示手术标记信息，这样，医师通过佩戴AR眼睛，可以清楚的查看到手术标记信息。
在此基础上，上述的方法还包括：调整手术标记信息的透明度。例如，医师可以通过AR眼镜调节器调整虚拟影像的透明度；例如，调整手术切缘路线规划和分格的透明度，可通过电脑对手术规划、分区进行调整，录入患者个人信息便于存档，也可标记残余肿瘤组织所在分区。
在一示例中，一方面，医师可通过电脑或者AR眼镜进行调整路线规划；还可以通过匹配定位系统将真实图像与虚拟图像进行配对，且动作跟踪系统会根据真实图像变化调节虚拟图像，最后可携带式AR眼镜将三维真实图像与三维虚拟图像显示在同一平面。
可选地，创面信息包括创面面积大小或者创面厚度；对所述创面信息进行分割处理，得到手术标记信息，包括：
确定手术创面的纵轴和横轴，基于躯体的纵轴和横轴将手术创面面积划分为四部分；
将所述四部分手术创面以预设边长值进行分隔，得到多个分格，将不同分格赋予不同标记予以区分，得到所述手术标记信息。
其中，预设边长值为5mm-20mm。标记的类型包括：颜色或者序号。
具体而言，首先识别手术创面纵轴和横轴，按照纵轴横轴将术中图像四分，再以此为纵横轴，每隔10mm进行自动分区，自左上角按照1,2,3标记，不同边界赋予不同颜色予以区分，这样，可以避免传统四分象限定位分区模糊的局限性。
可选地，基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线，包括：
确定目标肿瘤边界与临床图片的配准尺寸大小；
以配准尺寸大小为基准，等距扩大目标倍数形成手术路线，每一待切除类型对应一个目标倍数。
其中，目标倍数的具体取值根据待切除类型确定，经过扩大目标倍数，使得确定的手术路线在边界的基础上扩大0.2-2cm，便于将病灶彻底清除。
在本可选的实施方式中，将目标肿瘤边界配准至临床图片，得到一个尺寸范围，根据不同肿瘤类型等距扩大尺寸范围自动规划手术路线，如基底细胞癌直径小于2cm，手术路线为在该直径的基础上扩大4mm形成，这样，可以实现以扩大4mm的路径进行切除，直径大于2cm，且在躯干、四肢低风险部位，扩大10mm切除。此处仅做示例，不做限定。
上述的基于莫氏显微手术标记信息处理方法，术前利用图像分割技术和皮肤镜图像进行手术规划，术中实现Mohs图的精确分区，并利用AR技术将手术规划路线和分区通过可穿戴眼镜进行显示，可以协助医师更便捷直观地对手术图像进行分析。
作为可替代的实施方式，还可以采用激光、耳机等其他AR显示方式显示手术标记信息。
本申请实施例还提供一种基于莫氏显微手术标记信息处理系统，包括：
摄像头，用于获取临床图片信息；
皮肤镜，用于获取皮肤镜图片信息；
数据处理系统，用于采用预设深度学习网络模型对所述皮肤镜图片中的肿瘤边界进行分割提取，得到皮肤镜下的皮肤肿瘤边界；将所述皮肤肿瘤边界与临床图片进行配准，得到目标肿瘤边界；并基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线；将所述手术切缘路线投影于患者皮肤表面，并基于所述手术切缘路线确定创面信息，对所述创面信息进行分割处理，得到手术标记信息。
可选地，还包括投影设备，所述投影设备与所述数据处理系统连接，且所述投影设备用于将所述手术标记信息以投影方式显示于患者皮肤表面，其中，投影比例为1:1。
可选地，如图7所示，上述的基于AR的显微手术标记信息处理系统还包括AR眼镜，AR眼镜与数据处理系统相连，且AR眼镜用于显示手术标记信息以供医师查看。
具体而言，AR眼镜包括摄像头1、镜头2以及调节器3，在使用时，医师可以通过AR眼镜的镜头2查看手术标记信息，还可以通过调节器3调整虚拟影像的透明度。
可选地，上述的基于AR的显微手术标记信息处理系统还可以包括匹配定位系统和动作跟踪系统，其中，匹配定位系统将真实图像与虚拟图像进行配对，且动作跟踪系统会根据真实图像变化调节虚拟图像，具体而言，在术前，设置一次标定，例如，可以使用棋盘格标定“张氏标定法”，应用于配准，后期如果有变化就会跟着变。最后可携带式AR眼镜将三维真实图像与三维虚拟图像显示在同一平面。
上述的基于AR的显微手术标记信息处理系统，能实现上述的基于AR的显微手术标记信息处理方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的方法步骤。该计算机可读存储介质能实现上述的基于AR的显微手术标记信息处理方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种莫氏显微手术标记信息处理方法，其特征在于，包括：
获取临床图片和皮肤镜图片；
采用预设深度学习网络模型对所述皮肤镜图片中的肿瘤边界进行分割提取，得到皮肤镜下的皮肤肿瘤边界；
将所述皮肤肿瘤边界与临床图片进行配准，得到目标肿瘤边界；
并基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线；
将所述手术切缘路线投影于患者皮肤表面，并基于所述手术切缘路线确定创面信息，对所述创面信息进行分割处理，得到手术标记信息。
2.根据权利要求1所述的基于莫氏显微手术标记信息处理方法，其特征在于，所述得到手术标记信息之后，所述方法还包括：
将所述手术标记信息以投影方式显示于患者皮肤表面，其中，投影比例为1:1。
3.根据权利要求1所述的基于莫氏显微手术标记信息处理方法，其特征在于，所述创面信息包括创面面积大小或者创面厚度；所述对所述创面信息进行分割处理，得到手术标记信息，包括：
确定手术创面的纵轴和横轴，基于所述躯体的纵轴和横轴将手术创面面积划分为四部分；
将所述四部分手术创面以预设边长值进行分隔，得到多个分格，将不同分格赋予不同标记予以区分，得到所述手术标记信息。
4.根据权利要求3所述的基于莫氏显微手术标记信息处理方法，其特征在于，所述预设边长值为5mm-20mm。
5.根据权利要求3所述的基于莫氏显微手术标记信息处理方法，其特征在于，所述标记的类型包括：颜色或者序号。
6.根据权利要求1所述的基于莫氏显微手术标记信息处理方法，其特征在于，所述基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线，包括：
确定目标肿瘤边界与临床图片的配准尺寸大小；
以配准尺寸大小为基准，等距扩大目标倍数形成手术路线，每一待切除类型对应一个目标倍数。
7.一种基于莫氏显微手术标记信息处理系统，其特征在于，包括：
摄像头，用于获取临床图片信息；
皮肤镜，用于获取皮肤镜图片信息；
数据处理系统，用于采用预设深度学习网络模型对所述皮肤镜图片中的肿瘤边界进行分割提取，得到皮肤镜下的皮肤肿瘤边界；将所述皮肤肿瘤边界与临床图片进行配准，得到目标肿瘤边界；并基于所述目标肿瘤边界、所述临床图片以及待切除肿瘤的类型规划手术切缘路线；将所述手术切缘路线投影于患者皮肤表面，并基于所述手术切缘路线确定创面信息，对所述创面信息进行分割处理，得到手术标记信息。
8.根据权利要求7所述的基于莫氏显微手术标记信息处理系统，其特征在于，还包括AR投影设备，所述投影设备与所述数据处理系统连接，且所述投影设备用于将所述手术标记信息以投影方式显示于患者皮肤表面，其中，投影比例为1:1。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法步骤。
CN202210389731.4A 2022-04-13 2022-04-13 一种莫氏显微手术标记信息处理方法、系统及存储介质 Active CN114903590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210389731.4A CN114903590B (zh) 2022-04-13 2022-04-13 一种莫氏显微手术标记信息处理方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210389731.4A CN114903590B (zh) 2022-04-13 2022-04-13 一种莫氏显微手术标记信息处理方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114903590A true CN114903590A (zh) 2022-08-16
CN114903590B CN114903590B (zh) 2023-10-27

Family

ID=82765480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210389731.4A Active CN114903590B (zh) 2022-04-13 2022-04-13 一种莫氏显微手术标记信息处理方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114903590B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063290A (zh) * 2022-08-17 2022-09-16 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、系统及存储介质
CN117562678A (zh) * 2024-01-08 2024-02-20 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170287134A1 (en) * 2016-03-31 2017-10-05 International Business Machines Corporation Annotation of skin image using learned feature
US20180122067A1 (en) * 2016-10-27 2018-05-03 D.R. Systems, Inc. Systems and user interfaces for determination of electro magnetically identified lesions as included in medical images of differing perspectives
CN109242775A (zh) * 2018-09-03 2019-01-18 科大讯飞股份有限公司 一种属性信息迁移方法、装置、设备以及可读存储介质
CN109223176A (zh) * 2018-10-26 2019-01-18 中南大学湘雅三医院 一种手术规划系统
CN109685739A (zh) * 2018-12-25 2019-04-26 中国科学院苏州生物医学工程技术研究所 伤口创面图像处理方法及采用该方法的伤口创面治疗系统
CN109730769A (zh) * 2018-12-10 2019-05-10 华南理工大学 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统
WO2020234653A1 (en) * 2019-05-20 2020-11-26 Aranz Healthcare Limited Automated or partially automated anatomical surface assessment methods, devices and systems
CN112132833A (zh) * 2020-08-25 2020-12-25 沈阳工业大学 一种基于深度卷积神经网络的皮肤病图像病灶分割方法
CN112419286A (zh) * 2020-11-27 2021-02-26 苏州斯玛维科技有限公司 皮肤镜图像的分割方法及其分割装置
US20210209755A1 (en) * 2020-01-02 2021-07-08 Nabin K. Mishra Automatic lesion border selection based on morphology and color features
CN114041755A (zh) * 2021-11-24 2022-02-15 宁波市第六医院 通过前臂皮肤数据来预警骨筋膜室综合症的数据处理系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170287134A1 (en) * 2016-03-31 2017-10-05 International Business Machines Corporation Annotation of skin image using learned feature
US20180122067A1 (en) * 2016-10-27 2018-05-03 D.R. Systems, Inc. Systems and user interfaces for determination of electro magnetically identified lesions as included in medical images of differing perspectives
CN109242775A (zh) * 2018-09-03 2019-01-18 科大讯飞股份有限公司 一种属性信息迁移方法、装置、设备以及可读存储介质
CN109223176A (zh) * 2018-10-26 2019-01-18 中南大学湘雅三医院 一种手术规划系统
CN109730769A (zh) * 2018-12-10 2019-05-10 华南理工大学 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统
CN109685739A (zh) * 2018-12-25 2019-04-26 中国科学院苏州生物医学工程技术研究所 伤口创面图像处理方法及采用该方法的伤口创面治疗系统
WO2020234653A1 (en) * 2019-05-20 2020-11-26 Aranz Healthcare Limited Automated or partially automated anatomical surface assessment methods, devices and systems
US20220215538A1 (en) * 2019-05-20 2022-07-07 Aranz Healthcare Limited Automated or partially automated anatomical surface assessment methods, devices and systems
US20210209755A1 (en) * 2020-01-02 2021-07-08 Nabin K. Mishra Automatic lesion border selection based on morphology and color features
CN112132833A (zh) * 2020-08-25 2020-12-25 沈阳工业大学 一种基于深度卷积神经网络的皮肤病图像病灶分割方法
CN112419286A (zh) * 2020-11-27 2021-02-26 苏州斯玛维科技有限公司 皮肤镜图像的分割方法及其分割装置
CN114041755A (zh) * 2021-11-24 2022-02-15 宁波市第六医院 通过前臂皮肤数据来预警骨筋膜室综合症的数据处理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063290A (zh) * 2022-08-17 2022-09-16 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、系统及存储介质
CN117562678A (zh) * 2024-01-08 2024-02-20 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统
CN117562678B (zh) * 2024-01-08 2024-04-12 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Also Published As

Publication number Publication date
CN114903590B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN114903590B (zh) 一种莫氏显微手术标记信息处理方法、系统及存储介质
CN107456278B (zh) 一种内窥镜手术导航方法和系统
CN107689045B (zh) 内窥镜微创手术导航的图像显示方法、装置及系统
CN106952347B (zh) 一种基于双目视觉的超声手术辅助导航系统
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
US8945140B2 (en) Surgical procedures using instrument to boundary spacing information extracted from real-time diagnostic scan data
CN108294814A (zh) 一种基于混合现实的颅内穿刺定位方法
CN114145846B (zh) 基于增强现实辅助的手术导航方法及系统
US7744607B2 (en) Marking catheter for placement using frameless stereotaxy and use thereof
CN106127753B (zh) 一种外科手术中ct影像体表人工标记自动提取方法
CN111466935B (zh) 医学成像设备、用于支持医务人员的方法和存储介质
Rau et al. Characterizing the size of the target region for atraumatic opening of the cochlea through the facial recess
US20220270263A1 (en) Computed tomography to fluoroscopy registration using segmented inputs
CN116196098A (zh) 一种植发规划方案生成方法、系统、介质及电子设备
CN113274130A (zh) 用于光学手术导航系统的无标记手术注册方法
JP2023526909A (ja) ディープラーニングに基づいてアブレーション領域を決定する方法
CA3180841A1 (en) Using real-time images for augmented-reality visualization of an ophthalmic surgical tool
Kavoussi et al. Accuracy of touch-based registration during robotic image-guided partial nephrectomy before and after tumor resection in validated phantoms
CN111728695A (zh) 一种用于开颅手术的光束辅助定位方法及定位系统
DK2621329T3 (en) DEVICE FOR SUPPORTING A SURGICAL TREATMENT OF AN EYE
CN114334096A (zh) 基于医学影像的术中辅助显示方法、装置及存储介质
Gonzalez et al. The vascuLens: a handsfree projector-based augmented reality system for surgical guidance during DIEP flap harvest
Grimson Medical applications of image understanding
CN115063290B (zh) 图像处理方法、装置、设备、系统及存储介质
CN116459013B (zh) 一种基于3d视觉识别的协作机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant