CN113786239B - 胃部消化道下手术器械追踪和实时预警的方法和系统 - Google Patents

胃部消化道下手术器械追踪和实时预警的方法和系统 Download PDF

Info

Publication number
CN113786239B
CN113786239B CN202110988923.2A CN202110988923A CN113786239B CN 113786239 B CN113786239 B CN 113786239B CN 202110988923 A CN202110988923 A CN 202110988923A CN 113786239 B CN113786239 B CN 113786239B
Authority
CN
China
Prior art keywords
instrument
soft tissue
displacement
image
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110988923.2A
Other languages
English (en)
Other versions
CN113786239A (zh
Inventor
宋霜
谭佳豪
王焦乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202110988923.2A priority Critical patent/CN113786239B/zh
Publication of CN113786239A publication Critical patent/CN113786239A/zh
Application granted granted Critical
Publication of CN113786239B publication Critical patent/CN113786239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种胃部消化道下手术器械追踪和实时预警的方法及系统，该方法包括图像预处理，获得可直接处理的核心视频图像信息；手术器械识别与分割，采用HSV颜色空间变换和阈值识别、最大轮廓提取与器械分割，获得器械末端位置点；手术器械追踪预警，包括：位置标尺变换、角点检测、光流跟踪、实时预警。本发明的技术方案利用单目内窥镜采集到的视频数据，通过HSV颜色分割有效识别出器械本体，再进一步通过标尺变换以及角点检测来追踪器械的位移和软组织的形变，通过分析位移及形变大小来设置安全阈值，达到安全预警的功能，有效保障了手术过程中医生的安全操作和患者的人身安全。

Description

胃部消化道下手术器械追踪和实时预警的方法和系统
技术领域
本发明涉及医疗器械技术领域，尤其涉及一种胃部消化道下手术器械追踪和实时预警的方法和系统。
背景技术
为了解决单器械内镜切割手术操作空间小的难题，人们开始研发多器械辅助的内镜微创手术机器人方法，通过辅助器械的应用，让手术刀获得更大的操作空间，同时保证手术的安全性。其中，最重要的辅助器械便是手术钳。在手术中，手术钳通过对消化道粘膜的夹取、提拉等操作，充分暴露粘膜下层，为内镜手术提供了极大的可操作空间。
然而，辅助器械的引入，也给内镜微创手术带来了额外的安全隐患。内镜手术严重依赖医生精细操作，但由于手术过程中缺乏操作力的反馈，触感信息缺失，医生难以合理评估辅助器械夹持，拉拽等操作的安全性，容易误操作导致软组织撕裂，引发组织大出血，危及病人生命安全。所以，传统内镜微创手术中，医生不仅要保证手术的顺利进行，还要分心去保证器械与软组织交互的安全，这极大增加了医生的负担，降低了内镜手术的安全性，阻碍了内镜微创手术的进一步发展。针对这些问题，目前研究的新方向是如何利用磁场在患者体外远程对活检装置进行驱动。因此，为了保障多器械内镜微创手术中辅助器械与软组织交互的安全，研发一套消化内镜微创手术机器人器械追踪和交互安全预警方法，是确保术中安全的关键问题。
发明内容
针对以上技术问题，本发明公开了一种胃部消化道下手术器械追踪和实时预警的方法和系统，实现在胃消化道手术过程中的实时追踪与安全预警的功能，降低了医生在手术过程中使用机器人操作的负担，同时在手术过程保障病人的安全。
对此，本发明采用的技术方案为：
一种胃部消化道下手术器械追踪和实时预警方法，其包括：
步骤S1，对获取的单目内窥镜术中实时影像进行图像预处理，获得可直接处理的核心视频图像信息；
步骤S2，手术器械识别与分割，采用HSV颜色空间变换和阈值识别、最大轮廓提取与器械分割，获得器械末端位置点；
步骤S3，手术器械追踪预警，包括：通过标尺变换，把二维图像特征转换到三维位移和形变上，得到每像素点所占长度，以此作为单位计算末端位置点在不同帧下所移动的距离，从而得到器械末端位置点的位移大小；通过角点检测确定软组织上的指定个数特征点；借助光流追踪这些特征点，实时获取器械和软组织相较开始时刻的位移以及形变；并设定安全阈值以对拉扯状态进行判断：当器械末端位置点和软组织整体形变同时大于设定的阈值时，判断为状态不安全，并发出预警信号，可以发出信号要求器械立刻停止夹取和拉扯状态。
进一步的，步骤S1具体包括：图像格式转换、鱼眼畸变校正、中心区域图像保留与裁剪。
作为本发明的进一步改进，步骤S1图像预处理包括：将图像从内窥镜采集格式变换到图像后期处理所需格式，再借助现有的鱼眼内窥镜的内参和外参进行标定实验，完成单目鱼眼内窥镜摄像头的畸变校正，得到几乎不受畸变影响的图像，最后进行图像裁剪，保留图像中手术器械夹持软组织的区域，获得可直接处理的核心视频图像信息。
作为本发明的进一步改进，步骤S2包括：利用HSV颜色空间变换，确定器械在实验环境下所适用的色调H、饱和度S和明度V的阈值范围，得到器械的粗略轮廓；借助最大轮廓提取，分割和绘制出器械的轮廓以及外接最小矩形，同时借助器械末端始终出现在图像中心点附近的先验信息确定器械末端对应矩形的短边中点，以该点的位置代表器械末端位置点。
作为本发明的进一步改进，所述器械末端采用如下步骤进行确定：
在输入为手术器械最小外接矩形四个端点(p0,p1,p2,p3)时，取任意邻边的欧拉距离进行比较，若ED(p0,p3)<ED(p0,p1)，则确定最小外接矩形短边为(p0,p3)和(p1,p2)；考虑两条短边中点到图像中点的距离，如果有ED(mid(p0,p3),Oc)<ED(mid(p1,p2),Oc)，则确定器械末端短边为中点为(p0,p3)，对应器械末端点为短边中点mid(p0,p3)；反之，其他三种情况可以同理推得器械末端位置。
作为本发明的进一步改进，先进行动物离体实验，所述动物离体实验所需要的用具包括单目内窥镜、标准手术夹钳、动物胃部器官、两组电机驱动单元和一组应力检测单元。
作为本发明的进一步改进，所述安全阈值通过动物离体实验中得到的拉力和位移形变的关系函数设定；
所述动物离体实验中，首先将单目摄像头连接电脑以记录影像，调节光源亮度和摄像头焦距以获得清晰成像，然后用手术钳夹持拉拽软组织凸起，模拟手术器械与生物软组织的交互过程，最后记录并存档整个手术过程，从而得到模拟手术视频集；
其中，所述模拟手术视频集包括多段有效器械拉拽视频，同时借助多次实验采集得到的位移和拉力关系，对多组实验数据的散点图进行拟合，得到拉力和位移形变的关系函数，从而确定安全阈值。
进一步的，所述单目内窥镜为手术标准1/10’CCD镜头。
作为本发明的进一步改进，所述光流追踪中，基于特征点的整体位移大小，当连续三帧特征点整体位移大于指定阈值且有变大的趋势时开始检测，进行形变的安全性判断；在拉扯断裂时，特征点位移随着软组织的回弹而出现一个骤降，通过对比相邻帧和相间帧的位移变化情况，判断结束。
进一步的，所述光流追踪中，软组织形变安全性识别判断开始算法，可以基于特征点的整体位移大小进行判断，在不考虑外部振动的情况下，当连续三帧特征点整体位移大于指定阈值且有变大的趋势时，则开始检测，进行形变的安全性判断。
进一步的，所述光流追踪中，对于软组织形变安全性识别的判断结束算法，具体思路是根据在拉扯过程中的先验信息：随着软组织的位移，每一帧特征点的平均位移会随着帧数的增大而增大；但在拉扯断裂时，特征点位移会随着软组织的回弹而出现一个骤降，通过对比相邻帧和相间帧的位移变化情况，从而判断出结束时刻。
本发明还公开了一种胃部消化道下手术器械追踪和实时预警的系统，其包括：
图像预处理模块，对获取的单目内窥镜术中实时影像进行图像预处理，获得可直接处理的核心视频图像信息；
手术器械识别与分割模块，采用HSV颜色空间变换和阈值识别、最大轮廓提取与器械分割，获得器械末端位置点；
手术器械追踪预警模块，通过标尺变换，把二维图像特征转换到三维位移和形变上，得到每像素点所占长度，以此作为单位计算末端位置点在不同帧下所移动的距离，从而得到器械末端位置点的位移大小；通过角点检测确定软组织上的指定个数特征点；借助光流追踪这些特征点，实时获取器械和软组织相较开始时刻的位移以及形变；并设定安全阈值以对拉扯状态进行判断：当器械末端位置点和软组织整体形变同时大于设定的阈值时，判断为状态不安全，并发出预警信号。
作为本发明的进一步改进，所述图像预处理模块将图像从内窥镜采集格式变换到图像后期处理所需格式，再借助鱼眼内窥镜的内参和外参进行标定实验，完成单目鱼眼内窥镜摄像头的畸变校正，得到不受畸变影响的图像，最后进行图像裁剪，保留图像中手术器械夹持软组织的区域，获得可直接处理的核心视频图像信息。
作为本发明的进一步改进，所述手术器械识别与分割模块利用HSV颜色空间变换，确定器械在实验环境下所适用的色调H、饱和度S和明度V的阈值范围，得到器械的粗略轮廓；借助最大轮廓提取，分割和绘制出器械的轮廓以及外接最小矩形，同时借助器械末端始终出现在图像中心点附近的先验信息确定器械末端对应矩形的短边中点，以该点的位置代表器械末端位置点。
作为本发明的进一步改进，所述手术器械识别与分割包括器械末端推理模块，所述器械末端推理模块采用如下步骤进行确定器械末端：
在输入为手术器械最小外接矩形四个端点(p0,p1,p2,p3)时，取任意邻边的欧拉距离进行比较，若ED(p0,p3)<ED(p0,p1)，则确定最小外接矩形短边为(p0,p3)和(p1,p2)；考虑两条短边中点到图像中点的距离，如果有ED(mid(p0,p3),Oc)<ED(mid(p1,p2),Oc)，则确定器械末端短边为中点为(p0,p3)，对应器械末端点为短边中点mid(p0,p3)；反之，其他三种情况可以同理推得器械末端位置。
作为本发明的进一步改进，所述手术器械追踪预警模块包括软组织形变安全性识别模块，所述软组织形变安全性识别模块基于特征点的整体位移大小进行识别，当连续三帧特征点整体位移大于指定阈值且有变大的趋势时，则软组织形变安全性识别模块开始检测，进行形变的安全性判断；软组织形变安全性识别模块根据在拉扯过程中的先验信息进行结束判断：通过对比相邻帧和相间帧的位移变化情况，从而判断出结束时刻。
本发明还公开了一种设备，其包括相连的处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序，以执行如上任一项所述的胃部消化道下手术器械追踪和实时预警的方法。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在计算机上运行时，以执行如上任一项所述的胃部消化道下手术器械追踪和实时预警的方法。
与现有技术相比，本发明的有益效果为：
本发明的技术方案利用单目内窥镜采集到的视频数据，通过HSV颜色分割有效识别出器械本体，再进一步通过标尺变换以及角点检测来追踪器械的位移和软组织的形变，通过分析位移及形变大小来设置安全阈值，达到安全预警的功能，有效保障了手术过程中医生的安全操作和患者的人身安全。
附图说明
图1是本发明实施例的胃部消化道下手术器械追踪和实时预警的方法的流程图。
图2是本发明实施例的胃部消化道下手术器械追踪和实时预警的方法的手术器械末端算法推导图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，一种胃部消化道下手术器械追踪和实时预警的方法，包括如下步骤：
(1)内镜微创手术模拟平台的搭建
为了模拟项目中所需的器械内镜微创手术平台，本发明基于单目摄像头、猪胃部消化道和手术钳等搭建了一个最小的双器械内镜手术模拟平台，其具备基本的辅助器械夹持、拉拽生物软组织等功能。猪胃部消化道模拟病人消化道软组织，其与生物软组织具有相似的软体特征。模拟平台采用手术钳作为辅助器械负责对软组织表层粘膜进行夹持、拉拽等操作，为手术提供更大操作空间，辅助手术刀切割；采用猪消化道内壁软组织模拟生物软组织，如肿瘤、肠道粘膜等；采用单目摄像头拍摄记录手术影像，采集数据；采用摄像头USB接口连接电脑，存储数据；采用光源照明手术区域，为摄像头提供亮度补偿。
(2)动物离体实验与单目视频数据采集：
基于模拟实验平台，本文首先将单目摄像头连接电脑以记录影像，调节光源亮度和摄像头焦距以获得清晰成像，然后用手术钳夹持拉拽软组织凸起，模拟手术钳与生物软组织的交互过程，最后记录并存档整个手术过程，从而得到模拟手术视频集。基于模拟平台，本发明模拟内镜手术操作，采集了累计20段有效器械拉拽视频，同时借助多次实验采集得到的位移和拉力关系，对多组实验数据的散点图进行拟合，最终初步得到了的拉力和位移形变的关系函数。
(3)视频预处理：
为有效利用和获取视频中的交互数据，首先需要将视频图像从内窥镜采集格式变换到图像处理所需格式，再进行单目鱼眼内窥镜摄像头的畸变校正，得到几乎不受畸变影响的图像，最后进行图像裁剪保留图像中部区域，获得可直接处理的核心视频图像信息。
(4)基于HSV颜色分割的手术器械识别：
在得到可直接处理的视频数据后，需要将图像转换到HSV颜色空间，通过滤波、腐蚀、膨胀等图像处理操作，借助设计的滑动调节函数，确定出器械在实验环境下所适用的色调H、饱和度S和明度V的取值范围，再进行多次实验调整该取值，最终得到符合实际效果的最佳范围，获取到手术夹钳的轮廓，将其余噪点过滤，通过最大轮廓提取和外接矩形末端短边中点对器械末端工具中心点的位置加以描述，获得手术器械末端位置。
其中，手术器械末端位置采用如下推导算法：
如图2所示，在输入为手术器械最小外接矩形四个端点(p0,p1,p2,p3)时，取任意邻边的欧拉距离进行比较，若ED(p0,p3)<ED(p0,p1)，则确定最小外接矩形短边为(p0,p3)和(p1,p2)；进一步分析，考虑两条短边中点到图像中点的距离，如果有ED(mid(p0,p3),Oc)<ED(mid(p1,p2),Oc)，则确定器械末端短边为中点为(p0,p3)，对应器械末端点为短边中点mid(p0,p3)；反之，其他三种情况可以同理推得手术器械末端位置。
(6)手术器械追踪预警，具体包括：
a)三维深度的标尺变换：
由于采用单目摄像头进行图像数据采集，对于器械位移实际大小的检测需要借助额外的基准进行。在图像数据中，由于采用的器械为圆管状，因此最为明显的是以器械的直径作为基准进行尺寸变换。通过测量已知器械直径为2.3mm，借助之前得到的最小外接矩形，可以得到每像素点所占长度，以此作为单位计算末端位置点在不同帧下所移动的距离，从而得到器械末端位置点的位移大小。通过这种尺寸变换确定位移的方法，避免了因单目无法获取深度信息以及因深度不同带来的偏差，仍可以较好的完成末端位置点的实际位移测量。
b)HARRI角点检测：
由于器械在拉动软组织过程中，不同位置的软组织其形变的方向和大小各不相同。为了更好的描述软组织的整体形变，首先对软组织进行HARRI角点检测，检测出200个特征点，其中绝大部分在软组织上，用于定性判断软组织整体的形变大小。
c)光流追踪：
再借助光流追踪，得到每一个特征点的像素点移动距离，再根据之前的尺寸变换和求和平均，得到表征软组织整体的形变大小。实际应用时，可以用绿点代表软组织的特征角点，红色线代表特征点起始位置到实时位置的光流位移。
d)形变安全预警：
通过角点检测和光流追踪实时获取器械和软组织相较开始时刻的位移以及形变，并设定安全阈值以对拉扯状态进行判断：当器械末端位置点和软组织整体形变同时大于设定的阈值时，判断为状态不安全，要求器械立刻停止夹取和拉扯状态。
其中，安全阈值可以由步骤(2)中得到的拉力和位移形变的关系函数从而设定，从而便于对拉扯状态进行判断。
本实施例的胃部消化道下手术器械追踪和实时预警方法，确定了检测器械拉扯软组织过程中开始运行和结束运行算法。对于软组织形变安全性识别模块的判断开始算法，可以基于特征点的整体位移大小进行判断，在不考虑外部振动的情况下，当连续三帧特征点整体位移大于指定阈值且有变大的趋势时，则模块开始检测，进行形变的安全性判断。对于软组织形变安全性识别模块的判断结束算法，具体思路是根据在拉扯过程中的先验信息：随着软组织的位移，每一帧特征点的平均位移会随着帧数的增大而增大；但在拉扯断裂时，特征点位移会随着软组织的回弹而出现一个骤降，通过对比相邻帧和相间帧的位移变化情况，从而判断出结束时刻。
本实施例中，对于器械数量的确定，可以借助之前HSV图像分割的最佳取值范围，在器械颜色等基本情况相同的前提条件下，对图像进行反二值化和适当的腐蚀、膨胀操作，通过确定二值图中最大连通区域大于阈值的个数，来判断出器械数量。
本实施例利用单目内窥镜采集到的视频数据，通过HSV颜色分割有效识别出器械本体，再进一步通过标尺变换以及角点检测来追踪器械的位移和软组织的形变，通过分析位移及形变大小来设置安全阈值，达到安全预警的功能，有效保障了手术过程中医生的安全操作和患者的人身安全。
本实施例还公开了一种胃部消化道下手术器械追踪和实时预警的系统，其包括：
图像预处理模块，对获取的单目内窥镜术中实时影像进行图像预处理，将图像从内窥镜采集格式变换到图像后期处理所需格式，再借助鱼眼内窥镜的内参和外参进行标定实验，完成单目鱼眼内窥镜摄像头的畸变校正，得到几乎不受畸变影响的图像，最后进行图像裁剪保留图像器械夹持软组织的主要区域，获得可直接处理的核心视频图像信息。
手术器械识别与分割模块，利用HSV颜色空间变换，确定器械在实验环境下所适用的色调H、饱和度S和明度V的阈值范围，得到器械的粗略轮廓；借助最大轮廓提取，分割和绘制出器械的轮廓以及外接最小矩形，同时借助先验信息和算法确定器械末端对应矩形的短边中点，以该点的位置代表器械末端位置点。
手术器械追踪预警模块，通过标尺变换，把二维图像特征转换到三维位移和形变上，得到每像素点所占长度，以此作为单位计算末端位置点在不同帧下所移动的距离，从而得到器械末端位置点的位移大小；通过角点检测确定软组织上的指定个数特征点；借助光流追踪这些特征点，实时获取器械和软组织相较开始时刻的位移以及形变；并设定安全阈值以对拉扯状态进行判断：当器械末端位置点和软组织整体形变同时大于设定的阈值时，判断为状态不安全，并发出预警信号。
所述手术器械识别与分割包括器械末端推理模块，所述器械末端推理模块采用如下步骤进行确定器械末端：
在输入为手术器械最小外接矩形四个端点(p0,p1,p2,p3)时，取任意邻边的欧拉距离进行比较，若ED(p0,p3)<ED(p0,p1)，则确定最小外接矩形短边为(p0,p3)和(p1,p2)；考虑两条短边中点到图像中点的距离，如果有ED(mid(p0,p3),Oc)<ED(mid(p1,p2),Oc)，则确定器械末端短边为中点为(p0,p3)，对应器械末端点为短边中点mid(p0,p3)；反之，其他三种情况可以同理推得器械末端位置。
本实施例的系统在具体应用时，可以先通过在动物离体的胃消化道下构建视频数据集，通过在相关视频进行HSV颜色分割等操作，完成手术器械的识别过程；同时将二维视频数据进行标尺变换，基于光流追踪得到实时器械的运动位移和状态，并定量分析了软组织的综合形变，最终设定阈值以达到预警功能，实现了对手术器械和软组织交互的实时状态追踪与预警。
本发明还公开了一种设备，其包括相连的处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序，以执行如上任一项所述的胃部消化道下手术器械追踪和实时预警的方法。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在计算机上运行时，以执行如上任一项所述的胃部消化道下的手术器械追踪和实时预警的方法。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (16)

1.一种设备，其包括相连的处理器和存储器，其特征在于：所述处理器用于执行所述存储器中存储的计算机程序，以执行如下步骤：
步骤S1，对获取的单目内窥镜术中实时影像进行图像预处理，获得可直接处理的核心视频图像信息；
步骤S2，对获得的核心视频图像信息，采用HSV颜色空间变换和阈值识别、最大轮廓提取与器械分割，获得器械末端位置点；
步骤S3，对获得的核心视频图像信息，通过标尺变换，把二维图像特征转换到三维位移和形变上，得到每像素点所占长度，以此作为单位计算末端位置点在不同帧下所移动的距离，从而得到器械末端位置点的位移大小；通过角点检测确定所获得的核心视频图像信息中软组织上的指定个数特征点；借助光流追踪这些特征点，实时获取器械和软组织相较开始时刻的位移以及形变；并设定安全阈值以对拉扯状态进行判断：当器械末端位置点和软组织整体形变同时大于设定的阈值时，判断为状态不安全，并发出预警信号。
2.根据权利要求1所述的设备，其特征在于：步骤S1图像预处理包括：将图像从内窥镜采集格式变换到图像后期处理所需格式，再借助现有的鱼眼内窥镜的内参和外参进行标定实验，完成单目鱼眼内窥镜摄像头的畸变校正，最后进行图像裁剪，保留图像中手术器械夹持软组织的区域，获得可直接处理的核心视频图像信息。
3.根据权利要求2所述的设备，其特征在于：
步骤S2包括：利用HSV颜色空间变换，确定器械在实验环境下所适用的色调H、饱和度S和明度V的阈值范围，得到器械的粗略轮廓；借助最大轮廓提取，分割和绘制出器械的轮廓以及外接最小矩形，同时借助器械末端始终出现在图像中心点附近的先验信息确定器械末端对应矩形的短边中点，以该点的位置代表器械末端位置点。
4.根据权利要求3所述的设备，其特征在于：所述器械末端采用如下步骤进行确定：在输入为手术器械最小外接矩形四个端点(p0,p1,p2,p3)时，取任意邻边的欧拉距离进行比较，若ED(p0,p3)＜ED(p0,p1)，则确定最小外接矩形短边为(p0,p3)和(p1,p2)；如果有ED(mid(p0,p3),Oc)＜ED(mid(p1,p2),Oc)，则确定器械末端短边为(p0,p3)，对应器械末端点为短边中点mid(p0,p3)；反之，其他三种情况可以同理推得器械末端位置；其中Oc为图像中点。
5.根据权利要求4所述的设备，其特征在于：所述安全阈值通过动物离体实验中得到的拉力和位移形变的关系函数设定；
所述动物离体实验中，首先将单目摄像头连接电脑以记录影像，调节光源亮度和摄像头焦距以获得清晰成像，然后用手术钳夹持拉拽软组织凸起，模拟手术器械与生物软组织的交互过程，最后记录并存档整个手术过程，从而得到模拟手术视频集；
其中，所述模拟手术视频集包括多段有效器械拉拽视频，同时借助多次实验采集得到的位移和拉力关系，对多组实验数据的散点图进行拟合，得到拉力和位移形变的关系函数，从而确定安全阈值。
6.根据权利要求5所述的设备，其特征在于：
所述光流追踪中包括软组织形变安全性识别算法，所述软组织形变安全性识别算法的开始判断基于特征点的整体位移大小，当连续三帧特征点整体位移大于指定阈值且有变大的趋势时开始检测，进行形变的安全性判断；所述软组织形变安全性识别算法的结束判断为根据在拉扯过程中的先验信息，在拉扯断裂时，特征点位移随着软组织的回弹而出现一个骤降，通过对比相邻帧和相间帧的位移变化情况，判断结束时刻。
7.一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，其特征在于：当计算机程序在计算机上运行时，以执行如下步骤：
步骤S1，对获取的单目内窥镜术中实时影像进行图像预处理，获得可直接处理的核心视频图像信息；
步骤S2，对获得的核心视频图像信息，采用HSV颜色空间变换和阈值识别、最大轮廓提取与器械分割，获得器械末端位置点；
步骤S3，对获得的核心视频图像信息，通过标尺变换，把二维图像特征转换到三维位移和形变上，得到每像素点所占长度，以此作为单位计算末端位置点在不同帧下所移动的距离，从而得到器械末端位置点的位移大小；通过角点检测确定所获得的核心视频图像信息中软组织上的指定个数特征点；借助光流追踪这些特征点，实时获取器械和软组织相较开始时刻的位移以及形变；并设定安全阈值以对拉扯状态进行判断：当器械末端位置点和软组织整体形变同时大于设定的阈值时，判断为状态不安全，并发出预警信号。
8.根据权利要求7所述的计算机可读存储介质，其特征在于：步骤S1图像预处理包括：将图像从内窥镜采集格式变换到图像后期处理所需格式，再借助现有的鱼眼内窥镜的内参和外参进行标定实验，完成单目鱼眼内窥镜摄像头的畸变校正，最后进行图像裁剪，保留图像中手术器械夹持软组织的区域，获得可直接处理的核心视频图像信息。
9.根据权利要求8所述的计算机可读存储介质，其特征在于：步骤S2包括：利用HSV颜色空间变换，确定器械在实验环境下所适用的色调H、饱和度S和明度V的阈值范围，得到器械的粗略轮廓；借助最大轮廓提取，分割和绘制出器械的轮廓以及外接最小矩形，同时借助器械末端始终出现在图像中心点附近的先验信息确定器械末端对应矩形的短边中点，以该点的位置代表器械末端位置点。
10.根据权利要求9所述的计算机可读存储介质，其特征在于：所述器械末端采用如下步骤进行确定：
在输入为手术器械最小外接矩形四个端点(p0,p1,p2,p3)时，取任意邻边的欧拉距离进行比较，若ED(p0,p3)＜ED(p0,p1)，则确定最小外接矩形短边为(p0,p3)和(p1,p2)；如果有ED(mid(p0,p3),Oc)＜ED(mid(p1,p2),Oc)，则确定器械末端短边为(p0,p3)，对应器械末端点为短边中点mid(p0,p3)；反之，其他三种情况可以同理推得器械末端位置；其中Oc为图像中点。
11.根据权利要求10所述的计算机可读存储介质，其特征在于：所述安全阈值通过动物离体实验中得到的拉力和位移形变的关系函数设定；
所述动物离体实验中，首先将单目摄像头连接电脑以记录影像，调节光源亮度和摄像头焦距以获得清晰成像，然后用手术钳夹持拉拽软组织凸起，模拟手术器械与生物软组织的交互过程，最后记录并存档整个手术过程，从而得到模拟手术视频集；
其中，所述模拟手术视频集包括多段有效器械拉拽视频，同时借助多次实验采集得到的位移和拉力关系，对多组实验数据的散点图进行拟合，得到拉力和位移形变的关系函数，从而确定安全阈值。
12.根据权利要求11所述的计算机可读存储介质，其特征在于：所述光流追踪中包括软组织形变安全性识别算法，所述软组织形变安全性识别算法的开始判断基于特征点的整体位移大小，当连续三帧特征点整体位移大于指定阈值且有变大的趋势时开始检测，进行形变的安全性判断；所述软组织形变安全性识别算法的结束判断为根据在拉扯过程中的先验信息，在拉扯断裂时，特征点位移随着软组织的回弹而出现一个骤降，通过对比相邻帧和相间帧的位移变化情况，判断结束时刻。
13.胃部消化道下手术器械追踪和实时预警的系统，其特征在于：其包括：
图像预处理模块，对获取的单目内窥镜术中实时影像进行图像预处理，获得可直接处理的核心视频图像信息；
手术器械识别与分割模块，采用HSV颜色空间变换和阈值识别、最大轮廓提取与器械分割，获得器械末端位置点；
手术器械追踪预警模块，通过标尺变换，把二维图像特征转换到三维位移和形变上，得到每像素点所占长度，以此作为单位计算末端位置点在不同帧下所移动的距离，从而得到器械末端位置点的位移大小；通过角点检测确定软组织上的指定个数特征点；借助光流追踪这些特征点，实时获取器械和软组织相较开始时刻的位移以及形变；并
设定安全阈值以对拉扯状态进行判断：当器械末端位置点和软组织整体形变同时大于设定的阈值时，判断为状态不安全，并发出预警信号。
14.根据权利要求13所述的胃部消化道下手术器械追踪和实时预警的系统，其特征在于：所述图像预处理模块将图像从内窥镜采集格式变换到图像后期处理所需格式，再借助鱼眼内窥镜的内参和外参进行标定实验，完成单目鱼眼内窥镜摄像头的畸变校正，得到不受畸变影响的图像，最后进行图像裁剪，保留图像中手术器械夹持软组织的区域，获得可直接处理的核心视频图像信息。
15.根据权利要求14所述的胃部消化道下手术器械追踪和实时预警的系统，其特征在于：所述手术器械识别与分割模块利用HSV颜色空间变换，确定器械在实验环境下所适用的色调H、饱和度S和明度V的阈值范围，得到器械的粗略轮廓；借助最大轮廓提取，分割和绘制出器械的轮廓以及外接最小矩形，同时借助器械末端始终出现在图像中心点附近的先验信息确定器械末端对应矩形的短边中点，以该点的位置代表器械末端位置点；
所述手术器械识别与分割包括器械末端推理模块，所述器械末端推理模块采用如下步骤进行确定器械末端：
在输入为手术器械最小外接矩形四个端点(p0,p1,p2,p3)时，取任意邻边的欧拉距离进行比较，若ED(p0,p3)＜ED(p0,p1)，则确定最小外接矩形短边为(p0,p3)和(p1,p2)；如果有ED(mid(p0,p3),Oc)＜ED(mid(p1,p2),Oc)，则确定器械末端短边为(p0,p3)，对应器械末端点为短边中点mid(p0,p3)；反之，其他三种情况可以同理推得器械末端位置；其中Oc为图像中点。
16.根据权利要求15所述的胃部消化道下手术器械追踪和实时预警的系统，其特征在于：所述手术器械追踪预警模块包括软组织形变安全性识别模块，所述软组织形变安全性识别模块基于特征点的整体位移大小进行识别，当连续三帧特征点整体位移大于指定阈值且有变大的趋势时，则软组织形变安全性识别模块开始检测，进行形变的安全性判断；
软组织形变安全性识别模块根据在拉扯过程中的先验信息进行结束判断：通过对比相邻帧和相间帧的位移变化情况，从而判断出结束时刻。
CN202110988923.2A 2021-08-26 2021-08-26 胃部消化道下手术器械追踪和实时预警的方法和系统 Active CN113786239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110988923.2A CN113786239B (zh) 2021-08-26 2021-08-26 胃部消化道下手术器械追踪和实时预警的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110988923.2A CN113786239B (zh) 2021-08-26 2021-08-26 胃部消化道下手术器械追踪和实时预警的方法和系统

Publications (2)

Publication Number Publication Date
CN113786239A CN113786239A (zh) 2021-12-14
CN113786239B true CN113786239B (zh) 2023-08-01

Family

ID=78876472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110988923.2A Active CN113786239B (zh) 2021-08-26 2021-08-26 胃部消化道下手术器械追踪和实时预警的方法和系统

Country Status (1)

Country Link
CN (1) CN113786239B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035153B (zh) * 2022-08-12 2022-10-28 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
CN115546206B (zh) * 2022-11-23 2023-03-14 武汉楚精灵医疗科技有限公司 消化道内镜图像的活检留图方法、装置及存储介质
CN117017494B (zh) * 2023-08-29 2024-06-11 哈尔滨海鸿基业科技发展有限公司 一种淋巴静脉吻合术的成像导航系统
CN117796745B (zh) * 2024-02-29 2024-05-03 四川大学 一种估计消化内镜镜头进退距离的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105310776A (zh) * 2014-12-02 2016-02-10 复旦大学 一种基于子块的软组织表面变形追踪方法
WO2016033469A1 (en) * 2014-08-29 2016-03-03 Bionic Skins LLC Mechanisms and methods for a mechanical interface between a wearable device and a human body segment
CN105939647A (zh) * 2013-10-24 2016-09-14 奥瑞斯外科手术机器人公司 机器人辅助腔内外科手术系统及相关方法
WO2020135785A1 (zh) * 2018-12-29 2020-07-02 华科精准（北京）医疗科技有限公司 一种手术导航系统
CN111616800A (zh) * 2020-06-09 2020-09-04 电子科技大学 眼科手术导航系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2358259A4 (en) * 2008-11-21 2014-08-06 Mayo Foundation DARMSMIRROR TRACKING AND EVALUATION SYSTEM
US11412951B2 (en) * 2013-03-15 2022-08-16 Syanptive Medical Inc. Systems and methods for navigation and simulation of minimally invasive therapy
US10376181B2 (en) * 2015-02-17 2019-08-13 Endochoice, Inc. System for detecting the location of an endoscopic device during a medical procedure
WO2017158397A1 (en) * 2016-03-13 2017-09-21 Synaptive Medical (Barbados) Inc. System and method for sensing tissue deformation
CN109069209B (zh) * 2016-03-23 2022-02-15 科易微医疗有限公司 手持式手术器械，手术工具系统，行程和操作相同的方法
CN106236264B (zh) * 2016-08-24 2020-05-08 李国新 基于光学跟踪和图像匹配的胃肠手术导航方法及系统
US11141226B2 (en) * 2017-06-23 2021-10-12 Asensus Surgical Us, Inc. Method of graphically tagging and recalling identified structures under visualization for robotic surgery
WO2019061202A1 (en) * 2017-09-28 2019-04-04 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR PROCESSING COLON IMAGE DATA
CN108090954A (zh) * 2017-12-15 2018-05-29 南方医科大学南方医院 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN110338907A (zh) * 2018-04-05 2019-10-18 云南师范大学 一种用于医学影像引导手术的触觉导航系统
US10636142B2 (en) * 2018-04-20 2020-04-28 Siemens Healthcare Gmbh Real-time and accurate soft tissue deformation prediction
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
CN111080676B (zh) * 2019-12-20 2022-03-25 电子科技大学 一种通过在线分类跟踪内窥镜图像序列特征点的方法
CN111938817B (zh) * 2020-08-05 2022-05-24 北京唯迈医疗设备有限公司 一种介入手术机器人导丝动作安全预警方法及系统
CN113066582B (zh) * 2021-03-30 2022-11-29 上海理工大学 非侵入式人体软组织损伤风险监测系统
CN113100940B (zh) * 2021-04-09 2022-09-13 哈尔滨工业大学（深圳） 一种多点磁控导管导航系统及其使用方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939647A (zh) * 2013-10-24 2016-09-14 奥瑞斯外科手术机器人公司 机器人辅助腔内外科手术系统及相关方法
WO2016033469A1 (en) * 2014-08-29 2016-03-03 Bionic Skins LLC Mechanisms and methods for a mechanical interface between a wearable device and a human body segment
CN105310776A (zh) * 2014-12-02 2016-02-10 复旦大学 一种基于子块的软组织表面变形追踪方法
WO2020135785A1 (zh) * 2018-12-29 2020-07-02 华科精准（北京）医疗科技有限公司 一种手术导航系统
CN111616800A (zh) * 2020-06-09 2020-09-04 电子科技大学 眼科手术导航系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于实测数据的软组织形变系统辨识方法;温泽宇，李杰;哈尔滨理工大学学报;全文 *

Also Published As

Publication number Publication date
CN113786239A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN113786239B (zh) 胃部消化道下手术器械追踪和实时预警的方法和系统
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
JP5242381B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
US8515141B2 (en) Medical image processing apparatus and method for detecting locally protruding lesion
WO2014119047A1 (ja) 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP4902735B2 (ja) 医療用画像処理装置及び医療用画像処理方法
EP1849402A1 (en) Medical image processing device, lumen image processing device, lumen image processing method, and programs for them
US10194783B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region
WO2020183770A1 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
US11298012B2 (en) Image processing device, endoscope system, image processing method, and program
US10178941B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
JP2008301968A (ja) 内視鏡画像処理装置
US20230200626A1 (en) Image processing apparatus, processor apparatus, endoscope system, image processing method, and program
WO2023095492A1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
WO2024164912A1 (zh) 内窥镜下目标结构评估系统、方法、设备及存储介质
CN116205814A (zh) 医用内窥镜图像增强方法、系统及计算机设备
WO2004045397A1 (ja) 内視鏡挿入方向検出装置、内視鏡挿入方向検出システム及び内視鏡挿入方向検出方法
JPWO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
WO2018198255A1 (ja) 画像処理装置、画像処理装置の作動方法およびプログラム
JP2023181214A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
US20230410304A1 (en) Medical image processing apparatus, medical image processing method, and program
JP7148193B1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
US20230206445A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system
CN117291899A (zh) 用于胶囊内窥镜的消化道出血图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant