CN109215079B - 图像处理方法、手术导航设备、电子设备、存储介质 - Google Patents

图像处理方法、手术导航设备、电子设备、存储介质 Download PDF

Info

Publication number
CN109215079B
CN109215079B CN201810781480.8A CN201810781480A CN109215079B CN 109215079 B CN109215079 B CN 109215079B CN 201810781480 A CN201810781480 A CN 201810781480A CN 109215079 B CN109215079 B CN 109215079B
Authority
CN
China
Prior art keywords
network model
image
surgical
instrument
surgical instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810781480.8A
Other languages
English (en)
Other versions
CN109215079A (zh
Inventor
杨峰
楚亚奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ariemedi Medical Technology Beijing Co ltd
Original Assignee
Ariemedi Medical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ariemedi Medical Technology Beijing Co ltd filed Critical Ariemedi Medical Technology Beijing Co ltd
Priority to CN201810781480.8A priority Critical patent/CN109215079B/zh
Publication of CN109215079A publication Critical patent/CN109215079A/zh
Application granted granted Critical
Publication of CN109215079B publication Critical patent/CN109215079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

本发明提供图像处理方法、手术导航设备、电子设备、存储介质，该方法包括：对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注，得到标准数据集；将所述标准数据集输入到深度卷积神经网络模型中进行训练，得到器械判断网络模型；根据所述器械判断网络模型从手术图像中获取手术器械信息；根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整，并将调整色彩后的手术器械图像融合到所述手术图像中，得到融合图像；显示所述融合图像。本发明提供的方法及设备，能够基于器械判断网络模型对内窥镜图像中的手术器械进行精确地分割和姿态判定，便于精确显示手术器械的相关信息，从而可以提高手术导航的安全性。

Description

图像处理方法、手术导航设备、电子设备、存储介质
技术领域
本发明涉及手术导航领域，尤其涉及一种图像处理方法、手术导航设备、电子设备、存储介质。
背景技术
目前手术机器人在医疗技术和临床上都已经取得了飞速发展，有些手术机器人已经能够在微创条件下进行胸外科、泌尿外科、妇产科、头颈外科以及心脏手术等医疗操作能力。虽然绝大多数手术机器人都有成像系统能够为医生提供实时的手术操作监控，但在临床使用的时候，仅通过视频图像观察，仍然面临着无法准确定位器械位姿，以及难以精确辨识器械的剪切、缝合、引流操作等问题。另外，由于术者临床经验不足，操作不熟练等问题，可能增加手术风险。所以在内窥镜实时成像的同时，有必要对手术器械进行分割和坐标位姿估计，通过对手术器械进行分割和坐标位姿估计，可以判断手术操作是否正确，在手术机器人或内窥镜手术领域都有极大的应用前景。
针对图片网络ImageNet的深度卷积神经网络AlexNet开始，深度学习在数字图像处理的领域得到广泛应用，其应用范围从仅用于单张小图像分类，到现在实例分割、定位、语义辨析、清晰度增强、风格迁移等。然而，在临床手术应用中，由于呼吸、心跳等影响，会造成内窥镜图像较大的图像畸变；另外，由于器械和湿滑组织表面的强烈高光反射，造成目前大多数的手术器械分割算法的稳定性较差、精准度不足，导致手术器械分割效果比较差。
发明内容
本发明的目的在于提供一种图像处理方法、手术导航设备、电子设备，存储介质，解决现有技术中的手术器械分割效果比较差的技术问题。
为解决上述技术问题，本发明提供了一种图像处理方法，包括：
对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注，得到标准数据集；
将所述标准数据集输入到深度卷积神经网络模型中进行训练，得到器械判断模型；
根据所述器械判断网络模型从手术图像中获取手术器械信息；
根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整，并将调整色彩后的手术器械图像融合到所述手术图像中，得到融合图像；
显示所述融合图像。
优选地，所述将所述标准数据集输入到深度卷积神经网络中进行训练，得到器械判断模型之前还包括：
将所述标准数据集调整为统一的尺寸和格式；
所述深度卷积神经网络模型包括：残差网络模型及特征金字塔网络模型；
所述将所述标准数据集输入到深度卷积神经网络中进行训练，得到器械判断模型包括：
对残差网络模型及特征金字塔网络模型设置初始化参数，得到初始神经网络模型；
将所述调整后的标准数据集输入所述初始神经网络模型，进行并行运算加速训练，得到所述器械判断网络模型，所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
优选地，所述手术器械信息包括：关键点及器械位姿；
所述根据所述器械判断网络模型从手术图像中获取手术器械信息包括：
将所述手术图像输入所述调整参数后的残差网络模型，得到第一输出结果；
将所述第一输出结果输入所述调整参数后的特征金字塔网络模型，得到第二输出结果；
采用回归函数模型从所述第二输出结果中检测所述关键点；
通过连接所述关键点中的固定关节点确定所述器械位姿。
优选地，所述根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整包括：
根据所述手术器械信息，将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
为解决上述技术问题，本发明还提供一种手术导航设备，包括：
标注模块，用于对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注，得到标准数据集；
输入模块，用于将所述标准数据集输入到深度卷积神经网络模型中进行训练，得到器械判断模型；
第一获取模块，用于根据所述器械判断网络模型从手术图像中获取手术器械信息；
调整模块，用于根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整，并将调整色彩后的手术器械图像融合到所述手术图像中，得到融合图像；
显示模块，用于显示所述融合图像。
优选地，所述深度卷积神经网络模型包括：残差网络模型及特征金字塔网络模型；所述手术导航设备还包括：
处理模块，用于将所述标准数据集调整为统一的尺寸和格式；
所述输入模块：
初始子模块，用于对残差网络模型及特征金字塔网络模型设置初始化参数，得到初始神经网络模型；
训练子模块，用于将所述调整后的标准数据集输入所述初始神经网络模型，进行并行运算加速训练，得到所述器械判断网络模型，所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
优选地，所述手术器械信息包括：关键点及器械位姿；
所述第一获取模块包括：
第一输入子模块，用于将所述手术图像输入所述调整参数后的残差网络模型，得到第一输出结果；
第二输入子模块，用于将所述第一输出结果输入所述调整参数后的特征金字塔网络模型，得到第二输出结果；
第一确定子模块，用于采用回归函数模型从所述第二输出结果中确定所述关键点；
第二确定子模块，用于通过连接所述关键点中的固定关节点确定所述器械位姿。
优选地，所述调整模块，还用于根据所述手术器械信息，将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
为解决上述技术问题，本发明提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的图像处理方法的步骤。
为解决上述技术问题，本发明提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法的步骤。
本发明提供的图像处理方法及手术导航设备，能够基于器械判断网络模型对手术图像中的手术器械图像进行色彩调整，便于精确地在手术图像中对手术器械相关信息进行突出显示，便于精确理解手术器械的相关信息，从而可以提高手术导航的安全性。
附图说明
图1为本发明提供的图像处理方法一实施例的流程图；
图2为本发明提供的图1所示的图像处理方法的步骤S2的一实施例的流程图；
图3为本发明提供的图1所示的图像处理方法的步骤S3的一实施例的流程图；
图4为本发明提供的残差网络模型的原理图；
图5为本发明提供的关键点检测的一实施例的示意图；
图6为本发明提供的图像处理方法的另一实施例的流程图；
图7为本发明提供的手术导航设备的一实施例的结构示意图；
图8为本发明提供的手术当设备的另一实施例的结构示意图；
图9为本发明提供的图7所示手术导航设备的第一获取模块一实施例的结构示意图；
图10为本发明提供的电子设备的一实施例的结构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
参见图1，图1为本发明提供的图像处理方法一实施例的流程图，图1所示的图像处理方法可以应用于手术导航设备，如图1所示，图像处理方法包括以下步骤：
步骤S1、对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注，得到标准数据集。
在本实施中，所述预先获取的内窥镜手术视频图像可以为从内窥镜视频数据中按照预设帧率获取的内窥镜手术视频图像。标准数据集的数量越大，训练结果越准确，但是为了减少资源损耗，需要对训练标准数据集的数据进行合理估计。
步骤S2、将所述标准数据集输入到深度卷积神经网络模型中进行训练，得到器械判断模型。
在本实施例中，所述深度卷积神经网络模型可以包括残差网络模型及特征金字塔网络模型。举例来说，残差网络模型可以为ResNet50。可以利用已有模型的训练结果进行参数的初始化，加快训练速度并保证收敛性。
可选的，在该步骤S2之前，还可以包括以下步骤：
将所述标准数据集调整为统一的尺寸和格式。
在本实施例中，对训练标准数据集进行预处理，去除运动模糊的帧图，进行高光抑制和非线性滤波，然后对训练标准数据集进行统一尺寸和格式的调整。
请参阅图2，图2为本发明提供的图1所示的图像处理方法的步骤S2的一实施例的流程图。步骤S2可以包括以下步骤：
步骤S21、对残差网络模型及特征金字塔网络模型设置初始化参数，得到初始神经网络模型。
在本实施例中，残差网络模型可以为ResNet50。可以利用已有模型的训练结果进行参数的初始化，加快训练速度并保证收敛性。请再次参阅图4，可以通过改进ResNet50模型的损失函数，增加关键点的匹配距离损失和位姿损失，加快训练效率的同时保证关键点的匹配性，对手术器械图像进行分割的匹配性。
步骤S22、将所述调整后的标准数据集输入所述初始神经网络模型，进行并行运算加速训练，得到所述器械判断网络模型。
在本实施例中，所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。也可以获得所述器械判断网络模型的构建参数，通过所述构建参数在同步的平台上建立所述器械判断网络模型。
这样，可以从大量手术图像中快速获取器械判断网络模型，提高获取器械判断网络模型的效率。
步骤S3、根据所述器械判断网络模型从手术图像中获取手术器械信息。
在本实施例中，器械判断网络模型为根据大量手术图像对残差网络模型及特征金字塔网络模型进行训练所得到的网络模型。也就是说，所述器械判断网络模型包括：残差网络模型及特征金字塔网络模型。所述手术图像为通过手术器械进行的手术过程中所采集的图像，例如，可以是临床内窥镜图像、临床内窥镜视频等。所述手术器械信息包括：手术器械的种类、关键点、器械位姿及关键点的类型等，所述关键点的类型可以包括器械连接部位、固定关节点、前端位置、后端位置等。
具体来说，参阅图3，图3所示为图1所示的图像处理方法的步骤S3的一实施例的流程图。
步骤S31、将所述手术图像输入所述调整参数后的残差网络模型，得到第一输出结果。
具体的，可以参阅图4，图4为本发明提供的残差网络模型的原理图。在图4中，F(X)为普通映射，F(X)+X为全等映射，relu为非线性激活单元，采用全等映射层(identitymapping)可以降低网络本身的深度以避免出现过拟合和不收敛的问题。weightlayer为待训练参数，残差网络模型的计算公式为y＝F(x,{Wi})+Wsx。感兴趣区域(Region ofInterest，RoI)损失函数为L＝Lcls+Lbox+Lmask。通过使用RoI损失函数，可以对关键点的匹配距离损失及位姿损失进行计算，加快训练效率的同时保证关键点的匹配性，及保证对手术器械进行分割过程中的匹配性。
请参阅图5，图5为本发明提供的关键点检测的一实施例的示意图。在图5中包括第一池化层501、残差网络模型502、第二池化层503及特征金字塔网络模型504，回归函数模型505。
在本实施例中，所述残差网络模型502可以为ResNet50，在图5中，从第一池化层501输出的图像数据进入ResNet50，即输入到8个堆叠的3×3×512卷积层，经过残差网络模型502对图像数据提取手术器械图像及对应的掩膜和关键点，将关键点的位置建模为二进制掩膜，预测每个关键点的类型，得到第一输出结果，并将第一输出结果导入第二池化层503。
步骤S32、将所述第一输出结果输入所述调整参数后的特征金字塔网络模型，得到第二输出结果。
请再次参阅图5，将经过第二池化层503后的第一输出结果输入特征金字塔网络模型504，通过反卷积和双线性采样等过程，能够得到56×56的输出结果，即得到第二输出结果，在所述第二输出结果中包括手术器械信息，其中，所述手术器械信息包括器械种类、关键点、关键点、位姿及关键点的类别等信息。
步骤S33、采用回归函数模型从所述第二输出结果中检测所述关键点。
在本实施例中，回归函数模型可以为softmax回归代价函数。具体的，softmax回归代价函数为：
Figure GDA0002707949500000071
其中，J为回归代价函数，m为目标个数，y(i)，x(i)为对应的数据类型。通过使用softmax回归代价函数从第二输出结果中检测关键点。可以通过softmax回归代价函数的交叉熵计算关键点的估计值与真实值之间的差距，用于衡量测量结果的好坏。其中，对多个关键点的检测是独立的。
步骤S34、通过连接所述关键点中的固定关节点确定所述器械位姿。
在本实施例中，所述关键点的类型可以有多种，例如可以包括固定关节点、前端、后端等类型，对固定关节点进行连接，可以得到器械的位姿。
这样，在本实施例中，采用残差网络模型进行图像处理，具有加强的鲁棒性，能够适应人体内部手术图像的噪声，降低噪声干扰。在图像语义分割的基础上，进行了实例分割，能够精确地预测手术器械的种类和数量，并利用残差网络模型在分割的基础上，利用关键点进行手术器械位姿的识别，扩展了手术器械信息的内容。通过手术器械的器械位姿信息，可以进行下一步的数据处理，例如，可以进行进程判断，手术情况判断及操作过程识别等等。通过残差网络模型、特征金字塔网络模型及回归函数模型，可以获取手术图像中的手术器械信息，提高手术器械信息的精确度。
步骤S4、根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整，并将调整色彩后的手术器械图像融合到所述手术图像中，得到融合图像。
可选的，所述根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整包括：
根据所述手术器械信息，将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
具体来说，可以在手术器械图像中，根据检测得到的器械类型、不同部位、关键点和位姿等信息，沿手术器械从头部到尾部由浅到深设置不同的透明度和/或设置不同颜色。
在本实施例中，将调整透明度及颜色的手术器械图像融合到原来的手术图像中，可以确保医生在手术过程中可以直观对手术器械进行观察，并在手术之后的评价环节中可以获取关于手术器械的直观信息。
步骤S5、显示所述融合图像。
在本实施例中，可以在便于医生观察的显示设备上显示融合图像，也可以在其他手术监控设备上显示融合图像。在本实施例中，可以通过图形处理器(GraphicsProcessing Unit，GPU)进行图像处理，并显示所述融合图像，可以确保并行加速运算效率，对于手术中内窥镜获取的实时视频图像，在保证手术的及时性和连贯性的同时，可以按照预设的帧率提取手术图像，并按照预设帧率显示融合图像，为医生提供更全面的手术过程信息。
这样，本实施例提供的图像处理方法，能够基于器械判断网络模型对手术图像中的手术器械图像进行色彩调整，便于精确地在手术图像中对手术器械相关信息进行突出显示，便于精确理解手术器械的相关信息，从而可以提高手术导航的安全性。
本发明实施例中提供的图像处理方法，能够基于器械判断网络模型对内窥镜图像中的手术器械图像进行精确地分割好姿态判定，便于精确地在手术图像显示手术器械的相关信息，从而可以提高手术导航的安全性。
请参阅图6，图6所示为本发明提高的图像处理方法的另一实施例的流程图。
步骤S601、摄像头获取内窥镜手术视频。
在本实施例中，可以在使用内窥镜的手术过程中，通过摄像头获取内窥镜手术视频。
步骤S602、对内窥镜手术视频按照预设帧率抽取手术图像，并对手术图像进行预处理。
可以理解的是，为了保证手术的及时性和连贯性的同时，可以按照预设的帧率提取手术图像，并对手术图像进行预处理，以供提供更全面的手术过程信息。
步骤S603、获取标准数据集。
在本实施例中，对多张预处理后的手术图像中的手术器械信息进行标注，得到训练标准数据集。所述多张预处理后的手术图像可以为对内窥镜手术过程中的手术图像进行预处理后的图像。训练标准数据集的数量越大，训练结果越准确，但是为了减少资源损耗，需要对训练标准数据集的数据进行合理估计。
步骤S604、残差网络模型及特征金字塔网络模型设置初始化参数，得到初始神经网络模型。
在本实施例中，可以利用已有模型的训练结果进行参数的初始化，加快训练速度并保证收敛性。所述残差网络模型可以为ResNet50模型。
步骤S605、对初始神经网络模型输入标准数据集，得到器械判断网络模型，器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
在本实施例中，可以将所述调整后的标准数据集输入所述初始神经网络模型，进行并行运算加速训练，得到所述器械判断网络模型。也可以获得所述器械判断网络模型的构建参数，通过所述构建参数在同步的平台上建立所述器械判断网络模型。
步骤S606、抽取待检测图像。
在本实施例中，可以按照预设的帧率从内窥镜手术视频中提取手术图像，并对手术图像进行去除噪声等预处理，得到待检测图像。
步骤S607、对待检测图像进行统一格式及尺寸。
可以理解的是，对待检测图像统一格式及尺寸可以提高图像处理效率。
步骤S608、将调整后的待检测图像输入器械判断网络模型，检测手术器械信息，并对手术器械图像进行分割，对手术器械图像进行颜色调整。
在本实施例中，具体来说，可以在手术器械图像中，根据检测得到的器械类型、不同部位、关键点和位姿等信息，沿手术器械从头部到尾部由浅到深设置不同的透明度和/或设置不同颜色。
步骤S609、将调整颜色后的手术器械图像与手术图像进行融合，并显示融合后的手术图像。
在本实施例中，可以在便于医生观察的显示设备上显示融合图像，也可以在其他手术监控设备上显示融合图像。在本实施例中，可以通过图形处理器(GraphicsProcessing Unit，GPU)进行图像处理，并显示所述融合图像，可以确保并行加速运算效率，提高显示图像的速率。
本发明实施例提供的图像处理方法，能够基于器械判断网络模型对内窥镜图像中的手术器械进行精确地分割和姿态判定，便于精确便于精确理解手术器械的相关信息，从而可以提高手术导航的安全性。
本发明进一步提供一种手术导航设备。参见图7，图7为本发明提供的手术导航设备一实施例的流程图，所述手术导航设备700包括标注模块701、输入模块702、第一获取模块703、调整模块704及显示模块705，其中：
标注模块701，用于对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注，得到标准数据集；输入模块702，用于将所述标准数据集输入到深度卷积神经网络模型中进行训练，得到器械判断模型；第一获取模块703，用于根据预先获取的器械判断网络模型从手术图像中获取手术器械信息；调整模块704，用于根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整，并将调整色彩后的手术器械图像融合到所述手术图像中，得到融合图像；显示模块705，用于显示所述融合图像。
在本实施中，所述预先获取的内窥镜手术视频图像可以为从内窥镜视频数据中按照预设帧率获取的内窥镜手术视频图像。标准数据集的数量越大，训练结果越准确，但是为了减少资源损耗，需要对训练标准数据集的数据进行合理估计。
在本实施例中，所述深度卷积神经网络模型可以包括残差网络模型及特征金字塔网络模型。举例来说，残差网络模型可以为ResNet50。可以利用已有模型的训练结果进行参数的初始化，加快训练速度并保证收敛性。
可选的，如图8，所述手术导航设备700还包括处理模块706，用于将所述标准数据集调整为统一的尺寸和格式；
所述输入模块702包括：
初始子模块7021，用于对残差网络模型及特征金字塔网络模型设置初始化参数，得到初始神经网络模型；
训练子模块7022，用于将所述调整后的标准数据集输入所述初始神经网络模型，进行并行运算加速训练，得到所述器械判断网络模型，所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
在本实施例中，处理模块706对训练标准数据集进行预处理，去除运动模糊的帧图，进行高光抑制和非线性滤波，然后对训练标准数据集进行统一尺寸和格式的调整。
这样，可以从大量手术图像中快速获取器械判断网络模型，提高获取器械判断网络模型的效率。
在本实施例中，残差网络模型可以为ResNet50。可以利用已有模型的训练结果进行参数的初始化，加快训练速度并保证收敛性。请再次参阅图4，可以通过改进ResNet50模型的损失函数，增加关键点的匹配距离损失和位姿损失，加快训练效率的同时保证关键点的匹配性，对手术器械图像进行分割的匹配性。
在本实施例中，所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。也可以获得所述器械判断网络模型的构建参数，通过所述构建参数在同步的平台上建立所述器械判断网络模型。
在本实施例中，器械判断网络模型为根据大量手术图像对残差网络模型及特征金字塔网络模型进行训练所得到的网络模型，也就是说，所述器械判断网络模型包括残差网络模型及特征金字塔网络模型。所述手术图像为通过手术器械进行的手术过程中所采集的图像，例如，可以是临床内窥镜图像、临床内窥镜视频等。所述手术器械信息包括手术器械的种类、类型、关键点及器械位姿等，所述关键点包括器械连接部位、固定关节点、前端位置、后端位置等。
可选的，如图9所示，所述第一获取模块703可以包括第一输入子模块7031、第二输入子模块7032、第一确定子模块7033及第二确定子模块7034，第一输入子模块7031与第二输入子模块7032连接，第二输入子模块7032与第一确定子模块7033连接，第一确定子模块7033与第二确定子模块7034连接，其中：
第一输入子模块7031，用于将所述手术图像输入所述调整参数后的残差网络模型，得到第一输出结果；第二输入子模块7032，用于将所述第一输出结果输入所述调整参数后的特征金字塔网络模型，得到第二输出结果；第一确定子模块7033，用于采用回归函数模型从所述第二输出结果中确定所述关键点点；第二确定子模块7034，用于通过连接所述关键点中的固定关节点确定所述器械位姿。
具体的，请再次参阅图4，在图4中，F(X)为普通映射，F(X)+X为全等映射，relu为非线性激活单元，采用全等映射层(identity mapping)可以降低网络本身的深度以避免出现过拟合和不收敛的问题。weightlayer为待训练参数，残差网络模型的计算式为y＝F(x,{Wi})+Wsx。感兴趣区域(Region of Interest,RoI)损失函数为L＝Lcls+Lbox+Lmask。通过使用RoI损失函数，可以对关键点的匹配距离损失及位姿损失进行计算，加快训练效率的同时，保证关键点的匹配性，及保证对手术器械进行分割过程中的匹配性。
请再次参阅图5，在图5中包括第一池化层501、残差网络模型502、第二池化层503及特征金字塔网络模型504，回归函数模型505。在本实施例中，所述残差网络模型502可以为ResNet50，第一输入子模块7031将从第一池化层501输出的图像数据输入ResNet50，即输入到8个堆叠的3×3×512卷积层，经过残差网络模型502对图像数据提取手术器械图像，并对手术器械图像提取对应的掩膜和关键点，将关键点的位置建模为二进制掩膜，预测每个关键点的类型，得到第一输出结果，并将第一输出结果导入第二池化层503。
第二输入子模块7032将经过第二池化层503后的第一输出结果输入特征金字塔网络模型504，通过反卷积和双线性采用等过程，能够得到56×56的输出结果，即得到第二输出结果，在所述第二输出结果中包括手术器械信息，其中，所述手术器械信息包括器械种类、器械类别、关键点和位姿等信息。
在本实施例中，回归函数模型可以为softmax回归代价函数。具体的，softmax回归代价函数为：
Figure GDA0002707949500000131
其中，J为回归代价函数，m为目标个数，y(i)，x(i)为对应的数据类型。第一确定子模块7033通过使用softmax回归代价函数从第二输出结果中检测关键点。可以通过softmax回归代价函数的交叉熵计算关键点的估计值与真实值之间的差距，用于衡量测量结果的好坏。其中，对多个关键点的检测是独立的。
在本实施例中，所述关键点的类型可以有多种，例如可以包括固定关节点、前端、后端等类型，第二确定子模块7034对固定关节点进行连接，可以得到器械的位姿。
这样，在本实施例中，采用残差网络模型进行图像处理，具有加强的鲁棒性，能够适应人体内部手术图像的噪声，降低噪声干扰。在图像语义分割的基础上，减小了实例分割，能够精确地预测手术器械的种类和数量，并利用残差网络模型在分割的基础上，利用关键点进行手术器械位姿的识别，扩展了手术器械信息的内容。通过手术器械的器械位姿信息，可以进行下一步的数据处理，例如，可以进行进程判断，手术情况判断及操作过程识别等等。通过残差网络模型、特征金字塔网络模型及回归函数模型，可以获取手术图像中的手术器械信息，提高手术器械信息的精确度。
可选的，所述调整模块702还用于根据所述手术器械信息，将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
具体来说，所述调整模块702可以在手术器械图像中，根据检测得到的器械类型、不同部位、关键点和位姿等信息，沿手术器械从头部到尾部由浅到深设置不同的透明度和/或设置不同颜色。
在本实施例中，将调整透明度及颜色的手术器械图像融合到原来的手术图像中，可以确保医生在手术过程中可以直观对手术器械进行观察，并在手术之后的评价环节中可以获取关于手术器械的直观信息。
在本实施例中，所述显示模块703可以在便于医生观察的显示设备上显示融合图像，也可以在其他手术监控设备上显示融合图像。在本实施例中，可以通过图形处理器(Graphics Processing Unit，GPU)进行图像处理，并显示所述融合图像，可以确保并行加速运算效率，对于手术中内窥镜获取的实时视频图像，在保证手术的及时性和连贯性的同时，可以按照预设的帧率提取手术图像，并按照预设帧率显示融合图像，为医生提供更全面的手术过程信息。
本发明实施例中提供的手术导航设备，能够基于器械判断网络模型对手术图像中的手术器械图像进行色彩调整，便于精确地在手术图像中对手术器械相关信息进行突出显示，便于精确理解手术器械的相关信息，从而可以提高手术导航的安全性。
本发明进一步提供一种电子设备。参见图10，图10是本发明实施例提供的电子设备的结构图，如图10所示，电子设备1000包括：处理器1001、总线接口及收发机1002，其中：
处理器1001，用于对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注，得到标准数据集；将所述标准数据集输入到深度卷积神经网络模型中进行训练，得到器械判断模型；根据所述器械判断网络模型从手术图像中获取手术器械信息；根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整，并将调整色彩后的手术器械图像融合到所述手术图像中，得到融合图像；显示所述融合图像。
可选的，所述处理器1001还用于，将所述标准数据集调整为统一的尺寸和格式；所述深度卷积神经网络模型包括：残差网络模型及特征金字塔网络模型；所述处理器1001执行所述将所述标准数据集输入到深度卷积神经网络中进行训练，得到器械判断模型包括：对残差网络模型及特征金字塔网络模型设置初始化参数，得到初始神经网络模型；将所述调整后的标准数据集输入所述初始神经网络模型，进行并行运算加速训练，得到所述器械判断网络模型，所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
可选的，所述手术器械信息包括：关键点及器械位姿；
所述处理器1001执行所述根据所述器械判断网络模型从手术图像中获取手术器械信息包括：将所述手术图像输入所述调整参数后的残差网络模型，得到第一输出结果；将所述第一输出结果输入所述调整参数后的特征金字塔网络模型，得到第二输出结果；采用回归函数模型从所述第二输出结果中检测所述关键点；通过连接所述关键点中的固定关节点确定所述器械位姿。
可选的，所述处理器1001执行所述根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整包括：根据所述手术器械信息，将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
在本发明实施例中，电子设备还包括：存储器1003。在图10中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1001代表的一个或多个处理器和存储器1003代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1002可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器1001负责管理总线架构和通常的处理，存储器1003可以存储处理器1001在执行操作时所使用的数据。
本发明实施例还提供一种存储介质，存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种图像处理方法，其特征在于，包括：
对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注，得到标准数据集；
将所述标准数据集输入到深度卷积神经网络模型中进行训练，得到器械判断模型；
根据所述器械判断网络模型从手术图像中获取手术器械信息；
根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整，并将调整色彩后的手术器械图像融合到所述手术图像中，得到融合图像；
显示所述融合图像；
所述将所述标准数据集输入到深度卷积神经网络中进行训练，得到器械判断模型之前还包括：
将所述标准数据集调整为统一的尺寸和格式；
所述深度卷积神经网络模型包括：残差网络模型及特征金字塔网络模型；
所述将所述标准数据集输入到深度卷积神经网络中进行训练，得到器械判断模型包括：
对残差网络模型及特征金字塔网络模型设置初始化参数，得到初始神经网络模型；
将所述调整后的标准数据集输入所述初始神经网络模型，进行并行运算加速训练，得到所述器械判断网络模型，所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
2.如权利要求1所述的图像处理方法，其特征在于，
所述手术器械信息包括：关键点及器械位姿；
所述根据所述器械判断网络模型从手术图像中获取手术器械信息包括：
将所述手术图像输入所述调整参数后的残差网络模型，得到第一输出结果；
将所述第一输出结果输入所述调整参数后的特征金字塔网络模型，得到第二输出结果；
采用回归函数模型从所述第二输出结果中检测所述关键点；
通过连接所述关键点中的固定关节点确定所述器械位姿。
3.如权利要求1所述的图像处理方法，其特征在于，所述根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整包括：
根据所述手术器械信息，将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
4.一种手术导航设备，其特征在于，包括：
标注模块，用于对预先获取的内窥镜手术视频图像所包括的手术器械信息进行标注，得到标准数据集；
输入模块，用于将所述标准数据集输入到深度卷积神经网络模型中进行训练，得到器械判断模型；
第一获取模块，用于根据所述器械判断网络模型从手术图像中获取手术器械信息；
调整模块，用于根据所述手术器械信息，对从所述手术图像中分割到的手术器械图像进行色彩调整，并将调整色彩后的手术器械图像融合到所述手术图像中，得到融合图像；
显示模块，用于显示所述融合图像；
所述深度卷积神经网络模型包括：残差网络模型及特征金字塔网络模型；所述手术导航设备还包括：
处理模块，用于将所述标准数据集调整为统一的尺寸和格式；
所述输入模块包括：
初始子模块，用于对残差网络模型及特征金字塔网络模型设置初始化参数，得到初始神经网络模型；
训练子模块，用于将所述调整后的标准数据集输入所述初始神经网络模型，进行并行运算加速训练，得到所述器械判断网络模型，所述器械判断网络模型包括调整参数后的残差网络模型及调整参数后的特征金字塔网络模型。
5.如权利要求4所述的手术导航设备，其特征在于，所述手术器械信息包括：关键点及器械位姿；
所述第一获取模块包括：
第一输入子模块，用于将所述手术图像输入所述调整参数后的残差网络模型，得到第一输出结果；
第二输入子模块，用于将所述第一输出结果输入所述调整参数后的特征金字塔网络模型，得到第二输出结果；
第一确定子模块，用于采用回归函数模型从所述第二输出结果中确定所述关键点；
第二确定子模块，用于通过连接所述关键点中的固定关节点确定所述器械位姿。
6.如权利要求4所述的手术导航设备，其特征在于，所述调整模块，还用于根据所述手术器械信息，将所述手术器械图像的不同区域设置不同颜色和/或不同透明度。
7.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至3中任一项所述的图像处理方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的图像处理方法的步骤。
CN201810781480.8A 2018-07-17 2018-07-17 图像处理方法、手术导航设备、电子设备、存储介质 Active CN109215079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810781480.8A CN109215079B (zh) 2018-07-17 2018-07-17 图像处理方法、手术导航设备、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810781480.8A CN109215079B (zh) 2018-07-17 2018-07-17 图像处理方法、手术导航设备、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN109215079A CN109215079A (zh) 2019-01-15
CN109215079B true CN109215079B (zh) 2021-01-15

Family

ID=64989985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810781480.8A Active CN109215079B (zh) 2018-07-17 2018-07-17 图像处理方法、手术导航设备、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN109215079B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507334B (zh) * 2019-01-30 2024-03-12 中国科学院宁波材料技术与工程研究所 一种基于关键点的实例分割方法
CN111311561B (zh) * 2020-02-10 2023-10-10 浙江未来技术研究院(嘉兴) 一种基于显微手术成像系统的术区自动测光方法及装置
CN111931626B (zh) * 2020-08-03 2023-12-26 深圳市爱博医疗机器人有限公司 一种基于深度学习的血管介入机器人自动手术方法
CN112396601B (zh) * 2020-12-07 2022-07-29 中山大学 一种基于内窥镜图像的实时的神经外科手术器械分割方法
CN112967300A (zh) * 2021-02-23 2021-06-15 艾瑞迈迪医疗科技（北京）有限公司 基于多尺度融合网络的三维超声甲状腺分割方法及装置
CN112991333B (zh) * 2021-04-21 2021-08-10 强基(上海)医疗器械有限公司 一种内窥镜手术中基于语音分析的图像处理方法及系统
CN114220060B (zh) * 2021-12-24 2022-10-28 萱闱(北京)生物科技有限公司 基于人工智能的器具标注方法、装置、介质和计算设备
CN117224231B (zh) * 2023-11-16 2024-02-13 四川大学华西医院 用于肝切除术解剖时的血管暴露分析装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
CN106326856A (zh) * 2016-08-18 2017-01-11 厚凯（天津）医疗科技有限公司 一种手术图像处理方法及装置
CN107256552B (zh) * 2017-06-14 2020-08-18 成都微识医疗设备有限公司 息肉图像识别系统及方法
CN108040243B (zh) * 2017-12-04 2019-06-14 南京航空航天大学 多光谱立体视觉内窥镜装置及图像融合方法
CN107977969B (zh) * 2017-12-11 2020-07-21 北京数字精准医疗科技有限公司 一种内窥镜荧光图像的分割方法、装置及存储介质

Also Published As

Publication number Publication date
CN109215079A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109215079B (zh) 图像处理方法、手术导航设备、电子设备、存储介质
US11907849B2 (en) Information processing system, endoscope system, information storage medium, and information processing method
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
Mahmoud et al. ORBSLAM-based endoscope tracking and 3D reconstruction
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
JP4909378B2 (ja) 画像処理装置及びその制御方法、コンピュータプログラム
Mourgues et al. 3D reconstruction of the operating field for image overlay in 3D-endoscopic surgery
US20150297313A1 (en) Markerless tracking of robotic surgical tools
CN110288653B (zh) 一种多角度超声图像融合方法、系统及电子设备
US9830737B2 (en) Virtual endoscopic image generation device, method, and medium containing program
CN101071473A (zh) 检测特征点的设备及检测特征点的方法
WO2022156425A1 (zh) 一种微创手术器械定位方法和系统
US9808145B2 (en) Virtual endoscopic image generation device, method, and medium containing program
KR20210051141A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
CN108814717B (zh) 手术机器人系统
CN112164043A (zh) 一种用于多眼底图像拼接的方法及系统
Agustinos et al. 2D/3D real-time tracking of surgical instruments based on endoscopic image processing
JP2012061337A (ja) 画像処理装置及びその制御方法、コンピュータプログラム
EP4337131A1 (en) Method and system of model fusion for laparoscopic surgical guidance
Speidel et al. Recognition of risk situations based on endoscopic instrument tracking and knowledge based situation modeling
CN117204796A (zh) 一种腹腔内窥镜多光谱成像方法及装置
KR20210052270A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
Alsaleh et al. ReTouchImg: Fusioning from-local-to-global context detection and graph data structures for fully-automatic specular reflection removal for endoscopic images
CN116993805A (zh) 面向手术规划辅助的术中剩余器官体积估计系统
US20220175457A1 (en) Endoscopic image registration system for robotic surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant