CN112308026A - 基于深度学习的手术器械夹持力感知方法 - Google Patents

基于深度学习的手术器械夹持力感知方法 Download PDF

Info

Publication number
CN112308026A
CN112308026A CN202011320460.4A CN202011320460A CN112308026A CN 112308026 A CN112308026 A CN 112308026A CN 202011320460 A CN202011320460 A CN 202011320460A CN 112308026 A CN112308026 A CN 112308026A
Authority
CN
China
Prior art keywords
clamping force
layer
surgical instrument
force sensing
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011320460.4A
Other languages
English (en)
Other versions
CN112308026B (zh
Inventor
潘博
郭勇辰
刘柏男
付宜利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202011320460.4A priority Critical patent/CN112308026B/zh
Publication of CN112308026A publication Critical patent/CN112308026A/zh
Application granted granted Critical
Publication of CN112308026B publication Critical patent/CN112308026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

基于深度学习的手术器械夹持力感知方法，涉及医疗机器人领域。为解决现有的微创手术机器人系统存在无法准确获得手术器械夹持力，精度较低的问题。在使用时，仅需获取手术机器人系统现有的电机电流、驱动电机角位置和驱动电机角速度即可感知夹持力，没有额外的硬件成本，不影响高温消毒，并且基于卷积神经网络，结合注意力机制模块和驱动电机电流的反馈来构建手术器械夹持力感知模型，相比现有模型夹持力感知精度有所提升，从而实现在微创手术机器人系统中准确的获得手术器械加持力，提高获取精度。本发明适用于医疗机器人领域。

Description

基于深度学习的手术器械夹持力感知方法
技术领域
本发明涉及医疗机器人领域，具体涉及基于深度学习的手术器械夹持力感知方法。
背景技术
近年来，腔镜微创手术机器人的应用提高了手术效果，减轻了患者病痛。医生通过主操作手控制伸入患者腔体内的细长手术器械来实现各种手术操作。然而，目前的微创手术机器人系统缺乏术中夹持力的感知，使得医生的手术临场感大大降低，增加了手术难度与手术时间，不能有效地满足微创手术直观性地需求。
目前仍在实验室研究阶段的手术器械夹持力感知方案主要有以下几类：集成特殊地夹持力传感器、安装钢丝绳拉力传感器以间接计算夹持力、基于物理模型建模计算夹持力、基于机器学习算法预测夹持力。夹持力传感器由于成本高昂，占用空间大、影响高温消毒等缺点，仍未获得广泛应用；而由于手术器械的非线性绳轮系统建模的准确性有限，利用钢丝绳拉力计算夹持力的准确度有限，且仍存在成本高昂影响高温消毒的缺点，该方案也仍停留在实验室阶段；基于物理模型建模不需要额外的硬件成本，不影响高温消毒，但由于模型的非线性较强，难以准确建模，所以感知准确度较低；基于机器学习算法获取夹持力利用事先采集的电机电流、电机位置、电机速度和末端夹持力数据让学习算法自主学习非线性的绳轮动力学模型，无需额外硬件成本，准确度比基于动力学建模的方法大大提高，但由于模型容量不足，对于空载情况和夹持坚硬与柔软物品的情况准确度仍不能满足要求。
综上所述，现有的微创手术机器人系统存在无法准确获得手术器械夹持力，精度较低的问题。
发明内容
本发明为解决现有的微创手术机器人系统存在无法准确获得手术器械夹持力，精度较低的问题，而提出基于深度学习的手术器械夹持力感知方法。
本发明的基于深度学习的手术器械夹持力感知方法，其具体方法如下：
步骤一、使用从微创手术机器人系统上采集的电机位置θ、电机速度
Figure BDA0002792720590000011
电机速度符号
Figure BDA0002792720590000012
电机速度绝对值
Figure BDA0002792720590000013
电机电流I、电机电流符号sgn(I)、电机电流绝对值abs(It)构建输入数据矩阵M；
步骤二、将数据输入矩阵M输入卷积网络层，将其输出结果输入注意力机制模块，进一步将其输出结果输入平均池化层，再将其输出结果输入全局平均池化层；
步骤三、将输入数据矩阵M中的电机电流、电机电流符号、电机电流绝对值与全局平均池化层的输出结果进行数据拼接，再将拼接结果输入多层感知器，其输出结果为手术器械夹持力；
进一步的，所述步骤一中的数据矩阵
Figure BDA0002792720590000021
其中sgn(·)表示取符号运算，abs(·)表示取绝对值玉奴算，下角标t表示当前采样周期的数据，t-1表示前一个采样周期的数据；
进一步的，所述的步骤二中的卷积网络层的卷积核大小为3×3，卷积核的个数为128，卷积步长为1，激活函数为ReLu；
进一步的，所述的步骤二中注意力模块的共享多层感知器的隐层神经元个数为16，空间注意力模块的卷积核大小为3×7；
进一步的，所述的步骤二中的平均池化层的过滤器大小为2×2，步长为2；
进一步的，所述的步骤三中的多层感知器由一个输入层、一个输出层和一个隐含层组成，输入层神经元个数为128+N，输出层神经元个数为1，隐含层神经元个数为128，输入层和隐含层的激活函数为Sigmoid，输出层没有激活函数。
本发明与现有技术相比具有以下有益效果：
本发明克服了现有技术的缺点，在使用时，仅需获取手术机器人系统现有的电机电流、驱动电机角位置和驱动电机角速度即可感知夹持力，没有额外的硬件成本，不影响高温消毒，并且基于卷积神经网络，结合注意力机制模块和驱动电机电流的反馈来构建手术器械夹持力感知模型，相比现有模型夹持力感知精度有所提升，从而实现在微创手术机器人系统中准确的获得手术器械加持力，提高获取精度。
附图说明
图1是本发明所述的基于深度学习的手术器械夹持力感知方法的流程图。
具体实施方式
具体实施方式一：结合图1说明本实施方式，本实施方式所述的基于深度学习的手术器械夹持力感知方法，其具体方法如下：
步骤一、使用从微创手术机器人系统上采集的电机位置θ、电机速度
Figure BDA0002792720590000031
电机速度符号
Figure BDA0002792720590000032
电机速度绝对值
Figure BDA0002792720590000033
电机电流I、电机电流符号sgn(I)、电机电流绝对值abs(It)构建输入数据矩阵M；
步骤二、将数据输入矩阵M输入卷积网络层，将其输出结果输入注意力机制模块，进一步将其输出结果输入平均池化层，再将其输出结果输入全局平均池化层；
步骤三、将输入数据矩阵M中的电机电流、电机电流符号、电机电流绝对值与全局平均池化层的输出结果进行数据拼接，再将拼接结果输入多层感知器，其输出结果为手术器械夹持力；
本具体实施方式，采用数据矩阵M中包含了电机速度和电机电流的符号和绝对值，才能为夹持力感知提供丰富准确的数据源；正是因为使用了卷积网络层和注意力机制模块，才能具有更高的模型容量来处理输入数据矩阵M；正是因为将电机电流、电机电流符号、电机电流绝对值与全局平均池化层的数据进行输入拼接再输入多层感知器，才能使多层感知器直接准确的获取电机电流信息以计算夹持力；
具体应用时，利用训练完成的夹持力感知方法接收待手术器械在实际操作过程中驱动电机的电流、位置和速度，训练完成的夹持力感知模型即可直接输出感知力，可高精度的感知器械对待测物进行操作时的作用力。
具体实施方式二：结合图1说明本实施方式，本实施方式是对具体实施方式一所述的加持力感知方法的进一步的限定，本实施方式所述的基于深度学习的手术器械夹持力感知方法，所述的步骤一中数据矩阵
Figure BDA0002792720590000034
其中sgn(·)表示取符号运算，abs(·)表示取绝对值玉奴算，下角标t表示当前采样周期的数据，t-1表示前一个采样周期的数据；
本具体实施方式，利用电机位置θ、电机速度
Figure BDA0002792720590000041
电机速度符号
Figure BDA0002792720590000042
电机速度绝对值
Figure BDA0002792720590000043
电机电流I、电机电流符号sgn(I)、电机电流绝对值abs(It)构建出数据矩阵M，为夹持力感知提供丰富准确的数据源，从而解决了现有微创手术机器人系统夹持力感知方案成本高、精度差的缺点。
具体实施方式三：结合图1说明本实施方式，本实施方式是对具体实施方式一所述的加持力感知方法的进一步的限定，本实施方式所述的基于深度学习的手术器械夹持力感知方法，所述的步骤二中的卷积网络层的卷积核大小为3×3，卷积核的个数为128，卷积步长为1，激活函数为ReLu；
本具体实施方式，采用步骤二中的卷积网络层的卷积核大小为3×3，卷积核的个数为128，卷积步长为1，激活函数为ReLu，实现在微创手术机器人系统中准确的获得手术器械加持力，提高获取精度。
具体实施方式四：结合图1说明本实施方式，本实施方式是对具体实施方式三所述的加持力感知方法的进一步的限定，本实施方式所述的基于深度学习的手术器械夹持力感知方法，所述的步骤二中注意力模块的共享多层感知器的隐层神经元个数为16，空间注意力模块的卷积核大小为3×7。
具体实施方式五：结合图1说明本实施方式，本实施方式是对具体实施方式四所述的加持力感知方法的进一步的限定，本实施方式所述的基于深度学习的手术器械夹持力感知方法，所述的步骤二中的平均池化层的过滤器大小为2×2，步长为2。
具体实施方式六：结合图1说明本实施方式，本实施方式是对具体实施方式一所述的加持力感知方法的进一步的限定，本实施方式所述的基于深度学习的手术器械夹持力感知方法，所述的步骤三中的多层感知器由一个输入层、一个输出层和一个隐含层组成，输入层神经元个数为128+N，输出层神经元个数为1，隐含层神经元个数为128，输入层和隐含层的激活函数为Sigmoid，输出层没有激活函数；
本具体实施方式，采用多层感知器由一个输入层，一个输出层和一个隐含层组成，输入层神经元个数为128+N，输出层神经元个数为1，隐含层神经元个数为128，输入层和隐含层的激活函数为Sigmoid，输出层没有激活函数；
在使用时，仅需获取手术机器人系统现有的电机电流、驱动电机角位置和驱动电机角速度即可感知夹持力，没有额外的硬件成本，不影响高温消毒，并且基于卷积神经网络，结合注意力机制模块和驱动电机电流的反馈来构建手术器械夹持力感知模型，相比现有模型夹持力感知精度有所提升，从而实现在微创手术机器人系统中准确的获得手术器械加持力，提高获取精度。
具体步骤
步骤一、使用从微创手术机器人系统上采集的电机位置θ、电机速度
Figure BDA0002792720590000051
电机速度符号
Figure BDA0002792720590000052
电机速度绝对值
Figure BDA0002792720590000053
电机电流I、电机电流符号sgn(I)、电机电流绝对值abs(It)构建输入数据矩阵M；
数据矩阵
Figure BDA0002792720590000054
其中sgn(·)表示取符号运算，abs(·)表示取绝对值玉奴算，下角标t表示当前采样周期的数据，t-1表示前一个采样周期的数据；
步骤二、将数据输入矩阵M输入卷积网络层，将其输出结果输入注意力机制模块，进一步将其输出结果输入平均池化层，再将其输出结果输入全局平均池化层；
步骤三、将输入数据矩阵M中的电机电流、电机电流符号、电机电流绝对值与全局平均池化层的输出结果进行数据拼接，再将拼接结果输入多层感知器，其输出结果为手术器械夹持力。

Claims (6)

1.基于深度学习的手术器械夹持力感知方法，其特征在于：其具体方法如下：
步骤一、使用从微创手术机器人系统上采集的电机位置θ、电机速度
Figure FDA0002792720580000012
电机速度符号
Figure FDA0002792720580000013
电机速度绝对值
Figure FDA0002792720580000014
电机电流I、电机电流符号sgn(I)、电机电流绝对值abs(It)构建输入数据矩阵M；
步骤二、将数据输入矩阵M输入卷积网络层，将其输出结果输入注意力机制模块，进一步将其输出结果输入平均池化层，再将其输出结果输入全局平均池化层；
步骤三、将输入数据矩阵M中的电机电流、电机电流符号、电机电流绝对值与全局平均池化层的输出结果进行数据拼接，再将拼接结果输入多层感知器，其输出结果为手术器械夹持力。
2.根据权利要求1所述的基于深度学习的手术器械夹持力感知方法，其特征在于：所述的步骤一中数据矩阵
Figure FDA0002792720580000011
其中sgn(·)表示取符号运算，abs(·)表示取绝对值玉奴算，下角标t表示当前采样周期的数据，t-1表示前一个采样周期的数据。
3.根据权利要求1所述的基于深度学习的手术器械夹持力感知方法，其特征在于：所述的步骤二中的卷积网络层的卷积核大小为3×3，卷积核的个数为128，卷积步长为1，激活函数为ReLu。
4.根据权利要求3所述的基于深度学习的手术器械夹持力感知方法，其特征在于：所述的步骤二中注意力模块的共享多层感知器的隐层神经元个数为16，空间注意力模块的卷积核大小为3×7。
5.根据权利要求4所述的基于深度学习的手术器械夹持力感知方法，其特征在于：所述的步骤二中的平均池化层的过滤器大小为2×2，步长为2。
6.根据权利要求1所述的基于深度学习的手术器械夹持力感知方法，其特征在于：所述的步骤三中的多层感知器由一个输入层、一个输出层和一个隐含层组成，输入层神经元个数为128+N，输出层神经元个数为1，隐含层神经元个数为128，输入层和隐含层的激活函数为Sigmoid，输出层没有激活函数。
CN202011320460.4A 2020-11-23 2020-11-23 基于深度学习的手术器械夹持力感知方法 Active CN112308026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011320460.4A CN112308026B (zh) 2020-11-23 2020-11-23 基于深度学习的手术器械夹持力感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011320460.4A CN112308026B (zh) 2020-11-23 2020-11-23 基于深度学习的手术器械夹持力感知方法

Publications (2)

Publication Number Publication Date
CN112308026A true CN112308026A (zh) 2021-02-02
CN112308026B CN112308026B (zh) 2022-10-14

Family

ID=74335116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011320460.4A Active CN112308026B (zh) 2020-11-23 2020-11-23 基于深度学习的手术器械夹持力感知方法

Country Status (1)

Country Link
CN (1) CN112308026B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113476142B (zh) * 2021-06-30 2023-03-31 上海微创医疗机器人（集团）股份有限公司 手术器械夹持力自适应控制系统及控制方法和手术机器人

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190104919A1 (en) * 2012-05-20 2019-04-11 Ethicon Llc Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US20190125361A1 (en) * 2017-10-30 2019-05-02 Ethicon Llc Method for operating a powered articulating multi-clip applier
CN110974425A (zh) * 2019-12-20 2020-04-10 哈尔滨工业大学 对手术器械夹持力感知模型进行训练的方法
US10758309B1 (en) * 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190104919A1 (en) * 2012-05-20 2019-04-11 Ethicon Llc Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US20190125361A1 (en) * 2017-10-30 2019-05-02 Ethicon Llc Method for operating a powered articulating multi-clip applier
US10758309B1 (en) * 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
CN110974425A (zh) * 2019-12-20 2020-04-10 哈尔滨工业大学 对手术器械夹持力感知模型进行训练的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIAQING HUANG等: "Grip Force Estimation of Laparoscope Surgical Robot based on Neural Network Optimized by Genetic Algorithm", 《2018 THE 3RD INTERNATIONAL CONFERENCE ON ROBOTICS,CONTROL AND AUTOMATION》 *
NATHAN J. KONG等: "Da Vinci tool torque mapping over 50,000 grasps and its implications on grip force estimation accuracy", 《 2018 INTERNATIONAL SYMPOSIUM ON MEDICAL ROBOTICS (ISMR)》 *
YONGCHEN GUO等: "Grip Force Perception Based on dAENN for Minimally Invasive Surgery Robot", 《 2019 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO)》 *
黄佳清: "手术机器人的夹持力检测及其反馈控制研究", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113476142B (zh) * 2021-06-30 2023-03-31 上海微创医疗机器人（集团）股份有限公司 手术器械夹持力自适应控制系统及控制方法和手术机器人

Also Published As

Publication number Publication date
CN112308026B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
Thuruthel et al. Soft robot perception using embedded soft sensors and recurrent neural networks
Soter et al. Bodily aware soft robots: integration of proprioceptive and exteroceptive sensors
US20200211706A1 (en) Intelligent traditional chinese medicine diagnosis method, system and traditional chinese medicine system
Sikder et al. Human activity recognition using multichannel convolutional neural network
CN112308026B (zh) 基于深度学习的手术器械夹持力感知方法
CN113763386B (zh) 基于多尺度特征融合的手术器械图像智能分割方法和系统
CN108549875A (zh) 一种基于深度通道注意力感知的脑电癫痫发作检测方法
CN110974425B (zh) 对手术器械夹持力感知模型进行训练的方法
CN109613976A (zh) 一种智能柔性压力传感手语识别装置
Wang et al. Leveraging tactile sensors for low latency embedded smart hands for prosthetic and robotic applications
EP1939796A3 (en) Data processing apparatus, data processing method data processing program and computer readable medium
CN111481208B (zh) 一种应用于关节康复的辅助系统、方法及存储介质
JP2002236904A (ja) データ処理装置および方法、記録媒体、並びにプログラム
CN116824670A (zh) 基于微表情的问诊辅助方法、装置、设备及介质
CN115474885A (zh) 内镜控制方法、内镜以及手术机器人
CN113436743B (zh) 基于表示学习的多结局疗效预测方法、装置及存储介质
CN110555472B (zh) 基于主动学习的心电信号数据标注方法
Patel et al. Mind machine interface using internet of things
Kim et al. Asynchronous classification of error-related potentials in human-robot interaction
CN117671012B (zh) 术中内窥镜绝对与相对位姿计算的方法、装置及设备
CN113012291B (zh) 基于机械手参数重建对象三维模型的方法和装置
Ruan et al. RFCT: Multimodal Sensing Enhances Grasping State Detection for Weak-Stiffness Targets
Wang et al. A systematic review of artificial neural network techniques for analysis of foot plantar pressure
Kumar et al. Wound care: Wound management system
Zheng et al. Real Time Surgical Instrument Object Detection Using YOLOv7

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant