CN110047591A - 一种针对外科手术过程中医生姿态评估方法 - Google Patents

一种针对外科手术过程中医生姿态评估方法 Download PDF

Info

Publication number
CN110047591A
CN110047591A CN201910326108.2A CN201910326108A CN110047591A CN 110047591 A CN110047591 A CN 110047591A CN 201910326108 A CN201910326108 A CN 201910326108A CN 110047591 A CN110047591 A CN 110047591A
Authority
CN
China
Prior art keywords
grade
posture
basis
action
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910326108.2A
Other languages
English (en)
Other versions
CN110047591B (zh
Inventor
刘鹏
薛一鸣
张起勋
王坤
赵安然
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910326108.2A priority Critical patent/CN110047591B/zh
Publication of CN110047591A publication Critical patent/CN110047591A/zh
Application granted granted Critical
Publication of CN110047591B publication Critical patent/CN110047591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明属于人因工效学领域，具体的说是一种针对外科手术过程中医生姿态评估方法。本发明利用一种新的针对外科手术过程的姿态评价体系，对于普通外科手术过程，兼顾动态和静态姿势建立了更加全面的针对性动作评价方法，利用计算机实现，摆脱了传统动作评价费时费人力的劣势，并且结果具有客观性与更高的准确性，克服使用观察人员分析的主观性问题。

Description

一种针对外科手术过程中医生姿态评估方法
技术领域
本发明属于人因工效学领域，具体的说是一种针对外科手术过程中医生姿态评估方法。
背景技术
肌肉骨骼失调症(MSDs)是最常见的健康问题之一，对人们的工作生活产生了负面影响。外科医生由于长时间低头弯腰的手术操作增加了自身患病率的同时也对手术失败率产生影响。
用科学的方法分析和改善工作姿态对降低肌肉骨骼失调症的风险有重要的贡献。目前，包括Ovako Working Posture Analyzing System(OWAS)、上肢风险评估(ULRA)和NOISH提举方程等一些经典姿态评估方法可以准确有效应用在多种工作场合，最终计算得到目前动作可能导致肌肉骨骼失调症的风险，但每一种方法都是单一的静态动作评估或动态动作评估，即仅考虑当前姿势的风险等级，或者仅考虑目前重复性动作或保持某一种姿势，这种重复性动作或姿势与时间线性相关的风险等级，而在外科手术过程中，忽略了实际手术中大部分动作具有动态与静态相结合的两种属性。
在对手术医生进行姿态分析的过程中，传统做法需要专业分析人员经过对工作姿态的多次观察或者采用视频记录之后对视频重复观察，采用某种姿态分析方法计算得到结果。传统的姿态评估方法由于需要专业分析人员的参与，评估结果受观察者的观察角度与人的主观因素影响。与计算机实现相比，即使观察人员专业水平提升，在客观性与可靠性方面也很有太大提升。
发明内容
本发明提供了一种新的针对外科手术过程的姿态评价体系，克服了传统姿态评估方法无法兼顾静态过程与动态过程的问题，利用计算机与体感交互技术实现了对于手术过程中医生姿态的评估，克服使用观察人员分析的主观性问题。
本发明技术方案结合附图说明如下：
一种针对外科手术过程中医生姿态评估方法，该方法包括以下步骤：
步骤一、将Kinect V2设备放置正前方，开启近距离模式，摄像头面向医生，高度1.5米，距离医生0.8～2.5米；通过Kinect V2设备捕捉人体25个部位骨骼点三维坐标数据，坐标原点为摄像头；
步骤二、将25个骨骼点的三维坐标数据输入多层人工神经网络即ANN，计算得到当前姿势的基础AC等级；
步骤三、判断当前动作为动态过程还是静态过程；
步骤四、根据当前动作过程计算此动作带来的与频率或持续时间相关的附加特征；
步骤五、在基础AC等级的基础上，根据附加特征带来的额外危险因素计算得到最终的AC等级。
步骤六、根据最终的AC等级判定姿势危害并做相应的处理方案。
所述的步骤一中25个部位骨骼点三维坐标数据包括：头部H(x,y,z)，颈部N(x,y,x)，肩中心SC(x,y,z)，左拇指LT(x,y,z)，右拇指RT(x,y,z)，左指尖LFg(x,y,x)，右指尖RFg(x,y,x)，左手LH(x,y,x)，右手RH(x,y,x)，左手腕LW(x,y,x)，右手腕R(x,y,x)，左肘LE(x,y,x)，右肘RE(x,y,x)，左肩膀LS(x,y,x)，右肩膀RS(x,y,x)，脊柱S(x,y,x)，髋关节中心HJ(x,y,x)，左臀LH(x,y,x)，右臀RH(x,y,x)，左膝盖LK(x,y,x)，右膝盖RK(x,y,x)，左脚踝LA(x,y,x)，右脚踝RA(x,y,x)，左脚LFt(x,y,x)，右脚RFt(x,y,x)；设置Kinect V2采样频率为每秒钟25帧，1帧0.04秒；将每一个骨骼点的三维坐标flatten为一个一维数组，所有25个骨骼点的坐标flatten为整个一维数组，总共有75个元素。
所述的步骤二中的基础AC等级由基础特征所决定，基础特征指人的颈部、腰部、上肢、下肢姿势四种编码元素组合构成，步骤二的具体方法如下：
21)通过四种编码元素所构成的不同组合分别形成手术过程中医生的基础AC等级评分标准，基础AC等级分为AC1、AC2、AC3；具体如下表所示：
组合方式如下表所示：
22)对Kinect V2采集的75维人体骨骼点坐标数据进行归一化的预处理，处理之后选择人工神经网络的方法来对基础AC等级进行分类；对三种基础AC等级采用独热编码[1,0,0]，[0,1,0]和[0,0,1]，分别代表AC1、AC2、AC3；
23)搭建一个多层人工神经网络，输入层共75个神经元，共含有5个隐藏层，每个隐藏层由39个神经元组成，输出层共3个神经元；隐藏层选择线性整流函数即ReLU为激活函数，隐藏层最后一层使用dropout随机失活；输出层的激活函数为softmax，使用随机梯度下降对网络进行训练；训练集从预先采集的人体基础动作数据库中选取；
24)在识别过程中，将每一帧采集的人体骨骼数据输入到这个人工神经网络的分类器，得到当前帧姿势的基础AC等级。
所述的步骤三的具体方法如下：
在确定了基础AC等级之后，记录当前的第一次基础AC等级，启动计时器1；在基础AC等级发生变化时，记录当前的第二次基础AC等级，计时器1重新计时，计时器2开启计时；在下一次基础AC等级变化时，计时器1重新计时，记录时间戳t1，记录当前的第三次AC等级同时检查新的第三次基础AC等级是否与第一次基础AC等级相同，若第三次基础AC等级与第一次基础AC等级相同，计时器2继续计时，计时器1重新计时；若第三次基础AC等级与第一次基础AC等级不相同，计时器1与计时器2同时重新计时；其中计时器1用于记录静态过程持续时间；计时器2用于记录动态过程持续时间以计算频率；当计时器2记录时间达到整数分钟时，计算一次这个时间段内基础本AC等级改变的频率。
所述的步骤四的具体方法如下：
41)若当前动作为动态过程，具体方法如下：
在动态过程中，竖脊肌为最敏感的躯干肌肉，美国NIOSH提出了提举重量推荐限值RWL，RWL被定义为在不引起与提举相关的肌肉骨骼疾病时，所有健康人能够提举的负荷重量；在RWL的基础上，通过提举方程计算出动态过程中标准动作频率的阈值；在高频重复动作中，如果动作频率超过7次/分钟，AC等级在基础AC等级上增加；
NIOSH提举方程通过在0和1之间变化的六个任务相关乘数调制权重常数即23kg来估计RWL；RWL计算如下：
RWL＝23kg×HM×VM×DM×AM×FM×CM
其中H，V，D，A，F和C分别为：H＝物体相对于物体的水平位置，V＝物体相对于地面的垂直位置，VM＝1-0.003|V-75|，D＝物体垂直移动的距离，A＝不对称角度或扭曲要求，即偏离矢状面的角度，AM＝1-0.0032×A，F＝频率或提升活动的持续时间，C工人抓住物体的耦合或质量，CM可由NIOSH提举方程查表得，此处预设CM＝0.95，当计算RNLE乘数时，需要考虑三个不同的标准：生理即限制最大能量消耗至2.2-4.7千卡/分钟，心理物理即将重量大小限制为可接受的值为75％和生物力学即将L5-S1压缩力限制在3400N；
LI被定义为提举重物的重量与该任务计算所得的RWL的比值，即LI＝weight/RWL，如果LI>1.0，则该工作任务可能构成对作业人群的危害；如果LI>2.0甚至3.0以上时，则危险度会明显增加；设定LI＝1.0为阈值，通过数据平均值确定平均参数，计算得到当频率F超过7时，LI值大于1.0；
因此当动作频率大于或等于7钟时，行动等级在基础AC等级上增加一级，当动作频率小于7分钟时，行动等级等于基础AC等级。
42)若当前动作为静态过程，具体方法如下：
静态过程是一种和动态过程相反手术过程，两者是相斥的；将静态过程与低频重复即频率<2次/分钟相结合；OWAS本是一种评估静态物理负载的手动处理方法，但是没有对时间标准的明确定义，过长时间保持相同姿势的负载也会造成肌肉劳损；ULRA即upperlimbs risk assessment将低频静态负载过程持续时间分成三类：(1)持续一小时以下间断性操作；(2)持续时间大于一小时并小于两小时；(3)持续时间大于等于两小时，这三类对于肌肉骨骼疾病的风险等级递增；
在静态与低频重复动作中，基础行动等级为AC1的动作在持续时间大于等于1小时而小于2小时时，行动等级增加为AC2；在持续时间大于等于2小时时，行动等级增加为AC3；基础行动等级为AC2的动作，在持续时间大于等于5min，小于15min时，行动等级增加为AC3；在持续时间大于等于15min时，行动等级增加为AC4。基础行动等级为AC3的动作，在持续时间大于等于5min时，行动等级增加为AC4。
所述的步骤五的具体方法如下：
由动态高频动作对于基础AC等级影响流程图与静态过程对于基础AC等级影响流程图，首先利用Kinect V2侦测的人体25个骨骼点三维坐标数据输入拟合好的人工神经网络，得到基础AC等级；若基础AC等级为AC1且一段时间内没有发生变化，若持续时间大于1小时二小于2小时，行动等级判断为AC2，若持续时间大于2小时，行动等级判断为AC3；若基础AC等级为AC2，持续时间大于等于5min，小于15min，判断行动冬季为AC3，持续时间大于15min，判断行动等级为AC4；若基础AC等级为AC3，持续时间大于等于5min，判断行动等级为AC4；若基础AC等级发生变化，检查变化频率若小于7次/min，行动等级等于基础AC等级，若变化频率大于等于7次/min，行动等级在基础AC等级的基础上增加一级。
所述的步骤六中具体方法参考下表所示：
本发明的有益效果为：对于普通外科手术过程，兼顾动态和静态姿势建立了更加全面的针对性动作评价方法，利用计算机实现，摆脱了传统动作评价费时费人力的劣势，并且结果具有客观性与更高的准确性。
附图说明
图1是本发明所述的外科手术医生姿态评估方法的流程图；
图2是本发明所述的姿态评估AC等级构成示意图；
图3是本发明所述的基础特征编码元素；
图4是本发明所述的动态高频动作对于基础AC等级影响流程图；
图5是本发明所述的静态过程对于基础AC等级影响流程图。
具体实施方式
步骤1：将按照要求安装好设备，确认Kinect V2已经侦测到医生的人体数据。25个骨骼点数据分别为头部H(x,y,z)，颈部N(x,y,x)，肩中心SC(x,y,z)，左拇指LT(x,y,z)，右拇指RT(x,y,z)，左指尖LFg(x,y,x)，右指尖RFg(x,y,x)，左手LH(x,y,x)，右手RH(x,y,x)，左手腕LW(x,y,x)，右手腕R(x,y,x)，左肘LE(x,y,x)，右肘RE(x,y,x)，左肩膀LS(x,y,x)，右肩膀RS(x,y,x)，脊柱S(x,y,x)，髋关节中心HJ(x,y,x)，左臀LH(x,y,x)，右臀RH(x,y,x)，左膝盖LK(x,y,x)，右膝盖RK(x,y,x)，左脚踝LA(x,y,x)，右脚踝RA(x,y,x)，左脚LFt(x,y,x)，右脚RFt(x,y,x)。
设置Kinect V2采样频率为每秒钟25帧，1帧0.04秒。将每一个骨骼点的三维坐标flatten为一个一维数组，所有25个骨骼点的坐标flatten为整个一维数组，总共有75个元素。
步骤2：利用人工神经网络计算得到当前姿势的基础AC等级。
基础AC等级由图2中基础特征所决定，基础特征指人的颈部、腰部、上肢、下肢姿势组合构成。手术过程中医生的基础AC等级分为AC1、AC2、AC3共三种，其编码元素如图3所示，通过四种编码元素所构成的不同组合分别行成上述三种不同的AC等级。
组合方式如下表2所示：
由于Kinect V2获取的人体数据为75维，因为在识别过程中，基础行动等级AC1、AC2、AC3相互之间的区别相对较为模糊且是某一帧的静态姿势不包含时间序列。所以首先对数据进行归一化的预处理，处理之后选择人工神经网络的方法来对基础行动等级进行分类。[1,0,0]，[0,1,0]和[0,0,1]，分别代表AC1、AC2、AC3。
神经网络使用前文所说的75维人体骨骼数据来对基础AC等级分类，输出集由三个正交向量组成：
人工神经网络训练方式如下：
首先搭建一个多层人工神经网络，输入层共75个神经元，共含有5个隐藏层，每个隐藏层由39个神经元组成，输出层共3个神经元。隐藏层选择线性整流函数(ReLU)为激活函数，隐藏层最后一层使用dropout随机失活；输出层的激活函数为softmax，使用随机梯度下降对网络进行训练。训练集从预先采集的人体基础动作数据库中选取。
在使用过程中，步骤2中每一帧采集的人体骨骼数据输入到这个人工神经网络的分类器，得到当前帧姿势的基础AC等级。
步骤3：判断当前动作为动态过程还是静态过程。
本发明默认手术过程姿态为静态过程，持续侦测动态动作的发生。
应用说明：在确定了基础AC等级之后，记录当前基础AC等级(1)，启动计时器1。在基础AC等级发生变化时，记录当前AC等级(2)，计时器1重新计时，计时器2开启计时。在下一次基础AC等级变化时，计时器1重新计时，记录时间戳t1，记录当前AC等级(3)同时检查新的AC等级(3)是否与(1)相同，若(3)与(1)相同，计时器2继续计时，计时器1重新计时；若(3)与(1)不相同，计时器1与计时器2同时重新计时。
其中计时器1用于记录静态过程持续时间；计时器2用于记录动态过程持续时间以计算频率。当计时器2记录时间达到整数分钟时，例如1分钟、2分钟……时，计算一次这个时间段内AC等级改变的频率。
步骤4：根据当前动作过程计算此动作带来的附加特征。
动态过程：
在动态过程中，竖脊肌为最敏感的驱赶肌肉，美国NIOSH提出了提举重量推荐限值RWL，RWL被定义为在不引起与提举相关的肌肉骨骼疾病时，所有健康人能够提举的负荷重量。
本发明在RWL的基础上，针对手术过程中的工效学负荷分析以及危险性评估中进行了定行的研究和客观的、定量的评价，通过提举方程计算出动态过程中标准动作频率(次分钟)的阈值。在高频重复动作中，如果动作频率超过7次/分钟，AC等级在基础AC等级上增加。
NIOSH提举方程通过在0和1之间变化的六个任务相关乘数调制权重常数(23kg)来估计RWL。RWL计算如下：
RWL＝23kg×HM×VM×DM×AM×FM×CM
其中H，V，D，A，F和C分别为：H＝物体相对于物体的水平位置，V＝物体相对于地面的垂直位置，VM＝1-0.003|V-75|，D＝物体垂直移动的距离，A＝不对称角度或扭曲要求，即偏离矢状面的角度，AM＝1-0.0032×A，F＝频率或提升活动的持续时间，C工人抓住物体的耦合或质量，CM根据C查NIOSH提举方程表可得，预设CM＝0.95。当计算RNLE乘数(例如，HM和H之间的关系)时，需要考虑三个不同的标准：生理(限制最大能量消耗至2.2-4.7千卡/分钟)，心理物理(将重量大小限制为可接受的值为75％)和生物力学(将L5-S1压缩力限制在3400N)。
LI被定义为提举重物的重量与该任务计算所得的RWL的比值，即LI＝weight/RWL，根据流行病学调查，如果LI>1.0，则该工作任务可能构成对作业人群的危害；如果LI>2.0甚至3.0以上时，则危险度会明显增加。设定LI＝1.0为阈值，通过数据平均值确定平均参数，计算得到当频率F超过7时，LI值大于1.0。
静态过程：
静态过程是一种和动态过程相反手术过程，两者是相斥的。因一般手术过程负载较低，在本发明将静态过程与低频重复(频率<2次/分钟)相结合。OWAS本是一种评估静态物理负载的手动处理方法，但是没有对时间标准的明确定义，过长时间保持相同姿势的负载也会造成肌肉劳损。ULRA(upper limbs risk assessment)将低频静态负载过程持续时间分成三类：(1)持续一小时以下间断性操作；(2)持续时间大于一小时并小于两小时；(3)持续时间大于等于两小时，这三类对于肌肉骨骼疾病的风险等级递增。
同样的，每天2小时以弯曲或扭曲的姿势工作是一个很大的风险因素。躯干旋转30°并保持姿势超过15min会增加风险，而不是维持下来5分钟。实验在颈部旋转姿势中，颈部和肩部有很大概率发展为肌肉骨骼疾病。
因此在静态与低频重复动作中，基础行动等级为AC1的动作在持续时间大于等于1小时而小于2小时时，行动等级增加为AC2；在持续时间大于等于2小时时，行动等级增加为AC3。基础行动等级为AC2的动作，在持续时间大于等于5min，小于15min时，行动等级增加为AC3；在持续时间大于等于15min时，行动等级增加为AC4。基础行动等级为AC3的动作，在持续时间大于等于5min时，行动等级增加为AC4。
步骤5：由图4动态高频动作对于基础AC等级影响流程图与图5静态过程对于基础AC等级影响流程图，计算最终AC等级。
实施例：
对于泪道堵塞手术，主刀医师目视鼻内窥镜屏幕进行手术操作，左手持内窥镜摄像头，右手持手术工具。手术环境与实验室模拟环境相同，手术时间持续约25分钟，共获取45649帧图像45649行随时间排列的数据集，将连续帧中相同行动等级的动作视为仅发生一次(如连续帧基础AC等级全部为AC1，在基础AC等级发生变化之前，认为该动作行动等级为AC1)。
同时使用两位转甲观察员进行人工分析，观察员间信度为99.13％，最小差异为0.3％，最大差异为2.9％。
假定人工识别全部准确的条件下，计算机评价结果混淆矩阵如下表2所示
为方便计算，将该矩阵中的数值视为4×4的矩阵M，该矩阵中的数值可用Mij表示其中1≤i≤4,1≤j≤4。
对上述混淆矩阵进行精度分析：
(1)总体分类精度
(2)伪阳性误差
(3)伪阴性误差
准确率如下表3所示
由此可见，本发明误差率较低，总体精度高，该方法有效。

Claims (7)

1.一种针对外科手术过程中医生姿态评估方法，其特征在于，该方法包括以下步骤：
步骤一、将Kinect V2设备放置正前方，开启近距离模式，摄像头面向医生，高度1.5米，距离医生0.8～2.5米；通过Kinect V2设备捕捉人体25个部位骨骼点三维坐标数据，坐标原点为摄像头；
步骤二、将25个骨骼点的三维坐标数据输入多层人工神经网络即ANN，计算得到当前姿势的基础AC等级；
步骤三、判断当前动作为动态过程还是静态过程；
步骤四、根据当前动作过程计算此动作带来的与频率或持续时间相关的附加特征；
步骤五、在基础AC等级的基础上，根据附加特征带来的额外危险因素计算得到最终的AC等级；
步骤六、根据最终的AC等级判定姿势危害并做相应的处理方案。
2.根据权利要求1所述的一种针对外科手术过程中医生姿态评估方法，其特征在于，所述的步骤一中25个部位骨骼点三维坐标数据包括：头部H(x,y,z)，颈部N(x,y,x)，肩中心SC(x,y,z)，左拇指LT(x,y,z)，右拇指RT(x,y,z)，左指尖LFg(x,y,x)，右指尖RFg(x,y,x)，左手LH(x,y,x)，右手RH(x,y,x)，左手腕LW(x,y,x)，右手腕R(x,y,x)，左肘LE(x,y,x)，右肘RE(x,y,x)，左肩膀LS(x,y,x)，右肩膀RS(x,y,x)，脊柱S(x,y,x)，髋关节中心HJ(x,y,x)，左臀LH(x,y,x)，右臀RH(x,y,x)，左膝盖LK(x,y,x)，右膝盖RK(x,y,x)，左脚踝LA(x,y,x)，右脚踝RA(x,y,x)，左脚LFt(x,y,x)，右脚RFt(x,y,x)；设置Kinect V2采样频率为每秒钟25帧，1帧0.04秒；将每一个骨骼点的三维坐标flatten为一个一维数组，所有25个骨骼点的坐标flatten为整个一维数组，总共有75个元素。
3.根据权利要求1所述的一种针对外科手术过程中医生姿态评估方法，其特征在于，所述的步骤二中的基础AC等级由基础特征所决定，基础特征指人的颈部、腰部、上肢、下肢姿势四种编码元素组合构成，步骤二的具体方法如下：
21)通过四种编码元素所构成的不同组合分别形成手术过程中医生的基础AC等级评分标准，基础AC等级分为AC1、AC2、AC3；具体如下表所示：
组合方式如下表2所示：
22)对Kinect V2采集的75维人体骨骼点坐标数据进行归一化的预处理，处理之后选择人工神经网络的方法来对基础AC等级进行分类；对三种基础AC等级采用独热编码[1,0,0]，[0,1,0]和[0,0,1]，分别代表AC1、AC2、AC3；
23)搭建一个多层人工神经网络，输入层共75个神经元，共含有5个隐藏层，每个隐藏层由39个神经元组成，输出层共3个神经元；隐藏层选择线性整流函数即ReLU为激活函数，隐藏层最后一层使用dropout随机失活；输出层的激活函数为softmax，使用随机梯度下降对网络进行训练；训练集从预先采集的人体基础动作数据库中选取；
24)在识别过程中，将每一帧采集的人体骨骼数据输入到这个人工神经网络的分类器，得到当前帧姿势的基础AC等级。
4.根据权利要求1所述的一种针对外科手术过程中医生姿态评估方法，其特征在于，所述的步骤三的具体方法如下：
在确定了基础AC等级之后，记录当前的第一次基础AC等级，启动计时器1；在基础AC等级发生变化时，记录当前的第二次基础AC等级，计时器1重新计时，计时器2开启计时；在下一次基础AC等级变化时，计时器1重新计时，记录时间戳t1，记录当前的第三次AC等级同时检查新的第三次基础AC等级是否与第一次基础AC等级相同，若第三次基础AC等级与第一次基础AC等级相同，计时器2继续计时，计时器1重新计时；若第三次基础AC等级与第一次基础AC等级不相同，计时器1与计时器2同时重新计时；其中计时器1用于记录静态过程持续时间；计时器2用于记录动态过程持续时间以计算频率；当计时器2记录时间达到整数分钟时，计算一次这个时间段内基础本AC等级改变的频率。
5.根据权利要求1所述的一种针对外科手术过程中医生姿态评估方法，其特征在于，所述的步骤四的具体方法如下：
41)若当前动作为动态过程，具体方法如下：
在动态过程中，竖脊肌为最敏感的躯干肌肉，美国NIOSH提出了提举重量推荐限值RWL，RWL被定义为在不引起与提举相关的肌肉骨骼疾病时，所有健康人能够提举的负荷重量；在RWL的基础上，通过提举方程计算出动态过程中标准动作频率的阈值；在高频重复动作中，如果动作频率超过7次/分钟，AC等级在基础AC等级上增加；
NIOSH提举方程通过在0和1之间变化的六个任务相关乘数调制权重常数即23kg来估计RWL；RWL计算如下：
RWL＝23kg×HM×VM×DM×AM×FM×CM
其中H，V，D，A，F和C分别为：H＝物体相对于物体的水平位置，V＝物体相对于地面的垂直位置，VM＝1-0.003|V-75|，D＝物体垂直移动的距离，A＝不对称角度或扭曲要求，即偏离矢状面的角度，AM＝1-0.0032×A，F＝频率或提升活动的持续时间，C工人抓住物体的耦合或质量，CM可由NIOSH提举方程查表得，此处预设CM＝0.95，当计算RNLE乘数时，需要考虑三个不同的标准：生理即限制最大能量消耗至2.2-4.7千卡/分钟，心理物理即将重量大小限制为可接受的值为75％和生物力学即将L5-S1压缩力限制在3400N；
LI被定义为提举重物的重量与该任务计算所得的RWL的比值，即LI＝weight/RWL，如果LI>1.0，则该工作任务可能构成对作业人群的危害；如果LI>2.0甚至3.0以上时，则危险度会明显增加；设定LI＝1.0为阈值，通过数据平均值确定平均参数，计算得到当频率F超过7时，LI值大于1.0；
因此当动作频率大于或等于7钟时，行动等级在基础AC等级上增加一级，当动作频率小于7分钟时，行动等级等于基础AC等级。
42)若当前动作为静态过程，具体方法如下：
静态过程是一种和动态过程相反手术过程，两者是相斥的；将静态过程与低频重复即频率<2次/分钟相结合；OWAS本是一种评估静态物理负载的手动处理方法，但是没有对时间标准的明确定义，过长时间保持相同姿势的负载也会造成肌肉劳损；ULRA即upper limbsrisk assessment将低频静态负载过程持续时间分成三类：(1)持续一小时以下间断性操作；(2)持续时间大于一小时并小于两小时；(3)持续时间大于等于两小时，这三类对于肌肉骨骼疾病的风险等级递增；
在静态与低频重复动作中，基础行动等级为AC1的动作在持续时间大于等于1小时而小于2小时时，行动等级增加为AC2；在持续时间大于等于2小时时，行动等级增加为AC3；基础行动等级为AC2的动作，在持续时间大于等于5min，小于15min时，行动等级增加为AC3；在持续时间大于等于15min时，行动等级增加为AC4。基础行动等级为AC3的动作，在持续时间大于等于5min时，行动等级增加为AC4。
6.根据权利要求1所述的一种针对外科手术过程中医生姿态评估方法，其特征在于，所述的步骤五的具体方法如下：
由动态高频动作对于基础AC等级影响流程图与静态过程对于基础AC等级影响流程图，首先利用Kinect V2侦测的人体25个骨骼点三维坐标数据输入拟合好的人工神经网络，得到基础AC等级；若基础AC等级为AC1且一段时间内没有发生变化，若持续时间大于1小时二小于2小时，行动等级判断为AC2，若持续时间大于2小时，行动等级判断为AC3；若基础AC等级为AC2，持续时间大于等于5min，小于15min，判断行动冬季为AC3，持续时间大于15min，判断行动等级为AC4；若基础AC等级为AC3，持续时间大于等于5min，判断行动等级为AC4；若基础AC等级发生变化，检查变化频率若小于7次/min，行动等级等于基础AC等级，若变化频率大于等于7次/min，行动等级在基础AC等级的基础上增加一级。
7.根据权利要求1所述的一种针对外科手术过程中医生姿态评估方法，其特征在于，所述的步骤六中具体方法参考下表所示：
AC等级 姿势危害 处理方案 AC1 正常姿势 不需处理 AC2 姿势有轻微危害 建议不要长时间保持该姿势 AC3 姿势有明显危害 需尽快改善姿势 AC4 姿势有严重危害 需立即改善姿势
CN201910326108.2A 2019-04-23 2019-04-23 一种针对外科手术过程中医生姿态评估方法 Active CN110047591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910326108.2A CN110047591B (zh) 2019-04-23 2019-04-23 一种针对外科手术过程中医生姿态评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910326108.2A CN110047591B (zh) 2019-04-23 2019-04-23 一种针对外科手术过程中医生姿态评估方法

Publications (2)

Publication Number Publication Date
CN110047591A true CN110047591A (zh) 2019-07-23
CN110047591B CN110047591B (zh) 2023-02-21

Family

ID=67278537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910326108.2A Active CN110047591B (zh) 2019-04-23 2019-04-23 一种针对外科手术过程中医生姿态评估方法

Country Status (1)

Country Link
CN (1) CN110047591B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460976A (zh) * 2020-03-30 2020-07-28 上海交通大学 一种数据驱动的基于rgb视频的实时手部动作评估方法
CN112101802A (zh) * 2020-09-21 2020-12-18 广东电网有限责任公司电力科学研究院 姿态负荷数据的评价方法、装置、电子设备及存储介质
CN112434666A (zh) * 2020-12-11 2021-03-02 东莞先知大数据有限公司 重复动作识别方法、装置、介质及设备
CN113598756A (zh) * 2021-07-27 2021-11-05 中科全联科技(北京)有限公司 脊柱健康情况监测方法
CN114093488A (zh) * 2022-01-20 2022-02-25 武汉泰乐奇信息科技有限公司 一种基于骨骼识别的医生技能水平评判方法和装置

Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699735A (zh) * 2013-12-20 2014-04-02 中国人民解放军总后勤部军需装备研究所 一种用于装备设计与评价的智能人台建立方法
CN104173052A (zh) * 2014-08-04 2014-12-03 北京航空航天大学 一种基于rula的人体舒适度测量装置及其方法
US20150025419A1 (en) * 2013-07-18 2015-01-22 Everett Aaberg Integrated triad system for providing advanced assessment methods, corrective and performance exercise training, and integrating specialized manual therapies
CN105205770A (zh) * 2015-10-16 2015-12-30 奥美之路(北京)健康科技股份有限公司 基于反射区对应器官能量的颈肩不适风险评估方法
CN105229995A (zh) * 2013-02-22 2016-01-06 塞恩克公司 用于一组个体的联网的神经调节的方法和装置
CN105243375A (zh) * 2015-11-02 2016-01-13 北京科技大学 一种动作特征提取方法及装置
US20160044057A1 (en) * 2014-08-05 2016-02-11 AttackIQ, Inc. Cyber Security Posture Validation Platform
CN105578115A (zh) * 2015-12-22 2016-05-11 深圳市鹰硕音频科技有限公司 一种具有语音评估功能的网络教学方法及系统
CN106419929A (zh) * 2016-11-05 2017-02-22 上海大学 帕金森病患者姿态平衡稳定性的定量检测装置
CN106485055A (zh) * 2016-09-22 2017-03-08 吉林大学 一种基于Kinect传感器的老年II型糖尿病患者运动训练系统
CN106529128A (zh) * 2016-10-21 2017-03-22 大连千松科技有限公司 一种基于互联网的产后健康评估方法和装置
CN106648077A (zh) * 2016-11-30 2017-05-10 南京航空航天大学 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统
CN106667493A (zh) * 2017-01-22 2017-05-17 河北大学 人体平衡性评估系统及评估方法
CN106821387A (zh) * 2016-12-30 2017-06-13 上海大学 利用动作捕捉传感器的下肢康复程度定量评估系统及评估方法
CN107330529A (zh) * 2017-06-05 2017-11-07 上海理工大学 重型轧辊装载智能机器人的故障风险评估方法
US20170346811A1 (en) * 2016-05-31 2017-11-30 Airwatch Llc Device authentication based upon tunnel client network requests
CN107576920A (zh) * 2017-08-02 2018-01-12 北京空间飞行器总体设计部 一种基于模糊多属性评价的卫星电源健康度计算方法
CN107911282A (zh) * 2017-11-15 2018-04-13 广州百兴网络科技有限公司 一种面向社交网络实现第三方应用植入的网络系统
US20180140225A1 (en) * 2015-09-21 2018-05-24 Figur8, Inc. Body part deformation analysis using wearable body sensors
CN108172297A (zh) * 2018-01-29 2018-06-15 广东工业大学 一种上肢康复训练机器人康复训练功能的评估方法
CN108170281A (zh) * 2018-01-19 2018-06-15 吉林大学 一种工作姿势分析系统测算方法
CN108498075A (zh) * 2017-02-24 2018-09-07 西门子保健有限责任公司 骨骼健康的个性化评估
CN108565001A (zh) * 2018-04-20 2018-09-21 深圳市科迈爱康科技有限公司 运动方法、装置及计算机可读存储介质
CN108615558A (zh) * 2018-04-28 2018-10-02 郴州市第人民医院 一种基于冲击疗法治疗痉挛性偏瘫的评估系统及方法
CN108876184A (zh) * 2018-06-29 2018-11-23 中车建设工程有限公司 一种高速铁路隧道运营期的安全风险评价及预警方法
CN109011506A (zh) * 2018-07-12 2018-12-18 深圳市虚数科技有限公司 一种训练动作识别方法
CN109102887A (zh) * 2018-08-20 2018-12-28 吉林大学 一种躯体振动评估方法
CN109117799A (zh) * 2018-08-20 2019-01-01 吉林大学 一种niosh提举方程评估方法
CN109172289A (zh) * 2018-10-16 2019-01-11 合肥工业大学 基于多功能驱动器的髋关节康复外骨骼及其运动控制方法
CN109299522A (zh) * 2018-09-04 2019-02-01 中国舰船研究设计中心 一种舰船受限空间操作仿真评价方法
CN109376518A (zh) * 2018-10-18 2019-02-22 深圳壹账通智能科技有限公司 基于人脸识别的防止隐私泄露方法及相关设备

Patent Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105229995A (zh) * 2013-02-22 2016-01-06 塞恩克公司 用于一组个体的联网的神经调节的方法和装置
US20150025419A1 (en) * 2013-07-18 2015-01-22 Everett Aaberg Integrated triad system for providing advanced assessment methods, corrective and performance exercise training, and integrating specialized manual therapies
CN103699735A (zh) * 2013-12-20 2014-04-02 中国人民解放军总后勤部军需装备研究所 一种用于装备设计与评价的智能人台建立方法
CN104173052A (zh) * 2014-08-04 2014-12-03 北京航空航天大学 一种基于rula的人体舒适度测量装置及其方法
US20160044057A1 (en) * 2014-08-05 2016-02-11 AttackIQ, Inc. Cyber Security Posture Validation Platform
US20180140225A1 (en) * 2015-09-21 2018-05-24 Figur8, Inc. Body part deformation analysis using wearable body sensors
CN105205770A (zh) * 2015-10-16 2015-12-30 奥美之路(北京)健康科技股份有限公司 基于反射区对应器官能量的颈肩不适风险评估方法
CN105243375A (zh) * 2015-11-02 2016-01-13 北京科技大学 一种动作特征提取方法及装置
CN105578115A (zh) * 2015-12-22 2016-05-11 深圳市鹰硕音频科技有限公司 一种具有语音评估功能的网络教学方法及系统
US20170346811A1 (en) * 2016-05-31 2017-11-30 Airwatch Llc Device authentication based upon tunnel client network requests
CN106485055A (zh) * 2016-09-22 2017-03-08 吉林大学 一种基于Kinect传感器的老年II型糖尿病患者运动训练系统
CN106529128A (zh) * 2016-10-21 2017-03-22 大连千松科技有限公司 一种基于互联网的产后健康评估方法和装置
CN106419929A (zh) * 2016-11-05 2017-02-22 上海大学 帕金森病患者姿态平衡稳定性的定量检测装置
CN106648077A (zh) * 2016-11-30 2017-05-10 南京航空航天大学 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统
CN106821387A (zh) * 2016-12-30 2017-06-13 上海大学 利用动作捕捉传感器的下肢康复程度定量评估系统及评估方法
CN106667493A (zh) * 2017-01-22 2017-05-17 河北大学 人体平衡性评估系统及评估方法
CN108498075A (zh) * 2017-02-24 2018-09-07 西门子保健有限责任公司 骨骼健康的个性化评估
CN107330529A (zh) * 2017-06-05 2017-11-07 上海理工大学 重型轧辊装载智能机器人的故障风险评估方法
CN107576920A (zh) * 2017-08-02 2018-01-12 北京空间飞行器总体设计部 一种基于模糊多属性评价的卫星电源健康度计算方法
CN107911282A (zh) * 2017-11-15 2018-04-13 广州百兴网络科技有限公司 一种面向社交网络实现第三方应用植入的网络系统
CN108170281A (zh) * 2018-01-19 2018-06-15 吉林大学 一种工作姿势分析系统测算方法
CN108172297A (zh) * 2018-01-29 2018-06-15 广东工业大学 一种上肢康复训练机器人康复训练功能的评估方法
CN108565001A (zh) * 2018-04-20 2018-09-21 深圳市科迈爱康科技有限公司 运动方法、装置及计算机可读存储介质
CN108615558A (zh) * 2018-04-28 2018-10-02 郴州市第人民医院 一种基于冲击疗法治疗痉挛性偏瘫的评估系统及方法
CN108876184A (zh) * 2018-06-29 2018-11-23 中车建设工程有限公司 一种高速铁路隧道运营期的安全风险评价及预警方法
CN109011506A (zh) * 2018-07-12 2018-12-18 深圳市虚数科技有限公司 一种训练动作识别方法
CN109102887A (zh) * 2018-08-20 2018-12-28 吉林大学 一种躯体振动评估方法
CN109117799A (zh) * 2018-08-20 2019-01-01 吉林大学 一种niosh提举方程评估方法
CN109299522A (zh) * 2018-09-04 2019-02-01 中国舰船研究设计中心 一种舰船受限空间操作仿真评价方法
CN109172289A (zh) * 2018-10-16 2019-01-11 合肥工业大学 基于多功能驱动器的髋关节康复外骨骼及其运动控制方法
CN109376518A (zh) * 2018-10-18 2019-02-22 深圳壹账通智能科技有限公司 基于人脸识别的防止隐私泄露方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张智逵 等: ""汽车生产物流作业肌肉骨骼损伤风险评价及改善研究"", 《人类工效学》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460976A (zh) * 2020-03-30 2020-07-28 上海交通大学 一种数据驱动的基于rgb视频的实时手部动作评估方法
CN111460976B (zh) * 2020-03-30 2023-06-06 上海交通大学 一种数据驱动的基于rgb视频的实时手部动作评估方法
CN112101802A (zh) * 2020-09-21 2020-12-18 广东电网有限责任公司电力科学研究院 姿态负荷数据的评价方法、装置、电子设备及存储介质
CN112434666A (zh) * 2020-12-11 2021-03-02 东莞先知大数据有限公司 重复动作识别方法、装置、介质及设备
CN112434666B (zh) * 2020-12-11 2022-03-08 东莞先知大数据有限公司 重复动作识别方法、装置、介质及设备
CN113598756A (zh) * 2021-07-27 2021-11-05 中科全联科技(北京)有限公司 脊柱健康情况监测方法
CN113598756B (zh) * 2021-07-27 2024-04-02 中科全联科技(北京)有限公司 脊柱健康情况监测方法
CN114093488A (zh) * 2022-01-20 2022-02-25 武汉泰乐奇信息科技有限公司 一种基于骨骼识别的医生技能水平评判方法和装置

Also Published As

Publication number Publication date
CN110047591B (zh) 2023-02-21

Similar Documents

Publication Publication Date Title
CN110047591A (zh) 一种针对外科手术过程中医生姿态评估方法
CN110197720A (zh) 糖尿病的预测方法及装置、存储介质、计算机设备
De Brabandere et al. A machine learning approach to estimate hip and knee joint loading using a mobile phone-embedded IMU
Yu et al. ESTIMATING CONSTRUCTION WORKERS'PHYSICAL WORKLOAD BY FUSING COMPUTER VISION AND SMART INSOLE TECHNOLOGIES
JP7019796B2 (ja) 身体機能自立支援装置およびその方法
Granzow et al. Characterizing exposure to physical risk factors among reforestation hand planters in the Southeastern United States
CN104699928A (zh) 3-15岁体质发育评估模型
CN113974612A (zh) 一种卒中患者上肢运动功能自动化评估方法与系统
Chan et al. Musculoskeletal modelling and simulation of oil palm fresh fruit bunch harvesting
CN109492713A (zh) 一种远程超声影像质量监控系统
CN107092865A (zh) 一种新型基于Kinect的步态识别系统
CN116307401A (zh) 生活性历史街道人居环境的改善方法及系统
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
Li Ergonomic risk assessment in construction manufacturing facilities
Sprint et al. Designing wearable sensor-based analytics for quantitative mobility assessment
CN108926813B (zh) 基于人体平衡数据的训练方法
Wang Ergonomic-centric methods for workplace design in industrialized construction
Serra-Hsu et al. Validation of Fuze IMU system for ergonomics assessments
Gazula et al. Using mutual information to capture major concerns of postural control in a tossing activity
Yu Automatic physical fatigue assessment for construction workers based on computer vision and pressure insole sensor
Thomas et al. Characteristics of forces at the clinician–patient and patient–table Interfaces during thoracic spinal manipulation in asymptomatic adults are consistent with deformable body models
Carballo-Pérez et al. Virtual skeletons and digital muscles: an experimental bioarchaeological approach to the pre-Hispanic production of millstones (Tenerife, Canary Islands)
Zhang et al. A Quick Capture Evaluation System for the Automatic Assessment of Work-Related Musculoskeletal Disorders for Sanitation Workers
Kazemi et al. Effect of muscular fatigue on the cumulative lumbar damage during repetitive lifting task: A comparative study of damage calculation methods
CN109829655A (zh) 一种村落类型识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant