CN114366085A - 基于双重感应骨骼模型的医学动作分析方法和装置 - Google Patents

基于双重感应骨骼模型的医学动作分析方法和装置 Download PDF

Info

Publication number
CN114366085A
CN114366085A CN202210030737.2A CN202210030737A CN114366085A CN 114366085 A CN114366085 A CN 114366085A CN 202210030737 A CN202210030737 A CN 202210030737A CN 114366085 A CN114366085 A CN 114366085A
Authority
CN
China
Prior art keywords
data set
skeleton model
preset
analysis result
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210030737.2A
Other languages
English (en)
Other versions
CN114366085B (zh
Inventor
曾承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Talent Information Technology Co ltd
Original Assignee
Wuhan Talent Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Talent Information Technology Co ltd filed Critical Wuhan Talent Information Technology Co ltd
Priority to CN202210030737.2A priority Critical patent/CN114366085B/zh
Publication of CN114366085A publication Critical patent/CN114366085A/zh
Application granted granted Critical
Publication of CN114366085B publication Critical patent/CN114366085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Instructional Devices (AREA)

Abstract

本申请揭示了一种基于双重感应骨骼模型的医学动作分析方法,控制预先设置的可摇晃腔体,根据预设的摇晃程度‑时间曲线进行摇晃;进行实时双重数据采集处理;采用第一双重数据集合,构建出第一骨骼模型集合;采用第二双重数据集合,构建出第二骨骼模型集合;将第一骨骼模型集合与第一对照骨骼模型集合进行对比,以得到第一分析结果;将第二骨骼模型集合与第二对照骨骼模型集合进行对比,以得到第二分析结果;根据所述第三双重数据集合,得到第三分析结果;综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果。

Description

基于双重感应骨骼模型的医学动作分析方法和装置
技术领域
本申请涉及到计算机领域,特别是涉及到一种基于双重感应骨骼模型的医学动作分析方法。
背景技术
医生是一种比较特殊的职业,由于直接与身体健康相关联,其对于技术水平的要求很高,有对医学动作进行分析的需要。现有的医学动作分析方案,一般是采用可见光感应器采集进行医学动作的医生的可见光数据,再根据可见光数据构建3D骨骼模型,进而根据3D骨骼模型的变化,进行医学动作的分析。这种现有方案只能适用于普通场景,无法应对突发状况下的场景,即无法分析在突发状况下医生的医学动作。
发明内容
本申请提供一种基于双重感应骨骼模型的医学动作分析方法,包括:
S1、控制预先设置的可摇晃腔体,根据预设的摇晃程度-时间曲线进行摇晃,以使得可摇晃腔体在多个第一时间窗口内静止,在多个第二时间窗口内进行第一程度值的摇晃,在多个第三时间窗口内进行第二程度值的摇晃;其中,多个第一时间窗口彼此之间并不相邻,多个第二时间窗口彼此之间并不相邻,多个第三时间窗口彼此之间并不相邻,所述摇晃程度-时间曲线被划分为多个第一时间窗口、多个第二时间窗口和多个第三时间窗口;第一程度值小于第二程度值;
S2、对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合;其中,双重数据采集处理不仅包括通过设置在医生周围的多个可见光感应器进行第一重感应处理,以得到可见光数据集合,还包括通过设置在医生被手术服覆盖的皮肤上的多个皮表肌电感应器进行第二重感应处理,以得到肌电感应数据集合;
S3、根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合;其中,所述第一骨骼模型构建方法以可见光数据集合为主,构建第一初步骨骼模型集合,再以肌电感应数据集合为辅,对第一初步骨骼模型集合进行补充,从而构建第一骨骼模型集合;
S4、根据预设的第二骨骼模型构建方法,采用所述第二双重数据集合,构建出第二骨骼模型集合;其中,所述第二骨骼模型构建方法以肌电感应数据集合为主,构建第二初步骨骼模型集合,再以可见光数据集合为辅,对第二初步骨骼模型集合进行补充,从而构建第二骨骼模型集合;
S5、将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果;
S6、将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比,以得到第二分析结果;
S7、根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果;
S8、综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果。
进一步地,第一程度值指可摇晃腔体偏离静止位置时的偏移距离小于预设的第一距离数值;第二程度值指可摇晃腔体偏离静止位置时的偏移距离小于预设的第二距离数值,但大于第一距离数值;第一距离数值小于第二距离数值。
进一步地,所述对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合的步骤S2之前,包括:
S11、在医生皮肤表面的不同位置设置多个皮表肌电感应器,并使可摇晃腔体进行第一程度值的摇晃,对处于可摇晃腔体中的医生在实施预设的第二医学动作时,进行双重数据采集处理,以得到一号可见光数据集合和一号肌电感应数据集合;
S12、多次减少多个皮表肌电感应器的数量,仍使可摇晃腔体进行第一程度值的摇晃,对处于可摇晃腔体中的医生在实施预设的第二医学动作时,进行双重数据采集处理,以对应得到二号可见光数据集合和二号肌电感应数据集合、三号可见光数据集合和三号肌电感应数据集合、…、m号可见光数据集合和m号肌电感应数据集合;其中,m为大于3的整数;
S13、根据预设的第二骨骼模型构建方法,分别根据一号可见光数据集合和一号肌电感应数据集合、二号可见光数据集合和二号肌电感应数据集合、三号可见光数据集合和三号肌电感应数据集合、…、m号可见光数据集合和m号肌电感应数据集合,构建出一号骨骼模型集合、二号骨骼模型集合、三号骨骼模型集合、…、和m号骨骼模型集合;
S14、进行相邻编号的骨骼模型集合对比,以获取m-1个相似度值,并从m-1个相似度值中选出指定相似度值,以使得指定相似度值大于预设的相似度阈值,并且编号在指定相似度值之前的一个相似度值小于预设的相似度阈值;
S15、获取所述指定相似度值对应的两个骨骼模型集合,并将两个骨骼模型集合中编号靠前的骨骼模型集合记为指定骨骼模型集合;
S16、根据骨骼模型集合、可见光数据集合和肌电感应数据集合、以及皮表肌电感应器的位置的对应关系,获取与所述指定骨骼模型集合对应的皮表肌电感应器指定位置;
S17、在处于可摇晃腔体中的医生在实施预设的第一医学动作时,使得医生的医生被手术服覆盖的皮肤上的多个皮表肌电感应器位于所述指定位置。
进一步地,可见光数据集合为图像数据集合,所述根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合的步骤S3,包括:
S301、根据图像拼接方法,对所述第一双重数据集合中,处同相同时间点的可见光数据集合进行图像拼接处理,以生成由对应于不同时间点的多个初步骨骼模型构成的第一初步骨骼模型集合;
S302、采用所述第一双重数据集合中的肌电感应数据集合,以确定手术服覆盖下的肌肉状态,并根据肌肉与骨骼的连动关系,确定手术服覆盖下的骨骼状态,从而对所述第一初步骨骼模型集合进行补充,得到第一骨骼模型集合。
进一步地,所述将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果的步骤S5,包括:
S501、对所述第一骨骼模型集合中的每个骨骼模型分别进行特征点发现,以发现多个第一特征点集合;
S502、将相同的第一特征点在不同时间的空间位置进行连接,以得到多个第一动作向量;
S503、对所述第一对照骨骼模型集合中的每个骨骼模型分别进行特征点发现,以发现多个第二特征点集合;
S504、将相同的第二特征点在不同时间的空间位置进行连接,以得到多个第二动作向量;其中,所述多个第二动作向量与所述多个第一动作向量一一对应;
S505、根据预设的向量相似度计算方法,分别计算对应的第一动作向量之间的向量相似度,以得到多个向量相似度值;
S506、对所述多个向量相似度值进行权重加和处理以得到权重加和值,并将权重加和值记为第一分析结果。
进一步地,所述根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果的步骤S7,包括:
S701、根据所述第三双重数据集合,获取医生在第三时间窗口内进行医学操作的操作时长;
S702、根据公式:时长占比=操作时长÷第三时间窗口的长度,以计算出时长占比;
S703、判断所述时长占比是否小于预设的时长阈值;
S704、若所述时长占比小于预设的时长阈值,则将第三分析结果设置为预设的正数;
S705、若所述时长占比小于预设的时长阈值,则将第三分析结果设置为预设的负数。
进一步地,所述综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果的步骤S8,包括:
S801、将所述第一分析结果映射为第一分析数值,将所述第二分析结果映射为第二分析数值,同时将所述第三分析结果映射为第三分析数值;
S802、根据公式:综合分析数值=a×第一分析数值+b×第二分析数值+c×第三分析数值,计算出综合分析数值;其中,a、b、c均为预设的权重参数。
本申请提供一种基于双重感应骨骼模型的医学动作分析装置,包括:
控制摇晃单元,用于控制预先设置的可摇晃腔体,根据预设的摇晃程度-时间曲线进行摇晃,以使得可摇晃腔体在多个第一时间窗口内静止,在多个第二时间窗口内进行第一程度值的摇晃,在多个第三时间窗口内进行第二程度值的摇晃;其中,多个第一时间窗口彼此之间并不相邻,多个第二时间窗口彼此之间并不相邻,多个第三时间窗口彼此之间并不相邻,所述摇晃程度-时间曲线被划分为多个第一时间窗口、多个第二时间窗口和多个第三时间窗口;第一程度值小于第二程度值;
双重数据采集单元,用于对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合;其中,双重数据采集处理不仅包括通过设置在医生周围的多个可见光感应器进行第一重感应处理,以得到可见光数据集合,还包括通过设置在医生被手术服覆盖的皮肤上的多个皮表肌电感应器进行第二重感应处理,以得到肌电感应数据集合;
第一骨骼模型集合构建单元,用于根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合;其中,所述第一骨骼模型构建方法以可见光数据集合为主,构建第一初步骨骼模型集合,再以肌电感应数据集合为辅,对第一初步骨骼模型集合进行补充,从而构建第一骨骼模型集合;
第二骨骼模型集合构建单元,用于根据预设的第二骨骼模型构建方法,采用所述第二双重数据集合,构建出第二骨骼模型集合;其中,所述第二骨骼模型构建方法以肌电感应数据集合为主,构建第二初步骨骼模型集合,再以可见光数据集合为辅,对第二初步骨骼模型集合进行补充,从而构建第二骨骼模型集合;
第一分析结果获取单元,用于将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果;
第二分析结果获取单元,用于将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比,以得到第二分析结果;
第三分析结果获取单元,用于根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果;
综合分析结果获取单元,用于综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果。
本申请的基于双重感应骨骼模型的医学动作分析方法、装置、计算机设备和存储介质,控制预先设置的可摇晃腔体,根据预设的摇晃程度-时间曲线进行摇晃;对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理;根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合;根据预设的第二骨骼模型构建方法,采用所述第二双重数据集合,构建出第二骨骼模型集合;将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果;将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比,以得到第二分析结果;根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果;综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果,不仅在实现了普通场景下的医学动作分析,还能实现在突发状况(或称特别场景)下的医学动作分析。
其中,突发状况例如为,海上救援、空中救援、战场救援等等场景(或模拟场景)。
本申请的有益效果至少包括如下:
1、采用了双重感应得到的双重数据,来构建用于医学动作分析的骨骼模型,因此其准确性更高;
2、采用对不同摇晃程度下的医学动作进行不同的分析方法,以实现在特殊场景下的医学动作分析;
3、第一骨骼模型的构建的方式与第二骨骼模型构建的方式不同,能够实现更合适的模型构建,更贴切地反应突发状况下的骨骼状态,提高最终医学动作分析的准确性。
附图说明
图1为本申请一实施例的基于双重感应骨骼模型的医学动作分析方法的流程示意图;
图2为本申请一实施例的基于双重感应骨骼模型的医学动作分析装置的结构示意框图;
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,本申请实施例提供一种基于双重感应骨骼模型的医学动作分析方法,包括以下步骤:
S1、控制预先设置的可摇晃腔体,根据预设的摇晃程度-时间曲线进行摇晃,以使得可摇晃腔体在多个第一时间窗口内静止,在多个第二时间窗口内进行第一程度值的摇晃,在多个第三时间窗口内进行第二程度值的摇晃;其中,多个第一时间窗口彼此之间并不相邻,多个第二时间窗口彼此之间并不相邻,多个第三时间窗口彼此之间并不相邻,所述摇晃程度-时间曲线被划分为多个第一时间窗口、多个第二时间窗口和多个第三时间窗口;第一程度值小于第二程度值;
S2、对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合;其中,双重数据采集处理不仅包括通过设置在医生周围的多个可见光感应器进行第一重感应处理,以得到可见光数据集合,还包括通过设置在医生被手术服覆盖的皮肤上的多个皮表肌电感应器进行第二重感应处理,以得到肌电感应数据集合;
S3、根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合;其中,所述第一骨骼模型构建方法以可见光数据集合为主,构建第一初步骨骼模型集合,再以肌电感应数据集合为辅,对第一初步骨骼模型集合进行补充,从而构建第一骨骼模型集合;
S4、根据预设的第二骨骼模型构建方法,采用所述第二双重数据集合,构建出第二骨骼模型集合;其中,所述第二骨骼模型构建方法以肌电感应数据集合为主,构建第二初步骨骼模型集合,再以可见光数据集合为辅,对第二初步骨骼模型集合进行补充,从而构建第二骨骼模型集合;
S5、将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果;
S6、将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比,以得到第二分析结果;
S7、根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果;
S8、综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果。
本申请可应用于任意可行场景,不仅可以应用于普通场景,还优选应用于海上救援、空中救援、战场救援等等特别场景。
本申请之所以能够实现在突发状况(或称特别场景)下的医学动作分析,而现有方案不能实现在突发状况(或称特别场景)下的医学动作分析,这是由于:第一,本申请采用了双重感应的手段;第二,本申请采用了不同程度值的摇晃来模拟特别场景的环境;第三,由于采用了双重感应的手段,因此在不同类型的时间窗口内可以根据不同的方法构建骨骼模型。
但是现有方案,由于数据单一,并且无法模型特别场景,而医学具有作为人类的自然属性,因此在突发状况(称特别场景)下,其实施的医学动作不可避免与普通场景下的医学动作存在差异,因此采用现有方案对医生的医学动作分析,是无法分析出该医生是否在突发状况(称特别场景)仍具有实施合格的医学动作的能力。
如上述步骤S1-S2所述,控制预先设置的可摇晃腔体,根据预设的摇晃程度-时间曲线进行摇晃,以使得可摇晃腔体在多个第一时间窗口内静止,在多个第二时间窗口内进行第一程度值的摇晃,在多个第三时间窗口内进行第二程度值的摇晃;其中,多个第一时间窗口彼此之间并不相邻,多个第二时间窗口彼此之间并不相邻,多个第三时间窗口彼此之间并不相邻,所述摇晃程度-时间曲线被划分为多个第一时间窗口、多个第二时间窗口和多个第三时间窗口;第一程度值小于第二程度值;对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合;其中,双重数据采集处理不仅包括通过设置在医生周围的多个可见光感应器进行第一重感应处理,以得到可见光数据集合,还包括通过设置在医生被手术服覆盖的皮肤上的多个皮表肌电感应器进行第二重感应处理,以得到肌电感应数据集合。
本申请的可摇晃腔体,可用于模拟海上救援的船只,其由于海上波浪的影响,是不会静止不动的,因此会发生不同程度的摇晃。同理,也能够对于其他特别场景进行模拟。摇晃程度-时间曲线指的是可摇晃腔体在预设的时间是如何进行摇晃的,摇晃程度值越大,则摇晃的越剧烈,当摇晃程度值为0时,表示可摇晃腔体静止。
在特别场景中的医疗救援,例如在海上救援船只上对于患者进行医学手术,需要考虑到实施手术的环境问题,因此当海上波浪过大,造成船体大范围的摇晃时,应当暂停手术动作(例如进行缝合操作时,暂停操作,当然,此时的缝合操作的暂停不应用患者带来更大的伤害),在摇晃程度较小时,继续进行操作。而本申请采用可摇晃腔体,在多个三个时间窗口中进行不同程度的摇晃,而不同编号的时间窗口的摇晃程度不同,从而模拟特别场景下的医学救援。
其中,第一时间窗口对应的可摇晃腔体是静止的,第二时间窗口对应的可摇晃腔体是较低程度的摇晃的,但可以进行医学操作,第三时间窗口对应的可摇晃腔体是摇晃最剧烈的,此时不应进行医学操作(当然,可以进行止损性的略微操作,例如对于出血口进行止血钳的暂时止血等操作,但这种操作应当快捷简短,这将在下文的分析中得以体现)。
第一程度值和第二程度值均是衡量摇晃程度的数值,其可以采用任意可行方式来衡量,例如,第一程度值指可摇晃腔体偏离静止位置时的偏移距离小于预设的第一距离数值;第二程度值指可摇晃腔体偏离静止位置时的偏移距离小于预设的第二距离数值,但大于第一距离数值;第一距离数值小于第二距离数值。或者,可以将可摇晃腔体的某个质点在摇晃过程中的最高点,与其在静止时的平衡点之间的高度差,来作为程度值。
本申请相对于现有技术的另一个特点在于,对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理。并且医学在实施第一医学动作时是被划分为三个时间窗口序列的,因此会得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合。其中,由于第一时间窗口之间是彼此不相邻的,因此第一双重数据集合在时间长度上看,是包括多个不相邻的双重数据子集的,而每个双重数据子集均包括可见光数据集合和肌电感应数据集合。对于其他双重数据集合也是同理。
可见光数据集合例如为可见光图像集合,可见光感应器例如为可见光摄像头。由于设置在医生周围的多个可见光感应器进行第一重感应处理,以得到可见光数据集合,而现有的3D模型构建方法是能够构建这些可见光数据集合,采用图像拼接的方式,直接构建3D模型的。但是,本申请并不单纯采用可见光数据集合构建模型,其原因在于,医生在进行医学动作时,是身着手术服的,因此可见光感应器无法探测到被手术服覆盖下的骨骼数据,从而无法构建精准的骨骼模型,会造成分析结果出现偏差。对于皮表肌电感应器得感应得到的肌电感应数据集合而言,若是肌电感应器布满了医生的所有皮肤,那么能够感应得到所有的肌纤维数据,进而确定骨骼状态,从而能够单纯依据肌电感应器感应得到的肌电感应数据集合,直接构建骨骼模型,但这是不现实的,这主要有两方面原因:第一,医生皮肤表面不会布设这么多的皮表肌电感应器,第二,过多的皮表肌电感应器会造成医生进行医学动作时的动作走样,因此无法测得医生真实水平。因此,本申请采用双重感应的方式,以得到待分析的原始数据。
如上述步骤S3-S4所述,根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合;其中,所述第一骨骼模型构建方法以可见光数据集合为主,构建第一初步骨骼模型集合,再以肌电感应数据集合为辅,对第一初步骨骼模型集合进行补充,从而构建第一骨骼模型集合;根据预设的第二骨骼模型构建方法,采用所述第二双重数据集合,构建出第二骨骼模型集合;其中,所述第二骨骼模型构建方法以肌电感应数据集合为主,构建第二初步骨骼模型集合,再以可见光数据集合为辅,对第二初步骨骼模型集合进行补充,从而构建第二骨骼模型集合。
本申请对于第一双重数据集合与第二双重数据集合来构建骨骼模型的方法是不同的,其区别在于,所述第一骨骼模型构建方法以可见光数据集合为主,构建第一初步骨骼模型集合,再以肌电感应数据集合为辅,对第一初步骨骼模型集合进行补充,从而构建第一骨骼模型集合;所述第二骨骼模型构建方法以肌电感应数据集合为主,构建第二初步骨骼模型集合,再以可见光数据集合为辅,对第二初步骨骼模型集合进行补充,从而构建第二骨骼模型集合。之所以采用上述不同的骨骼模型构建方法,是因为第二双重数据集合中,肌电感应数据集合不仅反应的是医生进行医学动作时的肌肉纤维数据,还反应了医生对抗摇晃时的肌肉纤维数据。
由于可见光数据与肌电感应数据是不同类型的数据,以哪个数据为主,最终形成的模型是存在差异的,而在静止状态下,由于可见光数据集合能够更全面地反应医生的整体姿态,因此优选以可见光数据集合为主;在摇晃状态下,肌电感应数据集合不仅反应的是医生进行医学动作时的肌肉纤维数据,还反应了医生对抗摇晃时的肌肉纤维数据,因此先以肌电感应数据集合为主(实际上,由于肌电数据更为直接,因此肌电数据反应的骨骼状态、骨骼模型是更准确的),以更准确地构建在摇晃状态下的医生的骨骼模型。
并且,要生成完整的骨骼模型,可见光数据集合与肌电数据集合都是不可或缺的,因为可见光数据集合无法反应被手术服覆盖下的区域对应的骨骼状态,而肌电感应器未分布在手术服之外的区域中。
值的一提的是,虽然本申请的可见光数据集合无法直接检测到骨骼信息,但其可以检测到人体轮廓信息,并且人体关节点是确定的,这能够在可见光数据集合中得到体现,而关节点是骨骼相连之处,因此能够通过确定人体关节点,确定大致骨骼的状态,从而生成骨骼模型。虽然这种方法确定的骨骼模型可能与真实的骨骼模型(例如采用X射线检测等直接检测手段)存在一定的差异,但是本申请是通过将生成的骨骼模型与对照骨骼模型进行对比,以对医学动作进行分析,而对照骨骼模型的生成过程与此时的骨骼模型生成方式相同,从而无论上述方法确定的骨骼模型是否与真实的骨骼模型存在一定的差异(纵使有差异,其差异也不会太大),也不会影响最终的分析结果。
如上述步骤S5-S8所述,将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果;将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比,以得到第二分析结果;根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果;综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果。
其中,第一对照骨骼模型集合和第二对照骨骼模型集合是用于分析第一骨骼模型集合和第二骨骼模型集合的依据,其可采用任意可行方式预先构建得到。例如对预先收集的对照医生,在相同条件(相同的可摇晃腔体,相同的摇晃程度-时间曲线,相同肌电感应器和相同的可见光感应器,相同的骨骼模型构建方法;当然,肌电感应器和可见光感应器的数量与位置可以不同,但是优选相同)下进行骨骼模型构建以得到的。而对照医生是资深医生,其在此时实施的医学动作应当合乎医学标准。而骨骼模型集合对比可采用任意可行方式实现,在此不再赘述。将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比的方式,以及将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比可以采用相同的方式进行。值的一提的是,虽然第一骨骼模型集合和第二骨骼模型集合在最终的分析方式上可以相同,但是其构建方法的不同。
而第三双重数据集合,是考察医生是否能够准确预估实施医学动作的时机。因为第三时间窗口内的摇晃程度过大,因此不宜进行医学动作,因此根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果。若在第三时间窗口内进行医学操作,或者说在第三时间窗口内进行过多的医学操作,则第三分析结果应当为负的结果。再综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果。
进一步地,所述将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果的步骤S5,包括:
S501、对所述第一骨骼模型集合中的每个骨骼模型分别进行特征点发现,以发现多个第一特征点集合;
S502、将相同的第一特征点在不同时间的空间位置进行连接,以得到多个第一动作向量;
S503、对所述第一对照骨骼模型集合中的每个骨骼模型分别进行特征点发现,以发现多个第二特征点集合;
S504、将相同的第二特征点在不同时间的空间位置进行连接,以得到多个第二动作向量;其中,所述多个第二动作向量与所述多个第一动作向量一一对应;
S505、根据预设的向量相似度计算方法,分别计算对应的第一动作向量之间的向量相似度,以得到多个向量相似度值;
S506、对所述多个向量相似度值进行权重加和处理以得到权重加和值,并将权重加和值记为第一分析结果。
从而以向量映射,并进行向量间相似度计算的方式,最后进行权重加和,以得到第一分析结果。其中,权重加和值越高,表明越相似,因此医学动作越标准。其中,多个第一特征点集合,可为任意可行特征点,优选包括关节点。而多个第一动作向量,可以是任意时间长度内的动作向量,例如某个第一动作向量包括q帧图像,那么该第一动作向量可由q-1个分向量(每个分向量均为每个相邻时间点图像中的第一特征点位置变化向量)构成(对应的第二动作向量相同处理)。而向量相似度计算方法可采用任意可行算法,例如采用余弦相似度计算方法。
在一个实施方式中,所述对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合的步骤S2之前,包括:
S11、在医生皮肤表面的不同位置设置多个皮表肌电感应器,并使可摇晃腔体进行第一程度值的摇晃,对处于可摇晃腔体中的医生在实施预设的第二医学动作时,进行双重数据采集处理,以得到一号可见光数据集合和一号肌电感应数据集合;
S12、多次减少多个皮表肌电感应器的数量,仍使可摇晃腔体进行第一程度值的摇晃,对处于可摇晃腔体中的医生在实施预设的第二医学动作时,进行双重数据采集处理,以对应得到二号可见光数据集合和二号肌电感应数据集合、三号可见光数据集合和三号肌电感应数据集合、…、m号可见光数据集合和m号肌电感应数据集合;其中,m为大于3的整数;
S13、根据预设的第二骨骼模型构建方法,分别根据一号可见光数据集合和一号肌电感应数据集合、二号可见光数据集合和二号肌电感应数据集合、三号可见光数据集合和三号肌电感应数据集合、…、m号可见光数据集合和m号肌电感应数据集合,构建出一号骨骼模型集合、二号骨骼模型集合、三号骨骼模型集合、…、和m号骨骼模型集合;
S14、进行相邻编号的骨骼模型集合对比,以获取m-1个相似度值,并从m-1个相似度值中选出指定相似度值,以使得指定相似度值大于预设的相似度阈值,并且编号在指定相似度值之前的一个相似度值小于预设的相似度阈值;
S15、获取所述指定相似度值对应的两个骨骼模型集合,并将两个骨骼模型集合中编号靠前的骨骼模型集合记为指定骨骼模型集合;
S16、根据骨骼模型集合、可见光数据集合和肌电感应数据集合、以及皮表肌电感应器的位置的对应关系,获取与所述指定骨骼模型集合对应的皮表肌电感应器指定位置;
S17、在处于可摇晃腔体中的医生在实施预设的第一医学动作时,使得医生的医生被手术服覆盖的皮肤上的多个皮表肌电感应器位于所述指定位置。
本申请的一个特殊之处在于,医生皮肤上设置的皮表肌电感应器是因人而异设置的,其目的在于,根据不同人对皮表肌电感应器的适应程度的不同,设置在容忍范围内的最多皮肤肌电感应器,以在不妨碍医生进行医学动作的同时,尽可能全面地采集肌电数据。而这种设置的原因,在于人体对于附在表面的过多的肌电感应器不适应,有造成动作变形的可能。
其中,第二医学动作相对于第一医学动作更为简单,因为第二医学动作仅是为了确定最适宜的皮表肌电感应器的数量与位置。并且,此时仅使可摇晃腔体进行第一程度值的摇晃。
因此,先在最多的肌电感应器的情况下,进行双重数据采集,随后依次减少皮表肌电感应器的数量,再构建骨骼模型集合,进而进行相邻编号的骨骼模型集合对比。一般而言,皮表肌电感应器的数量越多,越容易造成动作变形,而到了数量一定的数量阈值后,人体较为适应,则动作几乎不再变形。本申请根据这点,以从m-1个相似度值中选出指定相似度值,以使得指定相似度值大于预设的相似度阈值,并且编号在指定相似度值之前的一个相似度值小于预设的相似度阈值。该指定相似度值就对应于数量阈值。
再获取所述指定相似度值对应的两个骨骼模型集合,并将两个骨骼模型集合中编号靠前的骨骼模型集合记为指定骨骼模型集合;根据骨骼模型集合、可见光数据集合和肌电感应数据集合、以及皮表肌电感应器的位置的对应关系,获取与所述指定骨骼模型集合对应的皮表肌电感应器指定位置;在处于可摇晃腔体中的医生在实施预设的第一医学动作时,使得医生的医生被手术服覆盖的皮肤上的多个皮表肌电感应器位于所述指定位置。从而确定了该医生最适宜的皮表肌电感应器的位置与数量。
另外,本申请中,m号可见光数据集合和m号肌电感应数据集合应当还满足一个条件,即m号可见光数据集合和m号肌电感应数据集合能够生成骨骼模型集合,因此本申请在此时减少皮表肌电感应器数量时,是不会无限减少至0的。
在一个实施方式中,可见光数据集合为图像数据集合,所述根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合的步骤S3,包括:
S301、根据图像拼接方法,对所述第一双重数据集合中,处同相同时间点的可见光数据集合进行图像拼接处理,以生成由对应于不同时间点的多个初步骨骼模型构成的第一初步骨骼模型集合;
S302、采用所述第一双重数据集合中的肌电感应数据集合,以确定手术服覆盖下的肌肉状态,并根据肌肉与骨骼的连动关系,确定手术服覆盖下的骨骼状态,从而对所述第一初步骨骼模型集合进行补充,得到第一骨骼模型集合。
要构建一件三维空间中物体的3D模型,可以采用在同一时间点采集其各个角度的图像,再通过图像相似算法,计算出各个图像之间相似的部分,进而进行图像拼接,从而得到3D模型。因此,可以采用对所述第一双重数据集合中,处同相同时间点的可见光数据集合进行图像拼接处理,以生成由对应于不同时间点的多个初步骨骼模型构成的第一初步骨骼模型集合。需要注意的是,由于可见光数据集合中必然会包括人体的关节点,因此通过对人体关节点的确定,就能够确定人体露出在手术服外的骨骼状态了。
此时的第一初步骨骼模型集合,是缺少手术服覆盖下的骨骼数据的,但是皮表肌电感应器石油到的肌电感应数据集合,反应的是对应区域的肌肉状态(肌纤维信号),而骨骼是由肌肉牵引的,因此可以间接确定骨骼状态,从而补充第一初步骨骼模型集合中被手术服覆盖下的骨骼状态,以得到第一骨骼模型集合。
在一个实施方式中,所述根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果的步骤S7,包括:
S701、根据所述第三双重数据集合,获取医生在第三时间窗口内进行医学操作的操作时长;
S702、根据公式:时长占比=操作时长÷第三时间窗口的长度,以计算出时长占比;
S703、判断所述时长占比是否小于预设的时长阈值;
S704、若所述时长占比小于预设的时长阈值,则将第三分析结果设置为预设的正数;
S705、若所述时长占比小于预设的时长阈值,则将第三分析结果设置为预设的负数。
从而衡量出医生对于操作时间段的选择能力。如前文所述,第三时间窗口由于摇晃程度较高,因此是不适宜进行医学动作的,但是为了止损而进行的医学动作可以进行少量操作,例如进行止血钳的快速使用。因此,本申请先计算出时长占比,再确定时长占比是否过大,进而确定第三分析结果的输出。若所述时长占比小于预设的时长阈值,表明医生对于是否应当进行手术的时机有较好的把握,因此输出一个正数,反之输出一个负数。其中,该正数与该负数的绝对值可以相同,也可以不相同。另外,由于第三时间窗口的数量是多个,因此第三分析结果也应当与第三时间窗口对应,也输出多个第三分析结果。
进一步地,所述综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果的步骤S8,包括:
S801、将所述第一分析结果映射为第一分析数值,将所述第二分析结果映射为第二分析数值,同时将所述第三分析结果映射为第三分析数值;
S802、根据公式:综合分析数值=a×第一分析数值+b×第二分析数值+c×第三分析数值,计算出综合分析数值;其中,a、b、c均为预设的权重参数。
从而采用综合分析数值的方式,来衡量第一医学动作。其中,综合分析数值越大,表明医生的医学动作操作越好。而分析结果映射为分析数值的方式,可采用任意可行方式,例如可采用预先设置映射表的方式实现,或者采用前文提及的第一分析结果的数值输出方式(第二分析结果也可类似处理),第三分析结果的数值输出方式。
本申请的基于双重感应骨骼模型的医学动作分析方法,控制预先设置的可摇晃腔体,根据预设的摇晃程度-时间曲线进行摇晃;对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理;根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合;根据预设的第二骨骼模型构建方法,采用所述第二双重数据集合,构建出第二骨骼模型集合;将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果;将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比,以得到第二分析结果;根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果;综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果,实现了在突发状况(或称特别场景)下的医学动作分析。
参照图2,本申请实施例提供一种基于双重感应骨骼模型的医学动作分析装置,包括:
控制摇晃单元10,用于控制预先设置的可摇晃腔体,根据预设的摇晃程度-时间曲线进行摇晃,以使得可摇晃腔体在多个第一时间窗口内静止,在多个第二时间窗口内进行第一程度值的摇晃,在多个第三时间窗口内进行第二程度值的摇晃;其中,多个第一时间窗口彼此之间并不相邻,多个第二时间窗口彼此之间并不相邻,多个第三时间窗口彼此之间并不相邻,所述摇晃程度-时间曲线被划分为多个第一时间窗口、多个第二时间窗口和多个第三时间窗口;第一程度值小于第二程度值;
双重数据采集单元20,用于对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合;其中,双重数据采集处理不仅包括通过设置在医生周围的多个可见光感应器进行第一重感应处理,以得到可见光数据集合,还包括通过设置在医生被手术服覆盖的皮肤上的多个皮表肌电感应器进行第二重感应处理,以得到肌电感应数据集合;
第一骨骼模型集合构建单元30,用于根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合;其中,所述第一骨骼模型构建方法以可见光数据集合为主,构建第一初步骨骼模型集合,再以肌电感应数据集合为辅,对第一初步骨骼模型集合进行补充,从而构建第一骨骼模型集合;
第二骨骼模型集合构建单元40,用于根据预设的第二骨骼模型构建方法,采用所述第二双重数据集合,构建出第二骨骼模型集合;其中,所述第二骨骼模型构建方法以肌电感应数据集合为主,构建第二初步骨骼模型集合,再以可见光数据集合为辅,对第二初步骨骼模型集合进行补充,从而构建第二骨骼模型集合;
第一分析结果获取单元50,用于将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果;
第二分析结果获取单元60,用于将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比,以得到第二分析结果;
第三分析结果获取单元70,用于根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果;
综合分析结果获取单元80,用于综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果。
其中,第一程度值指可摇晃腔体偏离静止位置时的偏移距离小于预设的第一距离数值;第二程度值指可摇晃腔体偏离静止位置时的偏移距离小于预设的第二距离数值,但大于第一距离数值;第一距离数值小于第二距离数值。
其中,所述对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合之前,包括:
在医生皮肤表面的不同位置设置多个皮表肌电感应器,并使可摇晃腔体进行第一程度值的摇晃,对处于可摇晃腔体中的医生在实施预设的第二医学动作时,进行双重数据采集处理,以得到一号可见光数据集合和一号肌电感应数据集合;
多次减少多个皮表肌电感应器的数量,仍使可摇晃腔体进行第一程度值的摇晃,对处于可摇晃腔体中的医生在实施预设的第二医学动作时,进行双重数据采集处理,以对应得到二号可见光数据集合和二号肌电感应数据集合、三号可见光数据集合和三号肌电感应数据集合、…、m号可见光数据集合和m号肌电感应数据集合;其中,m为大于3的整数;
根据预设的第二骨骼模型构建方法,分别根据一号可见光数据集合和一号肌电感应数据集合、二号可见光数据集合和二号肌电感应数据集合、三号可见光数据集合和三号肌电感应数据集合、…、m号可见光数据集合和m号肌电感应数据集合,构建出一号骨骼模型集合、二号骨骼模型集合、三号骨骼模型集合、…、和m号骨骼模型集合;
进行相邻编号的骨骼模型集合对比,以获取m-1个相似度值,并从m-1个相似度值中选出指定相似度值,以使得指定相似度值大于预设的相似度阈值,并且编号在指定相似度值之前的一个相似度值小于预设的相似度阈值;
获取所述指定相似度值对应的两个骨骼模型集合,并将两个骨骼模型集合中编号靠前的骨骼模型集合记为指定骨骼模型集合;
根据骨骼模型集合、可见光数据集合和肌电感应数据集合、以及皮表肌电感应器的位置的对应关系,获取与所述指定骨骼模型集合对应的皮表肌电感应器指定位置;
在处于可摇晃腔体中的医生在实施预设的第一医学动作时,使得医生的医生被手术服覆盖的皮肤上的多个皮表肌电感应器位于所述指定位置。
其中上述单元分别用于执行的操作与前述实施方式的基于双重感应骨骼模型的医学动作分析方法的步骤一一对应,在此不再赘述。
本申请的基于双重感应骨骼模型的医学动作分析装置,控制预先设置的可摇晃腔体,根据预设的摇晃程度-时间曲线进行摇晃;对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理;根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合;根据预设的第二骨骼模型构建方法,采用所述第二双重数据集合,构建出第二骨骼模型集合;将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果;将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比,以得到第二分析结果;根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果;综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果,实现了在突发状况(或称特别场景)下的医学动作分析。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于双重感应骨骼模型的医学动作分析方法,其特征在于,包括:
S1、控制预先设置的可摇晃腔体,根据预设的摇晃程度-时间曲线进行摇晃,以使得可摇晃腔体在多个第一时间窗口内静止,在多个第二时间窗口内进行第一程度值的摇晃,在多个第三时间窗口内进行第二程度值的摇晃;其中,多个第一时间窗口彼此之间并不相邻,多个第二时间窗口彼此之间并不相邻,多个第三时间窗口彼此之间并不相邻,所述摇晃程度-时间曲线被划分为多个第一时间窗口、多个第二时间窗口和多个第三时间窗口;第一程度值小于第二程度值;
S2、对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合;其中,双重数据采集处理不仅包括通过设置在医生周围的多个可见光感应器进行第一重感应处理,以得到可见光数据集合,还包括通过设置在医生被手术服覆盖的皮肤上的多个皮表肌电感应器进行第二重感应处理,以得到肌电感应数据集合;
S3、根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合;其中,所述第一骨骼模型构建方法以可见光数据集合为主,构建第一初步骨骼模型集合,再以肌电感应数据集合为辅,对第一初步骨骼模型集合进行补充,从而构建第一骨骼模型集合;
S4、根据预设的第二骨骼模型构建方法,采用所述第二双重数据集合,构建出第二骨骼模型集合;其中,所述第二骨骼模型构建方法以肌电感应数据集合为主,构建第二初步骨骼模型集合,再以可见光数据集合为辅,对第二初步骨骼模型集合进行补充,从而构建第二骨骼模型集合;
S5、将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果;
S6、将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比,以得到第二分析结果;
S7、根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果;
S8、综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果。
2.根据权利要求1所述的基于双重感应骨骼模型的医学动作分析方法,其特征在于,第一程度值指可摇晃腔体偏离静止位置时的偏移距离小于预设的第一距离数值;第二程度值指可摇晃腔体偏离静止位置时的偏移距离小于预设的第二距离数值,但大于第一距离数值;第一距离数值小于第二距离数值。
3.根据权利要求1所述的基于双重感应骨骼模型的医学动作分析方法,其特征在于,所述对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合的步骤S2之前,包括:
S11、在医生皮肤表面的不同位置设置多个皮表肌电感应器,并使可摇晃腔体进行第一程度值的摇晃,对处于可摇晃腔体中的医生在实施预设的第二医学动作时,进行双重数据采集处理,以得到一号可见光数据集合和一号肌电感应数据集合;
S12、多次减少多个皮表肌电感应器的数量,仍使可摇晃腔体进行第一程度值的摇晃,对处于可摇晃腔体中的医生在实施预设的第二医学动作时,进行双重数据采集处理,以对应得到二号可见光数据集合和二号肌电感应数据集合、三号可见光数据集合和三号肌电感应数据集合、…、m号可见光数据集合和m号肌电感应数据集合;其中,m为大于3的整数;
S13、根据预设的第二骨骼模型构建方法,分别根据一号可见光数据集合和一号肌电感应数据集合、二号可见光数据集合和二号肌电感应数据集合、三号可见光数据集合和三号肌电感应数据集合、…、m号可见光数据集合和m号肌电感应数据集合,构建出一号骨骼模型集合、二号骨骼模型集合、三号骨骼模型集合、…、和m号骨骼模型集合;
S14、进行相邻编号的骨骼模型集合对比,以获取m-1个相似度值,并从m-1个相似度值中选出指定相似度值,以使得指定相似度值大于预设的相似度阈值,并且编号在指定相似度值之前的一个相似度值小于预设的相似度阈值;
S15、获取所述指定相似度值对应的两个骨骼模型集合,并将两个骨骼模型集合中编号靠前的骨骼模型集合记为指定骨骼模型集合;
S16、根据骨骼模型集合、可见光数据集合和肌电感应数据集合、以及皮表肌电感应器的位置的对应关系,获取与所述指定骨骼模型集合对应的皮表肌电感应器指定位置;
S17、在处于可摇晃腔体中的医生在实施预设的第一医学动作时,使得医生的医生被手术服覆盖的皮肤上的多个皮表肌电感应器位于所述指定位置。
4.根据权利要求1所述的基于双重感应骨骼模型的医学动作分析方法,其特征在于,可见光数据集合为图像数据集合,所述根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合的步骤S3,包括:
S301、根据图像拼接方法,对所述第一双重数据集合中,处同相同时间点的可见光数据集合进行图像拼接处理,以生成由对应于不同时间点的多个初步骨骼模型构成的第一初步骨骼模型集合;
S302、采用所述第一双重数据集合中的肌电感应数据集合,以确定手术服覆盖下的肌肉状态,并根据肌肉与骨骼的连动关系,确定手术服覆盖下的骨骼状态,从而对所述第一初步骨骼模型集合进行补充,得到第一骨骼模型集合。
5.根据权利要求1所述的基于双重感应骨骼模型的医学动作分析方法,其特征在于,所述将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果的步骤S5,包括:
S501、对所述第一骨骼模型集合中的每个骨骼模型分别进行特征点发现,以发现多个第一特征点集合;
S502、将相同的第一特征点在不同时间的空间位置进行连接,以得到多个第一动作向量;
S503、对所述第一对照骨骼模型集合中的每个骨骼模型分别进行特征点发现,以发现多个第二特征点集合;
S504、将相同的第二特征点在不同时间的空间位置进行连接,以得到多个第二动作向量;其中,所述多个第二动作向量与所述多个第一动作向量一一对应;
S505、根据预设的向量相似度计算方法,分别计算对应的第一动作向量之间的向量相似度,以得到多个向量相似度值;
S506、对所述多个向量相似度值进行权重加和处理以得到权重加和值,并将权重加和值记为第一分析结果。
6.根据权利要求1所述的基于双重感应骨骼模型的医学动作分析方法,其特征在于,所述根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果的步骤S7,包括:
S701、根据所述第三双重数据集合,获取医生在第三时间窗口内进行医学操作的操作时长;
S702、根据公式:时长占比=操作时长÷第三时间窗口的长度,以计算出时长占比;
S703、判断所述时长占比是否小于预设的时长阈值;
S704、若所述时长占比小于预设的时长阈值,则将第三分析结果设置为预设的正数;
S705、若所述时长占比小于预设的时长阈值,则将第三分析结果设置为预设的负数。
7.根据权利要求1所述的基于双重感应骨骼模型的医学动作分析方法,其特征在于,所述综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果的步骤S8,包括:
S801、将所述第一分析结果映射为第一分析数值,将所述第二分析结果映射为第二分析数值,同时将所述第三分析结果映射为第三分析数值;
S802、根据公式:综合分析数值=a×第一分析数值+b×第二分析数值+c×第三分析数值,计算出综合分析数值;其中,a、b、c均为预设的权重参数。
8.一种基于双重感应骨骼模型的医学动作分析装置,其特征在于,包括:
控制摇晃单元,用于控制预先设置的可摇晃腔体,根据预设的摇晃程度-时间曲线进行摇晃,以使得可摇晃腔体在多个第一时间窗口内静止,在多个第二时间窗口内进行第一程度值的摇晃,在多个第三时间窗口内进行第二程度值的摇晃;其中,多个第一时间窗口彼此之间并不相邻,多个第二时间窗口彼此之间并不相邻,多个第三时间窗口彼此之间并不相邻,所述摇晃程度-时间曲线被划分为多个第一时间窗口、多个第二时间窗口和多个第三时间窗口;第一程度值小于第二程度值;
双重数据采集单元,用于对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合;其中,双重数据采集处理不仅包括通过设置在医生周围的多个可见光感应器进行第一重感应处理,以得到可见光数据集合,还包括通过设置在医生被手术服覆盖的皮肤上的多个皮表肌电感应器进行第二重感应处理,以得到肌电感应数据集合;
第一骨骼模型集合构建单元,用于根据预设的第一骨骼模型构建方法,采用所述第一双重数据集合,构建出第一骨骼模型集合;其中,所述第一骨骼模型构建方法以可见光数据集合为主,构建第一初步骨骼模型集合,再以肌电感应数据集合为辅,对第一初步骨骼模型集合进行补充,从而构建第一骨骼模型集合;
第二骨骼模型集合构建单元,用于根据预设的第二骨骼模型构建方法,采用所述第二双重数据集合,构建出第二骨骼模型集合;其中,所述第二骨骼模型构建方法以肌电感应数据集合为主,构建第二初步骨骼模型集合,再以可见光数据集合为辅,对第二初步骨骼模型集合进行补充,从而构建第二骨骼模型集合;
第一分析结果获取单元,用于将所述第一骨骼模型集合与预先构建的第一对照骨骼模型集合进行对比,以得到第一分析结果;
第二分析结果获取单元,用于将所述第二骨骼模型集合与预先构建的第二对照骨骼模型集合进行对比,以得到第二分析结果;
第三分析结果获取单元,用于根据所述第三双重数据集合,以分析医生是否在第三时间窗口内进行医学操作,从而得到第三分析结果;
综合分析结果获取单元,用于综合第一分析结果、第二分析结果和第三分析结果,以得到综合分析结果。
9.根据权利要求8所述的基于双重感应骨骼模型的医学动作分析装置,其特征在于,第一程度值指可摇晃腔体偏离静止位置时的偏移距离小于预设的第一距离数值;第二程度值指可摇晃腔体偏离静止位置时的偏移距离小于预设的第二距离数值,但大于第一距离数值;第一距离数值小于第二距离数值。
10.根据权利要求8所述的基于双重感应骨骼模型的医学动作分析装置,其特征在于,所述对处于可摇晃腔体中的医生在实施预设的第一医学动作时,进行实时双重数据采集处理,以得到对应于第一时间窗口的第一双重数据集合,得到对应于第二时间窗口的第二双重数据集合,得到对应于第三时间窗口的第三双重数据集合之前,包括:
在医生皮肤表面的不同位置设置多个皮表肌电感应器,并使可摇晃腔体进行第一程度值的摇晃,对处于可摇晃腔体中的医生在实施预设的第二医学动作时,进行双重数据采集处理,以得到一号可见光数据集合和一号肌电感应数据集合;
多次减少多个皮表肌电感应器的数量,仍使可摇晃腔体进行第一程度值的摇晃,对处于可摇晃腔体中的医生在实施预设的第二医学动作时,进行双重数据采集处理,以对应得到二号可见光数据集合和二号肌电感应数据集合、三号可见光数据集合和三号肌电感应数据集合、…、m号可见光数据集合和m号肌电感应数据集合;其中,m为大于3的整数;
根据预设的第二骨骼模型构建方法,分别根据一号可见光数据集合和一号肌电感应数据集合、二号可见光数据集合和二号肌电感应数据集合、三号可见光数据集合和三号肌电感应数据集合、…、m号可见光数据集合和m号肌电感应数据集合,构建出一号骨骼模型集合、二号骨骼模型集合、三号骨骼模型集合、…、和m号骨骼模型集合;
进行相邻编号的骨骼模型集合对比,以获取m-1个相似度值,并从m-1个相似度值中选出指定相似度值,以使得指定相似度值大于预设的相似度阈值,并且编号在指定相似度值之前的一个相似度值小于预设的相似度阈值;
获取所述指定相似度值对应的两个骨骼模型集合,并将两个骨骼模型集合中编号靠前的骨骼模型集合记为指定骨骼模型集合;
根据骨骼模型集合、可见光数据集合和肌电感应数据集合、以及皮表肌电感应器的位置的对应关系,获取与所述指定骨骼模型集合对应的皮表肌电感应器指定位置;
在处于可摇晃腔体中的医生在实施预设的第一医学动作时,使得医生的医生被手术服覆盖的皮肤上的多个皮表肌电感应器位于所述指定位置。
CN202210030737.2A 2022-01-12 2022-01-12 基于双重感应骨骼模型的医学动作分析方法和装置 Active CN114366085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210030737.2A CN114366085B (zh) 2022-01-12 2022-01-12 基于双重感应骨骼模型的医学动作分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210030737.2A CN114366085B (zh) 2022-01-12 2022-01-12 基于双重感应骨骼模型的医学动作分析方法和装置

Publications (2)

Publication Number Publication Date
CN114366085A true CN114366085A (zh) 2022-04-19
CN114366085B CN114366085B (zh) 2024-07-26

Family

ID=81144162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210030737.2A Active CN114366085B (zh) 2022-01-12 2022-01-12 基于双重感应骨骼模型的医学动作分析方法和装置

Country Status (1)

Country Link
CN (1) CN114366085B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110130636A1 (en) * 2009-08-27 2011-06-02 Daniel Simon R Systems, Methods and Devices for the Rapid Assessment and Deployment of Appropriate Modular Aid Solutions in Response to Disasters.
US20130245461A1 (en) * 2010-11-12 2013-09-19 Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts Visualization of Anatomical Data by Augmented Reality
KR101726800B1 (ko) * 2015-12-31 2017-04-13 (주)힐닉스 정형외과 수술용 가이드 장치 및 이를 이용한 수술 정량화방법
US9814430B1 (en) * 2015-04-17 2017-11-14 Bertec Corporation System and method for measuring eye movement and/or eye position and postural sway of a subject
RU2016118652A (ru) * 2016-05-13 2017-11-16 Акционерное общество "Ассоциация разработчиков и производителей систем мониторинга" Способ оценки и прогнозирования функционального состояния человека в экстремальных условиях деятельности
US10729502B1 (en) * 2019-02-21 2020-08-04 Theator inc. Intraoperative surgical event summary

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110130636A1 (en) * 2009-08-27 2011-06-02 Daniel Simon R Systems, Methods and Devices for the Rapid Assessment and Deployment of Appropriate Modular Aid Solutions in Response to Disasters.
US20130245461A1 (en) * 2010-11-12 2013-09-19 Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts Visualization of Anatomical Data by Augmented Reality
US9814430B1 (en) * 2015-04-17 2017-11-14 Bertec Corporation System and method for measuring eye movement and/or eye position and postural sway of a subject
KR101726800B1 (ko) * 2015-12-31 2017-04-13 (주)힐닉스 정형외과 수술용 가이드 장치 및 이를 이용한 수술 정량화방법
RU2016118652A (ru) * 2016-05-13 2017-11-16 Акционерное общество "Ассоциация разработчиков и производителей систем мониторинга" Способ оценки и прогнозирования функционального состояния человека в экстремальных условиях деятельности
US10729502B1 (en) * 2019-02-21 2020-08-04 Theator inc. Intraoperative surgical event summary

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张琦;黄展鹏;: "数据手套在医学虚拟实验中的应用", 实验室研究与探索, no. 06, 15 June 2018 (2018-06-15), pages 13 - 15 *

Also Published As

Publication number Publication date
CN114366085B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
JP6640922B2 (ja) 超音波診断装置及び画像処理装置
JP5866136B2 (ja) イメージデータ又はモデルにカテーテル案内システムの局所的非剛体位置合わせのためのシステム及び方法
EP3821807B1 (en) Method of medical monitoring
US9940714B2 (en) Image analyzing device, image analyzing method, and computer program product
CN107072635B (zh) 用于中间用户反馈的多跳超声心动图采集的质量度量
JP5173303B2 (ja) 医用画像処理装置及び医用画像診断装置
KR20190021344A (ko) 초음파 디바이스를 작동하는 사용자를 보조하기 위한 자동화된 영상 취득
CN111292277B (zh) 超声融合成像方法及超声融合成像导航系统
WO2016205807A1 (en) Electromagnetic dynamic registration for device navigation
EP3057660A1 (en) Estimating position of an organ with a biomechanical model
JP2002306483A (ja) 医用画像診断装置及びその方法
KR20130104097A (ko) 의료수술 시뮬레이션 장치 및 그 방법
CN112740332A (zh) 用于对循环系统的状态的评价进行辅助的评价辅助系统和评价辅助方法
Hughes et al. Sensorized phantom for characterizing large area deformation of soft bodies for medical applications
CN114366085A (zh) 基于双重感应骨骼模型的医学动作分析方法和装置
JP6835014B2 (ja) 身体内部情報推定方法、コンピュータプログラム、それを記憶した記憶媒体、および、身体内部情報推定装置
CN115311188A (zh) 一种图像识别方法、装置、电子设备及存储介质
RU2358646C2 (ru) Способ моделирования и визуализации распространения возбуждения в миокарде
Vaughan et al. Haptic feedback from human tissues of various stiffness and homogeneity
JP3558596B2 (ja) 人体数値管理システム及び人体モデリングシステム
EP3463074A1 (en) Impedance shift detection
Goffredo et al. Shape analysis of bicipital contraction by means of RGB-D sensor, parallel transport and trajectory analysis
JP2690678B2 (ja) 近似モデル表示装置
JP7106096B2 (ja) 心機能解析装置、解析方法、プログラムおよび記録媒体
Mohamadipanah et al. Predictive model reference adaptive controller to compensate heart motion in minimally invasive cabg surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant