CN112820382A - 乳腺癌术后智能康复训练方法、装置、设备及存储介质 - Google Patents
乳腺癌术后智能康复训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112820382A CN112820382A CN202110166938.0A CN202110166938A CN112820382A CN 112820382 A CN112820382 A CN 112820382A CN 202110166938 A CN202110166938 A CN 202110166938A CN 112820382 A CN112820382 A CN 112820382A
- Authority
- CN
- China
- Prior art keywords
- patient
- rehabilitation training
- neural network
- network model
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 52
- 206010006187 Breast cancer Diseases 0.000 title claims abstract description 38
- 208000026310 Breast neoplasm Diseases 0.000 title claims abstract description 38
- 230000002980 postoperative effect Effects 0.000 title claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 44
- 230000008921 facial expression Effects 0.000 claims abstract description 31
- 238000010586 diagram Methods 0.000 claims description 39
- 238000011176 pooling Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 10
- 238000001356 surgical procedure Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 210000001364 upper extremity Anatomy 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000062 pectoralis major Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明公开了一种乳腺癌术后智能康复训练方法、装置、设备及存储介质，所述方法包括：获取患者进行术后康复训练时的整体图片以及面部表情图片；将所述整体图片输入第一神经网络模型，得到患者手臂和躯干的夹角；将所述面部表情图片输入第二神经网络模型，得到患者疼痛等级；当所述夹角大于预设夹角阈值或所述疼痛等级大于预设疼痛等级阈值时，发出报警信息。根据本公开实施例提供的乳腺癌术后智能康复训练方法，可以智能分析患者在做康复训练时的手臂抬起高度以及疼痛程度，智能地辅助患者术后康复训练，降低了患者完成康复训练对于医生或其他专业人士的依赖程度。
Description
技术领域
本发明涉及康复训练技术领域，特别涉及一种乳腺癌术后智能康复训练方法、装置、设备及存储介质。
背景技术
目前治疗乳腺癌的方法是通过切除患侧的乳腺、胸大肌以及周边组织，手术范围较大，在伤口恢复期需要进行患侧肢体功能训练，否则将引起患侧上肢功能障碍，影响正常的生活和工作。
目前患者出院后，需要重复住院期间的一些上肢功能训练，尤其是手指爬墙训练，传统方法是医生对患者进行手把手训练，或者病人按照康复工装进行简单训练，这些康复训练场地大、效率低，而且患者不能系统进行训练、医生对患者训练效果不能实时获得。
发明内容
本公开实施例提供了一种乳腺癌术后智能康复训练方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本公开实施例提供了一种乳腺癌术后智能康复训练方法，包括：
获取患者进行术后康复训练时的整体图片以及面部表情图片；
将整体图片输入第一神经网络模型，得到患者手臂和躯干的夹角；
将面部表情图片输入第二神经网络模型，得到患者疼痛等级；
当夹角大于预设夹角阈值或疼痛等级大于预设疼痛等级阈值时，发出报警信息。
在一个实施例中，获取患者进行术后康复训练时的整体图片以及面部表情图片之后，还包括：
对整体图片以及面部表情图片进行预处理。
在一个实施例中，第一神经网络模型为多阶段卷积神经网络模型，其中，每个阶段由多个卷积池化单元组成，卷积池化单元由卷积层、池化层以及激活函数组成。
在一个实施例中，将整体图片输入第一神经网络模型，得到患者手臂和躯干的夹角，包括：
将整体图片输入第一神经网络模型的第一阶段，获得输出的特征图和热力图；
连接特征图和热力图，并作为下一阶段的输入，重复执行该步骤，直到获得最后一个阶段输出的热力图；
根据最后一个阶段输出的热力图，得到患者手臂和躯干关键点的坐标；
根据手臂和躯干关键点的坐标计算得到患者手臂和躯干的夹角。
在一个实施例中，第二神经网络模型由顺序连接的卷积池化层、Batch Norm层、Flatten层以及全连接层组成。
在一个实施例中，将面部表情图片输入第二神经网络模型，得到患者疼痛等级，包括：
将面部表情图片输入第二神经网络模型中的卷积池化层，得到多个尺度的特征图；
将多个尺度的特征图依次输入Batch Norm层以及Flatten层，得到压缩后的一维向量；
将一维向量输入全连接层，得到预测出来的患者疼痛等级。
在一个实施例中，将面部表情图片输入第二神经网络模型，得到患者疼痛等级之后，还包括：
实时显示患者手臂和躯干的夹角信息以及预测出来的疼痛等级信息。
第二方面，本公开实施例提供了一种乳腺癌术后智能康复训练装置，包括：
获取模块，用于获取患者进行术后康复训练时的整体图片以及面部表情图片；
第一检测模块，用于将整体图片输入第一神经网络模型，得到患者手臂和躯干的夹角；
第二检测模块，用于将面部表情图片输入第二神经网络模型，得到患者疼痛等级；
报警模块，用于当夹角大于预设夹角阈值或疼痛等级大于预设疼痛等级阈值时，发出报警信息。
第三方面，本公开实施例提供了一种乳腺癌术后智能康复训练设备，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述实施例提供的乳腺癌术后智能康复训练方法。
第四方面，本公开实施例提供了一种计算机可读介质，其特征在于，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的一种乳腺癌术后智能康复训练方法。
本公开实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供的乳腺癌术后智能康复训练方法，采用神经网络模型，对患者进行康复训练时的图片进行分析处理，得到患者在做康复训练时胳膊抬起的角度以及对应的患者疼痛等级，并可以实时显示角度信息以及疼痛等级信息，当患者抬起胳膊的角度过大或疼痛等级较高时，发出报警信息。根据该方法，可以智能分析患者在做康复训练时的手臂抬起高度以及疼痛程度，智能地辅助患者术后康复训练，降低了患者完成康复训练对于医生或其他专业人士的依赖程度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种乳腺癌术后智能康复训练方法的流程示意图；
图2是根据一示例性实施例示出的一种根据第一神经网络模型计算患者手臂和躯干夹角的示意图；
图3是根据一示例性实施例示出的一种根据第二神经网络模型计算疼痛等级的示意图；
图4是根据一示例性实施例示出的一种乳腺癌术后智能康复训练装置的结构示意图；
图5是根据一示例性实施例示出的一种乳腺癌术后智能康复训练设备的结构示意图；
图6是根据一示例性实施例示出的一种计算机存储介质的示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面将结合附图1-附图3，对本申请实施例提供的乳腺癌术后智能康复训练方法进行详细介绍。图1是根据一示例性实施例示出的一种乳腺癌术后智能康复训练方法的流程示意图，如图1所示，该方法具体包括以下步骤。
S101获取患者进行术后康复训练时的整体图片以及面部表情图片。
目前，乳腺癌患者在出院后，需要重复住院期间的一些上肢功能训练，例如手指爬墙训练，来锻炼患者上肢的功能恢复。在一种可能的实现方式中，可以通过摄像设备实时采集患者在做康复训练时的整体图片以及面部表情图片。
进一步地，对采集到的整体图片以及面部表情图片进行预处理。首先，对采集到的整体图片进行预处理，包括对采集的整体图片进行裁剪，去除图片中的多余物体、多余人员等干扰，保留患者身体的完整图片，包括对采集的整体图片进行归一化处理，归一化处理是指对图像进行一系列标准的处理变换，将待处理的原始图像转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性。在一种可能的实现方式中，首先利用图像中对仿射变换具有不变性的矩来确定变换函数的参数，然后利用此参数确定的变换函数把原始图像变换为一个标准形式的图像，一般说来，基于矩的图像归一化过程包括4个步骤，即坐标中心化、x-shearing归一化、缩放归一化和旋转归一化。
然后对采集到的面部表情图片进行预处理，首先，通过人脸关键点定位算法对人脸关键点进行定位，在人脸检测的基础上，根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等，输入为人脸外观图像，输出为人脸的特征点集合。然后进行人脸对齐操作，可以看作在一张人脸图像搜索人脸预先定义的点(也叫人脸形状)，通常从一个粗估计的形状开始，然后通过迭代来细化形状的估计。在搜索的过程中，两种不同的信息被使用，一个是人脸的外观(Appearance)，另一个是形状(Shape)。形状提供一个搜索空间上的约束条件。人脸对齐主要将人脸中的眼镜、嘴巴、鼻子、下巴检测出来，用特征点标记出来。
进一步地，可以利用人脸对齐的结果进行人脸验证、人脸识别、属性计算、表情识别、姿态估计等。
S102将整体图片输入第一神经网络模型，得到患者手臂和躯干的夹角。
图2是根据一示例性实施例示出的一种根据第一神经网络模型计算患者手臂和躯干夹角的示意图。
如图2所示，第一神经网络模型为多阶段卷积神经网络模型，其中，每个阶段由多个卷积池化单元组成，卷积池化单元由卷积层、池化层以及激活函数顺序连接组成。在本公开实施例中，第一神经网络模型由三个卷积阶段组成，每个阶段包括多个卷积池化单元，多个卷积池化单元顺序连接组成一个阶段，每个单元包括卷积层、池化层以及激活函数。
具体地，将预处理后的整体图片输入第一神经网络模型的第一阶段，在每个阶段中利用该阶段的卷积层以及池化层提取出特征图，公式如下：
其中，以n*n大小的卷积核Kernel为例，对原特征图X_feature进行卷积，得到卷积特征图Conv_Feature(i，j)代表的是卷积特征图中第i行j列的像素点。
然后对卷积特征图进行池化：
其中，Fmaxpooling(i，j)代表的是池化后得到的特征图中第i行j列的像素点。
然后通过激活函数激活：
Fconv＝σ(Fmaxpooling)
其中，激活函数为σ，激活得到Fconv。
并同时以热力图的形式进行人体姿势关键点的预测，最终获得输出的特征图以及热力图；
将第一阶段输出的特征图以及热力图连接起来，作为第二阶段的输入，第二阶段同样利用该阶段的卷积层以及池化层提取出特征图和热力图，然后将第二阶段输出的特征图和热力图连接起来，作为第三阶段的输入，反复执行该步骤，直到获得最后一个阶段输出的热力图。在一个示例性场景中，可以反复执行3-4个阶段，根据经过3-4个阶段后输出的热力图计算患者手臂和躯干关键点的坐标。
进一步地，根据最后一个阶段输出的热力图，可以得到人体姿势的关键点，并用寻找最大自变量的方法得到手臂和躯干关键点的坐标，根据手臂和躯干关键点的坐标计算得到患者手臂和躯干的夹角。在一种可能的实现方式中，通过热力图得到肘部、肩部、首部的坐标XYZ，计算得到手臂和躯干的夹角，具体计算方法如下：
其中，θ即为所求夹角。
根据该步骤，可以对患者进行康复训练时的整体图片进行分析，即可获得患者训练时手臂抬起的高度。
S103将面部表情图片输入第二神经网络模型，得到患者疼痛等级。
图3是根据一示例性实施例示出的一种根据第二神经网络模型计算疼痛等级的示意图，如图3所示，第二神经网络模型包括顺序连接的卷积池化层、Batch Norm层、Flatten层以及全连接层。
首先，将预处理后的面部表情图片输入第二神经网络模型中的卷积池化层，卷积池化层由多个卷积池化单元组成，其中，每个卷积池化单元包括卷积函数、池化函数以及激活函数。经过多次卷积核卷积，池化层池化和激活函数激活得到多个尺度的特征图。
将得到的特征图输入下一个Batch Norm层，Batch Norm层用于对卷积后的数据进行归一化，可以加速神经网络模型的训练，使模型快速收敛。
然后将Batch Norm层输出的数据输入Flatten层，Flatten层用于将多尺度的特征图压缩成一维向量，然后将压缩后的向量输入全连接层，最后，全连接层输出预测出来的疼痛等级。
在一个示例性场景中，疼痛等级分为0-4级，其中，0级表示不疼痛，1级表示轻度疼痛，2-3级表示中度疼痛，4级表示重度疼痛。
在一种可能的实现方式中，可以事先建立训练数据集，训练第二神经网络模型，采集不同疼痛程度的面部表情图片以及对应的疼痛等级构建训练数据集，利用构建好的训练数据集训练第二神经网络模型，得到精确度较高的神经网络模型。
根据该步骤，只需对采集到的患者进行康复训练时的面部表情图片进行分析，即可获知患者训练时的疼痛程度。
S104当夹角大于预设夹角阈值或疼痛等级大于预设疼痛等级阈值时，发出报警信息。
在一个实施例中，根据第一神经网络模型以及第二神经网络模型对患者训练时的整体图片以及面部表情图片进行分析，得到患者训练时手臂与躯干的夹角信息以及疼痛等级信息后，还可以将检测出来的信息实时显示，例如将检测出来的患者手臂和躯干的夹角信息以及预测出来的疼痛等级信息实时显示在LED显示屏，供患者查看。
可选地，还可以将检测出来的患者手臂和躯干的夹角信息以及预测出来的疼痛等级信息实时发送到患者移动终端和医生移动终端，供患者查看自己的训练情况，以及可以让医生获知患者的康复训练情况，并根据患者手臂抬起的高度以及对应的疼痛等级实时调整训练方案。
可选地，还可以通过语音实时播报患者的手臂与躯干的夹角信息，便于患者根据制定的训练方案规范训练，以防患者每次抬起的手臂高度过低达不到训练效果。
在一种可能的实现方式中，可以根据医嘱确定手臂与躯干的夹角阈值以及疼痛等级阈值，当夹角大于预设夹角阈值或疼痛等级大于预设疼痛等级阈值时，发出报警信息。
在一个示例性场景中，若检测出来的患者手臂与躯干的夹角大于预设夹角阈值时，可以发出语音报警信息，例如发出“当前手臂抬起的高度过高，请调整”的语音报警信息。若检测到的患者疼痛等级大于预设疼痛等级阈值时，同样可以发出语音报警信息，例如发出“当前疼痛等级过高，请调整”的语音报警信息。
可选地，当夹角大于预设夹角阈值或疼痛等级大于预设疼痛等级阈值时，还可以通过灯光发出报警信息，例如，当检测出来是3级疼痛时，黄色报警灯闪烁，当检测出来是4级疼痛时，红色报警灯闪烁。
可选地，当夹角大于预设夹角阈值或疼痛等级大于预设疼痛等级阈值时，还可以将对应的报警信息发送到医生移动终端，供医生及时调整训练方案。可以将对应的报警信息发送到家属移动终端，供家属了解患者的康复训练情况。
根据该步骤，当患者出现疼痛等级过高，或训练动作不当时，可以及时智能的提醒患者，辅助患者完成术后康复训练。
本公开实施例提供的乳腺癌术后智能康复训练方法，采用神经网络模型，智能分析患者在做康复训练时的手臂抬起高度以及疼痛程度，并及时发出报警信息，智能地辅助患者术后康复训练，降低了患者完成康复训练对于医生或其他专业人士的依赖程度。
本公开实施例还提供一种乳腺癌术后智能康复训练装置，该装置用于执行上述实施例的乳腺癌术后智能康复训练方法，如图4所示，该装置包括：
获取模块401，用于获取患者进行术后康复训练时的整体图片以及面部表情图片；
第一检测模块402，用于将整体图片输入第一神经网络模型，得到患者手臂和躯干的夹角；
第二检测模块403，用于将面部表情图片输入第二神经网络模型，得到患者疼痛等级；
报警模块404，用于当夹角大于预设夹角阈值或疼痛等级大于预设疼痛等级阈值时，发出报警信息。
需要说明的是，上述实施例提供的乳腺癌术后智能康复训练装置在执行乳腺癌术后智能康复训练方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的乳腺癌术后智能康复训练装置与乳腺癌术后智能康复训练方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
本公开实施例还提供一种与前述实施例所提供的乳腺癌术后智能康复训练方法对应的电子设备，以执行上述乳腺癌术后智能康复训练方法。
请参考图5，其示出了本申请的一些实施例所提供的一种电子设备的示意图。如图5所示，电子设备包括：处理器500，存储器501，总线502和通信接口503，处理器500、通信接口503和存储器501通过总线502连接；存储器501中存储有可在处理器500上运行的计算机程序，处理器500运行计算机程序时执行本申请前述任一实施例所提供的乳腺癌术后智能康复训练方法。
其中，存储器501可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口503(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线502可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器501用于存储程序，处理器500在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的乳腺癌术后智能康复训练方法可以应用于处理器500中，或者由处理器500实现。
处理器500可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器500中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器500可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器500读取存储器501中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的乳腺癌术后智能康复训练方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施例还提供一种与前述实施例所提供的乳腺癌术后智能康复训练方法对应的计算机可读存储介质，请参考图6，其示出的计算机可读存储介质为光盘600，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的乳腺癌术后智能康复训练方法。
需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的乳腺癌术后智能康复训练方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种乳腺癌术后智能康复训练方法，其特征在于，包括：
获取患者进行术后康复训练时的整体图片以及面部表情图片；
将所述整体图片输入第一神经网络模型，得到患者手臂和躯干的夹角；
将所述面部表情图片输入第二神经网络模型，得到患者疼痛等级；
当所述夹角大于预设夹角阈值或所述疼痛等级大于预设疼痛等级阈值时，发出报警信息。
2.根据权利要求1所述的方法，其特征在于，获取患者进行术后康复训练时的整体图片以及面部表情图片之后，还包括：
对所述整体图片以及面部表情图片进行预处理。
3.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型为多阶段卷积神经网络模型，其中，每个阶段由多个卷积池化单元组成，所述卷积池化单元由卷积层、池化层以及激活函数组成。
4.根据权利要求3所述的方法，其特征在于，将所述整体图片输入第一神经网络模型，得到患者手臂和躯干的夹角，包括：
将所述整体图片输入所述第一神经网络模型的第一阶段，获得输出的特征图和热力图；
连接所述特征图和热力图，并作为下一阶段的输入，重复执行该步骤，直到获得最后一个阶段输出的热力图；
根据最后一个阶段输出的热力图，得到患者手臂和躯干关键点的坐标；
根据所述手臂和躯干关键点的坐标计算得到患者手臂和躯干的夹角。
5.根据权利要求1所述的方法，其特征在于，所述第二神经网络模型由顺序连接的卷积池化层、BatchNorm层、Flatten层以及全连接层组成。
6.根据权利要求5所述的方法，其特征在于，将所述面部表情图片输入第二神经网络模型，得到患者疼痛等级，包括：
将所述面部表情图片输入所述第二神经网络模型中的卷积池化层，得到多个尺度的特征图；
将所述多个尺度的特征图依次输入BatchNorm层以及Flatten层，得到压缩后的一维向量；
将所述一维向量输入全连接层，得到预测出来的患者疼痛等级。
7.根据权利要求1所述的方法，其特征在于，将所述面部表情图片输入第二神经网络模型，得到患者疼痛等级之后，还包括：
实时显示患者手臂和躯干的夹角信息以及预测出来的疼痛等级信息。
8.一种乳腺癌术后智能康复训练装置，其特征在于，包括：
获取模块，用于获取患者进行术后康复训练时的整体图片以及面部表情图片；
第一检测模块，用于将所述整体图片输入第一神经网络模型，得到患者手臂和躯干的夹角；
第二检测模块，用于将所述面部表情图片输入第二神经网络模型，得到患者疼痛等级；
报警模块，用于当所述夹角大于预设夹角阈值或所述疼痛等级大于预设疼痛等级阈值时，发出报警信息。
9.一种乳腺癌术后智能康复训练设备，其特征在于，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至7任一项所述的乳腺癌术后智能康复训练方法。
10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至7任一项所述的一种乳腺癌术后智能康复训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110166938.0A CN112820382A (zh) | 2021-02-04 | 2021-02-04 | 乳腺癌术后智能康复训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110166938.0A CN112820382A (zh) | 2021-02-04 | 2021-02-04 | 乳腺癌术后智能康复训练方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112820382A true CN112820382A (zh) | 2021-05-18 |
Family
ID=75862087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110166938.0A Pending CN112820382A (zh) | 2021-02-04 | 2021-02-04 | 乳腺癌术后智能康复训练方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112820382A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016026063A1 (en) * | 2014-08-21 | 2016-02-25 | Xiaoou Tang | A method and a system for facial landmark detection based on multi-task |
| CN110423816A (zh) * | 2018-10-12 | 2019-11-08 | 天津医科大学肿瘤医院 | 乳腺癌预后量化评估系统及应用 |
| CN111210892A (zh) * | 2019-12-30 | 2020-05-29 | 江苏爱朋医疗科技股份有限公司 | 康复训练方法、系统及存储介质 |
| CN111466878A (zh) * | 2020-04-14 | 2020-07-31 | 合肥工业大学 | 基于表情识别的卧床病人疼痛症状实时监护方法及装置 |
| KR20200109719A (ko) * | 2019-03-14 | 2020-09-23 | ㈜하스피케어 | 클라우드 기반 암 재활환자 통합 케어 서비스 제공 방법 |
| CN111724879A (zh) * | 2020-06-29 | 2020-09-29 | 中金育能教育科技集团有限公司 | 康复训练评估处理方法、装置及设备 |
| CN111834007A (zh) * | 2020-07-14 | 2020-10-27 | 上海市第一妇婴保健院 | 一种用于儿童发育性协调障碍调查数据处理系统及方法 |
-
2021
- 2021-02-04 CN CN202110166938.0A patent/CN112820382A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016026063A1 (en) * | 2014-08-21 | 2016-02-25 | Xiaoou Tang | A method and a system for facial landmark detection based on multi-task |
| CN110423816A (zh) * | 2018-10-12 | 2019-11-08 | 天津医科大学肿瘤医院 | 乳腺癌预后量化评估系统及应用 |
| KR20200109719A (ko) * | 2019-03-14 | 2020-09-23 | ㈜하스피케어 | 클라우드 기반 암 재활환자 통합 케어 서비스 제공 방법 |
| CN111210892A (zh) * | 2019-12-30 | 2020-05-29 | 江苏爱朋医疗科技股份有限公司 | 康复训练方法、系统及存储介质 |
| CN111466878A (zh) * | 2020-04-14 | 2020-07-31 | 合肥工业大学 | 基于表情识别的卧床病人疼痛症状实时监护方法及装置 |
| CN111724879A (zh) * | 2020-06-29 | 2020-09-29 | 中金育能教育科技集团有限公司 | 康复训练评估处理方法、装置及设备 |
| CN111834007A (zh) * | 2020-07-14 | 2020-10-27 | 上海市第一妇婴保健院 | 一种用于儿童发育性协调障碍调查数据处理系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 代西果: "基于卷积神经网络的人体姿态识别研究", 中国优秀硕士学位论文全文数据库, no. 4, 15 March 2018 (2018-03-15), pages 138 - 1546 * |
| 金艾香;陈肖敏;章小飞;陈杰;: "乳腺癌患者术后康复训练虚拟现实系统的设计及应用", 中华护理杂志, no. 02, 15 February 2018 (2018-02-15), pages 168 - 172 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7058373B2 (ja) | 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 | |
| US20210057069A1 (en) | Method and device for generating medical report | |
| CN111598038B (zh) | 脸部特征点检测方法、装置、设备及存储介质 | |
| WO2020103417A1 (zh) | 一种bmi评测方法、装置及计算机可读存储介质 | |
| CN109829396B (zh) | 人脸识别运动模糊处理方法、装置、设备及存储介质 | |
| CN111931764B (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
| CN106980852A (zh) | 基于角点检测与匹配的药品识别系统及其识别方法 | |
| US20230334893A1 (en) | Method for optimizing human body posture recognition model, device and computer-readable storage medium | |
| CN111401145A (zh) | 一种基于深度学习与ds证据理论的可见光虹膜识别方法 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN109390053A (zh) | 眼底图像处理方法、装置、计算机设备和存储介质 | |
| CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及系统 | |
| CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
| CN113963237B (zh) | 模型训练、戴口罩状态检测方法、电子设备及存储介质 | |
| CN114359545A (zh) | 一种图像区域识别的方法及装置、电子设备 | |
| WO2021115130A1 (zh) | 脑出血点智能检测方法、装置、电子设备及存储介质 | |
| CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
| CN113343927A (zh) | 一种适用于面瘫患者的智能化人脸识别方法和系统 | |
| CN112820382A (zh) | 乳腺癌术后智能康复训练方法、装置、设备及存储介质 | |
| CN111144331A (zh) | 手肘静脉图像肘正中静脉的识别方法及手肘图像采集装置 | |
| CN115984179A (zh) | 鼻骨骨折的识别方法、装置、终端及存储介质 | |
| CN206363347U (zh) | 基于角点检测与匹配的药品识别系统 | |
| CN111046848B (zh) | 一种基于动物跑台的步态监测方法及系统 | |
| CN114360695A (zh) | 乳腺超声扫查分析辅助系统、介质及设备 | |
| CN114495272A (zh) | 动作识别方法、装置、存储介质以及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |