CN110197721B - 基于深度学习的肌腱状况评估方法、装置及存储介质 - Google Patents

基于深度学习的肌腱状况评估方法、装置及存储介质 Download PDF

Info

Publication number
CN110197721B
CN110197721B CN201910370527.6A CN201910370527A CN110197721B CN 110197721 B CN110197721 B CN 110197721B CN 201910370527 A CN201910370527 A CN 201910370527A CN 110197721 B CN110197721 B CN 110197721B
Authority
CN
China
Prior art keywords
image
tendon
target user
target
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910370527.6A
Other languages
English (en)
Other versions
CN110197721A (zh
Inventor
马潜
陈欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910370527.6A priority Critical patent/CN110197721B/zh
Publication of CN110197721A publication Critical patent/CN110197721A/zh
Application granted granted Critical
Publication of CN110197721B publication Critical patent/CN110197721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及智能决策技术领域，公开了一种基于深度学习的肌腱状况评估方法，包括：获取目标用户的第一动作视频；从该视频中提取第一图像；基于第一图像提取第二图像；将第一图像和第二图像输入至卷积神经网络模型；若该模型识别结果为目标用户的目标部位的肌腱受损，获取第一动作视频中相邻帧图像；计算相邻帧图像的第一相似度，获取预设非受损肌腱动作姿态的相邻帧的第二相似度；根据第一相似度与第二相似度的差值确定目标用户的肌腱受损程度及与肌腱受损程度对应的推荐康复训练信息为目标用户的康复计划。本发明还提出一种基于深度学习的肌腱状况评估装置以及一种存储介质。本发明可以对用户肌腱状况是否受损进行准确评估并在肌腱受损后提供更加准确的康复训练意见。

Description

基于深度学习的肌腱状况评估方法、装置及存储介质
技术领域
本发明涉及涉及智能决策技术领域，尤其涉及一种基于深度学习的肌腱状况评估方法、装置及计算机可读存储介质。
背景技术
目前，当用户存在肌腱受损的可能时往往需要医生检查，并且在确定肌腱受损之后，需要通过通过康复训练使用户恢复正常，用户适用何种康复训练以及康复训练的时间也通过医生进行判断。若医生判断不准确，会影响用户恢复健康，而通过医生进行判断时存在经验不足导致的判断失误以及人眼受到背景变换、光照变化等影响造成的判断失误的状况。
发明内容
本发明提供一种基于深度学习的肌腱状况评估方法、装置及计算机可读存储介质，其主要目的在于能够对用户肌腱状况是否受损进行准确评估以及在肌腱受损后提供更加准确的康复训练意见。
为实现上述目的，本发明还提供一种基于深度学习的肌腱状况评估方法，该方法包括：
获取目标用户的第一动作视频；
从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像；
基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像；
将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的所述目标部位的肌腱是否受损的识别结果；
若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像；
计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度；
根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度；
确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划。
可选地，所述推荐康复训练信息包括康复训练时间，所述获取与所述受损程度对应的推荐康复训练信息之后，所述方法还包括：
获取第一预设时间之后拍摄到的所述目标用户的第二动作视频以及第二预设时间之后拍摄到的所述目标用户的第三动作视频；
获取所述第二动作视频中相邻帧图像，计算所述第二动作视频中相邻帧图像的第三相似度；
获取所述第三动作视频中相邻帧图像，计算所述第三动作视频中相邻帧图像的第四相似度；
根据所述第一相似度、第三相似度、第四相似度的变化状况调整所述康复训练时间或保持所述康复训练时间。
可选地，所述方法还包括：
获取目标卷积神经网络模型，所述目标卷积神经网络模型由第一卷积神经网络模型和第二卷积神经网络模型组成，所述目标卷积神经网络模型的输出值为所述第一卷积神经网络模型的第一输出值和所述第二卷积神经网络模型的输出值进行均值计算得到；
获取训练样本，所述训练样本包含受损肌腱图像的正样本和非受损肌腱图像的负样本；
通过所述训练样本对所述目标卷积神经网络模型进行训练，得到所述训练的卷积神经网络模型。
可选地，所述从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像包括：
获取所述第一动作视频中所述目标部位的第一姿态图像与第二姿态图像，其中，所述第一姿态图像与所述第二姿态图像为相邻图像；
计算所述第一姿态图像与所述第二姿态图像的像素值之差的绝对值；
判断所述绝对值是否大于预设阈值；
若所述绝对值大于所述预设阈值，确定所述第一姿态图像与所述第二姿态图像的像素值之差的差分图像为包含所述目标用户的目标部位的肌腱动作姿态的第一图像。
可选地，所述基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像包括：
基于所述第一图像通过光流算法对所述第一动作视频中包含所述目标用户的目标部位的肌腱动作姿态进行跟踪；
提取跟踪到的多帧连续的包含所述目标用户的目标部位的肌腱动作姿态图片为第二图片。
此外，为实现上述目的，本发明还提供一种基于深度学习的肌腱状况评估装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的基于深度学习的肌腱状况评估程序，所述基于深度学习的肌腱状况评估程序被所述处理器执行时实现如下步骤：
获取目标用户的第一动作视频；
从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像；
基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像；
将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的所述目标部位的肌腱是否受损的识别结果；
若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像；
计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度；
根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度；
确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划。
可选地，所述推荐康复训练信息包括康复训练时间，所述基于深度学习的肌腱状况评估程序被所述处理器执行，还实现如下步骤：
获取与所述受损程度对应的推荐康复训练信息之后，获取第一预设时间之后拍摄到的所述目标用户的第二动作视频以及第二预设时间之后拍摄到的所述目标用户的第三动作视频；
获取所述第二动作视频中相邻帧图像，计算所述第二动作视频中相邻帧图像的第三相似度；
获取所述第三动作视频中相邻帧图像，计算所述第三动作视频中相邻帧图像的第四相似度；
根据所述第一相似度、第三相似度、第四相似度的变化状况调整所述康复训练时间或保持所述康复训练时间。
可选地，所述基于深度学习的肌腱状况评估程序被所述处理器执行，还实现如下步骤：
获取目标卷积神经网络模型，所述目标卷积神经网络模型由第一卷积神经网络模型和第二卷积神经网络模型组成，所述目标卷积神经网络模型的输出值为所述第一卷积神经网络模型的第一输出值和所述第二卷积神经网络模型的输出值进行均值计算得到；
获取训练样本，所述训练样本包含受损肌腱图像的正样本和非受损肌腱图像的负样本；
通过所述训练样本对所述目标卷积神经网络模型进行训练，得到所述训练的卷积神经网络模型。
可选地，所述从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像包括：
获取所述第一动作视频中所述目标部位的第一姿态图像与第二姿态图像，其中，所述第一姿态图像与所述第二姿态图像为相邻图像；
计算所述第一姿态图像与所述第二姿态图像的像素值之差的绝对值；
判断所述绝对值是否大于预设阈值；
若所述绝对值大于所述预设阈值，确定所述第一姿态图像与所述第二姿态图像的像素值之差的差分图像为包含所述目标用户的目标部位的肌腱动作姿态的第一图像。
可选地，所述基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像包括：
基于所述第一图像通过光流算法对所述第一动作视频中包含所述目标用户的目标部位的肌腱动作姿态进行跟踪；
提取跟踪到的多帧连续的包含所述目标用户的目标部位的肌腱动作姿态图片为第二图片。
基于所述第一图像通过光流算法对所述第一动作视频中包含所述目标用户的目标部位的肌腱动作姿态进行跟踪；
提取跟踪到的多帧连续的包含所述目标用户的目标部位的肌腱动作姿态图片为第二图片。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于深度学习的肌腱状况评估程序，所述基于深度学习的肌腱状况评估程序可被一个或者多个处理器执行，以实现如上所述的基于深度学习的肌腱状况评估方法的步骤。
本发明提出的基于深度学习的肌腱状况评估方法、装置及计算机可读存储介质，获取目标用户的第一动作视频；从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像；基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像；将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的所述目标部位的肌腱是否受损的识别结果；若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像；计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度；根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度；确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划。由于卷积神经网络的多层网络结构提取输入数据的深层特征，因此，能够提高识别的准确率，实现了对用户肌腱状况是否受损进行准确评估的目的，同时，在确定用户肌腱受损周，基于用户运动时相邻肌腱姿态动作的相似度，确定用户的肌腱受损程度进而获取与肌腱受损程度对应的推荐康复训练信息，从而实现了在肌腱受损后提供更加准确的康复训练意见的目的。
附图说明
图1为本发明一实施例提供的基于深度学习的肌腱状况评估方法的流程示意图；
图2为本发明一实施例提供的基于深度学习的肌腱状况评估装置的内部结构示意图；
图3为本发明一实施例提供的基于深度学习的肌腱状况评估装置中基于深度学习的肌腱状况评估程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于深度学习的肌腱状况评估方法。参照图1所示，为本发明一实施例提供的基于深度学习的肌腱状况评估方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，基于深度学习的肌腱状况评估方法包括：
步骤S101，获取目标用户的第一动作视频。
本实施例中，所述目标用户为通过本发明所述方法对肌腱状况进行评估的用户。
所述第一动作视频为包含一个或多个部位的动作视频，并且在第一动作视频中一个或多个部位进行持续的运动。例如，所述第一动作视频包含目标用户的手臂不断重复某一动作，或者所述第一动作视频包含目标用户按顺序重复站立、蹲下、起身、行走这几个动作。
在一种可选实施例中，通过摄像装置拍摄目标用户的第一动作视频，获取摄像装置拍摄到的目标用户的第一动作视频，其中，该摄像装置为一个或多个从多个角度对目标用户进行拍摄的摄像装置。
步骤S201，从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像。
在本实施例中，第一动作视频是包含目标用户的目标位位置的动作视频。
所述目标部位为预设的，例如，目标部位左手手臂，或者，目标部位为右小腿。
本实施例中，从第一动作视频中提取包含目标用户的目标部位的肌腱动作姿态的第一图像包括：获取第一动作视频中的第一时间段至第二时间段的视频片段，获取视频片段中的任意一帧图像为第一图像，其中，所述第一时间段至第二时间段为第一动作视频的中间时间段。
可选的，在本发明另一实施例中，所述从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像包括：
获取所述第一动作视频中所述目标部位的第一姿态图像与第二姿态图像，其中，所述第一姿态图像与所述第二姿态图像为相邻图像；
计算所述第一姿态图像与所述第二姿态图像的像素值之差的绝对值；
判断所述绝对值是否大于预设阈值；
若所述绝对值大于所述预设阈值，确定所述第一姿态图像与所述第二姿态图像的像素值之差的差分图像为包含所述目标用户的目标部位的肌腱动作姿态的第一图像。
本实施例中，所述第一姿态图像和第二姿态图像为第一动作视频中任意时间的两张相邻的单帧图像。
本实施例中，所述预设阈值为预设的。
例如，若Ik-1(x,y)表示第一姿态图像，I(x,y)表示第二姿态图像，第二姿态图像是第一姿态图像的后一张图像，T为预设阈值，则有：
Figure BDA0002049787520000071
其中，Dk(x,y)表示第一姿态图像与第二姿态图像的像素值之差的差分图像，即Dk(x,y)表示的图像为包含目标用户的目标部位的肌腱动作姿态的第一图像。
所述差分图像包括前景点和背景点，确定第一姿态图像与第二姿态图像的像素值之差的绝对值小于等于预设阈值的点为背景点，确定第一姿态图像与第二姿态图像的像素值之差的绝对值大于预设阈值的点为前景点，确定背景点的像素值为0，确定前景点的像素值为1，则得到差分图像的二值图像。
由于运动的连续多帧图像中，若背景变化不大且没有运动目标出现时，相邻帧的像素差值比较小，若像素差值比较大，则确定出现运动目标。因此，本实施例中，通过相邻帧视频来获取运动目标，即包含目标用户的目标部位的肌腱动作姿态的第一图像。
在本发明另一实施例中，在提取第一图像之前，对所述第一动作视频包含的若干帧图像进行预处理。例如，对第一动作视频包含的每一帧图像进行预处理，从而提高图像提取以及图像识别的准确度。
具体的，对所述第一动作视频包含的若干帧图像进行预处理包括：将所述第一动作视频包含的若干帧进行以下一项或多项处理：灰度化处理、二值化处理、降噪处理、降维处理以及尺度归一化处理。
本实施例中，对若干帧图像进行灰度化处理包括：设置若干帧图像的像素三分量分别为R，G，B，然后通过预设颜色转换公式(如0.3*R+0.59*G+0.11*B)将计算若干帧图像的灰度值，得到若干帧图像的灰度值。
所述二值化处理是将图像上的像素设置为0或者1，使整个图像呈现出黑白效果。
一种可选实施例中，通过自适应图像降噪滤波器对二值化处理之后的图像会进行降噪处理，从而滤除椒盐噪声(即图像中一种随机出现的白点或者黑点)，并且尽可能保护图像的细节。
具体的，若待降噪处理的图像为f(x,y)，则在退化函数H的作用下，由于受到噪声由于受到噪声η(x,y)的影响，最终得到一个退化图像g(x,y)。这时得到一个图像退化公式:g(x,y)＝η(x,y)+f(x,y)，并利用自适应滤波器方法对图像进行降噪，即：
Figure BDA0002049787520000081
其中，
Figure BDA0002049787520000082
是整张图像的噪声方差，
Figure BDA0002049787520000083
是点(x,y)附近的一个窗口内的像素灰度均值，
Figure BDA0002049787520000091
是点(x,y)附近一个窗口内的像素灰度的方差。
本实施例中，可以通过主成分分析(Principal Component Analysis，PCA)进行降维处理。主成分是一种通过正交变换将一组可能存在相关性的变量变为一组线性不相关变量的方法。
本实施例中，为了消除视频的分辨率对人体尺度的影响，可以对若干帧图像中人体姿态点坐标进行尺度归一化处理。由于尺度归一化时需要保留姿态序列在时间和空间维度的相对位置关系，因此，在进行归一化时图像中人物姿态的平移和缩放尺度是一致的。并且，图像的坐标分量缩放比例也要一致，避免破坏图像中人物的身材比例关系。
具体的，假设若干帧图像中任意一帧图像的肌腱原始坐标为(x,y)，则归一化后坐标为(x0,y0)，即：
Figure BDA0002049787520000092
其中，d＝max{w,h}，w和h分别为视频的宽和高，归一化处理之后，x,y∈(-1,1)。
步骤S301，基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像。
本实施例中，根据目标跟踪算法(例如，均值漂移算法，基于Kalman滤波的目标跟踪，或者基于粒子滤波的目标跟踪)基于第一图像跟踪目标用户的目标部位的肌腱动作姿态，进而获取到连续多帧图像。
可选的，在本发明另一实施例中，所述基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像包括：
基于所述第一图像通过光流算法对所述第一动作视频中包含所述目标用户的目标部位的肌腱动作姿态进行跟踪；
提取跟踪到的多帧连续的包含所述目标用户的目标部位的肌腱动作姿态图片为第二图片。
光流是运动模式，光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。
本实施例中，通过光流法可以评估两幅相邻帧肌腱图像的之间的变形，进而对肌腱动作姿态进行跟踪。
光流法中基本假设是图像像素守恒，计算两帧图像在时间T到T+t之间每个像素点位置的移动。
基于图像的泰勒级数，对空间和时间坐标使用偏导数，得到图像约束方程：
Figure BDA0002049787520000101
根据图像像素守恒进行变换得到：
Figure BDA0002049787520000102
其中，(x,y)为像素坐标，t为时间；
通过Horn-Schunck光流算法(Horn-Schunck光流算法提出了光流的平滑性约束条件，将此条件与光流的基本约束方程相结合，解决了光流基本约束方程的孔径问题)进行求解即：
Figure BDA0002049787520000103
其中，
Figure BDA0002049787520000104
和
Figure BDA0002049787520000105
分别表示u邻域和v邻域中的均值，该算法考虑光流误差，将光流求解归结成求解极值问题，并用迭代法进行求解，迭代方程如下：
Figure BDA0002049787520000106
其中，λ为平滑控制因子，它的值受图像中存在的噪声的影响，如果噪声较强，则说明图像数据本身的置信度较低，需要更多的依赖光流约束，λ可以取较大的值，反之，λ可以取较小的值，从而实现对第一动作视频中包含目标用户的目标部位的肌腱动作姿态进行跟踪。
步骤S401，将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的肌腱是否受损的识别结果。
所述卷积神经网络(Convolutional Neural Networks，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，其基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。同时，特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。
卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。
具体的，卷积神经网络可以包括输入层、卷积层、下采样层、全连接层和输出层。
其中，输入层是整个卷积神经网络唯一的数据输入口，用于定义不同类型的数据输入。
卷积层用于对输入卷积层的数据进行卷积操作，输出卷积后的特征图。
下采样层(Pooling层)用于对传入数据在空间维度上进行下采样操作，使得输入的特征图的长和宽变为原来的一半。
全连接层中每个神经元都与输入的所有神经元相互连接，然后经过激活函数进行计算。
输出层也称为分类层，在最后输出时会计算每一类别的分类分值，即计算肌腱是否受损的结果值或者是概率值。
本实施例中，训练的卷积神经网络模型为预先通过训练来识别用户是否肌腱受损的模型。
所述获取卷积神经网络模型输出的目标用户的肌腱是否受损的识别结果具体是获取目标用户的目标部位的肌腱是否受损的识别结果。
本实施例中，通过卷积神经网络对第一图像和第二图像进行识别，进而确定目标用户是否存在肌腱受损，第一图像为目标用户的目标部位的肌腱动作姿态的第一图像，第二图像为包含目标用户的目标部位的肌腱动作姿态的连续多帧图像，并非由单帧图像确定目标用户的目标部位的肌腱动作姿态是否受损，因此，通过本实施例能够更准确的确定目标用户的肌腱是否受损。
可选的，在本发明另一实施例中，通过以下步骤获取训练到的卷积神经网络：
获取目标卷积神经网络模型，所述目标卷积神经网络模型由第一卷积神经网络模型和第二卷积神经网络模型组成，所述目标卷积神经网络模型的输出值为所述第一卷积神经网络模型的第一输出值和所述第二卷积神经网络模型的输出值进行均值计算得到；
获取训练样本，所述训练样本包含受损肌腱图像的正样本和非受损肌腱图像的负样本；
通过所述训练样本对所述目标卷积神经网络模型进行训练，得到所述训练的卷积神经网络模型。
本实施例中使用两个卷积神经网络架构，具体的，目标卷积神经网络模型包括第一卷积神经网络模型和第二卷积神经网络模型，第一卷积神经网络模型的输入层为训练样本中的单帧图像，第二卷积神经网络模型的输入层为训练样本中的多帧图像。
本实施例中，训练样本包含受损肌腱图像的正样本和非受损肌腱图像的负样本，具体的，正样本包含若干张单帧非受损肌腱图像以及若干组连续的非受损肌腱图像，负样本包含若干张单帧受损肌腱图像以及若干组连续的受损肌腱图像。
通过正样本和负样本对第一卷积神经网络模型进行训练使得第一卷积神经网络模型能够识别单帧图像中是否存在肌腱受损，通过正样本和负样本对第二卷积神经网络模型进行训练使得第二卷积神经网络模型能够识别连续多帧图像中是否存在肌腱受损。
在本实施例中，第一卷积神经网络模型和第二卷积神经网络名的卷积层可以依次包括一个7*7的卷积层，3*3的最大值池化层，4个卷积模块，每个卷积模块从具有线性投影的构建块开始，随后是具有本体映射的不同数量的构建块，同时，第一卷积神经网络模型的第一输出值和第二卷积神经网络模型的第二输出值用均值法对其两者进行融合，得到最终的确定是否存在肌腱受损的判断结果。
本实施例中，在将训练样本输入至目标卷积神经网络之后，对训练样本进行卷积操作。具体的，对图像和滤波矩阵(一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter)做内积(逐个元素相乘再求和)的操作便是卷积操作。
本实施例中，在进行卷积操作前，对训练样本在边界上进行填充，以增加矩阵的大小。具体的，可以在卷积层设置了一组过滤器{filter0,filter1}，分别应用在图像颜色通道和图像类别通道上来生成一组特征。每个过滤器的规模是d*h，其中，d是图像的维数，h是窗口的大小。若每个方向扩展像素点数量为p，则填充后原始图片的大小为(n+2p)*(n+2p)，若滤波器大小保持不变，则输出图片大小为(n+2p-f+1)*(n+2p-f+1)。
在池化层进行最大池化操作，为解决特征数量不固定的问题，本实施例中对特征cα＝(cα,0,cα,1…,cα,i)进行池化操作，选取cα中最大的值作为输出，即cα，max＝maxcα。
在卷积神经网络模型中，损失函数用来评价卷积神经网络模型输出的预测值
Figure BDA0002049787520000131
与真实值Y之间的差异，损失值越小，卷积神经网络模型的性能越好。按照模式传播，输出层各单元的输入、输出为
Figure BDA0002049787520000132
Ct＝f(It)(t＝1,2,…,8)，It为输出层单元的输入值，Ct为输出层各单元的输出值，wjt为中间层至输出层的连接权，y为输出层单元的阈值，bj为输出层的输入向量，为缓解梯度消散问题，确定ReLU函数relu(x)＝max(0,x)作为激活函数，该函数满足仿生学中的稀疏性，只有当输入值高于一定数目时才激活该神经元节点，当输入值低于0时进行限制，当输入上升到某一阙值以上时，函数中自变量与因变量呈线性关系。
本实施例中，利用梯度下降算法解损失函数。用梯度下降算法解损失函数。梯度下降算法是神经网络模型训练最常用的优化算法。为找到损失函数
Figure BDA0002049787520000133
的最小值，需要沿着与梯度向量相反的方向更新变量，这样可以使得梯度减少最快，直至损失收敛至最小值，参数更新公式如下：L＝L-αdL/dy,其中，α表示学习率。
步骤S501，若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像。
所述多组相邻帧图像中每组相邻帧图像包括两张或三张相邻的单帧图像。
本实施例中，获取的多组相邻帧图像是包含目标用户的目标部位的肌腱动作姿态的图像。
在本发明其他实施例中，若识别结果为目标用户的目标部位的肌腱未受损，则发送肌腱未受损提醒。
步骤S601，计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度。
一种可选实施例中，通过欧式距离确定相邻帧图像的第一相似度。
在其他实施例中，还可以通过余弦距离确定相邻帧图像的第一相似度。
本实施例中，所述预设非受损肌腱动作姿态的相邻帧的动作姿态的第二相似度可以为预先存储的。类似的，第二相似度可以根据相邻的非受损肌腱图像来获取。
步骤S701，根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度。
在本实施例中，根据所述第一相似度以及所述第二相似度的差值确定所述目标的肌腱受损程度包括：获取第一相似度以及第二相似度的差值，以及获取所述差值与受损程度的对应关系；根据第一相似度以及第二相似度的差值以及差值与受损程度的对应关系确定目标用户的肌腱受损程度。
步骤S801，确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划。
本实施例中，预先存储不同肌腱受损程度对应的推荐康复训练信息，进而在获取到目标用户的肌腱受损程度之后，获取与该目标用户的肌腱受损程度对应的推荐康复训练信息为目标用户的康复计划。
本实施例提出的基于深度学习的肌腱状况评估方法，获取目标用户的第一动作视频；从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像；基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像；将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的所述目标部位的肌腱是否受损的识别结果；若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像；计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度；根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度；确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划。由于卷积神经网络的多层网络结构提取输入数据的深层特征，因此，能够提高识别的准确率，实现了对用户肌腱状况是否受损进行准确评估的目的，同时，在确定用户肌腱受损周，基于用户运动时相邻肌腱姿态动作的相似度，确定用户的肌腱受损程度进而获取与肌腱受损程度对应的推荐康复训练信息，从而实现了在肌腱受损后提供更加准确的康复训练意见的目的。
可选的，在本发明另一实施例中，所述推荐康复训练信息包括康复训练时间，所述获取与所述受损程度对应的推荐康复训练信息之后，该方法还包括如下步骤：
获取第一预设时间之后拍摄到的所述目标用户的第二动作视频以及第二预设时间之后拍摄到的所述目标用户的第三动作视频；
获取所述第二动作视频中相邻帧图像，计算所述第二动作视频中相邻帧图像的第三相似度；
获取所述第三动作视频中相邻帧图像，计算所述第三动作视频中相邻帧图像的第四相似度；
根据所述第一相似度、第三相似度、第四相似度的变化状况调整所述康复训练时间或保持所述康复训练时间。
本实施例中，第一预设时间为确定目标用户肌腱受损至目标用户已进行康复训练的一段时间，第二预设时间为所述第一预设时间之后的一段时间，优选的当然预设时间为目标用户在第一预设时间之后并进行康复训练的一段时间。
本实施例中，获取第二动作视频中相邻帧图像，计算第二动作视频中相邻帧图像的第三相似度，以及获取第三动作视频中相邻帧图像，计算第三动作视频中相邻帧图像的第四相似度可以参见前述方式进行图像获取以及相似度计算。
一种可选实施例中，根据第一相似、第三相似度、第四相似度的变化状况调整康复训练时间或保持康复训练时间包括：若相似度变化变大，延长所述康复训练时间；若相似度变化降低，缩短所述康复训练时间；若相似度变化保持不变，保持所述康复训练时间。
本实施例中，第一相似度、第三相似度、第四相似度的变化状况可以确定用户经过康复训练之后的恢复状况，因此根据该相似度的变化状况可以调整康复训练时间，从而能够在用户康复过程中给与准确及时的康复训练时间的调整。
本发明还提供一种基于深度学习的肌腱状况评估装置。参照图2所示，为本发明一实施例提供的基于深度学习的肌腱状况评估装置的内部结构示意图。
在本实施例中，基于深度学习的肌腱状况评估装置1可以是PC(PersonalComputer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该基于深度学习的肌腱状况评估装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是基于深度学习的肌腱状况评估装置1的内部存储单元，例如该基于深度学习的肌腱状况评估装置1的硬盘。存储器11在另一些实施例中也可以是基于深度学习的肌腱状况评估装置1的外部存储设备，例如基于深度学习的肌腱状况评估装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括基于深度学习的肌腱状况评估装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于基于深度学习的肌腱状况评估装置1的应用软件及各类数据，例如基于深度学习的肌腱状况评估程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行基于深度学习的肌腱状况评估程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于深度学习的肌腱状况评估装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及基于深度学习的肌腱状况评估程序01的基于深度学习的肌腱状况评估装置1，本领域技术人员可以理解的是，图2示出的结构并不构成对基于深度学习的肌腱状况评估装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有基于深度学习的肌腱状况评估程序01；处理器12执行存储器11中存储的基于深度学习的肌腱状况评估程序01时实现如下步骤：
获取目标用户的第一动作视频。
本实施例中，所述目标用户为通过本发明所述方法对肌腱状况进行评估的用户。
所述第一动作视频为包含一个或多个部位的动作视频，并且在第一动作视频中一个或多个部位进行持续的运动。例如，所述第一动作视频包含目标用户的手臂不断重复某一动作，或者所述第一动作视频包含目标用户按顺序重复站立、蹲下、起身、行走这几个动作。
在一种可选实施例中，通过摄像装置拍摄目标用户的第一动作视频，获取摄像装置拍摄到的目标用户的第一动作视频，其中，该摄像装置为一个或多个从多个角度对目标用户进行拍摄的摄像装置。
从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像。
在本实施例中，第一动作视频是包含目标用户的目标位位置的动作视频。
所述目标部位为预设的，例如，目标部位左手手臂，或者，目标部位为右小腿。
本实施例中，从第一动作视频中提取包含目标用户的目标部位的肌腱动作姿态的第一图像包括：获取第一动作视频中的第一时间段至第二时间段的视频片段，获取视频片段中的任意一帧图像为第一图像，其中，所述第一时间段至第二时间段为第一动作视频的中间时间段。
可选的，在本发明另一实施例中，所述从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像包括：
获取所述第一动作视频中所述目标部位的第一姿态图像与第二姿态图像，其中，所述第一姿态图像与所述第二姿态图像为相邻图像；
计算所述第一姿态图像与所述第二姿态图像的像素值之差的绝对值；
判断所述绝对值是否大于预设阈值；
若所述绝对值大于所述预设阈值，确定所述第一姿态图像与所述第二姿态图像的像素值之差的差分图像为包含所述目标用户的目标部位的肌腱动作姿态的第一图像。
本实施例中，所述第一姿态图像和第二姿态图像为第一动作视频中任意时间的两张相邻的单帧图像。
本实施例中，所述预设阈值为预设的。
例如，若Ik-1(x,y)表示第一姿态图像，I(x,y)表示第二姿态图像，第二姿态图像是第一姿态图像的后一张图像，T为预设阈值，则有：
Figure BDA0002049787520000181
其中，Dk(x,y)表示第一姿态图像与第二姿态图像的像素值之差的差分图像，即Dk(x,y)表示的图像为包含目标用户的目标部位的肌腱动作姿态的第一图像。
所述差分图像包括前景点和背景点，确定第一姿态图像与第二姿态图像的像素值之差的绝对值小于等于预设阈值的点为背景点，确定第一姿态图像与第二姿态图像的像素值之差的绝对值大于预设阈值的点为前景点，确定背景点的像素值为0，确定前景点的像素值为1，则得到差分图像的二值图像。
由于运动的连续多帧图像中，若背景变化不大且没有运动目标出现时，相邻帧的像素差值比较小，若像素差值比较大，则确定出现运动目标。因此，本实施例中，通过相邻帧视频来获取运动目标，即包含目标用户的目标部位的肌腱动作姿态的第一图像。
在本发明另一实施例中，在提取第一图像之前，对所述第一动作视频包含的若干帧图像进行预处理。例如，对第一动作视频包含的每一帧图像进行预处理，从而提高图像提取以及图像识别的准确度。
具体的，对所述第一动作视频包含的若干帧图像进行预处理包括：将所述第一动作视频包含的若干帧进行以下一项或多项处理：灰度化处理、二值化处理、降噪处理、降维处理以及尺度归一化处理。
基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像。
本实施例中，根据目标跟踪算法(例如，均值漂移算法，基于Kalman滤波的目标跟踪，或者基于粒子滤波的目标跟踪)基于第一图像跟踪目标用户的目标部位的肌腱动作姿态，进而获取到连续多帧图像。
可选的，在本发明另一实施例中，所述基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像包括：
基于所述第一图像通过光流算法对所述第一动作视频中包含所述目标用户的目标部位的肌腱动作姿态进行跟踪；
提取跟踪到的多帧连续的包含所述目标用户的目标部位的肌腱动作姿态图片为第二图片。
光流是运动模式，光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。
本实施例中，通过光流法可以评估两幅相邻帧肌腱图像的之间的变形，进而对肌腱动作姿态进行跟踪。
将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的肌腱是否受损的识别结果。
所述卷积神经网络(Convolutional Neural Networks，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，其基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。
本实施例中，训练的卷积神经网络模型为预先通过训练来识别用户是否肌腱受损的模型。
所述获取卷积神经网络模型输出的目标用户的肌腱是否受损的识别结果具体是获取目标用户的目标部位的肌腱是否受损的识别结果。
本实施例中，通过卷积神经网络对第一图像和第二图像进行识别，进而确定目标用户是否存在肌腱受损，第一图像为目标用户的目标部位的肌腱动作姿态的第一图像，第二图像为包含目标用户的目标部位的肌腱动作姿态的连续多帧图像，并非由单帧图像确定目标用户的目标部位的肌腱动作姿态是否受损，因此，通过本实施例能够更准确的确定目标用户的肌腱是否受损。
可选的，在本发明另一实施例中，通过以下步骤获取训练到的卷积神经网络：
获取目标卷积神经网络模型，所述目标卷积神经网络模型由第一卷积神经网络模型和第二卷积神经网络模型组成，所述目标卷积神经网络模型的输出值为所述第一卷积神经网络模型的第一输出值和所述第二卷积神经网络模型的输出值进行均值计算得到；
获取训练样本，所述训练样本包含受损肌腱图像的正样本和非受损肌腱图像的负样本；
通过所述训练样本对所述目标卷积神经网络模型进行训练，得到所述训练的卷积神经网络模型。
本实施例中使用两个卷积神经网络架构，具体的，目标卷积神经网络模型包括第一卷积神经网络模型和第二卷积神经网络模型，第一卷积神经网络模型的输入层为训练样本中的单帧图像，第二卷积神经网络模型的输入层为训练样本中的多帧图像。
本实施例中，训练样本包含受损肌腱图像的正样本和非受损肌腱图像的负样本，具体的，正样本包含若干张单帧非受损肌腱图像以及若干组连续的非受损肌腱图像，负样本包含若干张单帧受损肌腱图像以及若干组连续的受损肌腱图像。
通过正样本和负样本对第一卷积神经网络模型进行训练使得第一卷积神经网络模型能够识别单帧图像中是否存在肌腱受损，通过正样本和负样本对第二卷积神经网络模型进行训练使得第二卷积神经网络模型能够识别连续多帧图像中是否存在肌腱受损。
在本实施例中，第一卷积神经网络模型和第二卷积神经网络名的卷积层可以依次包括一个7*7的卷积层，3*3的最大值池化层，4个卷积模块，每个卷积模块从具有线性投影的构建块开始，随后是具有本体映射的不同数量的构建块，同时，第一卷积神经网络模型的第一输出值和第二卷积神经网络模型的第二输出值用均值法对其两者进行融合，得到最终的确定是否存在肌腱受损的判断结果。
本实施例中，在将训练样本输入至目标卷积神经网络之后，对训练样本进行卷积操作。
一种可选实例中，在进行卷积操作前，对训练样本在边界上进行填充，以增加矩阵的大小。
在池化层进行最大池化操作，为解决特征数量不固定的问题，本实施例中对特征cα＝(cα,0,cα,1…,cα,i)进行池化操作，选取cα中最大的值作为输出，即cα，max＝maxcα。
在卷积神经网络模型中，损失函数用来评价卷积神经网络模型输出的预测值
Figure BDA0002049787520000211
与真实值Y之间的差异，损失值越小，卷积神经网络模型的性能越好。
本实施例中，利用梯度下降算法解损失函数。
若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像。
所述多组相邻帧图像中每组相邻帧图像包括两张或三张相邻的单帧图像。
本实施例中，获取的多组相邻帧图像是包含目标用户的目标部位的肌腱动作姿态的图像。
在本发明其他实施例中，若识别结果为目标用户的目标部位的肌腱未受损，则发送肌腱未受损提醒。
计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度。
一种可选实施例中，通过欧式距离确定相邻帧图像的第一相似度。
在其他实施例中，还可以通过余弦距离确定相邻帧图像的第一相似度。
本实施例中，所述预设非受损肌腱动作姿态的相邻帧的动作姿态的第二相似度可以为预先存储的。类似的，第二相似度可以根据相邻的非受损肌腱图像来获取。
根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度。
在本实施例中，根据所述第一相似度以及所述第二相似度的差值确定所述目标的肌腱受损程度包括：获取第一相似度以及第二相似度的差值，以及获取所述差值与受损程度的对应关系；根据第一相似度以及第二相似度的差值以及差值与受损程度的对应关系确定目标用户的肌腱受损程度。
确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划。
本实施例中，预先存储不同肌腱受损程度对应的推荐康复训练信息，进而在获取到目标用户的肌腱受损程度之后，获取与该目标用户的肌腱受损程度对应的推荐康复训练信息为目标用户的康复计划。
本实施例提出的基于深度学习的肌腱状况评估装置，获取目标用户的第一动作视频；从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像；基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像；将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的所述目标部位的肌腱是否受损的识别结果；若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像；计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度；根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度；确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划。由于卷积神经网络的多层网络结构提取输入数据的深层特征，因此，能够提高识别的准确率，实现了对用户肌腱状况是否受损进行准确评估的目的，同时，在确定用户肌腱受损周，基于用户运动时相邻肌腱姿态动作的相似度，确定用户的肌腱受损程度进而获取与肌腱受损程度对应的推荐康复训练信息，从而实现了在肌腱受损后提供更加准确的康复训练意见的目的。
可选的，在本发明另一实施例中，所述推荐康复训练信息包括康复训练时间，所述基于深度学习的肌腱状况评估程序被所述处理器执行，还实现如下步骤：
所述获取与所述受损程度对应的推荐康复训练信息之后，获取第一预设时间之后拍摄到的所述目标用户的第二动作视频以及第二预设时间之后拍摄到的所述目标用户的第三动作视频；
获取所述第二动作视频中相邻帧图像，计算所述第二动作视频中相邻帧图像的第三相似度；
获取所述第三动作视频中相邻帧图像，计算所述第三动作视频中相邻帧图像的第四相似度；
根据所述第一相似度、第三相似度、第四相似度的变化状况调整所述康复训练时间或保持所述康复训练时间。
本实施例中，第一预设时间为确定目标用户肌腱受损至目标用户已进行康复训练的一段时间，第二预设时间为所述第一预设时间之后的一段时间，优选的当然预设时间为目标用户在第一预设时间之后并进行康复训练的一段时间。
本实施例中，获取第二动作视频中相邻帧图像，计算第二动作视频中相邻帧图像的第三相似度，以及获取第三动作视频中相邻帧图像，计算第三动作视频中相邻帧图像的第四相似度可以参见前述方式进行图像获取以及相似度计算。
一种可选实施例中，根据第一相似、第三相似度、第四相似度的变化状况调整康复训练时间或保持康复训练时间包括：若相似度变化变大，延长所述康复训练时间；若相似度变化降低，缩短所述康复训练时间；若相似度变化保持不变，保持所述康复训练时间。
本实施例中，第一相似度、第三相似度、第四相似度的变化状况可以确定用户经过康复训练之后的恢复状况，因此根据该相似度的变化状况可以调整康复训练时间，从而能够在用户康复过程中给与准确及时的康复训练时间的调整。
可选地，在其他实施例中，基于深度学习的肌腱状况评估程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述基于深度学习的肌腱状况评估程序在基于深度学习的肌腱状况评估装置中的执行过程。
例如，参照图3所示，为本发明基于深度学习的肌腱状况评估装置一实施例中的基于深度学习的肌腱状况评估程序的程序模块示意图，该实施例中，基于深度学习的肌腱状况评估程序可以被分割为第一获取模块10、第一图像提取模块20、第二图像提取模块30、识别模块40、第二获取模块50、计算模块60、第一确定模块70和第二确定模块80，示例性地：
第一获取模块10用于：获取目标用户的第一动作视频；
第一图像提取模块20用于：从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像；
第二图像提取模块30用于：基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像；
识别模块40用于：将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的所述目标部位的肌腱是否受损的识别结果；
第二获取模块50用于：若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像。
计算模块60用于：计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度；
第一确定模块70用于：根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度；
第二确定模块80用于：确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划。
上述第一获取模块10、第一图像提取模块20、第二图像提取模块30、识别模块40、第二获取模块50、计算模块60、第一确定模块70和第二确定模块80等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于深度学习的肌腱状况评估程序，所述基于深度学习的肌腱状况评估程序可被一个或多个处理器执行，以实现如下操作：
获取目标用户的第一动作视频；
从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像；
基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像；
将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的所述目标部位的肌腱是否受损的识别结果；
若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像；
计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度；
根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度；
确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划。
本发明计算机可读存储介质具体实施方式与上述基于深度学习的肌腱状况评估装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于深度学习的肌腱状况评估方法，其特征在于，所述方法包括：
获取目标用户的第一动作视频；
从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像；
基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像；
将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的所述目标部位的肌腱是否受损的识别结果；
若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像；
计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度；
根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度；
确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划；
其中，所述方法还包括：获取目标卷积神经网络模型，所述目标卷积神经网络模型由第一卷积神经网络模型和第二卷积神经网络模型组成，所述目标卷积神经网络模型的输出值为所述第一卷积神经网络模型的第一输出值和所述第二卷积神经网络模型的输出值进行均值计算得到；获取训练样本，所述训练样本包含受损肌腱图像的正样本和非受损肌腱图像的负样本；通过所述训练样本对所述目标卷积神经网络模型进行训练，得到所述训练的卷积神经网络模型；
所述从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像包括：获取所述第一动作视频中所述目标部位的第一姿态图像与第二姿态图像，其中，所述第一姿态图像与所述第二姿态图像为相邻图像；计算所述第一姿态图像与所述第二姿态图像的像素值之差的绝对值；判断所述绝对值是否大于预设阈值；若所述绝对值大于所述预设阈值，确定所述第一姿态图像与所述第二姿态图像的像素值之差的差分图像为包含所述目标用户的目标部位的肌腱动作姿态的第一图像。
2.如权利要求1所述的基于深度学习的肌腱状况评估方法，其特征在于，所述推荐康复训练信息包括康复训练时间，获取与所述受损程度对应的推荐康复训练信息之后，所述方法还包括：
获取第一预设时间之后拍摄到的所述目标用户的第二动作视频以及第二预设时间之后拍摄到的所述目标用户的第三动作视频；
获取所述第二动作视频中相邻帧图像，计算所述第二动作视频中相邻帧图像的第三相似度；
获取所述第三动作视频中相邻帧图像，计算所述第三动作视频中相邻帧图像的第四相似度；
根据所述第一相似度、第三相似度、第四相似度的变化状况调整所述康复训练时间或保持所述康复训练时间。
3.如权利要求1或2所述的基于深度学习的肌腱状况评估方法，其特征在于，所述基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像包括：
基于所述第一图像通过光流算法对所述第一动作视频中包含所述目标用户的目标部位的肌腱动作姿态进行跟踪；
提取跟踪到的多帧连续的包含所述目标用户的目标部位的肌腱动作姿态图片为第二图片。
4.一种基于深度学习的肌腱状况评估装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的基于深度学习的肌腱状况评估程序，所述基于深度学习的肌腱状况评估程序被所述处理器执行时实现如下步骤：
获取目标用户的第一动作视频；
从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像，其中，所述第一图像为单帧图像；
基于所述第一图像从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第二图像，其中，所述第二图像为连续多帧图像；
将所述第一图像和所述第二图像输入至训练的卷积神经网络模型，获取所述卷积神经网络模型输出的所述目标用户的所述目标部位的肌腱是否受损的识别结果；
若所述识别结果为所述目标用户的所述目标部位的肌腱受损，获取所述第一动作视频中的多组相邻帧图像；
计算所述多组相邻帧图像中任意相邻帧图像的第一相似度，以及获取预设非受损肌腱动作姿态的相邻帧的第二相似度；
根据所述第一相似度以及所述第二相似度的差值确定所述目标用户的肌腱受损程度；
确定与所述肌腱受损程度对应的推荐康复训练信息为所述目标用户的康复计划；
其中，还包括：获取目标卷积神经网络模型，所述目标卷积神经网络模型由第一卷积神经网络模型和第二卷积神经网络模型组成，所述目标卷积神经网络模型的输出值为所述第一卷积神经网络模型的第一输出值和所述第二卷积神经网络模型的输出值进行均值计算得到；获取训练样本，所述训练样本包含受损肌腱图像的正样本和非受损肌腱图像的负样本；通过所述训练样本对所述目标卷积神经网络模型进行训练，得到所述训练的卷积神经网络模型；
所述从所述第一动作视频中提取包含所述目标用户的目标部位的肌腱动作姿态的第一图像包括：获取所述第一动作视频中所述目标部位的第一姿态图像与第二姿态图像，其中，所述第一姿态图像与所述第二姿态图像为相邻图像；计算所述第一姿态图像与所述第二姿态图像的像素值之差的绝对值；判断所述绝对值是否大于预设阈值；若所述绝对值大于所述预设阈值，确定所述第一姿态图像与所述第二姿态图像的像素值之差的差分图像为包含所述目标用户的目标部位的肌腱动作姿态的第一图像。
5.如权利要求4所述的基于深度学习的肌腱状况评估装置，其特征在于，所述推荐康复训练信息包括康复训练时间，所述基于深度学习的肌腱状况评估程序被所述处理器执行，还实现如下步骤：
获取与所述受损程度对应的推荐康复训练信息之后，获取第一预设时间之后拍摄到的所述目标用户的第二动作视频以及第二预设时间之后拍摄到的所述目标用户的第三动作视频；
获取所述第二动作视频中相邻帧图像，计算所述第二动作视频中相邻帧图像的第三相似度；
获取所述第三动作视频中相邻帧图像，计算所述第三动作视频中相邻帧图像的第四相似度；
根据所述第一相似度、第三相似度、第四相似度的变化状况调整所述康复训练时间或保持所述康复训练时间。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于深度学习的肌腱状况评估程序，所述基于深度学习的肌腱状况评估程序可被一个或者多个处理器执行，以实现如权利要求1至3中任一项所述的基于深度学习的肌腱状况评估方法的步骤。
CN201910370527.6A 2019-05-06 2019-05-06 基于深度学习的肌腱状况评估方法、装置及存储介质 Active CN110197721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910370527.6A CN110197721B (zh) 2019-05-06 2019-05-06 基于深度学习的肌腱状况评估方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910370527.6A CN110197721B (zh) 2019-05-06 2019-05-06 基于深度学习的肌腱状况评估方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110197721A CN110197721A (zh) 2019-09-03
CN110197721B true CN110197721B (zh) 2023-06-06

Family

ID=67752427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910370527.6A Active CN110197721B (zh) 2019-05-06 2019-05-06 基于深度学习的肌腱状况评估方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110197721B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782967B (zh) * 2019-11-01 2023-04-21 成都乐动信息技术有限公司 一种健身动作标准度评估方法及装置
CN112309578B (zh) * 2020-11-03 2021-06-15 南通市第一人民医院 一种提高骨质疏松性椎体骨折患者康复效率的方法及系统
CN113158818B (zh) * 2021-03-29 2023-04-07 青岛海尔科技有限公司 用于识别伪造视频的方法、装置和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446307A (zh) * 2018-02-05 2018-08-24 中国科学院信息工程研究所 一种多标签图像的二值向量生成方法及图像语义相似度查询方法
CN108510475A (zh) * 2018-03-09 2018-09-07 南京索聚医疗科技有限公司 一种肌肉连续超声图像中肌肉肌腱结的测量方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150005637A1 (en) * 2013-06-28 2015-01-01 Uvic Industry Partnerships Inc. Tissue displacement estimation by ultrasound speckle tracking
US10269116B2 (en) * 2016-12-26 2019-04-23 Intel Corporation Proprioception training method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446307A (zh) * 2018-02-05 2018-08-24 中国科学院信息工程研究所 一种多标签图像的二值向量生成方法及图像语义相似度查询方法
CN108510475A (zh) * 2018-03-09 2018-09-07 南京索聚医疗科技有限公司 一种肌肉连续超声图像中肌肉肌腱结的测量方法及系统

Also Published As

Publication number Publication date
CN110197721A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110097051B (zh) 图像分类方法、装置及计算机可读存储介质
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN113196289B (zh) 人体动作识别方法、人体动作识别系统及设备
CN112597941B (zh) 一种人脸识别方法、装置及电子设备
JP6411510B2 (ja) 無制約の媒体内の顔を識別するシステムおよび方法
CN106803055B (zh) 人脸识别方法和装置
KR101969050B1 (ko) 자세 추정
US8917907B2 (en) Continuous linear dynamic systems
WO2021203667A1 (en) Method, system and medium for identifying human behavior in a digital video using convolutional neural networks
CN110197721B (zh) 基于深度学习的肌腱状况评估方法、装置及存储介质
CN112883896B (zh) 一种基于bert网络的微表情检测方法
CN112543936B (zh) 用于动作识别的动作结构自注意力图卷积网络模型
Seifozzakerini et al. Event-Based Hough Transform in a Spiking Neural Network for Multiple Line Detection and Tracking Using a Dynamic Vision Sensor.
CN112418195B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
WO2021012493A1 (zh) 短视频关键词提取方法、装置及存储介质
CN113255557B (zh) 一种基于深度学习的视频人群情绪分析方法及系统
JP2010157118A (ja) パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム
Ansar et al. Robust hand gesture tracking and recognition for healthcare via Recurent neural network
CN111104911A (zh) 一种基于大数据训练的行人重识别方法及装置
US20240303848A1 (en) Electronic device and method for determining human height using neural networks
Salem et al. Semantic image inpainting using self-learning encoder-decoder and adversarial loss
CN117218709A (zh) 基于时间可变形注意力机制的居家老人实时状态监测方法
CN114612979A (zh) 一种活体检测方法及装置、电子设备、存储介质
CN110795995B (zh) 数据处理方法、装置及计算机可读存储介质
Kim et al. Estimation of crowd density in public areas based on neural network.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant