CN113362324B - 一种基于视频图像的骨骼健康检测方法及系统 - Google Patents

一种基于视频图像的骨骼健康检测方法及系统 Download PDF

Info

Publication number
CN113362324B
CN113362324B CN202110824467.8A CN202110824467A CN113362324B CN 113362324 B CN113362324 B CN 113362324B CN 202110824467 A CN202110824467 A CN 202110824467A CN 113362324 B CN113362324 B CN 113362324B
Authority
CN
China
Prior art keywords
video image
sequence
action
body surface
specified action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110824467.8A
Other languages
English (en)
Other versions
CN113362324A (zh
Inventor
赵志阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jihe Medical Technology Co ltd
Original Assignee
Shanghai Jihe Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jihe Medical Technology Co ltd filed Critical Shanghai Jihe Medical Technology Co ltd
Priority to CN202110824467.8A priority Critical patent/CN113362324B/zh
Publication of CN113362324A publication Critical patent/CN113362324A/zh
Application granted granted Critical
Publication of CN113362324B publication Critical patent/CN113362324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明提供了一种基于视频图像的骨骼健康检测方法及系统，其中，所述方法包括：获取第一视频图像，所述第一视频图像包括被检测者的指定动作序列；提取与所述指定动作序列关联的属性标识；基于所述属性标识从所述第一视频图像中提取出各指定动作，基于所述各指定动作确定第二视频图像；从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列；基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果。本发明的方案仅需要被检测者做指定动作即可以得出骨骼健康分析结果，相比于传统方式，无辐射、快速且成本低廉。

Description

一种基于视频图像的骨骼健康检测方法及系统
技术领域
本发明涉及医疗检测技术领域，具体而言，涉及一种基于视频图像的骨骼健康检测方法、系统、电子设备及计算机存储介质。
背景技术
在青少年成长过程中，会面临各种各样的骨骼健康问题，例如，脊柱侧弯、骨骼畸形等等。现有技术中，对于骨骼健康一般是通过拍摄X光、螺旋CT等手段获得骨骼影像，医生据此进行判断，但是，以上这些手段对人体多少都会有些危害，比如放射性危害，而且检测成本也是比较高的。
可见，如何快速且低成本的进行骨骼健康检测，是目前亟需解决的技术问题。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供了一种基于视频图像的骨骼健康检测方法、系统、电子设备及计算机存储介质。
本发明的第一方面提供了一种基于视频图像的骨骼健康检测方法，所述方法包括：
获取第一视频图像，所述第一视频图像包括被检测者的指定动作序列；
提取与所述指定动作序列关联的属性标识；
基于所述属性标识从所述第一视频图像中提取出各指定动作，基于所述各指定动作确定第二视频图像；
从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列；
基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果。
可选地，所述提取与所述指定动作序列关联的属性标识，包括：
基于所述第一视频图像与各属性标识的预设关系提取与所述属性标识；
或
从所述第一视频图像中识别得出所述属性标识。
可选地，所述基于所述属性标识从所述第一视频图像中提取出各指定动作，基于所述各指定动作确定第二视频图像，包括：
基于所述属性标识确定指定动作序列及序列中各动作的顺序；
基于确定出的所述指定动作序列对所述第一视频图像进行第一虚拟标记；
基于所述指定动作序列及序列中各动作的顺序对经过第一虚拟标记处理后的所述第一视频图像进行剪切或剪切及拼接，得出所述第二视频图像。
可选地，所述第二视频图像中的指定动作序列满足预设条件。
可选地，所述从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列，包括：
对所述第二视频图像中各所述指定动作序列进行第二虚拟标记；
基于所述第二虚拟标记从所述第二视频图像中确定与各指定动作对应的第二视频图像子片段；
基于所述指定动作从所述第二视频图像子片段中提取对应的所述体表特征，以获得所述体表特征序列。
可选地，所述基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果，包括：
基于所述指定动作序列获取对应的参考体表特征序列；
将所述体表特征序列与所述参考体表特征序列进行比对，以获得偏差序列，基于所述偏差序列分析所述骨骼是否异常；
将分析结果与所述属性标识融合后输出。
可选地，所述指定动作序列与所述参考体表特征序列具有关联对应关系，所述关联对应关系是通过深度学习模型得出的。
本发明的第二方面提供了一种基于视频图像的骨骼健康检测系统，所述系统包括获取模块、第一提取模块、第二提取模块、第一处理模块及第二处理模块；其中，
所述获取模块，用于获取第一视频图像，所述第一视频图像包括被检测者的指定动作序列；
所述第一提取模块，用于提取与所述指定动作序列关联的属性标识；
所述第一处理模块，用于基于所述属性标识从所述第一视频图像中提取出各指定动作，并基于所述各指定动作确定第二视频图像；
所述第二提取模块，用于从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列；
所述第二处理模块，用于基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果。
可选地，所述第一提取模块提取与所述指定动作序列关联的属性标识，包括：
基于所述第一视频图像与各属性标识的预设关系提取与所述属性标识；
或
从所述第一视频图像中识别得出所述属性标识。
可选地，所述第一处理模块基于所述属性标识从所述第一视频图像中提取出各指定动作，并基于所述各指定动作确定第二视频图像，包括：
基于所述属性标识确定指定动作序列及序列中各动作的顺序；
基于确定出的所述指定动作序列对所述第一视频图像进行第一虚拟标记；
基于所述指定动作序列及序列中各动作的顺序对经过第一虚拟标记处理后的所述第一视频图像进行剪切或剪切及拼接，得出所述第二视频图像。
可选地，所述第二视频图像中的指定动作序列满足预设条件。
可选地，所述第二提取模块从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列，包括：
对所述第二视频图像中各所述指定动作序列进行第二虚拟标记；
基于所述第二虚拟标记从所述第二视频图像中确定与各指定动作对应的第二视频图像子片段；
基于所述指定动作从所述第二视频图像子片段中提取对应的所述体表特征，以获得所述体表特征序列。
可选地，所述第二处理模块基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果，包括：
基于所述指定动作序列获取对应的参考体表特征序列；
将所述体表特征序列与所述参考体表特征序列进行比对，以获得偏差序列，基于所述偏差序列分析所述骨骼是否异常；
将分析结果与所述属性标识融合后输出。
可选地，所述指定动作序列与所述参考体表特征序列具有关联对应关系，所述关联对应关系是通过深度学习模型得出的。
本发明的第三方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。
本发明的第四方面提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。
本发明的有益效果在于：
本发明的方案通过先获取第一视频图像，所述第一视频图像包括被检测者的指定动作序列；再提取与所述指定动作序列关联的属性标识；再基于所述属性标识从所述第一视频图像中提取出各指定动作，基于所述各指定动作确定第二视频图像；再从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列；最终，基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果。相比于传统的X光、螺旋CT等检测方式，本发明的方案仅需要被检测者按照要求做出指定动作即可，整个监测过程无辐射、快速且成本低。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例公开的一种基于视频图像的骨骼健康检测方法的流程示意图；
图2是本发明实施例公开的弯腰动作场景下的体表特征的对比示意图；
图3是本发明实施例公开的弯腰动作场景下的脊柱侧弯检测场景的对比示意图；
图4是本发明实施例公开的确定第二视频图像的方法流程示意图；
图5是本发明实施例公开的从第二视频图像中提取与指定动作序列对应的体表特征序列的方法流程示意图；
图6是本发明实施例公开的基于指定动作从第二视频图像子片段中提取对应的体表特征的方法流程示意图；
图7是本发明实施例公开的进行骨骼健康分析并输出分析结果的方法流程示意图；
图8是本发明实施例公开的基于偏差序列确定骨骼是否异常的方法流程示意图；
图9是本发明实施例公开的一种基于视频图像的骨骼健康检测系统的结构示意图；
图10是本发明实施例公开一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于视频图像的骨骼健康检测方法的流程示意图。如图1所示，本发明实施例的一种基于视频图像的骨骼健康检测方法，所述方法包括：
S1，获取第一视频图像，所述第一视频图像包括被检测者的指定动作序列。
本实施例中，基于骨骼健康的检测项目(例如脊柱侧弯检测、腰椎异常检测等)确定对应的指定动作序列，被检测者于指定的摄像机拍摄区域内依次做出上述指定动作序列，此时，摄像机拍摄获得第一视频图像。
S2，提取与所述指定动作序列关联的属性标识。
本实施例中，属性标识可以为指定动作序列的编号、识别码、名称等，例如，将某指定动作序列的属性标识为H01/脊柱侧弯。
S3，基于所述属性标识从所述第一视频图像中提取出各指定动作，基于所述各指定动作确定第二视频图像。
本实施例中，第一视频图像中除了包含指定动作序列之外，还会包含准备动作、错误动作等内容，这些内容实际上会影响到后续的骨骼健康检测的结果，所以，需要从视频图像中通过剪切、拼接得出可用的第二视频图像。具体而言，基于属性标识就可以确定出关联的各指定动作及其先后顺序，接着将其中与各指定动作对应的视频片段进行剪切、拼接就可以获得第二视频图像。
S4，从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列。
本实施例中，由于骨骼具有刚性属性，所以，当人体在运动时，在骨骼的作用下人体的体表特征会对应发生变化，对这些体表特征的变化进行提取检测，就可以利用与指定动作对应的参考体表特征进行对比来实现骨骼健康检测。以及，如果被检测者的骨骼健康存在明显的问题，则其很可能无法完成标准的指定动作，或者其完成的指定动作是变形的，所以，指定动作的完成度也属于体表特征序列的内容，同样可以用于骨骼健康的检测。例如参照图2所描述，左侧为脊柱健康的被检测者，当其做出弯腰动作时，其肩部左右的偏差是在合理范围内的；而右侧的被检测者为脊柱侧弯患者，当其做出弯腰动作时，其肩部右侧明显高于左侧，基于该体表特征就可以判定其存在脊柱侧弯情况，以及，右侧的被检测者也存在因脊柱侧弯而不能完成标准的“体侧”动作，据此也可以得出上述分析结果。
S5，基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果。
本实施例中，在确定了属性标识、所述指定动作序列和所述体表特征序列的前提下，就可以利用指定动作序列与对应的体表特征序列计算得出偏差值或相似度等，进而得出骨骼健康的分析结果，例如，参照图3所描述，当被检测者弯腰时，通过对后背凹陷区域进行分析以识别出脊柱块并对应打点，再通过拟合算法得出脊柱曲线，将脊柱曲线与“弯腰”预关联的参考脊柱曲线进行偏差值或相似度值计算，如果偏差值大于第一阈值或相似度低于第二阈值，则可输出“脊柱侧弯检测结果为异常”；或者，同样是在被检测者弯腰时，通过对后背进行分析可以得出左右肩部在图像中的高度信息，进而绘制出用于描述高度差的∠AOB，若∠AOB大于第三阈值，则可输出“脊柱侧弯检测结果为异常”。
另外，对于分析结果的输出对象，可以是服务器、检测机构的指定终端(如对应医生的电脑终端)、被检测者的移动终端等。其中，服务器包括但不限于计算机、网络主机、数据库服务器、存储服务器以及应用服务器或者多个服务器构成的云服务器，其中云服务器由基于云计算(Cloud Computing)的大量计算机或者网络服务器构成；以及，移动终端包括但不限于手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant，简称PDA)、移动上网装置(Mobile InternetDevice，MID)或可穿戴式设备(Wearable Device)等等。
本发明实施例的一种基于视频图像的骨骼健康检测方法，从包含被检测者所做出的指定动作序列的目标视频图像中，提取与指定动作序列对应的体表特征序列，再基于指定动作序列和体表特征序列的对应关系就可以得出骨骼健康分析结果。相比于传统的X光、螺旋CT等检测方式，本发明的方案无辐射、快速且成本低。
可选地，步骤S2中，所述提取与所述指定动作序列关联的属性标识，包括：
基于所述第一视频图像与各属性标识的预设关系提取与所述属性标识；
或
从所述第一视频图像中识别得出所述属性标识。
本实施例中，可通过两种方式获得所述属性标识，1)在拍摄第一视频图像时就将对应的属性标识与第一视频图像进行了关联，例如响应于工作人员在终端的操作(检测项目的选择)，或者第一视频图像拍摄完毕之后由工作人员手动添加属性标识；2)若拍摄区域内设有用于提示被检测者做指定动作的显示装置(如电子显示屏或其他画幅切换装置)，则显示装置上会标识此次指定动作序列的属性标识，通过对第一视频图像进行识别即可得出对应的属性标识。
可选地，参照图4所示，步骤S3中，基于所述属性标识从所述第一视频图像中提取出各指定动作，基于所述各指定动作确定第二视频图像，包括：
S31，基于所述属性标识确定指定动作序列及序列中各动作的顺序；
S32，基于确定出的所述指定动作序列对所述第一视频图像进行第一虚拟标记；
S33，基于所述指定动作序列及序列中各动作的顺序对经过第一虚拟标记处理后的所述第一视频图像进行剪切或剪切及拼接，得出所述第二视频图像。
本实施例中，每项骨骼健康检测项目一般包含若干动作，例如，脊柱侧弯检测的指定动作可包括背面标准站立、120°弯腰、向左体侧、向右体侧。通过对各动作的识别可对第一视频图像进行标记处理，进而将第一视频图像虚拟“分割”为若干个仅包含单一动作的片段，然后，再基于已知的指定动作序列及序列中各动作的顺序从中挑选出符合条件的单一动作组成指定动作序列，对相应的片段进行剪切或剪切及拼接操作就可以得出第二视频图像。具体而言，如果被检测者一次性完成了指定动作序列，则此时识别出的各指定动作是连续且没有重复的，相应地，通过剪切即可获得第二视频图像；否则，被检测者在完成指定动作序列过程中会出现错误，例如某个指定动作错误或不规范，被检测者会重复做该动作，此时可以基于动作完成度(例如指定动作明显没完成)或被检测者做出的取消前一个动作的指令(通过特定语音或特定动作)筛选出不合格的单一动作，然后再基于各指定动作的先后顺序挑选出仅包含单一动作的片段，对这些片段进行剪切和拼接即可得出第二视频图像。
作为一种改进，所述第二视频图像中包含至少一组所述被检测者的指定动作序列。
具体地，如果存在所述被检测者的指定动作序列均符合标准，则所述视频片段中仅包含一组所述被检测者的指定动作序列，即符合标准的所述被检测者的指定动作序列；否则，所述视频片段中包含多组所述被检测者的指定动作序列。
其中，如果被检测者的指定动作都符合标准，则说明该被检测者的骨骼健康状况较为良好，或者骨骼健康问题没有影响到其完成指定动作，此种情况下，可以将对应的视频片段作为第二视频图像，只需从中分析其他体表特征来检测骨骼健康。反之，则存在多种可能，比如，骨骼健康问题较为明显且限制被检测者完成指定动作，或者，因为被检测者主观理解的问题导致的客观上动作没有做到位或做错，再或者，被检测者因为其他健康原因(骨骼健康以外的原因，比如肌肉疼痛、体表伤口等)而无法标准的做出指定动作，此种情况下，需要获取多组指定动作序列对应的视频片段以剪切或拼接为第二视频图像。
可选地，所述第二视频图像中的指定动作序列满足预设条件。
本实施例中，预设条件的选择可以自由设定，其设定原则应当包括但不限于以下的至少一项：动作序列完整，至少N个动作符合标准，至少N个动作对应图像的清晰度满足识别要求，等。
可选地，参照图5所示，步骤S4中，所述从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列，包括：
S41，对所述第二视频图像中各所述指定动作序列进行第二虚拟标记；
S42，基于所述第二虚拟标记从所述第二视频图像中确定与各指定动作对应的第二视频图像子片段；
S43，基于所述指定动作从所述第二视频图像子片段中提取对应的所述体表特征，以获得所述体表特征序列。
本实施例中，对于剪切、拼接后得出的第二视频图像，采用同样的方法对其进行第二虚拟标记，然后再基于第二虚拟标记将第二视频片段“分割”为若干片段，每个片段对应一个指定动作，从所述片段中挑选出合适的视频帧即可进行对体表特征的识别。其中，对于第二虚拟标记的生成方式，既可以是采用与第一虚拟标记同样的方式，即通过对图像中指定动作的识别来进行标记；另外，为了节约算力，也可以直接将第一虚拟标记直接转换为第二虚拟标记，当然，用于转换的第一虚拟标记应当是仅限于最终用于生成第二视频图像的对应虚拟标记。
作为一种改进，参照图6所示，步骤S43中，所述基于所述指定动作从所述第二视频图像子片段中提取对应的所述体表特征，包括：
S431，基于所述属性标识提取各所述指定动作的幅度强度；
S432，基于所述幅度强度从所述第二视频图像子片段中挑选合适的目标视频帧；
S433，对所述目标视频帧进行所述体表特征的提取。
其中，各指定动作具有不同的幅度强度，例如，对于脊柱侧弯检测来说，其包括背面标准站立、120°弯腰、向左体侧、向右体侧，其中，四个动作的幅度强度可为：背面标准站立<120°弯腰/向左体侧/向右体侧。于是，对于幅度强度最小的“背面标准站立”对应的第二视频图像子片段，将其中清晰度最高的视频帧作为目标视频帧；而对于幅度强度较大的“120°弯腰/向左体侧/向右体侧”对应的第二视频图像子片段，则从指定动作末尾帧中选取清晰度最高的视频帧作为目标视频帧。如此设置的原因是：对于动作幅度较小的指定动作，不同时刻的视频帧其实并不影响对体表特征的提取，此时只需要挑选清晰度最高的视频帧即可；而对于动作幅度较大的指定动作，该指定动作的设计目的就是利用大幅度的动作来使潜在的骨骼健康问题突出，所以，从指定动作完成时刻的末尾的数帧视频帧中挑选清晰度最高的视频帧，此时可使骨骼问题对应的体表特征达到峰值，进而有利于后续的健康分析。另外，可以预先将幅度强度参数附加于属性标识中，或与属性标识和/或指定动作关联。
可选地，参照图7所示，步骤S5中，基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果，包括：
S51，基于所述指定动作序列获取对应的参考体表特征序列；
S52，将所述体表特征序列与所述参考体表特征序列进行比对，以获得偏差序列，基于所述偏差序列分析所述骨骼是否异常；
S53，将分析结果与所述属性标识融合后输出。
本实施例中，预设指定动作序列与参考体表特征序列的对应关系，于是，通过将识别出的体表特征序列与参考体表特征序列进行比对，即可获得偏差序列，再通过对偏差序列的进一步分析就可以确定出骨骼是否异常。
可选地，所述指定动作序列与所述参考体表特征序列具有关联对应关系，所述关联对应关系是通过深度学习模型得出的。
本实施例中，对于指定动作序列与参考体表特征序列的具有关联对应关系的确定，可以通过深度学习模型获得。具体而言，挑选足够数量的骨骼健康的测试人员，使其按要求标准的做出所有指定动作，与此同时，使处理设备基于与指定动作对应的视频图像提取出其中的体表特征，这些体表特征就是参考体表特征；接着，将指定动作序列与参考体表特征序列一一对应组成数据集合，将数据集合输入构建的深度学习识别模型以对其进行迭代训练，进而可以获得所述关联对应关系。另外，为了进一步提升关联对应关系的准确性，可以将测试人员按照性别、年龄、身高、体重等因素进行分组，不同分组的数据用于训练不同的深度学习模型，进而可以获得更为细致的关联对应关系，相应地，在对被检测者进行骨骼健康检测时，也应当将被检测者的上述因素输入系统，于是，系统就可以基于这些因素调取合适的关联对应关系。
其中，所述深度学习模型可基于CNN(包括但不限于Lenet5、GoogleNet、ResNet、DenseNet、VGGNet等)、LSTM(包括但不限于Coupled LSTM、Peephole LSTM、GRU等)、BP神经网络(包括但不限于传统BP神经网络、基于小波滤噪改进的BP神经网络、基于卡尔曼滤波改进的BP神经网络、基于狼群算法改进的BP神经网络等)等进行构建，由于深度学习模型的构建方法属于成熟的现有技术，本发明在此不再赘述。
作为一种改进，参照图8所示，步骤S52中，所述基于所述偏差序列确定所述骨骼是否异常，包括：
S521，基于所述属性标识提取所述指定动作序列中各所述指定动作的权值；
S522，提取所述被检测者的身体指标，基于所述身体指标对所述权值进行修正；
S523，利用修正后的所述权值修正所述偏差序列；
S524，基于修正后的所述偏差序列确定所述骨骼是否异常。
本实施例中，对应不同检查项目的一组指定动作序列中，不同指定动作的权重实际上应当是不同的，因为有些动作可以基本确定是否有异常，但其他辅助动作也可以进行辅助验证，尤其是当骨骼健康问题不明显时尤其有效。针对该情况，本发明给不同的指定动作设定不同的权值。同时，被检测者的身体指标也会对指定动作产生影响，例如，如果被检测者过于肥胖，则检测得出的体表特征相对正常体型的人来说会不明显，此时，应当利用该肥胖的被检测者的身体指标将所述权值调高，而对于标准体型或偏瘦的被检测者来说，则可以不进行修正，或者使修正值为1，或者进行轻微修正。其中，对于体型的检测方法可以基于第二视频图像分析得出，由于属于常规的图像识别方法，本发明在此不再赘述。当然，身体指标也并非仅限于体型数据，还可以是身体比例等，只要是能够影响到涉及骨骼健康的体表特征的检测的因素，均可以确定为身体指标。
于是，本发明先给各指定动作预设权值，再利用身体指标来修正所述预设权值，进而利用修正后的权值来修正偏差序列。其中，进行修正前还可以先基于检测项目和被检测者的身体指标来确定所述偏差序列中的修正对象，再以脊柱侧弯检测为例，对于肥胖者而言，由于背面标准站立时的体表特征更容易受肥胖情况的影响而导致不明显，所以，对与该指定动作对应的权值进行修正调高，而对120°弯腰、向左体侧、向右体侧则可不进行修正。以上仅为示例性描述，并非用于限定保护范围，在实际实施时，可以基于检测项目受对应身体指标的影响程度来自由确定。
另外，在得出修正后的偏差序列之后，可以采用多种方式来确定偏差序列所指示的偏差程度，例如：1)对偏差序列的偏差值进行累计，若偏差值大于第四阈值，则骨骼健康存在异常；2)计算偏差序列的偏差值的中位值/平均值，若其大于第五阈值，则骨骼健康存在异常；3)计算偏差序列的方差/标准差/均方差/均方误差(MSE)，若其大于第六阈值，则骨骼健康存在异常。另外，还可以采用其它对偏差序列的分析方法，本发明对此不作限定。
另外，需要指出的是，对于前述的一种改进，即所述第二视频图像中包含至少一组所述被检测者的指定动作序列，具体对于第二视频图像中包含多组所述被检测者的指定动作序列时，对于体表特征的提取方式同于前述步骤所述，区别仅在于步骤S4，具体而言：提取第二视频图像中每组指定动作序列对应的片段中的体表特征序列，将多组体表特征序列进行融合，然后再执行步骤S5。
其中，对于融合方式，可以基于各指定动作的幅度强度进行，例如，若某指定动作的幅度强度一般或较低(可预先设定)，则通过第一均值公式将多组指定动作序列对应的体表特征序列进行融合；反之，若某指定动作的幅度强度较高(可预先设定)，则通过第二均值公式将多组指定动作序列中各指定动作对应的体表特征的值进行融合。其中，第一均值公式为
Figure GDA0003996482180000161
而第二均值公式为
Figure GDA0003996482180000162
Figure GDA0003996482180000163
式中，fi为多组指定动作序列融合后的各指定动作对应的体表特征的值，tn为每组指定动作序列中各指定动作对应的体表特征的值，n为体表特征序列的组数。对于相同的一组数据，上述第一均值公式的计算结果是大于第二均值公式的。所以，在指定动作的幅度强度一般或较低时可以使得体表特征的值更大，即通过该干预手段将骨骼健康问题凸显，以容易被识别；而当某指定动作的幅度强度较大时，被检测者容易“动作过度”，此时，采用第二均值公式以将“动作过度”的体表特征值调低，使其更加贴近真实情况。于是，通过上述第一均值公式、第二均值公式可以灵活的基于各指定动作的幅度强度来调节各指定动作对应的体表特征值，进而获得更佳的融合处理后的体表特征序列。
实施例二
请参阅图9，图9是本发明实施例公开的一种基于视频图像的骨骼健康检测系统的结构示意图。如图9所示，本发明实施例的一种基于视频图像的骨骼健康检测系统(100)，所述系统包括获取模块(101)、第一提取模块(102)、第二提取模块(103)、第一处理模块(104)及第二处理模块(105)；其中，
所述获取模块(101)，用于获取第一视频图像，所述第一视频图像包括被检测者的指定动作序列；
所述第一提取模块(102)，用于提取与所述指定动作序列关联的属性标识；
所述第一处理模块(104)，用于基于所述属性标识从所述第一视频图像中提取出各指定动作，并基于所述各指定动作确定第二视频图像；
所述第二提取模块(103)，用于从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列；
所述第二处理模块(105)，用于基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果。
该实施例中的一种基于视频图像的骨骼健康检测系统的具体功能参照上述实施例一，由于本实施例中的系统采用了上述实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
可选地，所述第一提取模块(102)提取与所述指定动作序列关联的属性标识，包括：
基于所述第一视频图像与各属性标识的预设关系提取与所述属性标识；
或
从所述第一视频图像中识别得出所述属性标识。
可选地，所述第一处理模块(104)基于所述属性标识从所述第一视频图像中提取出各指定动作，并基于所述各指定动作确定第二视频图像，包括：
基于所述属性标识确定指定动作序列及序列中各动作的顺序；
基于确定出的所述指定动作序列对所述第一视频图像进行第一虚拟标记；
基于所述指定动作序列及序列中各动作的顺序对经过第一虚拟标记处理后的所述第一视频图像进行剪切或剪切及拼接，得出所述第二视频图像。
作为一种改进，所述第二视频图像中包含至少一组所述被检测者的指定动作序列。
可选地，所述第二视频图像中的指定动作序列满足预设条件。
可选地，所述第二提取模块(103)从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列，包括：
对所述第二视频图像中各所述指定动作序列进行第二虚拟标记；
基于所述第二虚拟标记从所述第二视频图像中确定与各指定动作对应的第二视频图像子片段；
基于所述指定动作从所述第二视频图像子片段中提取对应的所述体表特征，以获得所述体表特征序列。
作为一种改进，所述基于所述指定动作从所述第二视频图像子片段中提取对应的所述体表特征，包括：
基于所述属性标识提取各所述指定动作的幅度强度；
基于所述幅度强度从所述第二视频图像子片段中挑选合适的目标视频帧；
对所述目标视频帧进行所述体表特征的提取。
可选地，所述第二处理模块(105)基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果，包括：
基于所述指定动作序列获取对应的参考体表特征序列；
将所述体表特征序列与所述参考体表特征序列进行比对，以获得偏差序列，基于所述偏差序列分析所述骨骼是否异常；
将分析结果与所述属性标识融合后输出。
可选地，所述指定动作序列与所述参考体表特征序列具有关联对应关系，所述关联对应关系是通过深度学习模型得出的。
作为一种改进，所述基于所述偏差序列确定所述骨骼是否异常，包括：
基于所述属性标识提取所述指定动作序列中各所述指定动作的权值；
提取所述被检测者的身体指标，基于所述身体指标对所述权值进行修正；
利用修正后的所述权值修正所述偏差序列；
基于修正后的所述偏差序列确定所述骨骼是否异常。
实施例三
请参阅图10，图10是本发明实施例公开的一种电子设备，所述设备包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述的方法。
实施例四
本发明实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施例一所述的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于视频图像的骨骼健康检测方法，其特征在于：所述方法包括：
获取第一视频图像，所述第一视频图像包括被检测者的指定动作序列；
提取与所述指定动作序列关联的属性标识；
基于所述属性标识从所述第一视频图像中提取出各指定动作，基于所述各指定动作确定第二视频图像；
从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列；
基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果；
所述从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列，包括：
对所述第二视频图像中各所述指定动作序列进行第二虚拟标记；
基于所述第二虚拟标记从所述第二视频图像中确定与各指定动作对应的第二视频图像子片段；
基于所述指定动作从所述第二视频图像子片段中提取对应的所述体表特征，以获得所述体表特征序列，包括：
基于所述属性标识提取各所述指定动作的幅度强度；基于所述幅度强度从所述第二视频图像子片段中挑选合适的目标视频帧；对所述目标视频帧进行所述体表特征的提取；
其中，所述基于所述幅度强度从所述第二视频图像子片段中挑选合适的目标视频帧，包括：
对于幅度强度较小的指定动作对应的第二视频图像子片段，将其中清晰度最高的视频帧作为目标视频帧；而对于幅度强度较大的指定动作对应的第二视频图像子片段，则从指定动作末尾帧中选取清晰度最高的视频帧作为目标视频帧。
2.根据权利要求1所述的方法，其特征在于：所述提取与所述指定动作序列关联的属性标识，包括：
基于所述第一视频图像与各属性标识的预设关系提取与所述属性标识；
或
从所述第一视频图像中识别得出所述属性标识。
3.根据权利要求1所述的方法，其特征在于：所述基于所述属性标识从所述第一视频图像中提取出各指定动作，基于所述各指定动作确定第二视频图像，包括：
基于所述属性标识确定指定动作序列及序列中各动作的顺序；
基于确定出的所述指定动作序列对所述第一视频图像进行第一虚拟标记；
基于所述指定动作序列及序列中各动作的顺序对经过第一虚拟标记处理后的所述第一视频图像进行剪切或剪切及拼接，得出所述第二视频图像。
4.根据权利要求1-3任一项所述的方法，其特征在于：所述第二视频图像中的指定动作序列满足预设条件。
5.根据权利要求1-3任一项所述的方法，其特征在于：所述基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果，包括：
基于所述指定动作序列获取对应的参考体表特征序列；
将所述体表特征序列与所述参考体表特征序列进行比对，以获得偏差序列，基于所述偏差序列分析所述骨骼是否异常；
将分析结果与所述属性标识融合后输出。
6.根据权利要求5所述的方法，其特征在于：所述指定动作序列与所述参考体表特征序列具有关联对应关系，所述关联对应关系是通过深度学习模型得出的。
7.一种基于视频图像的骨骼健康检测系统，其特征在于：所述系统包括获取模块、第一提取模块、第二提取模块、第一处理模块及第二处理模块；其中，
所述获取模块，用于获取第一视频图像，所述第一视频图像包括被检测者的指定动作序列；
所述第一提取模块，用于提取与所述指定动作序列关联的属性标识；
所述第一处理模块，用于基于所述属性标识从所述第一视频图像中提取出各指定动作，并基于所述各指定动作确定第二视频图像；
所述第二提取模块，用于从所述第二视频图像中提取与所述指定动作序列对应的体表特征序列，包括：
对所述第二视频图像中各所述指定动作序列进行第二虚拟标记；
基于所述第二虚拟标记从所述第二视频图像中确定与各指定动作对应的第二视频图像子片段；
基于所述指定动作从所述第二视频图像子片段中提取对应的所述体表特征，以获得所述体表特征序列，包括：基于所述属性标识提取各所述指定动作的幅度强度；基于所述幅度强度从所述第二视频图像子片段中挑选合适的目标视频帧；对所述目标视频帧进行所述体表特征的提取；
其中，所述基于所述幅度强度从所述第二视频图像子片段中挑选合适的目标视频帧，包括：
对于幅度强度较小的指定动作对应的第二视频图像子片段，将其中清晰度最高的视频帧作为目标视频帧；而对于幅度强度较大的指定动作对应的第二视频图像子片段，则从指定动作末尾帧中选取清晰度最高的视频帧作为目标视频帧；
所述第二处理模块，用于基于所述属性标识、所述指定动作序列和所述体表特征序列进行骨骼健康分析，并输出分析结果。
8.一种计算机存储介质，该存储介质上存储有计算机程序，其特征在于：该计算机程序被处理器运行时执行如权利要求1-6任一项所述的方法。
9.一种电子设备，该电子设备包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于：该计算机程序被处理器运行时执行如权利要求1-6任一项所述的方法。
CN202110824467.8A 2021-07-21 2021-07-21 一种基于视频图像的骨骼健康检测方法及系统 Active CN113362324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110824467.8A CN113362324B (zh) 2021-07-21 2021-07-21 一种基于视频图像的骨骼健康检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110824467.8A CN113362324B (zh) 2021-07-21 2021-07-21 一种基于视频图像的骨骼健康检测方法及系统

Publications (2)

Publication Number Publication Date
CN113362324A CN113362324A (zh) 2021-09-07
CN113362324B true CN113362324B (zh) 2023-02-24

Family

ID=77540075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110824467.8A Active CN113362324B (zh) 2021-07-21 2021-07-21 一种基于视频图像的骨骼健康检测方法及系统

Country Status (1)

Country Link
CN (1) CN113362324B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069434A (zh) * 2015-08-12 2015-11-18 河海大学常州校区 一种视频中人体动作行为识别方法
CN106599853A (zh) * 2016-12-16 2017-04-26 北京奇虎科技有限公司 远程教学过程中进行形体姿态纠正的方法及其设备
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN108498075A (zh) * 2017-02-24 2018-09-07 西门子保健有限责任公司 骨骼健康的个性化评估
CN109325456A (zh) * 2018-09-29 2019-02-12 佳都新太科技股份有限公司 目标识别方法、装置、目标识别设备及存储介质
CN109730682A (zh) * 2018-12-26 2019-05-10 广州贝利尔医疗有限公司 人体脊柱健康的分析方法及装置
CN111062355A (zh) * 2019-12-25 2020-04-24 神思电子技术股份有限公司 一种人体动作识别方法
CN111144262A (zh) * 2019-12-20 2020-05-12 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法
CN111242100A (zh) * 2020-03-05 2020-06-05 合肥工业大学 一种基于gst和vl-mobpnn的动作识别方法
CN112102951A (zh) * 2019-11-21 2020-12-18 北京健康有益科技有限公司 一种基于人体体态估计算法的健康监测方法和装置
CN112329656A (zh) * 2020-11-10 2021-02-05 广西大学 一种视频流中人体动作关键帧的特征提取方法
CN113038272A (zh) * 2021-04-27 2021-06-25 武汉星巡智能科技有限公司 婴儿视频自动剪辑的方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829233B (zh) * 2018-04-26 2021-06-15 深圳市同维通信技术有限公司 一种交互方法及装置
CN108776775B (zh) * 2018-05-24 2020-10-27 常州大学 一种基于权重融合深度及骨骼特征的老年人室内跌倒检测方法
US11348237B2 (en) * 2019-05-16 2022-05-31 Retrace Labs Artificial intelligence architecture for identification of periodontal features
CN110688901A (zh) * 2019-08-26 2020-01-14 苏宁云计算有限公司 一种人脸识别方法及装置
CN111368787A (zh) * 2020-03-17 2020-07-03 浙江大学 视频处理方法及装置、设备和计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069434A (zh) * 2015-08-12 2015-11-18 河海大学常州校区 一种视频中人体动作行为识别方法
CN106599853A (zh) * 2016-12-16 2017-04-26 北京奇虎科技有限公司 远程教学过程中进行形体姿态纠正的方法及其设备
CN108498075A (zh) * 2017-02-24 2018-09-07 西门子保健有限责任公司 骨骼健康的个性化评估
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN109325456A (zh) * 2018-09-29 2019-02-12 佳都新太科技股份有限公司 目标识别方法、装置、目标识别设备及存储介质
CN109730682A (zh) * 2018-12-26 2019-05-10 广州贝利尔医疗有限公司 人体脊柱健康的分析方法及装置
CN112102951A (zh) * 2019-11-21 2020-12-18 北京健康有益科技有限公司 一种基于人体体态估计算法的健康监测方法和装置
CN111144262A (zh) * 2019-12-20 2020-05-12 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法
CN111062355A (zh) * 2019-12-25 2020-04-24 神思电子技术股份有限公司 一种人体动作识别方法
CN111242100A (zh) * 2020-03-05 2020-06-05 合肥工业大学 一种基于gst和vl-mobpnn的动作识别方法
CN112329656A (zh) * 2020-11-10 2021-02-05 广西大学 一种视频流中人体动作关键帧的特征提取方法
CN113038272A (zh) * 2021-04-27 2021-06-25 武汉星巡智能科技有限公司 婴儿视频自动剪辑的方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于Kinect骨骼跟踪功能的骨骼识别系统研究》;李恒;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20131215;全文 *

Also Published As

Publication number Publication date
CN113362324A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
KR102167022B1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
CN110599451A (zh) 医学图像病灶检测定位方法、装置、设备及存储介质
CN110458829B (zh) 基于人工智能的图像质控方法、装置、设备及存储介质
US10614568B2 (en) Dynamic analysis system
CN110766735B (zh) 一种图像的匹配方法、装置、设备及存储介质
CN111401318B (zh) 动作识别方法及装置
EP3966834A1 (en) Scoring metric for physical activity performance and training
CN111292318A (zh) 内窥镜系统及内窥镜图像识别方法、设备、可存储介质
CN113856186B (zh) 一种引体向上动作判定与计数的方法、系统及装置
CN114049683A (zh) 基于三维人体骨架模型的愈后康复辅助检测系统、方法、介质
CN116012568A (zh) 一种通过拍照心电图获取心电节律信息的系统
CN111067505A (zh) 心律失常检测的方法、装置以及存储介质
CN113362324B (zh) 一种基于视频图像的骨骼健康检测方法及系统
CN111354463A (zh) 人体健康测量方法、装置、计算机设备及存储介质
CN112418025A (zh) 基于深度学习的体重检测方法及装置
CN109767468B (zh) 脏器体积检测方法及装置
CN111179222A (zh) 脑出血点智能检测方法、装置及计算机可读存储介质
CN107684438B (zh) 一种基于超声图像的疼痛程度检测方法及装置
CN111462067B (zh) 图像分割方法及装置
CN117015799A (zh) 检测x射线图像中的异常
CN114187281A (zh) 一种图像处理方法、装置、电子设备和存储介质
JP5826890B1 (ja) 運動可視化装置およびプログラム
CN111899137A (zh) 一种基于手写时序数据的考试系统和方法
CN111222374A (zh) 测谎数据处理方法、装置、计算机设备和存储介质
CN110570949A (zh) 智慧社区内老人的健康监测方法、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant