CN115294018A - 一种基于rgb-d图像的颈部肌张力障碍识别系统 - Google Patents

一种基于rgb-d图像的颈部肌张力障碍识别系统 Download PDF

Info

Publication number
CN115294018A
CN115294018A CN202210759556.3A CN202210759556A CN115294018A CN 115294018 A CN115294018 A CN 115294018A CN 202210759556 A CN202210759556 A CN 202210759556A CN 115294018 A CN115294018 A CN 115294018A
Authority
CN
China
Prior art keywords
neck
head
key point
patient
detection module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210759556.3A
Other languages
English (en)
Inventor
叶晨
靳令经
肖潏灏
滕飞
潘丽珍
李若愚
顾宏凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202210759556.3A priority Critical patent/CN115294018A/zh
Publication of CN115294018A publication Critical patent/CN115294018A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

一种基于RGB‑D图像的颈部肌张力障碍识别系统，包括五个模块，分别是视频数据采集模块1、正面2D关键点检测模块2、3D关键点检测模块3、侧面2D关键点检测模块4、异常式判别模块5。同步采集患者正面RGB‑D图像，融合深度数据以消除运动模单视图RGB图像评估颈部肌张力障碍异常运动模式中出现的深度歧义问题，提高评估的精确性。采集患者侧面RGB图像，使用患者的2D侧面关键点评估患者头颈部在Z轴方向的运动，提高了评估的精确性。解决从2D图像中评估3D人体关键点坐标存在深度歧义的问题，提高人体3D关键点检测精度。

Description

一种基于RGB-D图像的颈部肌张力障碍识别系统
技术领域
本发明属于医疗器械技术领域，具体涉及一种基于视觉的颈部肌张力障碍识别系统。
背景技术
颈部肌张力障碍是临床上最常见的局灶性肌张力障碍，是由颈部肌肉阵挛性或强直过度收缩，从而引起头颈部姿势异常和不自主运动的一种局灶性肌张力障碍，可伴随震颤。常见的治疗手法包括药物治疗、肉毒毒素注射治疗以及外科手术治疗。其中肉毒毒素局部注射治疗可以有效减轻肌肉收缩和疼痛。
在临床上一般通过患者颈部肌肉异常运动模式来选择肉毒毒素治疗的靶肌肉。一般可以将颈部肌肉张力障碍分为两种类型，一种是相对于颈部的头部异常运动，一种是相对于躯干的颈部异常运动，每种类型可以进一步细分为屈伸、侧倾、扭转类型。对于复杂的颈部肌张力障碍模式，首先应该明确具体是由哪些基本异常运动模式所组成的，再对所有可能的责任肌肉进行探查。
传统的常用于临床评估患者颈部肌肉异常运动模式的方法主要有手动测量法、传感器测量法以及头颅及脊柱X摄像多角度摄片法。使用上述传统的异常模式评估方法需要专业的测量设备并且需要训练有素的医生进行操作，并且会给患者带来不适甚至痛苦。基于计算机视觉的评估方法使用患者的图像、视频等数据评估患者的异常运动模式，这种方法只需要使用摄像设备来采集数据，例如智能手机等，无需与患者进行直接接触，在保持评估准确性的同时，方便快捷，易于在远程辅助诊断中应用。
CN113554609A是一种基于单目视觉的颈部肌张力障碍模式评估方法，其仅使用正面RGB相机采集患者的正面RGB图像，并通过2D关键点检测模块检测出患者的2D关键点，再通过3D关键点检测模块将2D关键点提升到三维空间得到3D关键点，最后通过异常模式判别模块得到评估结果。其流程图如下图所示。而对于颈部肌张力障碍异常运动模式的评估需要使用精确的3D人体关键点坐标，使用单目RGB图像的缺点在于单个2D图像中并不包含3D信息，从2D图像中估计人体的3D坐标存在深度歧义的问题，最终得到的人体3D关键点坐标误差比较大，尤其是在Z轴方向上的误差较大，导致对于头屈伸和颈屈伸两个模式的评估的误差较大。因此，此专利提出的方法对于颈部肌张力障碍异常模式识别具有一定的局限性。
发明内容
本发明方法融合RBG图像以及深度图像，解决从2D图像中评估3D人体关键点坐标存在深度歧义的问题，提高人体3D关键点检测精度；并且结合侧面RGB图像检测人体侧面2D关键点，提高在Z轴方向人体头颈部运动角度检测的精度。在保留基于计算机视觉评估方法的无接触性以及便利性等优点的同时，提高颈部肌张力障碍异常模式评估的精确度。
技术方案
一种基于RGB-D图像的颈部肌张力障碍识别系统，其特征在于：包括五个模块，分别是视频数据采集模块(1)、正面2D关键点检测模块(2)、3D关键点检测模块(3)、侧面2D关键点检测模块(4)、异常运动模式判别模块(5)；其中：视频数据采集模块负责采集RGB-D相机的数据，其中正面RGB图像数据提供给正面2D关键点检测模块，深度图像提供给3D关键点检测模块；负责采集侧面RGB相机的数据，侧面RGB图像提供给侧面2D关键点检测模块；正面2D关键点检测模块利用正面RGB图像检测患者的正面2D关键点坐标，提供给3D关键点检测模块；3D关键点检测模块利用患者正面2D关键点坐标和患者深度图像检测患者的3D关键点，提供给异常模式判别模块；侧面2D关键点检测模块利用侧面RGB图像检测患者的侧面2D关键点坐标，提供给异常模式判别模块；
异常运动模式判别模块负责计算患者头颈部的运动角度并判断是否存在异常运动模式。
所述的应用系统，其特征在于：在正面2D关键点检测模块(2)和侧面2D关键点检测模块(4)中，使用深度学习目标检测方法，在视频图像中具体的位置，得到带边界框的图像；再使用深度学习人体关键点检测方法，将患者2D人体关键点检测出来。
所述的应用系统，其特征在于：在3D关键点检测模块(3)中，使用融合深度图像和3D关键点检测患者的正面3D人体关键点。
所述的应用系统，其特征在于：在正面2D关键点检测模块(2)中检测出患者的正面2D关键点坐标，其包含每个关键点x和y两个维度的数据；获取患者的正面深度视频，将深度视频分解成每一帧，并对每一帧的深度图像进行坐标系转换，使其坐标系与正面RGB图像的坐标系一致，这样深度图像的每个像素点于RGB图像的像素点一一对应；对于正面RGB图像中的每一个正面2D关键点，找到其对应深度图像中的像素点数据，该像素点表示z轴方向的数据，将其与2D关键点中的x轴和y轴方向的数据结合，得到3D关键点坐标数据；其中，所述的3D关键点包括左肩、右肩、左眼、右眼、左耳、右耳以及头、颈、鼻；该3D人体关键点。
所述的应用系统，其特征在于：在异常运动模式判别模块(5)中，利用检测出的2D以及3D人体关键点信息对患者的颈部肌肉的异常运动模式进行评估；根据头颈部运动的功能解剖学特点，“头-颈”概念将颈部肌张力障碍分为两种类型：
(1)累及头颈复合体，相对于颈部的头部异常运动；起始或终止与颅骨或C1椎体的肌肉异常收缩，牵拉头部，可以导致头侧倾、头扭转和头屈伸；
(2)累及C2-7椎体，相对于躯干的颈部异常运动；起始并终止于C2椎体以下的肌肉收缩，牵拉颈部，可以导致颈侧倾、颈扭转和颈屈伸；
需要评估的异常运动模式有六种，分别是头侧倾和颈侧倾、头扭转和颈扭转、头屈伸和颈屈伸；其中对于头侧倾、颈侧倾以及头扭转和颈扭转使用患者正面人体关键点进行评估，而对于头屈伸和颈屈伸则使用患者侧面2D人体关键点进行评估。
所述的应用系统，其特征在于：对于头侧倾，根据夹角θ1的大小评估头侧倾的严重等级S1；
Figure BDA0003723720880000041
所述的应用系统，其特征在于：对于头侧倾，可以根据夹角θ2的大小评估颈侧倾的严重等级S2；
Figure BDA0003723720880000042
所述的应用系统，其特征在于：对于头扭转，可以根据夹角θ3的大小评估头扭转的严重等级S3；
Figure BDA0003723720880000043
所述的应用系统，其特征在于：对于颈扭转，可根据夹角θ4的大小评估颈侧倾的严重程度S4；
Figure BDA0003723720880000044
所述的应用系统，其特征在于：对于头屈伸，可以根据夹角θ5的大小评估头屈伸的严重程度S5；
Figure BDA0003723720880000045
对于颈屈伸，可以根据夹角θ6的大小评估颈屈伸的严重程度S6；
Figure BDA0003723720880000046
综上，对六种异常模式的严重等级评分进行累加即可得到最终的严重程度总评分Stotal；
Stotal＝S1+S2+S3+S4+S5+S6。
上述技术方案优势：
1、本方案中，步骤1同步采集患者正面RGB-D图像，步骤3融合深度数据以消除单视图RGB图像评估颈部肌张力障碍异常运动模式中出现的深度歧义问题，提高评估的精确性。
2、本方案中，步骤4采集患者侧面RGB图像，步骤5使用患者的2D侧面关键点评估患者头颈部在Z轴方向的运动，提高了评估的精确性。
综上，本方案对颈部肌张力障碍异常模式评估领域的推进有着极大的有益效果。
附图说明
图1为本发明系统模块图
图2为本发明硬件示意图
图3为本发明算法流程图
图4为实施例侧面2D人体关键点图
图5为实施例3D人体关键点图
图6为实施例头侧倾模式图
图7为实施例颈侧倾模式图
图8为实施例头扭转模式图
图9为实施例颈扭转模式图
图10为实施例头屈伸模式图
图11为实施例颈屈伸模式图
具体实施方式
如图1所示系统模块图，本发明公开评估模型系统，主要包括五个主要模块，分别是视频数据采集模块1、正面2D关键点检测模块2、3D关键点检测模块3、侧面2D关键点检测模块4、异常运动模式判别模块5。其中：
视频数据采集模块负责采集RGB-D相机的数据，其中正面RGB图像数据提供给正面2D关键点检测模块，深度图像提供给3D关键点检测模块；负责采集侧面RGB相机的数据，侧面RGB图像提供给侧面2D关键点检测模块；
正面2D关键点检测模块利用正面RGB图像检测患者的正面2D关键点坐标，提供给3D关键点检测模块；
3D关键点检测模块利用患者正面2D关键点坐标和患者深度图像检测患者的3D关键点，提供给异常模式判别模块；
侧面2D关键点检测模块利用侧面RGB图像检测患者的侧面2D关键点坐标，提供给异常模式判别模块；
异常运动模式判别模块负责计算患者头颈部的运动角度并判断是否存在异常运动模式。
在正面2D关键点检测模块2和侧面2D关键点检测模块4中，使用深度学习目标检测方法，例如YOLO算法检测患者在视频图像中具体的位置，得到带边界框的图像。再使用深度学习人体关键点检测方法，例如HRNet模型将患者2D人体关键点检测出来。
在3D关键点检测模块3中，使用融合深度图像和3D关键点检测患者的正面3D人体关键点。在正面2D关键点检测模块2中检测出患者的正面2D关键点坐标，其包含每个关键点x和y两个维度的数据。获取患者的正面深度视频，将深度视频分解成每一帧，并对每一帧的深度图像进行坐标系转换，使其坐标系与正面RGB图像的坐标系一致，这样深度图像的每个像素点于RGB图像的像素点一一对应。对于正面RGB图像中的每一个正面2D关键点，找到其对应深度图像中的像素点数据，该像素点表示z轴方向的数据，将其与2D关键点中的x轴和y轴方向的数据结合，得到3D关键点坐标数据。其中，所述的3D关键点包括左肩、右肩、左眼、右眼、左耳、右耳以及头、颈、鼻。该3D人体关键点如图5所示。
在异常运动模式判别模块5中，利用之前检测出的2D以及3D人体关键点信息对患者的颈部肌肉的异常运动模式进行评估。根据头颈部运动的功能解剖学特点，“头-颈”概念将颈部肌张力障碍分为两种类型：
(1)主要累及头颈复合体，相对于颈部的头部异常运动。起始或终止与颅骨或C1椎体的肌肉异常收缩，牵拉头部，可以导致头侧倾、头扭转和头屈伸。
(2)主要累及C2-7椎体，相对于躯干的颈部异常运动。起始并终止于C2椎体以下的肌肉收缩，牵拉颈部，可以导致颈侧倾、颈扭转和颈屈伸。
需要评估的异常运动模式有6种，分别是头侧倾和颈侧倾、头扭转和颈扭转、头屈伸和颈屈伸。其中对于头侧倾、颈侧倾以及头扭转和颈扭转使用患者正面人体关键点进行评估，而对于头屈伸和颈屈伸则使用患者侧面2D人体关键点进行评估。
对于头侧倾，根据夹角θ1的大小评估头侧倾的严重等级S1；
Figure BDA0003723720880000071
对于头侧倾，可以根据夹角θ2的大小评估颈侧倾的严重等级S2；
Figure BDA0003723720880000072
对于头扭转，可以根据夹角θ3的大小评估头扭转的严重等级S3；
Figure BDA0003723720880000073
对于颈扭转，可根据夹角θ4的大小评估颈侧倾的严重程度S4；
Figure BDA0003723720880000074
对于头屈伸，可以根据夹角θ5的大小评估头屈伸的严重程度S5；
Figure BDA0003723720880000075
对于颈屈伸，可以根据夹角θ6的大小评估颈屈伸的严重程度S6；
Figure BDA0003723720880000076
综上，对六种异常模式的严重等级评分进行累加即可得到最终的严重程度总评分Stotal；
Stotal＝S1+S2+S3+S4+S5+S6
进一步地，所述同步视频采集模块使用RGB-D相机放置于患者正面，普通RGB相机放置于患者侧面，采集连续的视频图像序列来获取患者的视频图像数据；采集软件同步启动和关闭正侧面相机，使得采集到的视频图像每一帧都是同步的。
进一步地，2D关键点检测模块首先将患者的视频序列分解成为一帧一帧图像，进而检测患者在每一帧图像中的边界框，即以视频图像的左上角作为原点，给出患者身体的矩形框的左上角坐标P1(x1,y1)和右下角坐标P2(x2,y2)，或给出患者身体区域矩形框的左上角坐标P1(x,y)以及长和宽。将患者在每一帧图像中的矩形区域截取出来。
进一步地，利用截取的患者的区域图像，定位患者的2D人体关键点坐标信息。其中，所述的2D人体关键点至少包括左肩、右肩、左眼、右眼、左耳、右耳以及头、颈、鼻。对于正面和侧面的视频数据分别进行上述步骤，分别得到患者正面2D关键点坐标和侧面2D关键点坐标。其中，所述的正面2D人体关键点包括左肩、右肩、左眼、右眼、左耳、右耳以及头、颈、鼻，而所述的侧面2D人体关键点至少包括左肩、左眼、左耳以及头、颈、鼻。
进一步地，根据患者的正面2D关键点坐标和正面深度图像数据，融合得到患者的3D关键点坐标位置。具体地，将深度图像的坐标系转化为与正面RGB图像坐标系一致，使得其像素点一一对应。对应每一个正面2D关键点的位置(x,y)，以其在深度图像中对应位置的像素值作为z，即得到患者的3D关键点(x,y,z)。所述上述3D人体关键点至少包括左肩、右肩、左眼、右眼、左耳、右耳以及头、颈、鼻。
进一步地，所述3D人体关键点中，可以通过计算过双眼与水平向量在冠状面的夹角来评估头侧倾的严重程度；通过计算颈-头向量与竖直向量在冠状面的夹角来评估颈侧倾严重程度；通过计算双眼的向量在水平面上的投影与水平向量在水平面的夹角来评估头扭转的严重程度；通过计算颈-头向量在水平面上的投影与竖直向量的夹角来评估颈侧倾的严重程度；
进一步地，所述侧面2D人体关键点中，通过计算耳-鼻向量与水平向量在矢状面的夹角来评估头屈伸的严重程度；通过计算颈-耳向量与竖直向量在矢状面的夹角来评估颈屈伸的严重程度。
作为实施例硬件示意图如图2所示：
在步骤1的图像数据采集模块中，正面使用RGB-D相机，例如Azure Kinect、Kinectv2等设备采集患者的正面RGB-D视频图像；侧面使用普通RGB相机采集患者的侧面RGB图像。患者的位置位于正面RGB-D相机前方大约两米以及侧面RGB相机前方大约两米的位置。开始采集时，系统同步启动正面相机和侧面相机；结束采集时，系统同步结束正面相机和侧面相机，使得得到的正面和侧面的视频每一帧都是同步的。采集到的视频包括正面RGB视频、正面深度视频、侧面RGB视频，都存储在硬盘中，供后续模块读取。
本发明系统中，体现出的算法流程图如图3所示。
步骤1使用正面RGB-D相机采集患者的正面RGB图像和患者的正面深度图像，使用侧面RGB相机采集侧面RGB图像。
步骤2利用步骤1采集的患者正面RGB图像，检测出患者的正面2D关键点坐标。
步骤3结合上述步骤1采集到的患者正面深度图像和步骤2中检测出的正面2D关键点坐标，检测出患者的正面3D关键点坐标。
步骤4利用步骤1采集的患者侧面RGB图像，检测出患者的侧面2D关键点坐标。
步骤5结合步骤3得到的3D人体关键点和步骤4得到的侧面2D人体关键点，对患者的颈部肌张力障碍异常模式进行判别。
在步骤2和步骤4的2D关键点检测模块中，使用深度学习目标检测方法，例如YOLO算法检测患者在视频图像中具体的位置，得到带边界框的图像。再使用深度学习人体关键点检测方法，例如HRNet模型将患者2D人体关键点检测出来。
步骤2使用对正面RGB视频数据进行处理，使用的深度神经网络模型使用人体正面关键点数据集进行预训练。具体地，首先将获取到的患者视频图像分解成每一帧图片，再获取YOLO深度神经网络模型，使用包含人体边界框标注的数据集COCO对YOLO模型进行预训练，将每一帧图片逐帧输入所述YOLO深度神经网络模型中，检测患者的边界框信息，并将使用此边界框将患者图像从原图像中截取出来；获取HRNet神经网络模型，使用包含人体2D关键点的数据集COCO对HRNet模型进行预训练，将截取出来的每一帧患者图像输入HRNet模型生成患者的2D人体关键点坐标信息。其中，所述的正面2D人体关键点至少包括左肩、左眼、左耳以及头、颈、鼻。
步骤4使用对侧面RGB视频数据进行处理，使用的深度神经网络模型使用人体侧面关键点数据集进行预训练。具体地，首先将获取到的患者视频图像分解成每一帧图片，再获取YOLO深度神经网络模型，使用包含人体边界框标注的数据集COCO对YOLO模型进行预训练，将每一帧图片逐帧输入所述YOLO深度神经网络模型中，检测患者的边界框信息，并将使用此边界框将患者图像从原图像中截取出来；获取HRNet神经网络模型，使用包含人体2D关键点的数据集COCO对HRNet模型进行预训练，将截取出来的每一帧患者图像输入HRNet模型生成患者的2D人体关键点坐标信息。其中，所述的侧面2D人体关键点至少包括左肩、左眼、左耳以及头、颈、鼻。该侧面2D人体关键点如图4所示。
在步骤3中，3D人体关键点检测模块中，使用融合深度图像和3D人体关键点检测患者的正面3D人体关键点。在正面2D关键点检测模块中检测出患者的正面2D关键点坐标，其包含每个关键点x和y两个维度的数据。获取患者的正面深度视频，将深度视频分解成每一帧，并对每一帧的深度图像进行坐标系转换，使其坐标系与正面RGB图像的坐标系一致，这样深度图像的每个像素点于RGB图像的像素点一一对应。对于正面RGB图像中的每一个正面2D关键点，找到其对应深度图像中的像素点数据，该像素点表示z轴方向的数据，将其与2D关键点中的x轴和y轴方向的数据结合，得到3D关键点坐标数据。其中，所述的3D关键点包括左肩、右肩、左眼、右眼、左耳、右耳以及头、颈、鼻。该3D人体关键点如图5所示。
在步骤5的异常运动模式判别模块中，利用之前检测出的2D以及3D人体关键点信息对患者的颈部肌肉的异常运动模式进行评估。根据头颈部运动的功能解剖学特点，“头-颈”概念将颈部肌张力障碍分为两种类型：
(1)主要累及头颈复合体，相对于颈部的头部异常运动。起始或终止与颅骨或C1椎体的肌肉异常收缩，牵拉头部，可以导致头侧倾、头扭转和头屈伸。
(2)主要累及C2-7椎体，相对于躯干的颈部异常运动。起始并终止于C2椎体以下的肌肉收缩，牵拉颈部，可以导致颈侧倾、颈扭转和颈屈伸。
在步骤5中，需要评估的异常运动模式有6种，分别是头侧倾和颈侧倾、头扭转和颈扭转、头屈伸和颈屈伸。其中对于头侧倾、颈侧倾以及头扭转和颈扭转使用患者正面人体关键点进行评估，而对于头屈伸和颈屈伸则使用患者侧面2D人体关键点进行评估。
在步骤5中，对于头侧倾，使用患者的正面3D人体关键点评估。通过计算过双眼的向量与水平向量之间的夹角θ2进行评估，如图6所示。正常状态下θ1接近0度，当出现头侧倾现象时，θ1会变大。可以根据夹角θ1的大小评估头侧倾的严重等级S1。
Figure BDA0003723720880000111
在步骤5中，对于颈侧倾，使用患者的正面3D人体关键点评估。通过计算颈-头向量与竖直向量之间的夹角θ2进行评估，如图7所示。正常状态下θ2接近90度，当出现侧倾现象时，θ2会变小。可以根据夹角θ2的大小评估颈侧倾的严重等级S2。
Figure BDA0003723720880000112
在步骤5中，对于头扭转，使用患者的正面3D人体关键点评估。通过计算过双眼的向量在水平面上的投影与水平向量的夹角θ3进行评估，如图8所示。正常状态下θ3接近0度，当出现头扭转现象时，θ3会变大。可以根据夹角θ3的大小评估头扭转的严重等级S3。
Figure BDA0003723720880000113
在步骤5中，对于颈扭转，使用患者的正面3D人体关键点评估。通过计算颈-头向量在水平面上的投影与竖直向量的夹角θ4进行评估，如图9所示。正常状态下，夹角θ4接近0度，当出现颈扭转现象时，θ4会变大。可根据夹角θ4的大小评估颈侧倾的严重程度S4。
Figure BDA0003723720880000114
在步骤5中，对于头屈伸，使用患者的侧面2D人体关键点评估。通过计算耳-鼻向量与水平向量的夹角θ5在进行评估，如图10所示。正常状态下，θ5接近0度，若出现头屈伸现象，夹角θ5会变大。可以根据夹角θ5的大小评估头屈伸的严重程度S5。
Figure BDA0003723720880000121
在步骤5中，对于颈屈伸，使用患者的侧面2D人体关键点评估。通过计算颈-耳向量与竖直向量的夹角θ6进行评估，如图11所示。正常状态下，θ6接近0度，当出现颈屈伸现象时，夹角θ6会减少。可以根据夹角θ6的大小评估颈屈伸的严重程度S6。
Figure BDA0003723720880000122
综上，对六种异常模式的严重等级评分进行累加即可得到最终的严重程度总评分Stotal。
Stotal＝S1+S2+S3+S4+S5+S6。

Claims (10)

1.一种基于RGB-D图像的颈部肌张力障碍识别系统，其特征在于：包括五个模块，分别是视频数据采集模块(1)、正面2D关键点检测模块(2)、3D关键点检测模块(3)、侧面2D关键点检测模块(4)、异常运动模式判别模块(5)；其中：
视频数据采集模块负责采集RGB-D相机的数据，其中正面RGB图像数据提供给正面2D关键点检测模块，深度图像提供给3D关键点检测模块；负责采集侧面RGB相机的数据，侧面RGB图像提供给侧面2D关键点检测模块；正面2D关键点检测模块利用正面RGB图像检测患者的正面2D关键点坐标，提供给3D关键点检测模块；3D关键点检测模块利用患者正面2D关键点坐标和患者深度图像检测患者的3D关键点，提供给异常模式判别模块；侧面2D关键点检测模块利用侧面RGB图像检测患者的侧面2D关键点坐标，提供给异常模式判别模块；异常运动模式判别模块负责计算患者头颈部的运动角度并判断是否存在异常运动模式。
2.根据权利要求1所述的应用系统，其特征在于：在正面2D关键点检测模块(2)和侧面2D关键点检测模块(4)中，使用深度学习目标检测方法，在视频图像中具体的位置，得到带边界框的图像；再使用深度学习人体关键点检测方法，将患者2D人体关键点检测出来。
3.根据权利要求1所述的应用系统，其特征在于：在正面2D关键点检测模块(2)中检测出患者的正面2D关键点坐标，其包含每个关键点x和y两个维度的数据；获取患者的正面深度视频，将深度视频分解成每一帧，并对每一帧的深度图像进行坐标系转换，使其坐标系与正面RGB图像的坐标系一致，这样深度图像的每个像素点于RGB图像的像素点一一对应；对于正面RGB图像中的每一个正面2D关键点，找到其对应深度图像中的像素点数据，该像素点表示z轴方向的数据，将其与2D关键点中的x轴和y轴方向的数据结合，得到3D关键点坐标数据；其中，所述的3D关键点包括左肩、右肩、左眼、右眼、左耳、右耳以及头、颈、鼻；该3D人体关键点。
4.根据权利要求1所述的应用系统，其特征在于：在异常运动模式判别模块(5)中，利用检测出的2D以及3D人体关键点信息对患者的颈部肌肉的异常运动模式进行评估；根据头颈部运动的功能解剖学特点，“头-颈”概念将颈部肌张力障碍分为两种类型：
(1)累及头颈复合体，相对于颈部的头部异常运动；起始或终止与颅骨或C1椎体的肌肉异常收缩，牵拉头部，可以导致头侧倾、头扭转和头屈伸；
(2)累及C2-7椎体，相对于躯干的颈部异常运动；起始并终止于C2椎体以下的肌肉收缩，牵拉颈部，可以导致颈侧倾、颈扭转和颈屈伸；
需要评估的异常运动模式有六种，分别是头侧倾和颈侧倾、头扭转和颈扭转、头屈伸和颈屈伸；其中对于头侧倾、颈侧倾以及头扭转和颈扭转使用患者正面人体关键点进行评估，而对于头屈伸和颈屈伸则使用患者侧面2D人体关键点进行评估。
5.根据权利要求4所述的应用系统，其特征在于：对于头侧倾，根据夹角θ1的大小评估头侧倾的严重等级S1；
Figure FDA0003723720870000021
6.根据权利要求4所述的应用系统，其特征在于：对于头侧倾，可以根据夹角θ2的大小评估颈侧倾的严重等级S2；
Figure FDA0003723720870000022
7.根据权利要求4所述的应用系统，其特征在于：对于头扭转，可以根据夹角θ3的大小评估头扭转的严重等级S3；
Figure FDA0003723720870000023
8.根据权利要求4所述的应用系统，其特征在于：对于颈扭转，可根据夹角θ4的大小评估颈侧倾的严重程度S4；
Figure FDA0003723720870000024
9.根据权利要求4所述的应用系统，其特征在于：对于头屈伸，可以根据夹角θ5的大小评估头屈伸的严重程度S5；
Figure FDA0003723720870000031
10.根据权利要求4所述的应用系统，其特征在于：对于颈屈伸，可以根据夹角θ6的大小评估颈屈伸的严重程度S6；
Figure FDA0003723720870000032
综上，对六种异常模式的严重等级评分进行累加即可得到最终的严重程度总评分Stotal；
Stotal＝S1+S2+S3+S4+S5+S6。
CN202210759556.3A 2022-06-30 2022-06-30 一种基于rgb-d图像的颈部肌张力障碍识别系统 Pending CN115294018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210759556.3A CN115294018A (zh) 2022-06-30 2022-06-30 一种基于rgb-d图像的颈部肌张力障碍识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210759556.3A CN115294018A (zh) 2022-06-30 2022-06-30 一种基于rgb-d图像的颈部肌张力障碍识别系统

Publications (1)

Publication Number Publication Date
CN115294018A true CN115294018A (zh) 2022-11-04

Family

ID=83823228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210759556.3A Pending CN115294018A (zh) 2022-06-30 2022-06-30 一种基于rgb-d图像的颈部肌张力障碍识别系统

Country Status (1)

Country Link
CN (1) CN115294018A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630551A (zh) * 2023-07-25 2023-08-22 凝动万生医疗科技(武汉)有限公司 运动捕捉和评估装置及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630551A (zh) * 2023-07-25 2023-08-22 凝动万生医疗科技(武汉)有限公司 运动捕捉和评估装置及其方法
CN116630551B (zh) * 2023-07-25 2023-11-07 凝动万生医疗科技(武汉)有限公司 运动捕捉和评估装置及其方法

Similar Documents

Publication Publication Date Title
US10201273B2 (en) Method for determining ocular measurements using a consumer sensor
CN105574518B (zh) 人脸活体检测的方法和装置
TWI383325B (zh) 臉部表情辨識
JP4692526B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN105427385A (zh) 一种基于多层形变模型的高保真人脸三维重建方法
US20110116707A1 (en) Method for grouping 3d models to classify constitution
CN112308932B (zh) 一种注视检测方法、装置、设备及存储介质
JP4936491B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
CN105913013A (zh) 双目视觉人脸识别算法
US11945125B2 (en) Auxiliary photographing device for dyskinesia analysis, and control method and apparatus for auxiliary photographing device for dyskinesia analysis
CN111933275A (zh) 一种基于眼动与面部表情的抑郁评估系统
CN109887071A (zh) 一种3d电子内镜系统及三维重建方法
CN112232128B (zh) 基于视线追踪的老年残障人士照护需求识别方法
CN107749084A (zh) 一种基于图像三维重建技术的虚拟试戴方法和系统
CN112257641A (zh) 一种人脸识别活体检测方法
TWI557601B (zh) 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體
CN115359093A (zh) 一种基于单目的注视点估计视线追踪方法
CN115294018A (zh) 一种基于rgb-d图像的颈部肌张力障碍识别系统
JP4682372B2 (ja) 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム
CN110472546A (zh) 一种婴幼儿非接触式眼动特征提取装置及方法
CN112686865B (zh) 一种3d视图辅助检测方法、系统、装置及存储介质
KR100930594B1 (ko) 안면 영상 촬영장치 및 그의 안면 특징점 검출 방법
CN111275754B (zh) 一种基于深度学习的脸部痘印比例计算方法
Jiménez et al. Face tracking and pose estimation with automatic three-dimensional model construction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination