CN111626226B - 一种颈部转动识别方法及系统 - Google Patents

Abstract

本发明公开了一种颈部转动识别方法及系统，属于三维识别技术。本发明设计了一个UV位置图，它是记录完整面部点云的3D坐标的2D图像，同时在每个UV位置保留语义。然后，训练一个具有加权损失的简单编码器‑解码器网络，该网络将更多的精力放在更具备区分度的特征区域上，以从单个2D面部图像中回归UV位置图。

Description

一种颈部转动识别方法及系统

技术领域

本发明涉及三维识别技术，特别是一种颈部转动识别方法及系统。

背景技术

鼻咽癌放化疗病人，颈椎受射线照射后可能导致颈椎关节僵硬，甚至无法转头，因此病人需进行颈部训练以预防颈部僵硬，训练效果目前暂无量化措施，因此拟研发一款颈部转动训练识别APP，即利用安卓手机前置摄像头拍照或者小视频方式测量颈部水平转向的角度。如果转向角度＜45°左右说明颈椎关节开始硬化，需要进行医疗干预。技术实现上的关键环节在于移动设备上的头颈部扭转角度的实时识别。目前头部姿态的识别检测方法多采用两步骤的方案，即首先采用脸部标志点识别进行人脸位置对齐，再经非线性优化方法拟合出头部扭转的姿态。这一类方法在小转角头部姿态的情况下运行良好，但对于大转角姿态与部分遮挡场景时，由于脸部标志点的缺失，识别失效或存在较大偏差。其根本原因是由于脸部标志点是2D的低维空间，而脸部姿态的求解需要升维到3D空间，所以造成了这类方法无法突破的内生局限性。因此，如何加入3D脸部姿态的三维信息，在这个应用场景变得必不可少。

本发明基于广西鼻咽癌临床医学研究中心的多项课题(合同编号：桂科AB16450009，81960186，桂科AB1850010，Z2015686,Z20180753),课题目的在于解决鼻咽癌方面遇到的医疗问题。

发明内容

本发明的发明目的是，针对上述问题，提供一种颈部转动识别方法及系统，为能够实现自然场景下，实时稳定的检测出人体头颈转动角度，通过端到端的深度学习神经元网络结构，学习人脸2D语义标志点和人脸3D模型特征，能够进行头颈转动姿态的快速稳定检测。

为达到上述目的，本发明所采用的技术方案是：

一种颈部转动识别方法，其特征在于，包括如下步骤：

1)初始化，颈部康复训练前通过摄像头获取待识别的对象正向平视摄像头且颈部不转动时的脸部初始图像；颈部康复训练时通过摄像头拍照或录像获取得到对象在颈部转向过程的脸部图像；

2)将所述初始图像转化为256×256×3的输入图像；

3)已训练的编码器-解码器网络通过卷积层将输入图像缩小为8×8×512个特征图，并通过转置的卷积层生成预测的256×256×3位置图对于所有卷积或转置卷积层使用4的内核大小，并使用ReLU层进行激活；编码器-解码器网络根据加权损失函数来测量地面真实位置图和网络输出之间的差异，输出初始UV位置图；

4)将重复上述步骤2)和3),获取得到脸部图像对应UV位置图，将UV位置图与初始UV位置图在同一三维坐标系中并分别拉伸投影形成对应的2D位置图，分析两2D位置图变化情况得到脸部旋转角度；

步骤3)中，对编码器-解码器网对脸部五官部分特征的权重值加权，使用损失函数为：

Loss＝∑||Pos(u,v)-P^～os(u,v)||·W(u,v)

其中，(u，v)表示每个像素坐标，Pos(u，v)表示预测位置图；给P～os(u，v)表示定地面真实位置图，W(u，v)表示权重掩码。

优选的，所述摄像头为手机、平板电脑、智能电视、移动电脑上的摄像头。

优选的，所述编码器-解码器网络对脸部五官部分特征划分4个子区域，区域1对应68个面部标志；子区域2对应眼、鼻子、嘴巴；子区域3对应其他脸部区域：子区域4对应颈部；在损失函数中子区域1-4比重占比为16：4：3：8。

优选的，包括摄像模块、训练模块、角度识别模块、显示模块、远程诊断模块和康复训练模块，

所述摄像模块用于获取得到对象脸部图像；

所述训练模块中设置编码器-解码器网络，编码器-解码器网络通过训练将对象脸部图像的单个2D面部图形生成UV位置图；编码器-解码器网采用300W-LP数据库进行脸部训练，生成3D训练数据集，通过UV拉伸投影形成将3D训练数据集生成对应的2D位置图数据集；

所述角度识别模块通过比较UV位置图的变化获取脸部旋转角度，即颈部转动角度；

所述显示模块将颈部转动角度显示到对象的带屏幕的智能设备中；

所述远程诊断模块将摄像模块拍摄图像传送到医护端，并显示颈部转动角度；

所述康复训练模块制定对象康复中颈部水平转向训练计划，并通过颈部转动角度判断对象每次旋转是否到位。

由于采用上述技术方案，本发明具有以下有益效果：

本发明通过位置图回归网络的端到端方法，以联合预测人脸细密特征点并重建3D人脸形状。通过UV位置图记录完整面部点云的3D坐标的2D图像，同时在每个UV位置保留语义；然后，训练一个具有加权损失的简单编码器-解码器网络，集中在更具备区分度的特征区域上，以从单个2D面部图像中回归UV位置图。通过UV位置图的变化可以识别得到脸部的旋转情况以及颈部的旋转情况，可以应用到移动端进行快速稳定识别，帮助医生连接对象患者的康复情况。

附图说明

图1是本发明流程功能示意图。

图2是本发明颈部康复辅助装置结构正视图。

图3是本发明颈部康复辅助装置结构剖视图。

图4是本发明限位条安装结构结构示意图。

图中，1-底座、2-旋转支架、21-长条形孔、3-下颚固定件、31-下颚托、32-电动升降杆、4-握把、5-固定件、6-旋转电机、7-旋转编码器、8-摄像支架、9-限位器、10-限位条、11-固定限位块、12-极限限位块。

具体实施方式

以下结合附图对发明的具体实施进一步说明。

一种颈部转动识别方法，包括如下步骤：

1)初始化，颈部康复训练前通过摄像头获取待识别的对象正向平视摄像头且颈部不转动时的脸部初始图像；颈部康复训练时通过摄像头拍照或录像获取得到对象在颈部转向过程的脸部图像。所述摄像头为手机、平板电脑、智能电视、移动电脑上的摄像头。

2)将所述初始图像转化为256×256×3的输入图像。

3)已训练的编码器-解码器网络通过卷积层将输入图像缩小为8×8×512个特征图，并通过转置的卷积层生成预测的256×256×3位置图对于所有卷积或转置卷积层使用4的内核大小，并使用ReLU层进行激活；编码器-解码器网络根据加权损失函数来测量地面真实位置图和网络输出之间的差异，输出初始UV位置图。所述编码器-解码器网络对脸部五官部分特征划分4个子区域，区域1对应68个面部标志；子区域2对应眼、鼻子、嘴巴；子区域3对应其他脸部区域：子区域4对应颈部；在损失函数中子区域1-4比重占比为16：4：3：8。

4)将重复上述步骤2)和3),获取得到脸部图像对应UV位置图，将UV位置图与初始UV位置图在同一三维坐标系中并分别拉伸投影形成对应的2D位置图，分析两2D位置图变化情况得到脸部旋转角度。

步骤3)中，对编码器-解码器网对脸部五官部分特征的权重值加权，使用损失函数为：

Loss＝∑||Pos(u,v)-P^～os(u,v)||·W(u,v)

其中，(u，v)表示每个像素坐标，Pos(u，v)表示预测位置图；给P～os(u，v)表示定地面真实位置图，W(u，v)表示权重掩码。

一种颈部转动识别系统可以是基于智能手机的辅助系统，具体制作成一手机APP、或者基于微信的小程序。当然也可以是基于云端的系统，摄像头连接云端的系统。包括摄像模块、训练模块、角度识别模块、显示模块、远程诊断模块和康复训练模块，

所述摄像模块用于获取得到对象脸部图像。

所述训练模块中设置编码器-解码器网络，编码器-解码器网络通过训练将对象脸部图像的单个2D面部图形生成UV位置图；编码器-解码器网采用300W-LP数据库进行脸部训练，生成3D训练数据集，通过UV拉伸投影形成将3D训练数据集生成对应的2D位置图数据集。

所述角度识别模块通过比较UV位置图的变化获取脸部旋转角度，即颈部转动角度。具体是通过同一三维坐标系中并分别拉伸投影形成对应的2D位置图，分析两2D位置图变化情况得到脸部旋转角度。具体在三维坐标系将UV位置图在一坐标面中投影，例如在2D位置图底部的坐标面投影，这样可以确定UV位置图钟对应眼、鼻子、嘴巴标志点的投影，通过确定标志点相对坐标面的角度变化可以得到颈部角度变化。

所述显示模块将颈部转动角度显示到对象的带屏幕的智能设备中。

所述远程诊断模块将摄像模块拍摄图像传送到医护端，并显示颈部转动角度。

所述康复训练模块制定对象康复中颈部水平转向训练计划，并通过颈部转动角度判断对象每次旋转是否到位。

本方案目标是从单个2D图像中回归3D面部几何形状及其密集的对应信息。通过深层网络直接预测，将3D面孔中所有点的坐标连接为向量，并使用网络对其进行预测。然而，这种从3D空间到1D向量的投影会丢弃点之间的空间邻接信息，这增加了训练深度神经网络的难度。空间上相邻的点可以在预测其位置时共享权重，这可以通过使用卷积层轻松实现，而作为一维矢量的坐标需要完全连接的层才能使用更多参数来预测每个点，从而增加了网络规模，并且很难训练。为了解决以前的工作中存在的问题，使用UV位置图来表示具有对齐信息的完整3D面部结构。UV位置图或简称UV位置图，是记录UV空间中所有点的3D位置的2D图像。

采用深度学习网络将输入的RGB图像转换为位置图图像，因此采用了编解码器结构来学习传递函数。编码器部分从一个卷积层开始，然后是10个残差块，这些残差块将256×256×3的输入图像缩小为8×8×512个特征图，解码器部分包含17个转置的卷积层以生成预测的256×256×3位置图对于所有卷积或转置卷积层，使用4的内核大小，并使用ReLU层进行激活。鉴于位置图既包含完整的3D信息又包含密集的对齐结果，因此在训练或推断过程中不需要额外的网络模块即可完成多任务。

为了学习网络的参数，建立了一个损失函数来测量地面真实位置图和网络输出之间的差异。均方误差MSE是此类学习任务的常用损失。但是，MSE平等对待所有点，因此它并不完全适合于学习位置图。由于面部的中央区域比其他区域具有更多的判别特征，因此使用权重蒙版来形成损失函数。根据目标，将点分为四类，每类在损失函数中都有自己的权重。68个面部关键点的位置权重最高，以确保网络学习这些点的准确位置。对于表示每个像素坐标的u，v，我们将预测位置图表示为Pos(u，v)。给定地面真实位置图

(u，v)和权重掩码W(u，v)，损失函数定义为：

Loss＝∑||Pos(u,v)-P^～os(u,v)||·W(u,v)

如上所述，由于联合学习2D语义信息和3D几何信息，因此现有的单一数据集无法满足学习的需要，需要结合多数据集，实现新型训练数据集的生成。选择的数据集为300W-LP等，选择带有3D模型参数的数据，通过UV拉伸投影形成对应的2D位置图数据集，具体不再详述。

由于鼻咽癌放化疗后，存在对象病人无法通过自身身体力量完成训练，或者达不到需要的训练量，影响康复效果，因此设置了康复训练辅助系统，用来完成颈部转动识别系统的应用实施。

如图2-4所示，辅助装置包括固定支架、旋转支架2、下颚固定件53、摄像支架8、旋转电机6、旋转编码器7、限位器9和控制单元。

固定支架包括底座1、握把4和固定件5，所述底座1底面水平且铺有防滑垫，所述握把4成左右对称设置在底座1两端，用于对象双手握紧。通过固定支架可以将整个辅助装置固定在如书桌或饭桌上。

固定件5包括夹紧块、固定螺钉和固定螺母。通过固定螺钉、固定螺母使得夹紧块与底座1形成对书桌或饭桌桌边夹持，从而实现固定。

旋转支架2设置在固定支架上端并与固定支架旋转连接，所述旋转电机6设置在固定支架上并与固定支架底部中间连接；旋转电机6上安装旋转编码器7。旋转支架2用于辅助带动对象患者头部转动，从而实现颈部转动训练。

下颚固定件53固定在旋转支架2上，摄像支架8设置在旋转支架2侧壁并朝外延伸，所述摄像支架8远离旋转支架2的一端设有用于手机放置的夹持组件，所述夹持组件高度与下颚固定件53高度一致，并正向朝向下颚固定件53。下颚固定件53用于支撑对象患者的下颚，使得对象患者头部可以跟随旋转支架2旋转。

限位器9包括限位条10、限位电机、角度传感器和固定限位块11，所述固定限位块11设置在固定支架上并贴近旋转支架2左右两端，所述限位条10设置两根并形成V形结构，且限位条10通过相近的端部上轮齿结构形成联动结构、且与旋转支架2旋转连接，所述限位电机固定在旋转支架2上并与一限位条10轮齿结构转动连接，所述角度传感器设置在另一限位条10轮齿结构中心处并与其连接；两所述限位条10轮齿结构相远离的一端均伸出旋转支架2位于两固定限位块11之间，限位条10与固定限位块11形成限位关系，两所述限位条10形成V形结构的夹角为0-180°。限位器9用于限制旋转支架2的旋转角度，避免多转或意外发生。

控制单元分别电连接连接旋转电机6、旋转编码器7、限位电机、角度传感器。

对辅助装置功能进一步完善，摄像支架8与旋转支架2铰接连接，且摄像支架8为能够伸缩并向上朝旋转支架2。所述控制单元包括无线模块和wifi模块，通过无线模块能够连接设置在摄像支架8上的手机，通过wifi模块能够连接局域网。所述旋转支架2前后两端固定有极限限位块12，所述极限限位块12高度与固定限位块11对应。所述旋转支架2可用旋转框体替代，所述旋转框体上设有对应限位条10伸出的长条形孔21。所述下颚固定件53包括电动升降杆32和下颚托31，所述下颚托31呈弯月形，所述电动升降杆32一端固定在旋转支架2内，另一端设置在旋转支架2外并与下颚托31固定连接。还包括语音模块，所述语音模块设置在固定支架内并与控制单元连接。

在使用时，先安装好辅助装置，将安装有辅助系统的手机安装在摄像支架8上，将辅助系统连接控制辅助装置的控制单元。开始前对象患者通过辅助系统显示模块旋转训练计划，对象患者坐在辅助装置正前方，下颚对应枕在下颚托31上，双手握紧握把4。辅助系统将训练计划中设定的阈值发送到控制单元，控制单元控制限位器9设定限位角度。辅助系统控制辅助装置安装训练计划进行旋转，辅助系统记录训练情况并生成分析图表。

上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (2)

1.一种颈部转动识别方法，其特征在于，包括如下步骤：

1）初始化，颈部康复训练前通过摄像头获取待识别的对象正向平视摄像头且颈部不转动时的脸部初始图像；颈部康复训练时通过摄像头拍照或录像获取得到对象在颈部转向过程的脸部图像；

2）将所述初始图像转化为256×256×3的输入图像；

3）已训练的编码器-解码器网络通过卷积层将输入图像缩小为8×8×512个特征图，并通过转置的卷积层生成预测的256×256×3位置图对于所有卷积或转置卷积层使用4的内核大小，并使用ReLU层进行激活；编码器-解码器网络根据加权损失函数来测量地面真实位置图和网络输出之间的差异，输出初始UV位置图；

4）将重复上述步骤2）和3）,获取得到脸部图像对应UV位置图，将UV位置图与初始UV位置图在同一三维坐标系中并分别拉伸投影形成对应的 2D 位置图，分析两2D位置图变化情况得到脸部旋转角度；

步骤3）中，对编码器-解码器网对脸部五官部分特征的权重值加权，使用损失函数为：

其中，（u，v）表示每个像素坐标，Pos（u，v）表示预测位置图；给P~os（u，v）表示定地面真实位置图，W（u，v）表示权重掩码；

所述编码器-解码器网络对脸部五官部分特征划分4个子区域，区域1对应68个面部标志；子区域2对应眼、鼻子、嘴巴；子区域3对应其他脸部区域：子区域4对应颈部；在损失函数中子区域1-4比重占比为16：4：3：8；

基于上述步骤的颈部转动识别系统包括摄像模块、训练模块、角度识别模块、显示模块、远程诊断模块和康复训练模块，

所述摄像模块用于获取得到对象脸部图像；

所述训练模块中设置编码器-解码器网络，编码器-解码器网络通过训练将对象脸部图像的单个2D面部图形生成UV位置图；编码器-解码器网采用300W-LP数据库进行脸部训练，生成3D训练数据集，通过UV拉伸投影形成将3D训练数据集生成对应的2D位置图数据集；

所述角度识别模块通过比较UV位置图的变化获取脸部旋转角度，即颈部转动角度；

所述显示模块将颈部转动角度显示到对象的带屏幕的智能设备中；

所述远程诊断模块将摄像模块拍摄图像传送到医护端，并显示颈部转动角度；

所述康复训练模块制定对象康复中颈部水平转向训练计划，并通过颈部转动角度判断对象每次旋转是否到位；

用来完成颈部转动识别系统的应用实施的装置为辅助装置，辅助装置包括固定支架、旋转支架、下颚固定件、摄像支架、旋转电机、旋转编码器、限位器和控制单元；固定支架包括底座、握把和固定件，所述底座底面水平且铺有防滑垫，所述握把成左右对称设置在底座两端，用于对象双手握紧；固定件包括夹紧块、固定螺钉和固定螺母；旋转支架设置在固定支架上端并与固定支架旋转连接，所述旋转电机设置在固定支架上并与固定支架底部中间连接；旋转电机上安装旋转编码器；下颚固定件固定在旋转支架上，摄像支架设置在旋转支架侧壁并朝外延伸，所述摄像支架远离旋转支架的一端设有用于手机放置的夹持组件，所述夹持组件高度与下颚固定件高度一致，并正向朝向下颚固定件；下颚固定件用于支撑对象患者的下颚，使得对象患者头部可以跟随旋转支架旋转；限位器包括限位条、限位电机、角度传感器和固定限位块，所述固定限位块设置在固定支架上并贴近旋转支架左右两端，所述限位条设置两根并形成V形结构，且限位条通过相近的端部上轮齿结构形成联动结构、且与旋转支架旋转连接，所述限位电机固定在旋转支架上并与一限位条轮齿结构转动连接，所述角度传感器设置在另一限位条轮齿结构中心处并与其连接；两所述限位条轮齿结构相远离的一端均伸出旋转支架位于两固定限位块之间，限位条与固定限位块形成限位关系，两所述限位条形成V形结构的夹角为0-180°；控制单元分别电连接连接旋转电机、旋转编码器、限位电机、角度传感器。

2.根据权利要求1所述的一种颈部转动识别方法,其特征在于：所述摄像头为手机、平板电脑、智能电视、移动电脑上的摄像头。

Images