CN113570579B - 一种判断足踝异常旋转机制的图像检测识别方法 - Google Patents

Abstract

本发明针对现有技术的局限性，提出了一种判断足踝异常旋转机制的图像检测识别方法，通过对预训练过的端到端的人体解析框架进行微调，利用微调过的模型能够有效提取复杂环境下得到的图像中足踝以及脚局部的边缘信息，足踝与脚局部信息从环境中分离，进而准确地检测出判断图像中足踝是否存在畸变情况的关键点，能够低成本、自动化地实现足踝异常旋转机制的图像检测识别。

Description

一种判断足踝异常旋转机制的图像检测识别方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种判断足踝异常旋转机制的图像检测识别方法。

背景技术

足踝作为足部和脚部之间的关节，在身体各个方向运动的过程中起到极其重要的作用；同时踝关节的位置也在一定程度上反映人脚部的形状。因此，通过对足踝图像进行畸变识别，能够对步态分析、脚部训练与脚部形态判定等具有一定的研究意义。

但是，现在技术难以实现对足踝图像的畸变识别，主要原因在于复杂环境下得到的图像中足踝以及脚局部的边缘信息难以提取，无法将足踝与脚局部信息从环境中分离，进一步提取足踝在图像中的坐标点。

发明内容

针对现有技术的局限，本发明提出一种判断足踝异常旋转机制的图像检测识别方法，本发明采用的技术方案是：

一种判断足踝异常旋转机制的图像检测识别方法，包括以下步骤：

S1，获取待处理的腿部照片；

S2，通过使用经过微调的SCHP预训练模型对所述腿部照片中足踝部分以及小腿部分进行分割，获得包含足踝的腿部边缘坐标信息；

S3，从所述腿部边缘坐标信息中筛选出足踝坐标点；

S4，根据所述足踝坐标点计算所述腿部照片中足踝的倾斜角，通过对所述倾斜角进行判断，检测所述腿部照片中是否存在足踝畸变的情况。

相较于现有技术，本发明提供的判断足踝异常旋转机制的图像检测识别方法通过对预训练过的端到端的人体解析框架进行微调，利用微调过的模型能够有效提取复杂环境下得到的图像中足踝以及脚局部的边缘信息，足踝与脚局部信息从环境中分离，进而准确地检测出判断图像中足踝是否存在畸变情况的关键点，能够低成本、自动化地实现足踝异常旋转机制的图像检测识别。

进一步的，所述腿部照片为从腿部背面对足底到小腿腓肠肌之间的皮肤裸露部分拍摄得到的照片。

进一步的，所述步骤S2中包括以下步骤：

S21，使用经过微调的预训练模型SCHP对所述腿部照片中足踝部分以及小腿部分进行分割，获得所述腿部照片的分割着色图像；

S22，将所述分割着色图像转化为索引图像，根据所述索引图像中各像素点的索引值识别出所述索引图像中的背景信息，剔除所述背景信息；

S23，将剔除所述背景信息后的索引图像转化为二值图像，采用二值图像边缘提取算法从所述二值图像中提取腿部边缘坐标信息。

进一步的，所述步骤S3中包括以下步骤：

S31，按左右边缘对所述腿部边缘坐标信息进行区分，识别、排序左右边缘各自的凸起点以及凹陷点；

S32，分别在左右边缘，根据各凸起点与相邻凹陷点之间的高度距离以及宽度距离，识别、剔除所述凸起点以及凹陷点中的干扰点；

S33，在剔除干扰点后的凸起点以及凹陷点中，筛选出与上一个凹陷点的高度差大于预设的高度差阈值的凸起点作为足踝坐标点。

进一步的，所述步骤S4中足踝的倾斜角通过以下方式获得：

从腿部边缘坐标信息中识别出脚底部点；以左右边缘的足踝坐标点间连线的中点作为第一中点，连接所述第一中点与脚底部点得到第一线段；获取所述第一中点与所述脚底部点的高度差；在所述第一中点以上相同高度差的位置，取左右边缘点间连线的中点作为第二中点，连接所述第二中点与第一中点得到第二线段；计算所述第一线段与第二线段之间的夹角作为足踝的倾斜角。

进一步的，所述步骤S2中经过微调的SCHP预训练模型通过对预训练过的A-CE2P调整学习率以及权重后，结合从腿部背面对足底到小腿腓肠肌之间的皮肤裸露部分拍摄得到的腿部照片样本训练后获得。

进一步的，所述学习率采取余弦退火学习率：

η＝ηmin+1/2(ηmax-ηmin)(1+cos((Tcur/T)π))；

其中，η表示学习率，T表示周期。

本发明还包括以下内容：

一种判断足踝异常旋转机制的图像检测识别系统，包括：

待处理数据获取模块，用于获取待处理的腿部照片；

腿部边缘坐标信息获取模块，用于通过使用经过微调的SCHP预训练模型对所述腿部照片中足踝部分以及小腿部分进行分割，获得包含足踝的腿部边缘坐标信息；

足踝坐标点获取模块，用于从所述腿部边缘坐标信息中筛选出足踝坐标点；

计算检测模块，用于根据所述足踝坐标点计算所述腿部照片中足踝的倾斜角，通过对所述倾斜角进行判断，检测所述腿部照片中是否存在足踝畸变的情况。

一种介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现前述的判断足踝异常旋转机制的图像检测识别方法的步骤。

一种计算机设备，包括介质、处理器以及储存在所述介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现前述的判断足踝异常旋转机制的图像检测识别方法的步骤。

附图说明

图1为本发明实施例1提供的判断足踝异常旋转机制的图像检测识别方法的流程示意图；

图2为本发明实施例1步骤S2的流程示意图；

图3为本发明实施例1待处理的腿部照片示例；

图4为本发明实施例1分割着色图像示例；

图5为本发明实施例1步骤S3的流程示意图；

图6为本发明实施例1凸起点以及凹陷点图像示例；

图7为本发明实施例1干扰点图像示例；

图8为本发明实施例1所述步骤S32对应的剔除干扰点的图像示例；

图9本发明实施例1所述步骤S33对应的腿部图像示例；

图10本发明实施例2提供的判断足踝异常旋转机制的图像检测识别系统示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。以下结合附图和实施例对本发明做进一步的阐述。

为了解决现有技术的局限性，本实施例提供了一种技术方案，下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

一种判断足踝异常旋转机制的图像检测识别方法，请参阅图1，包括以下步骤：

S1，获取待处理的腿部照片；

S2，通过使用经过微调的SCHP预训练模型对所述腿部照片中足踝部分以及小腿部分进行分割，获得包含足踝的腿部边缘坐标信息；

S3，从所述腿部边缘坐标信息中筛选出足踝坐标点；

S4，根据所述足踝坐标点计算所述腿部照片中足踝的倾斜角，通过对所述倾斜角进行判断，检测所述腿部照片中是否存在足踝畸变的情况。

相较于现有技术，本实施例提供的判断足踝异常旋转机制的图像检测识别方法通过对预训练过的端到端的人体解析框架进行微调，利用微调过的模型能够有效提取复杂环境下得到的图像中足踝以及脚局部的边缘信息，足踝与脚局部信息从环境中分离，进而准确地检测出判断图像中足踝是否存在畸变情况的关键点，能够低成本、自动化地实现足踝异常旋转机制的图像检测识别。

具体的，所述腿部照片为从腿部背面对足底到小腿腓肠肌之间的皮肤裸露部分拍摄得到的照片。

所述步骤S2中经过微调的SCHP预训练模型即(Self-Correction for HumanParising，SCHP)人体解析自校正预训练模型。

作为一种优选实施例，所述步骤S2中经过微调的SCHP预训练模型通过对预训练过的A-CE2P调整学习率以及权重后，结合从腿部背面对足底到小腿腓肠肌之间的皮肤裸露部分拍摄得到的腿部照片样本训练后获得。

进一步的，所述学习率采取余弦退火学习率：

η＝ηmin+1/2(ηmax-ηmin)(1+cos((Tcur/T)π))；

其中，η表示学习率，T表示周期。

具体的，在过程中采用LIP数据集，对局部的人体信息表现比其他数据集具备优势，标签检测人体部位名称存在于大量的预训练数据集中，本模型在结合小部分工作场景照片以及数据集训练后的实际校验结果后能够表现良好，输入的图片采用的模板为图片输入的分辨率大小，在输出图片上采用原始图片标识格式(像素排布上为PAL5，数组遍历输入值生成)。

对于拍摄所得图片，本实施例的模型会对图片做一个内部标签匹配过程，标签数量取决于训练采用的数据集，影响模型的检测能力与分化程度，在这个过程中图片中的标签可以由CE2P(初代模型)输入输出的过程逐一匹配。

SCHP预训练模型基于A-CE2P(即增强版CE2P)做了训练策略的改进，在CE2P中，平衡的交叉熵损失L对边缘预测进行优化，使学习到的边缘感知特征可以通过融合分支间接区分人体部位便于人体解析，CE2P中单单得到多物品的解析预测，分割图种类样式与后续SCHP结果相同，存在许多边沿的缺失(锯齿)。

在A-CE2P中，通过添加一个约束条件惩罚不匹配来保持解析预测和边界预测的一致性，进一步利用预测的边界信息，即尽可能精确地保证预测的解析结果与预测的边缘匹配，最终框架的目标是最小化3个损失的超参数总加和(分别为：一致性约束、解析损失、边缘损失)。

微调，即Fine-tuning。Fine-tuning后的SCHP模型主要对A-CE2P做几个改进，增加了2个被训练指标：学习率n(指模型训练次数以及正确率的复合正数，可以在初步校正训练开始具备一个初值)以及权重w(多个次优模型权重的个数与次优模型数量相同，数组形式)；

微调过程中包括在线校正训练过程：在一个比较好的初步模型下(比如预训练过的A-CE2P，其已经初步能够分割图像信息)，这里的“好”是指训练损失随着标签的匹配过程降低(校验过程)，在线地从当前模型触发在线校正过程(在线是指在每次训练过程记录一个周期，对该模型质量做个学习率记录，并且标记总循环数)，本实施例对其采取余弦退火学习率改进，设置当前周期的模型学习率为n,n存在初值与末尾值。

余弦退火学习率的公式初值权重很大，模型方法非常注意过拟合问题，单独迭代会在后期使模型过拟合，初值的保持避免了中间训练过程造成的污染带来的影响(前提条件：模型校验过程开始就能被定义成“好”的)。

微调过程中还包括在线模型聚合，在线校正训练过程中存在模型学习率记录，针对各个记录间隔上，存在某T个周期就有次优模型(在当轮测试表现效果最优)，在经历T+k周期，假设存在K个记录，并且具备b个次优模型(b<＝K)，在单一模型外部表达的情况下，不同的次优模型存在相当大的模型差异。设置w权重，每次运行模型聚合，都会进行w数组元素添加与更新，分别对于各个模型的权重w分量做调整，用每一轮epoch的训练结果数据发送批归一化层(取标准差)以调整w，可以达到对模型做聚合的操作。在连续的模型聚合周期中，模型的泛化能力得到提高。

进一步的，请参阅图2，所述步骤S2中包括以下步骤：

S21，使用经过微调的预训练模型SCHP对所述腿部照片中足踝部分以及小腿部分进行分割，获得所述腿部照片的分割着色图像；

S22，将所述分割着色图像转化为索引图像，根据所述索引图像中各像素点的索引值识别出所述索引图像中的背景信息，剔除所述背景信息；

S23，将剔除所述背景信息后的索引图像转化为二值图像，采用二值图像边缘提取算法从所述二值图像中提取腿部边缘坐标信息。

具体的，请参阅图3、4，在视觉上，确定边界的物件的属性(颜色区分)不同，称为分割。在操作上，随着图像输出作色赋值(PNG，图层为单层)，需要对所有像素做多个同属性的物件的色彩作色(如果图片中有多个被识别物，如裤子或人体，两种颜色两次全部迭代)，作色方式为每次取余的色彩值轮换。

所述背景信息包括分割图像输出分割着色中不属于脚部信息的着色的干扰信息，如图3中的脚垫颜色。在一种优选的实施例中，当索引图片中每个像素的索引值大小大于17或者小于10则被判断为非脚部信息，剔除掉该着色，如图3、4所示图片衣物分割紫色等干扰色(即图3左上角部分的内容，转化为符合附图要求的图片后已无法分辨)应该去掉变为黑色，或者说索引的值变为0。

进一步的，请参阅图5、6，所述步骤S3中包括以下步骤：

S31，按左右边缘对所述腿部边缘坐标信息进行区分，识别、排序左右边缘各自的凸起点以及凹陷点；

S32，分别在左右边缘，根据各凸起点与相邻凹陷点之间的高度距离以及宽度距离，识别、剔除所述凸起点以及凹陷点中的干扰点；

S33，在剔除干扰点后的凸起点以及凹陷点中，筛选出与上一个凹陷点的高度差大于预设的高度差阈值的凸起点作为足踝坐标点。

具体的，在所述步骤S31中，判断凹凸起点的依据是：由于边缘数组中，从上到下不断递增中数组会有局部最低点(凹陷点，也就是随着高度不断递增，点的x坐标会有向左向右偏移的趋势，到了局部会形成一个凹陷点)和局部最高点(凸起点)，所以可以判凸起点以及凹陷点。所述凸起点以及凹陷点以二维数组存储，对于连续的凸起点或凹陷点可区均值处理；在本实例中，所述凸起点相当于足踝坐标点的候选点。

在所述步骤S32中，作为一种优选实施例，请参阅图7、8，当凸起点和上一个凹陷点的高度距离(即y坐标的距离小于10像素时)小于10像素时，则剔除蓝色的凸起点；当凸起点和上一个凹陷点的高度距离(即y坐标的距离小于80像素时)小于80像素并且当凸起点和下一个凹陷点的高度距离(即y坐标的距离小于5像素时)小于5像素时，则剔除蓝色的凹陷点；当凸起点和上一个凹陷点的宽度距离(即x坐标的距离小于5像素时)小于5像素并且当凸起点和下一个凹陷点的高度距离(即y坐标的距离小于120像素时)小于120像素时，则剔除蓝色的凹陷点；当凸起点和下一个凹陷点的宽度距离(即x坐标的距离小于5像素时)小于5像素，并当凸起点和上一个凹陷点的高度距离(即y坐标的距离小于100像素时)小于100像素，并当凸起点和下一个凹陷点的高度距离(即y坐标的距离小于45像素时)小于45像素时，则剔除蓝色的凹陷点。

在所述步骤S33中，作为一种优选实施例，请参阅图9，以凸起点的y坐标的位置大于高度47％且该凸起点和上一个凹陷点的高度差大于80像素的情况为足踝坐标点。

作为一种优选实施例，所述步骤S4中足踝的倾斜角通过以下方式获得：

从腿部边缘坐标信息中识别出脚底部点；以左右边缘的足踝坐标点间连线的中点作为第一中点，连接所述第一中点与脚底部点得到第一线段；获取所述第一中点与所述脚底部点的高度差；在所述第一中点以上相同高度差的位置，取左右边缘点间连线的中点作为第二中点，连接所述第二中点与第一中点得到第二线段；计算所述第一线段与第二线段之间的夹角作为足踝的倾斜角。

具体的，所述脚底部点取边缘最底的一个点，如果有多个点则取多个点的坐标的平均值。

实施例2

一种判断足踝异常旋转机制的图像检测识别系统，请参阅图10，包括：

待处理数据获取模块1，用于获取待处理的腿部照片；

腿部边缘坐标信息获取模块2，用于通过使用经过微调的SCHP预训练模型对所述腿部照片中足踝部分以及小腿部分进行分割，获得包含足踝的腿部边缘坐标信息；

足踝坐标点获取模块3，用于从所述腿部边缘坐标信息中筛选出足踝坐标点；

计算检测模块4，用于根据所述足踝坐标点计算所述腿部照片中足踝的倾斜角，通过对所述倾斜角进行判断，检测所述腿部照片中是否存在足踝畸变的情况。

实施例3

一种介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现如实施例1所述的判断足踝异常旋转机制的图像检测识别方法的步骤。

实施例4

一种计算机设备，其特征在于，包括介质、处理器以及储存在所述介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现如实施例1所述的判断足踝异常旋转机制的图像检测识别方法的步骤。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种判断足踝异常旋转机制的图像检测识别方法，其特征在于，包括以下步骤：

S1，获取待处理的腿部照片；

S2，通过使用经过微调的SCHP预训练模型对所述腿部照片中足踝部分以及小腿部分进行分割，获得包含足踝的腿部边缘坐标信息；

S3，从所述腿部边缘坐标信息中筛选出足踝坐标点；

S4，根据所述足踝坐标点计算所述腿部照片中足踝的倾斜角，通过对所述倾斜角进行判断，检测所述腿部照片中是否存在足踝畸变的情况；

所述步骤S3中包括以下步骤：

S31，按左右边缘对所述腿部边缘坐标信息进行区分，识别、排序左右边缘各自的凸起点以及凹陷点；

S32，分别在左右边缘，根据各凸起点与相邻凹陷点之间的高度距离以及宽度距离，识别、剔除所述凸起点以及凹陷点中的干扰点；

S33，在剔除干扰点后的凸起点以及凹陷点中，筛选出与上一个凹陷点的高度差大于预设的高度差阈值的凸起点作为足踝坐标点。

2.根据权利要求1所述的判断足踝异常旋转机制的图像检测识别方法，其特征在于，所述腿部照片为从腿部背面对足底到小腿腓肠肌之间的皮肤裸露部分拍摄得到的照片。

3.根据权利要求1所述的判断足踝异常旋转机制的图像检测识别方法，其特征在于，所述步骤S2中包括以下步骤：

S21，使用经过微调的预训练模型SCHP对所述腿部照片中足踝部分以及小腿部分进行分割，获得所述腿部照片的分割着色图像；

S22，将所述分割着色图像转化为索引图像，根据所述索引图像中各像素点的索引值识别出所述索引图像中的背景信息，剔除所述背景信息；

S23，将剔除所述背景信息后的索引图像转化为二值图像，采用二值图像边缘提取算法从所述二值图像中提取腿部边缘坐标信息。

4.根据权利要求1所述的判断足踝异常旋转机制的图像检测识别方法，其特征在于，所述步骤S4中足踝的倾斜角通过以下方式获得：

从腿部边缘坐标信息中识别出脚底部点；以左右边缘的足踝坐标点间连线的中点作为第一中点，连接所述第一中点与脚底部点得到第一线段；获取所述第一中点与所述脚底部点的高度差；在所述第一中点以上相同高度差的位置，取左右边缘点间连线的中点作为第二中点，连接所述第二中点与第一中点得到第二线段；计算所述第一线段与第二线段之间的夹角作为足踝的倾斜角。

5.根据权利要求1所述的判断足踝异常旋转机制的图像检测识别方法，其特征在于，所述步骤S2中经过微调的SCHP预训练模型通过对预训练过的A-CE2P调整学习率以及权重后，结合从腿部背面对足底到小腿腓肠肌之间的皮肤裸露部分拍摄得到的腿部照片样本训练后获得。

6.根据权利要求5所述的判断足踝异常旋转机制的图像检测识别方法，其特征在于，所述学习率采取余弦退火学习率：

η＝ηmin+1/2(ηmax-ηmin)(1+cos((Tcur/T)π))；

其中，η表示学习率，T表示周期。

7.一种判断足踝异常旋转机制的图像检测识别系统，其特征在于，包括：

待处理数据获取模块(1)，用于获取待处理的腿部照片；

腿部边缘坐标信息获取模块(2)，用于通过使用经过微调的SCHP预训练模型对所述腿部照片中足踝部分以及小腿部分进行分割，获得包含足踝的腿部边缘坐标信息；

足踝坐标点获取模块(3)，用于从所述腿部边缘坐标信息中筛选出足踝坐标点：按左右边缘对所述腿部边缘坐标信息进行区分，识别、排序左右边缘各自的凸起点以及凹陷点；分别在左右边缘，根据各凸起点与相邻凹陷点之间的高度距离以及宽度距离，识别、剔除所述凸起点以及凹陷点中的干扰点；在剔除干扰点后的凸起点以及凹陷点中，筛选出与上一个凹陷点的高度差大于预设的高度差阈值的凸起点作为足踝坐标点；

计算检测模块(4)，用于根据所述足踝坐标点计算所述腿部照片中足踝的倾斜角，通过对所述倾斜角进行判断，检测所述腿部照片中是否存在足踝畸变的情况。

8.一种介质，其上储存有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的判断足踝异常旋转机制的图像检测识别方法的步骤。

9.一种计算机设备，其特征在于，包括介质、处理器以及储存在所述介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的判断足踝异常旋转机制的图像检测识别方法的步骤。

Images