CN114419024A - 一种基于视频图像分析来判断脚踝形变的智能算法 - Google Patents

一种基于视频图像分析来判断脚踝形变的智能算法 Download PDF

Info

Publication number
CN114419024A
CN114419024A CN202210099986.7A CN202210099986A CN114419024A CN 114419024 A CN114419024 A CN 114419024A CN 202210099986 A CN202210099986 A CN 202210099986A CN 114419024 A CN114419024 A CN 114419024A
Authority
CN
China
Prior art keywords
coordinate
ankle
key
point
leg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210099986.7A
Other languages
English (en)
Other versions
CN114419024B (zh
Inventor
陶国珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Dongli Sports Technology Co ltd
Original Assignee
Guangzhou Dongli Sports Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dongli Sports Technology Co ltd filed Critical Guangzhou Dongli Sports Technology Co ltd
Priority to CN202210099986.7A priority Critical patent/CN114419024B/zh
Publication of CN114419024A publication Critical patent/CN114419024A/zh
Application granted granted Critical
Publication of CN114419024B publication Critical patent/CN114419024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种基于视频图像分析来判断脚踝形变的智能算法,包括:获取脚部的视频影像;从时频影像中获取多个画面帧;通过预训练的分割模型对各个画面帧进行特征分割和坐标提取,以得到对应各个画面帧的包含足踝的腿部边缘坐标数组;从各个腿部边缘坐标数组中获取对应多组左关键坐标点和右关键坐标点;根据各组左关键坐标点和右关键坐标点,获得对应的多个足踝的中心关键点,根据各个画面帧的足踝的中心关键点建立坐标系,以首个画面帧对应的足踝的中心关键点为参照,根据其他画面帧对应的足踝的中心关键点的分布情况进行判断,从而有助于用户可以准确高效地判断自身足踝的形变情况。

Description

一种基于视频图像分析来判断脚踝形变的智能算法
技术领域
本发明涉及人体部位检测的技术领域,具体涉及一种基于视频图像分析来判断脚踝形变的智能算法。
背景技术
足踝作为人类足部与腿部相连的部分,是腿部血液流经的重要部分,对于人体的健康起着至关重要的作用。很多脚部和腿部的疾病都与足踝长时间弯曲有一定关系,而普通民众在没有经过医院检查诊断的前提下,很难发现自身的足踝形变情况,同时也无法在足踝出现问题时候,及时发现并矫正,甚至错过了最佳的矫正时间。
发明内容
本发明的目的在于克服现有技术中的缺点与不足,提供一种基于视频图像分析来判断脚踝形变的智能算法,可以通过识别视频中各个画面帧的足踝关键点的分布情况,从而判断足踝的形变情况,有助于用户可以准确高效地判断自身足踝的形变情况。
本发明的一个实施例提供了一种基于视频图像分析来判断脚踝形变的智能算法,包括以下步骤:
获取脚部的视频影像;所述脚部的视频影像为被拍摄对象单脚站立时,从站立的一脚的腿部裸露到膝盖部分的影像;
根据预设的时间间隔,从所述时频影像中获取多个画面帧;
通过预训练的分割模型对各个所述画面帧进行特征分割和坐标提取,以得到对应各个所述画面帧的包含足踝的腿部边缘坐标数组;
从各个所述腿部边缘坐标数组中获取对应多组左关键坐标点和右关键坐标点;其中,各组所述左关键坐标点和右关键坐标点与各个所述画面帧一一对应;
根据各组所述左关键坐标点和右关键坐标点,获得对应的多个所述足踝的中心关键点,
根据各个所述画面帧的足踝的中心关键点建立坐标系,以首个所述画面帧对应的所述足踝的中心关键点为参照,根据其他所述画面帧对应的所述足踝的中心关键点的分布情况进行判断,以检测出足踝的形变情况。
相对于现有技术,本发明的基于视频图像分析来判断脚踝形变的智能算法,可以根据脚部的视频影像得到多个画面帧,然后从所述画面帧中提取出脚部边缘坐标数组,然后从所述脚部边缘坐标数组中获取左关键点和右关键点,并根据所述左关键点和右关键点得到所述足踝的中心关键点,再根据各个所述画面帧的足踝的中心关键点构建坐标系,然后以首个所述画面帧对应的所述足踝的中心关键点为参照,根据其他所述画面帧对应的所述足踝的中心关键点的分布情况进行判断,以检测出足踝的形变情况,从而实现准确高效地判断足踝的形变情况。
进一步地,所述通过预训练的分割模型对各个所述画面帧进行特征分割和坐标提取,以得到对应各个所述画面帧的包含足踝的腿部边缘坐标数组,包括以下步骤:
通过预训练的分割模型对各个所述画面帧中进行语义分割,以获得各个所述画面帧的包含腿部的分割着色图像;
将所述分割着色图像转化为索引图像,根据所述索引图像中各像素点的索引值识别出所述索引图像中的背景信息,剔除所述背景信息;
将剔除所述背景信息后的索引图像转化为二值图像,通过二值化边缘提取算法获取所述二值图像中脚部及腿部边缘的坐标数组。可以准确地从各个所述画面帧中提取到脚部及腿部边缘的坐标数组。
进一步地,所述从各个所述腿部边缘坐标数组中获取对应多组左关键坐标点和右关键坐标点,还包括以下步骤:
根据纵坐标值从大到小排序,将排第一的数组和排最后的数据;
根据所述排第一的坐标数组和排最后的坐标数组得到腿部和腿部裸露的长度;
根据排前二的坐标数组确定膝盖的左右边缘坐标;
根据所述膝盖的左右边缘坐标、所述腿部和腿部裸露的长度和预设的比例值,分别得到所述左关键坐标点和右关键坐标点的高度值;
根据所述左关键坐标点和右关键坐标点的高度值,从所述腿部边缘坐标数组中,获取对应的左关键坐标点和右关键坐标点。
进一步地,所述根据各组所述左关键坐标点和右关键坐标点,获得对应的多个所述足踝的中心关键点,包括以下步骤:
将所述左关键坐标点和右关键坐标点的横坐标的平均值,确定为对应的所述足踝的中心关键点的横坐标值;
将所述左关键坐标点和右关键坐标点的纵坐标的平均值,确定为对应的所述足踝的中心关键点的纵坐标值;
根据所述足踝的中心关键点的横坐标值和所述足踝的中心关键点的纵坐标值,确定所述足踝的中心关键点。利用所述左关键坐标点和右关键坐标点,获得对应的所述足踝的中心关键点。
进一步地,还包括以下步骤:
根据首个所述画面帧对应的所述足踝的中心关键点的横坐标建立第一参考线;
获取各个所述足踝的中心关键点相对于所述第一参考线的分布情况,以得到所述足踝的形变情况。通过所述第一参考线,可以更清晰地获取各个所述足踝的中心关键点的分布情况。
进一步地,所述根据排前二的坐标数组确定膝盖的左右边缘坐标包括以下步骤:
比对排前二的坐标数组的横坐标值,将对应横坐标值较小的所述坐标数组确定为左边缘坐标,将对应横坐标值较大的所述坐标数组确定为右边缘坐标。区分出排前二的坐标数组是属于左边缘坐标还是右边缘坐标。
进一步地,所述根据所述左关键坐标点和右关键坐标点的高度值,从所述腿部边缘坐标数组中,获取对应的左关键坐标点和右关键坐标点,包括以下步骤:
根据所述左边缘坐标和所述右边缘坐标的横坐标的平均值,建立第二参考线;
基于所述第二参考线,将所述腿部边缘坐标数组分为腿部左边缘坐标数组和腿部右边缘坐标数组;
根据所述左关键坐标点的高度值,从所述腿部左边缘坐标数组中获取对应的左关键坐标点;
根据所述右关键坐标点的高度值,从所述腿部右边缘坐标数组中获取对应的右关键坐标点。
为了能更清晰的理解本发明,以下将结合附图说明阐述本发明的具体实施方式。
附图说明
图1为本发明一个实施例的基于视频图像分析来判断脚踝形变的智能算法的流程图。
图2为左脚单脚站立并向右弯曲时足踝的中心关键点的坐标图。
图3为左脚单脚站立并向左弯曲时足踝的中心关键点的坐标图。
图4为本发明一个实施例的基于视频图像分析来判断脚踝形变的智能算法的步骤S3的流程图。
图5为本发明一个实施例的基于视频图像分析来判断脚踝形变的智能算法的步骤S4的流程图。
图6为本发明一个实施例的基于视频图像分析来判断脚踝形变的智能算法的步骤S5的流程图。
图7为本发明一个实施例的基于视频图像分析来判断脚踝形变的智能算法的步骤S6的流程图。
图8为本发明一个实施例的基于视频图像分析来判断脚踝形变的智能算法的步骤S45的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确,所描述的实施例仅仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请实施例保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。在本申请的描述中,需要理解的是,术语“第一”、“第二”、“第三”等仅用于区别类似的对象,而不必用于描述特定的顺序或先后次序,也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参阅图1,其是本发明一个实施例的基于视频图像分析来判断脚踝形变的智能算法的流程图,所述方法,应用于检测视频影像中脚部的足踝形变情况,所述方法包括以下步骤:
S1:获取脚部的视频影像;所述脚部的视频影像为被拍摄对象单脚站立时,从站立的一脚的腿部裸露到膝盖部分的影像。
优选地,所述视频影像是从腿部背面拍摄的,其拍摄范围为足底到小腿腓肠肌之间的皮肤裸露部分。所述视频影像的时长大于或等于12秒。优选地,所述视频影像包括单脚站立且足踝向左弯曲时的视频影像,以及单脚站立且足踝向右弯曲时的视频影像。
S2:根据预设的时间间隔,从所述时频影像中获取多个画面帧。
S3:通过预训练的分割模型对各个所述画面帧进行特征分割和坐标提取,以得到对应各个所述画面帧的包含足踝的腿部边缘坐标数组。
其中,所述分割模型为经过微调的SCHP预训练模型(Self-Correction for HumanParising,人体解析自校正预训练模型)。
SCHP预训练模型基于A-CE2P(即增强版CE2P)做了训练策略的改进,在CE2P中,平衡的交叉熵损失L对边缘预测进行优化,使学习到的边缘感知特征可以通过融合分支间接区分人体部位便于人体解析,CE2P中单单得到多物品的解析预测,分割图种类样式与后续SCHP结果相同,存在许多边沿的缺失(锯齿)。
在A-CE2P中,通过添加一个约束条件惩罚不匹配来保持解析预测和边界预测的一致性,进一步利用预测的边界信息,即尽可能精确地保证预测的解析结果与预测的边缘匹配,最终框架的目标是最小化3个损失的超参数总加和(分别为:一致性约束、解析损失、边缘损失)。
微调,即Fine-tuning。Fine-tuning后的SCHP模型主要对A-CE2P做几个改进,增加了2个被训练指标:学习率n(指模型训练次数以及正确率的复合正数,可以在初步校正训练开始具备一个初值)以及权重w(多个次优模型权重的个数与次优模型数量相同,数组形式);
微调过程中包括在线校正训练过程:在一个比较好的初步模型下(比如预训练过的A-CE2P,其已经初步能够分割图像信息),这里的“好”是指训练损失随着标签的匹配过程降低(校验过程),在线地从当前模型触发在线校正过程(在线是指在每次训练过程记录一个周期,对该模型质量做个学习率记录,并且标记总循环数),本实施例对其采取余弦退火学习率改进,设置当前周期的模型学习率为n,n存在初值与末尾值。
所述学习率采取余弦退火学习率:
η=ηmin+1/2(ηmax-ηmin)(1+cos((Tcur/T)π));
其中,η表示学习率,T表示周期。
余弦退火学习率的公式初值权重很大,模型方法非常注意过拟合问题,单独迭代会在后期使模型过拟合,初值的保持避免了中间训练过程造成的污染带来的影响(前提条件:模型校验过程开始就能被定义成“好”的)。
微调过程中还包括在线模型聚合,在线校正训练过程中存在模型学习率记录,针对各个记录间隔上,存在某T个周期就有次优模型(在当轮测试表现效果最优),在经历T+k周期,假设存在K个记录,并且具备b个次优模型(b<=K),在单一模型外部表达的情况下,不同的次优模型存在相当大的模型差异。设置w权重,每次运行模型聚合,都会进行w数组元素添加与更新,分别对于各个模型的权重w分量做调整,用每一轮epoch的训练结果数据发送批归一化层(取标准差)以调整w,可以达到对模型做聚合的操作。在连续的模型聚合周期中,模型的泛化能力得到提高。
S4:从各个所述腿部边缘坐标数组中获取对应多组左关键坐标点和右关键坐标点;其中,各组所述左关键坐标点和右关键坐标点与各个所述画面帧一一对应。
S5:根据各组所述左关键坐标点和右关键坐标点,获得对应的多个所述足踝的中心关键点。
S6:根据各个所述画面帧的足踝的中心关键点建立坐标系,以首个所述画面帧对应的所述足踝的中心关键点为参照,根据其他所述画面帧对应的所述足踝的中心关键点的分布情况进行判断,以检测出足踝的形变情况。如图2-3,其中,图2是左脚单脚站立并向右弯曲时足踝的中心关键点的坐标图,图3是左脚单脚站立并向左弯曲时足踝的中心关键点的坐标图。用户可以通过得到的坐标图直观的观察出足踝的形变情况。
相对于现有技术,本发明的基于视频图像分析来判断脚踝形变的智能算法,可以根据脚部的视频影像得到多个画面帧,然后从所述画面帧中提取出脚部边缘坐标数组,然后从所述脚部边缘坐标数组中获取左关键点和右关键点,并根据所述左关键点和右关键点得到所述足踝的中心关键点,再根据各个所述画面帧的足踝的中心关键点构建坐标系,然后以首个所述画面帧对应的所述足踝的中心关键点为参照,根据其他所述画面帧对应的所述足踝的中心关键点的分布情况进行判断,以检测出足踝的形变情况,从而实现准确高效地判断足踝的形变情况。
请参阅图4,在一个可行的实施例中,所述步骤S3:通过预训练的分割模型对各个所述画面帧进行特征分割和坐标提取,以得到对应各个所述画面帧的包含足踝的腿部边缘坐标数组,包括以下步骤:
S31:通过预训练的分割模型对各个所述画面帧中进行语义分割,以获得各个所述画面帧的包含腿部的分割着色图像。
S32:将所述分割着色图像转化为索引图像,根据所述索引图像中各像素点的索引值识别出所述索引图像中的背景信息,剔除所述背景信息。
S33:将剔除所述背景信息后的索引图像转化为二值图像,通过二值化边缘提取算法获取所述二值图像中脚部及腿部边缘的坐标数组。可以准确地从各个所述画面帧中提取到脚部及腿部边缘的坐标数组。
请参阅图5,在一个可行的实施例中,所述步骤S4:从各个所述腿部边缘坐标数组中获取对应多组左关键坐标点和右关键坐标点,还包括以下步骤:
S41:根据纵坐标值从大到小排序,将排第一的数组和排最后的数据。
S42:根据所述排第一的坐标数组和排最后的坐标数组得到腿部和腿部裸露的长度。
在所述步骤S42中,所述排第一的坐标数组一般对应为膝盖,因此所述排第一的坐标数组的纵坐标数值对应的是膝盖的高度,而排最后的坐标数组一般对应为足底,因此,排最后的坐标数组的纵坐标数值对应的是足底的高度,根据所述排第一的坐标数组和排最后的坐标数组的纵坐标数值的差值,可以得到腿部和腿部裸露的长度。
S43:根据排前二的坐标数组确定膝盖的左右边缘坐标。
S44:根据所述膝盖的左右边缘坐标、所述腿部和腿部裸露的长度和预设的比例值,分别得到所述左关键坐标点和右关键坐标点的高度值。
其中,所述比例值根据足踝相对于所述腿部和腿部裸露的位置得到,优选地,所述比例值受对象的性别、生活地理位置等参数的影响,其中所述比例值默认为4/5。
S45:根据所述左关键坐标点和右关键坐标点的高度值,从所述腿部边缘坐标数组中,获取对应的左关键坐标点和右关键坐标点。
请参阅图6,在一个可行的实施例中,所述步骤S5:根据各组所述左关键坐标点和右关键坐标点,获得对应的多个所述足踝的中心关键点;包括以下步骤:
S51:将所述左关键坐标点和右关键坐标点的横坐标的平均值,确定为对应的所述足踝的中心关键点的横坐标值;
S52:将所述左关键坐标点和右关键坐标点的纵坐标的平均值,确定为对应的所述足踝的中心关键点的纵坐标值;
S53:根据所述足踝的中心关键点的横坐标值和所述足踝的中心关键点的纵坐标值,确定所述足踝的中心关键点。利用所述左关键坐标点和右关键坐标点,获得对应的所述足踝的中心关键点。
请参阅图7,在一个可行的实施例中,还包括以下步骤:
S61:根据首个所述画面帧对应的所述足踝的中心关键点的横坐标建立第一参考线;
S62:获取各个所述足踝的中心关键点相对于所述第一参考线的分布情况,以得到所述足踝的形变情况。通过所述第一参考线,可以更清晰地获取各个所述足踝的中心关键点的分布情况。
在一个可行的实施例中,所述步骤S43:根据排前二的坐标数组确定膝盖的左右边缘坐标包括以下步骤:
比对排前二的坐标数组的横坐标值,将对应横坐标值较小的所述坐标数组确定为左边缘坐标,将对应横坐标值较大的所述坐标数组确定为右边缘坐标。区分出排前二的坐标数组是属于左边缘坐标还是右边缘坐标。
请参阅图8,在一个可行的实施例中,所述步骤S45:根据所述左关键坐标点和右关键坐标点的高度值,从所述腿部边缘坐标数组中,获取对应的左关键坐标点和右关键坐标点,包括以下步骤:
S451:根据所述左边缘坐标和所述右边缘坐标的横坐标的平均值,建立第二参考线;
S452:基于所述第二参考线,将所述腿部边缘坐标数组分为腿部左边缘坐标数组和腿部右边缘坐标数组;
S453:根据所述左关键坐标点的高度值,从所述腿部左边缘坐标数组中获取对应的左关键坐标点;
S454:根据所述右关键坐标点的高度值,从所述腿部右边缘坐标数组中获取对应的右关键坐标点。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中选定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中选定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中选定的功能的步骤。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种基于视频图像分析来判断脚踝形变的智能算法,其特征在于,所述方法包括以下步骤:
获取脚部的视频影像;所述脚部的视频影像为被拍摄对象单脚站立时,从站立的一脚的腿部裸露到膝盖部分的影像;
根据预设的时间间隔,从所述时频影像中获取多个画面帧;
通过预训练的分割模型对各个所述画面帧进行特征分割和坐标提取,以得到对应各个所述画面帧的包含足踝的腿部边缘坐标数组;
从各个所述腿部边缘坐标数组中获取对应多组左关键坐标点和右关键坐标点;其中,各组所述左关键坐标点和右关键坐标点与各个所述画面帧一一对应;
根据各组所述左关键坐标点和右关键坐标点,获得对应的多个所述足踝的中心关键点;
根据各个所述画面帧的足踝的中心关键点建立坐标系,以首个所述画面帧对应的所述足踝的中心关键点为参照,根据其他所述画面帧对应的所述足踝的中心关键点的分布情况进行判断,以检测出足踝的形变情况。
2.根据权利要求1所述的基于视频图像分析来判断脚踝形变的智能算法,其特征在于,所述通过预训练的分割模型对各个所述画面帧进行特征分割和坐标提取,以得到对应各个所述画面帧的包含足踝的腿部边缘坐标数组,包括以下步骤:
通过预训练的分割模型对各个所述画面帧中进行语义分割,以获得各个所述画面帧的包含腿部的分割着色图像;
将所述分割着色图像转化为索引图像,根据所述索引图像中各像素点的索引值识别出所述索引图像中的背景信息,剔除所述背景信息;
将剔除所述背景信息后的索引图像转化为二值图像,通过二值化边缘提取算法获取所述二值图像中脚部及腿部边缘的坐标数组。
3.根据权利要求2所述的基于视频图像分析来判断脚踝形变的智能算法,其特征在于,所述从各个所述腿部边缘坐标数组中获取对应多组左关键坐标点和右关键坐标点,还包括以下步骤:
根据纵坐标值从大到小排序,将排第一的数组和排最后的数据;
根据所述排第一的坐标数组和排最后的坐标数组得到腿部和腿部裸露的长度;
根据排前二的坐标数组确定膝盖的左右边缘坐标;
根据所述膝盖的左右边缘坐标、所述腿部和腿部裸露的长度和预设的比例值,分别得到所述左关键坐标点和右关键坐标点的高度值;
根据所述左关键坐标点和右关键坐标点的高度值,从所述腿部边缘坐标数组中,获取对应的左关键坐标点和右关键坐标点。
4.根据权利要求3所述的基于视频图像分析来判断脚踝形变的智能算法,其特征在于,所述根据各组所述左关键坐标点和右关键坐标点,获得对应的多个所述足踝的中心关键点,包括以下步骤:
将所述左关键坐标点和右关键坐标点的横坐标的平均值,确定为对应的所述足踝的中心关键点的横坐标值;
将所述左关键坐标点和右关键坐标点的纵坐标的平均值,确定为对应的所述足踝的中心关键点的纵坐标值;
根据所述足踝的中心关键点的横坐标值和所述足踝的中心关键点的纵坐标值,确定所述足踝的中心关键点。
5.根据权利要求4所述的基于视频图像分析来判断脚踝形变的智能算法,其特征在于,还包括以下步骤:
根据首个所述画面帧对应的所述足踝的中心关键点的横坐标建立第一参考线;
获取各个所述足踝的中心关键点相对于所述第一参考线的分布情况,以得到所述足踝的形变情况。
6.根据权利要求3所述的基于视频图像分析来判断脚踝形变的智能算法,其特征在于,所述根据排前二的坐标数组确定膝盖的左右边缘坐标包括以下步骤:
比对排前二的坐标数组的横坐标值,将对应横坐标值较小的所述坐标数组确定为左边缘坐标,将对应横坐标值较大的所述坐标数组确定为右边缘坐标。
7.根据权利要求4所述的基于视频图像分析来判断脚踝形变的智能算法,其特征在于,所述根据所述左关键坐标点和右关键坐标点的高度值,从所述腿部边缘坐标数组中,获取对应的左关键坐标点和右关键坐标点,包括以下步骤:
根据所述左边缘坐标和所述右边缘坐标的横坐标的平均值,建立第二参考线;
基于所述第二参考线,将所述腿部边缘坐标数组分为腿部左边缘坐标数组和腿部右边缘坐标数组;
根据所述左关键坐标点的高度值,从所述腿部左边缘坐标数组中获取对应的左关键坐标点;
根据所述右关键坐标点的高度值,从所述腿部右边缘坐标数组中获取对应的右关键坐标点。
CN202210099986.7A 2022-01-27 2022-01-27 一种基于视频图像分析来判断脚踝形变的方法 Active CN114419024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210099986.7A CN114419024B (zh) 2022-01-27 2022-01-27 一种基于视频图像分析来判断脚踝形变的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210099986.7A CN114419024B (zh) 2022-01-27 2022-01-27 一种基于视频图像分析来判断脚踝形变的方法

Publications (2)

Publication Number Publication Date
CN114419024A true CN114419024A (zh) 2022-04-29
CN114419024B CN114419024B (zh) 2023-06-27

Family

ID=81279857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210099986.7A Active CN114419024B (zh) 2022-01-27 2022-01-27 一种基于视频图像分析来判断脚踝形变的方法

Country Status (1)

Country Link
CN (1) CN114419024B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273611A (zh) * 2017-06-14 2017-10-20 北京航空航天大学 一种基于下肢行走特点的下肢康复机器人的步态规划方法
CN110264430A (zh) * 2019-06-29 2019-09-20 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110288553A (zh) * 2019-06-29 2019-09-27 北京字节跳动网络技术有限公司 图像美化方法、装置及电子设备
CN112287759A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于关键点的跌倒检测方法
CN112597898A (zh) * 2020-12-24 2021-04-02 珠高电气检测有限公司 基于实时计步的电力人员安全状态智能识别方法及介质
CN113570579A (zh) * 2021-07-29 2021-10-29 广州东利运动科技有限公司 一种判断足踝异常旋转机制的图像检测识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273611A (zh) * 2017-06-14 2017-10-20 北京航空航天大学 一种基于下肢行走特点的下肢康复机器人的步态规划方法
CN110264430A (zh) * 2019-06-29 2019-09-20 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110288553A (zh) * 2019-06-29 2019-09-27 北京字节跳动网络技术有限公司 图像美化方法、装置及电子设备
CN112287759A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于关键点的跌倒检测方法
CN112597898A (zh) * 2020-12-24 2021-04-02 珠高电气检测有限公司 基于实时计步的电力人员安全状态智能识别方法及介质
CN113570579A (zh) * 2021-07-29 2021-10-29 广州东利运动科技有限公司 一种判断足踝异常旋转机制的图像检测识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PEIKE LI ET AL.: ""Self-Correction for Human Parsing"", 《ARXIV》 *
宋晓燕 等: ""基于三维有限元仿真模拟的踝骨损伤生物力学分析"", 《生物工程医学研究》, vol. 38, no. 3 *
赵程伟: ""基于红外热像图的脚踝病变区分析研究"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 07 *

Also Published As

Publication number Publication date
CN114419024B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
Ringeval et al. Prediction of asynchronous dimensional emotion ratings from audiovisual and physiological data
CN105022929B (zh) 一种人格特质值测验的认知准确度分析方法
CN110464367B (zh) 基于多通道协同的心理异常检测方法和系统
CN111553436A (zh) 训练数据生成方法、模型训练方法及设备
CN111294565A (zh) 一种智能化养猪监测方法和管理端
RU2764125C1 (ru) Способ оценки качества видео и аппарат, устройство и носитель данных
CN113689954A (zh) 高血压风险预测方法、装置、设备及介质
CN111563910B (zh) 眼底图像分割方法及设备
CN113947807B (zh) 一种基于无监督的眼底影像异常识别方法及系统
CN111462916A (zh) 一种放疗计划危及器官剂量体积直方图的预测方法和装置
CN109829892A (zh) 一种预测模型的训练方法、使用该模型的预测方法及装置
CN112508902B (zh) 白质高信号分级方法、电子设备及存储介质
CN116051560B (zh) 基于胚胎多维度信息融合的胚胎动力学智能预测系统
CN108922621A (zh) 一种失能等级的评估方法及装置
Sudha et al. Early Detection of Glaucoma Disease in Retinal Fundus Images Using Spatial FCM with Level Set Segmentation
CN113011340A (zh) 一种基于视网膜图像的心血管手术指标风险分类方法及系统
Souza et al. End-to-end bone age assessment with residual learning
CN114419024A (zh) 一种基于视频图像分析来判断脚踝形变的智能算法
CN109948614B (zh) 一种基于机器学习的手腕骨兴趣区域切割方法
CN111462914A (zh) 一种实体链接方法及装置
CN116452592A (zh) 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN113570579B (zh) 一种判断足踝异常旋转机制的图像检测识别方法
CN112669180B (zh) 一种基于图像识别的学前教育方法及系统
KR102548970B1 (ko) 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
Tomaszewska et al. Sound-Based Cough Detection System using Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant