CN113887373A - 基于城市智慧体育的并行融合网络的姿态识别方法和系统 - Google Patents

基于城市智慧体育的并行融合网络的姿态识别方法和系统 Download PDF

Info

Publication number
CN113887373A
CN113887373A CN202111137342.4A CN202111137342A CN113887373A CN 113887373 A CN113887373 A CN 113887373A CN 202111137342 A CN202111137342 A CN 202111137342A CN 113887373 A CN113887373 A CN 113887373A
Authority
CN
China
Prior art keywords
picture
sub
image
channel
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111137342.4A
Other languages
English (en)
Other versions
CN113887373B (zh
Inventor
王强
王静宇
马亚中
梅一多
李慎国
谷雨明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongguancun Smart City Co Ltd
Original Assignee
Zhongguancun Smart City Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongguancun Smart City Co Ltd filed Critical Zhongguancun Smart City Co Ltd
Priority to CN202111137342.4A priority Critical patent/CN113887373B/zh
Publication of CN113887373A publication Critical patent/CN113887373A/zh
Application granted granted Critical
Publication of CN113887373B publication Critical patent/CN113887373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供的一种基于城市智慧体育的并行融合网络的姿态识别方法和装置，该方法采用全新的奥斯瓦德网络对输入的预处理图像进行特征提取，对从高到低不同分辨率的图像进行特征提取，在整个过程中都保持高分辨率和低分辨率特征相融合后进行预测。本发明进行了多次多尺度融合，使得每一个高分辨率到低分辨率的表征都从其他并行表示中反复接收信息，从而得到丰富的高分辨率表征。因此，预测的关键点更准确，在空间上也更精确。

Description

基于城市智慧体育的并行融合网络的姿态识别方法和系统
技术领域
本发明涉及大数据和人工智能技术领域，具体涉及一种基于城市智慧体育的并行融合网络的姿态识别方法和系统。
背景技术
OpenPose是基于卷积神经网络和监督学习并以caffe为框架写成的开源库，可以实现人的面部表情、躯干和四肢甚至手指的跟踪，不仅适用于单人也适用于多人，同时具有较好的鲁棒性。可以称是世界上第一个基于深度学习的实时多人二维姿态估计，是人机交互上的一个里程碑，为机器理解人提供了一个高质量的信息维度。
传统的姿态估计系统主要是基于OpenPose算法提取骨骼信息进行视频监控，或者加速度传感器监控。但传统的监控方法以记录为主，同时还需要通过穿戴式传感器实现跌倒监测，使用者需要随时佩戴，在实际应用中极为不便。
发明内容
为了解决现有检测方案对体育运动行为相似度的检测不够准确的问题，提高用户动作与标准动作相匹配，本发明提供一种基于城市智慧体育的并行融合网络的姿态识别方法和系统，该方法采用全新的骨骼提取网络-奥斯瓦德网络增强了识别高分辨率下小目标的识别准确度，该网络能在整个过程中都保持高分辨和低分辨率特征相融合进行预测，进行了多次多尺度融合，使得每一个高分辨率到低分辨率的表征都从其他并行表示中反复接收信息，从而得到丰富的高分辨率表征。从而预测的关键点更加准确，在空间上也更加准确。其具体技术方案如下：
本发明实施例提供的一种基于城市智慧体育的并行融合网络的姿态识别方法，包括步骤：
获取待识别骨骼图像，对所述待识别图像进行预处理得到预处理骨骼图像；
将所述预处理骨骼图像输入至具有两层并行计算融合得到特征图像的奥斯瓦德网络进行不同分辨率的特征提取，得到融合骨骼特征图像；
将所述融合骨骼特征图像输入至agaze模块，得到不同类型通道的多个均分图像后，根据不同类型通道设置不同权重后输入至预先训练的深度学习网络进行预测，得到骨骼姿态类别。
进一步的，所述奥斯瓦德网络对所述预处理骨骼图像进行处理得到融合骨骼特征图像，包括步骤：
所述奥斯瓦德网络包括第一阶段和第二阶段两个阶段，两阶段按照不同分辨率进行图像特征提取；所述第一阶段和所述第二阶段并行进行；所述第一阶段按照分辨率从小到大的顺序进行，所述第二阶段按照分辨率从大到小的顺序进行；
将所述第一阶段和所述第二阶段对应得到的不同分辨率的特征图像进行融合，得到融合骨骼特征图像。
进一步的，所述两阶段按照不同分辨率进行图像特征提取，包括步骤：
在第一阶段：第一部分将所述预处理图像经过预设次数的池化和卷积计算，得到预设分辨率范围和通道数范围的第一图片；第二部分将所述第一图片进行预设次数的反卷积计算，得到预设通道数范围的第二图片，将所述第一图片和所述第二图片进行裁剪和拼接，得到第三图片；
在第二阶段：将所述第二图片进行多次反卷积计算得到预设通道数范围和预设分辨率范围的第四图片；
将所述第四图片与所述第一图片进行融合，得到不同分辨率的融合骨骼特征图像。
进一步的，所述预处理图像为568*568像素、64通道的图片；所述第一图片包括第一子图片、第二子图片、第三子图片和第四子图片；所述第二图片包括第五子图片、第六子图片和第七子图片、第八子图片；
所述第一部分将所述预处理图像经过预设次数的池化和卷积计算，得到预设分辨率范围和通道数范围的第一图片，具体包括步骤：
第一步：将所述预处理图像经过池化计算得到284*284像素64通道图片，经过3*3卷积核两次卷积变成280*280像素128通道，得到第一子图片；
第二步：经过池化计算变为140*140像素128通道图片，经过3*3卷积核两次卷积变成136*136像素256通道，得到第二子图片；
第三步：经过池化计算变为68*68像素256通道图片，经过3*3卷积核两次卷积变成64*64像素512通道图片，得到第三子图片；
第四步：经过池化计算变为32*32像素512通道图片，经过3*3卷积核一次卷积变成30*30像素1024通道图片，再经过3*3卷积核一次卷积变成28*28像素1024通道，得到第四子图片；
所述第二部分将所述第一图片进行预设次数的反卷积计算，得到预设通道数范围的第二图片，将所述第一图片和所述第二图片进行裁剪和拼接，得到第三图片；具体包括步骤：
第五步：将所述第四子图片经过反卷积计算变为56*56像素512通道图片，与第一阶段第三步计算结果进行拷贝然后裁剪成56*56，拼接成1024通道，经过3*3卷积核两次卷积变成52*52像素256通道，得到第五子图片；
第六步：经过反卷积计算变为104*104像素256通道图片，与第一阶段第二步计算结果进行拷贝然后裁剪成104*104，拼接成512通道，经过3*3卷积核两次卷积变成100*100像素128通道，得到第六子图片；
第七步：经过反卷积计算变为200*200像素128通道图片，与第一阶段第一步计算结果进行拷贝然后裁剪成200*200，拼接成256通道，经过3*3卷积核两次卷积变成196*196像素64通道，得到第七子图片；
第八步：经过反卷积计算变为392*392像素64通道图片，与第一阶段输入图片卷积后的568*568像素64通道图片，进行拷贝然后裁剪成392*392，拼接成128通道，经过3*3卷积核两次卷积变成398*398像素64通道，得到第八子图片。
进一步的，所述第四图片包括：第九子图片、第十子图片、第十一子图片、第十二子图片和第十三子图片；
所述在第二阶段：将所述第二图片进行多次反卷积计算得到预设通道数范围和预设分辨率范围的第四图片；具体包括步骤：
第一步：将所述预处理图像经过反卷积计算变为1136*1136像素64通道图片，经过3*3卷积核八次卷积变成1120*1120像素128通道得到第九子图片；
第二步：将所述第九子图片经过反卷积计算变为2240*2240像素128通道图片，经过3*3卷积核三十二次卷积变成2176*2176像素256通道图片，得到第十子图片；
第三步：将第十子图片经过反卷积计算变为4352*4352像素256通道图片，经过3*3卷积核一百二十八次卷积变成4096*4096像素256通道图片，得到第十一子图片；
第四步：将第十一子图片经过反卷积计算变为8192*8192像素512通道图片，经过3*3卷积核五百一十二次卷积变成7186*7186像素256通道，得到第十二子图片；
第五步：将第十二子图片经过池化计算变为3593*3593像素512通道图片，经过3*3卷积核五百一十二次卷积变成7186*7186像素256通道，得到第十三子图片。
进一步的，所述将所述第四图片与所述第一图片进行融合，得到不同分辨率的融合骨骼特征图像，具体包括步骤：
将所述第一子图片与所述第九子图片进行放大4倍然后拼接，进行全连接计算后预测，得到融合后的第一分辨率的融合骨骼特征图像；
将所述第二子图片与所述第十子图片进行放大16倍然后拼接，进行全连接计算，得到融合后的第二分辨率的融合骨骼特征图像；
将所述第三子图片与所述第十一子图片进行放大64倍然后拼接，进行全连接计算后预测，得到融合后的第三分辨率的融合骨骼特征图像；
将所述第四子图片与所述第十二子图片进行放大128倍然后拼接，进行全连接计算后预测，得到融合后的第四分辨率的融合骨骼特征图像；
将所述第五子图片与所述第十三子图片进行放大256倍然后拼接，进行全连接计算后预测，得到融合后的第五分辨率的融合骨骼特征图像。
进一步的，所述agaze模块将得到的融合骨骼特征图像均匀分成16等分，将16等分划分为4类。
本发明的第二方面提供一种基于城市智慧体育的并行融合网络的姿态识别装置，包括：
获取模块，用于获取待识别骨骼图像，对所述待识别图像进行预处理得到预处理骨骼图像；
融合骨骼特征图像获取模块，用于将将所述预处理骨骼图像输入至具有两层并行计算融合得到特征图像的奥斯瓦德网络进行不同分辨率的特征提取，得到融合骨骼特征图像；
预测模块，用于将所述融合骨骼特征图像输入至agaze模块，得到不同类型通道的多个均分图像后，根据不同类型通道设置不同权重后输入至预先训练的深度学习网络进行预测，得到骨骼姿态类别。
进一步的，所述融合骨骼特征图像获取模块，具体用于分第一阶段和第二阶段两个阶段，按照不同分辨率进行图像特征提取；所述第一阶段和所述第二阶段并行进行；所述第一阶段按照分辨率从小到大的顺序进行，所述第二阶段按照分辨率从大到小的顺序进行；
将所述第一阶段和所述第二阶段对应得到的不同分辨率的特征图像进行融合，得到融合骨骼特征图像。
本发明的第三方面提供一种电子设备，所述电子设备包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一所述的基于城市智慧体育的并行融合网络的姿态识别方法。
本发明的优点：
本发明实施例提供的一种基于城市智慧体育的并行融合网络的姿态识别方法和装置，该方法采用全新的奥斯瓦德网络对输入的预处理图像进行特征提取，对从高到低不同分辨率的图像进行特征提取，在整个过程中都保持高分辨率和低分辨率特征相融合后进行预测。本发明进行了多次多尺度融合，使得每一个高分辨率到低分辨率的表征都从其他并行表示中反复接收信息，从而得到丰富的高分辨率表征。因此，预测的关键点更准确，在空间上也更精确。
附图说明
图1是本发明一种基于城市智慧体育的并行融合网络的姿态识别方法的流程示意图；
图2是奥斯瓦德网络结构示意图；
图3是agaze模块分解示意图。
具体实施方式
以下结合附图对本发明进行说明，但不用来限制本发明的范围。
参见图1是本发明一种基于城市智慧体育的并行融合网络的姿态识别方法的流程示意图，包括：
S1：获取待识别骨骼图像，对所述待识别图像进行预处理得到预处理骨骼图像。
上述待识别骨骼图像是城市体育项目中获得的体育运动员的骨骼图像，对获得的图像进行预处理，对图像进行去噪等处理，得到预处理后的骨骼图像。
S2：将所述预处理骨骼图像输入至奥斯瓦德网络进行不同分辨率的特征提取，得到融合骨骼特征图像；所述奥斯瓦德网络具有两层并行计算融合结构，通过两层并行计算融合结构能够得到不同分辨率的特征图像。
本发明采用全新的骨骼提取网络-奥斯瓦德网络，包括两层并行计算融合结构，通过该结构能够得到不同分辨率的特征图像，其具体结构参见图2所示。
所述奥斯瓦德网络包括第一阶段和第二阶段两个阶段，两阶段按照不同分辨率进行图像特征提取；所述第一阶段和所述第二阶段并行进行；所述第一阶段按照分辨率从小到大的顺序进行，所述第二阶段按照分辨率从大到小的顺序进行；将所述第一阶段和所述第二阶段对应得到的不同分辨率的特征图像进行融合，得到融合骨骼特征图像。
上述两阶段按照不同分辨率进行图像特征提取，包括步骤：在第一阶段：第一部分将所述预处理图像经过预设次数的池化和卷积计算，得到预设分辨率范围和通道数范围的第一图片。本发明预处理图像为568*568像素、64通道的图片；所述第一图片包括第一子图片、第二子图片、第三子图片和第四子图片。
第一部分将所述预处理图像经过预设次数的池化和卷积计算，得到预设分辨率范围和通道数范围的第一图片，具体包括步骤：
第一步：将所述预处理图像经过池化计算得到284*284像素64通道图片，经过3*3卷积核两次卷积变成280*280像素128通道，得到第一子图片；
第二步：经过池化计算变为140*140像素128通道图片，经过3*3卷积核两次卷积变成136*136像素256通道，得到第二子图片；
第三步：经过池化计算变为68*68像素256通道图片，经过3*3卷积核两次卷积变成64*64像素512通道图片，得到第三子图片；
第四步：经过池化计算变为32*32像素512通道图片，经过3*3卷积核一次卷积变成30*30像素1024通道图片，再经过3*3卷积核一次卷积变成28*28像素1024通道，得到第四子图片。
第二部分将所述第一图片进行预设次数的反卷积计算后与所述第一图片进行裁剪和拼接，得到第二图片；上述第二图片包括第五子图片、第六子图片和第七子图片、第八子图片具体包括步骤：
第五步：将所述第四子图片经过反卷积计算变为56*56像素512通道图片，与第一阶段第三步计算得到的第三子图像进行拷贝然后裁剪成56*56，拼接成1024通道，经过3*3卷积核两次卷积变成52*52像素256通道，得到第五子图片；
第六步：将第五子图片经过反卷积计算变为104*104像素256通道图片，与第一阶段第二步计算得到的第二子图像进行拷贝然后裁剪成104*104，拼接成512通道，经过3*3卷积核两次卷积变成100*100像素128通道，得到第六子图片；
第七步：将第六子图片经过反卷积计算变为200*200像素128通道图片，与第一阶段第一步计算得到的第一子图像进行拷贝然后裁剪成200*200，拼接成256通道，经过3*3卷积核两次卷积变成196*196像素64通道，得到第七子图片；
第八步：将第七子图片经过反卷积计算变为392*392像素64通道图片，与第一阶段输入的预处理图像卷积后的568*568像素64通道图片，进行拷贝然后裁剪成392*392，拼接成128通道，经过3*3卷积核两次卷积变成398*398像素64通道，得到第八子图片。
上述第三图片包括：第九子图片、第十子图片、第十一子图片、第十二子图片和第十三子图片；
所述在第二阶段：将所述第二图片进行多次反卷积计算得到预设通道数范围和预设分辨率范围的第三图片；具体包括步骤：
第一步：将所述预处理图像经过反卷积计算变为1136*1136像素64通道图片，经过3*3卷积核八次卷积变成1120*1120像素128通道得到第九子图片；
第二步：将所述第九子图片经过反卷积计算变为2240*2240像素128通道图片，经过3*3卷积核三十二次卷积变成2176*2176像素256通道图片，得到第十子图片；
第三步：将第十子图片经过反卷积计算变为4352*4352像素256通道图片，经过3*3卷积核一百二十八次卷积变成4096*4096像素256通道图片，得到第十一子图片；
第四步：将第十一子图片经过反卷积计算变为8192*8192像素512通道图片，经过3*3卷积核五百一十二次卷积变成7186*7186像素256通道，得到第十二子图片；
第五步：将第十二子图片经过池化计算变为3593*3593像素512通道图片，经过3*3卷积核五百一十二次卷积变成7186*7186像素256通道，得到第十三子图片。
所述将所述第三图片与所述第一图片进行融合，得到不同分辨率的融合骨骼特征图像，具体包括步骤：
将所述第一子图片与所述第九子图片进行放大4倍然后拼接，进行全连接计算，得到融合后的第一分辨率的融合骨骼特征图像；
将所述第二子图片与所述第十子图片进行放大16倍然后拼接，进行全连接计算，得到融合后的第二分辨率的融合骨骼特征图像；
将所述第三子图片与所述第十一子图片进行放大64倍然后拼接，进行全连接计算，得到融合后的第三分辨率的融合骨骼特征图像；
将所述第四子图片与所述第十二子图片进行放大128倍然后拼接，进行全连接计算，得到融合后的第四分辨率的融合骨骼特征图像；
将所述第五子图片与所述第十三子图片进行放大256倍然后拼接，进行全连接计算，得到融合后的第五分辨率的融合骨骼特征图像。S3：将所述融合骨骼特征图像输入至agaze模块，得到不同类型通道的多个均分图像后，根据不同类型通道设置不同权重后输入至预先训练的深度学习网络进行预测，得到骨骼姿态类别。
上述agaze模块将得到的融合骨骼特征图像均匀分成16等分，将16等分划分为4类。如图3，本发明引入agaze模块，agaze模块用于对图像进行切割。由奥斯瓦德(Oswald)网络识别出的人体骨骼图像，把图片均匀的切割成16等分，将16等分划分为4类，从左到右从上到下依次编号1到16，1、4、13、16归类为1类通道，5、8、9、12归类为2类通道，2、6、10、14归类为3类通道，3、7、11、15归类为4类通道；通过对不同类的通道，采取不同的权值预测来体现agaze机制，1类通道取十分之二权重，2类通道取十分之二权重，3类通道取十分之三权重，4类通道取十分之三权重。按照固定的排列顺序，送入yolov5网络中学习，agaze模块的切割方式，有效的针对人体在体育运动中的图像人物的呈现方式，提高了人体居中或集中在一些区块里的识别效果，有效提升了算法对人体骨骼识别的敏锐度。
本发明的优点：
本发明实施例提供的一种基于城市智慧体育的并行融合网络的姿态识别方法和装置，该方法采用全新的奥斯瓦德网络对输入的预处理图像进行特征提取，对从高到低不同分辨率的图像进行特征提取，在整个过程中都保持高分辨率和低分辨率特征相融合后进行预测。本发明进行了多次多尺度融合，使得每一个高分辨率到低分辨率的表征都从其他并行表示中反复接收信息，从而得到丰富的高分辨率表征。因此，预测的关键点更准确，在空间上也更精确。
上述奥斯瓦德网络的训练过程与一般深度学习网络的训练过程相同，本发明采用标准的骨骼动作图与分类得到的骨骼姿态进行相似性判断。
本发明的第二方面提供一种基于城市智慧体育的并行融合网络的姿态识别装置，包括：
获取模块，用于获取待识别骨骼图像，对所述待识别图像进行预处理得到预处理骨骼图像；
融合骨骼特征图像获取模块，用于将将所述预处理骨骼图像输入至具有两层并行计算融合得到特征图像的奥斯瓦德网络进行不同分辨率的特征提取，得到融合骨骼特征图像；
预测模块，用于将所述融合骨骼特征图像输入至agaze模块，得到不同类型通道的多个均分图像后，根据不同类型通道设置不同权重后输入至预先训练的深度学习网络进行预测，得到骨骼姿态类别。
进一步的，所述融合骨骼特征图像获取模块，具体用于分第一阶段和第二阶段两个阶段，按照不同分辨率进行图像特征提取；所述第一阶段和所述第二阶段并行进行；所述第一阶段按照分辨率从小到大的顺序进行，所述第二阶段按照分辨率从大到小的顺序进行；
将所述第一阶段和所述第二阶段对应得到的不同分辨率的特征图像进行融合，得到融合骨骼特征图像。
本发明的第三方面提供一种电子设备，所述电子设备包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一所述的基于城市智慧体育的并行融合网络的姿态识别方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种基于城市智慧体育的并行融合网络的姿态识别方法，其特征在于，包括步骤：
获取待识别骨骼图像，对所述待识别图像进行预处理得到预处理骨骼图像；
将所述预处理骨骼图像输入至奥斯瓦德网络进行不同分辨率的特征提取，得到融合骨骼特征图像；所述奥斯瓦德网络具有两层并行计算融合结构，通过两层并行计算融合结构能够得到不同分辨率的特征图像；
将所述融合骨骼特征图像输入至agaze模块，得到不同类型通道的多个均分图像后，根据不同类型通道设置不同权重后输入至预先训练的深度学习网络进行预测，得到骨骼姿态类别。
2.根据权利要求1所述的基于城市智慧体育的并行融合网络的姿态识别方法，其特征在于，所述奥斯瓦德网络对所述预处理骨骼图像进行处理得到融合骨骼特征图像，包括步骤：
所述奥斯瓦德网络包括第一阶段和第二阶段两个阶段，两阶段按照不同分辨率进行图像特征提取；所述第一阶段和所述第二阶段并行进行；所述第一阶段按照分辨率从小到大的顺序进行，所述第二阶段按照分辨率从大到小的顺序进行；
将所述第一阶段和所述第二阶段对应得到的不同分辨率的特征图像进行融合，得到融合骨骼特征图像。
3.根据权利要求2所述的基于城市智慧体育的并行融合网络的姿态识别方法，其特征在于，所述两阶段按照不同分辨率进行图像特征提取，包括步骤：
在第一阶段：第一部分将所述预处理图像经过预设次数的池化和卷积计算，得到预设分辨率范围和通道数范围的第一图片；第二部分将所述第一图片进行预设次数的反卷积计算后与所述第一图片进行裁剪和拼接，得到预设通道数范围的第二图片；
在第二阶段：将所述第二图片进行多次反卷积计算得到预设通道数范围和预设分辨率范围的第三图片；
将所述第三图片与所述第一图片进行融合，得到不同分辨率的融合骨骼特征图像。
4.根据权利要求3所述的基于城市智慧体育的并行融合网络的姿态识别方法，其特征在于，所述预处理图像为568*568像素、64通道的图片；所述第一图片包括第一子图片、第二子图片、第三子图片和第四子图片；所述第二图片包括第五子图片、第六子图片和第七子图片、第八子图片；
所述第一部分将所述预处理图像经过预设次数的池化和卷积计算，得到预设分辨率范围和通道数范围的第一图片，具体包括步骤：
第一步：将所述预处理图像经过池化计算得到284*284像素64通道图片，经过3*3卷积核两次卷积变成280*280像素128通道，得到第一子图片；
第二步：经过池化计算变为140*140像素128通道图片，经过3*3卷积核两次卷积变成136*136像素256通道，得到第二子图片；
第三步：经过池化计算变为68*68像素256通道图片，经过3*3卷积核两次卷积变成64*64像素512通道图片，得到第三子图片；
第四步：经过池化计算变为32*32像素512通道图片，经过3*3卷积核一次卷积变成30*30像素1024通道图片，再经过3*3卷积核一次卷积变成28*28像素1024通道，得到第四子图片；
所述第二部分将所述第一图片进行预设次数的反卷积计算后与所述第一图片进行裁剪和拼接，得到第二图片；具体包括步骤：
第五步：将所述第四子图片经过反卷积计算变为56*56像素512通道图片，与第一阶段第三步计算得到的第三子图像进行拷贝然后裁剪成56*56，拼接成1024通道，经过3*3卷积核两次卷积变成52*52像素256通道，得到第五子图片；
第六步：将第五子图片经过反卷积计算变为104*104像素256通道图片，与第一阶段第二步计算得到的第二子图像进行拷贝然后裁剪成104*104，拼接成512通道，经过3*3卷积核两次卷积变成100*100像素128通道，得到第六子图片；
第七步：将第六子图片经过反卷积计算变为200*200像素128通道图片，与第一阶段第一步计算得到的第一子图像进行拷贝然后裁剪成200*200，拼接成256通道，经过3*3卷积核两次卷积变成196*196像素64通道，得到第七子图片；
第八步：将第七子图片经过反卷积计算变为392*392像素64通道图片，与第一阶段输入的预处理图像卷积后的568*568像素64通道图片，进行拷贝然后裁剪成392*392，拼接成128通道，经过3*3卷积核两次卷积变成398*398像素64通道，得到第八子图片。
5.根据权利要求4所述的基于城市智慧体育的并行融合网络的姿态识别方法，其特征在于，所述第三图片包括：第九子图片、第十子图片、第十一子图片、第十二子图片和第十三子图片；
所述在第二阶段：将所述第二图片进行多次反卷积计算得到预设通道数范围和预设分辨率范围的第四图片；具体包括步骤：
第一步：将所述预处理图像经过反卷积计算变为1136*1136像素64通道图片，经过3*3卷积核八次卷积变成1120*1120像素128通道得到第九子图片；
第二步：将所述第九子图片经过反卷积计算变为2240*2240像素128通道图片，经过3*3卷积核三十二次卷积变成2176*2176像素256通道图片，得到第十子图片；
第三步：将第十子图片经过反卷积计算变为4352*4352像素256通道图片，经过3*3卷积核一百二十八次卷积变成4096*4096像素256通道图片，得到第十一子图片；
第四步：将第十一子图片经过反卷积计算变为8192*8192像素512通道图片，经过3*3卷积核五百一十二次卷积变成7186*7186像素256通道，得到第十二子图片；
第五步：将第十二子图片经过池化计算变为3593*3593像素512通道图片，经过3*3卷积核五百一十二次卷积变成7186*7186像素256通道，得到第十三子图片。
6.根据权利要求5所述的基于城市智慧体育的并行融合网络的姿态识别方法，其特征在于，所述将所述第三图片与所述第一图片进行融合，得到不同分辨率的融合骨骼特征图像，具体包括步骤：
将所述第一子图片与所述第九子图片进行放大4倍然后拼接，进行全连接计算，得到融合后的第一分辨率的融合骨骼特征图像；
将所述第二子图片与所述第十子图片进行放大16倍然后拼接，进行全连接计算，得到融合后的第二分辨率的融合骨骼特征图像；
将所述第三子图片与所述第十一子图片进行放大64倍然后拼接，进行全连接计算，得到融合后的第三分辨率的融合骨骼特征图像；
将所述第四子图片与所述第十二子图片进行放大128倍然后拼接，进行全连接计算，得到融合后的第四分辨率的融合骨骼特征图像；
将所述第五子图片与所述第十三子图片进行放大256倍然后拼接，进行全连接计算，得到融合后的第五分辨率的融合骨骼特征图像。
7.根据权利要求1所述的基于城市智慧体育的并行融合网络的姿态识别方法，其特征在于，所述agaze模块将得到的融合骨骼特征图像均匀分成16等分，将16等分划分为4类。
8.一种基于城市智慧体育的并行融合网络的姿态识别装置，其特征在于，包括：
获取模块，用于获取待识别骨骼图像，对所述待识别图像进行预处理得到预处理骨骼图像；
融合骨骼特征图像获取模块，用于将将所述预处理骨骼图像输入至具有两层并行计算融合得到特征图像的奥斯瓦德网络进行不同分辨率的特征提取，得到融合骨骼特征图像；
预测模块，用于将所述融合骨骼特征图像输入至agaze模块，得到不同类型通道的多个均分图像后，根据不同类型通道设置不同权重后输入至预先训练的深度学习网络进行预测，得到骨骼姿态类别。
9.根据权利要求8所述的基于城市智慧体育的并行融合网络的姿态识别装置，其特征在于，所述融合骨骼特征图像获取模块，具体用于分第一阶段和第二阶段两个阶段，按照不同分辨率进行图像特征提取；所述第一阶段和所述第二阶段并行进行；所述第一阶段按照分辨率从小到大的顺序进行，所述第二阶段按照分辨率从大到小的顺序进行；
将所述第一阶段和所述第二阶段对应得到的不同分辨率的特征图像进行融合，得到融合骨骼特征图像。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1-7任一所述的基于城市智慧体育的并行融合网络的姿态识别方法。
CN202111137342.4A 2021-09-27 2021-09-27 基于城市智慧体育的并行融合网络的姿态识别方法和系统 Active CN113887373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111137342.4A CN113887373B (zh) 2021-09-27 2021-09-27 基于城市智慧体育的并行融合网络的姿态识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111137342.4A CN113887373B (zh) 2021-09-27 2021-09-27 基于城市智慧体育的并行融合网络的姿态识别方法和系统

Publications (2)

Publication Number Publication Date
CN113887373A true CN113887373A (zh) 2022-01-04
CN113887373B CN113887373B (zh) 2022-12-16

Family

ID=79007195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111137342.4A Active CN113887373B (zh) 2021-09-27 2021-09-27 基于城市智慧体育的并行融合网络的姿态识别方法和系统

Country Status (1)

Country Link
CN (1) CN113887373B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580721A (zh) * 2022-11-18 2023-01-06 南方电网数字电网研究院有限公司 变电站设备监控视频的质量检测方法、装置、设备和介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815869A (zh) * 2019-01-16 2019-05-28 浙江理工大学 一种基于fcn全卷积网络的指静脉识别方法
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN110246201A (zh) * 2019-06-14 2019-09-17 西北农林科技大学 一种基于线程级并行的铅笔画生成方法
CN111487946A (zh) * 2019-01-29 2020-08-04 发那科株式会社 机器人系统
CN111582029A (zh) * 2020-04-02 2020-08-25 天津大学 一种基于密集连接与注意力机制的交通标志识别方法
CN112084901A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统
CN112183295A (zh) * 2020-09-23 2021-01-05 上海眼控科技股份有限公司 行人重识别方法、装置、计算机设备及存储介质
CN112183412A (zh) * 2020-10-06 2021-01-05 精英数智科技股份有限公司 人员身份识别方法、装置、电子设备及存储介质
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112598170A (zh) * 2020-12-18 2021-04-02 中国科学技术大学 基于多组件融合时间网络的车辆尾气排放预测方法及系统
CN112861727A (zh) * 2021-02-09 2021-05-28 北京工业大学 一种基于混合深度可分离卷积的实时语义分割方法
CN112926116A (zh) * 2021-03-01 2021-06-08 哈尔滨工业大学 一种基于虚拟现实的体育馆火灾疏散行为数据收集系统及其收集方法
US20210201499A1 (en) * 2019-12-30 2021-07-01 Medo Dx Pte. Ltd Apparatus and method for image segmentation using a deep convolutional neural network with a nested u-structure
US20210279950A1 (en) * 2020-03-04 2021-09-09 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
CN113378786A (zh) * 2021-07-05 2021-09-10 广东工业大学 一种超轻量目标检测网络和方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815869A (zh) * 2019-01-16 2019-05-28 浙江理工大学 一种基于fcn全卷积网络的指静脉识别方法
CN111487946A (zh) * 2019-01-29 2020-08-04 发那科株式会社 机器人系统
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN110246201A (zh) * 2019-06-14 2019-09-17 西北农林科技大学 一种基于线程级并行的铅笔画生成方法
US20210201499A1 (en) * 2019-12-30 2021-07-01 Medo Dx Pte. Ltd Apparatus and method for image segmentation using a deep convolutional neural network with a nested u-structure
US20210279950A1 (en) * 2020-03-04 2021-09-09 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
CN111582029A (zh) * 2020-04-02 2020-08-25 天津大学 一种基于密集连接与注意力机制的交通标志识别方法
CN112084901A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统
CN112183295A (zh) * 2020-09-23 2021-01-05 上海眼控科技股份有限公司 行人重识别方法、装置、计算机设备及存储介质
CN112183412A (zh) * 2020-10-06 2021-01-05 精英数智科技股份有限公司 人员身份识别方法、装置、电子设备及存储介质
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112598170A (zh) * 2020-12-18 2021-04-02 中国科学技术大学 基于多组件融合时间网络的车辆尾气排放预测方法及系统
CN112861727A (zh) * 2021-02-09 2021-05-28 北京工业大学 一种基于混合深度可分离卷积的实时语义分割方法
CN112926116A (zh) * 2021-03-01 2021-06-08 哈尔滨工业大学 一种基于虚拟现实的体育馆火灾疏散行为数据收集系统及其收集方法
CN113378786A (zh) * 2021-07-05 2021-09-10 广东工业大学 一种超轻量目标检测网络和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. KIM 等: "Parallel Feature Pyramid Network for Object Detection", 《15TH EUROPEAN CONFERENCE ON COMPUTER VISION》 *
吴鹏 等: "基于双流Faster R-CNN的像素级图像拼接篡改定位算法", 《电子测量与仪器学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580721A (zh) * 2022-11-18 2023-01-06 南方电网数字电网研究院有限公司 变电站设备监控视频的质量检测方法、装置、设备和介质

Also Published As

Publication number Publication date
CN113887373B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
Ke et al. A new representation of skeleton sequences for 3d action recognition
Jiang et al. Skeleton aware multi-modal sign language recognition
JP7386545B2 (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
CN110914836A (zh) 在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法
Barros et al. Real-time gesture recognition using a humanoid robot with a deep neural architecture
Jaswanth et al. A novel based 3D facial expression detection using recurrent neural network
Sincan et al. Using motion history images with 3d convolutional networks in isolated sign language recognition
WO2021047587A1 (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
KR101996371B1 (ko) 영상 캡션 생성 시스템과 방법 및 이를 위한 컴퓨터 프로그램
Lee et al. 3-D human behavior understanding using generalized TS-LSTM networks
CN114519877A (zh) 人脸识别方法、人脸识别装置、计算机设备及存储介质
Duwairi et al. Automatic recognition of Arabic alphabets sign language using deep learning.
CN113887373B (zh) 基于城市智慧体育的并行融合网络的姿态识别方法和系统
Kwolek et al. Recognition of JSL fingerspelling using deep convolutional neural networks
Guo et al. Facial expression recognition: a review
Avula et al. CNN based recognition of emotion and speech from gestures and facial expressions
Kumar et al. Facial emotion recognition and detection using cnn
Tur et al. Isolated sign recognition with a siamese neural network of RGB and depth streams
CN113076905A (zh) 一种基于上下文交互关系的情绪识别方法
CN115292439A (zh) 一种数据处理方法及相关设备
Meshram et al. Convolution Neural Network based Hand Gesture Recognition System
Singh et al. Robust modelling of static hand gestures using deep convolutional network for sign language translation
Torpey et al. Human action recognition using local two-stream convolution neural network features and support vector machines
Hassan et al. Enhanced dynamic sign language recognition using slowfast networks
Gupta et al. Sign Language to Text for Deaf and Dumb

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant