CN114724247B - 面向特定场景下基于语义认知的姿态估计方法及系统 - Google Patents

面向特定场景下基于语义认知的姿态估计方法及系统 Download PDF

Info

Publication number
CN114724247B
CN114724247B CN202210375811.4A CN202210375811A CN114724247B CN 114724247 B CN114724247 B CN 114724247B CN 202210375811 A CN202210375811 A CN 202210375811A CN 114724247 B CN114724247 B CN 114724247B
Authority
CN
China
Prior art keywords
semantic
semantics
cognitive
knowledge base
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210375811.4A
Other languages
English (en)
Other versions
CN114724247A (zh
Inventor
谢雪梅
要苏雨
李博奥
陈文婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Institute of Technology of Xidian University
Original Assignee
Guangzhou Institute of Technology of Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Institute of Technology of Xidian University filed Critical Guangzhou Institute of Technology of Xidian University
Priority to CN202210375811.4A priority Critical patent/CN114724247B/zh
Publication of CN114724247A publication Critical patent/CN114724247A/zh
Application granted granted Critical
Publication of CN114724247B publication Critical patent/CN114724247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

面向特定场景下基于语义认知的姿态估计方法及系统，其方法包括：获取原始标准动作序列，对原始标准动作序列进行聚类后提取关键帧，根据关键帧构建知识库；使用卷积神经网络从多模态的输入数据中获取感知语义，以获取到的感知语义为索引，在知识库中进行认知查验，并得到查验结果；若查验结果符合人体语义结构，则直接输出，否则使用知识库中的语义信息对感知语义进行修正，得到认知语义；将认知语义作为输入，指导姿态估计网络完成姿态估计任务，得到姿态估计结果；本申请在小样本训练下也能有很好地性能，并且具有很好地可迁移能力，可应用于特定场景下的人体姿态估计任务。

Description

面向特定场景下基于语义认知的姿态估计方法及系统
技术领域
本发明涉及人工智能领域，特别涉及面向特定场景下基于语义认知的姿态估计方法及系统。
背景技术
人体姿态任务的研究目标是根据输入图像和视频等输入数据来定位人体各关键部位(例如头部，手臂，膝盖等)并建立人体表现形式(例如人体关键点)的任务，是计算机视觉任务中一项既基础又具有挑战性的任务，同时也人机交互、行人重识别、行为识别等计算机视觉应用中；现阶段的姿态估计方法大多基于深度神经网络完成，深度神经网络可以逐层提取输入图像中的视觉语义信息，通过扩大感受野、域变换等方式对感知到的信息进行归纳，获取多尺度的语义特征，该语义特征所表达的内容并不完全符合人类的认知，由于神经网络学习的随机性以及懒惰性，网络拟合的模型包含数据集噪声规律，导致提取到的视觉语义特征与人类认知的语义有偏差，无法精确分析错误原因，可解释性弱。
因此，如何提供一种性能好的姿态估计方法，是本领域技术人员亟待解决的问题。
发明内容
本申请实施例提供了面向特定场景下基于语义认知的姿态估计方法及系统，旨在解决现有大数据驱动的姿态估计方法无法完全拟合人体语义信息、可解释性弱的问题。
第一方面，本申请提供了面向特定场景下基于语义认知的姿态估计方法，该方法包括：
获取原始标准动作序列，对原始标准动作序列进行聚类后提取关键帧，根据关键帧构建知识库；
使用卷积神经网络从多模态的输入数据中获取感知语义，以获取到的感知语义为索引，在知识库中进行认知查验，并得到查验结果；
若查验结果符合人体语义结构，则直接输出，否则使用知识库中的语义信息对感知语义进行修正，得到认知语义；
将认知语义作为输入，指导姿态估计网络完成姿态估计任务，得到姿态估计结果。
第二方面，本申请还提供了面向特定场景下基于语义认知的姿态估计方法系统，该系统包括：
知识库构建单元，用于获取原始标准动作序列，对原始标准动作序列进行聚类后提取关键帧，根据关键帧构建知识库；
语义感知单元，用于使用卷积神经网络从多模态的输入数据中获取感知语义，以获取到的感知语义为索引，在知识库中进行认知查验，并得到查验结果；
认知语义获取模块，若查验结果符合人体语义结构，则直接输出，否则使用知识库中的语义信息对原始感知语义进行修正，得到认知语义；
姿态估计模块，用于将认知语义作为输入，指导姿态估计网络完成姿态估计任务，得到姿态估计结果。
本申请提出的面向特定场景下基于语义认知的姿态估计方法及系统，其相较于现有技术可以带来如下有益效果：
本申请利用高层的认知语义指导姿态估计网络，在小样本训练下也能有很好地性能，并且具有很好地可迁移能力，可应用于其他计算机视觉任务。
附图说明
为了更清楚的说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见的，下面的描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本申请实施例提供的面向特定场景下基于语义认知的姿态估计方法流程图；
图2为本申请实施例提供的知识库构建流程图；
图3为本申请实施例提供的姿态估计整体框架图；
图4为本申请实施例提供的offsetnet中Transformer部分网络结构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
参见图1实施例所示面向特定场景下基于语义认知的姿态估计方法流程图，包括：
S101、获取原始标准动作序列，对原始标准动作序列进行聚类后提取关键帧，根据关键帧构建知识库。
具体聚类步骤为：a)在原始标准动作序列中随即选取k个点作为聚类中心；
b)计算每一帧的特征值到聚类中心的距离，并聚类到最近的聚类中心上；
c)计算每个聚类中所有帧的特征平均值，并以平均值作为新的聚类中心；
对于新的聚类中心，重复步骤b和c的操作，直到完成聚类。
参见图2实施例所示的知识库构建流程图；
以实心球运动姿态矫正任务为例，将原始标准动作序列通过聚类的方式，提取关键帧，原始动作序列不需要考虑背景、衣着、人体等干扰，关键帧数量可根据不同特定场景人为设定，以关键点(keypoint)的形式分层级(身体body，肢体part，骨骼bone)存储在知识库中，同时以文本的形式存有语义关键词，例如身体(body)层：“站”、“坐”，肢体层(body)：“弯”，“直”等。
S102、使用卷积神经网络从多模态的输入数据中获取感知语义，以获取到的感知语义为索引，在知识库中进行认知查验，并得到查验结果；
网络输入的待检测视频数据一般为一段视频序列，使用卷积神经网络提取感知语义信息。本申请将此处网络检测到的关键点称为感知语义。因为现有网络均是由大数据驱动，通过卷积操作提取局部context信息，并通过下采样操作不端扩大感受野，以获取更大范围的感知。但由于卷积操作的特性，在卷积过程中不可避免的提取背景的特征，所以需要通过大数据的训练，使网络更加关注前景(在此任务中前景即人)的特征而忽略背景，但由于数据的无穷性致使网络不可能学习到所有人体特征，即网络并没有完全理解人体结构并提取出人体的认知语义信息，而忽略背景、人体形体等干扰因素，故将此处获取的关键点信息称为感知语义，并需要使用知识库进行检验。
此处使用的网络为Blazepose。Blazepose是由谷歌团队开发的轻量级人体姿态估计网络，该网络可以运行在pixel2等边缘端设备上，具有良好的检测率与实时性能。但在面对复杂背景，环境遮挡，人体自遮挡，拥挤场景等场景时，仍会出现歧义、偏移等语义层级上的检测错误，例如检测结果中右膝盖的关键点在左膝盖上，右脚的点检测到了背景上等等。该一系列错误均为认知层级的错误，显然不符合人类认知。
针对其他特殊场景(例如穿防护服标准动作检测)时，由于存在大面积、长时间的遮挡现象，可考虑加入多模态输入，例如加入红外相机拍摄或提供文本的形式，以解决不同特殊场景下不同任务的需要。
S103、若查验结果符合人体语义结构，则直接输出，否则使用知识库中的语义信息对原始感知语义进行修正，得到认知语义。
对匹配结果进行认知检验，若没有认知错误，则直接输出结果，否则对感知语义中错误的部分进行修正。
参见图3实施例所示的姿态估计整体框架图；
以实心球运动姿态矫正任务为例，方法如下：
1)将感知到的关键点坐标信息转化为骨骼(bone)信息，并将转化后的骨骼信息与身体(body)层的标准化姿态进行相似性匹配与度量，并获取该标准姿态下的身体层(body)特征语义关键词，例如“站”、“坐”等。依据获取到的身体(body)层语义特征关键词，进行语义层级上的推理，每个关键词下有三个实例(以关键点的形式)存储在知识库中，筛选出相似性最强的实例进行下一层的推理。
2)依据上一层获取到的实例，各个肢体(part)分别进行语义层级上的推理，例如腿部“弯”、“直”，脊椎“仰”、“俯”等，并同步骤1)一样计算特征距离，完成相似性度量，直至完成骨骼(bone)层级的认知查验，并逐层滤除掉具有认知错误的部分，完成对感知语义的查验过程。
该过程不能保证很高的坐标位置的精准度，只能检测并修正提取到的感知语义信息中的认知错误的部分，精确地关键点定位问题由修正后的认知语义信息引导姿态估计网络完成。
最终修正后的认知语义信息转化为关键点并以以下三部分分别进行语义认知：
1)身体(body)：将各关键点连接并高斯模糊为热力图(heatmap)，存储为15*b*4096维的向量。
2)肢体(part)：将各肢体内的关键点相互连接，例如左臂(左手、左肘、左肩)，并分别存储为5张热力图(heatmap)—左臂、右臂、躯干、左腿、右腿。
3)关键点(point)：头部(head)、脖子(neck)、骨盆(pelvis)、左肩(lshoulder)、左肘(lelbow)、左手腕(lwrist)、右肩(rshoulder)、右肘(relbow)、右手腕(rwrist)、左胯(lhip)、左膝(lknee)、左脚踝(lankle)、右胯(rhip)、右膝(rknee)、右脚踝(rankle)共15个点的坐标位置。
S104、将认知语义作为输入，指导姿态估计网络完成姿态估计任务，得到姿态估计结果。
参见图4实施例所示的offsetnet中Transformer部分网络结构图；
姿态估计网络负责完成最终的关键点定位任务，本申请将其称为offsetnet，Offsetnet分为两个部分，卷积神经网络部分和Transformer部分，卷积神经网络用于提取图片特征，transformer用于关键点定位任务。
1)卷积神经网络部分：
卷积神经网络部分使用残差网络进行特征提取。该网络处理输入为【bs*3*1920*1080】维的图像，最终输出图片特征(image feature)为【bs*7*7*256】
2)Transformer部分：
Transformer是一种基于注意力的编码器(Encoder)-解码器(Decoder)结构，最初用于自然语言处理领域，与卷积神经网络不同，Transformer更关注全局的上下文信息，可以融合不同表达方式的语义并进行层级化推理。
Encoder的输入为卷积神经网络部分处理后的特征图，大小为【49*bs*256】。Encoder的内部将依次对特征图进行通道数压缩、序列化数据转换、位置编码操作，并将位置编码与原特征图相加。
Decoder主要有两个输入，分别为Encoder输出的添加过位置编码之后的特征图及Query。Query为知识库检索的输出，即认知语义，分为body，part和point三部分。BodyQuery为一个15*b*4096维的向量，数值类型为nn.Embedding()，是可以学习的。通过融合特征图与Body Query的信息，使网络学习到对人体整体结构表示的模糊理解。并按照PartQuery、Point Query的顺序逐层输入并进行相同的特征融合操作，使每一层输出的人体特征逐渐精细化，并最终回归出人体关键点坐标。
由于三层Query之间分别所属不同的特征域，每一层Decoder Layer的输出结果所属的特征域与该层输入Query有关，所以在每层Decoder Layer之间加入一层全连接层，用于完成不同特征域之间的转换，进而实现与下一层Query的融合。
本申请利用高层的认知语义指导姿态估计网络，在小样本训练下也能有很好地性能，并且具有很好地可迁移能力，可应用于其他计算机视觉任务。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (7)

1.面向特定场景下基于语义认知的姿态估计方法，其特征在于，包括：
获取原始标准动作序列，对原始标准动作序列进行聚类后提取关键帧，根据关键帧构建知识库，所述根据关键帧构建知识库，包括：将关键帧以关键点的形式分层级存储在知识库中进行知识库构建，所述层级为身体-肢体-骨骼；
使用卷积神经网络从多模态的输入数据中获取感知语义，所述感知语义为卷积神经网络从输入数据中检测到的关键点信息，其中，关键点包括：头部、脖子、骨盆、左肩、左肘、左手腕、右肩、右肘、右手腕、左胯、左膝、左脚踝、右胯、右膝、右脚踝，卷积神经网络为Blazepose；
将感知到的关键点坐标信息转化为骨骼信息，并将转化后的骨骼信息与身体层的标准化姿态进行相似性匹配与度量，并获取该标准姿态下的身体层特征语义关键词；
依据获取到的身体层语义特征关键词，进行语义层级上的推理，每个关键词下有三个实例以关键点的形式存储在知识库中，筛选出相似性最强的实例；
以获取到的感知语义为索引，在知识库中进行认知查验，并得到查验结果；
若查验结果符合人体语义结构，则直接输入指导姿态估计网络，否则使用知识库中的语义信息对感知语义进行修正，得到认知语义，其中，姿态估计网络为offsetnet，Offsetnet分为两个部分，卷积神经网络部分和Transformer部分；
将认知语义作为输入，指导姿态估计网络完成姿态估计任务，得到姿态估计结果。
2.如权利要求1所述的面向特定场景下基于语义认知的姿态估计方法，其特征在于，所述得到查验结果，包括：根据筛选出相似性最强的实例，分别进行语义层级上的推理，直至完成骨骼层级的认知查验，并逐层滤除掉具有认知错误的部分，得到查验结果。
3.如权利要求1所述的面向特定场景下基于语义认知的姿态估计方法，其特征在于，所述指导姿态估计网络完成姿态估计任务之前，包括：将认知语义转化为关键点，并分为以下三部分对姿态估计网络进行指导：1)身体：将各关键点连接并高斯模糊为热力图，存储为15*b*4096维的向量；2)肢体：将各肢体内的关键点相互连接，并分别存储为5张热力图；3)关键点：头部、脖子、骨盆、左肩、左肘、左手腕、右肩、右肘、右手腕、左胯、左膝、左脚踝、右胯、右膝、右脚踝共15个点的坐标位置。
4.如权利要求3所述的面向特定场景下基于语义认知的姿态估计方法，其特征在于，所述姿态估计网络包括：卷积神经网络和Transformer网络，Transformer网络为一种基于注意力的编码器-解码器结构，解码器的输入有两个，分别为：编码器输出的添加过位置编码之后的特征图和query。
5.如权利要求4所述的面向特定场景下基于语义认知的姿态估计方法，其特征在于，所述编码器输出的添加过位置编码之后的特征图，包括：编码器的内部对卷积神经网络部分处理后的特征图，依次进行通道数压缩、序列化数据转换、位置编码操作，并将位置编码与原特征图相加，输出添加过位置编码之后的特征图。
6.如权利要求5所述的面向特定场景下基于语义认知的姿态估计方法，其特征在于，所述将认知语义作为输入，指导姿态估计网络完成姿态估计任务，得到姿态估计结果，包括：将认知语义转化为关键点，并分为身体、肢体和关键点，然后与编码器输出的添加过位置编码之后的特征图融合，使Transformer网络学习到对人体整体结构表示的模糊理解，并按照肢体Query、关键点Query的顺序逐层输入并进行相同的特征融合操作，使每一层输出的人体特征逐渐精细化，并最终回归出人体关键点坐标，得到姿态估计结果。
7.面向特定场景下基于语义认知的姿态估计系统，其特征在于，包括：知识库构建单元，用于获取原始标准动作序列，对原始标准动作序列进行聚类后提取关键帧，根据关键帧构建知识库，所述根据关键帧构建知识库，包括：将关键帧以关键点的形式分层级存储在知识库中进行知识库构建，所述层级为身体-肢体-骨骼；语义感知单元，用于使用卷积神经网络从多模态的输入数据中获取感知语义，所述感知语义为卷积神经网络从输入数据中检测到的关键点信息，其中，关键点包括：头部、脖子、骨盆、左肩、左肘、左手腕、右肩、右肘、右手腕、左胯、左膝、左脚踝、右胯、右膝、右脚踝，卷积神经网络为Blazepose，将感知到的关键点坐标信息转化为骨骼信息，并将转化后的骨骼信息与身体层的标准化姿态进行相似性匹配与度量，并获取该标准姿态下的身体层特征语义关键词，依据获取到的身体层语义特征关键词，进行语义层级上的推理，每个关键词下有三个实例以关键点的形式存储在知识库中，筛选出相似性最强的实例，以获取到的感知语义为索引，在知识库中进行认知查验，并得到查验结果；认知语义获取模块，若查验结果符合人体语义结构，则直接输入指导姿态估计网络，否则使用知识库中的语义信息对感知语义进行修正，得到认知语义，其中，姿态估计网络为offsetnet，Offsetnet分为两个部分，卷积神经网络部分和Transformer部分；将认知语义作为输入，指导姿态估计网络完成姿态估计任务，得到姿态估计结果。
CN202210375811.4A 2022-04-11 2022-04-11 面向特定场景下基于语义认知的姿态估计方法及系统 Active CN114724247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210375811.4A CN114724247B (zh) 2022-04-11 2022-04-11 面向特定场景下基于语义认知的姿态估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210375811.4A CN114724247B (zh) 2022-04-11 2022-04-11 面向特定场景下基于语义认知的姿态估计方法及系统

Publications (2)

Publication Number Publication Date
CN114724247A CN114724247A (zh) 2022-07-08
CN114724247B true CN114724247B (zh) 2023-01-31

Family

ID=82243970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210375811.4A Active CN114724247B (zh) 2022-04-11 2022-04-11 面向特定场景下基于语义认知的姿态估计方法及系统

Country Status (1)

Country Link
CN (1) CN114724247B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115309962B (zh) * 2022-08-05 2024-04-26 重庆大学 人体姿态动作数据处理方法及系统
CN116486489B (zh) * 2023-06-26 2023-08-29 江西农业大学 基于语义感知图卷积的三维手物姿态估计方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203753A (zh) * 2017-05-25 2017-09-26 西安工业大学 一种基于模糊神经网络和图模型推理的动作识别方法
CN110135375A (zh) * 2019-05-20 2019-08-16 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN110659565A (zh) * 2019-08-15 2020-01-07 电子科技大学 一种基于带孔卷积的3d多人人体姿态估计方法
CN112686097A (zh) * 2020-12-10 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN112949569A (zh) * 2021-03-25 2021-06-11 南京邮电大学 一种面向跌倒分析的人体姿态点有效提取方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073744B (zh) * 2011-02-15 2013-07-17 北京汉风和科技发展有限公司 一种城市交通地图数据的处理方法及系统
EP2867860A4 (en) * 2012-06-29 2016-07-27 Behavioral Recognition Sys Inc UNWINDED LEARNING OF FUNCTIONAL ANALYSIS FOR A VIDEO SURVEILLANCE SYSTEM
CN107832713B (zh) * 2017-11-13 2021-11-16 南京邮电大学 一种基于OptiTrack的人体姿态识别方法
CN113762133A (zh) * 2021-09-01 2021-12-07 哈尔滨工业大学（威海） 基于人体姿态识别的自重健身辅助教练系统、方法、终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203753A (zh) * 2017-05-25 2017-09-26 西安工业大学 一种基于模糊神经网络和图模型推理的动作识别方法
CN110135375A (zh) * 2019-05-20 2019-08-16 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN110659565A (zh) * 2019-08-15 2020-01-07 电子科技大学 一种基于带孔卷积的3d多人人体姿态估计方法
CN112686097A (zh) * 2020-12-10 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN112949569A (zh) * 2021-03-25 2021-06-11 南京邮电大学 一种面向跌倒分析的人体姿态点有效提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于三维人体语义骨架点的姿态匹配";王大鹏 等;《计算机应用与软件》;20170131;第34卷(第1期);第170-174页 *
"基于视频的实时多人姿态估计方法";闫芬婷 等;《激光与光电子学进展》;20200131;第57卷(第2期);第021006-1-021006-8页 *

Also Published As

Publication number Publication date
CN114724247A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
KR102081854B1 (ko) 3d edm을 이용한 수어 또는 제스처 인식 방법 및 장치
CN114724247B (zh) 面向特定场景下基于语义认知的姿态估计方法及系统
CN109948526B (zh) 图像处理方法及装置、检测设备及存储介质
CN112148128B (zh) 一种实时手势识别方法、装置及人机交互系统
CN111984772B (zh) 一种基于深度学习的医疗影像问答方法及系统
CN109934183B (zh) 图像处理方法及装置、检测设备及存储介质
CN112258555A (zh) 实时姿态估计运动分析方法、系统、计算机设备及存储介质
CN113076891B (zh) 基于改进高分辨率网络的人体姿态预测方法及系统
CN113191243B (zh) 基于相机距离的人手三维姿态估计模型建立方法及其应用
CN112861808A (zh) 动态手势识别方法、装置、计算机设备及可读存储介质
CN113989283B (zh) 3d人体姿态估计方法、装置、电子设备与存储介质
CN115131801A (zh) 基于多模态的文档识别方法、装置、设备和存储介质
CN104964684B (zh) 一种高动态下快速星跟踪方法
CN113255429B (zh) 一种视频中人体姿态估计与跟踪方法及系统
CN117370498B (zh) 一种3d开放词汇检测与密集字幕生成统一的建模方法
CN116258931B (zh) 基于ViT和滑窗注意力融合的视觉指代表达理解方法和系统
CN117315249A (zh) 指代图像分割模型训练和分割方法、系统、设备及介质
CN117392488A (zh) 一种数据处理方法、神经网络及相关设备
CN117349784A (zh) 遥感数据的处理方法、装置及设备
Chen et al. Learning meta-adversarial features via multi-stage adaptation network for robust visual object tracking
AU2021104479A4 (en) Text recognition method and system based on decoupled attention mechanism
CN110852270B (zh) 基于深度学习的混合语法人体解析方法及装置
Rodríguez-Moreno et al. A hierarchical approach for Spanish sign language recognition: From weak classification to robust recognition system
CN113936040B (zh) 基于胶囊网络和自然语言查询的目标跟踪方法
CN115830640B (zh) 一种人体姿态识别和模型训练方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant