CN112733704B - 图像处理方法、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN112733704B
CN112733704B CN202110018036.2A CN202110018036A CN112733704B CN 112733704 B CN112733704 B CN 112733704B CN 202110018036 A CN202110018036 A CN 202110018036A CN 112733704 B CN112733704 B CN 112733704B
Authority
CN
China
Prior art keywords
dimensional joint
joint point
contour map
contour
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110018036.2A
Other languages
English (en)
Other versions
CN112733704A (zh
Inventor
李玺
李斌
吴昊潜
田�健
吴飞
董霖
叶新江
方毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Merit Interactive Co Ltd
Original Assignee
Zhejiang University ZJU
Merit Interactive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Merit Interactive Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202110018036.2A priority Critical patent/CN112733704B/zh
Publication of CN112733704A publication Critical patent/CN112733704A/zh
Application granted granted Critical
Publication of CN112733704B publication Critical patent/CN112733704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种图像处理方法、电子设备和计算机可读存储介质，其中，该方法包括：获取用于步态识别的轮廓图集合，所述轮廓图集合中的每个轮廓图具有视角标识；为每个所述轮廓图确定对应的二维关节点坐标；基于每个所述轮廓图对应的所述二维关节点坐标，确定初始三维关节点坐标；将每个所述轮廓图对应的所述初始三维关节点坐标由自身所述视角标识对应的当前视角转换至指定视角，得到目标三维关节点坐标，作为步态识别的目标样本。通过本发明的技术方案，消除了样本间拍摄时的视角不同带来的差异，提升了样本的合理性，同时使得以此样本所得的步态识别模型的识别准确性得到提升。

Description

图像处理方法、电子设备和计算机可读存储介质
【技术领域】
本发明涉及步态识别技术领域，尤其涉及一种图像处理方法、电子设备和计算机可读存储介质。
【背景技术】
步态识别模型需要利用用户的大量轮廓图作为样本进行训练得到，这样的步态识别模型依赖于监督学习，当待检测图像或视频中出现训练步态识别模型时未学习的样本时，其步态识别结果的可靠性低下。
因此，如何高效训练步态识别模型以提升其识别结果的可靠性，成为目前亟待解决的技术问题。
【发明内容】
本发明实施例提供了一种图像处理方法、电子设备和计算机可读存储介质，旨在解决相关技术中步态识别模型的识别结果可靠性不足的技术问题。
第一方面，本发明实施例提供了一种图像处理方法，包括：获取用于步态识别的轮廓图集合，所述轮廓图集合中的每个轮廓图具有视角标识；为每个所述轮廓图确定对应的二维关节点坐标；基于每个所述轮廓图对应的所述二维关节点坐标，确定初始三维关节点坐标；将每个所述轮廓图对应的所述初始三维关节点坐标由自身所述视角标识对应的当前视角转换至指定视角，得到目标三维关节点坐标，作为步态识别的目标样本。
第二方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述第一方面中任一项所述的方法。
第三方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述第一方面中任一项所述的方法流程。
以上技术方案，消除了训练步态识别模型所需的样本间拍摄时的视角不同带来的差异，提升了样本的合理性，同时使得以此样本所得的步态识别模型的识别准确性得到提升。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了根据本发明的一个实施例的图像处理方法的流程图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
实施例一
图1示出了根据本发明的一个实施例的图像处理方法的流程图。
如图1所示，根据本发明的一个实施例的图像处理方法的流程包括：
步骤102，获取用于步态识别的轮廓图集合，所述轮廓图集合中的每个轮廓图具有视角标识。
针对相关技术中步态识别模型的识别结果可靠性不足的技术问题，首先，获取步态识别所需的轮廓图集合，该轮廓图集合中的每个轮廓图具有视角标识。视角指的是拍摄装置的镜头所能拍摄的拍摄场景中距离最大的两点与镜头连线的夹角，轮廓图的视角标识示出了拍摄轮廓图所属人体时的视角，在不同的视角下进行拍摄，所产生的轮廓图差异较大。
步骤104，为每个所述轮廓图确定对应的二维关节点坐标。
轮廓图的二维关节点坐标示出了轮廓图内人体在二维坐标系中的关节点的位置，这里所述的关节点为人体解剖学上的关键点，如肘部、腕部等。
具体来说，可基于每个所述轮廓图和二维姿态估计模型，确定每个所述轮廓图对应的所述二维关节点坐标，其中，所述二维姿态估计模型是基于样本轮廓图和所述样本轮廓图对应的样本二维关节点坐标训练得到的，这样，只要将轮廓图输入预设的二维姿态估计模型即可通过二维姿态估计模型输出轮廓图的二维关节点坐标。
在一种可能的设计中，二维姿态估计模型以Top-Down方式设置。首先，对轮廓图进行人体检测，在检测到人体时，使用人体框将人体标注出来，接着，对每个人体框进行二维关节点检测。由此，该方式具有较高的检测准确性。具体来说，可通过CPN、Hourglass、CPM、Alpha Pose等方式实现轮廓图中二维关节点坐标的获得。
在另一种可能的设计中，二维姿态估计模型以Bottom-Up方式设置。具体来说，先轮廓图中各人体部件的二维关节点坐标，然后将检测到的多个人体部件的二维关节点坐标组合成完整人体。该方式无需预先识别人体，具有检测速度快的优势。可选地，采用OpenPose的方式获得轮廓图中的二维关节点坐标。
步骤106，基于每个所述轮廓图对应的所述二维关节点坐标，确定初始三维关节点坐标。
由于在不同的视角下进行拍摄，所产生的轮廓图差异较大，且现有技术中在训练步态识别模型时并未将视角差异这一因素考虑在内，这就造成当待识别图像对应的视角，与训练步态识别模型所用的样本数据对应的视角差异过大时，步态识别模型无法准确有效地识别待识别图像内的人体步态。对此，本技术方案可消除视角因素带来的影响。
在消除视角因素带来的影响时，首先，基于每个所述轮廓图对应的所述二维关节点坐标，确定初始三维关节点坐标。需要知晓，在不同的视角下拍摄相同拍摄内容，所产生的轮廓图的差异较大，然而，该拍摄内容本身是相同的，由此可知，视角带来的差异是该拍摄内容在三维空间中的不同成像间的差异，因此，可通过减小拍摄内容在三维空间中不同成像间的差异来减小视角不同带来的影响。
对此，需要将原本获得的二维关节点坐标转换至三维空间中进行显示，即将每个所述轮廓图对应的所述二维关节点坐标转换为初始三维关节点坐标，初始三维关节点坐标示出了轮廓图中的人体在三维空间中的成像情况。
具体地，可基于三维姿态估计模型和每个所述轮廓图对应的所述二维关节点坐标，确定每个所述轮廓图对应的所述初始三维关节点坐标，其中，所述三维姿态估计模型是基于样本二维关节点坐标和所述样本二维关节点坐标对应的样本三维关节点坐标训练得到的。
需要知晓，若直接通过深度学习模型建立轮廓图到三维空间的端到端映射，由于轮廓图中在人体信息以外还包括其他信息(如人体背景信息、人体衣着信息等)，这就造成模型需要学习的特征过于复杂，也就是说，人体信息以外的其他信息对于模型训练的干扰很大，造成模型的识别准确性极低。对此，可降维至二维坐标系，利用二维坐标系非线性程度高的优势，避免直接深度学习模型建立轮廓图到三维空间的端到端映射时人体信息以外的其他信息对于模型训练的干扰。接下来，在获得轮廓图的二维关节点坐标后，再基于三维姿态估计模型将轮廓图的二维关节点坐标转换为初始三维关节点坐标，该初始三维关节点坐标相对准确，避免了受人体信息以外的其他信息的影响。
步骤108，将每个所述轮廓图对应的所述初始三维关节点坐标由自身所述视角标识对应的当前视角转换至指定视角，得到目标三维关节点坐标，作为步态识别的目标样本。
为消除不同轮廓图间视角不同带来的差异，可将每个所述轮廓图对应的初始三维关节点坐标均转换至相同视角下，这样，作为样本数据的所有轮廓图均处于相同视角下，不同轮廓图间的视角差异由此消除，以这样的样本数据生成的步态识别模型在排除了视角因素干扰的情况下，其识别准确性有所提升。其中，指定视角可基于实际步态识别需求进行设置。
至此，以上技术方案，为用于步态识别的全部轮廓图确定了三维空间中具有相同视角的三维关节点坐标，消除了样本间拍摄时的视角不同带来的差异，提升了样本的合理性，同时使得以此样本所得的步态识别模型的识别准确性得到提升。
实施例二
在实施例一的基础上，根据本发明的另一个实施例的图像处理方法的流程包括：
步骤202，获取用于步态识别的轮廓图集合，所述轮廓图集合中的每个轮廓图具有视角标识。
步骤204，为每个所述轮廓图确定对应的二维关节点坐标。
例如，将轮廓图输入二维姿态估计模型，得到k个二维的骨骼关节点坐标，每个骨骼关节点坐标可表示为(x，y)。
步骤206，对全部所述轮廓图对应的所述二维关节点坐标进行归一化处理，并以归一化处理后的二维关节点坐标替换原有的所述二维关节点坐标。
在上述实例中，每个骨骼关节点坐标可表示为(x，y)，但由于人体姿态的多样性，不同轮廓图里人体姿态的差异导致不同轮廓图里骨骼关节点坐标的(x，y)数值差异较大，可能分属不同量纲，而样本的差异性越大，越不利于后续的步态识别模型训练，一则影响步态识别模型训练的效率，二则影响步态识别模型的识别精确度。对此，在确定初始三维关节点坐标之前，可对各轮廓图的二维关节点坐标进行归一化处理，将各轮廓图的二维关节点坐标转换为无量纲的标量，既缩小了二维关节点坐标的值，降低了训练难度，也消除了二维关节点坐标间量纲不同带来的差异，有助于提升步态识别模型的识别精确度。可选地，归一化处理后各轮廓图的二维关节点坐标值处于0～1之间。
步骤208，基于每个所述轮廓图对应的所述二维关节点坐标，确定初始三维关节点坐标。
将轮廓图对应的所述二维关节点坐标输入三维姿态估计模型，使三维姿态估计模型输出初始三维关节点坐标。
例如，将轮廓图输入二维姿态估计模型，得到k个二维的骨骼关节点坐标，每个骨骼关节点坐标可表示为(x，y)，对每个骨骼关节点坐标进行归一化处理后，得到每个骨骼关节点坐标可表示为(x1，y1)。接下来，将k个(x1，y1)输入三维姿态估计模型，使三维姿态估计模型输出k个三维的骨骼关节点坐标，每个三维的骨骼关节点坐标可表示为(x2，y2，z2)。其中，x1与x2相同或不同，y1与y2相同或不同。
步骤210，将每个所述轮廓图对应的所述初始三维关节点坐标由自身所述视角标识对应的当前视角转换至指定视角，得到目标三维关节点坐标，作为步态识别的目标样本。
也就是说，将每个轮廓图由当前视角转换至指定视角进行显示，在转换后，每个轮廓图由于视角的改变，其在三维空间中成像对应的三维关节点坐标也随之改变。
具体地，将每个轮廓图由当前视角转换至指定视角进行显示的方式包括：
首先，基于当前视角与指定视角，确定相对夹角
Figure BDA0002887686250000073
可选地，以初始三维关节点坐标在当前视角的成像位置(可选为拍摄装置以当前视角进行拍摄时所处的位置)和初始三维关节点坐标的实际位置的连线为第一边，以初始三维关节点坐标在指定视角的成像位置(可选为拍摄装置以指定视角进行拍摄时所处的位置)和初始三维关节点坐标的实际位置的连线为第二边，将第一边和第二边所在直线相交所得的锐角设置为相对夹角φ。
接着，基于相对夹角φ和初始三维关节点坐标，确定目标三维关节点坐标。
在一种可能的设计中，在x-y-z三轴坐标系中，以y轴为轮廓图对应的高度，以z轴为轮廓图对应的深度，基于以下公式确定目标三维关节点坐标。
Figure BDA0002887686250000071
在另一种可能的设计中，在x-y-z三轴坐标系中，以z轴为轮廓图对应的高度，以z轴为轮廓图对应的深度，基于以下公式确定目标三维关节点坐标。
Figure BDA0002887686250000072
其中，初始三维关节点坐标为(x2，y2，z2)，目标三维关节点坐标为(x3，y3，z3)。参照步骤208给出的实例，视角a(当前视角)下的三维的骨骼关节点坐标(x2，y2，z2)转换为视角b(指定视角)下的骨骼关节点坐标(x3，y3，z3)。
步骤212，通过目标优化方式以所述目标样本训练步态识别模型；或者基于所述目标样本的数量，在多种预定优化方式中选择目标优化方式，并通过所述目标优化方式以所述目标样本训练步态识别模型。
在一种可能的设计中，可设置目标优化方式为SGD(随机梯度下降)优化方式或Adam优化方式。SGD优化方式用于在每次迭代后用一个训练数据来更新参数，即通过所得的步态识别的目标样本优化步态识别模型的参数。Adam优化方式结合了AdaGrad和算法RMSProp算法最优的性能，用于解决稀疏梯度和噪声问题。
SGD优化方式相对于Adam优化方式，其计算结果的准确度更高，而Adam优化方式相对于SGD优化方式，则具有更高效的收敛速度。因此，在另一种可能的设计中，可设置多种预定优化方式包括SGD优化方式和Adam优化方式，并基于实际步态识别需求在多种预定优化方式中选择目标优化方式。若对于收敛速度具有较高需求，可采用Adam优化方式，实现步态识别模型快速、高效的收敛，使得模型训练的效率提升。若对步态识别的精确度具有较高需求，可采用SGD优化方式进行模型训练，从而获得识别精确度更高的步态识别模型。
在实施例一和实施例二的基础上，在一种可能的设计中，获得步态识别模型后，通过步态识别模型对待识别图像进行识别时，可直接将待识别图像输入步态识别模型，由于步态识别模型消除了样本的视角因素带来的影响，无论待识别图像出于什么视角下，相对相关技术中未消除样本的视角因素带来的影响的旧步态识别模型，本步态识别模型均具有更高的识别准确性。
在实施例一和实施例二的基础上，在另一种可能的设计中，获得步态识别模型后，通过步态识别模型对待识别图像进行识别时，可在步态识别模型中对待识别图像进行预处理，所述预处理的步骤与实施例一种对作为样本的轮廓图的处理相同。即为待识别图像确定对应的二维关节点坐标，基于其对应的二维关节点坐标确定初始三维关节点坐标，再将其初始三维关节点坐标由自身所述视角标识对应的当前视角转换至步态识别模型的样本对应的指定视角，得到目标三维关节点坐标，最终将该目标三维关节点坐标输入步态识别模型，获得识别结果。
由此，可将待识别图像的视角转换为步态识别模型的样本对应的指定视角，从而消除了待识别图像与步态识别模型的样本间的视角差异，进一步提升了步态识别模型识别准确性。
实施例三
在实施例一和实施例二的基础上，所述轮廓图集合包括分别具有不同视角标识的多个第一人体行走样本集合，每个所述第一人体行走样本集合包括分别位于不同衣着下的多个第二人体行走样本集合，每个所述第二人体行走样本集合包括多个轮廓图序列，每个所述轮廓图序列包括多个所述轮廓图。
在本技术方案中，轮廓图集合中的各轮廓图不仅具有视角差异，还具有人体衣着差异，对此，在实施例一和实施例二中对于轮廓图的视角差异进行消除的同时，还可对轮廓图的人体衣着差异进行消除。具体地，可对所述轮廓图集合中已有衣着下的第一轮廓图进行模糊化处理；按照所述轮廓图集合外的目标衣着对应的厚度阈值，对模糊化处理后的第一轮廓图的轮廓厚度进行调整，得到第二轮廓图。
其中，该模糊化处理可通过经典卷积操作来实现，在这一过程中，可通过对第一轮廓图中的相邻像素点取反而清零其他区域，进一步精确所述第一轮廓图的边界。接着，按照目标衣着对应的厚度阈值，对模糊化处理后的第一轮廓图的轮廓厚度进行调整，得到第二轮廓图。具体地，在第一轮廓图的轮廓厚度低于目标衣着对应的厚度阈值的情况下，将第一轮廓图的轮廓厚度增加，在第一轮廓图的轮廓厚度高于目标衣着对应的厚度阈值的情况下，将轮廓区域的轮廓厚度减少。总之，是减少第一轮廓图的轮廓厚度与目标衣着对应的厚度阈值的差异，使得第一轮廓图通过加厚或减薄而形成附有目标衣着的人像所应有的轮廓区域。最终，得到各第一轮廓图处于相同的目标衣着下的第二轮廓图，相当于消除了样本间因衣着不同产生的差异。
至此，对于训练步态识别模型所需的样本，既消除了样本间因拍摄的视角不同产生差异，也消除了样本间因其内人体衣着不同产生的差异，在排除拍摄的视角与人体衣着干扰的基础上，可获得更为准确的人体轮廓到三维空间的映射，使得以这样的样本训练所得的步态识别模型能够更准确地反映人体轮廓与人体姿态的关联性，获得更高的实用性和识别准确性。
当然，在实施例三的基础上，获得步态识别模型后，通过步态识别模型对待识别图像进行识别时，可在步态识别模型中对待识别图像进行预处理，所述预处理的步骤包括：对待识别图像对应的第一轮廓图进行模糊化处理，并按照步态识别模型对应的目标衣着对应的厚度阈值，对模糊化处理后的第一轮廓图之轮廓厚度进行调整，得到第二轮廓图；接着，对第二轮廓图进行实施例一所述的方法，获得第二轮廓图的初始三维关节点坐标，以及将其初始三维关节点坐标由自身所述视角标识对应的当前视角转换至步态识别模型的样本对应的指定视角，得到目标三维关节点坐标，最终将该目标三维关节点坐标输入步态识别模型，获得识别结果。
由此，可将待识别图像的衣着效果转换为步态识别模型的样本对应的目标衣着的效果，并将待识别图像的视角转换为步态识别模型的样本对应的指定视角，从而消除了待识别图像与步态识别模型的样本间的视角差异和衣着差异，进一步提升了步态识别模型识别准确性。
本发明的一个实施例的电子设备，包括至少一个存储器；以及，与所述至少一个存储器通信连接的处理器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述任一实施例中任一项所述的方案。因此，该电子设备具有和上述任一实施例中任一项相同的技术效果，在此不再赘述。
本发明实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
另外，本发明实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一实施例中任一项所述的方法流程。
以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，消除了样本间拍摄时的视角不同带来的差异，提升了样本的合理性，同时使得以此样本所得的步态识别模型的识别准确性得到提升。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述轮廓图，但这些轮廓图不应限于这些术语。这些术语仅用来将轮廓图彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一轮廓图也可以被称为第二轮廓图，类似地，第二轮廓图也可以被称为第一轮廓图。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种图像处理方法，其特征在于，包括：
获取用于步态识别的轮廓图集合，所述轮廓图集合中的每个轮廓图具有视角标识；
为每个所述轮廓图确定对应的二维关节点坐标；
基于每个所述轮廓图对应的所述二维关节点坐标，确定初始三维关节点坐标；
将每个所述轮廓图对应的所述初始三维关节点坐标由自身所述视角标识对应的当前视角转换至指定视角，得到目标三维关节点坐标，作为步态识别的目标样本；
所述将每个所述轮廓图对应的所述初始三维关节点坐标由自身所述视角标识对应的当前视角转换至指定视角，得到目标三维关节点坐标，包括：
基于所述当前视角和所述指定视角，确定相对夹角，其中，
所述初始三维关节点坐标在所述当前视角的成像位置与所述初始三维关节点坐标的连线为第一边，所述初始三维关节点坐标在所述指定视角的成像位置和所述初始三维关节点坐标的连线为第二边，所述相对夹角为所述第一边和所述第二边所在直线相交所得的锐角；
基于所述相对夹角和所述初始三维关节点坐标，确定所述目标三维关节点坐标。
2.根据权利要求1所述的图像处理方法，其特征在于，所述为每个所述轮廓图确定对应的二维关节点坐标，包括：
基于每个所述轮廓图和二维姿态估计模型，确定每个所述轮廓图对应的所述二维关节点坐标，其中，所述二维姿态估计模型是基于样本轮廓图和所述样本轮廓图对应的样本二维关节点坐标训练得到的。
3.根据权利要求2所述的图像处理方法，其特征在于，所述基于每个所述轮廓图对应的所述二维关节点坐标，确定初始三维关节点坐标，包括：
基于三维姿态估计模型和每个所述轮廓图对应的所述二维关节点坐标，确定每个所述轮廓图对应的所述初始三维关节点坐标，其中，所述三维姿态估计模型是基于样本二维关节点坐标和所述样本二维关节点坐标对应的样本三维关节点坐标训练得到的。
4.根据权利要求3所述的图像处理方法，其特征在于，在所述基于每个所述轮廓图对应的所述二维关节点坐标，确定初始三维关节点坐标之前，还包括：
对全部所述轮廓图对应的所述二维关节点坐标进行归一化处理，并以归一化处理后的二维关节点坐标替换原有的所述二维关节点坐标。
5.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，还包括：
通过目标优化方式以所述目标样本训练步态识别模型；或者
基于所述目标样本的数量，在多种预定优化方式中选择目标优化方式，并通过所述目标优化方式以所述目标样本训练步态识别模型。
6.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，
所述轮廓图集合包括分别具有不同视角标识的多个第一人体行走样本集合，每个所述第一人体行走样本集合包括分别位于不同衣着下的多个第二人体行走样本集合，每个所述第二人体行走样本集合包括多个轮廓图序列，每个所述轮廓图序列包括多个所述轮廓图。
7.根据权利要求6所述的图像处理方法，其特征在于，在所述为每个所述轮廓图确定对应的二维关节点坐标之前，还包括：
对所述轮廓图集合中已有衣着下的第一轮廓图进行模糊化处理；
按照所述轮廓图集合外的目标衣着对应的厚度阈值，对模糊化处理后的第一轮廓图的轮廓厚度进行调整，得到第二轮廓图；
将所述第二轮廓图加入所述轮廓图集合。
8.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1至7中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7中任一项所述的方法流程。
CN202110018036.2A 2021-01-07 2021-01-07 图像处理方法、电子设备和计算机可读存储介质 Active CN112733704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110018036.2A CN112733704B (zh) 2021-01-07 2021-01-07 图像处理方法、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110018036.2A CN112733704B (zh) 2021-01-07 2021-01-07 图像处理方法、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112733704A CN112733704A (zh) 2021-04-30
CN112733704B true CN112733704B (zh) 2023-04-07

Family

ID=75591015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110018036.2A Active CN112733704B (zh) 2021-01-07 2021-01-07 图像处理方法、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112733704B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537121A (zh) * 2021-07-28 2021-10-22 浙江大华技术股份有限公司 身份识别方法和装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831638B (zh) * 2012-07-06 2014-11-26 南京大学 一种采用手绘草图的三维人体多姿态建模方法
CN104061907B (zh) * 2014-07-16 2016-08-24 中南大学 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法
CN106056089B (zh) * 2016-06-06 2019-06-11 中国科学院长春光学精密机械与物理研究所 一种三维姿态识别方法及系统
CN107085716B (zh) * 2017-05-24 2021-06-04 复旦大学 基于多任务生成对抗网络的跨视角步态识别方法
CN109448090B (zh) * 2018-11-01 2023-06-16 北京旷视科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111062326B (zh) * 2019-12-02 2023-07-25 北京理工大学 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
CN111814719B (zh) * 2020-07-17 2024-02-20 江南大学 一种基于3d时空图卷积的骨架行为识别方法
CN112183316B (zh) * 2020-09-27 2023-06-30 中山大学 一种运动员人体姿态测量方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法

Also Published As

Publication number Publication date
CN112733704A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN110111418B (zh) 创建脸部模型的方法、装置及电子设备
Ye et al. Accurate 3d pose estimation from a single depth image
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN110688929B (zh) 一种人体骨架关节点定位方法及装置
CN111710035B (zh) 人脸重建方法、装置、计算机设备及存储介质
US11074713B2 (en) Recognition device, recognition system, recognition method, and non-transitory computer readable recording medium
JP2006228061A (ja) 顔追跡プログラムおよび顔追跡方法
CN113159006B (zh) 基于人脸识别的考勤方法、系统、电子设备和存储介质
JP2019144830A (ja) 複数の認識エンジンを用いて人物の行動を認識するプログラム、装置及び方法
WO2017070923A1 (zh) 一种人脸识别方法和装置
JP6381368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017091377A (ja) 姿勢推定装置、姿勢推定方法、及び姿勢推定プログラム
CN112733704B (zh) 图像处理方法、电子设备和计算机可读存储介质
CN111368787A (zh) 视频处理方法及装置、设备和计算机可读存储介质
EP4131166A1 (en) Three-dimensional model generation method and three-dimensional model generation device
CN112258647B (zh) 地图重建方法及装置、计算机可读介质和电子设备
Wang et al. Handling occlusion and large displacement through improved RGB-D scene flow estimation
CN112766097A (zh) 视线识别模型的训练方法、视线识别方法、装置及设备
CN111814811A (zh) 图像信息提取方法、训练方法及装置、介质和电子设备
CN111339973A (zh) 一种对象识别方法、装置、设备及存储介质
CN113916223B (zh) 定位方法及装置、设备、存储介质
CN110738082B (zh) 人脸关键点的定位方法、装置、设备及介质
CN111241990A (zh) 图像处理方法及装置、计算机设备、计算机可读存储介质
US20220254052A1 (en) Three-dimensional pose estimation method, program, recording medium and three-dimensional pose estimation device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant