CN113096152B - 多对象运动分析方法、装置、设备和介质 - Google Patents

Abstract

本公开提供了一种多对象运动分析方法、装置、设备和介质，涉及人工智能领域，具体为计算机视觉和深度学习技术。该多对象运动分析方法包括：确定待分析图像中的多个对象中的至少一个对象的至少一个关键点；基于至少一个对象中的第一对象子集中的一个或多个对象的至少一个关键点，确定运动标准；以及基于至少一个对象中的第二对象子集中的一个或多个对象的至少一个关键点，确定第二对象子集中的一个或多个对象是否满足运动标准。

Description

多对象运动分析方法、装置、设备和介质

技术领域

本公开涉及人工智能领域，具体为计算机视觉和深度学习技术，特别涉及一种多对象运动分析方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

基于计算机视觉技术的多对象的运动分析在现实中有非常广泛的应用场景，包括对视频或图像中的多个人物的运动信息进行分析。例如在广场舞编排、运动会队列训练、武术方阵训练和广播体操检查等情境下，需要对每个人物的位置、动作和姿态等运动信息进行提取识别并分析，进而能够判断行列是否整齐、动作是否一致。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种多对象运动分析方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种多对象运动分析方法，包括：确定待分析图像中的多个对象中的至少一个对象的至少一个关键点；基于至少一个对象中的第一对象子集中的一个或多个对象的至少一个关键点，确定运动标准；以及基于至少一个对象中的第二对象子集中的一个或多个对象的至少一个关键点，确定第二对象子集中的一个或多个对象是否满足运动标准。

根据本公开的另一方面，提供了一种多对象运动分析装置，包括：第一确定单元，第一确定单元被配置为确定待分析图像中的多个对象中的至少一个对象的至少一个关键点；第二确定单元，第二确定单元被配置为基于至少一个对象中的第一对象子集中的一个或多个对象的至少一个关键点，确定运动标准；以及第三确定单元，第三确定单元被配置为基于至少一个对象中的第二对象子集中的一个或多个对象的至少一个关键点，确定第二对象子集中的一个或多个对象是否满足运动标准。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，这些指令被至少一个处理器执行，以使至少一个处理器能够执行上述多对象运动分析方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述多对象运动分析方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述多对象运动分析方法。

根据本公开的一个或多个实施例，通过基于待分析图像所包括的多个对象中的与运动分析相关的至少一个对象中的、最具代表性或能够用于确定对象或对象的某个部位的位置、姿态和动作等运动信息的标准的第一对象子集，以确定相应的运动标准，并通过将需要与运动标准进行比对的第二对象子集中的每一个对象与运动标准进行比对，从而能够在不借助需要预先准备或外界提供的预设标准的情况下对多个对象的运动进行分析，避免了在部分情形下由于缺乏预设标准而无法对多个对象的姿态、动作是否正确、整齐进行判断，丰富了使用场景。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开示例性实施例的多对象运动分析方法的流程图；

图2示出了根据本公开示例性实施例的在世界坐标系下对关键点进行拟合的示意图；

图3示出了根据本公开示例性实施例的在对象坐标系下对关键点进行拟合的示意图；

图4示出了根据本公开示例性实施例的多对象运动分析装置的结构框图；以及

图5示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

相关技术中，现有技术在执行例如姿态或动作分析与矫正、判断运动姿势是否标准等运动对象分析任务时，均需要将提取到的对象关键点与预设的标准进行比对，从而才能够完成相应的分析与判断。而很多情况下并不方便预先生成标准，并且生成标准时的场地、拍摄视角、拍摄设备等外界条件与使用标准时并不一定相同，从而会导致误差。此外，在例如武术、舞蹈、健身操或广播体操等场景下，在使用预设标准时，还需要将预设标准的时间轴和当前进行对齐，从而会进一步增加任务的复杂程度并引入误差。

为解决上述问题，通过基于在待分析图像所包括的多个对象中的与运动分析相关的至少一个对象中的、最具代表性或能够用于确定对象或对象的某个部位的位置、姿态和动作等运动信息的标准的第一对象子集，以确定相应的运动标准，并通过将需要与运动标准进行比对的第二对象子集中的每一个对象与运动标准进行比对，从而能够在不借助需要准备或外界提供的预设标准的情况下对多个对象的运动进行分析，避免了在部分情形下由于缺乏预设标准而无法对多个对象的姿态、动作是否正确、整齐进行判断，丰富了使用场景。

下面将结合附图详细描述本公开的实施例。

根据本公开的一方面，提供了一种多对象运动分析方法。如图1所示，多对象运动分析方法可以包括：步骤S101、确定待分析图像中的多个对象中的至少一个对象的至少一个关键点；步骤S102、基于至少一个对象中的第一对象子集中的一个或多个对象的至少一个关键点，确定运动标准；以及步骤S103、基于至少一个对象中的第二对象子集中的一个或多个对象的至少一个关键点，确定第二对象子集中的一个或多个对象是否满足运动标准。由此，通过基于在待分析图像所包括的多个对象中的与运动分析相关的至少一个对象中的、最具代表性或能够用于确定对象或对象的某个部位的位置、姿态和动作等运动信息的标准的第一对象子集，以确定相应的运动标准，并通过将需要与运动标准进行比对的第二对象子集中的每一个对象与运动标准进行比对，从而能够在不借助需要准备或外界提供的预设标准的情况下对至少一个对象的运动进行分析，避免了在部分情形下由于缺乏预设标准而无法对多个对象的姿态、动作是否正确、整齐进行判断，丰富了使用场景。

可以理解的是，本公开中的术语“运动”和“运动分析”等并不意图将关注重点仅限定于对象或对象的局部的速度、加速度、动作等，还可以包括对象或对象的局部在不同参考系中的位置、姿态、朝向等静态信息，进一步地可以包括对象或对象的局部的高度、长度、体积等属性信息，从而对与对象或对象的局部的运动有关联的多个层面进行综合考虑并全面分析，在此不做限定。

根据一些实施例，本公开可以对各种不同类型的对象进行整体的或局部的运动分析，包括判断多个对象之间的位置关系是否正确、每一个对象的姿态、动作是否规范准确或整齐划一。不同类型的对象例如可以是人物、机器人、无人机等，也可以是在布展、装修等场景下的绿植、摆件、装潢等，还可以是例如虚拟现实场景、增强现实场景或游戏场景中的虚拟对象，在此不作限定。在一些示例性实施例中，对象为人物或人体。

根据一些实施例，待分析图像可以是由摄像机拍摄的连续视频帧中的一帧。在一些实施例中，使用固定视角摄像机获取包括待分析图像的视频连续帧，固定摄像机例如可以为固定位置的手机相机或便携式相机、监控摄像机、固定位置和视角的无人机机载相机等等。在另一些实施例中，使用可移动或可改变视野的非固定视角摄像机获取视频连续帧，非固定视角摄像机例如可以是由人手持进行拍摄的手机相机或便携式相机、随着拍摄过程改变位置或改变视角的无人机等等。

根据一些实施例，对象的关键点能够表征对象的位置信息和姿态信息等运动信息。在一个示例性实施例中，人体包括左右手臂关键点、左右腿关键点和躯干关键点等五组骨骼关键点，其中，可以使用躯干关键点中的一个关键点作为对象位置的表示，可以使用左手臂关键点中的左肩关键点和左手腕关键点作为左手臂姿态的表示。可以理解的是，使用更多的关键点能够增加对运动信息细节的获取，从而能够得到提取到更准确的动作，但会使得运动分析过程的计算量增加，减缓处理速度，降低性能；使用更少的关键点会提升多对象运动分析方法的处理速度，提升性能，但会由于所获取的信息量有所下降，因此得到的关键点对动作的细节体现更为粗糙。

可以理解的是，对象的至少一个关键点可以是对象的所有关键点，也可以是在执行特定运动分析任务时所需要的一部分关键点。示例性地，在判断某一帧的所有对象的左手臂方向是否相同时，可以只确定每一个对象的用于表示左手臂的相应关键点。

根据一些实施例，多个对象中的至少一个对象可以包括第一对象子集和第二对象子集。第一对象子集所包括的对象可以为能够作为标杆的对象，第二对象子集所包括的对象可以为需要进行比对或判断的对象，从而能够根据第一对象子集中的对象的位置、姿态、动作来判断第二对象子集中的对象的位置、姿态、动作是否准确。

在一些示例性实施例中，第一对象子集可以为领操员、领舞、武术示范员、队列的排头等，第二对象子集可以为其他需要与上述对象进行位置、姿态、动作比对的对象。在这样的实施例中，第一对象子集可以和第二对象子集不包括相同的对象。

在另一些示例性实施例中，第一对象子集和第二对象子集均可以为队列中的一列或一排，从而根据这一列或一排的所有对象的位置、来确定这一列或一排的标准，继而将这一列或一排中的所有对象与该标准进行比对。在这样实施例中，第一对象子集和第二对象子集可以相同。

根据一些实施例，步骤S101、确定待分析图像中的多个对象中的至少一个对象的至少一个关键点可以包括：对待分析图像进行目标检测，以得到多个对象中的至少一个对象各自对应的图像区域；以及对至少一个对象对应的图像区域进行关键点提取，以得到至少一个对象的至少一个关键点。相比于直接对待分析图像中的关键点进行提取，通过对待分析图像进行目标检测得到与每一个对象各自相应的图像区域，再对这些区域分别进行关键点提取，使得能够得到更准确的关键点提取结果，并且能够更好地将不同对象的关键点进行区分，以便于后续确定每一个关键点是否用作确定标准以及是否需要与标准进行比对。

根据一些实施例，步骤S101、确定待分析图像中的多个对象中的至少一个对象的至少一个关键点还可以包括：对待分析图像和在先的视频帧进行目标跟踪，以将每一个视频帧所包括的多个目标检测框进行关联，从而能够得到每一个对象在每一个视频帧中对应的目标检测框即图像区域。通过对多个视频帧进行目标跟踪，能够更便捷的确认每一帧中的哪些对象属于第一对象子集，哪些对象属于第二对象子集。

根据一些实施例，目标跟踪例如可以是基于人脸识别进行的。通过对在先视频帧和在先的视频帧中的每一个目标检测框进行人脸识别，从而能够确定多个对象在每一个视频帧对应的目标检测框即图像区域。可以理解的是，目标跟踪还可以基于例如交并比匹配、中心点距离匹配等方式进行，在此不做限定。

需要说明的是，本实施例中，人脸识别方法的执行主体可以通过各种公开、合法合规的方式获取目标二维人脸图像，例如可以是经过了用户的授权从用户处获取的。此外，本实施例中，使用人脸识别方法所获取到的二维人脸图像仅用于将同一用户在不同视频帧中对应的目标检测结果进行关联。

根据一些实施例，确定待分析图像中的多个对象中的至少一个对象的至少一个关键点可以包括确定至少一个关键点中的每一个关键点的真实世界坐标。由此，可以使用第一对象子集中的一个或多个对象对应的关键点的真实世界坐标确定运动标准，并将基于真实世界坐标所确定的运动标准与第二对象子集中的一个或多个对象对应的关键点的真实世界坐标相比对，以判断第二对象子集中的对象是否满足所述运动标准。相比于图像坐标，使用在世界坐标系下每个关键点包括的三维的真实世界坐标，从而实现了基于能够更准确地体现对象的位置、姿态和位置的空间结构化信息以进行多对象的运动分析。

根据一些实施例，确定至少一个对象的至少一个关键点的真实世界坐标可以包括：针对至少一个对象的至少一个关键点中的每一个关键点，预测该关键点的图像深度；以及基于该关键点的图像坐标和图像深度，确定该关键点的真实世界坐标。由此，通过预测每一个关键点的图像深度，可以基于图像二维坐标和图像深度而得到图像坐标系(即，相机坐标系)的关键点坐标，进而可以通过坐标系变换而得到更为便于使用的世界坐标系下的真实世界坐标。

根据一些实施例，步骤S102、基于至少一个对象中的第一对象子集中的一个或多个对象的至少一个关键点，确定运动标准可以包括：对第一对象子集中的一个或多个对象中的每一个对象的至少一个关键点进行拟合，以得到拟合结果；以及确定与拟合结果对应的容错范围。由此，通过对用于确定标准的第一对象子集中的一个或多个对象的关键点进行拟合，以得到最具有代表性的第一对象子集中的一个或多个对象的位置、动作和姿态等的综合表示，并设置与该综合表示相应的容错范围，从而确定了相应的运动标准。

可以理解的是，本公开中的术语“拟合”并非严格的数学意义上的拟合，而是一种对“拟合”思想的概括性表述，即根据一个或多个形状相同或相似、位置或倾角相同或相近的几何图形(例如，散点、线段或直线、二维封闭图形或平面等等)，确定针对这些几何图形的最具有代表性的综合表示(例如，与一系列散点的距离和最小的点或拟合直线、与一系列线段或直线的距离和或交角和最小的线段或直线，与一系列平面的位置差之和或交角和最小的平面等等)，从而能够将其作为相应的比对标准。

根据一些实施例，拟合结果可以包括以下各项组成的组中的至少一项：对第一对象子集中的一个或多个对象的至少一个关键点中的第一组关键点进行拟合而得到的拟合点，对第一对象子集中的一个或多个对象的至少一个关键点中的第二组关键点进行线拟合而得到的拟合线，以及对第一对象子集中的一个或多个对象的至少一个关键点中的第三组关键点进行面拟合而得到的拟合面。由此，通过使用上述三种具体的拟合方式，能够得到用于比对的拟合点、拟合线和拟合面。

本领域技术人员可以理解，虽然在工程中通常不会将一系列散点拟合成一个点或多个点，但本公开中，将一系列散点拟合成一个点例如可以是计算这一系列散点的中心(平均值)或质心，也可以是通过其他方式得到能够代表这一系列散点的一个点或多个点，在此不做限定。

可以理解的是，上述第一组关键点、第二组关键点和第三组关键点仅用于说明可以选择与第一对象子集中的一个或多个对象对应的至少一个关键点中的一部分关键点进行拟合以得到相应的拟合形状，而用于得到不同拟合形状的不同组的关键点可以包括相同的关键点，也可以不包括相同的关键点，在此不做限定。

上述三种拟合方式均可以基于不同坐标系进行拟合。以下将通过多个实施例分别说明如何在不同坐标系下对关键点进行拟合。

图2示出了根据示例性实施例的在世界坐标系下对关键点进行拟合的示意图。第一对象子集中的三个对象210、220和230在前平举左臂，其中，对象220的左臂224略高于对象210的左臂214，对象230的左臂234略向下倾斜。在一些示例性实施例中，三个对象同时也是第二对象子集的对象，则可以对三个对象各自的第一组关键点即左手关键点216、226和236进行拟合，以得到与三个对象各自相应的拟合点(图中未示出)，从而可以将这三个对象各自的左手关键点与得到的拟合点进行比对。在另一些示例性实施例中，可以对三个对象各自的第二组关键点即左手关键点216、226和236进行线拟合以得到拟合线250。在又另一些实施例中，可以对三个对象各自的第三组关键点即左肩关键点212、222和232以及左手关键点216、226和236进行面拟合以得到拟合面，即由平行线240和250限定的平面。可以理解的是，上述仅为示例性的拟合方法，本领域技术人员可以采用更为丰富而自由的拟合方式以得到所需的拟合结果。

可以理解的是，在相机坐标系或图像坐标系下的拟合与上述拟合方式类似，在此不做赘述。

根据一些实施例，对第一对象子集中的一个或多个对象的至少一个关键点进行拟合，以得到拟合结果包括：将第一对象子集中的一个或多个对象的至少一个关键点投影到同一个对象的相应位置，以得到多个投影关键点；以及对投影关键点进行拟合，以得到拟合结果。由此，通过将第一对象子集中的一个或多个对象中的每一个对象的关键点均投影到同一个对象的相应位置，并对投影后的关键点进行拟合，能够得到更好地对多个标杆对象的动作进行提炼与综合表示的拟合方法。

图3示出了根据本公开示例性实施例的在对象坐标系下对关键点进行拟合的示意图。第一对象子集中的三个对象的关键点投影到对象310的相同位置，更具体地，三个对象的左肩关键点均投影到对象310的左肩关键点312处。此时，三个对象的左手关键点分别投影到了314、316和318三个位置。在一些示例性实施例中，可以对第一组关键点即投影后的左手关键点314、316和318进行拟合，以得到拟合点320。在另一些实施例中，可以对第二组关键点即投影后的左肩关键点312与投影后的左手关键点314、316和318进行线拟合，以得到拟合线322。在又另一些实施例中，可以对第三组关键点即左手关键点314、316和318进行面拟合，以得到拟合面324。可以理解的是，上述仅为示例性的拟合方法，本领域技术人员可以采用更为丰富而自由的拟合方式以得到所需的拟合结果。

可以理解的是，虽然图2、图3中示出了人体的多个关键点，但在上述阐述拟合方式的实施例中，例如与头部、颈部、右臂、髋部和双腿相关的关键点可以忽略。

根据一些实施例，确定与拟合结果对应的容错范围例如可以根据拟合结果的类型进行确定。示例性地，当拟合结果包括拟合点时，容错范围例如可以是单个关键点与拟合点的预设距离范围；当拟合结果包括拟合线或拟合面时，容错范围例如可以是单个关键点与拟合线的距离，也可以是多个关键点确定的直线或平面与拟合线或拟合面的预设距离范围或预设交角范围。可以理解的是，本领域技术人员可以根据需求任选方式设置相应的容错范围，以对待对比对象的位置、动作、姿态和标准的偏差设置合理容忍范围。

根据一些实施例，步骤S103、基于至少一个对象中的第二对象子集中的一个或多个对象的至少一个关键点，确定第二对象子集中的一个或多个对象是否满足运动标准可以包括：计算第二对象子集中的一个或多个对象的至少一个关键点和拟合结果的偏差；以及确定偏差是否位于容错范围内。可以理解的是，偏差的计算方式可以与上述设定容错范围的方式类似。由此，通过确定对象的关键点和拟合结果的偏差，并根据偏差是否位于容错范围内判断该对象的位置、姿态、动作等是否与由基于第一对象子集所确定的运动标准一致，实现了在没有预设标准的情况下，对多对象的运动信息进行分析。

上述多个实施例说明了如何对对象的关键点进行拟合，从而得到用于比对的运动标准，以及使用关键点与运动标准进行比对以确定对象是否满足运动标准的方法。下面将根据一些实施例进一步说明在对对象的关键点进行信息提取的基础上，实现多对象运动分析的方法。

根据一些实施例，至少一个对象的至少一个关键点可以与该对象的特定部位相对应。在确定了相应的对应关系后，针对至少一个对象中的每一个对象，可以基于该对象的至少一个关键点，确定该对象的特定部位的运动信息。其中，运动信息包括该对象的特定部位的位置信息和姿态信息中的至少一者。而后，可以进一步基于第一对象子集中的一个或多个对象的特定部位的运动信息来确定运动标准，并将第二对象子集中的一个或多个对象的特定部位的运动信息和该运动标准来比对。在一个示例性实施例中，人体的左肩关键点和左手腕关键点作可以与左手臂相对应，则在生成与左手臂相应的运动标准时，可以基于所有第一对象子集中的一个或多个对象的左手臂的运动信息(例如，高度、方向等)生成相应运动标准。

根据一些实施例，运动信息包括以下各项组成的组中的至少一者：相应的对象的至少一个关键点中的第四组关键点的位置；根据相应的对象的至少一个关键点中的第五组关键点所确定的直线的位置和角度中的至少一者；以及根据相应的对象的至少一个关键点中的第六组关键点所确定的平面的位置和角度中的至少一者。

示例性地，第四组关键点例如可以为头部关键点、髋部关键点或左手关键点等等；第五组关键点例如可以为左肩关键点和左手腕关键点、或右肩关键点和右手腕关键点等等，从而可以根据这些关键点确定左手臂对应的直线或右手臂对应的直线；第六组关键点例如可以左肩关键点、右肩关键点和髋部关键点，从而可以根据这些关键点确定躯干的上半部所在的平面。

可以理解的是，上述第四组关键点、第五组关键点和第六组关键点仅用于说明可以选择与第一对象子集中的一个或多个对象对应的一个或多个关键点以得到相应的运动信息，而用于得到不同运动信息的不同组的关键点可以包括相同的关键点，也可以不包括相同的关键点，在此不做限定。

根据一些实施例，基于第一对象子集中的一个或多个对象的特定部位的运动信息，确定运动标准可以包括：对第一对象子集中的一个或多个对象的特定部位的运动信息进行拟合，以得到拟合结果；以及确定与拟合结果对应的容错范围。

针对运动信息，同样可以基于不同坐标系进行拟合。可以理解的是，本领域技术人员可以通过与上文所述类似的方式或采用其他方式以得到能够综合表示多个点、多条直线或多个平面的拟合点、拟合线以及拟合面，并为这些拟合结果确定相应的容错范围，在此不在赘述。

根据一些实施例，基于第二对象子集中的一个或多个对象的特定部位的运动信息，确定第二对象子集中的一个或多个对象的特定部位是否满足运动标准可以包括：计算该对象的特定部位的运动信息和拟合结果的偏差；确定偏差是否位于容错范围内。可以理解的是，可以使用与上文类似的偏差确定方法，或使用其他的确定点与点之间、直线与直线之间、平面与平面之间的偏差的方法，在此不做限定。

根据本公开的另一方面，还提供了一种多对象运动分析装置400。如图4所示，多对象运动分析装置包括：第一确定单元401，第一确定单元被配置为确定待分析图像中的多个对象中的至少一个对象的至少一个关键点；第二确定单元402，第二确定单元被配置为基于至少一个对象中的第一对象子集中的一个或多个对象的至少一个关键点，确定运动标准；以及第三确定单元403，第三确定单元被配置为基于至少一个对象中的第二对象子集中的一个或多个对象的至少一个关键点，确定第二对象子集中的一个或多个对象是否满足运动标准。

多对象运动分析装置400的单元401至单元403的操作和前面描述的步骤S101至步骤S103的操作类似，在此不做赘述。

根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

参考图5，现将描述可以作为本公开的服务器或客户端的电子设备500的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506、输出单元507、存储单元508以及通信单元509。输入单元506可以是能向设备500输入信息的任何类型的设备，输入单元506可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元507可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元508可以包括但不限于磁盘、光盘。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如目标跟踪方法。例如，在一些实施例中，目标跟踪方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的目标跟踪方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标跟踪方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (17)

1.一种多对象运动分析方法，包括：

确定待分析图像中的多个对象各自的至少一个关键点，其中，所述至少一个关键点表征对应的对象的特定部位的运动信息，所述运动信息包括位置信息和姿态信息中的至少一者，其中，所述待分析图像是由摄像机拍摄的连续视频帧中的一帧；

基于所述多个对象中的第一对象子集中的多个对象各自的至少一个关键点，确定运动标准，其中，确定所述运动标准包括：

对多个关键点进行拟合，以得到拟合结果，其中，所述多个关键点包括所述第一对象子集中的所述多个对象各自的至少一个关键点，所述拟合结果表征对所述第一对象子集中的所述多个对象各自的所述特定部位的运动信息的综合表示；以及

基于所述多个对象中的第二对象子集中的一个或多个对象各自的至少一个关键点，确定所述第二对象子集中的所述一个或多个对象是否满足所述运动标准，其中，确定所述第二对象子集中的所述一个或多个对象是否满足所述运动标准包括：

计算所述第二对象子集中的所述一个或多个对象各自的至少一个关键点和所述拟合结果的偏差。

2.如权利要求1所述的方法，其中，基于所述多个对象中的第一对象子集中的多个对象各自的至少一个关键点，确定运动标准还包括：

确定与所述拟合结果对应的容错范围。

3.如权利要求2所述的方法，其中，所述拟合结果包括以下各项组成的组中的至少一项：对所述第一对象子集中的所述多个对象各自的至少一个关键点中的第一组关键点进行拟合而得到的拟合点，对所述第一对象子集中的所述多个对象各自的至少一个关键点中的第二组关键点进行线拟合而得到的拟合线，以及对所述第一对象子集中的所述多个对象各自的至少一个关键点中的第三组关键点进行面拟合而得到的拟合面。

4.如权利要求2或3所述的方法，其中，对所述第一对象子集中的所述多个对象各自的至少一个关键点进行拟合，以得到拟合结果包括：

将所述第一对象子集中的所述多个对象各自的至少一个关键点投影到同一个对象的相应位置，以得到投影关键点；以及

对所述投影关键点进行拟合，以得到拟合结果。

5.如权利要求2或3所述的方法，其中，基于所述多个对象中的第二对象子集中的一个或多个对象各自的至少一个关键点，确定所述第二对象子集中的所述一个或多个对象是否满足所述运动标准还包括：

确定所述偏差是否位于所述容错范围内。

6.如权利要求1所述的方法，其中，所述多个对象各自的至少一个关键点与所述多个对象各自的特定部位相对应，

其中，所述方法还包括：

基于所述多个对象的各自至少一个关键点，确定所述多个对象各自的所述特定部位的运动信息，其中，所述运动信息包括所述多个对象各自的所述特定部位的位置信息和姿态信息中的至少一者，

其中，基于所述多个对象中的第一对象子集中的多个对象各自的至少一个关键点，确定运动标准包括：

基于所述第一对象子集中的所述多个对象各自的所述特定部位的运动信息，确定运动标准，

并且其中，基于所述多个对象中的第二对象子集中的一个或多个对象各自的至少一个关键点，确定所述第二对象子集中的所述一个或多个对象是否满足所述运动标准包括：

基于所述第二对象子集中的所述一个或多个对象各自的所述特定部位的运动信息，确定所述第二对象子集中的所述一个或多个对象各自的所述特定部位是否满足所述运动标准。

7.如权利要求6所述的方法，其中，所述运动信息包括以下各项组成的组中的至少一者：相应的对象的至少一个关键点中的第四组关键点的位置；根据相应的对象的至少一个关键点中的第五组关键点所确定的直线的位置和角度中的至少一者；以及根据相应的对象的至少一个关键点中的第六组关键点所确定的平面的位置和角度中的至少一者。

8.如权利要求6或7所述的方法，其中，基于所述第一对象子集中的所述多个对象各自的所述特定部位的运动信息，确定运动标准包括：

对所述第一对象子集中的所述多个对象各自的所述特定部位的运动信息进行拟合，以得到拟合结果；以及

确定与所述拟合结果对应的容错范围。

9.如权利要求8所述的方法，其中，基于所述第二对象子集中的所述一个或多个对象各自的所述特定部位的运动信息，确定所述第二对象子集中的所述一个或多个对象各自的所述特定部位是否满足所述运动标准包括：

计算所述第二对象子集中的所述一个或多个对象各自的所述特定部位的运动信息和所述拟合结果的偏差；

确定所述偏差是否位于所述容错范围内。

10.如权利要求1所述的方法，其中，确定待分析图像中的多个对象中的多个对象各自的至少一个关键点包括：

对所述待分析图像进行目标检测，以得到所述多个对象中的所述多个对象各自对应的图像区域；以及

对所述多个对象对应的图像区域进行关键点提取，以得到所述多个对象各自的至少一个关键点。

11.如权利要求1所述的方法，其中，确定待分析图像中的多个对象中的多个对象各自的至少一个关键点包括确定所述多个对象各自的至少一个关键点的真实世界坐标，

其中，基于所述多个对象中的第一对象子集中的多个对象各自的至少一个关键点，确定运动标准包括：

基于所述第一对象子集中的所述多个对象各自的至少一个关键点的真实世界坐标，确定运动标准，

并且其中，基于所述多个对象中的第二对象子集中的一个或多个对象各自的至少一个关键点，确定所述第二对象子集中的所述一个或多个对象是否满足所述运动标准包括：

基于所述第二对象子集中的所述一个或多个对象各自的至少一个关键点的真实世界坐标，确定所述第二对象子集中的所述一个或多个对象是否满足所述运动标准。

12.如权利要求11所述的方法，其中，确定所述多个对象各自的至少一个关键点的真实世界坐标包括：

针对所述多个对象各自的至少一个关键点中的每一个关键点，预测该关键点的图像深度；以及

基于该关键点的图像坐标和图像深度，确定该关键点的真实世界坐标。

13.如权利要求1所述的方法，其中，所述第一对象子集与所述第二对象子集相同。

14.如权利要求1所述的方法，其中，所述第一对象子集与所述第二对象子集不包括相同的对象。

15.一种多对象运动分析装置，包括：

第一确定单元，所述第一确定单元被配置为确定待分析图像中的多个对象各自的至少一个关键点，其中，所述至少一个关键点表征对应的对象的特定部位的运动信息，所述运动信息包括位置信息和姿态信息中的至少一者，其中，所述待分析图像是由摄像机拍摄的连续视频帧中的一帧；

第二确定单元，所述第二确定单元被配置为基于所述多个对象中的第一对象子集中的多个对象各自的至少一个关键点，确定运动标准，其中，确定所述运动标准包括：

对多个关键点进行拟合，以得到拟合结果，其中，所述多个关键点包括所述第一对象子集中的所述多个对象各自的至少一个关键点，所述拟合结果表征对所述第一对象子集中的所述多个对象各自的所述特定部位的运动信息的综合表示；以及

第三确定单元，所述第三确定单元被配置为基于所述多个对象中的第二对象子集中的一个或多个对象各自的至少一个关键点，确定所述对象是否满足所述运动标准，其中，确定所述第二对象子集中的所述一个或多个对象是否满足所述运动标准包括：

计算所述第二对象子集中的所述一个或多个对象各自的至少一个关键点和所述拟合结果的偏差。

16.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-14中任一项所述的方法。

17.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-14中任一项所述的方法。

Images