CN109766882B - 人体光点的标签识别方法、装置 - Google Patents
人体光点的标签识别方法、装置 Download PDFInfo
- Publication number
- CN109766882B CN109766882B CN201811550991.5A CN201811550991A CN109766882B CN 109766882 B CN109766882 B CN 109766882B CN 201811550991 A CN201811550991 A CN 201811550991A CN 109766882 B CN109766882 B CN 109766882B
- Authority
- CN
- China
- Prior art keywords
- light
- matching
- numbered
- light spot
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种人体光点的标签识别方法、装置、计算机设备和存储介质,通过获取包含光点的图像,识别图像中的光点,根据预设条件对光点进行编号,获取根据惯性传感器测量数据计算得到的人体关键点的位置,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果,计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。通过惯性传感器和图像数据共同识别光点与人体关键点的对应关系,得到对应的匹配结果,判断匹配结果的可信度,将满足预设可信度的匹配结果作为最终的识别结果,提高识别的准确度。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种人体光点的标签识别方法、装置、计算机设备和存储介质。
背景技术
混合动作捕捉系统是由全身惯性传感器及安装在人体部分关键点上的光学标记点组成,光学标记点简称光点。每一个穿戴在演员身上的光点对应一个标签信息,表示其所在的演员和穿戴部位的编号。在光点对光学定位系统多组红外摄像机可见时,光学定位系统能够检测并获取光点在空间光学坐标系中的位置。但是光点的标签信息无法被直接获取,光学定位系统无法获知检测到的光点是安装在哪位演员身上的哪个部位的光点。在实际动作捕捉过程中,人体在运动中肢体会对光点造成遮挡,使得光点对于光学定位系统不可见。此外,由于环境存在其他反光干扰源,光学定位系统通常还会检测到其他非人身上的反光点。
在混合动作捕捉数据融合计算中,需要一种光点标签的实时识别的方法,针对光学定位系统检测到的所有离散光点,确定每个光点是属于哪位演员身上的哪个部位,或是干扰噪点。光点标签识别便是将光点与人体关键点进行匹配。现有的光学标签识别方法由于仅通过光学数据进行处理,难以识别噪点,导致光学标签识别率低下。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种人体光点的标签识别方法、装置计算机设备和存储介质。
在一个实施例中,提供了一种人体光点的标签识别方法,包括:
获取包含光点的图像,识别图像中的光点;
根据预设条件对光点进行编号;
获取根据惯性传感器测量数据计算得到的人体关键点的位置;
将已编号的光点与人体关键点进行匹配,得到对应的匹配结果;
计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。
在一个实施例中,提供了一种人体光点的标签识别装置,包括:
光点识别模块,用于获取包含光点的图像,识别图像中的光点;
编号模块,用于根据预设条件对光点进行编号;
数据获取模块,用于获取根据惯性传感器测量数据计算得到的人体关键点的位置;
匹配模块,用于将已编号的光点与人体关键点进行匹配,得到对应的匹配结果;
匹配结果筛选模块,用于计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取包含光点的图像,识别图像中的光点;
根据预设条件对光点进行编号;
获取根据惯性传感器测量数据计算得到的人体关键点的位置;
将已编号的光点与人体关键点进行匹配,得到对应的匹配结果;
计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取包含光点的图像,识别图像中的光点;
根据预设条件对光点进行编号;
获取根据惯性传感器测量数据计算得到的人体关键点的位置;
将已编号的光点与人体关键点进行匹配,得到对应的匹配结果;
计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。
上述人体光点的标签识别方法、装置、计算机设备和存储介质,通过获取包含光点的图像,识别图像中的光点,根据预设条件对光点进行编号,获取根据惯性传感器测量数据计算得到的人体关键点的位置,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果,计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。通过惯性传感器和图像数据共同识别光点与人体关键点的对应关系,判断匹配结果的可信度提高识别的准确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中标签识别方法的应用场景图;
图2为一个实施例中标签识别方法的流程示意图;
图3为一个实施例中光点编号的步骤流程示意图;
图4为另一个实施例中光点编号的步骤流程示意图;
图5为一个实施例中光点更新的步骤流程示意图;
图6为一个实施例中第一匹配算法的步骤流程示意图;
图7为一个实施例中根据速度确定匹配结果的步骤流程示意图;
图8为一个实施例中根据轨迹确定匹配结果的步骤流程示意图;
图9为另一个实施例中根据速度确定匹配结果的步骤流程示意图;
图10为一个实施例中人体包围盒的示意图;
图11为一个实施例中第一匹配算的示意图;
图12为一个实施例中第二匹配算法的示意图;
图13为一个实施例中人体光点的标签识装置的结构框图;
图14为一个实施例中编号模块的结构框图;
图15为一个实施例中编号单元的结构框图;
图16为另一个实施例中人体光点的标签识装置的结构框图;
图17为一个实施例中匹配模块的结构框图;
图18为另一个实施例中匹配模块的结构框图;
图19为又一个实施例中人体光点的标签识装置的结构框图;
图20为再一个实施例中人体光点的标签识装置的结构框图;
图21为一个实施例中计算机设备的内部结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为一个实施例中人体光点的标签识别方法的应用环境图。参照图1,该人体光点的标签识别方法应用于人体光点的标签识别系统。该人体光点的标签识别系统包括终端110和服务器120。终端或服务器获取包含光点的图像,识别图像中的光点,根据预设条件对光点进行编号,获取根据惯性传感器测量数据计算得到的人体关键点的位置,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果,计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示,在一个实施例中,提供了一种人体光点的标签识别方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图2,该人体光点的标签识别方法具体包括如下步骤:
步骤S201,获取包含光点的图像,识别图像中的光点。
具体地,其中光点是指安装在人体上的主动发光或被动反光的物体。包含光点的图像是指通过多个在不同角度的摄像机拍摄得到的图像。获取各个摄像机拍摄的包含光点的图像,对不同的摄像机的图像可以分别进行处理,识别各个图像中的光点,计算光点在三维空间中的位置,识别光点可以采用常见的目标识别算法进行识别。
步骤S202,根据预设条件对光点进行编号。
具体地,预设条件是指预先设置的用于对光点进行筛选,对满足预设条件的光点进行编号。其中预设条件可以为正在处理的图像的光点是否为之前的一帧或多帧图像中出现的光点,当正在处理的图像中包含的任意一个光点在之前的图像中出现过,满足预设条件,对该光点进行编号。若之前的图像中出现过的光点已经有了编号,则将正在处理的图像中的对应的光点的编号为之前图像中的编号。若该光点在之前的图像中未出现过,则分配一个新的编号给对应的光点。
步骤S203,获取根据惯性传感器测量数据计算得到的人体关键点的位置。
具体地,人体关键点是指预先定义的人体位置点,如可以定义双手的掌背中心、双脚的脚背中心、背部中心、额头中心、腰间中心、膝盖、手肘等为人体关键点。在人体主要骨骼上安装惯性传感器,通过惯性传感器采集的数据计算人体主要骨骼的姿态信息,进而计算人体关键点的位置信息。惯性传感器是测量物体三轴姿态角或角速率以及加速度的装置。常见的惯性传感器包含了三轴加速度计、三轴陀螺仪及三轴磁力计,加速度计检测物体在载体坐标系统独立三轴的加速度信号,而陀螺检测载体相对于导航坐标系的角速度信号,磁力计检测载体相对于大地的方位信号,测量物体在三维空间中的角速度、加速度和方位,并以此解算出物体的姿态。
步骤S204,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果。
具体地,光点与关键点之间的匹配可以采用位置信息、速度信息和轨迹信息等至少一个信息进行匹配。其中位置信息的匹配可以直接采用正在处理的图像的光点的位置信息和人体关键点的位置信息。由于光点安装的位置与安装光点附近的人体关键点的位置在预设范围,故当任意一个光点的位置信息与任意一个人体关键点的位置在预设范围内时,表示该光点与人体关键点匹配。根据轨迹信息和速度信息匹配表示对光点的轨迹信息或速度信息与人体关键点的轨迹信息和关键点的速度信息进行匹配,当匹配时,表示人体关键点与光点匹配。
在一个实施例中,当图像中包含多个人体,不同的人体站的位置比较近,或者个人在做动作时,导致一个人体关键点附近存在多个光点,同一的一个光点附近也可能存在多个人体关键点,故仅利用位置匹配方法可能存在一个人体关键点匹配多个光点,或一个光点匹配多个人体关键点的情况。
步骤S205,计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。
具体地,可信度是指匹配结果的可靠程度,预设可信度是用于衡量各个匹配结果是否可靠的临界值。由于得到的人体关键点与光点之间的匹配关系不唯一,因此需要对各个匹配结果进行筛选得到最终的匹配结果。筛选时可以计算各个匹配结果的可信度,当可信度大于预设可信度时,表示匹配结果可靠,反之为不可靠。删除不可靠的匹配结果,保留可靠的匹配结果,得到最终的匹配关系。
上述人体光点的标签识别方法,通过获取包含光点的图像,识别图像中的光点,根据预设条件对光点进行编号,获取根据惯性传感器测量数据计算得到的人体关键点的位置,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果,计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。通过惯性传感器和图像数据共同识别光点与人体关键点的对应关系,提高识别准确度,通过判断匹配结果的可信度进一步提高识别的准确度。
在一个实施例中,如图3所示,步骤S202,包括:
步骤S2021,从光点获取当前帧图像的当前光点。
步骤S2022,从光点获取当前帧图像的历史帧图像中的历史光点。
步骤S2023,计算当前光点和历史光点的差异信息。
步骤S2024,当差异信息满足预设差异信息时,对当前光点进行编号。
具体地,光点是指识别得到的光点,当前光点是指当前帧图像中识别得到的光点,历史帧图像为当前帧图像之前获取到的图像,历史光点是指历史帧图像中识别得到的光点。差异信息可以是自定义,如将相邻的至少一个历史帧的历史光点的位置信息与当前光点的位置信息之间的差异。预设差异信息是指预先设置的用于衡量当前光点是否为有效的光点的临界值。当当前光点与历史光点的差异信息小于预设差异信息时,对当前光点进编号。通过历史光点与当前光点进行比较,保证光点的连续性,从而提高光点识别的准确率。
在一个实施例中,如图4所示,步骤S2024,包括:
步骤S20241,当当前光点存在匹配的历史光点,则将历史光点的编号作为当前光点的编号。
步骤S20242,当当前光点不存在匹配的历史光点,则对当前光点进行编号,得到当前光点的编号。
具体地,当相邻的若干帧历史帧图像中存在与前光点的匹配的历史光点,则将该历史光点的编号作为当前光点的编号,表示在不同时刻中两个光点为同一个光点。反之,不存在匹配的历史光点,则对当前光点进行编号,得到当前光点的编号,该编号为新的编号。搜索历史帧图像的光点的编号状态,可以避免对同一光点的重复编号。
在一个实施例中,如图5所示,上述人体光点的标签识别方法,还包括:
步骤S301,获取已编号的光点、对应的历史位置信息、在当前帧图像中的当前位置信息和跟踪状态。
步骤S302,当已编号的光点的跟踪状态为跟踪,且已编号的光点的历史位置信息和当前位置信息不一致时,则已编号的光点的位置信息更新为当前位置信息。
步骤S303,当已编号的光点的跟踪状态为跟踪,且在当前帧图像中未存在已编号的光点的位置信息,将已编号的光点的跟踪状态为丢失。
具体地,已编号的光点,可以包括当前帧图像和历史帧图像中进行了编号的光点,获取已经编号的光点在历史帧图中的位置信息作为历史位置信息,当前帧图像中的位置信息作为当前位置信息。当已编号的光点的跟踪状态为跟踪,且历史光点的历史位置信息与对应的当前光点的当前位置信息不一致时,更新当前光点的位置信息,即将当前位置信息作为当前光点的位置信息。在当前帧图像中光点的位置发生了改变则更新光点的位置信息,能够更准确的定位光点。
当已编号的光点的跟踪状态为跟踪,且在当前帧图像中未存在已编号的光点的位置信息时,即该已编号的光点未出现在当前帧图像中,有可能被遮挡,或者已经离开了摄像区域等,此时修改该已编号的光点的跟踪转态,从跟踪改为丢失。
在一个实施例中,如图6所示,步骤S204,包括:
步骤S2041,获取已编号的光点与人体关键点的匹配关系。
步骤S2042,根据匹配关系计算已编号未匹配的光点与人体关键点的匹配度。
步骤S2043,从各个人体关键点与已编号未匹配的光点的匹配度中,筛选出与各个人体关键点的匹配度的值最大的已编号未匹配的光点,作为各个人体关键点的匹配结果。
具体地,匹配关系包括匹配和未匹配,获取已匹配的已编号的光点与人体关键点,已编号未匹配的光点是指已经进行了编号,但是还未确定与人体关键点的固定匹配关系的光点。计算各个已编号未匹配的光点与对应的人体关键点的匹配度,根据计算得到的匹配度,选取各个人体关键点的匹配度的值为最大值的已编号的光点,将该光点作为人体关键点的匹配结果。其中匹配度计算可以包括位置匹配、速度匹配度和轨迹匹配度中的一种或多种。位置匹配度是指光点位置与对应的人体关键点位置的距离,或者各个光点的位置信息与对应的人体关键点的位置信息的距离。选择匹配度的值为最大值的已编号的光点作为人体关键点的匹配结果,匹配度的值越大说明两者之间越可能是对应关系,识别更为准确。
在一个实施例中,如图7所示,步骤S204,包括:
步骤S2045,获取已编号的光点与人体关键点的匹配关系。
步骤S2046,根据匹配关系计算已编号未匹配的光点与人体关键点的位置匹配度。
步骤S2047,将位置匹配度大于预设位置匹配度的人体关键点作为候选关键点。
步骤S2048,计算候选关键点与已编号未匹配的光点的速度匹配度。
步骤S2049,当速度匹配度大于预设速度匹配度的候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的候选关键点的匹配结果。
具体地,获取已匹配的已编号的光点与人体关键点,计算各个已编号未匹配的光点与人体关键点的位置匹配度。预设位置匹配度是预先设置的用于判断光点与人体关键点是否匹配的临界值,当光点与人体关键点的位置匹配度大于预设位置匹配度时,将人体关键点作为候选关键点。计算各个已编号未匹配的光点与候选关键点的速度匹配度,其中速度匹配度是指光点的速度和人体关键点的速度之间的相似性,当光点的速度与人体关键点的速度匹配时,表示光点与人体关键点匹配,若光点与人体关键点匹配唯一,即一个光点对应一个人体关键点,则将光点作为人体关键点的最终匹配结果。如果不唯一,则可以计算光点与人体关键点的轨迹匹配度。通过位置来筛选匹配关系,根据速度确定最终的匹配关系,是因为光点与对应的人体关键点肯定是处于一个较小的位置范围内,故通过位置筛选能够提高运算速度,由于光点与人体关键点的运动速度是相似的,故根据运动速度计算能够提高识别的准确率。
在一个实施例中,如图8所示,一种人体光点的标签识别方法,还包括:
步骤S401,当速度匹配度大于预设速度匹配度的候选关键点,与已编号未匹配的光点存在至少两个对应关系时,计算存在至少两个对应关系的候选关键点与对应的已编号未匹配的光点的轨迹匹配度。
步骤S402,当轨迹匹配度大于预设轨迹匹配度的候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的候选关键点的匹配结果。
具体地,当候选关键点与已编号的光点存在多个对应关系时,无法单独根据速度匹配确定光点与候选关键点的对应关系,则计算存在多个对应关系的光点与候选关键点的轨迹匹配度。预设轨迹匹配度是自定义的用于判断光点与候选关键点是否匹配的临界值,当光点与候选关键点的轨迹匹配度大于预设匹配度的存在唯一对应关系时,将唯一对应的光点作为候选关键点的最终匹配结果。当根据速度无法确定匹配关系时,进一步通过轨迹判断,提高光点的识别准确率。
在一个实施例中,如图9所示,一种人体光点的标签识别方法,还包括:
步骤S501,当候选关键点为空集时,计算全部人体关键点与已编号未匹配的光点的速度匹配度。
步骤S502,将速度匹配度大于预设速度匹配度的人体关键点,作为第二候选关键点。
步骤S503,当第二候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的第二候选关键点的匹配结果。
步骤S504,当大于预设速度匹配度的已编号未匹配的光点的数量小于预设数量时,将全部的人体关键点作为候选关键点,进入计算候选关键点与对应的已编号未匹配的光点的轨迹匹配度的步骤。
具体地,当根据位置匹配得到的候选关键点为空集时,表示光无法通过位置来筛选人体关键点,这种情况通常出现系统初始阶段光学和惯性坐标系尚未对齐时。计算全部人体关键点与已编号未匹配的光点的速度匹配度,将速度匹配度大于预设速度匹配度的人体关键点,作为第二候选关键点,通过速度筛选关键点,得到候选关键点,当每个人体的候选关键点的数目大于预设数目时,且候选关键点与光点存在唯一对应关系时,将唯一对应的光点作为对应的候选关键点的最终匹配结果,当每个人体的候选关键点的数目大于预设数目的候选关键点少于预设数目时,表示无法根据速度识别光点与人体关键点的对应的关系。
在一个实施例中,步骤S205,包括:
步骤S2051,计算匹配的人体关键点之间的相对位移与对应的光点的相对位移的位移差异信息,将位移差异信息满足预设位移差异的光点作为人体关键点的匹配结果。
步骤S2052,获取各个人体关键点对应的光点的轨迹信息,将轨迹信息为发生跳变的光点作为人体关键点的匹配结果。
步骤S2053,按照各个人体统计存在匹配光点的各个人体关键点的数量,当人体对应的人体关键点的数量满足预设数量时,将光点作为人体关键点的匹配结果。
具体地,计算人体关键点之间的相对位移与对应的光点之间的相对位移之间的位移差异信息。当位移差异信息满足预设位移差异信息时,表示光点是可信的,即将满足预设位移差异信息的光点作为人体关键点的匹配光点。或获取人体关键点对应的光点的轨迹信息,当轨迹信息对应的任意的相邻的若干帧图像对应的光点的位置变化小于预设位置变化时,表示光点的轨迹信息未发生跳变,未发生跳变表示光点可信,将未发生跳变的光点作为对应的人体关键点的匹配光点。反之则发生跳变,表示不可信。或统计每个人体存在匹配光点的人体关键点的数量,当统计得到的人体关键点的数量小于预设数量值时,表示不可信,删除人体关键点与光点的匹配关系,反之则保留,得到最终的各个人体的各个关键点匹配的光点。通过相对位移、轨迹信息和人体关键的数量确定与人体关键点匹配的光点,提高了匹配的准确度。
在一个具体的实施例中,上述人体光点的标签识别方法包括:
获取包含光点的图像数据和惯性传感器的测量数据,识别出图像数据中的光点,当人体上一帧存在光学信息约束时,即匹配上的光点的位置用于计算人体姿态的光点,表示人体处于光学追踪状态,若上一帧不存在光学信息约束,则人体处于非光学追踪状态,记录非光学追踪状态持续时间。计算一个三维距离裕量,分别表示人体的前后、左右、上下方向,当人体处于光学追踪状态下,该距离裕量为预设值如{1m,1m,0.5m},当处于非光学追踪状态时,该距离裕量在初始值的基础上叠加一个与非光学追踪持续时间呈正比的增量,例如,非光学追踪状态持续10帧时的距离裕量为{1m+10*0.03m,1m+10*0.03m,0.5+10*0.02m},基于输入的人体关键点位置,得到一个在空间中能够包裹人体的长方体包围盒,如图10所示,并在长宽高方向设置包围盒边界到人体距离的上述与人体追踪状态相关的距离裕量。在多人动作捕捉的场景中,每一个人体分别生成一个包围盒,包围盒对识别得到的光点进行筛选,对于图像数据帧中的每一个光点,若该光点在任一个包围盒内,则为有效光点,否则该光点为噪点,删除该光点。
若一个光点存在于相邻两帧数据中,则其位置差应在预设距离阈值范围内,即为光点轨迹连续性原则。其中合理预设可以根据人体的运动速度确定。对于当前帧图像的每一个识别得到的光点,向前搜索若干帧历史帧图像,若在历史帧图像中存在一个与之距离在预设距离阈值范围内的已编号的光点,则称该光点找到一个匹配,该光点是已有光点的一个新的观测值。若光点在历史帧图像中存在一个匹配的已编号的光点,则赋予该光点与所匹配光点相同的编号,否则,认为是新光点,给与新编号。进过上述处理,每一个满足预设距离阈值的光点都会被赋予一个编号。
对于每一个光点,若在当前图像中存在新观测值,则更新该光点的当前位置,计算该光点的当前速度。对于每一个光点,若在当前帧图像中不存在新观测值,则该光点当前帧丢失,更新该光点的追踪状态为丢失。若是丢失的第一帧,即上一帧未丢失,则同时更新丢失起始帧为上一帧帧号,丢失位置为上一帧位置。若非丢失的第一帧,即上一帧同样丢失,则更新持续丢失帧数,若持续丢失帧数超过预设阈值,则认为该光点彻底丢失,将该光点删除。若当前帧图像中存在新光点,将增加新光点。
已匹配的光点和人体关键点。基于上一帧匹配的结果及光点,若当前帧图像中光点在上一帧图像存在匹配结果,则当前帧图像中其匹配关系不变。
获得待匹配的光点和人体关键点。基于上一帧匹配结果及光点,获得全部光点中未匹配的光点,即为待匹配光点集,获得所有人体关键点中未匹配的关键点,即为待匹配关键点集。
基于包围盒的待匹配集分割。对于每一个人体,根据之前建立的包围盒,筛选可能与之形成匹配的待匹配光点,获得在其包围盒内的待匹配光点子集。当多个人体距离较近时,多个待匹配点子集可能存在交集,即共同光点,此时子集相关,无法独立求解,需要合并。将待匹配光点集和待匹配关键点集分割为数量为不大于人体数量的待匹配关键点子集及其对应的待匹配光点子集,其中,每个待匹配关键点子集是互斥关系,且每个待匹配光点子集也是互斥关系。如人体的数量为5个,则待匹配光点集和待匹配关键点集分割为数量小于等于5。
采用第一种匹配算法进行匹配包括:通过光点与关键点自检的基于运动学相似性的匹配概率计算、筛选与搜索,得到待匹配光点集与待匹配关键点集之间的一个最佳匹配关系,对于分割后独立的每一对待匹配关键点子集与待匹配光点子集分别进行匹配计算。
建立二分图:每一对待匹配子集构成了一个二分图,如图11所示,一侧为待匹配关键点子集中的所有关键点,另一侧为待匹配光点子集中的所有光点,关键点子集包括A和B,待匹配光点子集包括1、2和3,其中002为二分图、004为带权的二分图和006为最佳匹配图。
配对概率计算:考虑全连接的二分图002,综合运动学量多维度,位置、速度及轨迹,相似性判据,分别计算每一个配对的位置匹配概率、速度匹配概率、轨迹匹配概率,再利用概率图模型融合计算每一个配对的最终概率,
最佳匹配搜索:选择合理配对概率阈值,考察所有配对概率。若配对概率小于配对概率阈值,则该配对不成立,从二分图002中删除该配对对应的边,对于筛选后的二分图,认为配对概率为边的权重,利用带权二分图004的最佳匹配算法,如Kuhn-Munkres算法计算得到最佳匹配,输出为最终匹配结果如图11中的最佳匹配图006。
采用第二种匹配算法进行匹配包括:基于匹配的运动学判据对所有配对进行依次筛选,得到待匹配光点集与待匹配关键点集之间的一个匹配关系,对于分割后独立的每一对待匹配关键点子集与待匹配光点子集分别进行匹配计算。
建立二分图:每一对待匹配子集构成了一个二分图,如图12所示,一侧为待匹配关键点子集中的所有关键点,另一侧为待匹配光点子集中的所有光点,关键点子集包括A和B,待匹配光点子集包括1、2和3。其中002为二分图、008位置匹配结果二分图、010为速度匹配结果二分图和012位匹配结果图。
位置匹配:建立位置匹配考察标准,即关键点与光点的距离小于给定阈值,可以设置多级距离阈值,如设置两级距离阈值,包括第一距离阈值,和第二距阈值,其中第一距离阈值小于第二距离阈值。考虑全连接的二分图,对于每个待匹配的关键点,考察所有配对的距离,若小于第一距离阈值,则认为满足位置匹配,加入候选配对集。对于剩下尚未有候选配对结果的关键点,采用第二距离阈值考察其所有配对的距离,若小于第二距离阈值,则认为满足位置匹配,加入候选配对集。其中第一距离阈值可以设置为0.1米,第二距离阈值设置为0.2米。
速度匹配:建立速度匹配考察标准,即关键点与光点的速度差在模值、分方向模值、速度差与关键点速度比,及关键点与光点的高度差等多个维度小于给定阈值,对应设置多个阈值。若位置匹配得到的候选配对集非空,则在此基础上进一步通过速度匹配标准对候选配对中的所有配对进行筛选。检查得到的候选配对集,若在二分图上构成一个匹配,即任何两条边没有公共顶点,则输出当前结果为该待匹配子集的匹配结果,若得到的候选配对集为空,或在二分图上无法构成一个匹配,即存在至少两条边有公共顶点,则继续进行下一步轨迹匹配。若位置匹配得到的候选配对集为空通常出现在系统初始阶段尚未建立成功匹配的时候,人体在非光学追踪状态下位置不准确,与检测到的光点位置差比较大,重新考虑全连接的二分图,对于每个待匹配的关键点,考察所有配对的速度差,若速度差小于阈值,则认为满足速度匹配,加入候选配对集。检查得到的候选配对集,若在二分图上构成一个匹配,且配对数不少于给定阈值,如要求至少3个点以上同时满足速度匹配,则输出当前结果为最终匹配结果。若得到的候选配对集为空,或在二分图上无法构成一个匹配,或构成的匹配中的配对数少于给定阈值,则继续进行下一步轨迹匹配。
轨迹匹配:建立轨迹匹配考察标准,即关键点历史轨迹与光点历史轨迹相似性指标小于给定阈值,若速度匹配得到的候选配对集非空且无法构成一个匹配,则在此基础上进一步通过轨迹匹配标准对候选配对中的所有配对进行筛选。检查得到的候选配对集,若在二分图上构成一个匹配,则输出当前结果为该待匹配子集匹配结果。若得到的候选配对集为空,或在二分图上无法构成一个匹配,则认为当前待匹配子集中不存在匹配。若速度匹配得到的候选配对集为空或构成的匹配中配对数少于给定阈值,则在此基础上重新考虑连接的二分图,对于每个待匹配的关键点,考察所有配对的轨迹差,若轨迹差小于阈值,则认为满足轨迹匹配,加入候选配对集。检查得到的候选配对集,若在二分图上构成一个匹配,则输出当前结果为该待匹配子集的匹配结果,若得到的候选配对集为空,或在二分图上无法构成一个匹配,则认为该待匹配子集中不存在匹配。
匹配结果可信性检验:
设置可信性检验规则:设置一系列可信性检验规则,用以判断匹配结果是否可信,可信性检验规则包括但不限于:匹配上的光点之间的相对位移与对应的关键点的相对位移相近、关键点匹配的光点的位置不存在跳变或只有腰部或一只手或一只脚通过位置匹配算法匹配上,则结果不可信。
得到每个待匹配关键点子集与相应待匹配光点子集之间的匹配之后,基于设置的可信性判断规则,依次检验匹配结果中的所有配对,若存在不可信的配对结果,则删除匹配结果中的该配对。最终输出的匹配结果包括:之前已匹配上的光点和人体关键点,当前帧图像中的光点在上一帧图像中存在对应的匹配光点,且该匹配光点与其中一个人体关键点对应,则当前帧图像中的该光点与对应的关键点匹配。当前帧图像中新匹配上的光点和人体关键点,得到的所有待匹配关键点子集与待匹配光点子集匹配结果的并集。上述方法通过包围盒对光点进行筛选、位置匹配度、速度匹配度和轨迹匹配度进行筛选提高了数据的处理速度和准确度。
图2-9为一个实施例中人体光点的标签识别方法的流程示意图。应该理解的是,虽然图2-9的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-9中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图13所示,提供了一种人体光点的标签识别装置200,包括:
光点识别模块201,用于获取包含光点的图像,识别所述图像中的光点。
编号模块202,用于根据预设条件对所述光点进行编号。
数据获取模块203,用于获取根据惯性传感器测量数据计算得到的人体关键点的位置。
匹配模块204,用于将已编号的所述光点与人体关键点进行匹配,得到对应的匹配结果。
匹配结果筛选模块205,用于计算所述匹配结果的可信度,当所述可信度大于预设可信度时,所述光点与所述人体关键点匹配。
在一个实施例中,如图14所示,编号模块202,包括:
当前光点获取单元2021,用于从光点获取当前帧图像的当前光点。
历史光点获取单元2022,用于从光点获取当前帧图像的历史帧图像中的历史光点。
差异信息计算单元2023,用于计算当前光点和历史光点的差异信息。
编号单元2024,用于当差异信息满足预设差异信息时,对当前光点进行编号。
在一个实施例中,如图15所示,编号单元2024,包括:
第一编号子单元20241,用于当与当前光点匹配的历史光点的状态为已编号,则将历史光点的编号作为当前光点的编号。
第二编号子单元20242,用于当当前光点匹配的历史光点的状态为未编号,则对当前光点进行编号,得到当前光点的编号。
在一个实施例中,如图16所示,上述人体光点的标签识别装置200,还包括:
信息获取模块301,用于获取已编号的光点、对应的历史位置信息、在当前帧图像中的当前位置信息和跟踪状态。
信息更新模块302,用于当已编号的光点的跟踪状态为跟踪,且已编号的光点的历史位置信息和当前位置信息不一致时,则已编号的光点的位置信息更新为当前位置信息。
状态更新模块303,用于当已编号的光点的跟踪状态为跟踪,且在当前帧图像中未存在已编号的光点的位置信息,将已编号的光点的跟踪状态为丢失。
在一个实施例中,如图17所示,匹配模块204,包括:
关系获取单元2041,用于获取已编号的光点与人体关键点的匹配关系。
匹配度计算单元2042,用于根据匹配关系计算已编号未匹配的光点与人体关键点的匹配度。
匹配单元2043,用于从各个人体关键点与已编号未匹配的光点的匹配度中,筛选出与各个人体关键点的匹配度的值最大的已编号未匹配的光点,作为各个人体关键点的匹配结果。
在一个实施例中,如图18所示,匹配模块204,还包括:
关系获取单元2041,用于获取已编号的光点与人体关键点的匹配关系。
位置匹配单元2044,用于根据匹配关系计算已编号未匹配的光点与人体关键点的位置匹配度。
位置筛选单元2045,用于将位置匹配度大于预设位置匹配度的人体关键点作为候选关键点。
速度匹配单元2046,用于计算候选关键点与已编号未匹配的光点的速度匹配度。
速度筛选单元2047,用于当速度匹配度大于预设速度匹配度的候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的候选关键点的匹配结果。
在一个实施例中,如图19所示,上述人体光点的标签识别装置200,还包括:
轨迹匹配度计算模块401,用于当速度匹配度大于预设速度匹配度的候选关键点,与已编号未匹配的光点存在至少两个对应关系时,计算存在至少两个对应关系的候选关键点与对应的已编号的光点的轨迹匹配度。
轨迹匹配模块402,用于当轨迹匹配度大于预设轨迹匹配度的候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的候选关键点的匹配结果。
在一个实施例中,如图20所示,上述人体光点的标签识别装置200,还包括:
速度匹配模块501,用于当候选关键点为空集时,计算全部人体关键点与已编号未匹配的光点的速度匹配度。
关键点筛选模块502,用于将速度匹配度大于预设速度匹配度的人体关键点,作为第二候选关键点。
匹配模块503,用于当第二候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的第二候选关键点的匹配结果。
关键点筛选模块502还用于当未存在速度匹配度大于预设速度匹配度的第二候选关键点时,或大于预设速度匹配度的已编号未匹配的光点的数量小于预设数量时,将全部的人体关键点作为候选关键点,返回轨迹匹配度计算模块401。
图21示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图21所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现人体光点的标签识别方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行人体光点的标签识别方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图21中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的人体光点的标签识别装置200可以实现为一种计算机程序的形式,计算机程序可在如图21所示的计算机设备上运行。计算机设备的存储器中可存储组成该人体光点的标签识别装置200的各个程序模块,比如,图13所示的光点识别模块201、编号模块202、数据获取模块203、匹配模块204和匹配结果筛选模块205。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的人体光点的标签识别方法中的步骤。
例如,图21所示的计算机设备可以通过如图13所示的人体光点的标签识别装置中的光点识别模块201执行获取包含光点的图像,识别图像中的光点。计算机设备可通过编号模块202执行根据预设条件对光点进行编号。计算机设备可通过数据获取模块203执行获取根据惯性传感器测量数据计算得到的人体关键点的位置。计算机设备可通过匹配模块204执行将已编号的光点与人体关键点进行匹配,得到对应的匹配结果。计算机设备可通过匹配结果筛选模块205执行计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:获取包含光点的图像,识别图像中的光点,根据预设条件对光点进行编号,获取根据惯性传感器测量数据计算得到的人体关键点的位置,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果,计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。
在一个实施例中,根据预设条件对光点进行编号,包括:从光点获取当前帧图像的当前光点,从光点获取当前帧图像的历史帧图像中的历史光点,计算当前光点和历史光点的差异信息,当差异信息满足预设差异信息时,对当前光点进行编号。
在一个实施例中,对当前光点进行编号,包括:当与当前光点匹配的历史光点的状态为已编号,则将历史光点的编号作为当前光点的编号,当当前光点匹配的历史光点的状态为未编号,则对当前光点进行编号,得到当前光点的编号。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取已编号的光点、对应的历史位置信息、在当前帧图像中的当前位置信息和跟踪状态,当已编号的光点的跟踪状态为跟踪,且已编号的光点的历史位置信息和当前位置信息不一致时,则已编号的光点的位置信息更新为当前位置信息,当已编号的光点的跟踪状态为跟踪,且在当前帧图像中未存在已编号的光点的位置信息,将已编号的光点的跟踪状态为丢失。
在一个实施例中,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果,包括:获取已编号的光点与人体关键点的匹配关系,根据匹配关系计算已编号未匹配的光点与人体关键点的匹配度,从各个人体关键点与已编号未匹配的光点的匹配度中,筛选出与各个人体关键点的匹配度的值最大的已编号未匹配的光点,作为各个人体关键点的匹配结果。
在一个实施例中,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果,包括:获取已编号的光点与人体关键点的匹配关系,根据匹配关系计算已编号未匹配的光点与人体关键点的位置匹配度,将位置匹配度大于预设位置匹配度的人体关键点作为候选关键点,计算候选关键点与已编号未匹配的光点的速度匹配度,当速度匹配度大于预设速度匹配度的候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的候选关键点的匹配结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当速度匹配度大于预设速度匹配度的候选关键点,与已编号未匹配的光点存在至少两个对应关系时,计算存在至少两个对应关系的候选关键点与对应的已编号的光点的轨迹匹配度,当轨迹匹配度大于预设轨迹匹配度的候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的候选关键点的匹配结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当候选关键点为空集时,计算全部人体关键点与已编号未匹配的光点的速度匹配度,将速度匹配度大于预设速度匹配度的人体关键点,作为第二候选关键点,当第二候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的第二候选关键点的匹配结果,当未存在速度匹配度大于预设速度匹配度的第二候选关键点时,或大于预设速度匹配度的已编号未匹配的光点的数量小于预设数量时,将全部的人体关键点作为候选关键点,执行计算候选关键点与对应的已编号的光点的轨迹匹配度。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取包含光点的图像,识别图像中的光点,根据预设条件对光点进行编号,获取根据惯性传感器测量数据计算得到的人体关键点的位置,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果,计算匹配结果的可信度,当可信度大于预设可信度时,光点与人体关键点匹配。
在一个实施例中,根据预设条件对光点进行编号,包括:从光点获取当前帧图像的当前光点,从光点获取当前帧图像的历史帧图像中的历史光点,计算当前光点和历史光点的差异信息,当差异信息满足预设差异信息时,对当前光点进行编号。
在一个实施例中,对当前光点进行编号,包括:当与当前光点匹配的历史光点的状态为已编号,则将历史光点的编号作为当前光点的编号,当当前光点匹配的历史光点的状态为未编号,则对当前光点进行编号,得到当前光点的编号。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取已编号的光点、对应的历史位置信息、在当前帧图像中的当前位置信息和跟踪状态,当已编号的光点的跟踪状态为跟踪,且已编号的光点的历史位置信息和当前位置信息不一致时,则已编号的光点的位置信息更新为当前位置信息,当已编号的光点的跟踪状态为跟踪,且在当前帧图像中未存在已编号的光点的位置信息,将已编号的光点的跟踪状态为丢失。
在一个实施例中,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果,包括:获取已编号的光点与人体关键点的匹配关系,根据匹配关系计算已编号未匹配的光点与人体关键点的匹配度,从各个人体关键点与已编号未匹配的光点的匹配度中,筛选出与各个人体关键点的匹配度的值最大的已编号未匹配的光点,作为各个人体关键点的匹配结果。
在一个实施例中,将已编号的光点与人体关键点进行匹配,得到对应的匹配结果,包括:获取已编号的光点与人体关键点的匹配关系,根据匹配关系计算已编号未匹配的光点与人体关键点的位置匹配度,将位置匹配度大于预设位置匹配度的人体关键点作为候选关键点,计算候选关键点与已编号未匹配的光点的速度匹配度,当速度匹配度大于预设速度匹配度的候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的候选关键点的匹配结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当速度匹配度大于预设速度匹配度的候选关键点,与已编号未匹配的光点存在至少两个对应关系时,计算存在至少两个对应关系的候选关键点与对应的已编号的光点的轨迹匹配度,当轨迹匹配度大于预设轨迹匹配度的候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的候选关键点的匹配结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:当候选关键点为空集时,计算全部人体关键点与已编号未匹配的光点的速度匹配度,将速度匹配度大于预设速度匹配度的人体关键点,作为第二候选关键点,当第二候选关键点与已编号未匹配的光点存在唯一对应关系时,将唯一对应的已编号未匹配的光点作为对应的第二候选关键点的匹配结果,当未存在速度匹配度大于预设速度匹配度的第二候选关键点时,或大于预设速度匹配度的已编号未匹配的光点的数量小于预设数量时,将全部的人体关键点作为候选关键点,执行计算候选关键点与对应的已编号的光点的轨迹匹配度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种人体光点的标签识别方法,所述方法包括:
获取包含光点的图像,识别所述图像中的光点;
根据预设条件对所述光点进行编号;
获取根据惯性传感器测量数据计算得到的人体关键点的位置;
将已编号的所述光点与人体关键点进行匹配,得到对应的匹配结果;
所述将已编号的所述光点与人体关键点进行匹配,得到对应的匹配结果,包括:
获取所述已编号的光点与所述人体关键点的匹配关系,
根据匹配关系计算所述已编号未匹配的光点与所述人体关键点的位置匹配度,
将所述位置匹配度大于预设位置匹配度的所述人体关键点作为候选关键点,
计算所述候选关键点与所述已编号未匹配的光点的速度匹配度,
当所述速度匹配度大于预设速度匹配度的候选关键点与所述已编号未匹配的光点存在唯一对应关系时,将唯一对应的所述已编号未匹配的光点作为对应的所述候选关键点的匹配结果;
计算所述匹配结果的可信度,当所述可信度大于预设可信度时,所述光点与所述人体关键点匹配。
2.根据权利要求1所述的方法,其特征在于,所述根据预设条件对所述光点进行编号,包括:
从所述光点获取当前帧图像的当前光点;
从所述光点获取所述当前帧图像的历史帧图像中的历史光点;
计算所述当前光点和所述历史光点的差异信息;
当所述差异信息满足预设差异信息时,对所述当前光点进行编号。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取已编号的光点、对应的历史位置信息、在当前帧图像中的当前位置信息和跟踪状态;
当所述已编号的光点的跟踪状态为跟踪,且所述已编号的光点的所述历史位置信息和当前位置信息不一致时,则所述已编号的光点的位置信息更新为所述当前位置信息;
当所述已编号的光点的跟踪状态为跟踪,且在所述当前帧图像中未存在所述已编号的光点的位置信息,将所述已编号的光点的跟踪状态为丢失。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述速度匹配度大于预设速度匹配度的候选关键点,与所述已编号未匹配的光点存在至少两个对应关系时,计算存在至少两个对应关系的所述候选关键点与对应的所述已编号未匹配的光点的轨迹匹配度;
当所述轨迹匹配度大于预设轨迹匹配度的候选关键点与所述已编号未匹配的光点存在唯一对应关系时,将唯一对应的所述已编号未匹配的光点作为对应的所述候选关键点的匹配结果。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当候选关键点为空集时,计算全部所述人体关键点与所述已编号未匹配的光点的速度匹配度;
将所述速度匹配度大于所述预设速度匹配度的人体关键点,作为第二候选关键点;
当所述第二候选关键点与所述已编号未匹配的光点存在唯一对应关系时,将唯一对应的所述已编号未匹配的光点作为对应的所述第二候选关键点的匹配结果;
当未存在所述速度匹配度大于预设速度匹配度的第二候选关键点时,或大于所述预设速度匹配度的所述已编号未匹配的光点的数量小于所述预设数量时,将全部的所述人体关键点作为所述候选关键点,进入计算所述候选关键点与对应的所述已编号未匹配的光点的轨迹匹配度的步骤。
6.一种人体光点的标签识别装置,其特征在于,所述装置包括:
光点识别模块,用于获取包含光点的图像,识别所述图像中的光点;
编号模块,用于根据预设条件对所述光点进行编号;
数据获取模块,用于获取根据惯性传感器测量数据计算得到的人体关键点的位置;
匹配模块,用于将已编号的所述光点与人体关键点进行匹配,得到对应的匹配结果;
所述匹配模块具体用于,获取所述已编号的光点与所述人体关键点的匹配关系,根据匹配关系计算所述已编号未匹配的光点与所述人体关键点的位置匹配度,将所述位置匹配度大于预设位置匹配度的所述人体关键点作为候选关键点,计算所述候选关键点与所述已编号未匹配的光点的速度匹配度,当所述速度匹配度大于预设速度匹配度的候选关键点与所述已编号未匹配的光点存在唯一对应关系时,将唯一对应的所述已编号未匹配的光点作为对应的所述候选关键点的匹配结果;
匹配结果筛选模块,用于计算所述匹配结果的可信度,当所述可信度大于预设可信度时,所述光点与所述人体关键点匹配。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811550991.5A CN109766882B (zh) | 2018-12-18 | 2018-12-18 | 人体光点的标签识别方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811550991.5A CN109766882B (zh) | 2018-12-18 | 2018-12-18 | 人体光点的标签识别方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109766882A CN109766882A (zh) | 2019-05-17 |
CN109766882B true CN109766882B (zh) | 2020-11-20 |
Family
ID=66451446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811550991.5A Active CN109766882B (zh) | 2018-12-18 | 2018-12-18 | 人体光点的标签识别方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766882B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020232703A1 (zh) * | 2019-05-23 | 2020-11-26 | 深圳市瑞立视多媒体科技有限公司 | 刚体识别方法、装置、系统及终端设备 |
CN110728181B (zh) * | 2019-09-04 | 2022-07-12 | 北京奇艺世纪科技有限公司 | 行为评价方法、装置、计算机设备和存储介质 |
CN111738180B (zh) * | 2020-06-28 | 2023-03-24 | 浙江大华技术股份有限公司 | 关键点的标注方法、装置、存储介质及电子装置 |
CN112781589B (zh) * | 2021-01-05 | 2021-12-28 | 北京诺亦腾科技有限公司 | 一种基于光学数据和惯性数据的位置追踪设备及方法 |
CN112990154B (zh) * | 2021-05-11 | 2021-07-30 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、计算机设备以及可读存储介质 |
CN113610967B (zh) * | 2021-08-13 | 2024-03-26 | 北京市商汤科技开发有限公司 | 三维点检测的方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140045653A (ko) * | 2012-10-09 | 2014-04-17 | 국립암센터 | 비접촉성 마커 인식장치, 비접촉성 마커 기반 영상정합장치 및 방법 |
CN105654016A (zh) * | 2014-12-02 | 2016-06-08 | 丰田自动车株式会社 | 标记识别装置、标记识别方法和识别程序 |
CN206948496U (zh) * | 2017-05-12 | 2018-01-30 | 厦门言必信网络科技有限公司 | 基于光点识别的身份识别装置 |
CN108491794A (zh) * | 2018-03-22 | 2018-09-04 | 腾讯科技(深圳)有限公司 | 面部识别的方法和装置 |
CN108710367A (zh) * | 2018-05-23 | 2018-10-26 | 广州视源电子科技股份有限公司 | 激光数据识别方法、装置、机器人及存储介质 |
-
2018
- 2018-12-18 CN CN201811550991.5A patent/CN109766882B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140045653A (ko) * | 2012-10-09 | 2014-04-17 | 국립암센터 | 비접촉성 마커 인식장치, 비접촉성 마커 기반 영상정합장치 및 방법 |
CN105654016A (zh) * | 2014-12-02 | 2016-06-08 | 丰田自动车株式会社 | 标记识别装置、标记识别方法和识别程序 |
CN206948496U (zh) * | 2017-05-12 | 2018-01-30 | 厦门言必信网络科技有限公司 | 基于光点识别的身份识别装置 |
CN108491794A (zh) * | 2018-03-22 | 2018-09-04 | 腾讯科技(深圳)有限公司 | 面部识别的方法和装置 |
CN108710367A (zh) * | 2018-05-23 | 2018-10-26 | 广州视源电子科技股份有限公司 | 激光数据识别方法、装置、机器人及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109766882A (zh) | 2019-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766882B (zh) | 人体光点的标签识别方法、装置 | |
CN108805898B (zh) | 视频图像处理方法和装置 | |
US9734414B2 (en) | Unified framework for precise vision-aided navigation | |
EP3309751B1 (en) | Image processing device, method, and program | |
US20160125243A1 (en) | Human body part detection system and human body part detection method | |
CN110598559B (zh) | 检测运动方向的方法、装置、计算机设备和存储介质 | |
KR102226846B1 (ko) | Imu 센서와 카메라를 이용한 하이브리드 실내 측위 시스템 | |
CN113034550B (zh) | 跨镜行人轨迹追踪的方法、系统、电子装置和存储介质 | |
CN111626125A (zh) | 人脸温度检测的方法、系统、装置和计算机设备 | |
CN109211277A (zh) | 视觉惯性里程计的状态确定方法、装置和电子设备 | |
CN103310188A (zh) | 用于姿态识别的方法和设备 | |
CN109711427A (zh) | 目标检测方法及相关产品 | |
CN111144398A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN112541403B (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
CN111126268A (zh) | 关键点检测模型训练方法、装置、电子设备及存储介质 | |
Kim et al. | Automatic recognition of workers’ motions in highway construction by using motion sensors and long short-term memory networks | |
CN111652314A (zh) | 温度检测方法、装置、计算机设备和存储介质 | |
CN109544632B (zh) | 一种基于层次主题模型的语义slam对象关联方法 | |
US20170289771A1 (en) | Map Assisted Inertial Navigation | |
CN113240806A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
US20230326251A1 (en) | Work estimation device, work estimation method, and non-transitory computer readable medium | |
CN114641795A (zh) | 物体检索装置及物体检索方法 | |
CN111899505B (zh) | 交通限制解除的检测方法和装置 | |
CN116884045A (zh) | 身份识别方法、装置、计算机设备和存储介质 | |
CN113029163A (zh) | 车辆路径匹配方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |