CN112750197A - 三维姿态信息还原方法及装置 - Google Patents
三维姿态信息还原方法及装置 Download PDFInfo
- Publication number
- CN112750197A CN112750197A CN202011617430.XA CN202011617430A CN112750197A CN 112750197 A CN112750197 A CN 112750197A CN 202011617430 A CN202011617430 A CN 202011617430A CN 112750197 A CN112750197 A CN 112750197A
- Authority
- CN
- China
- Prior art keywords
- information
- rigid
- image
- length information
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种三维姿态信息还原方法及装置,在上述方法中,获取当前人体面对摄像装置拍摄的第一正面图像;识别第一正面图像中的多个关节,确定多个关节中各个关节所对应的刚性骨骼在第一正面图像中的第一长度信息;获取当前人体面对摄像装置移动并改变姿态后拍摄的第二正面图像;识别第二正面图像中的多个关节,确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息;根据多个关节中各个关节所对应的刚性骨骼在图像成像平面上的投影坐标位置信息和第二长度信息还原当前人体在与成像平面正交的第三个维度上的姿态信息。降低了模型样本的采集成本以及训练模型计算能力要求,大大降低了计算量。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种三维姿态信息还原方法及装置。
背景技术
近年来,随着人工智能的迅速发展,尤其是图像识别领域诞生了很多优秀的算法,图像识别水平在不断地提高。然而,人体姿态识别作为当前图像识别领域中一个很热门的子领域,通过采用各种算法,人体姿态识别的精度也在不断提升。
近年来,人体识别的精细化程度从二维提升到了三维,而要进行精确的三维人体姿态识别,相关技术中,一般需要使用人体的三维信息进行训练,这样的信息包括体素(三维空间中的点,对应于二维空间的像素)、点云或多重二维图像等,这些数据类型的数据量比二维图像的像素高出了一个数量级,因此,训练和检测需要的计算能力也比都比二维的姿态识别多出许多。首先,“点云”数据的采集难度比较大,要采集精确的“点云”数据需要使用比较先进的深度摄像头,而这种设备造价一般比较高;其次,由于“点云”数据量庞大,模型的设计和训练都面临一个巨大的挑战。
因此,后来的三维姿态识别模型为了降低样本采集成本和减少计算量,大多采用了多张从不同角度拍摄的二维图像作为样本,样本的信息量大大减少。利用大量的二维样本反推出三维空间的位置。这种模型相较于使用“点云”作为样本的模型已经大大降低了样本采集成本和计算量。
但是,这种方案其中涉及到的空间几何计算量依然比较大,模型的训练需要的计算能力依然比较高。
发明内容
本发明的主要目的在于公开了一种三维姿态信息还原方法及装置,以至少解决相关技术中所采用的三维姿态识别模型,存在空间几何计算量比较大,模型的训练需要的计算能力要求比较高的问题。
根据本发明的一个方面,提供了一种三维姿态信息还原方法。
根据本发明的三维姿态信息还原方法包括:获取当前人体面对摄像装置拍摄的第一正面图像,其中,上述当前人体各个关节对应的刚性骨骼与图像成像平面平行;识别上述第一正面图像中的多个关节,确定上述多个关节中各个关节所对应的刚性骨骼在上述第一正面图像中的第一长度信息;获取当前人体面对摄像装置移动并改变姿态后拍摄的第二正面图像,其中,所述当前人体保持髋关节连线与摄像机的成像平面平行的情况下移动并改变姿态,所述当前人体与所述图像成像平面的距离发生改变;识别上述第二正面图像中的上述多个关节,根据所述髋关节连线在所述第二正面图像中长度信息相对于该髋关节连线在所述第一正面图像中长度信息的变化率,以及所述第一长度信息,确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息;确定上述多个关节中各个关节所对应的刚性骨骼在上述图像成像平面上的投影坐标位置信息;根据上述投影坐标位置信息和上述第二长度信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息。
根据本发明的另一方面,提供了一种三维姿态信息还原装置。
根据本发明的三维姿态信息还原装置包括:第一获取模块,用于获取当前人体面对摄像装置拍摄的第一正面图像,其中,上述当前人体各个关节对应的刚性骨骼与图像成像平面平行;第一确定模块,用于识别上述第一正面图像中的多个关节,确定上述多个关节中各个关节所对应的刚性骨骼在上述第一正面图像中的第一长度信息;第二获取模块,用于获取当前人体面对摄像装置移动并改变姿态后拍摄的第二正面图像,其中,所述当前人体保持髋关节连线与摄像装置的成像平面平行的情况下移动并改变姿态,所述当前人体与所述图像成像平面的距离发生改变;第二确定模块,用于识别上述第二正面图像中的上述多个关节,根据所述髋关节连线在所述第二正面图像中长度信息相对于该髋关节连线在所述第一正面图像中长度信息的变化率,以及所述第一长度信息,确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息;第三确定模块,用于确定所述多个关节中各个关节所对应的刚性骨骼在所述图像成像平面上的投影坐标位置信息;还原模块,用于根据上述投影坐标位置信息和上述第二长度信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息。
本发明采用的三维姿态信息还原方案,基于人体各个关节对应的刚性骨骼与图像成像平面平行的单张二维图像构建人体姿态识别模型,根据刚性骨骼在上述图像成像平面上的投影坐标位置信息和刚性骨骼的长度信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息。因此,降低了模型样本的采集成本以及训练模型计算能力要求,大大降低了计算量。
附图说明
图1是根据本发明实施例的三维姿态信息还原方法的流程图;
图2是根据本发明优选实施例的人体刚性骨骼和摄像机的成像平面平行时成像的示意图;
图3是根据本发明优选实施例的人体刚性骨骼和摄像机的成像平面不平行时成像的示意图;
图4是根据本发明实例的刚性骨骼沿Z轴旋转的三维坐标图;
图5是根据本发明实例的刚性骨骼沿Y轴旋转的三维坐标图;
图6是根据本发明实施例的三维姿态信息还原装置的结构框图;
图7是根据本发明优选实施例的三维姿态信息还原装置的结构框图。
具体实施方式
下面结合说明书附图对本发明的具体实现方式做一详细描述。
根据本发明实施例,提供了一种三维姿态信息还原方法。
图1是根据本发明实施例的三维姿态信息还原方法的流程图。如图1所示,该三维姿态信息还原方法包括:
步骤S101:获取当前人体面对摄像装置拍摄的第一正面图像,其中,上述当前人体各个关节对应的刚性骨骼与图像成像平面平行;
步骤S103:识别上述第一正面图像中的多个关节,确定上述多个关节中各个关节所对应的刚性骨骼在上述第一正面图像中的第一长度信息;
步骤S105:获取当前人体面对摄像装置移动并改变姿态后拍摄的第二正面图像,其中,当前人体保持髋关节连线与摄像机的成像平面平行的情况下移动并改变姿态,当前人体与图像成像平面的距离发生改变;
步骤S107:识别上述第二正面图像中的上述多个关节,根据髋关节连线在第二正面图像中长度信息相对于该髋关节连线在第一正面图像中长度信息的变化率,以及第一长度信息,确定多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息;
步骤S109:确定上述多个关节中各个关节所对应的刚性骨骼在上述图像成像平面上的投影坐标位置信息;
步骤S111:根据上述投影坐标位置信息和上述第二长度信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息。
采用图1所示的三维姿态信息还原方案,基于人体各个关节对应的刚性骨骼与图像成像平面平行的单张二维图像构建人体姿态识别模型,要求人体保持正对摄像装置(例如,摄像机),即人体的两个髋关节的连线与摄像装置的成像平面保持平行(不侧身)的情况下移动并改变姿态,根据所述髋关节连线在所述第二正面图像中长度信息相对于该髋关节连线在所述第一正面图像中长度信息的变化率,以及所述第一长度信息,确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息;根据刚性骨骼在上述图像成像平面上的投影坐标位置信息和刚性骨骼的第二长度信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息。因此,降低了模型样本的采集成本以及训练模型计算能力要求,大大降低了计算量。
在优选实施过程中,基于人体各个关节对应的刚性骨骼与图像成像平面平行的单张二维图像构建人体姿态识别模型,具体包括:要求人体在直立姿态,即双腿站直、双手自然垂下,分立人体两侧时,对人体进行一次姿态识别。把人体的刚性骨骼近似看作是其两个端点(两个关节)之间的有向线段。由于人体的刚性骨骼和摄像装置(例如,摄像机)的成像平面平行,这时该骨骼经过摄像机镜头所成的“像”(即第一正面图像)应在摄像机的成像平面内。因此拍摄得到的图像中人体刚性骨骼即表征该骨骼经过摄像机镜头所成的“像”,人体刚性骨骼的真实长度与该骨骼所成“像”的长度(即上述各个关节所对应的刚性骨骼在所述第一正面图像中的长度信息)相对应。具体可以参见图2。
然后,在人体躯干保持正对摄像机,即人体的两个髋关节的连线与摄像机的成像平面保持平行(不侧身)的情况下移动(所述当前人体与所述图像成像平面的距离发生改变)并改变姿态,得到二维姿态估计的结果。
优选地,可以通过以下方式确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息:
所述第二长度信息=(所述髋关节连线在所述第二正面图像中长度信息*所述第一长度信息)/所述髋关节连线在所述第一正面图像中长度信息
在优选实施过程中,当人体发生位移,即人体保持两个髋关节连线与摄像装置的成像平面平行的条件下改变其位置,由于髋关节连线始终与成像平面平行,因此这两个关节之间的连线在摄像机镜头后所成的“像”还是在摄像机成像平面内,因此摄像机所拍摄得到的图像中髋关节的连线的长度就与“像”的长度相对应,在人体改变位置前后,这两个长度的比值(即:所述髋关节连线在所述第二正面图像中长度信息/所述髋关节连线在所述第一正面图像中长度信息)与人体所成“像”中的其他骨骼的长度的比值是相等的(所有人体所成的“像”都是“相似”的,其中所有对应刚性骨骼的长度都是成比例的)。因此可以通过发生位移后髋关节连线长度的变化率来推算人体发生位移后人体所成“像”中各个刚性骨骼的长度(即第二长度信息)。而有了人体所成“像”中各个骨骼的长度,就可以通过以下方式计算各个骨骼的三维朝向了。
具体地,在人体位置发生改变的情况下(即当前人体与所述图像成像平面的距离发生改变),人体改变了姿态,由于人体骨骼改变了朝向,其经过摄像机镜头所成的“像”可能不再位于摄像机的成像平面内,但是其在成像平面内对应的图像(即第二正面图像),可近似看作该“像”在成像平面内的投影。具体可以参见图3。
人体所成“像”中各个刚性骨骼的长度(即刚性骨骼移动后所对应的第二长度信息)可看作其在摄像机成像平面内的投影与该成像平面垂直方向上的投影的向量和,三者的长度满足勾股定律。获取“像”的长度和其在成像平面上投影的长度,可推算出其在与投影平面垂直方向上投影的长度。而根据骨骼的活动范围及一些预设条件,可以判断该投影的方向,这样便获取了骨骼的像在三维空间中的朝向。再根据骨骼与骨骼的像相对于摄像机镜头中心“点对称”,可以推算出骨骼的三维朝向。
以下结合图4和图5的示例进行描述。
在优选实施过程中,先通过拍摄装置采集人体正对图像成像平面的第一正面图像,其中,当前人体各个关节对应的刚性骨骼与图像成像平面平行;具体地,在采集第一正面图像之后,可以使用目前人体姿态识别技术来第一正面图像中人体的各个关节点,例如,可以使用“自底向上”的识别技术,先找到人体的各个关节点,然后确定这些关节点对应的各个刚性骨骼(如脖子、前臂、上臂、大腿、小腿等)。由于人体各个关节对应的刚性骨骼与图像成像平面平行,因此在第一正面图像中,各个刚性骨骼的长度与人体的真实骨骼长度相对应。
在通过识别得到人体的关节对应的各个刚性骨骼(比如脖子、前臂、上臂、大腿、小腿等中的对应的刚性骨骼)的长度之后,让当前人体保持正对摄像机的情况下移动并改变姿态,获取当前人体面对摄像装置移动并改变姿态后拍摄的第二正面图像,通过二维人体姿态识别技术识别第二正面图像中的上述多个关节,根据所述髋关节连线在所述第二正面图像中长度信息相对于该髋关节连线在所述第一正面图像中长度信息的变化率,以及所述第一长度信息,确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息,确定多个关节中各个关节所对应的刚性骨骼在上述图像成像平面上的投影坐标位置信息(即多个关节在二维图像成像平面上的位置),再以姿态中各个关节对应的刚性骨骼的第二长度信息和投影坐标位置信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息,即可得到三维的人体姿态估计结果。
下面以人体的一个刚性骨骼为例,描述该刚性骨骼投影坐标、该刚性骨骼的第二长度信息、以及该刚性骨骼在第二正面图像中相对于第一正面图像的旋转角度信息的三角函数之间的关系。首先设定该刚性骨骼所成“像”的一个端点始终位于摄像机成像平面内,以该端点为坐标原点,以人面对成像平面时水平指向人体右手的一侧的方向为X轴,以垂直向上Y轴,以与X、Y轴垂直且指向观察者的方向为Z轴。当该刚性骨骼的一端设置位为坐标原点,假设骨骼所成“像”是从Y轴方向开始,先沿Z轴旋转θ1角度(在XY平面内旋转,如图4所示),然后再沿Y轴旋转θ2角度到达最终位置(如图5所示),注:旋转时使用左手定则,即左手拇指指向所沿的轴的方向,其余四个手指指向旋转方向。那么θ1和θ2应满足如下关系:
x=l·cos(θ1) 公式(1)
y=l·sin(θ1)·cos(θ2) 公式(2)
z=l·sin(θ1)·sin(θ2) 公式(3)
其中,x、y、z分别是该刚性骨骼的另一个端点的最终位置在X轴、Y轴和Z轴上的坐标,而l是在人体发生位移之后,此时人体所成“像”中该刚性骨骼的长度(即该刚性骨骼移动后所对应的第二长度信息)。由l和x、y、z的值可以推算出θ1和θ2的可能值。再根据人体关节的活动范围及一些限定条件排除一些不可能的值,最终就能获得唯一的一组值。
优选地,步骤S109中,根据上述投影坐标位置信息和上述第二长度信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息可以进一步包括:对于上述多个关节中每一个关节所对应的刚性骨骼,根据该刚性骨骼的投影坐标位置信息和第二长度信息,确定该刚性骨骼在第二正面图像中相对于第一正面图像的旋转角度信息。
在优选实施过程中,根据该刚性骨骼的投影坐标位置信息和第二长度信息,确定该刚性骨骼在第二正面图像中相对于第一正面图像的旋转角度信息可以进一步包括:设定该刚性骨骼的一个端点位于坐标原点;根据该刚性骨骼的另一个端点在成像平面上的投影坐标、该刚性骨骼的第二长度信息,通过上述投影坐标与第二长度信息之间的三角函数关系、反三角函数公式,获取计算结果;根据预设角度范围或者是否符合人体骨骼活动规律的判定条件,从上述计算结果中确定在第二正面图像中相对于第一正面图像的旋转角度。
例如,由上述公式中的l和x、y的值,通过公式(1)和公式(2),可以确定出θ1和θ2的可能值,之后根据人体关节的活动范围(即上述是否符合人体骨骼活动规律的判定条件)及一些限定条件(预设角度范围)排除一些不可能的值,最终就能获得唯一的旋转角度值。
优选地,在确定该刚性骨骼在第二正面图像中相对于第一正面图像的旋转角度信息之后,还可以包括:根据该刚性骨骼对应的旋转角度信息以及该刚性骨骼的第二长度信息,确定该刚性骨骼在与上述成像平面正交的第三个维度上的分量信息。
在优选实施过程中,根据该刚性骨骼对应的旋转角度信息以及该刚性骨骼的第二长度信息,确定该刚性骨骼在与上述成像平面正交的第三个维度上的分量信息可以进一步包括:根据该刚性骨骼的第二长度信息以及该刚性骨骼对应的旋转角度的三角函数值,并按照预设值范围或者是否符合人体骨骼活动规律的判定条件,确定该刚性骨骼在与上述成像平面正交的第三个维度上的分量信息。
例如,在确定出θ1和θ2之后,然后通过公式(3),可以得出刚性骨骼在与上述成像平面正交的第三个维度上的分量信息,例如,该刚性骨骼的另一个端点在z轴上的坐标。
优选地,上述步骤S109中,根据上述投影坐标位置信息和上述第二长度信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息可以进一步包括:根据该刚性骨骼的投影坐标位置信息和第二长度信息,并按照预设值范围或者是否符合人体骨骼活动规律的判定条件,确定该刚性骨骼在与上述成像平面正交的第三个维度上的分量信息。
例如,由公式l2=x2+y2+z2中的l、x、y的值,可以确定z的绝对值(模值),之后根据人体关节的活动范围及一些限定条件排除一些不可能的值,最终就能获得唯一的z值。
以下结合示例进一步描述上述优选实施方式,采集到第一正面图像,识别第一正面图像中的多个关节,确定某一个关节所对应的刚性骨骼在第一正面图像中的第一长度信息,获取所述当前人体面对摄像装置移动并改变姿态后拍摄的第二正面图像,其中,所述当前人体保持髋关节连线与摄像装置的成像平面平行的情况下移动并改变姿态,所述当前人体与所述图像成像平面的距离发生改变,识别第二正面图像中的所述多个关节,根据所述髋关节连线在所述第二正面图像中长度信息相对于该髋关节连线在所述第一正面图像中长度信息的变化率,以及所述第一长度信息,即如下公式确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息:
所述第二长度信息=(所述髋关节连线在所述第二正面图像中长度信息*所述第一长度信息)/所述髋关节连线在所述第一正面图像中长度信息
例如,采用上述方案,计算出的第二长度信息l为50像素,该骨骼的一个端点设置位于坐标原点,该骨骼的另一个端点在XY平面(即图像成像平面)上的投影向量的坐标为(30,30),先限定θ1的取值范围为[0°,180°],θ2的取值范围是[0°,360°)。因为上述两个角度的取值范围可以保证另一个端点最终位置可以覆盖所有象限的全部可能的位置,所以采用上述的预设角度范围。
根据上述公式(1)可计算出cos(θ1)为0.6,通过反三角函数计算得到θ1的可能值为53.13°或306.87°。根据预设的θ1的取值范围,可以排除掉306.87°,因此θ1为53.13°。代入公式(2),得到cos(θ2)为0.75,通过反三角函数推算得知θ2为41.41°或318.59°。如果根据是否符合人体骨骼活动规律的判定条件(即骨骼的正常活动范围),确定z一定为正(或者预先限定z为正),则排除掉z为负数的值,之后可以通过公式(3)推算得知sin(θ2)为正,因此θ2只能为41.41°。最后,除了θ1和θ2之外,通过公式(3)还能得到第三个维度,即该刚性骨骼另一个端点最终位置在Z轴上的坐标:26.4。得到了该骨骼所成“像”的三维朝向,根据点对称的关系,也就可以推导出骨骼在三维空间的朝向。
当然,除了上述确定方式,还可以通过公式l2=x2+y2+z2中的l、x、y的值,来确定z的模值,进而确定z的可能值,之后按照预设值范围或者是否符合人体骨骼活动规律的判定条件,确定z一定为正,得到该刚性骨骼另一个端点最终位置在Z轴上的坐标。
根据本发明实施例,提供了一种三维姿态信息还原装置。
图6是根据本发明实施例的三维姿态信息还原装置的结构框图。如图6所示,该三维姿态信息还原装置包括:第一获取模块60,用于获取当前人体面对摄像装置拍摄的第一正面图像,其中,上述当前人体各个关节对应的刚性骨骼与图像成像平面平行;第一确定模块62,用于识别上述第一正面图像中的多个关节,确定上述多个关节中各个关节所对应的刚性骨骼在上述第一正面图像中的长度信息;第二获取模块64,用于获取当前人体面对摄像装置移动并改变姿态后拍摄的第二正面图像,其中,所述当前人体保持髋关节连线与摄像装置的成像平面平行的情况下移动并改变姿态,所述当前人体与所述图像成像平面的距离发生改变;第二确定模块66,用于识别上述第二正面图像中的上述多个关节,根据所述髋关节连线在所述第二正面图像中长度信息相对于该髋关节连线在所述第一正面图像中长度信息的变化率,以及所述第一长度信息,确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息;第三确定模块68,用于确定上述多个关节中各个关节所对应的刚性骨骼在上述图像成像平面上的投影坐标位置信息;还原模块70,用于根据上述投影坐标位置信息和上述第二长度信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息。
采用图6所示的三维姿态信息还原装置,基于人体各个关节对应的刚性骨骼与图像成像平面平行的单张二维图像构建人体姿态识别模型,要求人体保持正对摄像装置(例如,摄像机),即人体的两个髋关节的连线与摄像装置的成像平面保持平行(不侧身)的情况下移动并改变姿态,根据所述髋关节连线在所述第二正面图像中长度信息相对于该髋关节连线在所述第一正面图像中长度信息的变化率,以及所述第一长度信息,确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息;根据刚性骨骼在上述图像成像平面上的投影坐标位置信息和刚性骨骼的第二长度信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息。因此,降低了模型样本的采集成本以及训练模型计算能力要求,大大降低了计算量。
优选地,如图7所示,还原模块70可以进一步包括:第一确定单元700,用于对于上述多个关节中每一个关节所对应的刚性骨骼,根据该刚性骨骼的投影坐标位置信息和第二长度信息,确定该刚性骨骼在第二正面图像中相对于第一正面图像的旋转角度信息。
优选地,如图7所示,上述还原模块70还可以包括:第二确定单元702,用于根据该刚性骨骼对应的旋转角度信息以及该刚性骨骼的第二长度信息,确定该刚性骨骼在与上述成像平面正交的第三个维度上的分量信息。
优选地,如图7所示,上述还原模块70也还可以包括:第三确定单元704,用于根据该刚性骨骼的投影坐标位置信息和第二长度信息,并按照预设值范围或者是否符合人体骨骼活动规律的判定条件,确定该刚性骨骼在与上述成像平面正交的第三个维度上的分量信息。
以上装置的各模块各单元相结合的优选实施方式,可以参见图1至图3的描述,此处不再赘述。
借助本发明提供的上述实施例,要求人体必须正对摄像装置,即当前人体保持髋关节连线与摄像装置的成像平面平行的情况下移动并改变姿态,所述当前人体与所述图像成像平面的距离发生改变,根据所述髋关节连线在所述第二正面图像中长度信息相对于该髋关节连线在所述第一正面图像中长度信息的变化率,以及所述第一长度信息,确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息;根据刚性骨骼在上述图像成像平面上的投影坐标位置信息和刚性骨骼的第二长度信息还原上述当前人体在与上述成像平面正交的第三个维度上的姿态信息。采用三维向量的二维投影及其长度实现了利用单张二维图像获取三维人体姿态估计的方案,方案简单易于实现,降低了模型样本的采集成本以及训练模型计算能力要求,大大降低了计算量,有效提高了系统运算效率。
以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (10)
1.一种三维姿态信息还原方法,其特征在于,包括:
获取当前人体面对摄像装置拍摄的第一正面图像,其中,所述当前人体各个关节对应的刚性骨骼与图像成像平面平行;
识别所述第一正面图像中的多个关节,确定所述多个关节中各个关节所对应的刚性骨骼在所述第一正面图像中的第一长度信息;
获取所述当前人体面对摄像装置移动并改变姿态后拍摄的第二正面图像,其中,所述当前人体保持髋关节连线与摄像装置的成像平面平行的情况下移动并改变姿态,所述当前人体与所述图像成像平面的距离发生改变;
识别所述第二正面图像中的所述多个关节,根据所述髋关节连线在所述第二正面图像中长度信息相对于该髋关节连线在所述第一正面图像中长度信息的变化率,以及所述第一长度信息,确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息;
确定所述多个关节中各个关节所对应的刚性骨骼在所述图像成像平面上的投影坐标位置信息;
根据所述投影坐标位置信息和所述第二长度信息还原所述当前人体在与所述成像平面正交的第三个维度上的姿态信息。
2.根据权利要求1所述的方法,其特征在于,通过以下方式确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息:
所述第二长度信息=(所述髋关节连线在所述第二正面图像中长度信息*所述第一长度信息)/所述髋关节连线在所述第一正面图像中长度信息。
3.根据权利要求1所述的方法,其特征在于,根据所述投影坐标位置信息和所述第二长度信息还原所述当前人体在与所述成像平面正交的第三个维度上的姿态信息包括:
对于所述多个关节中每一个关节所对应的刚性骨骼,根据该刚性骨骼的投影坐标位置信息和第二长度信息,确定该刚性骨骼在第二正面图像中相对于第一正面图像的旋转角度信息。
4.根据权利要求3所述的方法,其特征在于,根据该刚性骨骼的投影坐标位置信息和第二长度信息,确定该刚性骨骼在第二正面图像中相对于第一正面图像的旋转角度信息包括:
设定该刚性骨骼的一个端点位于坐标原点;
根据该刚性骨骼的另一个端点在成像平面上的投影坐标、该刚性骨骼的第二长度信息,通过所述投影坐标与长度值之间的三角函数关系、反三角函数公式,获取计算结果;
根据预设角度范围或者是否符合人体骨骼活动规律的判定条件,从所述计算结果中确定在第二正面图像中相对于第一正面图像的旋转角度。
5.根据权利要求3所述的方法,其特征在于,在确定该刚性骨骼在第二正面图像中相对于第一正面图像的旋转角度信息之后,还包括:
根据该刚性骨骼对应的旋转角度信息以及该刚性骨骼的第二长度信息,确定该刚性骨骼在与所述成像平面正交的第三个维度上的分量信息。
6.根据权利要求5所述的方法,其特征在于,根据该刚性骨骼对应的旋转角度信息以及该刚性骨骼的第二长度信息,确定该刚性骨骼在与所述成像平面正交的第三个维度上的分量信息包括:
根据该刚性骨骼的第二长度信息以及该刚性骨骼对应的旋转角度的三角函数值,并按照预设值范围或者是否符合人体骨骼活动规律的判定条件,确定该刚性骨骼在与所述成像平面正交的第三个维度上的分量信息。
7.根据权利要求1所述的方法,其特征在于,根据所述投影坐标位置信息和所述第二长度信息还原所述当前人体在与所述成像平面正交的第三个维度上的姿态信息包括:
根据该刚性骨骼的投影坐标位置信息和第二长度信息,并按照预设值范围或者是否符合人体骨骼活动规律的判定条件,确定该刚性骨骼在与所述成像平面正交的第三个维度上的分量信息。
8.一种三维姿态信息还原装置,其特征在于,包括:
第一获取模块,用于获取当前人体面对摄像装置拍摄的第一正面图像,其中,所述当前人体各个关节对应的刚性骨骼与图像成像平面平行;
第一确定模块,用于识别所述第一正面图像中的多个关节,确定所述多个关节中各个关节所对应的刚性骨骼在所述第一正面图像中的第一长度信息;
第二获取模块,用于获取所述当前人体面对摄像装置移动并改变姿态后拍摄的第二正面图像,其中,所述当前人体保持髋关节连线与摄像装置的成像平面平行的情况下移动并改变姿态,所述当前人体与所述图像成像平面的距离发生改变;
第二确定模块,用于识别所述第二正面图像中的所述多个关节,根据所述髋关节连线在所述第二正面图像中长度信息相对于该髋关节连线在所述第一正面图像中长度信息的变化率,以及所述第一长度信息,确定所述多个关节中各个关节所对应的刚性骨骼移动后所对应的第二长度信息;
第三确定模块,用于确定所述多个关节中各个关节所对应的刚性骨骼在所述图像成像平面上的投影坐标位置信息;
还原模块,用于根据所述投影坐标位置信息和所述第二长度信息还原所述当前人体在与所述成像平面正交的第三个维度上的姿态信息。
9.根据权利要求8所述的装置,其特征在于,所述还原模块包括:
第一确定单元,用于对于所述多个关节中每一个关节所对应的刚性骨骼,根据该刚性骨骼的投影坐标位置信息和第二长度信息,确定该刚性骨骼在第二正面图像中相对于第一正面图像的旋转角度信息;
第二确定单元,用于根据该刚性骨骼对应的旋转角度信息以及该刚性骨骼的第二长度信息,确定该刚性骨骼在与所述成像平面正交的第三个维度上的分量信息。
10.根据权利要求8所述的装置,其特征在于,所述还原模块包括:
第三确定单元,用于根据该刚性骨骼的投影坐标位置信息和第二长度信息,并按照预设值范围或者是否符合人体骨骼活动规律的判定条件,确定该刚性骨骼在与所述成像平面正交的第三个维度上的分量信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011617430.XA CN112750197A (zh) | 2020-12-30 | 2020-12-30 | 三维姿态信息还原方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011617430.XA CN112750197A (zh) | 2020-12-30 | 2020-12-30 | 三维姿态信息还原方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112750197A true CN112750197A (zh) | 2021-05-04 |
Family
ID=75650142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011617430.XA Pending CN112750197A (zh) | 2020-12-30 | 2020-12-30 | 三维姿态信息还原方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112750197A (zh) |
-
2020
- 2020-12-30 CN CN202011617430.XA patent/CN112750197A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110582798B (zh) | 用于虚拟增强视觉同时定位和地图构建的系统和方法 | |
KR101791590B1 (ko) | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 | |
Grest et al. | Nonlinear body pose estimation from depth images | |
US9235928B2 (en) | 3D body modeling, from a single or multiple 3D cameras, in the presence of motion | |
JP4148281B2 (ja) | モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム | |
US8571258B2 (en) | Method of tracking the position of the head in real time in a video image stream | |
Han | A low-cost visual motion data glove as an input device to interpret human hand gestures | |
JP6483832B2 (ja) | Rgb−dセンサを使用して物体を走査する方法とシステム | |
CN111402290A (zh) | 一种基于骨骼关键点的动作还原方法以及装置 | |
EP3644826A1 (en) | A wearable eye tracking system with slippage detection and correction | |
CN112712030A (zh) | 三维姿态信息还原方法及装置 | |
Weik et al. | Hierarchical 3d pose estimation for articulated human body models from a sequence of volume data | |
CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
WO2022018811A1 (ja) | 被写体の3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム | |
CN115205737B (zh) | 基于Transformer模型的运动实时计数方法和系统 | |
Price et al. | Augmenting crowd-sourced 3d reconstructions using semantic detections | |
CN112750197A (zh) | 三维姿态信息还原方法及装置 | |
CN108694348B (zh) | 一种基于自然特征的跟踪注册方法及装置 | |
KR20200057572A (ko) | 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법 | |
JP3712847B2 (ja) | 3次元形状計測方法と3次元形状計測装置及び撮像手段の姿勢検出装置 | |
CN110175629B (zh) | 一种人体动作相似度计算方法及装置 | |
Kim et al. | An improved ICP algorithm based on the sensor projection for automatic 3D registration | |
Du et al. | A virtual keyboard system based on multi-level feature matching | |
Kim et al. | A novel fitting algorithm using the ICP and the particle filters for robust 3d human body motion tracking | |
Sheng et al. | Marker-less Motion Capture Technology Based on Binocular Stereo Vision and Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |