CN115223234A - 一种姿态识别的方法及相关设备 - Google Patents
一种姿态识别的方法及相关设备 Download PDFInfo
- Publication number
- CN115223234A CN115223234A CN202110402794.4A CN202110402794A CN115223234A CN 115223234 A CN115223234 A CN 115223234A CN 202110402794 A CN202110402794 A CN 202110402794A CN 115223234 A CN115223234 A CN 115223234A
- Authority
- CN
- China
- Prior art keywords
- information
- pressure
- target
- predicted
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种姿态识别的方法，其特征在于，所述方法包括：通过摄像头采集目标物体在第一时刻的第一图像；根据第一图像确定所述目标物体在第一时刻对应的第一关节点信息，所述第一关节点信息包括目标物体的多个预设关节点在第一坐标平面上的坐标值；通过压力传感垫采集目标物体在第一时刻的压力传感数据；根据所述压力传感数据确定目标物体在第一时刻的第一测量压力信息，所述第一测量压力信息包括目标物体的多个测量特征点在第二坐标平面上的坐标值以及对应的压力值；基于第一关节点信息和第一测量压力信息，识别目标物体在所述第一时刻的第一目标姿态。采用本发明实施例能够更加精准的识别用户姿态，提升用户体验。
Description
技术领域
本发明涉及终端领域，尤其涉及一种姿态识别的方法及相关设备。
背景技术
随着生活水平的不断提高，人们对身体健康状况的重视程度日益剧增，健身爱好者群体逐渐增大。在健身过程中如果有专业人士的指导，则可以更好的达到锻炼效果并且可以避免产生较为严重的运动损伤。但当前专业的健身教练不仅数量少，而且价格也较高，难以满足所有健身爱好者的需求。因此，在用户运动过程中智能识别用户的运动姿态，检测用户的运动效果，可以帮助用户达到有效健身状态。
目前，在现有技术中可以基于图像对用户运动姿态进行识别，即通过摄像头获取用户的实时动作图像，然后使用预先训练好的深度神经网络对图像中的人体姿态进行识别，进而得到用户各个肢体关节点的坐标。但该技术对被遮挡的肢体部位，尤其是地面类动作(如瑜伽、腹肌训练等)，这些动作中用户肢体会相互交叠、相互遮挡，导致在图像识别过程中识别精度降低，从而给用户带来不好的用户体验。
因此，如何更加精准的识别用户姿态是亟待解决的问题。
发明内容
本发明实施例所要解决的技术问题在于，提供一种姿态识别的方法及相关设备，能够更加精准的识别用户姿态，提升用户体验。
第一方面，本发明实施例提供一种姿态识别的方法，其特征在于，所述方法包括：通过摄像头采集目标物体在第一时刻的第一图像；根据所述第一图像确定所述目标物体在所述第一时刻对应的第一关节点信息，所述第一关节点信息包括所述目标物体的多个预设关节点在第一坐标平面上的坐标值；通过压力传感垫采集所述目标物体在所述第一时刻的压力传感数据；根据所述压力传感数据确定所述目标物体在所述第一时刻的第一测量压力信息，所述第一测量压力信息包括所述目标物体的多个测量特征点在第二坐标平面上的坐标值以及对应的压力值；基于所述第一关节点信息和所述第一测量压力信息，识别所述目标物体在所述第一时刻的第一目标姿态。
在现有技术中，由于用户做一些地面动作(如瑜伽、腹肌训练等)会造成肢体交叠或肢体遮挡，因此通过获取用户的实时动作图像并使用图像识别算法对图像中的人体姿态进行识别时，对于肢体交叠或肢体遮挡部位，图像识别算法根据图像信息进行预测，会造成预测姿态与实际姿态之间的误差较大，导致姿态识别精度较低的问题。
在本发明实施例中，通过结合图像信息和压力信息来识别用户姿态，对于有肢体交叠或肢体遮挡部位，可以在图像信息的基础上结合压力信息、或在压力信息的基础上结合图像信息进行预测，避免了仅通过图像信息预测肢体交叠或肢体遮挡部位时关于交叠或遮挡部位的有效信息较少，导致预测结果与实际相差较大的问题。具体地，本发明实施例通过摄像头采集用户的图像和通过压力垫获取的压力传感数据，并根据图像和压力传感数据生成相应的图像信息和压力信息，然后再结合图像信息和压力信息识别用户的目标姿态，由于压力信息是根据用户实际动作的压力传感数据而得到的信息，因此在预测肢体交叠或肢体遮挡部位时更加准确，从而使得综合上述图像信息和压力信息后所识别出的用户姿态更加精准，提升识别准确度，提升用户体验。
在一种可能的实现方式中，所述根据所述压力传感数据确定所述目标物体在所述第一时刻的第一测量压力信息；包括：将所述压力传感数据进行归一化处理，并将归一化处理后的所述压力传感数据中低于第一预设阈值的压力传感数据清零得到所述第一测量压力信息。
在本发明实施例中，对获取到的压力传感数据进行归一化处理，使得压力传感数据被限定在一定的范围内，比如0到1之间，从而能消除奇异数据导致的不良影响的同时也能便于不同姿态的压力数据之间的比较。进一步，将归一化后的压力传感数据进行预处理，将数据中低于预设阈值的压力传感数据清零得到测量压力信息，进一步根据测量压力信息识别用户姿态时可以提升对数据的处理效率。
在一种可能的实现方式中，所述基于所述第一关节点信息和所述第一测量压力信息，识别所述目标物体在所述第一时刻的第一目标姿态，包括：根据所述第一关节点信息生成第一预测压力信息，所述第一预测压力信息包括与所述第一关节点信息匹配的多个预测特征点在所述第一坐标平面上的坐标值以及对应的压力值；计算所述第一预测压力信息与所述第一测量压力信息的第一相似度；若所述第一相似度大于第二预设阈值，则基于所述第一关节点信息生成所述第一目标姿态。
在本发明实施例中，由于同一时刻下的测量压力信息和图像信息是异源信息不能直接进行融合，可选的根据人体测量学及物理学原理对图像信息进行处理得到预测压力信息，进一步将测量压力信息与预测压力信息进行比较，若两者之间的相似度大于预设阈值，则可根据图像信息得到用户的目标姿态。通过本发明实施例提供的方法，可以通过压力信息确定根据图像信息得到的目标姿态是否贴近用户实际姿态，若根据图像信息得到的目标姿态贴近用户实际姿态，则输出根据图像信息得到的用户的目标姿态，从而提升用户姿态识别精度。
在一种可能的实现方式中，所述计算所述第一预测压力信息与所述第一测量压力信息的第一相似度，包括：对所述第一测量压力信息中的所述多个测量特征点在所述第二坐标平面上的坐标值进行处理得到第二测量压力信息；所述第二测量压力信息包括所述多个测量特征点映射在所述第一坐标平面上对应的坐标值以及对应的压力值；基于所述第二测量压力信息和所述第一预测压力信息，计算所述第一预测压力信息与所述第一测量压力信息的所述第一相似度。
在本发明实施例中，由于图像信息可能与压力信息在不同的坐标平面，导致根据图像信息得到的预测压力信息与测量压力信息在不同的坐标平面，因此可将预测压力信息与测量压力信息统一到相同的坐标平面再进行比较，避免了不同坐标平面上的数据难以直接进行比较的问题，也因此提升用户姿态识别精度。
在一种可能的实现方式中，所述计算所述第一预测压力信息与所述第一测量压力信息的第一相似度之后，所述方法还包括：若所述第一相似度小于或等于所述第二预设阈值，将所述第一测量压力信息划分成M个第一测量压力子信息，以及将所述第一预测压力信息划分成M个第一预测压力子信息，生成M个待比较压力信息组；其中，所述M个第一测量压力子信息对应所述目标物体的M个部位，所述M个第一预测压力子信息对应所述M个部位；每个所述待比较压力信息组包括所述目标物体的所述M个部位中相同部位对应的所述第一测量压力子信息和所述第一预测压力子信息；计算每个所述待比较压力信息组中所述第一测量压力子信息和所述第一预测压力子信息的第二相似度；确定所述第二相似度低于或等于第三预设阈值的L个待比较压力信息组；分别根据所述L个待比较压力信息组中的所述第一测量压力子信息确定L个第二预测压力子信息；基于所述L个第二预测压力子信息和M-L个所述待比较压力信息组中的M-L个第一预测压力子信息生成所述第一目标姿态；所述M-L个所述待比较压力信息组为所述M个待比较压力信息组中除所述L个待比较压力信息组外的待比较压力信息组。
在本发明实施例中，在上述方法下当测量压力信息与预测压力信息之间的相似度小于或等于预设阈值时，并不代表根据图像信息得到的目标姿态完全不贴近用户实际姿态，而只能说明根据图像信息得到的目标姿态中有些局部姿态识别错误。因此按照目标物体的M个部位将测量压力信息和预测压力信息都划分成M份，进而找到识别错误的L个局部姿态所对应的信息。然后通过压力信息预测L个局部姿态，进而根据M-L个由图像信息得到的预测压力子信息(除去L个识别错误的局部姿态所对应的预测压力子信息)和L个由压力信息得到的预测压力子信息得到更加贴近用户实际姿态的目标姿态，从而提升了用户姿态识别精度。
在一种可能的实现方式中，所述分别根据所述L个待比较压力信息组中的所述第一测量压力子信息确定L个第二预测压力子信息，包括：确定局部错误姿态压力信息；所述局部错误姿态压力信息中包括所述L个所述待比较压力信息组中的每个待比较压力信息组的所述第一测量压力子信息；获取N个预设局部姿态信息，并基于所述N个预设局部姿态信息分别进行处理生成N个第二预测压力子信息；分别计算所述N个第二预测压力子信息与所述局部错误姿态压力信息的第三相似度，得到局部候选姿态信息集合；所述局部候选姿态信息集合中包括所述N个第二预测压力子信息中与所述局部错误姿态压力信息的所述第三相似度大于第四阈值的一个或多个所述第二预测压力子信息对应的预设局部姿态信息；将所述第一关节点信息划分成M个与所述目标物体的所述M个部位相匹配的子信息，并确定第一关节点子信息；所述第一关节点子信息为所述局部错误姿态压力信息所对应的关节点信息；分别计算每个所述局部候选姿态信息集合中的每个所述预设局部姿态信息与所述第一关节点子信息之间的第四相似度，得到目标局部姿态信息；所述目标局部姿态信息为所述第四相似度最高的所述预设局部姿态信息；根据所述目标局部姿态信息得到所述L个第二预测压力子信息。
在本发明实施例中，在上述方法下当找到识别错误的L个局部姿态所对应的信息后，根据L个局部姿态中的测量压力子信息得到局部错误姿态压力信息，接下来可获取N个预设局部姿态信息，进一步将这些预设局部姿态信息转换成预测压力子信息并与局部错误姿态压力信息进行比较，确定相应的局部候选姿态信息集合，然后结合局部候选姿态信息集合中的信息和由图像信息得到的关节点信息，确定局部候选姿态信息集合中最接近用户真实的局部姿态，从而提升了用户姿态识别精度。
在一种可能的实现方式中，所述基于所述第一关节点坐标集合和所述第一压力值集合，识别所述目标物体在所述第一时刻的第一目标姿态；所述方法包括：获取S个预设目标姿态信息，并基于所述S个预设目标姿态信息分别进行处理生成S个第二预测压力信息；分别计算所述S个第二预测压力信息与所述第一测量压力信息的第五相似度，并将所述第五相似度大于第五预设阈值的所述第二预测压力信息添加到目标候选姿态集合中；分别计算每个所述目标候选姿态集合中的所述预测目标姿态信息与所述第一关节点信息的第六相似度，得到所述第六相似度最高的所述预测目标姿态信息；基于所述第六相似度最高的所述预测目标姿态信息生成所述第一目标姿态。
在本发明实施例中，在根据图像信息得到的目标姿态与用户实际姿态差距较大的情况下，可基于压力信息并结合图像信息预测用户姿态。具体地，可先获取S个预设目标姿态信息，然后将这些预设目标姿态信息转换成预测目标姿态信息并与测量压力信息进行比较，确定相应的目标候选姿态集合，然后将目标候选姿态集合中的预测目标姿态信息与由图像信息得到的预测压力信息进行比较，确定目标候选姿态集合中相似度最高的预测目标姿态信息，然后根据该预测目标姿态信息识别出目标姿态，从而提升了用户姿态识别精度。
在一种可能的实现方式中，当所述目标候选姿态集合中包括j个所述预测目标姿态信息，所述计算每个所述目标候选姿态集合中的所述预测目标姿态信息分别与所述第一关节点信息的第六相似度之前，所述方法还包括：将所述目标候选姿态集合中的所述j个所述预测目标姿态信息与所述第一时刻的上一时刻输出的第二目标姿态所对应的第二关节点信息进行比较，将相似度小于或等于第七预设阈值的所述预测目标姿态信息从所述目标候选姿态集合中剔除。
在本发明实施例中，在上述方法下当目标候选姿态集合中存在较多的预测目标姿态信息时，多个预测目标姿态信息需要分别与测量压力信息进行比较，计算量较大。因此，结合目标物体上一时刻输出的目标姿态，对目标候选姿态集合中的预测目标姿态信息进行筛选，将相似度过低的预测目标姿态信息剔除，减少需要进行比较的预测目标姿态信息数量，从而降低计算开销，提高效率，也提升了用户姿态识别精度。
在一种可能的实现方式中，所述方法还包括：计算所述第一目标姿态与相邻时刻目标姿态之间的第七相似度；若所述第七相似度小于或等于第八预设阈值，则根据所述相邻时刻目标姿态修正所述第一目标姿态。
在本发明实施例中，若在异常情况下出现姿态识别错误，则可以根据与错误姿态相邻时刻输出的目标姿态对错误姿态进行校正，从而提升了用户姿态识别精度。
第二方面，本发明实施例提供一种姿态识别的设备，其特征在于，所述设备包括：第一接收单元，用于通过摄像头采集目标物体在第一时刻的第一图像；第一处理单元，用于根据所述第一图像确定所述目标物体在所述第一时刻对应的第一关节点信息，所述第一关节点信息包括所述目标物体的多个预设关节点在第一坐标平面上的坐标值；第二接收单元，用于通过压力传感垫采集所述目标物体在所述第一时刻的压力传感数据；第二处理单元，用于根据所述压力传感数据确定所述目标物体在所述第一时刻的第一测量压力信息，所述第一测量压力信息包括所述目标物体的多个测量特征点在第二坐标平面上的坐标值以及对应的压力值；第三处理单元，用于基于所述第一关节点信息和所述第一测量压力信息，识别所述目标物体在所述第一时刻的第一目标姿态。
在一种可能的实现方式中，所述第二处理单元具体用于：将所述压力传感数据进行归一化处理，并将归一化处理后的所述压力传感数据中低于第一预设阈值的压力传感数据清零得到所述第一测量压力信息。
在一种可能的实现方式中，所述第三处理单元具体用于：根据所述第一关节点信息生成第一预测压力信息，所述第一预测压力信息包括与所述第一关节点信息匹配的多个预测特征点在所述第一坐标平面上的坐标值以及对应的压力值；计算所述第一预测压力信息与所述第一测量压力信息的第一相似度；若所述第一相似度大于第二预设阈值，则基于所述第一关节点信息生成所述第一目标姿态。
在一种可能的实现方式中，所述第三处理单元具体用于：对所述第一测量压力信息中的所述多个测量特征点在所述第二坐标平面上的坐标值进行处理得到第二测量压力信息；所述第二测量压力信息包括所述多个测量特征点映射在所述第一坐标平面上对应的坐标值以及对应的压力值；基于所述第二测量压力信息和所述第一预测压力信息，计算所述第一预测压力信息与所述第一测量压力信息的所述第一相似度。
在一种可能的实现方式中，所述设备还包括：第四处理单元，用于若所述第一相似度小于或等于所述第二预设阈值，将所述第一测量压力信息划分成M个第一测量压力子信息，以及将所述第一预测压力信息划分成M个第一预测压力子信息，生成M个待比较压力信息组；其中，所述M个第一测量压力子信息对应所述目标物体的M个部位，所述M个第一预测压力子信息对应所述M个部位；每个所述待比较压力信息组包括所述目标物体的所述M个部位中相同部位对应的所述第一测量压力子信息和所述第一预测压力子信息；第四处理单元，用于计算每个所述待比较压力信息组中所述第一测量压力子信息和所述第一预测压力子信息的第二相似度；第四处理单元，还用于确定所述第二相似度低于或等于第三预设阈值的L个待比较压力信息组；第四处理单元，还用于分别根据所述L个待比较压力信息组中的所述第一测量压力子信息确定L个第二预测压力子信息；第四处理单元，还用于基于所述L个第二预测压力子信息和M-L个所述待比较压力信息组中的M-L个第一预测压力子信息生成所述第一目标姿态；所述M-L个所述待比较压力信息组为所述M个待比较压力信息组中除所述L个待比较压力信息组外的待比较压力信息组。
在一种可能的实现方式中，所述第四处理单元具体用于：确定局部错误姿态压力信息；所述局部错误姿态压力信息中包括所述L个所述待比较压力信息组中的每个待比较压力信息组的所述第一测量压力子信息；确定局部错误姿态压力信息；所述局部错误姿态压力信息中包括所述L个所述待比较压力信息组中的每个待比较压力信息组的所述第一测量压力子信息；获取N个预设局部姿态信息，并基于所述N个预设局部姿态信息分别进行处理生成N个第二预测压力子信息；分别计算所述N个第二预测压力子信息与所述局部错误姿态压力信息的第三相似度，得到局部候选姿态信息集合；所述局部候选姿态信息集合中包括所述N个第二预测压力子信息中与所述局部错误姿态压力信息的所述第三相似度大于第四阈值的一个或多个所述第二预测压力子信息对应的预设局部姿态信息；将所述第一关节点信息划分成M个与所述目标物体的所述M个部位相匹配的子信息，并确定第一关节点子信息；所述第一关节点子信息为所述局部错误姿态压力信息所对应的关节点信息；分别计算每个所述局部候选姿态信息集合中的每个所述预设局部姿态信息与所述第一关节点子信息之间的第四相似度，得到目标局部姿态信息；所述目标局部姿态信息为所述第四相似度最高的所述预设局部姿态信息；根据所述目标局部姿态信息得到所述L个第二预测压力子信息。
在一种可能的实现方式中，所述第四处理单元具体用于：获取S个预设目标姿态信息，并基于所述S个预设目标姿态信息分别进行处理生成S个第二预测压力信息；分别计算所述S个第二预测压力信息与所述第一测量压力信息的第五相似度，并将所述第五相似度大于第五预设阈值的所述第二预测压力信息添加到目标候选姿态集合中；分别计算每个所述目标候选姿态集合中的所述预测目标姿态信息与所述第一关节点信息的第六相似度，得到所述第六相似度最高的所述预测目标姿态信息；基于所述第六相似度最高的所述预测目标姿态信息生成所述第一目标姿态。
在一种可能的实现方式中，当所述目标候选姿态集合中包括j个所述预测目标姿态信息，所述设备还包括：第五处理单元，用于将所述目标候选姿态集合中的所述j个所述预测目标姿态信息与所述第一时刻的上一时刻输出的第二目标姿态所对应的第二关节点信息进行比较，将相似度小于或等于第七预设阈值的所述预测目标姿态信息从所述目标候选姿态集合中剔除。
在一种可能的实现方式中，所述设备还包括：第六处理单元，用于计算所述第一目标姿态与相邻时刻目标姿态之间的第七相似度；若所述第七相似度小于或等于第八预设阈值，则根据所述相邻时刻目标姿态修正所述第一目标姿态。
第三方面，本发明实施例提供一种芯片系统，其特征在于，所述芯片系统包括至少一个处理器，存储器和接口电路，所述存储器、所述接口电路和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；所述指令被所述处理器执行时，上述第一方面的中任意一项方法得以实现。
第四方面，本发明实施例提供一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任意一项所述的方法。
第五方面，本发明实施例提供一种计算机程序，其特征在于，所述计算机程序包括指令，当所述计算机程序被计算机执行时，使得所述计算机执行上述第一方面中任意一项所述的方法。
第六方面，本申请提供一种终端设备，该终端设备具有实现上述第一方面提供的任意一种姿态识别方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第七方面，本申请提供一种智能设备，该智能设备具有实现上述第一方面提供的任意一种姿态识别方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
附图说明
图1是本发明实施例提供的一种姿态识别的系统架构示意图。
图2是本申请实施例中的一种姿态识别方法的流程示意图。
图3A为本发明实施例提供的一种用户的运动姿态照片示意图。
图3B为本发明实施例提供的一种用户的运动姿态压力数据示意图。
图3C为本发明实施例提供的一种图像信息与压力信息进行比较的流程示意图。
图3D为本发明实施例提供的一种第一坐标平面与第二坐标平面的示意图。
图3E为本发明实施例提供的一种图像坐标系示意图。
图3F为本发明实施例提供的一种压力坐标系示意图。
图3G为本发明实施例提供的一种M个待比较压力信息组示意图。
图3H为本发明实施例提供的一种从M个待比较压力信息组中选出L个待比较压力信息组的示意图。
图3I为本发明实施例提供的一种第二预测压力信息示意图。
图3J为本发明实施例提供的一种确定局部候选姿态集合的示意图。
图3K为本发明实施例提供的一种确定L个第二预测压力子信息的示意图。
图3L为本发明实施例提供的一种确定目标候选姿态集合的示意图。
图4A为本发明实施例提供的一种姿态识别方法示例性流程图。
图4B为本发明实施例提供的另一种姿态识别方法示例性流程图。
图4C为本发明实施例提供的一种可进行纠错的姿态识别方法示例性流程图。
图5是本发明实施例提供的本申请提供了一种姿态识别的设备示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下介绍了电子设备、用于这样的电子设备的用户界面、和用于使用这样的电子设备的实施例。在一些实施例中，电子设备可以是还包含其他功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载
或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面或触控面板的膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是具有触敏表面或触控面板的台式计算机。
本申请的说明书和权利要求书及附图中的术语“用户界面(user interface，UI)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，XML)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，GTML)，层叠样式表(cascading style sheets，CSS)，java脚本(JavaScript，JS)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如GTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
首先，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
(1)目标检测算法(Single Shot MultiBox Detector，SSD)，目标检测是很多计算机视觉任务的基础，不论是实现图像与文字的交互还是需要识别精细类别，它都提供了可靠的信息。近些年随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。
下面结合附图对本申请的实施例进行描述。
基于上述提出的技术问题，为了便于理解本发明实施例，下面先对本发明实施例所基于的系统架构进行描述。请参考见图1，图1是本发明实施例提供的一种姿态识别的系统架构示意图，该系统能够更加精准的识别用户姿态，提升用户体验。该系统架构中可以包括图像获取装置101、压力获取装置102和处理器103。其中，
图像获取装置101，该装置可以是独立的摄像头，也可以是带有摄像头的各种设备，如手机、智能电视、平板电脑等。图像获取装置101具有视频摄像或静态图像捕捉等基本功能，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成处理器所能识别的数字信号。例如，图像获取装置101可用于获取用户健身时的图像数据。
压力获取装置102，压力获取装置可以是压力垫或压力板等可以检测并记录压力传感数据的装置。压力获取装置102可以测量装置表面上各位置的压力值。该装置可以由阵列式柔性压力传感器或者多个单点式压力传感器构成，通过传感器获取能够被处理器进行处理的各位置的压力传感数据。例如，压力获取装置102可为压力垫，压力垫可用于获取用户健身时在压力垫上产生的压力传感数据。
处理器103，是计算机系统的运算和控制核心，其功能主要是解释计算机指令以及处理计算机软件中的数据。处理器负责读取指令，对指令译码并执行指令的核心部件。处理器主要包括两个部分，即控制器、运算器，其中还包括高速缓冲存储器及实现它们之间联系的数据、控制的总线。处理器的功效主要为处理指令、执行操作、控制时间、处理数据。例如，在本发明实施例中，处理器103可用于接收图像获取装置101的图像数据和压力获取装置102的压力传感数据，并对图像数据和压力传感数据进行处理。
可选的，该姿态识别的系统架构还可以包括图像显示装置104，图像显示装置104是一种将一定的电子文件通过特定的传输设备显示到屏幕上再反射到人眼的显示工具。例如，图像显示装置104可以实时向用户展示图像、压力或者姿态识别结果。
可以理解的是，图1中的一种姿态识别系统架构只是本申请实施例中的一种示例性的实施方式，本申请实施例中的广告跟踪系统架构包括但不仅限于以上系统架构。
下面对本发明实施例所基于的具体方法架构进行描述。参见图2，图2是本申请实施例中的一种姿态识别方法的流程示意图，下面将结合附图2并基于上述图1中的姿态识别系统架构从图像获取装置、压力获取装置和处理器的交互侧对本申请实施例中的姿态识别方法进行描述。需要说明的是，为了更详细的描述本申请实施例中的姿态识别方法，本申请在各个流程步骤中描述了相应的执行主体分别为电子设备，但不代表本申请实施例只能通过所描述的执行主体进行对应的方法流程。
步骤S201：通过摄像头采集目标物体在第一时刻的第一图像。
具体地，电子设备通过摄像头采集用户在第一时刻的运动姿态照片，第一时刻可以理解为需要识别用户姿态的时刻；第一图像可以理解为在第一时刻摄像头采集到的用户运动姿态照片；摄像头可以理解为独立的摄像头，也可以是在安装在其他设备(如手机、智能电视、平板电脑等)上的摄像头。例如，如图3A所示，图3A为本发明实施例提供的一种用户的运动姿态照片示意图，图中用户平躺在压力垫上，通过照片并结合图像识别算法(如神经网络算法)可以识别出用户右半边身体(如右手和右腿)的运动姿态，但无法准确识别出用户的左半边的运动姿态。
步骤S202：根据所述第一图像确定所述目标物体在所述第一时刻对应的第一关节点信息。
所述第一关节点信息包括所述目标物体的多个预设关节点在第一坐标平面上的坐标值。具体地，可以根据摄像头采集的用户运动姿态照片，识别出用户的多个预设关节点在图像坐标平面上的坐标值。预设关节点可以理解为头、左手肘、右手肘、左膝盖、右膝盖的等人体的关节点。可选的，采用图像识别算法对户运动姿态照片进行处理，得到第一关节点信息，如第一关节点信息可为
n为预设关节点的个数。需要说明的是，不同的图像识别算法n的值可能不同，n一般取10、14、15、30等，若有预设关节被遮挡的情况，则图像识别算法会给被遮挡的预设关节点猜测一个坐标值。例如，如图3A所示，假设n为10时，预设关节点包括头、颈部、左肘关节、右肘关节、左腕关节、右腕关节、左膝关节、右膝关节、左踝关节、右踝关节，根据图3A只能较为准确的得到头、颈部、右肘关节、右腕关节、右膝关节、右踝关节的坐标，被遮挡的左肘关节、左腕关节、左膝关节、左踝关节图像识别算法会给出一个猜测的坐标值，在现有技术中由于关于被遮挡部位的有效信息较少，所以图像识别算法猜测的坐标值与实际误差较大。
步骤S203：通过压力传感垫采集所述目标物体在所述第一时刻的压力传感数据。
具体地，当用户在压力传感垫上运动时，由于压力传感垫上存在多个压力传感器，所以当用户在压力传感垫上运动时可以通过压力传感垫采集到用户在第一时刻产生的压力传感数据。可以理解的是，在识别用户运动姿态时，采集的第一图像和压力传感数据都是同一时刻基于用户运动姿态产生的数据。
可选的，若通过摄像头获得的图像数据与通过压力传感垫获得的压力数据两者之间的采样频率不同，则可以对高频数据进行降采样，从而使得二者采样频率一致；也可以只当低频数据刷新时才获取高频数据，其他时刻的高频数据直接丢弃不参与计算，从而实现图像数据和压力数据的采集频率相同。
步骤S204：根据所述压力传感数据确定所述目标物体在所述第一时刻的第一测量压力信息。
所述第一测量压力信息包括所述目标物体的多个测量特征点在第二坐标平面上的坐标值以及对应的压力值。具体地，将采集到的压力传感数据进行处理后，可以得到多个测量特征点在压力坐标平面上坐标值以及压力值，多个测量特征点可以理解为用户在压力垫上产生有效压力值的点。例如，如图3B所示，图3B为本发明实施例提供的一种用户的运动姿态压力数据示意图，图中为基于压力传感数据得到的压力等高线图，从图中可看出有压力等高线较为密集的区域也有压力等高线较为稀疏的区域，多个测量特征点就可理解为图中压力等高线密集区域上的点，第一测量压力信息可为这些点在压力坐标平面的坐标值及其对应的压力值。
在一种可能的实现方式中，所述根据所述压力传感数据确定所述目标物体在所述第一时刻的第一测量压力信息；包括：将所述压力传感数据进行归一化处理，并将归一化处理后的所述压力传感数据中低于第一预设阈值的压力传感数据清零得到所述第一测量压力信息。
具体地，对获取到的压力传感数据进行归一化处理，使得压力传感数据被限定在一定的范围内，比如0到1之间，从而能消除奇异数据导致的不良影响的同时也能便于不同姿态的压力数据之间的比较。进一步，对归一化后的压力传感数据进行预处理，将数据中低于预设阈值的压力传感数据清零得到测量压力信息，进而根据测量压力信息识别用户姿态时可以提升对数据的处理效率。例如，把压力传感数据进行归一化处理，将压力传感数据统一至0到1之间，且预设阈值T设置为0.2，则将低于0.2的压力值清零，只是剩下了压力值较大的区域，此部分可以理解为肢体直接接触压力垫的区域，在此基础上可以得到该区域上个点的在压力坐标平面上的坐标值及其压力值，从而得到第一测量压力信息。
步骤S205：基于所述第一关节点信息和所述第一测量压力信息，识别所述目标物体在所述第一时刻的第一目标姿态。
根据上述获得的图像信息(如第一关节点信息)和压力信息(如第一测量压力信息)识别出目标物体在第一时刻的目标姿态。具体地，在本发明实施例中提供两种实施方式可以根据图像信息和压力信息得到第一目标姿态，一种是可以在图像信息的基础上结合压力信息得到目标物体的目标姿态，另一种是在压力信息的基础上结合图像信息得到目标物体的目标姿态。
实施方式一：在图像信息的基础上结合压力信息得到目标物体的目标姿态。
在一种可能的实现方式中，所述基于所述第一关节点信息和所述第一测量压力信息，识别所述目标物体在所述第一时刻的第一目标姿态，包括：根据所述第一关节点信息生成第一预测压力信息，所述第一预测压力信息包括与所述第一关节点信息匹配的多个预测特征点在所述第一坐标平面上的坐标值以及对应的压力值；计算所述第一预测压力信息与所述第一测量压力信息的第一相似度；若所述第一相似度大于第二预设阈值，则基于所述第一关节点信息生成所述第一目标姿态。
具体地，第一预测压力信息为根据第一关节点信息中的多个预设关节点(如头、颈部、左右肘关节、左右腕关节、左右膝关节、左右踝关节)得到的信息，可选的，将第一关节点信息中的多个预设关节点(如头、颈部、左右肘关节、左右腕关节、左右膝关节、左右踝关节)结合肢体质量生理模型，得到多个预测特征点在压力坐标平面的坐标值及其对应的压力值。可选的，肢体质量生理模型是根据人体测量学及物理学原理构建的。在本发明实施例中，如图3C所示，图3C为本发明实施例提供的一种图像信息与压力信息进行比较的流程示意图，图中根据第一图像得到第一关节点信息，根据压力传感数据得到第一测量压力信息，但由于同一时刻下的第一测量压力信息和第一关节点信息是异源信息不能直接进行融合，可选的，根据肢体质量生理模型(如人体测量学及物理学原理构建的模型)对第一关节点信息进行处理得到第一预测压力信息，实现根据关节点信息得到用户做该动作时可能产生的压力分布。第一预测压力信息就可以理解为根据这些关节点信息得到用户做该动作时可能产生的压力分布信息。进一步将第一测量压力信息与第一预测压力信息进行比较，若两者之间的相似度大于预设阈值，则可根据第一关节点信息得到用户的目标姿态。例如，在得到第一预测压力信息后，计算第一预测压力信息与第一测量压力信息之间的相似度，且将预设阈值设备为0.9，若第一预测压力信息与第一测量压力信息之间的相似度大于0.9，则可以认为根据图像信息得到的目标姿态贴近用户实际姿态，从而可基于第一关节点信息输出目标姿态。通过本发明实施例提供的方法，可以通过压力信息确定根据图像信息得到的目标姿态是否贴近用户实际姿态，若根据图像信息得到的目标姿态贴近用户实际姿态，则输出根据图像信息得到的用户的目标姿态，从而提升用户姿态识别精度。
在一种可能的实现方式中，所述计算所述第一预测压力信息与所述第一测量压力信息的第一相似度，包括：对所述第一测量压力信息中的所述多个测量特征点在所述第二坐标平面上的坐标值进行处理得到第二测量压力信息；所述第二测量压力信息包括所述多个测量特征点映射在所述第一坐标平面上对应的坐标值以及对应的压力值；基于所述第二测量压力信息和所述第一预测压力信息，计算所述第一预测压力信息与所述第一测量压力信息的所述第一相似度。
具体地，由于第一预测压力信息是根据第一关节点信息得到的，所以第一预测压力信息中的多个预测特征点的坐标值是在图像坐标平面(如第一坐标平面)下的，但第一测量压力信息时是在压力坐标平面(如第二坐标平面)，不同坐标平面的坐标难以直接进行比较压力值，因此，基于第一测量压力信息得到第二测量压力信息，第二测量压力信息可以理解为将坐标统一到图像坐标平面后的多个测量特征点的坐标值及其对应的压力值。在本发明实施例中，由于图像信息可能与压力信息在不同的坐标平面，导致根据图像信息得到的预测压力信息与测量压力信息在不同的坐标平面，因此可将预测压力信息与测量压力信息统一到相同的坐标平面再进行比较，避免了不同坐标平面上的数据难以直接进行比较的问题，也因此提升用户姿态识别精度。
例如，如图3D所示，图3D为本发明实施例提供的一种第一坐标平面与第二坐标平面的示意图，图中XOZ属于第一坐标平面，XOY属于第二坐标平面，第一预测压力信息中的多个预测特征点在第一坐标平面上；第一测量压力信息中的多个测量特征点在第二坐标平面上，因此，不同坐标平面上的点难以直接比较压力值，所以将第二坐标平面上的多个测量特征点转换到第一坐标平面。如图3E和图3F所示，图3E为本发明实施例提供的一种图像坐标系示意图，图3F为本发明实施例提供的一种压力坐标系示意图，如图3E所示，根据第一坐标平面建立图像坐标系，如在图像坐标系下的坐标为
如图3F所示，根据第二坐标平面建立压力坐标系，如在压力坐标系下的坐标为
将坐标从压力坐标系到图像坐标系，可选的，先求解从压力坐标系变换到图像坐标系的变换矩阵，然后将压力坐标系下的坐标乘变换矩阵可得到图像坐标系下的坐标，如Ap·M＝AG。例如，变换矩阵如下：
需要说明的是，可在压力坐标系上找四个点代入Ap·M＝AG求解变换矩阵，从而压力坐标系和图像坐标系下的点可用通过变换矩阵M进行相互转换。
在一种可能的实现方式中，所述计算所述第一预测压力信息与所述第一测量压力信息的第一相似度之后，所述方法还包括：若所述第一相似度小于或等于所述第二预设阈值，将所述第一测量压力信息划分成M个第一测量压力子信息，以及将所述第一预测压力信息划分成M个第一预测压力子信息，生成M个待比较压力信息组；其中，所述M个第一测量压力子信息对应所述目标物体的M个部位，所述M个第一预测压力子信息对应所述M个部位；每个所述待比较压力信息组包括所述目标物体的所述M个部位中相同部位对应的所述第一测量压力子信息和所述第一预测压力子信息；计算每个所述待比较压力信息组中所述第一测量压力子信息和所述第一预测压力子信息的第二相似度；确定所述第二相似度低于或等于第三预设阈值的L个待比较压力信息组；分别根据所述L个待比较压力信息组中的所述第一测量压力子信息确定L个第二预测压力子信息；基于所述L个第二预测压力子信息和M-L个所述待比较压力信息组中的M-L个第一预测压力子信息生成所述第一目标姿态；所述M-L个所述待比较压力信息组为所述M个待比较压力信息组中除所述L个待比较压力信息组外的待比较压力信息组。
具体地，如图3G所示，图3G为本发明实施例提供的一种M个待比较压力信息组示意图，图中第一测量压力子信息可以理解为根据目标物体的M个部位将第一测量压力信息划分成M个信息中的一个信息；第一预测压力子信息可以理解为根据目标物体的M个部位将第一预测压力信息划分成M个信息中的一个信息；每个待比较压力信息组中包括了相同部位对应的第一测量压力子信息和第一预测压力子信息。如图3H所示，图3H为本发明实施例提供的一种从M个待比较压力信息组中选出L个待比较压力信息组的示意图，图中，在生成M个待比较压力信息组之后，分别计算每个待比较压力信息组中第一测量压力子信息和第一预测压力子信息的第二相似度，然后可以确定第二相似度低于或等于预设阈值的L个待比较压力信息组。需要说明的是，若第二相似度大于预设阈值时，则可以根据相应的待比较压力信息组中的第一预测压力子信息确定目标姿态中的一些局部姿态。L个待比较压力信息组可理解为基于图像识别算法得到的这L个局部姿态为识别错误的局部姿态。如图3I所示，图3I为本发明实施例提供的一种第二预测压力信息示意图，图中在确定了L个待比较压力信息组之后，取出L个待比较压力信息组中的L个第一测量压力子信息，然后根据这L个第一测量压力子信息得到L个第二预测压力子信息。然后根据这L个第二预测压力子信息和除L个待比较压力信息组外的待比较压力信息组中的第一预测压力子信息得到在第一时刻的目标姿态。需要说明的是，L小于或等于M。根据这L个第一测量压力子信息得到L个第二预测压力子信息可以理解为根据用户实际姿态产生的压力信息纠正这L个图像识别错误的局部姿态。根据这L个第二预测压力子信息和除L个待比较压力信息组外的待比较压力信息组中的第一预测压力子信息得到在第一时刻的目标姿态可以理解为根据图像识别出来的M-L个正确局部姿态信息和L个纠错后的局部姿态信息得到目标姿态。
在本发明实施例中，在上述方法下当测量压力信息与预测压力信息之间的相似度小于或等于预设阈值时，并不代表根据图像信息得到的目标姿态完全不贴近用户实际姿态，而只能说明根据图像信息得到的目标姿态中有些局部姿态识别错误。因此按照目标物体的M个部位将测量压力信息和预测压力信息都划分成M份，进而找到识别错误的L个局部姿态所对应的信息。然后通过压力信息预测L个局部姿态，进而根据M-L个由图像信息得到的预测压力子信息(除去L个识别错误的局部姿态所对应的预测压力子信息)和L个由压力信息得到的预测压力子信息得到更加贴近用户实际姿态的目标姿态，从而提升了用户姿态识别精度。
在一种可能的实现方式中，所述分别根据所述L个待比较压力信息组中的所述第一测量压力子信息确定L个第二预测压力子信息，包括：确定局部错误姿态压力信息；所述局部错误姿态压力信息中包括所述L个所述待比较压力信息组中的每个待比较压力信息组的所述第一测量压力子信息；获取N个预设局部姿态信息，并基于所述N个预设局部姿态信息分别进行处理生成N个第二预测压力子信息；分别计算所述N个第二预测压力子信息与所述局部错误姿态压力信息的第三相似度，得到局部候选姿态信息集合；所述局部候选姿态信息集合中包括所述N个第二预测压力子信息中与所述局部错误姿态压力信息的所述第三相似度大于第四阈值的一个或多个所述第二预测压力子信息对应的预设局部姿态信息；将所述第一关节点信息划分成M个与所述目标物体的所述M个部位相匹配的子信息，并确定第一关节点子信息；所述第一关节点子信息为所述局部错误姿态压力信息所对应的关节点信息；分别计算每个所述局部候选姿态信息集合中的每个所述预设局部姿态信息与所述第一关节点子信息之间的第四相似度，得到目标局部姿态信息；所述目标局部姿态信息为所述第四相似度最高的所述预设局部姿态信息；根据所述目标局部姿态信息得到所述L个第二预测压力子信息。
具体地，N个预设局部姿态信息可以理解为从数据库中获取的预设局部姿态信息，由于N个预设局部姿态信息和第一测量压力子信息是异源信息不能直接进行融合，如图3J所示，图3J为本发明实施例提供的一种确定局部候选姿态集合的示意图，图中，根据L个待比较压力信息组中的每个待比较压力信息组的第一测量压力子信息，确定局部错误姿态压力信息后，获取N个预设局部姿态信息，可选的根据肢体质量生理模型(如人体测量学及物理学原理构建的模型)对N个预设局部姿态信息进行处理得到N个第二预测压力子信息，进一步，分别将N个第二预测压力子信息与局部错误姿态压力信息进行比较，从而找到局部候选姿态信息集合，局部候选姿态信息集合可以理解为针对识别错误的局部结合压力信息找到的一些可能的局部候选姿态的信息集合。如图3K所示，图3K为本发明实施例提供的一种确定L个第二预测压力子信息的示意图，图中，局部候选姿态集合包括了一个或多个候选姿态信息(如N个预设局部姿态信息中的一个或多个预设局部姿态信息)。进一步，将第一关节点信息(根据图像信息得到的信息)划分成M个与目标物体的M个部位相匹配的子信息，针对识别错误的部位得到第一关节点子信息，将局部候选姿态集合中的每个局部候选姿态信息与第一关节点子信息进行比较，找到相似度最高的局部候选姿态信息，进而可以确定局部候选姿态信息所对应的L个第二预测压力信息。第一关节点子信息可以理解为识别错误的部位的关节点信息；需要说明的是，即使识别错误的局部姿态的图片信息与实际姿态信息有一定差距，但在预测局部姿态时依旧具有参考价值。可以理解的是，L个第二预测压力信息是从N个第二预测压力信息中根据压力信息和图像信息挑选出来的信息。
在本发明实施例中，在上述方法下当找到识别错误的L个局部姿态所对应的信息后，根据L个局部姿态中的测量压力子信息得到局部错误姿态压力信息，接下来可获取N个预设局部姿态信息，进一步将这些预设局部姿态信息转换成预测压力子信息并与局部错误姿态压力信息进行比较，确定相应的局部候选姿态信息集合，然后再结合局部候选姿态信息集合中的信息和由图像信息得到的关节点信息，确定局部候选姿态信息集合中最接近用户真实的局部姿态，从而提升了用户姿态识别精度。
实施方式二：在压力信息的基础上结合图像信息得到目标物体的目标姿态。
在一种可能的实现方式中，所述基于所述第一关节点坐标集合和所述第一压力值集合，识别所述目标物体在所述第一时刻的第一目标姿态；所述方法包括：获取S个预设目标姿态信息，并基于所述S个预设目标姿态信息分别进行处理生成S个第二预测压力信息；分别计算所述S个第二预测压力信息与所述第一测量压力信息的第五相似度，并将所述第五相似度大于第五预设阈值的所述第二预测压力信息添加到目标候选姿态集合中；分别计算每个所述目标候选姿态集合中的所述预测目标姿态信息与所述第一关节点信息的第六相似度，得到所述第六相似度最高的所述预测目标姿态信息；基于所述第六相似度最高的所述预测目标姿态信息生成所述第一目标姿态。
具体地，S个预设目标姿态信息可以理解为从数据库中获取的预设目标姿态信息，由于S个预设目标姿态信息和第一测量压力信息是异源信息不能直接进行融合，如图3L所示，图3L为本发明实施例提供的一种确定目标候选姿态集合的示意图，图中，可选的根据肢体质量生理模型(如人体测量学及物理学原理构建的模型)对S个预设目标姿态信息进行处理得到S个第二预测压力信息，进一步，分别将N个第二预测压力信息与第一测量压力信息进行比较，找到目标候选姿态集合，目标候选姿态集合可以理解为针对目标物体从S个预设目标姿态信息中选取的与用户实际姿态较为接近的候选姿态信息集合。进一步，将目标候选姿态集合中的候选姿态信息与第一关节点信息进行比较，找到与第一关节点信息相似度最高的候选姿态信息，然后可根据该候选姿态信息得到目标姿态。在本发明实施例中，在根据图像信息得到的目标姿态与用户实际姿态差距较大的情况下，可基于压力信息并结合图像信息预测用户姿态。具体地，可先获取S个预设目标姿态信息，然后将这些预设目标姿态信息转换成预测目标姿态信息并与测量压力信息进行比较，确定相应的目标候选姿态集合，然后将目标候选姿态集合中的预测目标姿态信息与由图像信息得到的预测压力信息进行比较，确定目标候选姿态集合中相似度最高的预测目标姿态信息，然后根据该预测目标姿态信息识别出目标姿态，从而提升了用户姿态识别精度。
在一种可能的实现方式中，当所述目标候选姿态集合中包括j个所述预测目标姿态信息，所述计算每个所述目标候选姿态集合中的所述预测目标姿态信息分别与所述第一关节点信息的第六相似度之前，所述方法还包括：将所述目标候选姿态集合中的所述j个所述预测目标姿态信息与所述第一时刻的上一时刻输出的第二目标姿态所对应的第二关节点信息进行比较，将相似度小于或等于第七预设阈值的所述预测目标姿态信息从所述目标候选姿态集合中剔除。
具体地，可以理解的是，第二目标姿态为第一时刻的上一时刻输出的目标姿态。在本发明实施例中，在上述方法下当目标候选姿态集合中存在较多的预测目标姿态信息时，多个预测目标姿态信息需要分别与测量压力信息进行比较，计算量较大。因此，结合目标物体上一时刻输出的目标姿态，对目标候选姿态集合中的预测目标姿态信息进行筛选，将相似度过低的预测目标姿态信息剔除，减少需要进行比较的预测目标姿态信息数量，从而降低计算开销，提高效率。例如，当肢体交叠较多，压力分布密集时，目标候选姿态集合{POSEt}中的预测目标姿态信息较多，计算开销过大，此时结合上一时刻的目标姿态POSEt-1进行当前时刻的推算，可选的，对比POSEt-1与{POSEt}中的每个POSEt，计算各关节点的距离差{Di}，根据如下公式：
|POSEP-POSEt-1|>α·{Di}
剔除目标候选姿态集合中的预测目标姿态信息与上一时刻的目标姿态差距较大的预测目标姿态信息。
在一种可能的实现方式中，所述方法还包括：计算所述第一目标姿态与相邻时刻目标姿态之间的第七相似度；若所述第七相似度小于或等于第八预设阈值，则根据所述相邻时刻目标姿态修正所述第一目标姿态。
具体地，相邻时刻目标姿态可以理解为第一时刻的上一时刻的目标姿态和下一时刻的目标姿态，也可以理解为与第一时刻相邻时间段内的多个目标姿态。在本发明实施例中，若在异常情况下出现姿态识别错误，则可以根据与错误姿态相邻时刻输出的目标姿态对错误姿态进行校正，从而提升了用户姿态识别精度。
在本发明实施例中，可以结合图像信息和压力信息来识别用户姿态，对于有肢体交叠或肢体遮挡部位，可以在图像信息的基础上结合压力信息或在压力信息的基础上结合图像信息进行预测，可以避免仅通过图像信息预测肢体交叠或肢体遮挡部位时关于交叠或遮挡部位的有效信息较少，导致预测结果与实际相差较大的问题。具体地，通过摄像头采集用户的图像和通过压力垫获取的压力传感数据，并根据图像和压力传感数据生成相应的图像信息和压力信息，然后再根据图像信息和压力信息识别用户的目标姿态，由于压力信息是根据用户实际动作的压力传感数据而得到的信息，因此在预测肢体交叠或肢体遮挡部位时，能够更加准确的预测出用户姿态，从而提升用户姿态识别精度。
为了更详细的描述本申请实施例中的姿态识别方法，将基于上述一种姿态识别的系统架构，下面结合图4A进行示例性描述，图4A为本发明实施例提供的一种姿态识别方法示例性流程图。
1、通过图像识别压力垫。通过图像检测压力垫的位置(图像空间)，此步骤可以使用现有技术来检测压力垫的位置，如目标检测算法等。
2、压力垫的位置标定。对压力垫的位置进行标定，统一压力坐标系和图像坐标系。
可选的，在显示设备上标记出预设压力垫摆放区域，引导用户将压力垫摆放在预设位置，便于将压力坐标系上的点转换到图像坐标系。
3、时间同步。对图像数据和压力垫数据做时间同步，由于图像数据和压力垫数据的采样频率不同，在一种实现方案中，可以对高频数据进行降采样，使二者采样频率一致；另一种方案是只有当低频数据刷新时才获取高频数据，其它时刻的高频数据直接丢弃不参与计算。
4、图像识别骨骼节点。基于图像信息，使用图像识别算法识别用户所有的关节点坐标
n为关机点的个数，根据不同的图像识别算法n的取值不同，如10、14、15、30等。
5、压力检测。通过压力传感装置获取压力数据F，在一种实现方式中，压力数据可为二维矩阵信息[F]，标记各个位置的压力值Fij。
6、预处理。可选的，对压力数据进行预处理，将压力数据归一化后，将低于阈值T(如，T可以取0.2)的压力值清0。则压力数据中只剩下压力较大的局域，此部分是可以理解为肢体直接接触压力垫的区域。
7、基于肢体质量生理模型、压力分布模型和压力数据进行肢体推测。对于给定任意一个姿态POSE(由一组关节点坐标
定义)，可以根据人体测量学的知识计算每段肢体的质量分布，并根据各肢体的姿态计算在压力垫上的压力分布形态F'。对于当前压力分布F，找到所有F'≈F(相似度高于阈值)的姿态POSE的集合，作为候选姿态集{POSE}。
8、结合肢体推测信息和图像识别骨骼节点信息找到最优匹配。将候选姿态集{POSE}通过变换矩阵M变换到图像坐标系下，得到{POSEG}，对比{POSEG}与基于图像信息得到的
选取相似度S(可以通过余弦距离等方法计算)最高的POSEG作为目标姿态。
在本发明实施例中，可以结合图像信息和压力信息来识别用户姿态，对于有肢体交叠或肢体遮挡部位，可以在图像信息的基础上结合压力信息或在压力信息的基础上结合图像信息进行预测，可以避免仅通过图像信息预测肢体交叠或肢体遮挡部位时关于交叠或遮挡部位的有效信息较少，导致预测结果与实际相差较大的问题。
为了更详细的描述本申请实施例中的姿态识别方法，将基于上述一种姿态识别的系统架构，下面结合图4B进行示例性描述，图4B为本发明实施例提供的另一种姿态识别方法示例性流程图。
1、通过图像识别压力垫。通过图像检测压力垫的位置(图像空间)，此步骤可以使用现有技术来检测压力垫的位置，如目标检测算法等。
2、压力垫位的置标定。对压力垫的位置进行标定，统一压力坐标系和图像坐标系。
可选的，在显示设备上标记出预设压力垫摆放区域，引导用户将压力垫摆放在预设位置，便于将压力坐标系上的点转换到图像坐标系。
3、时间同步。对图像数据和压力垫数据做时间同步，由于图像数据和压力垫数据的采样频率不同，在一种实现方案中，可以对高频数据进行降采样，使二者采样频率一致；另一种方案是只有当低频数据刷新时才获取高频数据，其它时刻的高频数据直接丢弃不参与计算。
4、图像识别骨骼节点。基于图像信息，使用图像识别算法识别用户所有的关节点坐标
n为关机点的个数，根据不同的图像识别算法n的取值不同，如10、14、15、30等。
5、基于肢体质量生理模型、压力分布模型和图像识别骨骼节点信息进行压力推测。结合人体测量学信息及物理学原理计算其压力分布FG，并进行归一化。同时记录每个压力值所对应的接触肢体部位；
6、压力检测。通过压力传感装置获取压力数据F，在一种实现中，压力数据可为二维矩阵信息[F]，标记各个位置的压力值Fij。
7、预处理。可选的，对压力数据进行预处理，将压力数据归一化后，将低于阈值T(如，T可以取0.2)的压力值清0。则压力数据中只剩下压力较大的局域，此部分是可以理解为肢体直接接触压力垫的区域。
8、对比FG与F，若相似度足够高(如0.9)，则将
作为正确姿态输出。
9、姿态纠错。若FG与F相似度低于阈值(如0.9)，则将FG与F按照空间位置分割成若干块，对比每块的相似度，将相似度较低的块挑选出来，其对应的肢体部位为识别错误的肢体。对于给定任意一个局部姿态pose(由一组局部关节点坐标
定义)，可以根据人体测量学的知识计算每段肢体的质量分布，并根据各肢体的姿态计算在压力垫上的压力分布形态F1'。对于当前压力分布F，找到所有F1'≈F(相似度高于阈值)的局部姿态pose的集合，作为局部候选姿态集{pose}。结合肢体推测信息和图像识别骨骼节点信息找到最优匹配。将局部候选姿态集{pose}通过变换矩阵M变换到图像坐标系下，得到{poseG}，对比{poseG}与基于图像信息得到的
选取相似度(可以通过余弦距离等方法计算)最高的poseG作为目标局部姿态。
10、将纠错后的节点位置与
结合，替换其中识别错误的节点，作为最终结果。
在本发明实施例中，由于同一时刻下的测量压力信息和图像信息是异源信息不能直接进行融合，可选的根据人体测量学及物理学原理对图像信息进行处理得到预测压力信息，进一步将测量压力信息与预测压力信息进行比较，若两者之间的相似度大于预设阈值，则可根据图像信息得到用户的目标姿态。当测量压力信息与预测压力信息之间的相似度小于或等于预设阈值时，并不代表根据图像信息得到的目标姿态完全不贴近用户实际姿态，而只能说明根据图像信息得到的目标姿态中有些局部姿态识别错误。因此按照目标物体的M个部位将测量压力信息和预测压力信息都划分成M份，进而找到识别错误的L个局部姿态所对应的信息。然后通过压力信息预测L个局部姿态，进而根据M-L个由图像信息得到的预测压力子信息(除去L个识别错误的局部姿态所对应的预测压力子信息)和L个由压力信息得到的预测压力子信息得到更加贴近用户实际姿态的目标姿态，从而提升了用户姿态识别精度。
为了更详细的描述本申请实施例中的姿态识别方法，将基于上述一种姿态识别的系统架构，下面结合图4C进行示例性描述，图4C为本发明实施例提供的一种可进行纠错的姿态识别方法示例性流程图。
1、通过图像识别压力垫。通过图像检测压力垫的位置(图像空间)，此步骤可以使用现有技术来检测压力垫的位置，如目标检测算法等。
2、压力垫位置标定。对压力垫的位置进行标定，统一压力坐标系和图像坐标系。
可选的，在显示设备上标记出预设压力垫摆放区域，引导用户将压力垫摆放在预设位置，便于将压力坐标系上的点转换到图像坐标系。
3、时间同步。对图像数据和压力垫数据做时间同步，由于图像数据和压力垫数据的采样频率不同，在一种实现方案中，可以对高频数据进行降采样，使二者采样频率一致；另一种方案是只有当低频数据刷新时才获取高频数据，其它时刻的高频数据直接丢弃不参与计算。
4、图像识别骨骼节点。基于图像信息，使用图像识别算法识别用户所有的关节点坐标
n为关机点的个数，根据不同的图像识别算法n的取值不同，如10、14、15、30等。
5、压力检测。通过压力传感装置获取压力数据F，在一种实现中，压力数据可为二维矩阵信息[F]，标记各个位置的压力值Fij。
6、预处理。可选的，对压力数据进行预处理，将压力数据归一化后，将低于阈值T(如，T可以取0.2)的压力值清0。则压力数据中只剩下压力较大的局域，此部分是可以理解为肢体直接接触压力垫的区域。
7、基于肢体质量生理模型、压力分布模型和压力数据进行肢体推测。对于给定任意一个姿态POSE(由一组关节点坐标
定义)，可以根据人体测量学的知识计算每段肢体的质量分布，并根据各肢体的姿态计算在压力垫上的压力分布形态F'。对于当前压力分布F，找到所有F'≈F(相似度高于阈值)的姿态POSE的集合，作为候选姿态集{POSE}。
8、当肢体交叠较多，压力分布密集时，候选姿态集{POSE}较大，计算开销过大，此时可结合上一时刻的输出姿态POSEt-1，进行当前时刻的推算。
可选的，对比POSEt-1与
计算个关节点的距离差{Di}，在选取候选集{POSE}时，只选取满足:
|POSEP-POSEt-1|<α·{Di}
将POSEP放入候选集中与
对比。
9、将候选姿态集{POSE}通过变换矩阵M变换到图像坐标系下，得到{POSEG}，对比{POSEG}与
选取相似度S(可以通过余弦距离等方法计算)最高的POSEG作为当前的姿态。
在本发明实施例中，可以结合图像信息和压力信息来识别用户姿态，对于有肢体交叠或肢体遮挡部位，可以在图像信息的基础上结合压力信息或在压力信息的基础上结合图像信息进行预测，但基于压力信息得到的目标候选姿态集合中存在较多的预测目标姿态信息时，多个预测目标姿态信息需要分别与测量压力信息进行比较，计算量较大。因此，结合目标物体上一时刻输出的目标姿态，对目标候选姿态集合中的预测目标姿态信息进行筛选，将相似度过低的预测目标姿态信息剔除，减少需要进行比较的预测目标姿态信息数量，从而降低计算开销，提高效率。
请参见图5，图5是本发明实施例提供的本申请提供了一种姿态识别的设备示意图，该姿态识别设备50，可以包括：第一接收单元501、第一处理单元502、第二接收单元503、第二处理单元504、第三处理单元505、第四处理单元506、第五处理单元507、第六处理单元508，其中各个模块的详细描述如下。
第一接收单元501，用于通过摄像头采集目标物体在第一时刻的第一图像；
第一处理单元502，用于根据所述第一图像确定所述目标物体在所述第一时刻对应的第一关节点信息，所述第一关节点信息包括所述目标物体的多个预设关节点在第一坐标平面上的坐标值；
第二接收单元503，用于通过压力传感垫采集所述目标物体在所述第一时刻的压力传感数据；
第二处理单元504，用于根据所述压力传感数据确定所述目标物体在所述第一时刻的第一测量压力信息，所述第一测量压力信息包括所述目标物体的多个测量特征点在第二坐标平面上的坐标值以及对应的压力值；
第三处理单元505，用于基于所述第一关节点信息和所述第一测量压力信息，识别所述目标物体在所述第一时刻的第一目标姿态。
在一种可能的实现方式中，所述第二处理单元504具体用于：将所述压力传感数据进行归一化处理，并将归一化处理后的所述压力传感数据中低于第一预设阈值的压力传感数据清零得到所述第一测量压力信息。
在一种可能的实现方式中，所述第三处理单元505具体用于：根据所述第一关节点信息生成第一预测压力信息，所述第一预测压力信息包括与所述第一关节点信息匹配的多个预测特征点在所述第一坐标平面上的坐标值以及对应的压力值；计算所述第一预测压力信息与所述第一测量压力信息的第一相似度；若所述第一相似度大于第二预设阈值，则基于所述第一关节点信息生成所述第一目标姿态。
在一种可能的实现方式中，所述第三处理单元505具体用于：对所述第一测量压力信息中的所述多个测量特征点在所述第二坐标平面上的坐标值进行处理得到第二测量压力信息；所述第二测量压力信息包括所述多个测量特征点映射在所述第一坐标平面上对应的坐标值以及对应的压力值；基于所述第二测量压力信息和所述第一预测压力信息，计算所述第一预测压力信息与所述第一测量压力信息的所述第一相似度。
在一种可能的实现方式中，所述设备还包括：第四处理单元506，用于若所述第一相似度小于或等于所述第二预设阈值，将所述第一测量压力信息划分成M个第一测量压力子信息，以及将所述第一预测压力信息划分成M个第一预测压力子信息，生成M个待比较压力信息组；其中，所述M个第一测量压力子信息对应所述目标物体的M个部位，所述M个第一预测压力子信息对应所述M个部位；每个所述待比较压力信息组包括所述目标物体的所述M个部位中相同部位对应的所述第一测量压力子信息和所述第一预测压力子信息；第四处理单元，用于计算每个所述待比较压力信息组中所述第一测量压力子信息和所述第一预测压力子信息的第二相似度；第四处理单元，还用于确定所述第二相似度低于或等于第三预设阈值的L个待比较压力信息组；第四处理单元，还用于分别根据所述L个待比较压力信息组中的所述第一测量压力子信息确定L个第二预测压力子信息；第四处理单元，还用于基于所述L个第二预测压力子信息和M-L个所述待比较压力信息组中的M-L个第一预测压力子信息生成所述第一目标姿态；所述M-L个所述待比较压力信息组为所述M个待比较压力信息组中除所述L个待比较压力信息组外的待比较压力信息组。
在一种可能的实现方式中，所述第四处理单元506具体用于：确定局部错误姿态压力信息；所述局部错误姿态压力信息中包括所述L个所述待比较压力信息组中的每个待比较压力信息组的所述第一测量压力子信息；获取N个预设局部姿态信息，并基于所述N个预设局部姿态信息分别进行处理生成N个第二预测压力子信息；分别计算所述N个第二预测压力子信息与所述局部错误姿态压力信息的第三相似度，得到局部候选姿态信息集合；所述局部候选姿态信息集合中包括所述N个第二预测压力子信息中与所述局部错误姿态压力信息的所述第三相似度大于第四阈值的一个或多个所述第二预测压力子信息对应的预设局部姿态信息；将所述第一关节点信息划分成M个与所述目标物体的所述M个部位相匹配的子信息，并确定第一关节点子信息；所述第一关节点子信息为所述局部错误姿态压力信息所对应的关节点信息；分别计算每个所述局部候选姿态信息集合中的每个所述预设局部姿态信息与所述第一关节点子信息之间的第四相似度，得到目标局部姿态信息；所述目标局部姿态信息为所述第四相似度最高的所述预设局部姿态信息；根据所述目标局部姿态信息得到所述L个第二预测压力子信息。
在一种可能的实现方式中，所述第四处理单元506具体用于：获取S个预设目标姿态信息，并基于所述S个预设目标姿态信息分别进行处理生成S个第二预测压力信息；分别计算所述S个第二预测压力信息与所述第一测量压力信息的第五相似度，并将所述第五相似度大于第五预设阈值的所述第二预测压力信息添加到目标候选姿态集合中；分别计算每个所述目标候选姿态集合中的所述预测目标姿态信息与所述第一关节点信息的第六相似度，得到所述第六相似度最高的所述预测目标姿态信息；基于所述第六相似度最高的所述预测目标姿态信息生成所述第一目标姿态。
在一种可能的实现方式中，当所述目标候选姿态集合中包括j个所述预测目标姿态信息，所述设备还包括：第五处理单元507，用于将所述目标候选姿态集合中的所述j个所述预测目标姿态信息与所述第一时刻的上一时刻输出的第二目标姿态所对应的第二关节点信息进行比较，将相似度小于或等于第七预设阈值的所述预测目标姿态信息从所述目标候选姿态集合中剔除。
在一种可能的实现方式中，所述设备还包括：第六处理单元508，用于计算所述第一目标姿态与相邻时刻目标姿态之间的第七相似度；若所述第七相似度小于或等于第八预设阈值，则根据所述相邻时刻目标姿态修正所述第一目标姿态。
需要说明的是，本发明实施例中所描述的姿态识别设备50中各功能模块能参见上述图2所述的方法实施例中步骤S201-步骤S205的相关描述，此处不再赘述。
本发明实施例提供一种芯片系统，其特征在于，所述芯片系统包括至少一个处理器，存储器和接口电路，所述存储器、所述接口电路和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；所述指令被所述处理器执行时，上述一种姿态识别方法的中任意一项方法得以实现。
本发明实施例提供一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述一种姿态识别方法中任意一项所述的方法。
本发明实施例提供一种计算机程序，其特征在于，所述计算机程序包括指令，当所述计算机程序被计算机执行时，使得所述计算机执行上述一种姿态识别方法中任意一项所述的方法。
本申请提供一种终端设备，该终端设备具有实现上述提供的任意一种姿态识别方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
本申请提供一种智能设备，该智能设备具有实现上述提供的任意一种姿态识别方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
本申请提供一种终端设备，该终端设备中包括处理器，处理器被配置为支持该终端设备执行上述提供的任意一种姿态识别方法中相应的功能。该终端设备还可以包括存储器，存储器用于与处理器耦合，其保存该终端设备必要的程序指令和数据。该终端设备还可以包括通信接口，用于该终端设备与其他设备或通信网络通信。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中，而前述的存储介质可包括：U盘、移动硬盘、磁碟、光盘、只读存储器(Read-Only Memory，缩写：ROM)或者随机存取存储器(Random Access Memory，缩写：RAM)等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (21)
1.一种姿态识别的方法，其特征在于，所述方法包括：
通过摄像头采集目标物体在第一时刻的第一图像；
根据所述第一图像确定所述目标物体在所述第一时刻对应的第一关节点信息，所述第一关节点信息包括所述目标物体的多个预设关节点在第一坐标平面上的坐标值；
通过压力传感垫采集所述目标物体在所述第一时刻的压力传感数据；
根据所述压力传感数据确定所述目标物体在所述第一时刻的第一测量压力信息，所述第一测量压力信息包括所述目标物体的多个测量特征点在第二坐标平面上的坐标值以及对应的压力值；
基于所述第一关节点信息和所述第一测量压力信息，识别所述目标物体在所述第一时刻的第一目标姿态。
2.如权利要求1所述的方法，其特征在于，所述根据所述压力传感数据确定所述目标物体在所述第一时刻的第一测量压力信息；包括：
将所述压力传感数据进行归一化处理，并将归一化处理后的所述压力传感数据中低于第一预设阈值的压力传感数据清零得到所述第一测量压力信息。
3.如权利要求1或2所述的方法，其特征在于，所述基于所述第一关节点信息和所述第一测量压力信息，识别所述目标物体在所述第一时刻的第一目标姿态，包括：
根据所述第一关节点信息生成第一预测压力信息，所述第一预测压力信息包括与所述第一关节点信息匹配的多个预测特征点在所述第一坐标平面上的坐标值以及对应的压力值；
计算所述第一预测压力信息与所述第一测量压力信息的第一相似度；
若所述第一相似度大于第二预设阈值，则基于所述第一关节点信息生成所述第一目标姿态。
4.如权利要求3所述的方法，其特征在于，所述计算所述第一预测压力信息与所述第一测量压力信息的第一相似度，包括：
对所述第一测量压力信息中的所述多个测量特征点在所述第二坐标平面上的坐标值进行处理得到第二测量压力信息；所述第二测量压力信息包括所述多个测量特征点映射在所述第一坐标平面上对应的坐标值以及对应的压力值；
基于所述第二测量压力信息和所述第一预测压力信息，计算所述第一预测压力信息与所述第一测量压力信息的所述第一相似度。
5.如权利要求3所述的方法，其特征在于，所述计算所述第一预测压力信息与所述第一测量压力信息的第一相似度之后，所述方法还包括：
若所述第一相似度小于或等于所述第二预设阈值，将所述第一测量压力信息划分成M个第一测量压力子信息，以及将所述第一预测压力信息划分成M个第一预测压力子信息，生成M个待比较压力信息组；其中，所述M个第一测量压力子信息对应所述目标物体的M个部位，所述M个第一预测压力子信息对应所述M个部位；每个所述待比较压力信息组包括所述目标物体的所述M个部位中相同部位对应的所述第一测量压力子信息和所述第一预测压力子信息；
计算每个所述待比较压力信息组中所述第一测量压力子信息和所述第一预测压力子信息的第二相似度；
确定所述第二相似度低于或等于第三预设阈值的L个待比较压力信息组；
分别根据所述L个待比较压力信息组中的所述第一测量压力子信息确定L个第二预测压力子信息；
基于所述L个第二预测压力子信息和M-L个所述待比较压力信息组中的M-L个第一预测压力子信息生成所述第一目标姿态；所述M-L个所述待比较压力信息组为所述M个待比较压力信息组中除所述L个待比较压力信息组外的待比较压力信息组。
6.如权利要求5所述的方法，其特征在于，所述分别根据所述L个待比较压力信息组中的所述第一测量压力子信息确定L个第二预测压力子信息，包括：
确定局部错误姿态压力信息；所述局部错误姿态压力信息中包括所述L个所述待比较压力信息组中的每个待比较压力信息组的所述第一测量压力子信息；
获取N个预设局部姿态信息，并基于所述N个预设局部姿态信息分别进行处理生成N个第二预测压力子信息；
分别计算所述N个第二预测压力子信息与所述局部错误姿态压力信息的第三相似度，得到局部候选姿态信息集合；所述局部候选姿态信息集合中包括所述N个第二预测压力子信息中与所述局部错误姿态压力信息的所述第三相似度大于第四阈值的一个或多个所述第二预测压力子信息对应的预设局部姿态信息；
将所述第一关节点信息划分成M个与所述目标物体的所述M个部位相匹配的子信息，并确定第一关节点子信息；所述第一关节点子信息为所述局部错误姿态压力信息所对应的关节点信息；
分别计算每个所述局部候选姿态信息集合中的每个所述预设局部姿态信息与所述第一关节点子信息之间的第四相似度，得到目标局部姿态信息；所述目标局部姿态信息为所述第四相似度最高的所述预设局部姿态信息；
根据所述目标局部姿态信息得到所述L个第二预测压力子信息。
7.如权利要求1或2所述的方法，其特征在于，所述基于所述第一关节点坐标集合和所述第一压力值集合，识别所述目标物体在所述第一时刻的第一目标姿态；所述方法包括：
获取S个预设目标姿态信息，并基于所述S个预设目标姿态信息分别进行处理生成S个第二预测压力信息；
分别计算所述S个第二预测压力信息与所述第一测量压力信息的第五相似度，并将所述第五相似度大于第五预设阈值的所述第二预测压力信息添加到目标候选姿态集合中；
分别计算每个所述目标候选姿态集合中的所述预测目标姿态信息与所述第一关节点信息的第六相似度，得到所述第六相似度最高的所述预测目标姿态信息；
基于所述第六相似度最高的所述预测目标姿态信息生成所述第一目标姿态。
8.如权利要求7所述的方法，其特征在于，当所述目标候选姿态集合中包括j个所述预测目标姿态信息，所述计算每个所述目标候选姿态集合中的所述预测目标姿态信息分别与所述第一关节点信息的第六相似度之前，所述方法还包括：
将所述目标候选姿态集合中的所述j个所述预测目标姿态信息与所述第一时刻的上一时刻输出的第二目标姿态所对应的第二关节点信息进行比较，将相似度小于或等于第七预设阈值的所述预测目标姿态信息从所述目标候选姿态集合中剔除。
9.如权利要求1-8任意一项所述的方法，其特征在于，所述方法还包括：
计算所述第一目标姿态与相邻时刻目标姿态之间的第七相似度；
若所述第七相似度小于或等于第八预设阈值，则根据所述相邻时刻目标姿态修正所述第一目标姿态。
10.一种姿态识别的设备，其特征在于，所述设备包括：
第一接收单元，用于通过摄像头采集目标物体在第一时刻的第一图像；
第一处理单元，用于根据所述第一图像确定所述目标物体在所述第一时刻对应的第一关节点信息，所述第一关节点信息包括所述目标物体的多个预设关节点在第一坐标平面上的坐标值；
第二接收单元，用于通过压力传感垫采集所述目标物体在所述第一时刻的压力传感数据；
第二处理单元，用于根据所述压力传感数据确定所述目标物体在所述第一时刻的第一测量压力信息，所述第一测量压力信息包括所述目标物体的多个测量特征点在第二坐标平面上的坐标值以及对应的压力值；
第三处理单元，用于基于所述第一关节点信息和所述第一测量压力信息，识别所述目标物体在所述第一时刻的第一目标姿态。
11.如权利要求10所述的设备，其特征在于，所述第二处理单元具体用于：
将所述压力传感数据进行归一化处理，并将归一化处理后的所述压力传感数据中低于第一预设阈值的压力传感数据清零得到所述第一测量压力信息。
12.如权利要求10或11所述的设备，其特征在于，所述第三处理单元具体用于：
根据所述第一关节点信息生成第一预测压力信息，所述第一预测压力信息包括与所述第一关节点信息匹配的多个预测特征点在所述第一坐标平面上的坐标值以及对应的压力值；
计算所述第一预测压力信息与所述第一测量压力信息的第一相似度；
若所述第一相似度大于第二预设阈值，则基于所述第一关节点信息生成所述第一目标姿态。
13.如权利要求12所述的设备，其特征在于，所述第三处理单元具体用于：
对所述第一测量压力信息中的所述多个测量特征点在所述第二坐标平面上的坐标值进行处理得到第二测量压力信息；所述第二测量压力信息包括所述多个测量特征点映射在所述第一坐标平面上对应的坐标值以及对应的压力值；
基于所述第二测量压力信息和所述第一预测压力信息，计算所述第一预测压力信息与所述第一测量压力信息的所述第一相似度。
14.如权利要求12所述的设备，其特征在于，所述设备还包括：
第四处理单元，用于若所述第一相似度小于或等于所述第二预设阈值，将所述第一测量压力信息划分成M个第一测量压力子信息，以及将所述第一预测压力信息划分成M个第一预测压力子信息，生成M个待比较压力信息组；其中，所述M个第一测量压力子信息对应所述目标物体的M个部位，所述M个第一预测压力子信息对应所述M个部位；每个所述待比较压力信息组包括所述目标物体的所述M个部位中相同部位对应的所述第一测量压力子信息和所述第一预测压力子信息；
第四处理单元，用于计算每个所述待比较压力信息组中所述第一测量压力子信息和所述第一预测压力子信息的第二相似度；
第四处理单元，还用于确定所述第二相似度低于或等于第三预设阈值的L个待比较压力信息组；
第四处理单元，还用于分别根据所述L个待比较压力信息组中的所述第一测量压力子信息确定L个第二预测压力子信息；
第四处理单元，还用于基于所述L个第二预测压力子信息和M-L个所述待比较压力信息组中的M-L个第一预测压力子信息生成所述第一目标姿态；所述M-L个所述待比较压力信息组为所述M个待比较压力信息组中除所述L个待比较压力信息组外的待比较压力信息组。
15.如权利要求14所述的设备，其特征在于，所述第四处理单元具体用于：
确定局部错误姿态压力信息；所述局部错误姿态压力信息中包括所述L个所述待比较压力信息组中的每个待比较压力信息组的所述第一测量压力子信息；
获取N个预设局部姿态信息，并基于所述N个预设局部姿态信息分别进行处理生成N个第二预测压力子信息；
分别计算所述N个第二预测压力子信息与所述局部错误姿态压力信息的第三相似度，得到局部候选姿态信息集合；所述局部候选姿态信息集合中包括所述N个第二预测压力子信息中与所述局部错误姿态压力信息的所述第三相似度大于第四阈值的一个或多个所述第二预测压力子信息对应的预设局部姿态信息；
将所述第一关节点信息划分成M个与所述目标物体的所述M个部位相匹配的子信息，并确定第一关节点子信息；所述第一关节点子信息为所述局部错误姿态压力信息所对应的关节点信息；
分别计算每个所述局部候选姿态信息集合中的每个所述预设局部姿态信息与所述第一关节点子信息之间的第四相似度，得到目标局部姿态信息；所述目标局部姿态信息为所述第四相似度最高的所述预设局部姿态信息；
根据所述目标局部姿态信息得到所述L个第二预测压力子信息。
16.如权利要求10或12所述的设备，其特征在于，所述第四处理单元具体用于：
获取S个预设目标姿态信息，并基于所述S个预设目标姿态信息分别进行处理生成S个第二预测压力信息；
分别计算所述S个第二预测压力信息与所述第一测量压力信息的第五相似度，并将所述第五相似度大于第五预设阈值的所述第二预测压力信息添加到目标候选姿态集合中；
分别计算每个所述目标候选姿态集合中的所述预测目标姿态信息与所述第一关节点信息的第六相似度，得到所述第六相似度最高的所述预测目标姿态信息；
基于所述第六相似度最高的所述预测目标姿态信息生成所述第一目标姿态。
17.如权利要求16所述的设备，其特征在于，当所述目标候选姿态集合中包括j个所述预测目标姿态信息，所述设备还包括：
第五处理单元，用于将所述目标候选姿态集合中的所述j个所述预测目标姿态信息与所述第一时刻的上一时刻输出的第二目标姿态所对应的第二关节点信息进行比较，将相似度小于或等于第七预设阈值的所述预测目标姿态信息从所述目标候选姿态集合中剔除。
18.如权利要求10-17任意一项所述的设备，其特征在于，所述设备还包括：
第六处理单元，用于计算所述第一目标姿态与相邻时刻目标姿态之间的第七相似度；若所述第七相似度小于或等于第八预设阈值，则根据所述相邻时刻目标姿态修正所述第一目标姿态。
19.一种芯片系统，其特征在于，所述芯片系统包括至少一个处理器，存储器和接口电路，所述存储器、所述接口电路和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；所述指令被所述处理器执行时，权利要求1-9中任意一项所述的方法得以实现。
20.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述权利要求1-9中任意一项所述的方法。
21.一种计算机程序，其特征在于，所述计算机程序包括指令，当所述计算机程序被计算机执行时，使得所述计算机执行如权利要求1-9中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110402794.4A CN115223234A (zh) | 2021-04-14 | 2021-04-14 | 一种姿态识别的方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110402794.4A CN115223234A (zh) | 2021-04-14 | 2021-04-14 | 一种姿态识别的方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115223234A true CN115223234A (zh) | 2022-10-21 |
Family
ID=83605691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110402794.4A Pending CN115223234A (zh) | 2021-04-14 | 2021-04-14 | 一种姿态识别的方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115223234A (zh) |
-
2021
- 2021-04-14 CN CN202110402794.4A patent/CN115223234A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11948401B2 (en) | AI-based physical function assessment system | |
| US11763603B2 (en) | Physical activity quantification and monitoring | |
| Li et al. | A novel vision-based real-time method for evaluating postural risk factors associated with musculoskeletal disorders | |
| CN112926423B (zh) | 捏合手势检测识别方法、装置及系统 | |
| CN109376631B (zh) | 一种基于神经网络的回环检测方法及装置 | |
| US11759126B2 (en) | Scoring metric for physical activity performance and tracking | |
| CN111401318B (zh) | 动作识别方法及装置 | |
| EP3649940A1 (en) | Information processing device, information processing program, and information processing method | |
| US20210338109A1 (en) | Fatigue determination device and fatigue determination method | |
| CN111597975B (zh) | 人员动作检测方法、装置及电子设备 | |
| CN108778123A (zh) | 步态分析装置、步态分析方法和计算机可读记录介质 | |
| CN113658211A (zh) | 一种用户姿态的评估方法、装置以及处理设备 | |
| CN115909487A (zh) | 一种基于人体姿态检测的儿童步态异常评估辅助系统 | |
| CN111448589B (zh) | 用于检测患者的身体移动的设备、系统和方法 | |
| Huang et al. | Image-recognition-based system for precise hand function evaluation | |
| CN115223234A (zh) | 一种姿态识别的方法及相关设备 | |
| Munn et al. | FixTag: An algorithm for identifying and tagging fixations to simplify the analysis of data collected by portable eye trackers | |
| NL2004878C2 (en) | System and method for detecting a person's direction of interest, such as a person's gaze direction. | |
| CN111290577B (zh) | 一种非接触式输入方法及装置 | |
| US20230027320A1 (en) | Movement Disorder Diagnostics from Video Data Using Body Landmark Tracking | |
| KR102553060B1 (ko) | 인공지능 기반의 척추 정보를 이용한 의료영상정보 제공 방법, 장치 및 프로그램 | |
| WO2023152971A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| EP3621083A1 (en) | Rehabilitation device and method | |
| CN116978110A (zh) | 一种舞姿动作评价方法、装置、电子设备及存储介质 | |
| Wasalthilaka et al. | Automated Physical Fitness Recommendation System for Driving License |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |