CN117152797A - 一种基于边缘计算的行为姿态识别方法及系统 - Google Patents
一种基于边缘计算的行为姿态识别方法及系统 Download PDFInfo
- Publication number
- CN117152797A CN117152797A CN202311411566.9A CN202311411566A CN117152797A CN 117152797 A CN117152797 A CN 117152797A CN 202311411566 A CN202311411566 A CN 202311411566A CN 117152797 A CN117152797 A CN 117152797A
- Authority
- CN
- China
- Prior art keywords
- joint
- human body
- determining
- plane
- skeleton
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004364 calculation method Methods 0.000 title claims abstract description 23
- 210000002310 elbow joint Anatomy 0.000 claims description 47
- 210000000629 knee joint Anatomy 0.000 claims description 47
- 210000004394 hip joint Anatomy 0.000 claims description 44
- 210000000323 shoulder joint Anatomy 0.000 claims description 35
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 31
- 210000003857 wrist joint Anatomy 0.000 claims description 31
- 210000000689 upper leg Anatomy 0.000 claims description 30
- 210000000245 forearm Anatomy 0.000 claims description 21
- 210000001699 lower leg Anatomy 0.000 claims description 13
- 244000309466 calf Species 0.000 claims description 11
- 210000001624 hip Anatomy 0.000 claims description 11
- 210000002683 foot Anatomy 0.000 claims description 9
- 210000004247 hand Anatomy 0.000 claims description 9
- 210000003127 knee Anatomy 0.000 claims description 8
- 241001442234 Cosa Species 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 210000002832 shoulder Anatomy 0.000 claims description 6
- 210000001694 thigh bone Anatomy 0.000 claims description 6
- 210000001503 joint Anatomy 0.000 claims description 5
- 210000002414 leg Anatomy 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims 9
- 210000000988 bone and bone Anatomy 0.000 abstract description 6
- 230000006399 behavior Effects 0.000 description 22
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 210000001513 elbow Anatomy 0.000 description 2
- 210000002082 fibula Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于姿态识别技术领域，提供了一种基于边缘计算的行为姿态识别方法及系统，包括以下步骤：通过摄像头采集得到人体平面图像，对人体平面图像进行分析确定关节点，得到各部分骨架平面长度；通过摄像头采集得到人体实时图像；通过摄像头中内置的处理器对人体实时图像进行边缘计算，提取出人体轮廓，将人体轮廓发送至服务器；对人体轮廓进行分析，确定人体轮廓中的关节点，得到各部分骨架投影长度；根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态，得到人体姿态模型。本发明先对人体平面图像进行分析，然后再对人体实时图像进行分析，能够准确识别人体骨骼在空间中的位置，行为姿态识别更加精准。
Description
技术领域
本发明涉及姿态识别技术领域，具体是涉及一种基于边缘计算的行为姿态识别方法及系统。
背景技术
随着计算机技术的不断发展，摄像头不仅仅可以采集动态视频，还可以配合动态捕捉技术实现对动态视频内部的人像进行捕捉的功能，可广泛应用于智能视频监控、机器人视觉、人机交互、游戏控制等领域。现有技术一般先通过摄像头拍摄包含人体的视频；然后，从视频中提取人体图像，再从人体图像区域中检测人体骨骼，并通过基于人体骨骼的行为识别程序，识别人体的行为动作；最后，给出行为判断结果。然而，摄像头采集到的人体图像是平面的，难以准确识别人体骨骼在空间中的位置。因此，需要提供一种基于边缘计算的行为姿态识别方法及系统，旨在解决上述问题。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于边缘计算的行为姿态识别方法及系统，以解决上述背景技术中存在的问题。
本发明是这样实现的，一种基于边缘计算的行为姿态识别方法，所述方法包括以下步骤：
通过摄像头采集得到人体平面图像，对人体平面图像进行分析确定关节点，得到各部分骨架平面长度；
通过摄像头采集得到人体实时图像；
通过摄像头中内置的处理器对人体实时图像进行边缘计算，提取出人体轮廓，将人体轮廓发送至服务器；
对人体轮廓进行分析，确定人体轮廓中的关节点，得到各部分骨架投影长度；
根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态，得到人体姿态模型。
作为本发明进一步的方案：所述对人体平面图像进行分析确定关节点，得到各部分骨架平面长度的步骤，具体包括：
识别人体平面图像中的肩部、脚部和手部，确定肩关节、踝关节和腕关节的位置；
识别人体平面图像中的髋环带、肘环带以及膝环带，确定髋关节、肘关节以及膝关节的位置；
根据肩关节和髋关节确定上身骨架平面长度，根据肩关节和肘关节确定大臂骨架平面长度，根据肘关节和腕关节确定小臂骨架平面长度，根据膝关节和髋关节确定大腿骨架平面长度，根据膝关节和踝关节确定小腿骨架平面长度。
作为本发明进一步的方案：所述提取出人体轮廓的步骤，具体包括：
调取人体实时图像的背景颜色特征，根据所述背景颜色特征确定人体实时图像的背景区域；
对人体实时图像中的背景区域进行抠除，得到人体轮廓。
作为本发明进一步的方案：所述确定人体轮廓中的关节点，得到各部分骨架投影长度的步骤，具体包括：
确定人体轮廓中肩关节、踝关节、腕关节、髋关节、肘关节以及膝关节在竖直平面上的位置；
根据各个关节在竖直平面上的位置确定上身骨架、大臂骨架、小臂骨架、大腿骨架以及小腿骨架的投影长度，所述投影长度是在竖直平面上的投影长度。
作为本发明进一步的方案：所述根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态的步骤，具体包括：
根据每部分骨架平面长度与对应的骨架投影长度确定骨架相对于竖直平面的倾斜角A，cosA=骨架投影长度/骨架平面长度；
以肩关节为基点，根据上身骨架平面长度和上身骨架的倾斜角确定髋关节的空间位置，根据大臂骨架平面长度和大臂骨架的倾斜角确定肘关节的空间位置；
以髋关节为基点，根据大腿骨架平面长度和大腿骨架的倾斜角确定膝关节的空间位置；
以膝关节为基点，根据小腿骨架平面长度和小腿骨架的倾斜角确定踝关节的空间位置；
以肘关节为基点，根据小臂骨架平面长度和小臂骨架的倾斜角确定腕关节的空间位置，根据各个关节的空间位置确定各部分骨架的位置姿态。
本发明的另一目的在于提供一种基于边缘计算的行为姿态识别系统，所述系统包括：
平面数据确定模块，用于通过摄像头采集得到人体平面图像，对人体平面图像进行分析确定关节点，得到各部分骨架平面长度；
实时图像采集模块，用于通过摄像头采集得到人体实时图像；
人体轮廓提取模块，用于通过摄像头中内置的处理器对人体实时图像进行边缘计算，提取出人体轮廓，将人体轮廓发送至服务器；
投影长度确定模块，用于对人体轮廓进行分析，确定人体轮廓中的关节点，得到各部分骨架投影长度；
人体姿态确定模块，用于根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态，得到人体姿态模型。
作为本发明进一步的方案：所述平面数据确定模块包括：
第一关节位置单元，用于识别人体平面图像中的肩部、脚部和手部，确定肩关节、踝关节和腕关节的位置；
第二关节位置单元，用于识别人体平面图像中的髋环带、肘环带以及膝环带，确定髋关节、肘关节以及膝关节的位置；
骨架平面长度单元，用于根据肩关节和髋关节确定上身骨架平面长度，根据肩关节和肘关节确定大臂骨架平面长度，根据肘关节和腕关节确定小臂骨架平面长度，根据膝关节和髋关节确定大腿骨架平面长度，根据膝关节和踝关节确定小腿骨架平面长度。
作为本发明进一步的方案：所述人体轮廓提取模块包括：
背景区域确定单元，用于调取人体实时图像的背景颜色特征，根据所述背景颜色特征确定人体实时图像的背景区域；
人体轮廓确定单元，用于对人体实时图像中的背景区域进行抠除，得到人体轮廓。
作为本发明进一步的方案：所述投影长度确定模块包括：
竖直平面位置单元，用于确定人体轮廓中肩关节、踝关节、腕关节、髋关节、肘关节以及膝关节在竖直平面上的位置；
投影长度确定单元，用于根据各个关节在竖直平面上的位置确定上身骨架、大臂骨架、小臂骨架、大腿骨架以及小腿骨架的投影长度，所述投影长度是在竖直平面上的投影长度。
作为本发明进一步的方案：所述人体姿态确定模块包括：
倾斜角确定单元，用于根据每部分骨架平面长度与对应的骨架投影长度确定骨架相对于竖直平面的倾斜角A，cosA=骨架投影长度/骨架平面长度；
髋肘关节确定单元，用于以肩关节为基点，根据上身骨架平面长度和上身骨架的倾斜角确定髋关节的空间位置，根据大臂骨架平面长度和大臂骨架的倾斜角确定肘关节的空间位置；
膝关节确定单元，用于以髋关节为基点，根据大腿骨架平面长度和大腿骨架的倾斜角确定膝关节的空间位置；
踝关节确定单元，用于以膝关节为基点，根据小腿骨架平面长度和小腿骨架的倾斜角确定踝关节的空间位置；
腕关节确定单元，用于以肘关节为基点，根据小臂骨架平面长度和小臂骨架的倾斜角确定腕关节的空间位置，根据各个关节的空间位置确定各部分骨架的位置姿态。
与现有技术相比，本发明的有益效果是：
本发明通过对人体平面图像进行分析确定关节点，得到各部分骨架平面长度；然后对人体实时图像进行边缘计算，提取出人体轮廓，对人体轮廓进行分析，确定人体轮廓中的关节点，得到各部分骨架投影长度；根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态，所述位置姿态是三维空间上的，姿态识别精准。
附图说明
图1为一种基于边缘计算的行为姿态识别方法的流程图。
图2为一种基于边缘计算的行为姿态识别方法中得到各部分骨架平面长度的流程图。
图3为一种基于边缘计算的行为姿态识别方法中提取出人体轮廓的流程图。
图4为一种基于边缘计算的行为姿态识别方法中得到各部分骨架投影长度的流程图。
图5为一种基于边缘计算的行为姿态识别方法中确定各部分骨架位置姿态的流程图。
图6为一种基于边缘计算的行为姿态识别系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
如图1所示，本发明实施例提供了一种基于边缘计算的行为姿态识别方法，所述方法包括以下步骤：
S100，通过摄像头采集得到人体平面图像，对人体平面图像进行分析确定关节点，得到各部分骨架平面长度；
S200，通过摄像头采集得到人体实时图像；
S300，通过摄像头中内置的处理器对人体实时图像进行边缘计算，提取出人体轮廓，将人体轮廓发送至服务器；
S400，对人体轮廓进行分析，确定人体轮廓中的关节点，得到各部分骨架投影长度；
S500，根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态，得到人体姿态模型。
需要说明的是，现有技术一般先通过摄像头拍摄包含人体的视频；然后，从视频中提取人体图像，再从人体图像区域中检测人体骨骼，并通过基于人体骨骼的行为识别程序，识别人体的行为动作；最后，给出行为判断结果。然而，摄像头采集到的人体图像是平面的，难以准确识别人体骨骼在空间中的位置，本发明实施例旨在解决上述问题。
本发明实施例中，首先需要通过摄像头采集得到人体平面图像，采集人体平面图像时，被采集的人员需要保持直立，被采集人员的上身骨架、大臂、小臂、大腿以及小腿需要与竖直面保持平行，然后对人体平面图像进行分析确定关节点，得到各部分骨架平面长度；接着就可以对该人员的行为姿态进行识别了，具体的，通过摄像头采集得到人体实时图像，摄像头中内置有边缘处理器，通过摄像头中内置的边缘处理器对人体实时图像进行边缘计算，提取出人体轮廓，然后将人体轮廓发送至服务器，如此服务器直接对人体轮廓进行分析识别即可，提高了处理效率；对人体轮廓进行分析时，会自动确定人体轮廓中的关节点，得到各部分骨架投影长度，然后根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态，这里的位置姿态是三维空间上的，最后得到人体姿态模型。本发明实施例先对人体平面图像进行分析，然后再对人体实时图像进行分析，能够准确识别人体骨骼在空间中的位置，行为姿态识别更加精准。
如图2所示，作为本发明一个优选的实施例，所述对人体平面图像进行分析确定关节点，得到各部分骨架平面长度的步骤，具体包括：
S101，识别人体平面图像中的肩部、脚部和手部，确定肩关节、踝关节和腕关节的位置；
S102，识别人体平面图像中的髋环带、肘环带以及膝环带，确定髋关节、肘关节以及膝关节的位置；
S103，根据肩关节和髋关节确定上身骨架平面长度，根据肩关节和肘关节确定大臂骨架平面长度，根据肘关节和腕关节确定小臂骨架平面长度，根据膝关节和髋关节确定大腿骨架平面长度，根据膝关节和踝关节确定小腿骨架平面长度。
本发明实施例中，首先会识别人体平面图像中的肩部、脚部和手部，容易理解，肩部、脚部和手部均具有明显的特征，借助现有技术可以轻松识别得到，这样就可以确定肩关节、踝关节和腕关节的位置。需要强调的是，为了便于快速精准识别髋关节、肘关节以及膝关节，用户需要提前在髋部、肘部和膝部分别佩戴上髋环带、肘环带以及膝环带，髋环带、肘环带以及膝环带均具有明显的颜色特征，如此，可以自动识别人体平面图像中的髋环带、肘环带以及膝环带，进而确定髋关节、肘关节以及膝关节的位置；最后就可以根据肩关节和髋关节确定上身骨架平面长度，根据肩关节和肘关节确定大臂骨架平面长度，根据肘关节和腕关节确定小臂骨架平面长度，根据膝关节和髋关节确定大腿骨架平面长度，根据膝关节和踝关节确定小腿骨架平面长度。
如图3所示，作为本发明一个优选的实施例，所述提取出人体轮廓的步骤，具体包括：
S301，调取人体实时图像的背景颜色特征，根据所述背景颜色特征确定人体实时图像的背景区域；
S302，对人体实时图像中的背景区域进行抠除，得到人体轮廓。
本发明实施例适用于人机交互和游戏控制领域，为了使得实时性更好，数据处理更加简单高效，用户活动的区域设置有专门的背景，调取人体实时图像的背景颜色特征，根据所述背景颜色特征就可以直接确定人体实时图像的背景区域；然后对人体实时图像中的背景区域进行抠除，就得到人体轮廓了。
如图4所示，作为本发明一个优选的实施例，所述确定人体轮廓中的关节点，得到各部分骨架投影长度的步骤，具体包括：
S401，确定人体轮廓中肩关节、踝关节、腕关节、髋关节、肘关节以及膝关节在竖直平面上的位置；
S402，根据各个关节在竖直平面上的位置确定上身骨架、大臂骨架、小臂骨架、大腿骨架以及小腿骨架的投影长度。
本发明实施例中，还需要确定人体轮廓中肩关节、踝关节、腕关节、髋关节、肘关节以及膝关节在竖直平面上的位置，然后根据各个关节在竖直平面上的位置确定上身骨架、大臂骨架、小臂骨架、大腿骨架以及小腿骨架的投影长度，所述投影长度是在竖直平面上的投影长度，容易理解，同一部位骨架的投影长度小于或者等于其对应的平面长度。
如图5所示，作为本发明一个优选的实施例，所述根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态的步骤，具体包括：
S501，根据每部分骨架平面长度与对应的骨架投影长度确定骨架相对于竖直平面的倾斜角A，cosA=骨架投影长度/骨架平面长度；
S502，以肩关节为基点，根据上身骨架平面长度和上身骨架的倾斜角确定髋关节的空间位置，根据大臂骨架平面长度和大臂骨架的倾斜角确定肘关节的空间位置；
S503，以髋关节为基点，根据大腿骨架平面长度和大腿骨架的倾斜角确定膝关节的空间位置；
S504，以膝关节为基点，根据小腿骨架平面长度和小腿骨架的倾斜角确定踝关节的空间位置；
S505，以肘关节为基点，根据小臂骨架平面长度和小臂骨架的倾斜角确定腕关节的空间位置，根据各个关节的空间位置确定各部分骨架的位置姿态。
本发明实施例中，会自动根据每部分骨架平面长度与对应的骨架投影长度确定骨架相对于竖直平面的倾斜角，这样可以确定上身骨架、大腿骨架、小腿骨架、大臂骨架以及小臂骨架的倾斜角；然后以肩关节为基点，根据上身骨架平面长度和上身骨架的倾斜角确定髋关节的空间位置，根据大臂骨架平面长度和大臂骨架的倾斜角确定肘关节的空间位置；髋关节的空间位置确定后，以髋关节为基点，根据大腿骨架平面长度和大腿骨架的倾斜角确定膝关节的空间位置；膝关节的空间位置确定后，以膝关节为基点，根据小腿骨架平面长度和小腿骨架的倾斜角确定踝关节的空间位置；肘关节的空间位置确定后，以肘关节为基点，根据小臂骨架平面长度和小臂骨架的倾斜角确定腕关节的空间位置，最后根据各个关节的空间位置确定各部分骨架的位置姿态。
如图6所示，本发明实施例还提供了一种基于边缘计算的行为姿态识别系统，所述系统包括：
平面数据确定模块100，用于通过摄像头采集得到人体平面图像，对人体平面图像进行分析确定关节点，得到各部分骨架平面长度；
实时图像采集模块200，用于通过摄像头采集得到人体实时图像；
人体轮廓提取模块300，用于通过摄像头中内置的处理器对人体实时图像进行边缘计算，提取出人体轮廓，将人体轮廓发送至服务器；
投影长度确定模块400，用于对人体轮廓进行分析，确定人体轮廓中的关节点，得到各部分骨架投影长度；
人体姿态确定模块500，用于根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态，得到人体姿态模型。
作为本发明一个优选的实施例，所述平面数据确定模块100包括：
第一关节位置单元，用于识别人体平面图像中的肩部、脚部和手部，确定肩关节、踝关节和腕关节的位置；
第二关节位置单元，用于识别人体平面图像中的髋环带、肘环带以及膝环带，确定髋关节、肘关节以及膝关节的位置；
骨架平面长度单元，用于根据肩关节和髋关节确定上身骨架平面长度，根据肩关节和肘关节确定大臂骨架平面长度，根据肘关节和腕关节确定小臂骨架平面长度，根据膝关节和髋关节确定大腿骨架平面长度，根据膝关节和踝关节确定小腿骨架平面长度。
作为本发明一个优选的实施例，所述人体轮廓提取模块300包括：
背景区域确定单元，用于调取人体实时图像的背景颜色特征，根据所述背景颜色特征确定人体实时图像的背景区域；
人体轮廓确定单元，用于对人体实时图像中的背景区域进行抠除，得到人体轮廓。
作为本发明一个优选的实施例，所述投影长度确定模块400包括：
竖直平面位置单元，用于确定人体轮廓中肩关节、踝关节、腕关节、髋关节、肘关节以及膝关节在竖直平面上的位置；
投影长度确定单元，用于根据各个关节在竖直平面上的位置确定上身骨架、大臂骨架、小臂骨架、大腿骨架以及小腿骨架的投影长度，所述投影长度是在竖直平面上的投影长度。
作为本发明一个优选的实施例，所述人体姿态确定模块500包括：
倾斜角确定单元，用于根据每部分骨架平面长度与对应的骨架投影长度确定骨架相对于竖直平面的倾斜角A，cosA=骨架投影长度/骨架平面长度；
髋肘关节确定单元，用于以肩关节为基点，根据上身骨架平面长度和上身骨架的倾斜角确定髋关节的空间位置，根据大臂骨架平面长度和大臂骨架的倾斜角确定肘关节的空间位置；
膝关节确定单元，用于以髋关节为基点，根据大腿骨架平面长度和大腿骨架的倾斜角确定膝关节的空间位置；
踝关节确定单元，用于以膝关节为基点，根据小腿骨架平面长度和小腿骨架的倾斜角确定踝关节的空间位置；
腕关节确定单元，用于以肘关节为基点，根据小臂骨架平面长度和小臂骨架的倾斜角确定腕关节的空间位置，根据各个关节的空间位置确定各部分骨架的位置姿态。
以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (10)
1.一种基于边缘计算的行为姿态识别方法，其特征在于，所述方法包括以下步骤：
通过摄像头采集得到人体平面图像，对人体平面图像进行分析确定关节点，得到各部分骨架平面长度；
通过摄像头采集得到人体实时图像；
通过摄像头中内置的处理器对人体实时图像进行边缘计算，提取出人体轮廓，将人体轮廓发送至服务器；
对人体轮廓进行分析，确定人体轮廓中的关节点，得到各部分骨架投影长度；
根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态，得到人体姿态模型。
2.根据权利要求1所述的基于边缘计算的行为姿态识别方法，其特征在于，所述对人体平面图像进行分析确定关节点，得到各部分骨架平面长度的步骤，具体包括：
识别人体平面图像中的肩部、脚部和手部，确定肩关节、踝关节和腕关节的位置；
识别人体平面图像中的髋环带、肘环带以及膝环带，确定髋关节、肘关节以及膝关节的位置；
根据肩关节和髋关节确定上身骨架平面长度，根据肩关节和肘关节确定大臂骨架平面长度，根据肘关节和腕关节确定小臂骨架平面长度，根据膝关节和髋关节确定大腿骨架平面长度，根据膝关节和踝关节确定小腿骨架平面长度。
3.根据权利要求1所述的基于边缘计算的行为姿态识别方法，其特征在于，所述提取出人体轮廓的步骤，具体包括：
调取人体实时图像的背景颜色特征，根据所述背景颜色特征确定人体实时图像的背景区域；
对人体实时图像中的背景区域进行抠除，得到人体轮廓。
4.根据权利要求2所述的基于边缘计算的行为姿态识别方法，其特征在于，所述确定人体轮廓中的关节点，得到各部分骨架投影长度的步骤，具体包括：
确定人体轮廓中肩关节、踝关节、腕关节、髋关节、肘关节以及膝关节在竖直平面上的位置；
根据各个关节在竖直平面上的位置确定上身骨架、大臂骨架、小臂骨架、大腿骨架以及小腿骨架的投影长度，所述投影长度是在竖直平面上的投影长度。
5.根据权利要求4所述的基于边缘计算的行为姿态识别方法，其特征在于，所述根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态的步骤，具体包括：
根据每部分骨架平面长度与对应的骨架投影长度确定骨架相对于竖直平面的倾斜角A，cosA=骨架投影长度/骨架平面长度；
以肩关节为基点，根据上身骨架平面长度和上身骨架的倾斜角确定髋关节的空间位置，根据大臂骨架平面长度和大臂骨架的倾斜角确定肘关节的空间位置；
以髋关节为基点，根据大腿骨架平面长度和大腿骨架的倾斜角确定膝关节的空间位置；
以膝关节为基点，根据小腿骨架平面长度和小腿骨架的倾斜角确定踝关节的空间位置；
以肘关节为基点，根据小臂骨架平面长度和小臂骨架的倾斜角确定腕关节的空间位置，根据各个关节的空间位置确定各部分骨架的位置姿态。
6.一种基于边缘计算的行为姿态识别系统，其特征在于，所述系统包括：
平面数据确定模块，用于通过摄像头采集得到人体平面图像，对人体平面图像进行分析确定关节点，得到各部分骨架平面长度；
实时图像采集模块，用于通过摄像头采集得到人体实时图像；
人体轮廓提取模块，用于通过摄像头中内置的处理器对人体实时图像进行边缘计算，提取出人体轮廓，将人体轮廓发送至服务器；
投影长度确定模块，用于对人体轮廓进行分析，确定人体轮廓中的关节点，得到各部分骨架投影长度；
人体姿态确定模块，用于根据各部分骨架平面长度和各部分骨架投影长度确定各部分骨架的位置姿态，得到人体姿态模型。
7.根据权利要求6所述的基于边缘计算的行为姿态识别系统，其特征在于，所述平面数据确定模块包括：
第一关节位置单元，用于识别人体平面图像中的肩部、脚部和手部，确定肩关节、踝关节和腕关节的位置；
第二关节位置单元，用于识别人体平面图像中的髋环带、肘环带以及膝环带，确定髋关节、肘关节以及膝关节的位置；
骨架平面长度单元，用于根据肩关节和髋关节确定上身骨架平面长度，根据肩关节和肘关节确定大臂骨架平面长度，根据肘关节和腕关节确定小臂骨架平面长度，根据膝关节和髋关节确定大腿骨架平面长度，根据膝关节和踝关节确定小腿骨架平面长度。
8.根据权利要求6所述的基于边缘计算的行为姿态识别系统，其特征在于，所述人体轮廓提取模块包括：
背景区域确定单元，用于调取人体实时图像的背景颜色特征，根据所述背景颜色特征确定人体实时图像的背景区域；
人体轮廓确定单元，用于对人体实时图像中的背景区域进行抠除，得到人体轮廓。
9.根据权利要求7所述的基于边缘计算的行为姿态识别系统，其特征在于，所述投影长度确定模块包括：
竖直平面位置单元，用于确定人体轮廓中肩关节、踝关节、腕关节、髋关节、肘关节以及膝关节在竖直平面上的位置；
投影长度确定单元，用于根据各个关节在竖直平面上的位置确定上身骨架、大臂骨架、小臂骨架、大腿骨架以及小腿骨架的投影长度，所述投影长度是在竖直平面上的投影长度。
10.根据权利要求9所述的基于边缘计算的行为姿态识别系统，其特征在于，所述人体姿态确定模块包括：
倾斜角确定单元，用于根据每部分骨架平面长度与对应的骨架投影长度确定骨架相对于竖直平面的倾斜角A，cosA=骨架投影长度/骨架平面长度；
髋肘关节确定单元，用于以肩关节为基点，根据上身骨架平面长度和上身骨架的倾斜角确定髋关节的空间位置，根据大臂骨架平面长度和大臂骨架的倾斜角确定肘关节的空间位置；
膝关节确定单元，用于以髋关节为基点，根据大腿骨架平面长度和大腿骨架的倾斜角确定膝关节的空间位置；
踝关节确定单元，用于以膝关节为基点，根据小腿骨架平面长度和小腿骨架的倾斜角确定踝关节的空间位置；
腕关节确定单元，用于以肘关节为基点，根据小臂骨架平面长度和小臂骨架的倾斜角确定腕关节的空间位置，根据各个关节的空间位置确定各部分骨架的位置姿态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311411566.9A CN117152797A (zh) | 2023-10-30 | 2023-10-30 | 一种基于边缘计算的行为姿态识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311411566.9A CN117152797A (zh) | 2023-10-30 | 2023-10-30 | 一种基于边缘计算的行为姿态识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117152797A true CN117152797A (zh) | 2023-12-01 |
Family
ID=88884684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311411566.9A Pending CN117152797A (zh) | 2023-10-30 | 2023-10-30 | 一种基于边缘计算的行为姿态识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152797A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150213653A1 (en) * | 2013-10-24 | 2015-07-30 | Ali Kord | Motion capture system |
| CN105664462A (zh) * | 2016-01-07 | 2016-06-15 | 北京邮电大学 | 基于人体姿态估计算法的辅助训练系统 |
| CN108805141A (zh) * | 2018-05-29 | 2018-11-13 | 电子科技大学 | 一种人体骨架关节点位置估计方法 |
| CN112712030A (zh) * | 2020-12-30 | 2021-04-27 | 贵阳朗玛信息技术股份有限公司 | 三维姿态信息还原方法及装置 |
-
2023
- 2023-10-30 CN CN202311411566.9A patent/CN117152797A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150213653A1 (en) * | 2013-10-24 | 2015-07-30 | Ali Kord | Motion capture system |
| CN105664462A (zh) * | 2016-01-07 | 2016-06-15 | 北京邮电大学 | 基于人体姿态估计算法的辅助训练系统 |
| CN108805141A (zh) * | 2018-05-29 | 2018-11-13 | 电子科技大学 | 一种人体骨架关节点位置估计方法 |
| CN112712030A (zh) * | 2020-12-30 | 2021-04-27 | 贵阳朗玛信息技术股份有限公司 | 三维姿态信息还原方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| BO CAO ET AL.: "Human Posture Recognition Using Skeleton and Depth Information", 《PROCEEDINGS OF THE 1ST WRC SYMPOSIUM ON ADVANCED ROBOTICS AND AUTOMATION 2018》, pages 275 - 280 * |
| 于瑞云 等: "基于空间分割的人体模型骨骼提取算法", 《计算机学报》, vol. 42, no. 9, pages 2049 - 2061 * |
| 钱融: "基于迭代误差反馈网络的单目图像人体三维重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 1025 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021047232A1 (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
| CN108399367B (zh) | 手部动作识别方法、装置、计算机设备及可读存储介质 | |
| CN108446585B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| EP3655924B1 (en) | Method and apparatus to generate and track standardized anatomical regions automatically | |
| CA2602218C (en) | Method and system for characterization of knee joint morphology | |
| KR101926123B1 (ko) | 수술영상 분할방법 및 장치 | |
| US20140177944A1 (en) | Method and System for Modeling Subjects from a Depth Map | |
| CN110889355B (zh) | 一种人脸识别校验方法、系统及存储介质 | |
| CN113728394A (zh) | 身体活动执行和训练的评分度量 | |
| JP2017194787A (ja) | 画像処理装置および領域追跡プログラム | |
| CN112185514A (zh) | 一种基于动作识别的康复训练效果评估系统 | |
| CN111709277A (zh) | 人体摔倒检测方法、装置、计算机设备和存储介质 | |
| KR20200134502A (ko) | 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템 | |
| JP6977337B2 (ja) | 部位認識方法、装置、プログラム、及び撮像制御システム | |
| CN113229807A (zh) | 人体康复评估装置、方法、电子设备及存储介质 | |
| CN110855891A (zh) | 基于人体姿态调整摄像角度的方法、装置和机器人 | |
| Kuryło et al. | Machine vision system measuring the trajectory of upper limb motion applying the matlab software | |
| CN110991292A (zh) | 动作识别比对方法、系统、计算机存储介质和电子装置 | |
| CN117152797A (zh) | 一种基于边缘计算的行为姿态识别方法及系统 | |
| CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
| AU2023205011A1 (en) | System and method for mapping the skin | |
| CN112927269B (zh) | 基于环境语义的地图构建方法、装置和计算机设备 | |
| Vasconcelos et al. | Human motion segmentation using active shape models | |
| CN113836991A (zh) | 动作识别系统、动作识别方法及存储介质 | |
| CN113643788B (zh) | 基于多个图像获取设备确定特征点的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |