CN117115926B - 一种基于实时图像处理的人体动作标准判定方法及装置 - Google Patents
一种基于实时图像处理的人体动作标准判定方法及装置 Download PDFInfo
- Publication number
- CN117115926B CN117115926B CN202311384470.8A CN202311384470A CN117115926B CN 117115926 B CN117115926 B CN 117115926B CN 202311384470 A CN202311384470 A CN 202311384470A CN 117115926 B CN117115926 B CN 117115926B
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- processing
- real
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000009471 action Effects 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000005286 illumination Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 17
- 238000005259 measurement Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Social Psychology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于实时图像处理的人体动作标准判定方法及装置，利用图像采集单元采集包含人体动作的连续的图像数据，处理单元根据连续的图像数据分析人体动作，得出分析结果，其中：在利用图像采集单元采集包含人体动作的连续的图像数据时，若存在采集画面的场地光照不均匀、明暗区域对比度过大的问题，采用基于深度学习的高动态范围成像方法进行处理，得到明暗均匀的高质量图像。本发明所述的一种基于实时图像处理的人体动作标准判定方法及装置，将关键点坐标作为参考，融合姿态分析和图像处理手段，提高了系统的精度和稳定性。
Description
技术领域
本发明属于图像处理技术领域，尤其是涉及一种基于实时图像处理的人体动作标准判定方法及装置。
背景技术
如今，摄像机等图像采集设备被广泛的应用到针对多种运动项目的判定过程中，例如包括计数类（如跳绳）、测距类（如跳远）和计时类（如跑步）等；
但是在实际使用过程中，由于采集的环境不同等因素，导致人体关键点提取算法得到的关键点坐标含有大量噪声，容易受到测试环境的影响，且存在误检测的情况，因此直接用关键点坐标进行起跳和落地瞬间的判定以及成绩的计算，存在精度低、稳定性差的确定。
发明内容
有鉴于此，本发明旨在提出一种基于实时图像处理的人体动作标准判定方法及装置，以至少解决背景技术中的至少一个问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于实时图像处理的人体动作标准判定方法，利用图像采集单元采集包含人体动作的连续的图像数据，处理单元根据连续的图像数据分析人体动作，得出分析结果，其中：
在利用图像采集单元采集包含人体动作的连续的图像数据时，若采集环境存在光照不均匀、明暗区域对比度过大的问题，采用基于深度学习的高动态范围成像方法进行处理，得到明暗均匀的高质量图像；
针对采集的图像数据，利用基于卷积神经网络的人体检测算法，检测出画面中的多个人体，并将整个图像分割成仅包含一个人体的图像块，从而实现多人同时处理；
针对得到的若干包含单个人体的图像块，采用预置的基于深度学习的人体关键点提取算法对每个分割的图像块进行处理，提取人体三维关键点信息，再对关键点坐标进行滤波处理。
进一步的，所述在利用图像采集单元采集包含人体动作的连续的图像数据时，若存在采集画面的场地光照不均匀、明暗区域对比度过大的问题，采用基于深度学习的高动态范围成像方法进行处理，得到明暗均匀的高质量图像，具体包括：
首先，利用编码器网络对输入的原始彩色图像进行转换，得到图像空间上下文的紧凑特征表示；
然后，利用在对数域中运行的HDR解码器网络对编码后的特征进行处理，得到重建的HDR图像；
编码器网络包括若干卷积层和最大池化层，解码器网络使用反卷积层实现双线性上采样，编码器和解码器之间添加了若干跳跃连接，用于在编码器和解码器中的高层和低层特征之间传输数据，避免高分辨率图像细节信息的丢失。
进一步的，所述针对采集的图像数据，利用基于卷积神经网络的人体检测算法，检测出画面中的多个人体，并将整个图像分割成仅包含一个人体的图像块，从而实现多人同时处理，具体包括：
对摄像机采集的原始彩色图像进行归一化和像素转换预处理；
针对预处理后的图像，利用多个卷积层和池化层提取图像的多尺度特征，从而检测图像中不同大小的目标；该方法引入了一个全局增强模块来融合轻量级网络中的全局视觉线索，然后从局部特征匹配任务的角度，通过新的深度增强学习方案对网络进行优化，从而将图像全局信息融入不同尺度的局部特征中。
使用全连接层将提取的多尺度特征映射成包含人体的边界框和对应的预测概率；
针对得到的预测概率，使用非极大值抑制方法来去除重叠的且概率较小的预测结果；
使用最终保留下来的边界框对原始图像进行分割，得到若干包含单个人体的图像块。
进一步的，所述针对得到的若干包含单个人体的图像块，采用预置的基于深度学习的人体关键点提取算法对每个分割的图像块进行处理，提取人体三维关键点信息，再对关键点坐标进行滤波处理，具体包括：
首先，将得到的每一个图像块进行不同尺度的缩放，得到若干不同尺寸的图像，将这些不同尺寸的图像输入前馈神经网络进而生成不同尺寸的特征图；
其次，使用最近邻插值法依次将上一层的特征图上采样到下一层特征图的大小并进行加权融合，从而将不同尺度的特征图结合，得到结合后的特征图；
再次，针对结合后的特征图，使用包含多个卷积层的金字塔形状的多分支结构，从不同的层次上提取各种尺度的特征，得到包含不同层次的特征图；
再次，将包含不同层次的特征图在通道维度上进行堆叠，以增加特征图的深度，从而让网络学习不同空间位置的特征，并将它们在同一层级上进行融合，并处理得到每个关键点的热力图；
最后，针对得到的热力图，从连续的图像帧中提取的每一个关键点坐标保存在一个数组中，在分析当前帧的关键点坐标时，从数组中提取出若干个相邻的关键点，并采用中值滤波的方法得到最终的关键点坐标。
进一步的，在需要测量人体移动距离或需要测量人体移动指定距离所用时间时，执行下述步骤：
首先，通过图像采集单元将采集的连续两帧图像作差，并进行二值化操作，得到二值化差值图像；
其次，利用预设的投影变换矩阵将采集的原始图像和二值化差值图像中的标准参考物变换到俯视视角，其中利用俯视的原始图像进行动作回放与检验，利用俯视的差值图像判断人体是否触发预警条件；
再次，跟踪人体关键点的相对位置坐标，以及关键点所形成的角度，找到测试者的接触设定位置瞬间，用该时刻的图像分析测试者的落地动作，用离开设定位置和接触设定位置之间的图像分析人体的运动过程。
进一步的，本方案公开了一种基于实时图像处理的人体动作标准判定装置，用于执行一种基于实时图像处理的人体动作标准判定方法。
进一步的，本方案公开了一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器用于执行一种基于实时图像处理的人体动作标准判定方法。
进一步的，本方案公开了一种服务器，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行一种基于实时图像处理的人体动作标准判定方法。
进一步的，本方案公开了一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现一种基于实时图像处理的人体动作标准判定方法。
相对于现有技术，本发明所述的一种基于实时图像处理的人体动作标准判定方法及装置具有以下优势：
（1）本发明所述的一种基于实时图像处理的人体动作标准判定方法及装置，将关键点坐标作为参考，融合姿态分析和图像处理手段，提高了系统的精度和稳定性。
（2）本发明所述的一种基于实时图像处理的人体动作标准判定方法及装置，针对部分场地光照不均匀、明暗区域对比度过大的问题，采用基于深度学习的高动态范围成像方法进行处理，得到明暗均匀的高质量图像；采用基于卷积神经网络的人体检测算法，检测出画面中的多个人体，并将整个图像分割成仅包含一个人体的图像块，从而实现多人同时处理。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将结合实施例来详细说明本发明。
本申请设计了一种基于实时图像处理的人体动作标准判定系统，可用于多种运动项目的判定，包括计数类（如跳绳）、测距类（如跳远）和计时类（如跑步）等。系统具有自学习、使用便捷、测量精度高等特点，可用于多种运动项目的自动测量与记录，并可以对测试者的动作进行技术数据分析。可广泛应用于体育运动项目的测试、健身锻炼指导、病人运动康复等领域。
该系统由一个主机、一台或多台摄像机、外部标准参考物等组成。若是计数类或测距类项目，需要一台摄像机；若是计时类项目，需要多台摄像机，用来检测起点、终点、过程点等。外部标准参考物在特定项目中使用，如在立定跳远和仰卧起坐等项目中可以使用测试垫，也可以利用测试场地上画的测试线。主机与摄像机之间可采用有线或无线连接，也可以采用将二者集成在一起的嵌入式设备；摄像机可以固定在三脚架上，也可以根据实际测试场地条件进行固定； 外部标准参考物放置于摄像机的视野中偏下的位置，参考物应完整地出现在相机视野中，且其长边尽量与图像水平方向平行。
摄像机用于拍摄测试的全过程，并得到连续的图像序列。主机用于处理图像序列，得到测试数据，并分析测试者的动作，给出分析结果。
在搭建系统时，首先采用标准图像板对摄像机的内部参数和畸变系数进行标定，利用该参数可以对采集的图像进行去畸变处理，进而提高测量的精度。在放置外部标准参考物时，时刻查看摄像机采集的实时图像，调整摄像机与标准参考物的位置，使得标准参考物完整地出现在相机视野中靠下的位置，并尽量保证标准参考物长边与图像的水平方向平行，以提高测量的精度。可令算法在实时采集的图像中画一条水平线，以辅助标准参考物的摆放。摆放妥当后，算法可自动识别出标准参考物的标准点在图像中的位置，也可以采用人工点击鼠标的方式确定标准参考物标准点的位置。利用该位置坐标，可以得到一个投影变换矩阵：
用于将摄像机采集的斜视图像变换成俯视，从而方便后续的测量。变换公式如下：
其中[u,v]为原图中的像素点，[x,y]是变换后的像素点。
针对计数类运动项目的测量，本系统采用自学习的方法实现，因此在实际测试前需要进行训练。例如针对仰卧起坐项目，采集大量坐起和躺下两种状态的图像；针对引体向上项目，采集上杠和手臂伸直两种状态的图像。利用卷积神经网络提取图像中的三维人体骨架关键点，形成特征向量并转换为适合 k-NN分类器的数据，并使用这些数据形成训练集，完成分类算法的训练。
在实际测量时，具体步骤如下：
1）摄像机实时采集测试过程中的图像数据，主机算法处于待机模式；
2）测试者来到相机前方进行人脸识别，或者采用IC卡、二维码等其他方式识别身份，识别到身份后系统进入唤醒模式，并执行以下步骤；
3）根据测试场地的光照强度，自动调整摄像机的曝光时间；根据相机标定结果对图像进行去畸变处理，再进行高斯平滑滤掉传感器的观测噪声；
4）针对部分场地光照不均匀、明暗区域对比度过大的问题，采用基于深度学习的高动态范围成像（High Dynamic Range, HDR）方法进行处理，得到明暗均匀的高质量图像；具体来说，用一个编码器网络对输入的原始彩色图像进行转换，得到图像空间上下文的紧凑特征表示；用一个在对数域中运行的HDR解码器网络对编码后的特征进行处理，得到重建的HDR图像。编码器网络由若干卷积层和最大池化层构成，解码器网络使用反卷积层实现双线性上采样，编码器和解码器之间添加了若干跳跃连接，用于在编码器和解码器中的高层和低层特征之间传输数据，避免高分辨率图像细节信息的丢失。
5）采用基于卷积神经网络的人体检测算法，检测出画面中的多个人体，并将整个图像分割成仅包含一个人体的图像块，从而实现多人同时处理；具体来说，对摄像机采集的原始彩色图像进行归一化和像素转换等预处理；利用多个卷积层和池化层提取图像的多尺度特征，从而检测图像中不同大小的目标；使用全连接层将提取的特征图映射成包含人体的边界框和对应的预测概率；使用非极大值抑制方法来去除重叠的且概率较小的预测结果；使用最终保留下来的边界框对原始图像进行分割，得到若干包含单个人体的图像块。
6）采用预置的基于深度学习的人体关键点提取算法对每个分割的图像块进行处理，提取人体三维关键点信息，再对关键点坐标进行滤波处理；具体来说，将前一个步骤中得到的每一个图像块通过一个前馈过程生成不同尺寸的特征图；使用一个自顶向下的上采样模块将这些特征图结合起来；使用一个包含多个卷积层的金字塔形状的多分支结构，从不同的层次上提取各种尺度的特征；将不同尺寸的特征图拼接在一起，并处理得到每个关键点的热力图。将从连续的图像帧中提取的每一个关键点坐标保存在一个数组中，在分析当前帧的关键点坐标时，从数组中提取出若干个相邻的关键点，并采用中值滤波的方法得到最终的关键点坐标。
7）通过人体关键点坐标，判断测试者是否进入测试区；测试者可通过举起手臂等姿态与主机进行动作指令的交互，也可以通过语音的方式与主机进行交互；
8）主机发出准备动作指令，对于计时类项目以及需要限定时间的计数类项目，在发出开始指令后开始计时；
9）对于计数类项目，采用训练好的分类器对摄像机采集的实时图像进行分类，监测到一个完整的动作后计数值加一；
对于测距类和计时类项目，继续执行以下步骤：
10）将摄像机采集的每一帧图像与第一帧图像做差，并进行二值化操作，得到二值化差值图像；
11）利用系统搭建时得到的投影变换矩阵，将摄像机采集的原始图像和二值化差值图像中的起跑线、起跳线等标准参考物变换到俯视视角，其中俯视的原始图像可用于动作回放与检验，俯视的差值图像用于判断测试者是否踩线或抢跑犯规；
12）截取俯视的二值化插值图像中起跳线或起跑线附近的图像区域，进行是否踩线或抢跑的判断；可进行形态学操作，并提取连通区域，以减少噪声的影响；若检测到踩线或抢跑，进行声音提醒；
13）对于计时类项目，对终点处摄像机采集的图像同样进行步骤10-12的处理，判断测试者是否超过终点线，并记录相应赛道的测试结果；
对于测距类项目（如跳远），继续执行以下步骤：
14）通过分析人体关键点的相对位置坐标，以及关键点所形成的角度，找到测试者的起跳瞬间，用该时刻的图像分析测试者的起跳动作，且在此之后不再判断是否踩线；
15）跟踪人体关键点的相对位置坐标，以及关键点所形成的角度，找到测试者的落地瞬间，用该时刻的图像分析测试者的落地动作，用起跳和落地之间的图像分析测试者的跳跃过程；
16）在落地瞬间，提取俯视的二值化差值图像中测试者脚周围的图像区域，找到距离起跳线最近的像素点，通过俯视图与真实标准参考物的比例关系即可换算出测试者的跳远数据，而不需要进行三维坐标的计算；将该点变换回原图，并在原图上画出与起跳线平行的直线，从而更直观地展示测试结果；
17）在检测到测试者落地后，再持续监测2秒钟，判断测试者是否存在撤步或跌倒等情况，若出现该情况则更新跳远数据，否则直接播报跳远成绩；
18）测试者向前走出测试垫，完成测试，并可查看动作回放及动作分析报告。
19）系统保存测试数据，完整视频、关键帧、错误帧数据、技术动作数据等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于实时图像处理的人体动作标准判定方法，其特征在于：
利用图像采集单元采集包含人体动作的连续的图像数据；
利用处理单元根据连续的图像数据分析人体动作，得出分析结果；
其中，在利用图像采集单元采集包含人体动作的连续的图像数据时，若采集环境存在光照不均匀、明暗区域对比度大的问题，采用基于深度学习的高动态范围成像方法进行处理，得到明暗均匀的高质量图像；
针对采集的图像数据，利用基于卷积神经网络的人体检测算法，检测出画面中的多个人体，并将整个图像分割成仅包含一个人体的图像块，从而实现多人同时处理；
针对得到的若干包含单个人体的图像块，采用预置的基于深度学习的人体关键点提取算法对每个分割的图像块进行处理，提取人体三维关键点信息，再对关键点坐标进行滤波处理；
在需要测量人体移动距离或需要测量人体移动指定距离所用时间时，执行下述步骤：
首先，通过图像采集单元将采集的连续两帧图像转换成灰度图并作差，再进行二值化操作，得到二值化差值图像；
其次，利用预设的投影变换矩阵将采集的原始图像和二值化差值图像中的标准参考物变换到俯视视角，其中利用俯视的原始图像进行动作回放与检验，利用俯视的差值图像判断人体是否触发预警条件；
最后，跟踪人体关键点的相对位置坐标，以及关键点所形成的角度，找到测试者的接触设定位置瞬间，用该时刻的图像分析测试者的落地动作，用离开设定位置和接触设定位置之间的图像分析人体的运动过程。
2.根据权利要求1所述的一种基于实时图像处理的人体动作标准判定方法，其特征在于，所述在利用图像采集单元采集包含人体动作的连续的图像数据时，若存在采集画面的场地光照不均匀、明暗区域对比度大的问题，采用基于深度学习的高动态范围成像方法进行处理，得到明暗均匀的高质量图像，具体包括：
首先，利用编码器网络对输入的原始彩色图像进行转换，得到图像空间上下文的紧凑特征表示；
然后，利用在对数域中运行的HDR解码器网络对编码后的紧凑特征表示进行处理，得到重建的HDR图像；
其中，编码器网络包括若干卷积层和最大池化层，解码器网络使用反卷积层实现双线性上采样，在编码器和解码器之间添加了若干跳跃连接，用于在编码器和解码器中的高层和低层特征之间传输数据，避免高分辨率图像细节信息的丢失。
3.根据权利要求2所述的一种基于实时图像处理的人体动作标准判定方法，其特征在于，所述针对采集的图像数据，利用基于卷积神经网络的人体检测算法，检测出画面中的多个人体，并将整个图像分割成仅包含一个人体的图像块，从而实现多人同时处理，具体包括：
对摄像机采集的原始彩色图像进行归一化和像素转换预处理；
针对预处理后的图像，利用多个卷积层和池化层提取图像的多尺度特征，从而检测图像中不同大小的目标；
使用全连接层将提取的多尺度特征映射成包含人体的边界框和对应的预测概率；
针对得到的预测概率，使用非极大值抑制方法来去除重叠的且概率较小的预测结果；
使用最终保留下来的边界框对原始图像进行分割，得到若干包含单个人体的图像块。
4.根据权利要求3所述的一种基于实时图像处理的人体动作标准判定方法，其特征在于，所述针对得到的若干包含单个人体的图像块，采用预置的基于深度学习的人体关键点提取算法对每个分割的图像块进行处理，提取人体三维关键点信息，再对关键点坐标进行滤波处理，具体包括：
首先，将得到的每一个图像块进行不同尺度的缩放，得到若干不同尺寸的图像，将这些不同尺寸的图像输入前馈神经网络进而生成不同尺寸的特征图；
其次，使用最近邻插值法依次将上一层的特征图上采样到下一层特征图的大小并进行加权融合，从而将不同尺度的特征图结合，得到结合后的特征图；
再次，针对结合后的特征图，使用包含多个卷积层的金字塔形状的多分支结构，从不同的层次上提取各种尺度的特征，得到包含不同层次的特征图；
再次，将包含不同层次的特征图在通道维度上进行堆叠，以增加特征图的深度，从而让网络学习不同空间位置的特征，并将它们在同一层级上进行融合，并处理得到每个关键点的热力图；
最后，针对得到的热力图，从连续的图像帧中提取的每一个关键点坐标保存在一个数组中，在分析当前帧的关键点坐标时，从数组中提取出若干个相邻的关键点，并采用中值滤波的方法得到最终的关键点坐标。
5.一种基于实时图像处理的人体动作标准判定装置，其特征在于：用于执行权利要求1-4任一所述的一种基于实时图像处理的人体动作标准判定方法。
6.一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，其特征在于：所述处理器用于执行上述权利要求1-4任一所述的一种基于实时图像处理的人体动作标准判定方法。
7.一种服务器，其特征在于：包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如权利要求1-4任一所述的一种基于实时图像处理的人体动作标准判定方法。
8.一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-4任一所述的一种基于实时图像处理的人体动作标准判定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311384470.8A CN117115926B (zh) | 2023-10-25 | 2023-10-25 | 一种基于实时图像处理的人体动作标准判定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311384470.8A CN117115926B (zh) | 2023-10-25 | 2023-10-25 | 一种基于实时图像处理的人体动作标准判定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115926A CN117115926A (zh) | 2023-11-24 |
| CN117115926B true CN117115926B (zh) | 2024-02-06 |
Family
ID=88813209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311384470.8A Active CN117115926B (zh) | 2023-10-25 | 2023-10-25 | 一种基于实时图像处理的人体动作标准判定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115926B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608421A (zh) * | 2015-12-18 | 2016-05-25 | 中国科学院深圳先进技术研究院 | 一种人体动作的识别方法及装置 |
| CN109799928A (zh) * | 2017-11-16 | 2019-05-24 | 清华大学深圳研究生院 | 投影触摸板中用户手指参数的获取方法和系统 |
| CN109919013A (zh) * | 2019-01-28 | 2019-06-21 | 浙江英索人工智能科技有限公司 | 视频图像中基于深度学习的人脸检测方法及装置 |
| CN110991340A (zh) * | 2019-12-03 | 2020-04-10 | 郑州大学 | 一种基于图像压缩的人体动作分析方法 |
| WO2021042547A1 (zh) * | 2019-09-04 | 2021-03-11 | 平安科技（深圳）有限公司 | 行为识别方法、装置及计算机可读存储介质 |
| CN113780205A (zh) * | 2021-09-14 | 2021-12-10 | 北京理工大学 | 一种跨视角信息融合人体姿态估计与空间定位方法 |
| WO2022000426A1 (zh) * | 2020-06-30 | 2022-01-06 | 中国科学院自动化研究所 | 基于孪生深度神经网络的动目标分割方法及系统 |
| WO2022022368A1 (zh) * | 2020-07-28 | 2022-02-03 | 宁波环视信息科技有限公司 | 基于深度学习的监所行为规范检测装置及方法 |
| CN114419842A (zh) * | 2021-12-31 | 2022-04-29 | 浙江大学台州研究院 | 一种基于人工智能的辅助用户至智能马桶的跌倒报警方法及装置 |
| CA3136990A1 (en) * | 2020-10-29 | 2022-04-29 | 10353744 Canada Ltd. | PRINCIPAL POINT DETECTION METHOD OF A HUMAN BODY, APPARATUS, COMPUTER DEVICE AND STORAGE MEDIA |
| WO2022135594A1 (zh) * | 2020-12-25 | 2022-06-30 | 北京灵汐科技有限公司 | 目标物体的检测方法及装置、融合处理单元、介质 |
| CN114708647A (zh) * | 2022-02-28 | 2022-07-05 | 厦门农芯数字科技有限公司 | 一种基于实例分割的多人体姿态估计检测及分割优化方法及装置 |
| CN115689962A (zh) * | 2022-11-14 | 2023-02-03 | 合肥工业大学 | 一种基于多尺度自编码器的多曝光图像融合方法 |
| WO2023051244A1 (zh) * | 2021-09-29 | 2023-04-06 | 北京字跳网络技术有限公司 | 图像生成方法、装置、设备及存储介质 |
| CN116324899A (zh) * | 2020-09-30 | 2023-06-23 | 谷歌有限责任公司 | 基于机器学习模型的增强的照片重新照明 |
-
2023
- 2023-10-25 CN CN202311384470.8A patent/CN117115926B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608421A (zh) * | 2015-12-18 | 2016-05-25 | 中国科学院深圳先进技术研究院 | 一种人体动作的识别方法及装置 |
| CN109799928A (zh) * | 2017-11-16 | 2019-05-24 | 清华大学深圳研究生院 | 投影触摸板中用户手指参数的获取方法和系统 |
| CN109919013A (zh) * | 2019-01-28 | 2019-06-21 | 浙江英索人工智能科技有限公司 | 视频图像中基于深度学习的人脸检测方法及装置 |
| WO2021042547A1 (zh) * | 2019-09-04 | 2021-03-11 | 平安科技（深圳）有限公司 | 行为识别方法、装置及计算机可读存储介质 |
| CN110991340A (zh) * | 2019-12-03 | 2020-04-10 | 郑州大学 | 一种基于图像压缩的人体动作分析方法 |
| WO2022000426A1 (zh) * | 2020-06-30 | 2022-01-06 | 中国科学院自动化研究所 | 基于孪生深度神经网络的动目标分割方法及系统 |
| WO2022022368A1 (zh) * | 2020-07-28 | 2022-02-03 | 宁波环视信息科技有限公司 | 基于深度学习的监所行为规范检测装置及方法 |
| CN116324899A (zh) * | 2020-09-30 | 2023-06-23 | 谷歌有限责任公司 | 基于机器学习模型的增强的照片重新照明 |
| CA3136990A1 (en) * | 2020-10-29 | 2022-04-29 | 10353744 Canada Ltd. | PRINCIPAL POINT DETECTION METHOD OF A HUMAN BODY, APPARATUS, COMPUTER DEVICE AND STORAGE MEDIA |
| WO2022135594A1 (zh) * | 2020-12-25 | 2022-06-30 | 北京灵汐科技有限公司 | 目标物体的检测方法及装置、融合处理单元、介质 |
| CN113780205A (zh) * | 2021-09-14 | 2021-12-10 | 北京理工大学 | 一种跨视角信息融合人体姿态估计与空间定位方法 |
| WO2023051244A1 (zh) * | 2021-09-29 | 2023-04-06 | 北京字跳网络技术有限公司 | 图像生成方法、装置、设备及存储介质 |
| CN114419842A (zh) * | 2021-12-31 | 2022-04-29 | 浙江大学台州研究院 | 一种基于人工智能的辅助用户至智能马桶的跌倒报警方法及装置 |
| CN114708647A (zh) * | 2022-02-28 | 2022-07-05 | 厦门农芯数字科技有限公司 | 一种基于实例分割的多人体姿态估计检测及分割优化方法及装置 |
| CN115689962A (zh) * | 2022-11-14 | 2023-02-03 | 合肥工业大学 | 一种基于多尺度自编码器的多曝光图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于加权多尺度网络和强化学习的视频对象分割;骆文青;中国优秀硕士学位论文全文数据库信息科技辑(第05期);全文 * |
| 游泳运动员姿势识别校正方法研究与仿真;刘桥;;计算机仿真(第04期);全文 * |
| 运动物体图像测试技术研究;徐连美;中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115926A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102014104B1 (ko) | 초음파 검사 시스템 및 초음파 검사 방법 | |
| CN102525381B (zh) | 图像处理装置、图像处理方法及计算机可读取的记录装置 | |
| US20220114839A1 (en) | Behavior prediction method and apparatus, gait recognition method and apparatus, electronic device, and computer-readable storage medium | |
| US9183431B2 (en) | Apparatus and method for providing activity recognition based application service | |
| WO2009148092A1 (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
| CN109145696B (zh) | 一种基于深度学习的老人跌倒检测方法及系统 | |
| KR102074406B1 (ko) | 영상 랜드마크 분류 장치 및 방법 | |
| JP2009531935A (ja) | 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法 | |
| WO2012117392A1 (en) | Device, system and method for determining compliance with an instruction by a figure in an image | |
| CN104463240B (zh) | 一种仪表定位方法及装置 | |
| CN115661453B (zh) | 一种基于下视角相机的塔吊吊物检测分割方法及系统 | |
| CN105718931A (zh) | 用于确定采集图像中的杂斑的系统和方法 | |
| CN111461222B (zh) | 目标物轨迹相似度的获取方法、装置及电子设备 | |
| CN115346197A (zh) | 一种基于双向视频流的驾驶员分心行为识别方法 | |
| CN109697409B (zh) | 一种运动图像的特征提取方法及起立动作图像的识别方法 | |
| CN113749646A (zh) | 基于单目视觉的人体身高测量方法、装置及电子设备 | |
| CN102148919B (zh) | 一种球类检测的方法及系统 | |
| CN117115926B (zh) | 一种基于实时图像处理的人体动作标准判定方法及装置 | |
| CN117237990A (zh) | 群养猪只体重的估测方法、装置、电子设备及存储介质 | |
| CN112924037A (zh) | 基于图像配准的红外体温检测系统及检测方法 | |
| CN115620079A (zh) | 样本标签的获取方法和镜头失效检测模型的训练方法 | |
| CN115601538A (zh) | 目标检测方法及目标检测器、系统和介质 | |
| CN112966700A (zh) | 一种毫米波图像目标检测方法 | |
| CN113449617A (zh) | 轨道安全检测方法、系统、装置和存储介质 | |
| CN112257667A (zh) | 一种小型船只检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |