CN116469175B - 一种幼儿教育可视化互动方法及系统 - Google Patents
一种幼儿教育可视化互动方法及系统 Download PDFInfo
- Publication number
- CN116469175B CN116469175B CN202310729290.2A CN202310729290A CN116469175B CN 116469175 B CN116469175 B CN 116469175B CN 202310729290 A CN202310729290 A CN 202310729290A CN 116469175 B CN116469175 B CN 116469175B
- Authority
- CN
- China
- Prior art keywords
- infant
- key point
- key
- coordinates
- scaling factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 59
- 230000000007 visual effect Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000013139 quantization Methods 0.000 claims abstract description 21
- 230000036544 posture Effects 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004394 hip joint Anatomy 0.000 description 3
- 210000000629 knee joint Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 210000003857 wrist joint Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及可视化交互领域，具体涉及一种幼儿教育可视化互动方法及系统，获取幼儿优化图像；根据SimDR姿态检测算法计算幼儿各关键点的编码坐标，并得到各关键点的预测点坐标；计算各关键点在不同缩放因子下的初步量化误差及优化预测置信度，根据优化预测置信度获取各关键点的初始缩放因子；根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度，进而计算各关键点的自适应缩放因子并提取幼儿优化图像中的幼儿各关键点；计算幼儿姿态与标准库中幼儿姿态匹配度；将匹配度最高对应的姿态作为幼儿姿态，实现幼儿姿态的识别及可视化互动过程。从而幼儿教育可视化互动过程，具有较高可视化互动效率。
Description
技术领域
本申请涉及可视化交互领域，具体涉及一种幼儿教育可视化互动方法及系统。
背景技术
随着以更加注重人与人之间的互动为特征的网络时代的到来，可视化交互方式应用越来越广泛。可视化交互方式改进我们访问信息或与信息交互的方式，可视化交互必须与人类互动，可视化可以让用户能够根据查询或者交互、互动过程实现探索、操作，比如根据人的身体姿态、手势以及单击按钮、移动滑块等来显示输入输出之间的真实关系，以便实现可视化的交互方式。
对于幼儿教育，可视化互动教学可以有助于培养幼儿的实践能力，可让幼儿主动参与教学互动过程，根据幼儿互动时身体姿态以及手势等信息，来完成幼儿教育过程的可视化互动效果，提高幼儿教育效率。
现有可采用姿态检测算法SimDR对幼儿图像中的关键点进行检测，以获取幼儿互动时身体姿态以及手势等信息。但是在采用姿态检测算法SimDR进行关键点检测时，通常是根据经验来设定固定的缩放因子，当该缩放因子设定的过小时，则影响关键点的预测精度，进而影响到幼儿教育可视化互动效果，而当该缩放因子设定的过大时，又会大幅度增加数据计算量，提高神经网络的训练成本。
发明内容
为了解决上述技术问题，本发明提供一种幼儿教育可视化互动方法及系统，以解决现有的问题。
本发明的一种幼儿教育可视化互动方法及系统采用如下技术方案：本发明一个实施例提供了一种幼儿教育可视化互动方法，该方法包括以下步骤：
摄像头采集幼儿图像，通过去噪增强得到幼儿优化图像；
设定SimDR姿态检测算法中缩放因子最大值、最小值，依次从缩放因子最小值开始，根据SimDR姿态检测算法以及缩放因子得到幼儿优化图像中幼儿各关键点的编码坐标，根据各关键点的编码坐标以及SimDR姿态检测算法的缩放因子得到幼儿优化图像中幼儿各关键点的预测点坐标；
根据幼儿优化图像中幼儿各关键点坐标以及各关键点的预测点坐标得到各关键点在不同缩放因子下对应的初步量化误差；根据各关键点在不同缩放因子下对应的初步量化误差得到各关键点在不同缩放因子下对应的预测置信度；根据各关键点的近邻关键点在不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度；将各关键点优化预测置信度最大对应的缩放因子作为各关键点的初始缩放因子；
根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度；根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子；通过各关键点的自适应缩放因子结合SimDR姿态检测算法以及CNN-based网络提取幼儿优化图像中的幼儿各关键点；
通过可视化互动时幼儿各种姿态得到标准库，根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度；将匹配度最高对应的姿态作为幼儿姿态，实现幼儿姿态的识别及可视化互动过程。
优选的，所述根据SimDR姿态检测算法以及缩放因子得到幼儿优化图像中幼儿各关键点的编码坐标，表达式为：式中，/>是关键点p编码后的坐标表示，/>为关键点p编码后的坐标，/>为四舍五入操作，/>为关键点p在幼儿优化图像中的坐标，k为缩放因子。
优选的，所述所述根据各关键点的编码坐标以及SimDR姿态检测算法的缩放因子得到幼儿优化图像中幼儿各关键点的预测点坐标，表达式为： 式中，/>为关键点p的预测点坐标，/>为取最大值操作，/>为缩放因子，/>为关键点p编码后的坐标。
优选的，所述根据幼儿优化图像中幼儿各关键点坐标以及各关键点的预测点坐标得到各关键点在不同缩放因子下对应的初步量化误差，表达式为：式中，/>为缩放因子为k时关键点p的初步量化误差，为取最大值操作，/>为关键点p的预测点坐标，/>为关键点p在幼儿优化图像中的坐标，/>为避免分母为零的极小值。
优选的，所述根据各关键点在不同缩放因子下对应的初步量化误差得到各关键点在不同缩放因子下对应的预测置信度，表达式为：式中，/>为缩放因子为k时关键点p的预测置信度，/>为缩放因子为k时关键点p的初步量化误差。
优选的，所述根据各关键点的近邻关键点在不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度，表达式为：式中，/>为关键点p的近邻关键点总数，/>为置信度截止值，/>为缩放因子为k时关键点p的预测置信度，/>为缩放因子为k时关键点i的预测置信度。
优选的，所述根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度，表达式为：式中，/>为关键点p的第n个移动速度，N为关键点的移动速度数量、移动方向数量，/>为关键点p的第n个移动方向，/>为关键点p的局部关注度。
优选的，所述根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子，表达式为：式中，/>为关键点p的自适应缩放因子，/>为缩放因子最大值、最小值，/>关键点p的初始缩放因子，/>为关键点p的局部关注度，/>为四舍五入取整函数。
优选的，所述根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度，表达式为：式中，/>为幼儿姿态与标准库中的姿态a的匹配度，P为幼儿关键点总数，/>为幼儿的关键点p，/>为标准库中姿态a的关键点p，/>为欧式距离符号。
第二方面，本发明提供了一种幼儿教育可视化互动系统，包括处理器和存储器，上述处理器用于处理存储在上述存储器中的指令，以实现上述的一种幼儿教育可视化互动方法。
本发明至少具有如下有益效果：
本发明通过可视化互动系统摄像头采集幼儿图像，根据对幼儿优化图像中各关键点的分析获取幼儿身体各关键点的自适应缩放因子，结合SimDR姿态检测算法以及CNN-based对幼儿身体各关键点进行精确检测提取，获取幼儿姿态信息，并根据幼儿姿态信息的匹配结果，对幼儿姿态进行识别，进而实现可视化交互过程；
本发明考虑到姿态检测算法SimDR在进行关键点检测时，缩放因子的设定将会对关键点的检测精度产生较大影响，并且对神经网络的训练难度具有一定的影响，本发明结合不同缩放因子下各关键点的优化预测置信度获取各关键点的初始缩放因子，解决了缩放因子固定设置以及人为随机选取的主观性，具有较高的适用性，同时，结合对各关键点的局部关注度的分析对各关键点对应的初始缩放因子进行优化，获取各关键点的自适应缩放因子，解决了缩放因子过小影响关键点的预测精度以及缩放因子过大神经网络训练成本高、计算量大等问题，本发明具有较高的检测精度以及具有较高可视化智能交互效率等有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明提供的一种幼儿教育可视化互动方法的流程图；
图2为幼儿身体关键点图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种幼儿教育可视化互动方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种幼儿教育可视化互动方法及系统的具体方案。
本发明一个实施例提供的一种幼儿教育可视化互动方法及系统。
具体的，本实施例的一种幼儿教育可视化互动方法及系统提供了如下的一种幼儿教育可视化互动方法，请参阅图1，该方法包括以下步骤：
步骤S001，通过摄像头采集幼儿图像。
首先，在可视化互动系统上安装摄像头，用于对用户图像进行采集，对于摄像头的安装角度以及安装位置实施者根据实际情况自行设置。本实施例中通过可视化互动系统的摄像头对幼儿图像进行采集，作为幼儿姿态检测特征提取的基础数据。
至此，即可通过可视化互动系统上的摄像头对幼儿进行图像采集，获取幼儿图像，用于对幼儿姿态进行检测分析，便于后续可视化交互过程。
步骤S002，对幼儿图像进行分析并特征提取，准确提取幼儿姿态信息。
对于采集的幼儿图像，在进行图像采集过程中，摄像头内部半导体等器件将产生不连续的散粒噪声以及低频噪声等，导致所采集的幼儿图像中存在大量的噪点，同时，图像采集过程中极易受到外界环境因素的影响，环境噪声对幼儿图像也会存在一定的影响，因此，为避免噪点对幼儿图像质量的影响，本实施例将采用中值滤波算法对幼儿图像进行去噪处理，并对去噪后的图像进行直方图均衡化，对幼儿图像进行增强处理，以提高幼儿图像对比度，便于对幼儿姿态状况进行准确检测。需要说明的是，中值滤波去噪以及直方图均衡化过程均为现有公知技术，不在本实施例保护范围内，在此不做一一详细阐述。为便于后续描述及分析，将去噪增强处理后的幼儿图像记为幼儿优化图像。
对于幼儿优化图像，为实现快速检测幼儿姿态信息，本实施例基于幼儿优化图像对幼儿关键点进行表征提取，对于身体关键点检测大多采用Heatmap-based方法（基于热图的方法），但是该方法在低分辨率的图像上掉点严重的情况；为提高精度，需要多个采样层来将特征图分辨率由低到高进行灰度，这个过程耗费大额开销以及更大的计算量；同时，还需要额外的后处理来减小尺度下降带来的量化误差等，因此，为降低系统计算量，提高幼儿关键点检测速度，保证检测精度，本实施例将采用姿态检测算法SimDR(SimpleDisentagled coordinate Representation)结合神经网络对关键点进行表征提取，将关键点坐标(x, y)用两条独立的、长度等于或高于原图片尺寸的一维向量进行表征，SimDR在CNN(convolutional neural network)-based和Transformer-based人体姿态估计模型上均取得了更好的表现。SimDR首先采用CNN-based卷积神经网络提取关键点表示，给定获得的关键点表示后，然后SimDR分别对垂直坐标和水平坐标进行坐标分类，以得到最终的关键点预测。
传统的Heatmap-based方法通过二维高斯分布生成高斯热图作为标签，监督模型输出，通过均方差损失函数来进行优化。而这种方法下得到的Heatmap（热图）尺寸往往是小于图片原尺寸的，因而最后通过argmax得到的坐标放大回原图中，会承受不可避免的量化误差，在这个过程中，姿态检测算法SimDR通过设置缩放因子k以解决由于坐标转换而产生严重量化误差的问题。以幼儿优化图像中幼儿的关键点p为例，通过编码后的坐标表示为：式中，/>是关键点p编码后的坐标表示，为关键点p编码后的坐标，/>为四舍五入操作，/>为关键点p在幼儿优化图像中的坐标，/>为缩放因子，缩放因子k的作用是将定位精度增强到比单个像素更小的级别；然后，对于关键点p编码完成的坐标/>，将编码坐标作为坐标分类器的输入，水平坐标分类器对坐标进行解码生成关键点p的横坐标/>，垂直坐标分类器对坐标解码生成关键点p的纵坐标/>，分类结果是从一维向量上的最大值点所在的位置除以缩放因子以还原定位关键点在幼儿优化图像中的预测位置，解码后关键点p的预测点坐标为： 式中，/>为关键点p的解码坐标，也即关键点p在幼儿优化图像中对应的预测点坐标，/>为取最大值操作，/>为缩放因子，/>为关键点p编码后的坐标。需要说明的是，对于幼儿关键点的位置实施者可自行确定，本实施例中使用SimDR姿态检测算法进行幼儿关键点的检测，关键点包括左右眼、左右耳、鼻子、颈、左右肩、左右肘关节、左右腕关节、左右髋关节、左右膝关节、左右踝关节。
考虑到SimDR姿态检测算法结合卷积神经网络在进行关键点检测时，缩放因子的设定会对关键点的坐标产生影响，目前大多通过人为设定固定的缩放因子，但是，对于SimDR姿态检测算法在进行不同关键点的预测时，由于关键点位置不同因此量化误差会具有较大差异，设置固定的缩放因子具有较强主观性且无法根据关键点的自身特征属性对缩放因子进行自适应设定，导致关键点的定位出现误差，影响幼儿姿态信息，因此，为提高幼儿关键点的检测提取精度，保证幼儿姿态检测准确性，本实施例将对关键点预测过程中的缩放因子进行自适应设定，SimDR姿态检测算法缩放因子自适应设定过程具体为：
为防止缩放因子过大过小导致幼儿关键点预测不准确的问题，本实施例将设定缩放因子范围，缩放因子范围实施者可自行设定，本实施例设置为。首先，依次从最小缩放因子开始结合SimDR对幼儿关键点进行预测，获取幼儿各关键点对应的预测点，根据幼儿各关键点的标签以及各关键点的预测点得到各关键点在不同缩放因子下所对应的初步量化误差：/>式中，/>为缩放因子为k时关键点p的初步量化误差，/>为取最大值操作，/>为关键点p的解码坐标，也即关键点p在幼儿优化图像中对应的预测点坐标，/>为关键点p在幼儿优化图像中的坐标，/>为避免分母为零的极小值，实施者可自行设定，本实施例设置为；然后，本实施例将根据各关键点的初步量化误差对各关键点的预测置信度进行计算，关键点的预测置信度表达式为：/>式中，/>为缩放因子为k时关键点p的预测置信度，/>为缩放因子为k时关键点p的初步量化误差，/>用于对/>进行归一化处理，实施者也可采用其他归一化方式。考虑到对于人体来说，不同关键点位置之间的关系是存在固定约束的，关键点之间会存在影响，对于某个关键点，当其近邻关键点的预测置信度较低时，则该关键点的预测置信度也将会出现一定的偏差，因此，本实施例将根据各关键点的近邻关键点不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度，表达式为：/>式中，/>为关键点p的近邻关键点总数，/>为缩放因子为k时关键点p的预测置信度，/>为缩放因子为k时关键点i的预测置信度，/>为置信度截止值，实施者可自行设置，本实施例设置为/>。需要说明的是关键点的近邻关键点实施者根据情况可自行设定，本实施例中，将与关键点直接相连的关键点均作为关键点的近邻关键点，如图2，关键点1的近邻关键点包括0,2,5,8,11，共五个近邻关键点，需要说明的是，图2中数字0-17分别代表幼儿关键点，具体为：0代表鼻子，1代表颈，2、5代表左右肩，3、6代表左右肘关节，4、7代表左右腕关节，8、11代表左右髋关节，9、12代表左右膝关节，10、13代表左右踝关节，14、15代表左右眼，16、17代表左右耳；重复上述方法，依次获取不同缩放因子下各关键点的优化预测置信度；关键点的优化预测置信度越大，则对应缩放因子下关键点的预测精度越高，也即关键点检测越准确，因此，本实施例中将各关键点优化预测置信度最大对应的缩放因子作为各关键点的初始缩放因子；重复上述方法，获取每个关键点的初始缩放因子；进一步，考虑到仅根据关键点的预测位置差异对关键点的缩放因子进行设定，具有一定的局限性，没有综合考虑幼儿身体姿态之间的关系，为提高幼儿身体关键点缩放因子自适应设定效果，保证各关键点检测精度的同时降低关键点检测提取过程中的计算量，降低神经网络训练成本，本实施例将对于关键点的局部关注度进行分析，对于不同的动作来说，对幼儿身体不同关键点的调度是不同的，比如与上半身相关的手势等动作时，对于左右肩关节、肘关节以及腕关节的调动较多，而对幼儿的髋关节、膝关节等位置的调动较少，因此可以根据不同动作对幼儿身体不同关键点的局部关注度进行检测，局部关注度不同的关键点在进行预测时预测误差差异较大，同时，对于缩放因子，当缩放因子越小时，神经网络训练速度快成本低，但是将会影响关键点的预测精度；而缩放因子越大，则神经网络输出的一维向量越长，预测精度会有所提升，但是神经网络的训练成本高，计算量大，因此，本实施例中将进一步根据各关键点的局部关注度对关键点的缩放因子进行自适应调控，局部关注度高的关键点赋予更大的缩放因子，以提高定位精度；对于局部关注度低的关键点可以自适应的缩小缩放因子，以提供更大的动作变形空间，降低模型的训练难度以训练成本。当实现某一动作时，若对某个关键点位置的位移和移动方向变化越大，则应对该关键点赋予更高的关注；对于当前分析的幼儿图像，选取其后连续多帧的N张图像并进行相同的去噪及增强处理，因此，共有N+1张连续的幼儿优化图像。然后计算各关键点在相邻幼儿优化图像的移动速度和移动方向，则每个关键点可得到N个移动速度及移动方向，需要说明的是，关键点的移动速度以及移动方向的计算为现有公知技术，本实施例中关键点的移动方向为：相邻两帧对应关键点的连线与水平线的夹角作为该关键点的移动方向，根据各关键点在连续多帧的移动速度以及移动方向得到关键点的局部关注度，表达式为：/>式中，/>为关键点p的第n个移动速度，N为关键点移动速度数量、移动方向数量，/>为关键点p的第n个移动方向，/>为关键点p的局部关注度，关键点在时序上的变化程度越大，则关键点调动程度越大，对于幼儿姿态检测中的重要性越高，需要越高的预测精度；
根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子，自适应缩放因子表达式为：式中，/>为关键点p的自适应缩放因子，/>为缩放因子最大值、最小值，/>为关键点p的初始缩放因子，/>为关键点p的局部关注度，/>为四舍五入取整函数，作用为保证缩放因子为正整数，符合缩放因子取值要求；重复上述方法，获取各关键点所对应的自适应缩放因子，可实现对幼儿身体各关键点检测的缩放因子进行自适应设定，具有较高的适用性，可提高关键点检测精度同时保证神经网络的训练速度，降低训练成本。
获取各关键点的自适应缩放因子后，通过CNN-based网络结合SimDR姿态检测算法完成幼儿关键点的检测提取，并得到幼儿身体姿态信息，需要说明的是， CNN-based网络结合SimDR姿态检测算法提取幼儿身体关键点以及得到幼儿身体姿态信息的具体过程为现有公知技术，不在本实施例保护范围内，在此不做一一详细阐述。
步骤S003，根据所提取的幼儿姿态信息，实现幼儿教育可视化互动过程。
根据本实施例上述幼儿关键点提取过程以及幼儿身体姿态信息，本实施例将对幼儿姿态进行匹配识别，以实现可视化交互过程。为实现对幼儿姿态的准确检测，本实施例将构建标准库，标准库中包含可视化互动时幼儿的各种姿态，通过本发明上述方法对可视化互动时幼儿各种姿态图像的关键点进行提取，得到幼儿各种姿态图像对应的关键点检测图像，构成标准库，需要说明的是，幼儿教育可视化互动幼儿姿态的设定实施者可自行选取，标准库的构建过程为现有技术，在此不做一一详细阐述。根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度，幼儿姿态匹配度表达式为：式中，/>为幼儿姿态与标准库中的姿态a的匹配度，P为幼儿关键点总数，/>为幼儿的关键点p，/>为标准库中的姿态a的关键点p，/>为欧式距离，匹配度越大，则幼儿姿态与对应标准库中的姿态的相似度越高；
重复上述方法，获取幼儿姿态与标准库中各个姿态的匹配度，将匹配度最高对应的姿态作为幼儿姿态，根据幼儿姿态的识别结果，完成相应的输出，实现可视化互动过程。
综上所述，本发明实施例通过可视化互动系统摄像头采集幼儿图像，根据对幼儿优化图像中各关键点的分析获取幼儿身体各关键点的自适应缩放因子，结合SimDR姿态检测算法以及CNN-based对幼儿身体各关键点进行精确检测提取，获取幼儿姿态信息，并根据幼儿姿态信息的匹配结果，对幼儿姿态进行识别，进而实现可视化交互过程；
本发明实施例考虑到姿态检测算法SimDR在进行关键点检测时，缩放因子的设定将会对关键点的检测精度产生较大影响，并且对神经网络的训练难度具有一定的影响，本发明实施例结合不同缩放因子下各关键点的优化预测置信度获取各关键点的初始缩放因子，解决了缩放因子固定设置以及人为随机选取的主观性，具有较高的适用性，同时，结合对各关键点的局部关注度的分析对各关键点对应的初始缩放因子进行优化，获取各关键点的自适应缩放因子，解决了缩放因子过小影响关键点的预测精度以及缩放因子过大神经网络训练成本高、计算量大等问题，本发明实施例具有较高的检测精度以及可视化智能交互等有益效果。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。
Claims (5)
1.一种幼儿教育可视化互动方法，其特征在于，该方法包括以下步骤：
摄像头采集幼儿图像，通过去噪增强得到幼儿优化图像；
设定SimDR姿态检测算法中缩放因子最大值、最小值，依次从缩放因子最小值开始，根据SimDR姿态检测算法以及缩放因子得到幼儿优化图像中幼儿各关键点的编码坐标，根据各关键点的编码坐标以及SimDR姿态检测算法的缩放因子得到幼儿优化图像中幼儿各关键点的预测点坐标；
根据幼儿优化图像中幼儿各关键点坐标以及各关键点的预测点坐标得到各关键点在不同缩放因子下对应的初步量化误差；根据各关键点在不同缩放因子下对应的初步量化误差得到各关键点在不同缩放因子下对应的预测置信度；根据各关键点的近邻关键点在不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度；将各关键点优化预测置信度最大对应的缩放因子作为各关键点的初始缩放因子；
根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度；根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子；通过各关键点的自适应缩放因子结合SimDR姿态检测算法以及CNN-based网络提取幼儿优化图像中的幼儿各关键点；
通过可视化互动时幼儿各种姿态得到标准库，根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度；将匹配度最高对应的姿态作为幼儿姿态，实现幼儿姿态的识别及可视化互动过程；
所述根据幼儿优化图像中幼儿各关键点坐标以及各关键点的预测点坐标得到各关键点在不同缩放因子下对应的初步量化误差，表达式为：式中，/>为缩放因子为k时关键点p的初步量化误差，/>为取最大值操作，/>为关键点p的预测点坐标，/>为关键点p在幼儿优化图像中的坐标，/>为避免分母为零的极小值；
所述根据各关键点在不同缩放因子下对应的初步量化误差得到各关键点在不同缩放因子下对应的预测置信度，表达式为：
式中，/>为缩放因子为k时关键点p的预测置信度，/>为缩放因子为k时关键点p的初步量化误差；
所述根据各关键点的近邻关键点在不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度，表达式为：式中，/>为关键点p的近邻关键点总数，/>为置信度截止值，/>为缩放因子为k时关键点p的预测置信度，/>为缩放因子为k时关键点i的预测置信度；
所述根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度，表达式为：
式中，/>为关键点p的第n个移动速度，N为关键点的移动速度数量、移动方向数量，/>为关键点p的第n个移动方向，/>为关键点p的局部关注度；
所述根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子，表达式为：
式中，/>为关键点p的自适应缩放因子，/>为缩放因子最大值、最小值，/>为关键点p的初始缩放因子，/>为关键点p的局部关注度，/>为四舍五入取整函数。
2.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据SimDR姿态检测算法以及缩放因子得到幼儿优化图像中幼儿各关键点的编码坐标，表达式为：式中，/>是关键点p编码后的坐标表示，为关键点p编码后的坐标，/>为四舍五入操作，/>为关键点p在幼儿优化图像中的坐标，k为缩放因子。
3.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据各关键点的编码坐标以及SimDR姿态检测算法的缩放因子得到幼儿优化图像中幼儿各关键点的预测点坐标，表达式为： 式中，/>为关键点p的预测点坐标，/>为取最大值操作，/>为缩放因子，/>为关键点p编码后的坐标。
4.如权利要求1所述的一种幼儿教育可视化互动方法，其特征在于，所述根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度，表达式为：
式中，/>为幼儿姿态与标准库中的姿态a的匹配度，P为幼儿关键点总数，/>为幼儿的关键点p，/>为标准库中姿态a的关键点p，/>为欧式距离符号。
5.一种幼儿教育可视化互动系统，其特征在于，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现所述权利要求1-4中任一项所述的一种幼儿教育可视化互动方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310729290.2A CN116469175B (zh) | 2023-06-20 | 2023-06-20 | 一种幼儿教育可视化互动方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310729290.2A CN116469175B (zh) | 2023-06-20 | 2023-06-20 | 一种幼儿教育可视化互动方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116469175A CN116469175A (zh) | 2023-07-21 |
| CN116469175B true CN116469175B (zh) | 2023-08-29 |
Family
ID=87184674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310729290.2A Active CN116469175B (zh) | 2023-06-20 | 2023-06-20 | 一种幼儿教育可视化互动方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116469175B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200129883A (ko) * | 2019-05-10 | 2020-11-18 | 주식회사 위힐드 | 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템 |
| WO2021007859A1 (zh) * | 2019-07-18 | 2021-01-21 | 华为技术有限公司 | 一种人体姿态估计方法及装置 |
| CN113435236A (zh) * | 2021-02-20 | 2021-09-24 | 哈尔滨工业大学（威海） | 居家老人姿态检测方法、系统、存储介质、设备及应用 |
| WO2021248815A1 (zh) * | 2020-06-13 | 2021-12-16 | 德派(嘉兴)医疗器械有限公司 | 一种高精度的儿童坐姿检测与矫正方法及装置 |
| CN114170672A (zh) * | 2021-10-27 | 2022-03-11 | 华东师范大学 | 一种基于计算机视觉的课堂学生行为识别的方法 |
| WO2022089360A1 (zh) * | 2020-10-28 | 2022-05-05 | 广州虎牙科技有限公司 | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 |
| CN115105845A (zh) * | 2022-07-14 | 2022-09-27 | 青岛黄海学院 | 一种防止孩童误吞的小颗粒积木玩具 |
| CN115331153A (zh) * | 2022-10-12 | 2022-11-11 | 山东省第二人民医院(山东省耳鼻喉医院、山东省耳鼻喉研究所) | 一种用于辅助前庭康复训练的姿态监测方法 |
| CN115462783A (zh) * | 2022-10-12 | 2022-12-13 | 南昌航空大学 | 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统 |
| CN115909487A (zh) * | 2022-11-04 | 2023-04-04 | 西安电子科技大学 | 一种基于人体姿态检测的儿童步态异常评估辅助系统 |
| CN116129129A (zh) * | 2022-10-09 | 2023-05-16 | 南京恩博科技有限公司 | 一种人物交互检测模型及检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4571763B2 (ja) * | 2001-07-18 | 2010-10-27 | 株式会社新川 | 画像処理装置、およびボンディング装置 |
| US10229215B2 (en) * | 2016-09-26 | 2019-03-12 | Disney Enterprises, Inc. | Visualisation and navigation of transmedia content data |
-
2023
- 2023-06-20 CN CN202310729290.2A patent/CN116469175B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200129883A (ko) * | 2019-05-10 | 2020-11-18 | 주식회사 위힐드 | 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템 |
| WO2021007859A1 (zh) * | 2019-07-18 | 2021-01-21 | 华为技术有限公司 | 一种人体姿态估计方法及装置 |
| WO2021248815A1 (zh) * | 2020-06-13 | 2021-12-16 | 德派(嘉兴)医疗器械有限公司 | 一种高精度的儿童坐姿检测与矫正方法及装置 |
| WO2022089360A1 (zh) * | 2020-10-28 | 2022-05-05 | 广州虎牙科技有限公司 | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 |
| CN113435236A (zh) * | 2021-02-20 | 2021-09-24 | 哈尔滨工业大学（威海） | 居家老人姿态检测方法、系统、存储介质、设备及应用 |
| CN114170672A (zh) * | 2021-10-27 | 2022-03-11 | 华东师范大学 | 一种基于计算机视觉的课堂学生行为识别的方法 |
| CN115105845A (zh) * | 2022-07-14 | 2022-09-27 | 青岛黄海学院 | 一种防止孩童误吞的小颗粒积木玩具 |
| CN116129129A (zh) * | 2022-10-09 | 2023-05-16 | 南京恩博科技有限公司 | 一种人物交互检测模型及检测方法 |
| CN115331153A (zh) * | 2022-10-12 | 2022-11-11 | 山东省第二人民医院(山东省耳鼻喉医院、山东省耳鼻喉研究所) | 一种用于辅助前庭康复训练的姿态监测方法 |
| CN115462783A (zh) * | 2022-10-12 | 2022-12-13 | 南昌航空大学 | 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统 |
| CN115909487A (zh) * | 2022-11-04 | 2023-04-04 | 西安电子科技大学 | 一种基于人体姿态检测的儿童步态异常评估辅助系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于视频的实时多人姿态估计方法;闫芬婷;王鹏;吕志刚;丁哲;乔梦雨;;激光与光电子学进展(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116469175A (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| US8917907B2 (en) | Continuous linear dynamic systems | |
| CN108038420B (zh) | 一种基于深度视频的人体行为识别方法 | |
| WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
| WO2022267641A1 (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| Jalal et al. | Depth Silhouettes Context: A new robust feature for human tracking and activity recognition based on embedded HMMs | |
| Jalal et al. | Human depth sensors-based activity recognition using spatiotemporal features and hidden markov model for smart environments | |
| CN112767554B (zh) | 一种点云补全方法、装置、设备及存储介质 | |
| CN113920013B (zh) | 一种基于超分辨率的小图像多目标检测方法 | |
| CN111199207B (zh) | 基于深度残差神经网络的二维多人体姿态估计方法 | |
| CN114565655B (zh) | 一种基于金字塔分割注意力的深度估计方法及装置 | |
| CN104050488A (zh) | 一种基于切换的卡尔曼滤波模型的手势识别方法 | |
| CN107704813B (zh) | 一种人脸活体识别方法及系统 | |
| CN110458235B (zh) | 一种视频中运动姿势相似度比对方法 | |
| CN110751039A (zh) | 多视图3d人体姿态估计方法及相关装置 | |
| Uddin et al. | Human Activity Recognition via 3-D joint angle features and Hidden Markov models | |
| CN106778576B (zh) | 一种基于sehm特征图序列的动作识别方法 | |
| CN105069767A (zh) | 基于表征学习与邻域约束嵌入的图像超分辨重构方法 | |
| CN112906520A (zh) | 一种基于姿态编码的动作识别方法及装置 | |
| CN116469175B (zh) | 一种幼儿教育可视化互动方法及系统 | |
| CN115393964B (zh) | 基于BlazePose的健身动作识别方法及装置 | |
| CN115331153B (zh) | 一种用于辅助前庭康复训练的姿态监测方法 | |
| CN109409246B (zh) | 基于稀疏编码的加速鲁棒特征双模态手势意图理解方法 | |
| CN115205750B (zh) | 基于深度学习模型的运动实时计数方法和系统 | |
| CN116758212A (zh) | 基于自适应去噪算法的3d重建方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |