CN116778571A - 驼背检测方法、装置、电子设备及计算机可读存储介质 - Google Patents

驼背检测方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116778571A
CN116778571A CN202310523774.1A CN202310523774A CN116778571A CN 116778571 A CN116778571 A CN 116778571A CN 202310523774 A CN202310523774 A CN 202310523774A CN 116778571 A CN116778571 A CN 116778571A
Authority
CN
China
Prior art keywords
humpback
detected
key point
image set
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310523774.1A
Other languages
English (en)
Inventor
卢骏
丛会苹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Pixel Intelligent Technology Co ltd
Original Assignee
Shenzhen Super Pixel Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Pixel Intelligent Technology Co ltd filed Critical Shenzhen Super Pixel Intelligent Technology Co ltd
Priority to CN202310523774.1A priority Critical patent/CN116778571A/zh
Publication of CN116778571A publication Critical patent/CN116778571A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种驼背检测方法、装置、电子设备及计算机可读存储介质，其中，驼背检测方法，包括：获取第一摄像装置采集的图像集，其中，所述第一摄像装置包括至少两个摄像头，所述图像集包括所述至少两个摄像头同时采集的图像；利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度；根据所述驼背关键点位置、所述驼背关键点位置的置信度和预设姿态特征公式得到所述待检测对象的姿态特征向量；将所述待检测对象的姿态特征向量输入至训练的驼背检测模型，得到所述待检测对象的驼背检测结果。上述驼背检测方法、装置、电子设备及计算机可读存储介质可以无需用户穿戴装置就可以及时准确地进行驼背检测。

Description

驼背检测方法、装置、电子设备及计算机可读存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种驼背检测方法、装置、电子设备及计算机可读存储介质。
背景技术
驼背是一种非常常见的脊柱姿态异常表现，驼背检测所涵盖的科学内容涉及脊柱外科学、运动医学、肌电检测等多个领域。目前市面上主流的驼背检测方法，均是通过穿戴式设备通过外力控制实现的，此类方法一方面，需要拥护长期穿戴装置受外力束缚，不利于骨骼正常生长发育，另一方面依赖于特殊穿戴装置，适用性不高限制了使用场景，难以达到科学的驼背矫正的目的，即无法更及时地在不同场景中进行驼背检测，降低了驼背检测效果。
发明内容
本申请实施例提供一种驼背检测方法、装置、电子设备及计算机可读存储介质，可实现无需用户穿戴装置就可以及时准确地进行驼背检测的目的。
本申请实施例一方面提供了一种驼背检测方法，包括：
获取第一摄像装置采集的图像集，其中，所述第一摄像装置包括至少两个摄像头，所述图像集包括所述至少两个摄像头同时采集的图像；
利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度；
根据所述驼背关键点位置、所述驼背关键点位置的置信度和预设姿态特征公式得到所述待检测对象的姿态特征向量；
将所述待检测对象的姿态特征向量输入至训练的驼背检测模型，得到所述待检测对象的驼背检测结果。
本申请实施例一方面还提供了一种驼背检测装置，包括：
图像获取模块，用于获取第一摄像装置采集的图像集，其中，所述第一摄像装置包括至少两个摄像头，所述图像集包括所述至少两个摄像头同时采集的图像；
关键点检测模块，用于利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度；
特征提取模块，用于根据所述驼背关键点位置、所述驼背关键点位置的置信度和预设姿态特征公式得到所述待检测对象的姿态特征向量；
驼背检测模块，用于将所述待检测对象的姿态特征向量输入至训练的驼背检测模型，得到所述待检测对象的驼背检测结果。
本申请实施例一方面还提供了一种电子设备，包括：存储器和处理器；所述存储器存储有可执行程序代码；与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行程序代码，执行如上述实施例提供的驼背检测方法。
本申请实施例一方面还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时，执行如上述实施例提供的驼背检测方法。
从上述本申请各实施例可知，通过获取第一摄像装置采集的图像集，其中，所述第一摄像装置包括至少两个摄像头，所述图像集包括所述至少两个摄像头同时采集的图像；利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度；进而根据所述驼背关键点位置、所述驼背关键点位置的置信度和预设姿态特征公式得到所述待检测对象的姿态特征向量；再将所述待检测对象的姿态特征向量输入至训练的驼背检测模型，得到所述待检测对象的驼背检测结果。本申请实施例无需用户穿戴特殊装置，通过不同的训练的模型依次进行处理能够快速准确地识别是否存在驼背，从而实现无需用户穿戴装置就可以及时准确地进行驼背检测的目的。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的驼背检测方法的实现流程图；
图2为本申请一实施例提供的驼背检测装置的结构示意图；
图3为本申请一实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为本申请一实施例提供的驼背检测方法的实现流程图。该方法可应用于电子设备中，该电子设备可以为便携式的或固定安装于预置位置的，如图1所示，该方法具体包括：
步骤S11，获取第一摄像装置采集的图像集，其中，所述第一摄像装置包括至少两个摄像头，所述图像集包括所述至少两个摄像头同时采集的图像；
本实施例中，摄像装置包括至少两个相互独立或者存在硬件连接的摄像头。例如，第一摄像装置为双摄装置，该双摄装置是包含两个摄像头组成的一套硬件装置。
具体的，当第一摄像装置采集图像时，第一摄像装置的至少两个摄像头同时采集图像，例如，第一摄像装置的至少两个摄像头在待检测对象的正对面固定，同时采集包含待检测对象的图像。
本实施例中，图像集包含一组或者至少两组至少两个摄像头同时采集的图像。例如，第一摄像装置包含第一摄像头和第二摄像头，图像集包含第一摄像头在A时刻采集的A1图像，以及包含第二摄像头在A时刻采集的A2图像。又比如，第一摄像装置包含第一摄像头和第二摄像头，图像集包含第一摄像头在B时间段内不同时刻采集的多张图像，并且包含第二摄像头在B时间段内与第一摄像头相同时刻采集的多张图像。
具体的，本实施例中，图像集中至少两张对应的图像(即至少两个摄像头在相同时刻采集的图像)包括待检测对象。
进一步的，在本发明一可选实施例中，所述获取第一摄像装置采集的图像集之后，所述方法还包括：
对所述图像集中的图像进行降噪处理。
通过对图像集中的图像进行降噪处理，可以提高所述图像集中图像的可识别性，进而提高驼背检测的效率。
步骤S12，利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度；
具体的，驼背关键点的数量可以为四个(驼背关键点为如左肩关键点、右肩关键点、颈部关键点、头部关键点)，即得到四个驼背关键点位置(如左肩关键点位置、右肩关键点位置、颈部关键点位置、头部关键点位置)以及每个驼背关键点位置的置信度(如得到的某个驼背关键点位置的置信度为0.85)。
进一步的，在本发明一可选实施例中，所述利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度，包括：
通过YOLO模型识别所述图像集中待检测对象的数量；
若所述图像集中目标图像内的待检测对象的数量大于预设数量，对所述目标图像进行抠图处理；
通过训练的驼背关键点检测模型检测抠图处理之后的目标图像内的待检测对象的驼背关键点位置以及所述目标图像内的待检测对象的驼背关键点位置的置信度。
本实施例中，YOLO模型具体可以为YOLO2模型或者YOLO3模型。通过YOLO模型可以快速地同时识别图像集中待检测对象的类型以及待检测对象的数量。
具体的，预设数量可以为大于等于2的任意数值。
对目标图像进行抠图处理包括通过贝叶斯抠图算法进行抠图处理。
例如，图像中人物的数量大于2时，则对图像中每个人进行分别抠图处理，得到每个人的图像，再对每个人的图像分别通过训练的驼背关键点检测模型进行检测，得到每个人的驼背关键点位置以及驼背关键点位置的置信度。
本实施例中，通过YOLO模型和抠图处理，可以快速地对复杂的图像进行识别，并清楚地标记复杂图像中每个待检测对象的驼背关键点位置以及关键点位置的置信度。
本实施例中，待检测对象可以为青年、老人、儿童等不同年龄、不同性别的人。例如，待检测图像集中为儿童的正面的图像，或者，儿童的侧面的图像。
本实施例中，训练的驼背关键点检测模型是通过训练得到的，训练的驼背关键点检测模型可以用于对图像中待检测对象的驼背关键点进行识别。
具体的，驼背关键点位置包括驼背关键点的坐标。
进一步的，在本发明一可选实施例中，所述利用训练的驼背关键点检测模型检测所述图像中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度之前，所述方法还包括：
获取第二摄像装置采集的第一样本图像集，其中，所述第一摄像装置包括至少两个第二摄像头，所述第一样本图像集包括多张由所述第二摄像装置的至少两个第二摄像头同时采集的第一样本图像；
标记所述第一样本图像中第一对象的关键点位置；
将多张所述第一样本图像作为预置的深度神经网络模型的输入数据，将多张所述第一样本图像中第一对象的关键点位置作为所述预置的深度神经网络模型的输出数据，训练所述预置的深度神经网络模型，得到所述训练的驼背关键点检测模型。
本实施例中，第二摄像装置可以是与第一摄像装置相同或者不同的摄像装置。类似的，第二摄像装置也包括至少两个摄像头，该至少两个摄像头可以是相互独立的，也可以是存在硬件连接的。
本实施例中，第一样本图像集中多张第一样本图像可以是多个连续或者不连续的时间段内由第二摄像装置的至少两个第二摄像头同时采集到的处于不同场景的不同人群处于不同姿态的图像。
本实施例中，第一对象为第一样本图像中的待检测对象，例如，第一对象为第一样本中的人物。第一对象的关键点位置是指第一样本图像中第一对象的关键点的位置，关键点是待检测对象的某些部位的采样点。具体的，关键点可以包括头部关键点(如头顶的采样点)、左肩关键点、右肩关键点，或者，关键点还可以包括下巴关键点、颈部关键点(如脖子与胸锁骨连接处位置的采样点)、背部关键点、左肩关键点或右肩关键点。
进一步的，在本发明一可选实施例中，所述获取第二摄像装置采集的第一样本图像集，包括：
获取第二摄像装置采集的样本视频，对所述样本视频中多帧图像进行去重复处理；
对去重复处理后得到的多帧图像进行类型识别，得到多帧图像中图像主体对象的类型和姿态；
确定包含不同姿态以及不同类型的主体对象的多帧图像组成第一样本图像集。
本实施例中，样本视频的数量可以为一个或多个。对样本视频进行去重复处理包括，将拍摄时间间隔小于预设时间间隔(例如，预设时间间隔为5秒)的图像进行删除。由于样本视频是连续拍摄的，时间间隔较短时可能存在相同或者相似姿态，此时，删除相同或者相似姿态的图像，能够减少冗余，提高第一样本图像集的质量，提高训练模型的效率。
本实施例中，主体对象的类型可以为不同年龄段的人物，例如，儿童、青年、中年、老年等。主体对象的姿态包括站立姿态、坐立姿态、行走姿态。
具体的，可以通过预设的人物识别算法对样本视频中不同帧图像进行类型识别，也可以直接获取样本视频中不同帧图像的类型标记信息直接识别不同帧图像中的图像主体对象的类型和姿态。
具体的，包含不同姿态以及不同类型的主体对象的多帧图像是指，每帧图像之间包含相同或不同的主体对象以及主体对象的相同或不同姿态，或者，某一帧或者多帧图像中，包含相同或者不同的多个主体对象以及相同或不同姿态。
由于第一样本图像集包含不同姿态以及不同类型的主体对象，因此，训练的驼背关键点检测模型具有很好的泛化能力，从而能够提高训练的驼背关键点检测模型检测的准确度。
进一步的，在本发明一可选实施例中，所述标记所述第一样本图像中第一对象的关键点位置，包括：
获取对所述第二摄像装置进行标定得到的所述第二摄像装置的摄像参数，所述摄像参数包括至少两个摄像头的焦距F、所述至少两个摄像头之间的双摄中心距b、以及第一对象的各个关键点在至少两个摄像头之间的视差d；
根据预设深度计算公式，计算各个关键点的深度Z，其中，预设深度计算公式Zx＝F*b/dx，其中，x表示关键点x，dx表示关键点x在至少两个摄像头之间的视差，Zx表示关键点x的深度(即关键点x距离第二摄像装置的深度；
获取从第一样本图像中检测到的第一对象的各个关键点的高度距离hx，将各个关键点的深度Z和高度距离h作为所述第一对象的关键点位置。
具体的，深度Zx是指关键点x距离采集第一样本图像的第二摄像装置的深度，高度距离hx是指关键点x距离采集第一样本图像的第二摄像装置的高度。
具体的，对第二摄像装置进行标定是指对第二摄像装置进行样图(包含拍摄对象)拍摄，采集样图拍摄的图像，确定拍摄到的样图与实际三维中的拍摄对象存在线性关系，根据多次拍摄的图像结果，计算至少两个摄像头的焦距F、所述至少两个摄像头之间的双摄中心距b、以及各个关键点在至少两个摄像头之间的视差d的值。
在本实施例中，将第一样本图像集和多张第一样本图像中第一对象的关键点位置(关键点位置即为关键点坐标)组合为训练数据对预置的深度神经网络模型进行训练，具体的，在训练时，将第一样本图像集作为预置的深度神经网络模型的输入数据，将多张第一样本图像中第一对象的关键点位置作为预置的深度神经网络模型的输出数据，从而对预置的深度神经网络模型进行有监督的学习，得到训练的驼背关键点检测模型，训练得到的驼背关键点检测模型能够对输入图像输出关键点坐标以及置信度。
具体的，深度神经网络模型可以是卷积神经网络(CNN)，也可以是递归神经网络(RNN)。例如，深度神经网络模型为卷积神经网络包括输入层、卷积层、池化层、激活函数层和全连接层。
步骤S13，根据所述驼背关键点位置、所述驼背关键点位置的置信度和预设姿态特征公式得到所述待检测对象的姿态特征向量；
具体的，预设姿态特征公式可以为：
α＝arctan(Δz/Δh)，其中：
Δz＝1/2*{(zA+zB)-(zC+zD)}
Δh＝1/3*{hA+hB+hD}-hC
其中，α为驼背检测夹角，A、B、C、D为待检测对象的四个不同位置的关键点，zA为关键点A距离第二摄像装置的深度，hA为关键点A距离第二摄像装置的高度；类似地zB为关键点B距离第二摄像装置的深度，hB为关键点B距离第二摄像装置的高度；zC为关键点C距离第二摄像装置的深度，hC为关键点C距离第二摄像装置的高度；zD为关键点D距离第二摄像装置的深度，以及hD为关键点D距离第二摄像装置的高度。
待检测对象的姿态特征向量为待检测对象的属性的集合，例如，姿态特征向量为待检测对象的各个关键点坐标、驼背检测夹角等参数的属性值。
步骤S14，将所述待检测对象的姿态特征向量输入至训练的驼背检测模型，得到所述待检测对象的驼背检测结果。
本实施例中，训练的驼背检测模型能够根据姿态特征向量识别待检测对象是否为驼背。具体的，驼背检测结果为，待检测对象存在驼背姿态，或者待检测对象不存在驼背姿态。
进一步的，在本发明一实施例中，将所述对待检测对象的姿态特征向量输入至训练的驼背检测模型之前，所述方法还包括：
获取第二摄像装置采集的第一样本图像集，其中，所述第一摄像装置包括至少两个第二摄像头，所述第一样本图像集包括多张由所述第二摄像装置的至少两个第二摄像头同时采集的第一样本图像；
标记所述第一样本图像中第一对象的关键点位置；
将多张所述第一样本图像作为预置的深度神经网络模型的输入数据，将多张所述第一样本图像中第一对象的关键点位置作为预置的深度神经网络模型的输出数据，训练所述预置的深度神经网络模型，得到所述训练的驼背关键点检测模型。
本实施例中，所述第二样本图像是与第一样本图像不同的图像的集合，具体的，第二样本图像可以是由第一摄像装置或者第二摄像装置采集的，也可以是由与第一摄像装置和第二摄像装置不相同的包含至少两个摄像头的摄像装置采集的，在采集图像时，至少两个摄像头同时启动采集图像。
本实施例中，第二样本图像集中多张第二样本图像可以是多个连续或者不连续的时间段内采集到的处于不同场景的不同人群处于不同姿态的图像。
本实施例中，训练的驼背关键点检测模型检测和预设姿态特征公式可以是与上文描述一致的，上文已作详尽描述，此处不再赘述。
在本实施例中，将第二样本对象的姿态特征向量和第二样本图像集的驼背标注组合为训练数据对预置的分类器模型进行训练，具体的，在训练时，将第二样本对象的姿态特征向量作为预置的分类器模型的输入数据，将第二样本图像集的驼背标注作为预置的分类器模型的输出数据，从而对预置的分类器模型进行有监督的学习，得到训练的驼背检测模型，训练得到的驼背检测模型能够基于输入的图像输出图像中待检测对象的驼背检测结果。
并且，在进行训练时，可以将训练数据按照预设比例(例如，八比二或者七比三的比例)划分为用于训练预置的分类器模型数据、和用于训练的分类器模型的数据，以提高预置的分类器模型训练的准确率。
本实施例中，分类器模型可以是线性分类器，也可以是非线性分类器。例如，分类器模型可以为贝叶斯分类器或者为支持向量机。进一步的，在本发明另一实施例中，所述得到所述待检测对象的驼背检测结果之后，所述方法还包括：
若所述驼背检测结果为所述待检测对象存在驼背姿态，获取所述待检测对象的类型；
根据所述待检测对象的类型发送提醒消息或者更新所述待检测对象的生活计划数据。
本实施例中，待检测对象的类型可以是待检测对象处于不同环境做不同事情的类型，例如待检测对象的类型是成人在运动场馆运动的类型，或者是儿童在桌子前做作业的类型。
具体的，根据所述待检测对象的类型发送提醒消息，包括：向待检测对象发送姿态纠正提醒消息。
通过发送提醒消息能够使待检测对象及时纠正姿态，避免长时间驼背。
进一步的，在本发明另一实施例中，所述根据所述待检测对象的类型发送提醒消息或者更新所述待检测对象的生活计划数据，包括：
若所述待检测对象的类型为儿童类型，向与所述待检测对象关联的智能终端发送提醒消息，或者，获取所述待检测对象的运动计划数据，在所述运动计划数据中增加背部锻炼的提醒计划；
若所述待检测对象的类型为成人类型，向所述待检测对象的智能终端发送提醒消息，或者，获取所述待检测对象的提醒消息计划数据，在所述提醒消息计划数据中增加预设时间间隔的驼背提醒消息。
本实施例中，与待检测对象关联的智能终端可以是待检测对象的家长，或者是待检测对象的家庭医生。当待检测对象的类型为儿童类型时，向与待检测对象关联的智能终端发送提醒消息，可以提醒待检测对象或者是关注待检测对象的主体了解待检测对象的驼背情况。并且，可以增加待检测对象的背部锻炼计划，从而从长远上降低目标儿童的驼背出现率。
本实施例中，当待检测对象的类型为成人时，直接向该成人的智能终端发送提醒消息，以使该成人主动的进行姿态矫正，并增加预设时间间隔(例如，十分钟或者十五分钟)的驼背提醒消息，从而能够持续提醒该成人，以使得较少的检测(如一次或者两次检测)就能够长时间提醒纠正驼背姿态。
本申请实施例中，通过获取第一摄像装置采集的图像集，其中，所述第一摄像装置包括至少两个摄像头，所述图像集包括所述至少两个摄像头同时采集的图像；利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度；进而根据所述驼背关键点位置、所述驼背关键点位置的置信度和预设姿态特征公式得到所述待检测对象的姿态特征向量；再将所述待检测对象的姿态特征向量输入至训练的驼背检测模型，得到所述待检测对象的驼背检测结果。本申请实施例无需用户穿戴特殊装置，通过不同的训练的模型依次进行处理能够快速准确地识别是否存在驼背，从而实现无需用户穿戴装置就可以及时准确地进行驼背检测的目的。
参见图2，本申请一实施例提供的驼背检测装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。该装置可设置于电子设备中，该电子设备可以为便携式的或固定安装于预置位置的。该装置包括：
图像获取模块201，用于获取第一摄像装置采集的图像集，其中，所述第一摄像装置包括至少两个摄像头，所述图像集包括所述至少两个摄像头同时采集的图像；
关键点检测模块202，用于利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度；
特征提取模块203，用于根据所述驼背关键点位置、所述驼背关键点位置的置信度和预设姿态特征公式得到所述待检测对象的姿态特征向量；
驼背检测模块204，用于将所述待检测对象的姿态特征向量输入至训练的驼背检测模型，得到所述待检测对象的驼背检测结果。
本申请实施例中，通过获取第一摄像装置采集的图像集，其中，所述第一摄像装置包括至少两个摄像头，所述图像集包括所述至少两个摄像头同时采集的图像；利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度；进而根据所述驼背关键点位置、所述驼背关键点位置的置信度和预设姿态特征公式得到所述待检测对象的姿态特征向量；再将所述待检测对象的姿态特征向量输入至训练的驼背检测模型，得到所述待检测对象的驼背检测结果。本申请实施例无需用户穿戴特殊装置，通过不同的训练的模型依次进行处理能够快速准确地识别是否存在驼背，从而实现无需用户穿戴装置就可以及时准确地进行驼背检测的目的。
参见图3，本申请一实施例提供的电子设备的硬件结构示意图。
示例性的，电子设备可以为移动或便携式并执行无线通信的各种类型的计算机系统设备中的任何一种。具体的，电子设备可以为移动电话或智能电话(例如，基于iPhoneTM，基于Android TM的电话)，便携式游戏设备(例如Nintendo DS TM，PlayStationPortable TM，Gameboy Advance TM，iPhone TM)、膝上型电脑、PDA、便携式互联网设备、音乐播放器以及数据存储设备，其他手持设备以及诸如手表、耳机、吊坠、耳机等，电子设备还可以为其他的可穿戴设备(例如，诸如电子眼镜、电子衣服、电子手镯、电子项链、电子纹身、电子设备或智能手表的头戴式设备(HMD))。
电子设备还可以是多个电子设备中的任何一个，多个电子设备包括但不限于蜂窝电话、智能电话、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、照相机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器，便携式医疗设备以及数码相机及其组合。
在一些情况下，电子设备可以执行多种功能(例如，播放音乐，显示视频，存储图片以及接收和发送电话呼叫)。如果需要，电子设备可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备、听筒设备或其他紧凑型便携式设备的便携式设备。
如图3所示，电子设备10可以包括控制电路，该控制电路可以包括存储和处理电路30。该存储和处理电路30可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路30中的处理电路可以用于控制电子设备10的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。
存储和处理电路30可用于运行电子设备10中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol，VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示器上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备10中的其它功能等，本申请实施例不作限制。
进一步的，该存储器存储有可执行程序代码，与该存储器耦合的处理器，调用该存储器中存储的该可执行程序代码，执行如上述图1所示实施例中描述的驼背检测方法。
其中，该可执行程序代码包括如上述图2所示实施例中描述的驼背检测装置中的各个模块，例如：图像获取模块、关键点检测模块、特征提取模块和驼背检测模块。
电子设备10还可以包括输入输出电路42。输入输出电路42可用于使电子设备10实现数据的输入和输出，即允许电子设备10从外部设备接收数据和也允许电子设备10将数据从电子设备10输出至外部设备。输入输出电路42可以进一步包括传感器32。传感器32可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等。
输入输出电路42还可以包括一个或多个显示器，例如显示器14。显示器14可以包括液晶显示器，有机发光二极管显示器，电子墨水显示器，等离子显示器，使用其它显示技术的显示器中一种或者几种的组合。显示器14可以包括触摸传感器阵列(即，显示器14可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。
电子设备10还可以包括音频组件36。音频组件36可以用于为电子设备10提供音频输入和输出功能。电子设备10中的音频组件36可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。
通信电路38可以用于为电子设备10提供与外部设备通信的能力。通信电路38可以包括模拟和数字输入/输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路38中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路38中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路38可以包括近场通信天线和近场通信收发器。通信电路38还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。
电子设备10还可以进一步包括电池，电力管理电路和其它输入输出单元40。输入输出单元40可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。
用户可以通过输入输出电路42输入命令来控制电子设备10的操作，并且可以使用输入输出电路42的输出数据以实现接收来自电子设备10的状态信息和其它输出。
进一步的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子设备中，该计算机可读存储介质可以是前述图3所示实施例中的存储和处理电路30中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1所示实施例中描述的驼背检测方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的驼背检测方法、装置及计算机可读存储介质的描述，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种驼背检测方法，其特征在于，所述方法包括：
获取第一摄像装置采集的图像集，其中，所述第一摄像装置包括至少两个摄像头，所述图像集包括所述至少两个摄像头同时采集的图像；
利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度；
根据所述驼背关键点位置、所述驼背关键点位置的置信度和预设姿态特征公式得到所述待检测对象的姿态特征向量；
将所述待检测对象的姿态特征向量输入至训练的驼背检测模型，得到所述待检测对象的驼背检测结果。
2.根据权利要求1所述的方法，其特征在于，所述利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度之前，所述方法还包括：
获取第二摄像装置采集的第一样本图像集，其中，所述第一摄像装置包括至少两个第二摄像头，所述第一样本图像集包括多张由所述第二摄像装置的至少两个第二摄像头同时采集的第一样本图像；
标记所述第一样本图像中第一对象的关键点位置；
将多张所述第一样本图像作为预置的深度神经网络模型的输入数据，将多张所述第一样本图像中第一对象的关键点位置作为所述预置的深度神经网络模型的输出数据，训练所述预置的深度神经网络模型，得到所述训练的驼背关键点检测模型。
3.根据权利要求2所述的方法，其特征在于，所述获取第二摄像装置采集的第一样本图像集，包括：
获取第二摄像装置采集的样本视频，对所述样本视频中多帧图像进行去重复处理；
对去重复处理后得到的多帧图像进行类型识别，得到多帧图像中图像主体对象的类型和姿态；
确定包含不同姿态以及不同类型的主体对象的多帧图像组成第一样本图像集。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述将所述待检测对象的姿态特征向量输入至训练的驼背检测模型之前，所述方法还包括：
获取第二样本图像集；
利用所述训练的驼背关键点检测模型检测所述第二样本图像集中第二样本对象的驼背关键点位置和所述第二样本对象的驼背关键点位置的置信度；
根据所述第二样本对象的驼背关键点位置、所述第二样本对象的驼背关键点位置的置信度和所述预设姿态特征公式得到所述第二样本对象的姿态特征向量；
将所述第二样本对象的姿态特征向量作为预置的分类器模型的输入数据，所述第二样本图像集的驼背标注作为预置的分类器模型的输出数据，训练所述预置的分类器模型，得到所述训练的驼背检测模型。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度，包括：
通过YOLO模型识别所述图像集中待检测对象的数量；
若所述图像集中目标图像内的待检测对象的数量大于预设数量，对所述目标图像进行抠图处理；
通过训练的驼背关键点检测模型检测抠图处理之后的目标图像内的待检测对象的驼背关键点位置以及所述目标图像内的待检测对象的驼背关键点位置的置信度。
6.根据权利要求1至3中任一项所述的方法，其特征在于，所述得到所述待检测对象的驼背检测结果之后，所述方法还包括：
若所述驼背检测结果为所述待检测对象存在驼背姿态，获取所述待检测对象的类型；
根据所述待检测对象的类型发送提醒消息或者更新所述待检测对象的生活计划数据。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待检测对象的类型发送提醒消息或者更新所述待检测对象的生活计划数据，包括：
若所述待检测对象的类型为儿童类型，向与所述待检测对象关联的智能终端发送提醒消息，或者，获取所述待检测对象的运动计划数据，在所述运动计划数据中增加背部锻炼的提醒计划；
若所述待检测对象的类型为成人类型，向所述待检测对象的智能终端发送提醒消息，或者，获取所述待检测对象的提醒消息计划数据，在所述提醒消息计划数据中增加预设时间间隔的驼背提醒消息。
8.一种驼背检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取第一摄像装置采集的图像集，其中，所述第一摄像装置包括至少两个摄像头，所述图像集包括所述至少两个摄像头同时采集的图像；
关键点检测模块，用于利用训练的驼背关键点检测模型检测所述图像集中待检测对象的驼背关键点位置以及所述驼背关键点位置的置信度；
特征提取模块，用于根据所述驼背关键点位置、所述驼背关键点位置的置信度和预设姿态特征公式得到所述待检测对象的姿态特征向量；
驼背检测模块，用于将所述待检测对象的姿态特征向量输入至训练的驼背检测模型，得到所述待检测对象的驼背检测结果。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器和处理器；
所述存储器存储有可执行程序代码；
与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行程序代码，执行如权利要求1至7中任一项所述的驼背检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的驼背检测方法。
CN202310523774.1A 2023-05-10 2023-05-10 驼背检测方法、装置、电子设备及计算机可读存储介质 Pending CN116778571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310523774.1A CN116778571A (zh) 2023-05-10 2023-05-10 驼背检测方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310523774.1A CN116778571A (zh) 2023-05-10 2023-05-10 驼背检测方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116778571A true CN116778571A (zh) 2023-09-19

Family

ID=87993876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310523774.1A Pending CN116778571A (zh) 2023-05-10 2023-05-10 驼背检测方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116778571A (zh)

Similar Documents

Publication Publication Date Title
CN108184050B (zh) 一种拍照方法、移动终端
WO2021136134A1 (zh) 视频处理方法、电子设备及计算机可读存储介质
CN111052047B (zh) 用于自动手势和手指识别的静脉扫描设备
US10924147B2 (en) Wearable device for transmitting a message comprising strings associated with a state of a user
CN108628985B (zh) 一种相册的处理方法及移动终端
CN109005336B (zh) 一种图像拍摄方法及终端设备
CN107734170B (zh) 一种通知消息处理方法、移动终端及穿戴设备
CN110286980A (zh) 一种日程创建方法及移动终端
CN108616772B (zh) 一种弹幕显示方法、终端和服务器
CN112416207B (zh) 信息内容显示方法、装置、设备及介质
CN111031234B (zh) 一种图像处理方法及电子设备
CN112614500B (zh) 回声消除方法、装置、设备及计算机存储介质
CN108334196A (zh) 一种文件处理方法及移动终端
CN109389564A (zh) 显示方法及电子装置
CN112329926B (zh) 智能机器人的质量改善方法及系统
CN111372029A (zh) 视频显示方法、装置及电子设备
CN111738100B (zh) 一种基于口型的语音识别方法及终端设备
CN109799912A (zh) 一种显示控制方法、设备及计算机可读存储介质
CN111091519B (zh) 一种图像处理方法及装置
CN110378318B (zh) 文字识别方法、装置、计算机设备及存储介质
CN109257489B (zh) 一种显示方法及移动终端
CN116549287B (zh) 艾灸装置控制方法、装置、设备及介质
CN116585177B (zh) 基于数据挖掘的艾灸装置控制方法、装置、设备及介质
CN108900688B (zh) 发声控制方法、装置、电子装置及计算机可读介质
CN108833791A (zh) 一种拍摄方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination