CN112807617A - 基于三维相机的跑步安全监测和指导方法和设备 - Google Patents

基于三维相机的跑步安全监测和指导方法和设备 Download PDF

Info

Publication number
CN112807617A
CN112807617A CN202110198838.6A CN202110198838A CN112807617A CN 112807617 A CN112807617 A CN 112807617A CN 202110198838 A CN202110198838 A CN 202110198838A CN 112807617 A CN112807617 A CN 112807617A
Authority
CN
China
Prior art keywords
target
dimensional
sporter
camera
safety
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110198838.6A
Other languages
English (en)
Inventor
董秀园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Jindong Intelligent Technology Co ltd
Original Assignee
Suzhou Jindong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Jindong Intelligent Technology Co ltd filed Critical Suzhou Jindong Intelligent Technology Co ltd
Priority to CN202110198838.6A priority Critical patent/CN112807617A/zh
Publication of CN112807617A publication Critical patent/CN112807617A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0093—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load the load of the exercise apparatus being controlled by performance parameters, e.g. distance or speed

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于三维相机的跑步安全监测和指导方法和设备。该方法包括：S1，通过三维相机获取目标运动者的运动图像和/或视频数据；S2，计算所述目标运动者的三维位置信息；S3，建立运动安全范围；S4，将所述目标运动者在某一时刻或预设时间段内的人体三维位置信息与建立的运动安全范围进行比较；以及S5，基于比较结果，向所述目标运动者提供反馈和/或调整跑步机模式。所述方法和设备能够实现对在跑带上跑步的用户的实时监测，使得用户能得到对于当前的跑步位置是否合适的反馈，并且基于该反馈进行随时调整，以及当用户超出运动安全范围时，及时调整跑步机模式，以防止用户出现意外。

Description

基于三维相机的跑步安全监测和指导方法和设备
技术领域
本发明总体上涉及跑步机领域，尤其涉及基于三维相机的跑步安全监测和指导方法和设备。
背景技术
随着人们物质生活的提高，更多的人越来越重视身体素质的提高。人们对身体健康的重视很多体现在健身方面。例如，人们通常使用跑步机在室内进行跑步锻炼，从而避免在恶劣的天气条件下或糟糕的路面上跑步。进行跑步的用户在使用跑步机时通常注意力不集中，往往不是特别注意身体处于跑步机的什么位置，因此存在摔出跑步机从而造成运动损伤的风险。为了防止上述情况的发生，传统的方法是设置一个“安全锁”，只有在磁铁的一端吸附在跑步机的面板上时，跑步机才可以正常运转。例如，在使用跑步机时，夹子(即，安全锁)一端夹在使用者的衣服上，另一端吸附在面板，一旦出现意外(例如，使用者摔倒)，由于夹子一端的拖拽使得其另一端从面板脱落，继而跑步机即可停止，从而保护了使用者人身安全。
然而，“安全锁”这个设计存在缺陷。一是需要用户操作，由于用户经常嫌麻烦而不佩戴“安全锁”进行跑步，从而当出现意外时，安全锁起不到作用。二是安全锁两端是靠一条固定长度的线连接，只有在用户与面板间距离超过线的长度时才会触发安全锁，然而用户在跑步机上不管是太前、太后、太左或太右都是存在一些安全隐患的，而现有技术无法及时提醒用户调整运动状态。
发明内容
鉴于上述技术问题，本公开内容提出了一种基于三维相机的跑步安全监测和指导方法，包括步骤：S1，通过三维相机获取目标运动者的运动图像和/或视频数据；S2，计算所述目标运动者的三维位置信息；S3，建立运动安全范围；S4，将所述目标运动者在某一时刻或预设时间段内的人体三维位置信息与建立的运动安全范围进行比较；以及S5，基于比较结果，向所述目标运动者提供反馈和/或调整跑步机模式。
在一个优选实施方式中，所述三维相机包括以下中的至少一种：时间飞行相机、结构光相机和双目相机。
在一个优选实施方式中，所述三维相机还包括三维相机和二维相机组合的图像数据采集装置，所述二维相机包括但不限于：普通彩色平面摄像头、红外摄像头或热成像仪。
在一个优选实施方式中，其中S2还包括：获取所述三维相机的拍摄参数，根据所述拍摄参数建立三维空间坐标系，其中所述拍摄参数包括以下至少一种：摄像机的方位、角度、高度、焦距和/或视角。所述三维坐标系的原点优选地设置在三维相机的镜头处。
在一个优选实施方式中，其中S2还包括：设定感兴趣的三维空间区域，所述感兴趣的三维空间区域从通过所述三维相机获取的三维数据信息中选择；以及从所述运动图像和/或视频数据中提取出所述目标运动者的位置信息。
在一个优选实施方式中，S2还包括以下中的至少一个：根据所述目标运动者相对于获取的所述运动图像中背景图像信息计算所述目标运动者的所述三维位置信息；或通过机器学习和/或深度学习的方法计算所述目标运动者的所述三维位置信息。
在一个优选实施方式中，S2还包括：确定所述目标运动者的感兴趣的身体部位的三维位置信息，其中所述感兴趣的身体部位包括针对不同应用的人体监测任务所需要的人体部位区域。
在又一优选实施方式中，S2还包括：将由所述三维相机获取的深度图像转换为三维点云图像。
在又一优选实施方式中，计算所述目标运动者的三维位置信息通过图像处理法或者机器/深度学习的方法实现，其中所述图像处理法是根据运动者相对于获取的图像中背景图像信息计算目标运动者的三维位置信息；以及所述机器/深度学习的方法是通过利用卷积神经网络的机器学习和/或深度学习方法进行身体关键特征部位的三维位置信息的监测。
在一个优选实施方式中，三维相机可以是平面相机与深度相机的组合，通过将由所述平面相机获取的平面图像生成的人体体态图与由所述三维相机获取的深度图像转换的三维点云图像进行处理，以重建目标用户的人体三维姿态信息；或者在多视角平面和/或三维相机组合的情况下，通过将图像数据采集装置在每个视角生成的人体体态图投射到所述三维空间坐标系中，以重建所述目标用户的所述人体三维姿态信息。所述人体体态图是通过姿态监测算法获取的身体关键特征部位在平面图像中的位置信息。
在一个优选实施方式中，所述运动安全范围是预先设定的至少一个三维空间范围。
在一个优选实施方式中，S4还包括以下步骤：计算所述目标运动者的所述三维位置信息相对所述运动安全范围的位置信息；以及评估所述目标运动者的运动安全性，其中评估所述运动安全性包括以下中的至少一个：判断所述目标运动者的三维位置信息是否超出所述运动安全范围，和/或在所述运动安全范围内距离所述运动安全范围的边界的距离越大，表示所述目标运动者的动作越安全，和/或超出所述运动安全范围的边界的距离越大，表示所述目标运动者的动作越不安全。
在一个优选实施方式中，判断所述目标运动者的三维位置信息是否超出运动安全范围；或计算所述目标运动者的感兴趣的身体部位的三维位置超出所述运动安全范围的距离，其中所述超出所述运动安全范围的距离越大表示越不安全。可以将计算出的距离求平均值，也可以求加权平均值，也可以基于超出运动安全范围的最大距离来评估安全性。
在一个优选实施方式中，S5还包括通过图像输出装置和/或麦克风装置，向所述目标运动者输出运动安全信息和/或跑步优化建议，所述运动安全信息和/或跑步优化建议以图像和/或报告和/或语音的形式反馈给所述目标运动者。所述运动安全信息包括跑步是否安全，身体和/或感兴趣部位是否超出所述运动安全范围，身体和/或感兴趣部位距离所述运动安全范围和/或超出所述运动安全范围的距离和/或相应的指标；所述跑步优化建议包括指导所述目标运动者回到所述运动安全范围的指令和/或使所述目标运动者调整身体和/或感兴趣部位的运动位置的指令，例如让身体相对于跑带往前、往后、往左、往右移动。
在一个优选实施方式中，所述调整跑步机模式包括通过控制器控制跑步机的运行参数，所述运行参数包括以下中的至少一个：速度、坡度、功能参数。所述功能参数包括跑步的时长、距离、消耗的卡路里、心率。
在本公开内容的一个方面，提供了一种基于三维相机的跑步安全监测和指导设备，包括：底座，所述底座上设置有跑台，所述跑台包括由驱动电机驱动的跑带和所述驱动电机；固定座，所述底座的一侧固定连接到所述固定座，所述固定座的外壳开有孔洞；相机保护罩，所述相机保护罩嵌入在所述孔洞中；三维相机和嵌入式处理器，所述三维相机和嵌入式处理器安装在所述固定座的内部设有的空腔中，所述嵌入式处理器与所述三维相机电连接，所述相机保护罩覆盖在所述三维相机上，并且所述三维相机的视野角度能够通过所述相机保护罩，并覆盖运动区域；控制器，所述控制器与所述嵌入式处理器电连接；图像显示和/或麦克风装置，所述图像显示和/或麦克风装置输出运动安全信息和/或跑步优化建议；电源，所述电源在所述固定座的内部空间中与所述驱动电机、三维相机和嵌入式处理器电连接以进行供电；其中，所述嵌入式处理器被配置为执行以下步骤，所述步骤包括：S1，通过三维相机获取目标运动者的运动图像和/或视频数据；S2，计算所述目标运动者的三维位置信息；S3，建立运动安全范围；S4，将所述目标运动者在某一时刻或预设时间段内的人体三维位置信息与建立的所述运动安全范围进行比较；以及S5，基于比较结果，向所述目标运动者提供反馈和/或调整跑步机模式。
在一些实施方式中，所述反馈包括运动安全信息和/或跑步优化建议，其以图像和/或报告和/或语音的形式反馈给所述目标运动者，所述运动安全信息包括跑步是否安全，身体和/或感兴趣部位是否超出运动安全范围，身体和/或感兴趣部位距离运动安全范围和/或超出运动安全范围的距离和/或相应的指标；所述跑步优化建议包括指导目标运动者回到所述运动安全范围的指令和/或使目标运动者调整身体和/或感兴趣部位的运动位置的指令。
在一些实施方式中，所述三维相机是双目相机。
在一些实施方式中，根据不同相机的不同安装结构，所述三维相机能够直接套接固定在所述固定座的外部孔洞中。
在一些实施方式中，所述相机保护罩的形状是矩形或圆形。
在一些实施方式中，所述嵌入式处理器无线连接到网络接入设备，以便通过所述网络接入设备无线连接到移动终端以进行实时视频传输，并且同时监测数据的传输。
在一些实施方式中，所述嵌入式处理器支持有线和/或无线连接方式，包括WiFi和/或4G和/或5G无线连接。
在一些实施方式中，为了满足实时运动监测的需求，所述三维相机的空间分辨率能够至少区分5厘米的物体，以实现身体的监测；所述三维相机的水平视场角×垂直视场角至少为45度×45度，以满足在短距离内的视野覆盖范围大于所述跑台的宽度；所述三维相机的帧率至少达到10帧/秒以满足实时跑步监测需求，所述三维相机的监测范围最大距离至少为1米，以覆盖所述跑台的长度，即，足以覆盖感兴趣监测区域的需求。可选地，一种三维相机的型号可以是RealSense D435，所述三维相机的输出分辨率可以是1280×720，所述三维相机的帧率输出帧率可以是90帧/秒，所述三维相机的视场角(水平×垂直)可以是87度×58度，所述三维相机的监测范围是离所述三维相机的最小距离为0.105米，离所述三维相机的最大距离为10米的三维空间。
在一些实施方式中，在所述驱动电机和所述嵌入式处理器还设有连接元件，所述嵌入式处理器可通过所述连接元件控制所述驱动电机的运行状态以及控制跑带的速度。
与现有技术相比，本公开内容的有益效果为：能够实现对在跑台上跑步的用户的实时监测，使得用户能得到当前的跑步位置是否合适的反馈，并且进行随时调整，并当用户超出运动安全范围时，及时调整跑步机模式，以防止用户出现意外。
附图说明
在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本发明原理的说明性实施方式加以阐述的以下详细描述和附图，将会对本发明的特征和优点获得更好的理解。附图仅用于示出实施方式的目的，而并不应当被认为是对本发明的限制。而且在整个附图中，用相同的附图标记表示相同的元素，在附图中：
图1示出了根据本公开内容示例性实施方式的基于三维相机的跑步安全监测和指导方法的流程图；
图2示出了根据本公开内容示例性实施方式的基于三维相机的跑步安全监测和指导设备的示意图；
图3示出了根据本公开内容示例性实施方式的三维相机的布置方式的示意图；
图4示出了根据本公开内容示例性实施方式的运动安全范围的立体示意图；
图5示出了根据本公开内容示例性实施方式的运动安全范围和感兴趣空间的平面示意图；以及
图6示出了根据本公开内容示例性实施方式的运动者与运动安全范围的距离的示意图。
具体实施方式
下面将参照附图更详细地描述本公开内容的示例性实施方式。虽然附图中显示了本公开内容的示例性实施方式，然而应当理解，可以以各种形式实现本公开内容而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开内容，并且能够将本公开内容的范围完整地传达给本领域技术人员。在以下详细描述中没有任何内容旨在表明任何特定组件、特征或步骤对于本发明是必不可少的。本领域技术人员将会理解，在不脱离本公开内容的范围内各种特征或步骤可以彼此替代或结合。
图1示出了根据本公开内容示例性实施方式的基于三维相机的跑步安全监测和指导方法的流程图。本公开内容提出了一种基于三维相机的跑步安全监测和指导方法，包括步骤：S1，通过三维相机获取目标运动者的运动图像和/或视频数据；S2，计算所述目标运动者的三维位置信息；S3，建立运动安全范围；S4，将所述目标运动者在某一时刻或预设时间段内的人体三维位置信息与建立的运动安全范围进行比较；以及S5，基于比较结果，向所述目标运动者提供反馈和/或调整跑步机模式。在一些实施方式中，所述反馈包括所述目标运动者是否在安全范围内和/或跑步优化建议，所述预设的运动安全范围是预先设定的至少一个三维空间范围。
图2示出了根据本公开内容示例性实施方式的基于三维相机的跑步安全监测和指导设备的示意图。该基于三维相机的跑步安全监测和指导设备，包括：底座，所述底座上设置有跑台2，所述跑台2包括由驱动电机驱动的跑带1和所述驱动电机；固定座，所述底座的一侧固定连接到所述固定座，所述固定座的外壳3开有孔洞；相机保护罩6，所述相机保护罩6嵌入在所述孔洞中；三维相机4和嵌入式处理器5，所述三维相机4和嵌入式处理器5安装在所述固定座的内部设有的空腔中，所述嵌入式处理器5与所述三维相机4电连接，所述相机保护罩6覆盖在所述三维相机4上，并且所述三维相机4的视野角度能够通过所述相机保护罩6，并覆盖运动区域；控制器，所述控制器与所述嵌入式处理器电连接；图像显示和/或麦克风装置，所述图像显示和/或麦克风装置输出运动安全信息和/或跑步优化建议；电源，所述电源在所述固定座的内部空间中与所述驱动电机、三维相机4和嵌入式处理器5电连接以进行供电。所述嵌入式处理器被配置为执行以下步骤，所述步骤包括：S1，通过三维相机获取目标运动者的运动图像和/或视频数据；S2，计算所述目标运动者的三维位置信息；S3，建立运动安全范围；S4，将所述目标运动者在某一时刻或预设时间段内的人体三维位置信息与建立的运动安全范围进行比较；以及S5，基于比较结果，向所述目标运动者提供反馈和/或调整跑步机模式。
在一些实施方式中，所述三维相机包括以下中的至少一种：时间飞行相机、结构光相机和双目相机。具体地，时间飞行(Time of flight，简称为TOF)相机是通过给目标连续发送光脉冲，然后利用传感器接收从物体返射的光，然后通过探测光脉冲的飞行时间来得到目标到相机的距离信息。结构光相机是通过发射激光来扫描目标，以得出目标表面到相机的距离信息。双目相机通过两个平面相机采集的图像的视差计算来确定目标到相机的距离信息。在一些实施方式中，通过视差估计的计算方法，从至少两个角度获取平面图像也能够提取出所述目标运动者的三维位置信息。
本发明的实施方式采用双目相机作为优选方案。这是由于双目相机的价格相对合理，并且既能输出平面图像又能输出深度图像。TOF相机和结构光相机虽然精度高，然而价格较为昂贵。在使用三维相机的情况下，对于由三维相机获取的深度图像转换的三维点云图像进行处理，以重建目标运动者的人体三维姿态信息。在一些实施方式中，三维相机和平面相机可以进行结合，所述平面相机可以包括以下至少一种：彩色相机、红外相机或热成像仪。
在本实施方式中，根据不同相机的不同安装结构，所述三维相机能够直接套接固定在所述固定座的外部孔洞中。在本实施方式中，相机保护罩的形状是矩形或圆形。在本实施方式中，嵌入式处理器无线连接到网络接入设备，以便通过网络接入设备无线连接到移动终端(例如，移动电话、平板计算机)以进行实时视频传输，并且同时监测数据的传输。在本实施方式中，嵌入式处理器支持有线和/或无线连接方式，包括Wi-Fi和/或4G和/或5G无线连接。嵌入式处理器也支持有线方式连接到网络。根据本发明的设备可以根据房间内的网络配套设施，因地制宜提供稳定的网络传输。在本实施方式中，在所述驱动电机和所述嵌入式处理器还设有连接元件，所述嵌入式处理器可通过所述连接元件控制所述驱动电机的运行状态以及控制跑带的速度。
图3示出了根据本公开内容示例性实施方式的三维相机的布置方式的示意图。为了满足实时运动监测的需求，所述相机的帧率通常需要空间分辨率能够至少区分5厘米的物体，以实现身体的监测；所述三维相机的视场角(水平×垂直)至少为45度×45度，以满足在短距离内的视野覆盖范围大于所述跑台的宽度；所述三维相机的帧率至少达到10帧/秒以满足实时跑步监测需求，所述三维相机的监测范围最大距离至少为1米，足以覆盖感兴趣监测区域的需求。可选地，一种三维相机的型号可以是RealSense D435，所述三维相机的输出分辨率可以是1280×720，所述三维相机的帧率输出帧率可以是90帧/秒，所述三维相机的视场角(水平×垂直)可以是87度×58度，所述三维相机的监测范围是离所述三维相机的最小距离为0.105米，离所述三维相机的最大距离为10米的三维空间。在节省相机成本的情况下，需先满足深度视场角和可用深度的最小监测距离和最大监测距离，并且需要覆盖感兴趣人体监测区域，然后考虑输出帧率的需求，再考虑深度输出分辨率。对于高清视频传输，可通过有线模块、PCIE接口进行数据传输，也可通过通信模块，例如，通过无线WIFI网络、4G/5G等进行设备之间的快速传输。例如，在局域网百兆有线网络环境下，可以采用两路高清视频同时进行传输。
图4示出了根据本公开内容示例性实施方式的运动安全范围的立体示意图。图5示出了根据本公开内容示例性实施方式的运动安全范围和感兴趣空间的平面示意图。通常在视野空间中包含大量信息作为背景信息，其对运动监测没有帮助，而且还增加计算机运算的数据量，影响计算机的计算速度。为了减少计算量和快速提取感兴趣的运动者信息，选取一个感兴趣空间。可选地，感兴趣空间可以是预先设定的三维空间，其中包含感兴趣运动者的信息。感兴趣的三维空间可以是三维相机的视野或三维相机的监测范围之内的空间，例如离三维相机的最小距离为0.105米，离所述三维相机的最大距离为10米的三维空间。备选地，感兴趣的三维空间是跑步机跑带上方的空间，例如以跑步机的跑带面为底面，高为2米(例如，人高)的空间。可选地，感兴趣的三维空间区域还可以是从通过所述三维相机获取的三维信息中选择的。
在一些实施方式中，根据运动者相对于获取的图像中背景三维信息计算目标运动者的三维位置信息。在一些实施方式中，背景三维位置信息表现为静止状态的图像信息，其不会随时间变化；当运动者进入跑台进行运动时，运动者的三维位置信息表现为相对于出厂设置或某一特定时刻获取的背景信息新出现在感兴趣区域中的图像信息，和/或处于运动状态随时间变化的图像信息。将出现在感兴趣的三维空间区域中的上述新出现的信息，和/或处于运动状态随时间变化的图像信息进行提取并且将所提取的信息设为所述目标运动者的三维信息。
在一些实施方式中，机器学习和/或深度学习的方法计算目标运动者的三维位置信息，具体地例如基于随机森林方式等的机器学习方法和/或利用例如YOLO，mask-RCN，PoseNet等的深度学习算法来计算运动者的身体的三维位置信息；确定所述目标运动者全身和/或感兴趣的身体部位在所述运动图像和/或视频数据中的三维位置信息，具体地例如，获取运动者的图像数据；从图像数据中识别出目标运动者，并输出人体体态图；基于人体体态图重建目标运动者的人体三维位置信息；将目标运动者进行骨骼配准；其中所述感兴趣的身体部位包括针对不同应用的人体监测任务所需要的人体部位区域。更多详细内容可以参考申请号为CN202010853594.6，名称为“基于姿态识别的智能桌控制方法及装置”；申请号为CN202010848965.1，名称为“基于体态识别和人体生物力学的骨骼肌肉受力估计方法”；申请号为CN202010853582.3，名称为“基于多摄像头的运动姿态监测和指导方法及装置”的专利申请。所述三维位置信息可通过根据预先建立的三维坐标系表示。在一种实施方式中，三维相机的成像中心可设定为所述坐标系的坐标原点。所述深度相机获取的信息可以转化为以此为原点的三维坐标。确定目标运动者的感兴趣身体部位的方法可通过人体结构特征进行粗略估计，例如以跑步机的底面为底面，高为1米的长方体作为腿部运动监测区域。
在一些实施方式中，运动安全空间为预先设定的三维空间，并且为运动者的感兴趣身体部位可运动的范围。安全的运动三维空间的一种定义方式是一个长方体形状，其中以跑步机的跑带面为底，长为跑带长度(约1.5米)，宽为跑带宽度(约0.5米)，高为2米(例如，人高)。通常，根据跑步机运行情况，对跑步机运动安全空间进行调节。感兴趣空间和运动安全空间可根据三维相机的视野范围，或者感兴趣身体部位所处的区域分开进行设定。例如，感兴趣空间的范围通常要略大于运动安全空间。感兴趣空间可设定为三维相机视野的一部分，通常是跑步机范围内的三维空间。安全的运动三维空间的另一种设计方式是不包含背景物体的预先设定的三维空间。感兴趣空间和运动安全空间也可以是多个三维空间的组合。例如，根据人体特征，确定多个感兴趣空间包含人体各个部位。在一些实施方式中，跑步安全监测的所感兴趣的人体部位包括但不限于如下人体部位：头部、颈部、胸部、腰部、髋部、腿部、脚部等。
在本实施方式中，为了提取目标运动者的三维空间位置，使用如下两个步骤：1、在无人运动时，获取背景的三维信息；2、在有人运动的时候，获取运动者的三维信息。优选的方法是调整感兴趣区域，使其不包含背景的三维信息，仅包括运动者的三维信息，从而能快速获取运动者信息。另一种可选的方法是步骤2中获取的三维信息减去步骤1中获取的背景的三维信息。
图6示出了根据本公开内容示例性实施方式的运动者与运动安全范围的距离的示意图。在又一优选实施方式中，将通过上述步骤获取的目标运动者的三维信息与运动安全区域进行比较，具体地，进一步包括通过计算目标运动者的三维位置与安全区域的边界在三维空间上的距离进行比较。
首先，计算目标运动者的每个三维坐标点与对应安全运动三维空间边界的距离；如图6所示，当安全运动范围包含如下的一个平面，安全距离可以表示为朝向这个平面的人体表面每个坐标点到这个平面的垂直距离。给定平面的方程为：Ax+By+Cz+D＝0；目标运动者身上坐标点Q(x0,y0,z0)到该平面的距离为
Figure BDA0002947311720000121
将多个通过上述方程所得的距离求平均值，以进行比较。具体地，如图6所示，当目标运动者的身体三维位置在安全区域内时，其中所述距离越大表示动作越安全；当目标运动者的身体三维位置在安全区域外时，所述距离越大表示动作越不安全。除了求平均值的方法以外，距离还可以通过求加权平均计算，也可以基于距离运动安全范围和/或超出运动安全范围的最大距离来评估安全性。
例如，如果目标运动者跑步超过跑步机安全空间的前面的平面，则跑步位置过前；如果目标运动者跑步超过跑步机安全空间的后面的平面，则跑步位置过后；如果跑步超过跑步机安全空间的左边的平面，则跑步位置过左；如果跑步超过跑步机安全空间的右边的平面，则跑步位置过右。在本实施方式中，基于所述比较结果，对所述跑步机进行适应性调整或者提醒用户。例如，向所述目标运动者提供反馈包括通过图像输出装置和/或麦克风装置，向目标运动者输出运动安全信息和/或跑步优化建议，该运动安全信息和/或跑步优化建议以图像和/或报告和/或语音的形式反馈给所述目标运动者。所述运动安全信息包括跑步是否安全，身体和/或感兴趣部位是否超出运动安全范围，身体和/或感兴趣部位距离安全范围和/或超出运动安全范围的距离和/或相应的指标。所述跑步优化建议包括指导目标运动者回到所述运动安全范围的指令和/或使目标运动者调整身体和/或感兴趣部位的运动位置的指令。调整或者提醒用户可以进一步包括：对基于对上述的一个或多个比较方式得到的比较结果进行加权，得到综合距离评分，该距离评分用于表示当前跑步机是否满足当前用户跑步的安全性。例如，可以将安全性分为两类：“安全”和“不安全”。或者在安全性分类结果中包含“安全”和“不安全”两种质量因子；其中，质量因子“安全”表示无需调整，质量因子“不安全”表示需要适应性调整跑步机的运动模式，例如跑步机的速度或者倾斜角度以保证用户运动安全。调整跑步机模式例如包括通过控制器控制跑步机的运行参数。所述运行参数包括以下中的至少一种：速度、坡度、功能参数，所述功能参数包括跑步的时长、距离、消耗的卡路里、心率。
另外，本发明的跑步机替代地也可以是走步机或其他运动器械。或者，根据本发明的跑步机的技术方案可以应用于走步机或其他运动器械。例如，在应用于走步机的情况下，根据本发明的技术方案可以保护在走步机上行走的运动者不运动出走步机的安全范围，从而保护在走步机上行走的运动者的安全。
本发明的技术方案采用上述的方法和设备，能够实现对在跑台上跑步的用户的实时监测，从而用户能得到反馈当前的跑步位置是否合适，进行随时调整，并当用户超出运动安全范围时，及时调整跑步机模式或者提醒用户，以防用户出现意外。
在本文所提供的说明书中，说明了大量具体细节。然而，应当理解，本公开内容的实施方式可以在没有这些具体细节的情况下实践。在一些实施方式中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
虽然本文已经示出和描述了本发明的示例性实施方式，但对于本领域技术人员容易理解，这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。以下权利要求旨在限定本发明的范围，并因此覆盖这些权利要求范围内的方法和结构及其等同项。

Claims (10)

1.一种基于三维相机的跑步安全监测和指导方法，包括步骤：
S1，通过三维相机获取目标运动者的运动图像和/或视频数据；
S2，计算所述目标运动者的三维位置信息；
S3，建立运动安全范围；
S4，将所述目标运动者在某一时刻或预设时间段内的人体三维位置信息与建立的所述运动安全范围进行比较；以及
S5，基于比较结果，向所述目标运动者提供反馈和/或调整跑步机模式。
2.根据权利要求1所述的方法，其中所述三维相机包括以下中的至少一种：时间飞行相机、结构光相机和双目相机。
3.根据权利要求1所述的方法，其中S2还包括：
a)设定感兴趣的三维空间区域，所述感兴趣的三维空间区域从通过所述三维相机获取的三维数据信息中选择；以及
b)从所述运动图像和/或视频数据中提取出所述目标运动者的位置信息。
4.根据权利要求1所述的方法，其中S2还包括以下中的至少一个：
a)根据所述目标运动者相对于获取的所述运动图像中背景图像信息计算所述目标运动者的所述三维位置信息；或
b)通过机器学习和/或深度学习的方法计算所述目标运动者的所述三维位置信息。
5.根据权利要求1所述的方法，其中S2还包括：确定所述目标运动者的感兴趣的身体部位的三维位置信息，其中所述感兴趣的身体部位包括针对不同应用的人体监测任务所需要的人体部位区域。
6.根据权利要求1所述的方法，其中所述运动安全范围是预先设定的至少一个三维空间范围。
7.根据权利要求1所述的方法，其中S4还包括以下步骤：
计算所述目标运动者的所述三维位置信息相对所述运动安全范围的位置信息；以及
评估所述目标运动者的运动安全性，其中评估所述运动安全性包括以下中的至少一个：判断所述目标运动者的所述三维位置信息是否超出所述运动安全范围，和/或在所述运动安全范围内距离所述运动安全范围的边界的距离越大，表示所述目标运动者的动作越安全，和/或超出所述运动安全范围的边界的距离越大，表示所述目标运动者的动作越不安全。
8.根据权利要求1所述的方法，其中S5还包括通过图像输出装置和/或麦克风装置，向所述目标运动者输出运动安全信息和/或跑步优化建议，所述运动安全信息和/或跑步优化建议以图像和/或报告和/或语音的形式反馈给所述目标运动者，所述运动安全信息包括跑步是否安全，身体和/或感兴趣部位是否超出所述运动安全范围，身体和/或感兴趣部位距离所述运动安全范围和/或超出所述运动安全范围的距离和/或相应的指标；所述跑步优化建议包括指导所述目标运动者回到所述运动安全范围的指令和/或使所述目标运动者调整身体和/或感兴趣部位的运动位置的指令。
9.根据权利要求1所述的方法，其中所述调整跑步机模式包括通过控制器控制跑步机的运行参数，所述运行参数包括以下中的至少一种：速度、坡度、功能参数，所述功能参数包括跑步的时长、距离、消耗的卡路里、心率。
10.一种基于三维相机的跑步安全监测和指导设备，包括：
底座，所述底座上设置有跑台，所述跑台包括由驱动电机驱动的跑带和所述驱动电机；
固定座，所述底座的一侧固定连接到所述固定座，所述固定座的外壳开有孔洞；
相机保护罩，所述相机保护罩嵌入在所述孔洞中；
三维相机和嵌入式处理器，所述三维相机和嵌入式处理器安装在所述固定座的内部设有的空腔中，所述嵌入式处理器与所述三维相机电连接，所述相机保护罩覆盖在所述三维相机上，并且所述三维相机的视野角度能够通过所述相机保护罩，并覆盖运动区域；
控制器，所述控制器与所述嵌入式处理器电连接；
图像显示和/或麦克风装置，所述图像显示和/或麦克风装置输出运动安全信息和/或跑步优化建议；
电源，所述电源在所述固定座的内部空间中与所述驱动电机、所述三维相机和所述嵌入式处理器电连接以进行供电；
其中所述嵌入式处理器被配置为执行以下步骤，所述步骤包括：
S1，通过所述三维相机获取目标运动者的运动图像和/或视频数据；
S2，计算所述目标运动者的三维位置信息；
S3，建立运动安全范围；
S4，将所述目标运动者在某一时刻或预设时间段内的人体三维位置信息与建立的所述运动安全范围进行比较；以及
S5，基于比较结果，向所述目标运动者提供反馈和/或调整跑步机模式。
CN202110198838.6A 2021-02-22 2021-02-22 基于三维相机的跑步安全监测和指导方法和设备 Pending CN112807617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110198838.6A CN112807617A (zh) 2021-02-22 2021-02-22 基于三维相机的跑步安全监测和指导方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110198838.6A CN112807617A (zh) 2021-02-22 2021-02-22 基于三维相机的跑步安全监测和指导方法和设备

Publications (1)

Publication Number Publication Date
CN112807617A true CN112807617A (zh) 2021-05-18

Family

ID=75864812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110198838.6A Pending CN112807617A (zh) 2021-02-22 2021-02-22 基于三维相机的跑步安全监测和指导方法和设备

Country Status (1)

Country Link
CN (1) CN112807617A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113318410A (zh) * 2021-05-31 2021-08-31 集美大学 一种跑步训练方法
CN113627372A (zh) * 2021-08-17 2021-11-09 北京伟景智能科技有限公司 跑步测试方法、系统及计算机可读存储介质
CN113641103A (zh) * 2021-08-13 2021-11-12 广东工业大学 自适应机器人的跑步机控制方法和系统
CN115400397A (zh) * 2022-08-31 2022-11-29 盐城工学院 一种智能加码型腿部肌肉训练装置
CN118383288A (zh) * 2024-02-08 2024-07-26 西湖大学 用于运动对象的实时运动监测控制系统、设备及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101972536A (zh) * 2010-09-28 2011-02-16 深圳市倍泰健康测量分析技术有限公司 一种电动跑步机系统及其控制方法
CN102357284A (zh) * 2011-10-18 2012-02-22 中国科学院合肥物质科学研究院 智能化跑步机
CN105251175A (zh) * 2015-11-24 2016-01-20 上海应用技术学院 多功能化智能跑步机
CN205391565U (zh) * 2016-03-02 2016-07-27 湖南理工学院 一种可折叠跑步机
US20160375339A1 (en) * 2015-06-26 2016-12-29 Hon Hai Precision Industry Co., Ltd. Electronic device and method for controlling the electronic device
CN108175995A (zh) * 2017-12-28 2018-06-19 必革发明（深圳）科技有限公司 跑步机安全监测方法、装置及跑步机
CN108176021A (zh) * 2017-12-28 2018-06-19 必革发明（深圳）科技有限公司 跑步机安全预警方法、装置及跑步机
US20180243611A1 (en) * 2018-04-30 2018-08-30 James P. Bradley Autonomous Safety System for a Treadmill
CN109784178A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于手势识别的参数调节方法、装置及健身设备
CN110124276A (zh) * 2019-05-29 2019-08-16 北京七鑫易维信息技术有限公司 一种基于视频监控的全向跑步机
US20200398112A1 (en) * 2019-06-18 2020-12-24 International Business Machines Corporation Attention and exertion based safety mechanisms in exercise devices

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101972536A (zh) * 2010-09-28 2011-02-16 深圳市倍泰健康测量分析技术有限公司 一种电动跑步机系统及其控制方法
CN102357284A (zh) * 2011-10-18 2012-02-22 中国科学院合肥物质科学研究院 智能化跑步机
US20160375339A1 (en) * 2015-06-26 2016-12-29 Hon Hai Precision Industry Co., Ltd. Electronic device and method for controlling the electronic device
CN105251175A (zh) * 2015-11-24 2016-01-20 上海应用技术学院 多功能化智能跑步机
CN205391565U (zh) * 2016-03-02 2016-07-27 湖南理工学院 一种可折叠跑步机
CN108175995A (zh) * 2017-12-28 2018-06-19 必革发明（深圳）科技有限公司 跑步机安全监测方法、装置及跑步机
CN108176021A (zh) * 2017-12-28 2018-06-19 必革发明（深圳）科技有限公司 跑步机安全预警方法、装置及跑步机
US20180243611A1 (en) * 2018-04-30 2018-08-30 James P. Bradley Autonomous Safety System for a Treadmill
CN109784178A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于手势识别的参数调节方法、装置及健身设备
CN110124276A (zh) * 2019-05-29 2019-08-16 北京七鑫易维信息技术有限公司 一种基于视频监控的全向跑步机
US20200398112A1 (en) * 2019-06-18 2020-12-24 International Business Machines Corporation Attention and exertion based safety mechanisms in exercise devices

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113318410A (zh) * 2021-05-31 2021-08-31 集美大学 一种跑步训练方法
CN113318410B (zh) * 2021-05-31 2022-04-01 集美大学 一种跑步训练方法
CN113641103A (zh) * 2021-08-13 2021-11-12 广东工业大学 自适应机器人的跑步机控制方法和系统
CN113641103B (zh) * 2021-08-13 2023-04-25 广东工业大学 自适应机器人的跑步机控制方法和系统
CN113627372A (zh) * 2021-08-17 2021-11-09 北京伟景智能科技有限公司 跑步测试方法、系统及计算机可读存储介质
CN113627372B (zh) * 2021-08-17 2024-01-05 北京伟景智能科技有限公司 跑步测试方法、系统及计算机可读存储介质
CN115400397A (zh) * 2022-08-31 2022-11-29 盐城工学院 一种智能加码型腿部肌肉训练装置
CN118383288A (zh) * 2024-02-08 2024-07-26 西湖大学 用于运动对象的实时运动监测控制系统、设备及方法

Similar Documents

Publication Publication Date Title
CN112807617A (zh) 基于三维相机的跑步安全监测和指导方法和设备
US9370459B2 (en) System and method for alerting visually impaired users of nearby objects
US9801778B2 (en) System and method for alerting visually impaired users of nearby objects
US20160110602A1 (en) Area information estimating device, area information estimating method, and air conditioning apparatus
EP2960897A1 (en) Image display device, image display method, storage medium, and monitoring system
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
TWI732957B (zh) 避障裝置
CN1605086A (zh) 图像处理装置
US20220203206A1 (en) Exercise equipment
WO2015086855A1 (en) Camera-based tracking system for the determination of physical, physiological and/or biometric data and/or for risk assessment
KR20160028891A (ko) 깊이 카메라와 방향 센서를 이용한 시각 장애인을 위한 장애물 인식 장치
CN109711289B (zh) 乘车提醒方法、装置、电子设备和存储介质
KR101880522B1 (ko) 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법
Cohen et al. Pitching effects of buoyancy during four competitive swimming strokes
WO2013088517A1 (ja) 停立人物の向き推定方法
CN113284258A (zh) 安全区域的设置方法、装置和虚拟现实设备
CN112221107A (zh) 一种智能健身镜控制方法及智能健身镜
CN107168523A (zh) 一种摄像机位置调整方法和系统
KR20140089647A (ko) 전방향성 마루를 이용한 가상현실 걷기체험 시스템 및 방법
US20220366716A1 (en) Person state detection apparatus, person state detection method, and non-transitory computer readable medium storing program
KR101657277B1 (ko) 동작관찰을 통한 보행운동 대상자 맞춤형 실시간 되먹임 보행운동 장치
JP2021189587A (ja) 表示装置、表示方法及び表示プログラム
Pini et al. Baracca: a multimodal dataset for anthropometric measurements in automotive
CN108295469A (zh) 基于动作捕捉技术的游戏视角转换方法
CN114565974A (zh) 一种基于3d视觉的人体倾倒识别算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210518