CN111477054A - 一种基于Kinect的交警指挥手势训练系统 - Google Patents

一种基于Kinect的交警指挥手势训练系统 Download PDF

Info

Publication number
CN111477054A
CN111477054A CN202010195850.7A CN202010195850A CN111477054A CN 111477054 A CN111477054 A CN 111477054A CN 202010195850 A CN202010195850 A CN 202010195850A CN 111477054 A CN111477054 A CN 111477054A
Authority
CN
China
Prior art keywords
user
training
command gesture
kinect
joint point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010195850.7A
Other languages
English (en)
Inventor
孙乐萌
陈闵叶
张婉茹
杨思力
熊海晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN202010195850.7A priority Critical patent/CN111477054A/zh
Publication of CN111477054A publication Critical patent/CN111477054A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明提供一种基于Kinect的交警指挥手势训练系统，其包括计算机以及与之连接的Kinect设备，该计算机被配置为：展示指挥手势训练界面，该界面包括用于展示用户姿态图像的Image控件、用于展示提示信息的提示信息文本框、用于展示指挥手势动作要点的图像以及评分展示框；计算机通过Kinect设备获取用户的姿态信息；并根据用户的姿态信息判断用户的动作；若用户在规定时间内做出指定的指挥手势，则进行评分。本发明利用Kinect体感技术，可以实现交通指挥手势的自主学习训练，采用计算机对动作进行识别，使得培训后的交警可以做出更加规范的交通指挥手势，可有效提高受训交警的警务水平。

Description

一种基于Kinect的交警指挥手势训练系统
技术领域
本发明涉及电子技术领域，尤其涉及一种基于Kinect的交警指挥手势训练系统。
背景技术
近年来，随着社会经济的不断发展以及人们水平的不断提高，交通堵塞问题日趋严重，交警指挥手势在交警缓解交通堵塞问题过程中扮演重要角色。然而，一些交警不会指挥、一些新手司机又看不懂指挥的现状反而加重了道路交通的负担，加之传统教学模式又费时费力，开发一种新型的训练方法有很重要的研究价值与研究意义。市场上目前并没有针对这一情况很好的训练系统，无法满足现阶段市场需要。
发明内容
针对上述现有技术中的不足，本发明提供基于Kinect的交警指挥手势训练系统，该系统通过识别用户的姿态信息，以检测用户是否做出标准的指挥手势，从而达到训练的目的。
本发明通过以下的技术方案实现：
一种基于Kinect的交警指挥手势训练系统，包括计算机以及与之连接的Kinect设备，所述计算机被配置为：
展示指挥手势训练选择界面，所述指挥手势训练选择包括多个指挥手势训练选择按钮以及一个用于展示用户姿态图像的Image控件；响应于用户对所述指挥手势训练选择按钮的选择，进入相应的指挥手势训练界面；
所述指挥手势训练界面包括用于展示用户姿态图像的Image控件、用于展示提示信息的提示信息文本框、用于展示指挥手势动作要点的图像以及评分展示框；
在所述指挥手势训练界面中，提示用户做出指定的交互行为以触发训练；响应于用户做出的交互行为，进入训练状态；进入训练状态后开始计时，并根据用户的姿态信息判断用户的动作；若用户在规定时间内做出指定的指挥手势，则进行评分，并在评分展示框以及提示信息文本框中进行展示；若用户没有在规定时间内做出指定的指挥手势，则提示用户重新做出指定的交互行为以触发训练；
所述计算机通过Kinect设备获取用户的姿态信息；在获取姿态信息的过程中，识别用户的上肢关节点的位置，所述上肢关节点包括左手、左手腕、左手肘、左肩、右手、右手腕、右手肘和右肩；计算各所述上肢关节点的夹角，计算某个关节点的夹角的过程中，将该所述关节点为中心关节，并分别计算该关节点与两个相邻关节点之间的欧氏距离以及两个相邻关节点之间的欧氏距离；欧式距离的计算公式为：
Figure BDA0002417577310000021
根据欧式距离的计算结果计算中心关节点的夹角，其计算公式为：
Figure BDA0002417577310000022
其中，a、b分别是中心关节点与两个相邻关节点之间的欧氏距离，c为中心关节点的两个相邻关节点之间的欧式距离；
根据用户的姿态信息判断用户的动作的过程中，将各上肢关节点的夹角与各上肢关节点夹角的预定义范围进行比较；如果各上肢关节点夹角均处于预定义范围中，则判定用户做出了指定的指挥手势，否则判断用户没有做出指定的指挥手势。
本发明的进一步改进在于，用户做出的所述交互动作包括手势动作、语音命令。
本发明的进一步改进在于，在于，所述手势动作包括悬停控制，在悬停控制过程中，通过Kinect设备检测用户的手掌位置，并在交互界面展示一个随着用户手掌运动的指针图标；当图标悬停在交互界面上的某个按钮上超过预定时间后，触发该按钮。
本发明的有益技术效果为：本发明利用Kinect体感技术，可以实现交通指挥手势的自主学习训练，采用计算机对动作进行识别，使得培训后的交警可以做出更加规范的交通指挥手势，可有效提高受训交警的警务水平。
附图说明
图1为本发明基于Kinect的交警指挥手势训练系统的原理图；
图2为基于Kinect的交警指挥手势训练系统的工作流程图。
具体实施方式
下面根据附图1，给出本发明的较佳实施例，并予以详细描述，使能更好地理解本发明的功能、特点。
请参阅图1所示，本发明的实施例包括一种基于Kinect的交警指挥手势训练系统，包括计算机1以及与之连接的Kinect设备2，Kinect设备2是一种3D体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识等技术。通过厂商提供的SDK，可以通过拍摄用户的动作图像获取用户的关节点位置信息，从而实现体感交互。具体的训练过程通过计算机1进行实现，计算机1被配置为：
如图2所示，计算机1展示登录界面，以便用户进行登录，用户可直接输入用户名和密码，随后点击确定按钮进行登录。
如果用户没有用户名和密码，用户可进行注册。在登录界面点击注册按钮可进入注册界面。在注册界面，注册信息有五项，分别为用户名、电话、邮箱、密码和请重新输入密码。用户按照规定输入信息后即可完成注册。
用户登录完成后，计算机1展示指挥手势训练选择界面。指挥手势训练选择包括多个指挥手势训练选择按钮以及一个用于展示用户姿态图像的Image控件，Image控件可显示Kinect设备2获取的彩色图像，以便用户观察到自己的动作，使得用户可以自觉纠正动作。指挥手势训练选择按钮一共八个，分别对应八个交警指挥手势，八个交警指挥手势分别为：停止手势、直行手势、左转手势、左转弯待转手势、变道手势、右转手势、减速慢行手势以及靠边停车手势。计算机1响应于用户对所述指挥手势训练选择按钮的选择，进入相应的指挥手势训练界面，在此过程中，计算机1通过手势、语音或者键盘鼠标与用户进行交互。
指挥手势训练界面包括用于展示用户姿态图像的Image控件、用于展示提示信息的提示信息文本框、用于展示指挥手势动作要点的图像以及评分展示框。
在指挥手势训练界面中，计算机1提示用户做出指定的交互行为以触发训练；响应于用户做出的交互行为，进入训练状态，本实施例中该交互动作为用户双手“平举”。进入训练状态后计算机1开始计时，并根据用户的姿态信息判断用户的动作；若用户在规定时间内做出指定的指挥手势，则进行评分，并在评分展示框以及提示信息文本框中进行展示；若用户没有在规定时间内做出指定的指挥手势，则提示用户重新做出指定的交互行为以触发训练。
例如，用户做出指定的交互动作后，计算机1在提示信息文本框展示文字：“训练开始，您有10秒钟的时间做动作”。随后等待用户做出指定的指挥手势，若用户手势不正确或者所做手势的时间超出10秒，则训练状态跳转到训练结束阶段。此时，信息提示中的文字信息会变为“您做的动作与图片不符或者时间超时，请双手平举重新开始训练”。评分展示框手势不正确计0分。若用户手势正确，则训练状态跳转到训练结果阶段。此时，信息提示中的文字信息会变为“您做的动作正确，请注意观察您的得分”。评分展示框手势正确计10分。
用户若想重新训练此手势，则需用户双臂再次保持“平举”，重新触发本系统。使系统进入训练开始阶段。因此，用户可以进行该手势的反复训练，达到学习的效果。
在训练过程中，计算机1通过Kinect设备2获取用户的姿态信息；在获取姿态信息的过程中，识别用户的上肢关节点的位置，上肢关节点包括左手、左手腕、左手肘、左肩、右手、右手腕、右手肘和右肩；计算各所述上肢关节点的夹角，计算某个关节点的夹角的过程中，将该所述关节点为中心关节，并分别计算该关节点与两个相邻关节点之间的欧氏距离以及两个相邻关节点之间的欧氏距离；欧式距离的计算公式为：
Figure BDA0002417577310000041
其中，xi,yi分别是第i个上肢关节点的坐标，该坐标通过Kinect设备2进行获取，d(x,y)为第x个和第y个上肢关节点之间的距离。Kinect设备2可以获得三维坐标，但是本实施例中，仅选取上肢关节点位于朝向Kinect设备2的平面内的二维坐标。
根据欧式距离的计算结果计算中心关节点的夹角，其计算公式为：
Figure BDA0002417577310000042
其中，a、b分别是中心关节点与两个相邻关节点之间的欧氏距离，c为中心关节点的两个相邻关节点之间的欧式距离；
根据用户的姿态信息判断用户的动作的过程中，将各上肢关节点的夹角与各上肢关节点夹角的预定义范围进行比较；如果各上肢关节点夹角均处于预定义范围中，则判定用户做出了指定的指挥手势，否则判断用户没有做出指定的指挥手势。具体的，对于每种指挥手势，每个关节都有特定的上肢关节点夹角范围。
本实施例中，用户用于和计算机进行交互的交互动作包括手势动作、语音命令。
本实施例中，手势动作包括悬停控制，在悬停控制过程中，通过Kinect设备检测用户的手掌位置，并在交互界面展示一个随着用户手掌运动的指针图标；当图标悬停在交互界面上的某个按钮上超过预定时间(2s)后，触发该按钮。
Kinect的语音识别功能需要麦克风传感器阵列来实现。麦克风传感器阵列的音效功能有回声消除(AEC)、回声抑制(AES)、自动增益控制(AGS)、获取增益边界(GainBounding)、噪声填充(Noise Filling)、声源定位和环境噪声抑制(NS)，并且能与Windows语音识别API相结合。本系统借助了SDK提供的Speech类库来进行语音识别程序的编写。
以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (3)

1.一种基于Kinect的交警指挥手势训练系统，包括计算机以及与之连接的Kinect设备，其特征在于，所述计算机被配置为：
展示指挥手势训练选择界面，所述指挥手势训练选择包括多个指挥手势训练选择按钮以及一个用于展示用户姿态图像的Image控件；响应于用户对所述指挥手势训练选择按钮的选择，进入相应的指挥手势训练界面；
所述指挥手势训练界面包括用于展示用户姿态图像的Image控件、用于展示提示信息的提示信息文本框、用于展示指挥手势动作要点的图像以及评分展示框；
在所述指挥手势训练界面中，提示用户做出指定的交互行为以触发训练；响应于用户做出的交互行为，进入训练状态；进入训练状态后开始计时，并根据用户的姿态信息判断用户的动作；若用户在规定时间内做出指定的指挥手势，则进行评分，并在评分展示框以及提示信息文本框中进行展示；若用户没有在规定时间内做出指定的指挥手势，则提示用户重新做出指定的交互行为以触发训练；
所述计算机通过Kinect设备获取用户的姿态信息；在获取姿态信息的过程中，识别用户的上肢关节点的位置，所述上肢关节点包括左手、左手腕、左手肘、左肩、右手、右手腕、右手肘和右肩；计算各所述上肢关节点的夹角，计算某个关节点的夹角的过程中，将该所述关节点为中心关节，并分别计算该关节点与两个相邻关节点之间的欧氏距离以及两个相邻关节点之间的欧氏距离；欧式距离的计算公式为：
Figure FDA0002417577300000011
根据欧式距离的计算结果计算中心关节点的夹角，其计算公式为：
Figure FDA0002417577300000012
其中，a、b分别是中心关节点与两个相邻关节点之间的欧氏距离，c为中心关节点的两个相邻关节点之间的欧式距离；
根据用户的姿态信息判断用户的动作的过程中，将各上肢关节点的夹角与各上肢关节点夹角的预定义范围进行比较；如果各上肢关节点夹角均处于预定义范围中，则判定用户做出了指定的指挥手势，否则判断用户没有做出指定的指挥手势。
2.根据权利要求1所述的一种基于Kinect的交警指挥手势训练系统，其特征在于，用户做出的所述交互动作包括手势动作、语音命令。
3.根据权利要求1所述的一种基于Kinect的交警指挥手势训练系统，其特征在于，所述手势动作包括悬停控制，在悬停控制过程中，通过Kinect设备检测用户的手掌位置，并在交互界面展示一个随着用户手掌运动的指针图标；当图标悬停在交互界面上的某个按钮上超过预定时间后，触发该按钮。
CN202010195850.7A 2020-03-19 2020-03-19 一种基于Kinect的交警指挥手势训练系统 Pending CN111477054A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010195850.7A CN111477054A (zh) 2020-03-19 2020-03-19 一种基于Kinect的交警指挥手势训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010195850.7A CN111477054A (zh) 2020-03-19 2020-03-19 一种基于Kinect的交警指挥手势训练系统

Publications (1)

Publication Number Publication Date
CN111477054A true CN111477054A (zh) 2020-07-31

Family

ID=71747754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010195850.7A Pending CN111477054A (zh) 2020-03-19 2020-03-19 一种基于Kinect的交警指挥手势训练系统

Country Status (1)

Country Link
CN (1) CN111477054A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171457A (zh) * 2022-07-04 2022-10-11 上海明略信息技术有限公司 航空器地面信号指挥情景交互训练和评估系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103230664A (zh) * 2013-04-17 2013-08-07 南通大学 一种基于Kinect传感器的上肢运动康复训练系统及其训练方法
CN103824483A (zh) * 2012-11-19 2014-05-28 大连鑫奇辉科技有限公司 一种基于虚拟现实的交警手势训练系统
CN104133813A (zh) * 2014-08-11 2014-11-05 南通大学 一种基于Kinect的海军旗语训练方法
CN107293175A (zh) * 2017-08-04 2017-10-24 华中科技大学 一种基于体感技术的机车手信号操作训练方法
CN109767670A (zh) * 2019-03-15 2019-05-17 河南理工大学 一种vr的音乐指挥训练系统
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824483A (zh) * 2012-11-19 2014-05-28 大连鑫奇辉科技有限公司 一种基于虚拟现实的交警手势训练系统
CN103230664A (zh) * 2013-04-17 2013-08-07 南通大学 一种基于Kinect传感器的上肢运动康复训练系统及其训练方法
CN104133813A (zh) * 2014-08-11 2014-11-05 南通大学 一种基于Kinect的海军旗语训练方法
CN107293175A (zh) * 2017-08-04 2017-10-24 华中科技大学 一种基于体感技术的机车手信号操作训练方法
CN109767670A (zh) * 2019-03-15 2019-05-17 河南理工大学 一种vr的音乐指挥训练系统
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171457A (zh) * 2022-07-04 2022-10-11 上海明略信息技术有限公司 航空器地面信号指挥情景交互训练和评估系统

Similar Documents

Publication Publication Date Title
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
US10511778B2 (en) Method and apparatus for push interaction
US10001838B2 (en) Feature tracking for device input
US11132063B2 (en) Information processing apparatus for interactively performing work based on input content in extended work space
US10564712B2 (en) Information processing device, information processing method, and program
US9400560B2 (en) Image display device and display control method thereof
US20110254765A1 (en) Remote text input using handwriting
US9122353B2 (en) Kind of multi-touch input device
WO2022166243A1 (zh) 捏合手势检测识别方法、装置及系统
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
US20230251745A1 (en) Systems and methods for providing on-screen virtual keyboards
US11886643B2 (en) Information processing apparatus and information processing method
CN111477054A (zh) 一种基于Kinect的交警指挥手势训练系统
CN110519517A (zh) 临摹引导方法、电子设备及计算机可读存储介质
US20200409547A1 (en) Information processing apparatus, information processing method, and program
US20230168746A1 (en) User interface method system
US20200278785A1 (en) Information processing apparatus, information processing method, and program
Fezari et al. Video Games Interfaces as Depth Based Gesture Recognition for HCI Applications
Onodera et al. Vision-Based User Interface for Mouse and Multi-mouse System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200731