CN110956124A - 一种基于手势的显示设备控制方法和显示设备 - Google Patents

一种基于手势的显示设备控制方法和显示设备 Download PDF

Info

Publication number
CN110956124A
CN110956124A CN201911183376.XA CN201911183376A CN110956124A CN 110956124 A CN110956124 A CN 110956124A CN 201911183376 A CN201911183376 A CN 201911183376A CN 110956124 A CN110956124 A CN 110956124A
Authority
CN
China
Prior art keywords
gesture
coordinate
sequence
display device
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911183376.XA
Other languages
English (en)
Inventor
杨家全
周年荣
唐立军
李浩涛
张林山
谭向宇
栾思平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN201911183376.XA priority Critical patent/CN110956124A/zh
Publication of CN110956124A publication Critical patent/CN110956124A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells

Abstract

本申请涉及智能控制技术领域，尤其涉及一种基于手势的显示设备控制方法和显示设备。该方法包括获取用户的动态手势，动态手势包括多个识别帧，每一个识别帧包括M帧图像；确定动态手势连续的两个识别帧中，用户的骨骼点在坐标图像中的运动方位坐标；按照多个识别帧的时序，依次提取每两个所述识别帧对应的运动方位坐标的数值，组成手势坐标序列；根据手势坐标序列，控制显示设备。本实施例提供的方法和显示设备，在保证理想的识别正确率的同时，减少了识别算法的时间复杂度，提高了显示设备的反应速度。

Description

一种基于手势的显示设备控制方法和显示设备
技术领域
本申请涉及智能控制技术领域，尤其涉及一种基于手势的显示设备控制方法和显示设备。
背景技术
显示设备(例如智能电视)在运行体感应用的过程中，能够识别用户的动态操作手势，并根据该动态操作手势控制体感应用，从而将虚拟世界和现实世界的纽带接在一起。例如，显示设备在运行体感网球游戏的过程中，能够采集用户的打球动作，并根据打球动作控制网球的运行轨迹。
目前，显示设备在确定用户的动态操作手势的过程中，通常需要确定用户的动态手势的轨迹图像，在轨迹图像库中查找与轨迹图像匹配的轨迹模板，并根据该轨迹模板对应的指令，控制显示设备动作。然而，在上述过程中，图像级别的对比会导致手势的识别效率较低。因此，亟待提供一种高效的手势识别方法。
发明内容
本申请提供了一种基于手势的显示设备控制方法和显示设备，以解决目前手势识别效率低的问题。
第一方面，本实施例提供一种基于手势的显示设备控制方法，包括：
获取用户的动态手势，所述动态手势包括多个识别帧，每一个所述识别帧包括M帧图像，其中，M≥1；
确定所述动态手势连续的两个所述识别帧中，用户的骨骼点在坐标图像中的运动方位坐标，其中，所述坐标图像为一个N等分的圆形，所述圆形中的每两个扇形区域之间的边线均对应一个预设的位置坐标，所述骨骼点在所述坐标图像中运动时所经过的边线的位置坐标，即为所述运动方位坐标，其中，N≥4；
按照多个所述识别帧的时序，依次提取每两个所述识别帧对应的所述运动方位坐标的数值，组成手势坐标序列；
根据所述手势坐标序列，控制显示设备。
可选的，所述坐标图像为一个16等分、且关于竖直方向对称的圆形，其中，所述边线的位置坐标包括横坐标和纵坐标，从左到右，所述边线的横坐标依次为0到8，并且同一横向位置的边线的横坐标相同；从下到上，所述边线的纵坐标依次为0到8，并且同一纵向位置的边线的纵坐标相同。
可选的，所述根据所述手势坐标序列，控制显示设备，包括：将所述手势坐标序列与预设的序列库进行比较；若所述序列库中包括所述手势坐标序列，则根据所述手势坐标序列控制显示设备。
可选的，所述骨骼点的数量至少为一个。
可选的，M＝4。
第二方面，本实施例提供一种显示设备，包括：
显示器，被配置为显示用户界面；
摄像头，被配置为采集用户的动态手势；
控制器，与所述显示器、所述摄像头连接，并且被配置为执行如下操作：
获取用户的动态手势，所述动态手势包括多个识别帧，每一个所述识别帧包括M帧图像，其中，M≥1；
确定所述动态手势连续的两个所述识别帧中，用户的骨骼点在坐标图像中的运动方位坐标，其中，所述坐标图像为一个N等分的圆形，所述圆形中的每两个扇形区域之间的边线均对应一个预设的位置坐标，所述骨骼点在所述坐标图像中运动时所经过的边线的位置坐标，即为所述运动方位坐标，其中，N≥4；
按照多个所述识别帧的时序，依次提取每两个所述识别帧对应的所述运动方位坐标的数值，组成手势坐标序列；
根据所述手势坐标序列，控制显示设备。
可选的，所述坐标图像为一个16等分、且关于竖直方向对称的圆形，其中，所述边线的位置坐标包括横坐标和纵坐标，从左到右，所述边线的横坐标依次为0到8，并且同一横向位置的边线的横坐标相同；从下到上，所述边线的纵坐标依次为0到8，并且同一纵向位置的边线的纵坐标相同。
可选的，所述根据所述手势坐标序列，控制显示设备，包括：将所述手势坐标序列与预设的序列库进行比较；若所述序列库中包括所述手势坐标序列，则根据所述手势坐标序列控制显示设备。
可选的，所述骨骼点的数量至少为一个。
可选的，M＝4。
本实施例提供的基于手势的显示设备控制方法和显示设备，能够将一个完整动态手势分解成若干个微手势，然后用数字序列表示各个微手势的变化坐标，获得整个手势的手势坐标序列，并根据该手势坐标序列控制显示设备。在保证理想的识别正确率的同时，减少了识别算法的时间复杂度，提高了显示设备的反应速度。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例示例性提供一种基于手势的显示设备控制方法的流程图；
图2为本申请实施例示例性提供的一种坐标图像的示意图；
图3为本申请实施例示例性提供的一种动态手势的轨迹示意图；
图4为本申请实施例示例性提供的一种动态手势与坐标图像的对比示意图；
图5为本申请实施例示例性提供的一种动态手势的位置坐标示意图；
图6为本申请实施例示例性提供的一种显示设备的结构示意图。
具体实施方式
为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
请参阅图1，本申请实施例提供一种基于手势的显示设备控制方法，包括如下步骤S101-S104。
步骤S101，显示设备获取用户的动态手势，该动态手势包括多个识别帧，每一个识别帧包括M帧图像，其中，M≥1。
在本实施例中，显示设备获取的动态手势中所包括的识别帧的数量根据预先的配置确定(例如5个)，并且每一个识别帧中的图像帧数M也根据预先的配置确定(例如4帧)，本实施例对此不进行限制。
步骤S102，显示设备确定动态手势连续的两个识别帧中，用户的骨骼点在坐标图像中的运动方位坐标，其中，该坐标图像为一个N等分的圆形，该圆形中的每两个扇形区域之间的边线均对应一个预设的位置坐标，骨骼点在坐标图像中运动时所经过的边线的位置坐标，即为运动方位坐标，其中，N≥4。
在一个具体的示例中，如图2所示，本实施例提供的坐标图像为一个16等分、且关于竖直方向对称的圆形。其中，该圆形的每两个扇形区域之间的边线的位置坐标，均包括横坐标和纵坐标。具体地，从左到右，这些边线的横坐标依次为0到8，并且同一横向位置的边线的横坐标相同；从下到上，这些边线的纵坐标依次为0到8，并且同一纵向位置的边线的纵坐标相同。
示例性的，在图2所示的坐标图像中，在两个连续的识别帧中，当骨骼点的运动经过位置坐标为(5,7)的边线，该骨骼点的运动方位坐标即为(5,7)。
以如图3所示的手势的轨迹为例，如图4所示，将手势的轨迹与坐标图像对比可知，每两个识别帧之间的运动方位坐标依次为(5,7)、(6,6)、(7,5)、(8,4)、(7,3)和(6,2)。
此外，需要说明的是，在本实施例中，骨骼点的数量可以为一个、两个或者多个，骨骼点可以为任意一个手指的指尖等具有突出特点的部位。
步骤S103，显示设备按照多个识别帧的时序，依次提取每两个识别帧对应的运动方位坐标的数值，组成手势坐标序列。
示例性的，以被识别的动态手势的运动方位坐标依次为(5,7)、(6,6)、(7,5)、(8,4)、(7,3)和(6,2)为例，显示设备依次提取这些运动方位坐标的数值，即可组成手势坐标序列576675847362。
步骤S104，显示设备根据手势坐标序列，控制显示设备。
在一种可能的实现方式中，显示设备根据手势坐标序列，控制显示设备包括：将手势坐标序列与预设的序列库进行比较，若序列库中包括手势坐标序列，则根据手势坐标序列控制显示设备。
其中，需要说明的是，序列库中预先存储有多种手势坐标序列，每一个手势坐标序列均对应一种预设的控制操作，被配置为控制显示设备。
本实施例提供的基于手势的显示设备控制方法，能够将一个完整动态手势分解成若干个微手势，然后用数字序列表示各个微手势的变化坐标，获得整个手势的手势坐标序列，并根据该手势坐标序列控制显示设备。该方法在保证理想的识别正确率的同时，减少了识别算法的时间复杂度，提高了显示设备的反应速度。
请参阅图6，本实施例提供一种显示设备，包括显示器、摄像头和控制器，控制器控制显示器、摄像头工作。
其中，显示器，被配置为显示用户界面。
摄像头，被配置为采集用户的动态手势；
控制器，被配置为执行如下操作：
获取用户的动态手势，动态手势包括多个识别帧，每一个识别帧包括M帧图像，其中，M≥1。
确定动态手势连续的两个识别帧中，用户的骨骼点在坐标图像中的运动方位坐标，其中，坐标图像为一个N等分的圆形，该圆形中的每两个扇形区域之间的边线均对应一个预设的位置坐标，骨骼点在坐标图像中运动时所经过的边线的位置坐标，即为运动方位坐标，其中，N≥4。
按照多个识别帧的时序，依次提取每两个识别帧对应的运动方位坐标的数值，组成手势坐标序列。
根据手势坐标序列，控制显示设备。
可选的，本实施例提供的坐标图像为一个16等分、且关于竖直方向对称的圆形，其中，边线的位置坐标包括横坐标和纵坐标，从左到右，边线的横坐标依次为0到8，并且同一横向位置的边线的横坐标相同；从下到上，边线的纵坐标依次为0到8，并且同一纵向位置的边线的纵坐标相同。
可选的，根据手势坐标序列，控制显示设备，包括：将手势坐标序列与预设的序列库进行比较；若序列库中包括该手势坐标序列，则根据该手势坐标序列控制显示设备。
可选的，在本实施例中，骨骼点的数量至少为一个。
可选的，在本实施例中，M＝4。
本实施例提供的显示设备，能够将一个完整动态手势分解成若干个微手势，然后用数字序列表示各个微手势的变化坐标，获得整个手势的手势坐标序列，并根据该手势坐标序列控制显示设备。在保证理想的识别正确率的同时，减少了识别算法的时间复杂度，提高了显示设备的反应速度。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
应当理解的是，本申请并不局限于上面已经描述的内容，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于手势的显示设备控制方法，其特征在于，包括：
获取用户的动态手势，所述动态手势包括多个识别帧，每一个所述识别帧包括M帧图像，其中，M≥1；
确定所述动态手势连续的两个所述识别帧中，用户的骨骼点在坐标图像中的运动方位坐标，其中，所述坐标图像为一个N等分的圆形，所述圆形中的每两个扇形区域之间的边线均对应一个预设的位置坐标，所述骨骼点在所述坐标图像中运动时所经过的边线的位置坐标，即为所述运动方位坐标，其中，N≥4；
按照多个所述识别帧的时序，依次提取每两个所述识别帧对应的所述运动方位坐标的数值，组成手势坐标序列；
根据所述手势坐标序列，控制显示设备。
2.根据权利要求1所述的基于手势的显示设备控制方法，其特征在于，所述坐标图像为一个16等分、且关于竖直方向对称的圆形，其中，
所述边线的位置坐标包括横坐标和纵坐标，从左到右，所述边线的横坐标依次为0到8，并且同一横向位置的边线的横坐标相同；从下到上，所述边线的纵坐标依次为0到8，并且同一纵向位置的边线的纵坐标相同。
3.根据权利要求1所述的基于手势的显示设备控制方法，其特征在于，所述根据所述手势坐标序列，控制显示设备，包括：
将所述手势坐标序列与预设的序列库进行比较；
若所述序列库中包括所述手势坐标序列，则根据所述手势坐标序列控制显示设备。
4.根据权利要求1-3任一项所述的基于手势的显示设备控制方法，其特征在于，所述骨骼点的数量至少为一个。
5.根据权利要求1所述的基于手势的显示设备控制方法，其特征在于，M＝4。
6.一种显示设备，其特征在于，包括：
显示器，被配置为显示用户界面；
摄像头，被配置为采集用户的动态手势；
控制器，与所述显示器、所述摄像头连接，并且被配置为执行如下操作：
获取用户的动态手势，所述动态手势包括多个识别帧，每一个所述识别帧包括M帧图像，其中，M≥1；
确定所述动态手势连续的两个所述识别帧中，用户的骨骼点在坐标图像中的运动方位坐标，其中，所述坐标图像为一个N等分的圆形，所述圆形中的每两个扇形区域之间的边线均对应一个预设的位置坐标，所述骨骼点在所述坐标图像中运动时所经过的边线的位置坐标，即为所述运动方位坐标，其中，N≥4；
按照多个所述识别帧的时序，依次提取每两个所述识别帧对应的所述运动方位坐标的数值，组成手势坐标序列；
根据所述手势坐标序列，控制显示设备。
7.根据权利要求5所述显示设备，其特征在于，所述坐标图像为一个16等分、且关于竖直方向对称的圆形，其中，
所述边线的位置坐标包括横坐标和纵坐标，从左到右，所述边线的横坐标依次为0到8，并且同一横向位置的边线的横坐标相同；从下到上，所述边线的纵坐标依次为0到8，并且同一纵向位置的边线的纵坐标相同。
8.根据权利要求5所述显示设备，其特征在于，所述根据所述手势坐标序列，控制显示设备，包括：
将所述手势坐标序列与预设的序列库进行比较；
若所述序列库中包括所述手势坐标序列，则根据所述手势坐标序列控制显示设备。
9.根据权利要求6-8任一项所述的显示设备，其特征在于，所述骨骼点的数量至少为一个。
10.根据权利要求6-8任一项所述的显示设备，其特征在于，M＝4。
CN201911183376.XA 2019-11-27 2019-11-27 一种基于手势的显示设备控制方法和显示设备 Pending CN110956124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911183376.XA CN110956124A (zh) 2019-11-27 2019-11-27 一种基于手势的显示设备控制方法和显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911183376.XA CN110956124A (zh) 2019-11-27 2019-11-27 一种基于手势的显示设备控制方法和显示设备

Publications (1)

Publication Number Publication Date
CN110956124A true CN110956124A (zh) 2020-04-03

Family

ID=69978608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911183376.XA Pending CN110956124A (zh) 2019-11-27 2019-11-27 一种基于手势的显示设备控制方法和显示设备

Country Status (1)

Country Link
CN (1) CN110956124A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097936A (zh) * 2022-06-16 2022-09-23 慧之安信息技术股份有限公司 基于手势动作深度学习的显示屏控制方法
CN115643485A (zh) * 2021-11-25 2023-01-24 荣耀终端有限公司 拍摄的方法和电子设备
WO2024067468A1 (zh) * 2022-09-27 2024-04-04 广州视琨电子科技有限公司 基于图像识别的交互控制方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975934A (zh) * 2016-05-05 2016-09-28 中国人民解放军63908部队 一种用于增强现实辅助维修的动态手势识别方法及系统
CN106778141A (zh) * 2017-01-13 2017-05-31 北京元心科技有限公司 基于手势识别的解锁方法、装置及移动终端
CN107463331A (zh) * 2017-08-15 2017-12-12 上海闻泰电子科技有限公司 手势轨迹模拟方法、装置及电子设备
CN107563286A (zh) * 2017-07-28 2018-01-09 南京邮电大学 一种基于Kinect深度信息的动态手势识别方法
CN110232308A (zh) * 2019-04-17 2019-09-13 浙江大学 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN110362264A (zh) * 2019-06-28 2019-10-22 武汉海微科技有限公司 一种基于触摸板的动态手势识别方法、装置和系统
CN115410274A (zh) * 2022-08-30 2022-11-29 上海高德威智能交通系统有限公司 一种手势识别方法、装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975934A (zh) * 2016-05-05 2016-09-28 中国人民解放军63908部队 一种用于增强现实辅助维修的动态手势识别方法及系统
CN106778141A (zh) * 2017-01-13 2017-05-31 北京元心科技有限公司 基于手势识别的解锁方法、装置及移动终端
CN107563286A (zh) * 2017-07-28 2018-01-09 南京邮电大学 一种基于Kinect深度信息的动态手势识别方法
CN107463331A (zh) * 2017-08-15 2017-12-12 上海闻泰电子科技有限公司 手势轨迹模拟方法、装置及电子设备
CN110232308A (zh) * 2019-04-17 2019-09-13 浙江大学 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN110362264A (zh) * 2019-06-28 2019-10-22 武汉海微科技有限公司 一种基于触摸板的动态手势识别方法、装置和系统
CN115410274A (zh) * 2022-08-30 2022-11-29 上海高德威智能交通系统有限公司 一种手势识别方法、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115643485A (zh) * 2021-11-25 2023-01-24 荣耀终端有限公司 拍摄的方法和电子设备
CN115643485B (zh) * 2021-11-25 2023-10-24 荣耀终端有限公司 拍摄的方法和电子设备
CN115097936A (zh) * 2022-06-16 2022-09-23 慧之安信息技术股份有限公司 基于手势动作深度学习的显示屏控制方法
WO2024067468A1 (zh) * 2022-09-27 2024-04-04 广州视琨电子科技有限公司 基于图像识别的交互控制方法、装置及设备

Similar Documents

Publication Publication Date Title
CN110956124A (zh) 一种基于手势的显示设备控制方法和显示设备
US8923559B2 (en) Image processing apparatus, image processing method, and program
CN103353935B (zh) 一种用于智能家居系统的3d动态手势识别方法
CN106934333B (zh) 一种手势识别方法及系统
CN105353634A (zh) 利用手势识别控制操作的家电设备与方法
CN103345644B (zh) 在线训练的目标检测方法及装置
CN102999152A (zh) 一种手势动作识别方法和系统
CN107316022B (zh) 动态手势识别方法和装置
CN103150019A (zh) 一种手写输入系统及方法
CN102200830A (zh) 基于静态手势识别的非接触控制系统和控制方法
CN110727496B (zh) 图形用户界面的布局方法、装置、电子设备及存储介质
CN103106388B (zh) 图像识别方法和系统
KR101631015B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN105589553A (zh) 一种智能设备的手势控制方法和系统
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN111798487A (zh) 目标跟踪方法、装置和计算机可读存储介质
CN111027403A (zh) 手势估计方法、装置、设备及计算机可读存储介质
US20150193001A1 (en) Input device, apparatus, input method, and recording medium
CN107357414B (zh) 一种点击动作的识别方法及点击动作识别装置
CN111656313A (zh) 屏幕显示切换方法、显示设备、可移动平台
CN106468993A (zh) 虚拟现实终端设备的控制方法及装置
CN109325387B (zh) 图像处理方法、装置、电子设备
Choi et al. RGB-D camera-based hand shape recognition for human-robot interaction
CN103870146B (zh) 一种信息处理方法及电子设备
CN111168676A (zh) 机械臂手眼协作绘画方法、装置、绘画机器人及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination