CN116962769A - 基于外设手势智能识别的操作控制方法、装置 - Google Patents
基于外设手势智能识别的操作控制方法、装置 Download PDFInfo
- Publication number
- CN116962769A CN116962769A CN202310838024.3A CN202310838024A CN116962769A CN 116962769 A CN116962769 A CN 116962769A CN 202310838024 A CN202310838024 A CN 202310838024A CN 116962769 A CN116962769 A CN 116962769A
- Authority
- CN
- China
- Prior art keywords
- gesture
- instruction
- intelligent
- shape
- peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002093 peripheral effect Effects 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000033001 locomotion Effects 0.000 claims abstract description 163
- 230000004044 response Effects 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 abstract description 30
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000003811 finger Anatomy 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了基于外设手势智能识别的操作控制方法、装置，包括：通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状；将手势运动轨迹转换为对应的焦点移动指令；根据智能外设识别出的手势形状，查找预先设置指令库中是否有与手势形状对应的操作执行指令；将焦点移动指令，以及对应的操作执行指令转换为USB标准协议；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应。本发明将用户手势动作输入到外设智能设备，经智能设备内部的识别和键值转换，通过USB线给电视主机发送操控键值，实现手势控制电视的目的，为用户的使用提供了方便。
Description
技术领域
本发明涉及智能终端技术领域，尤其涉及的是一种基于外设手势智能识别的操作控制方法、装置、智能外设及存储介质。
背景技术
随着电子技术的发展和人们生活水平的不断提高，各种智能终端例如的智能电视的使用越来越普及，智能电视已经成为人们生活中不可缺少的娱乐工具。
现有技术的智能电视都是通过遥控器来操作控制的，由于家里一般有小孩老人，遥控器的摆放位置经常会被忘记，这个时候找遥控器操控电视就显得很麻烦吃力了，不方便用户操作使用。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于外设手势智能识别的操作控制方法、装置、智能外设及存储介质，本发明解决传统遥控器操控方式的痛点，通过连接带人工智能AI视觉点指识别技术的外设进行手势智能识别操作，就能轻松解决依赖遥控器才能操控电视的痛点难题。
本发明解决问题所采用的技术方案如下：
一种基于外设手势智能识别的操作控制方法，其中，包括：
获取用户的手势图像；
通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状；
根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令；
根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令；
将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应。
所述的基于外设手势智能识别的操作控制方法，其中，所述获取用户的手势图像的步骤之前包括：
预先在指令库设置用于触发启动手势操作模式的第一指定手势图像，并设置该第一指定手势图像与智能电视触发进入手势操作模式的操作指令建立对应关系；
预先在指令库设置在手势操作模式下，与鼠标左按键指令对应的第二指定手势图像；
预先在指令库设置在手势操作模式下，与鼠标右按键指令对应的第三指定手势图像；
以及以预先在指令库设置在手势操作模式下，与鼠标中间滚轮按键指令对应的第四指定手势图像。
所述的基于外设手势智能识别的操作控制方法，其中，所述获取用户的手势图像的步骤包括：
通过设置在智能电视上的摄像头获取用户的手势图像；
或通过设置在智能外设上的摄像头获取用户的手势图像。
所述的基于外设手势智能识别的操作控制方法，其中，所述通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状的步骤包括：
通过与智能电视连接的智能外设对获取的手势图像进行识别处理；
通过分析连续的手势图像帧，检测手势的起点、终点以及中间的运动路径，识别手势的运动轨迹，以确定手势在空间中的移动路径，并提取出手势的运动轨迹；
通过分析手势图像中的轮廓、边缘特征，识别出手势的形状，确定手势所呈现的具体形态，并提取出手势形状。
所述的基于外设手势智能识别的操作控制方法，其中，所述根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令的步骤包括：
根据预设的手势运动轨迹与焦点的对应关系，确定与当前手势运动轨迹对应的焦点在屏幕上的移动位置，其中，所述焦点指在屏幕上操作的光标或者选择框。
所述的基于外设手势智能识别的操作控制方法，其中，所述根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令的步骤包括：
获取所述智能外设识别出的手势形状；
将识别出的手势形状，与预先设置的指令库中有对应操作指令的手势形状进行比较，查找预先设置指令库中是否有与所识别出的手势形状一致的手势形状；
当预先设置指令库中有与所识别出的手势形状一致的手势形状，则判定为预先设置的指令库中有与所述手势形状对应的操作执行指令，并输出与所述手势形状对应的操作执行指令。
所述的基于外设手势智能识别的操作控制方法，其中，所述将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应的步骤包括：
将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令，进行符合USB通信标准协议的编码和封装；
将进行过编码和封装的焦点移动指令以及操作执行指令、通过USB接口传输给智能电视；控制智能电视根据焦点移动指令中的信息，执行光标的移动操作，以及控制智能电视根据操作执行指令中的信息，执行相应的操作响应。
一种基于外设手势智能识别的操作控制装置，其中，所述装置包括：
手势图像获取模块，用于获取用户的手势图像；
外设识别处理模块，用于通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状；
外设转换模块，用于根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令；
外设指令库对比模块，用于根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令；
USB输出控制模块，用于将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应。
一种智能外设，其中，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行任意一项所述的方法。
一种非临时性计算机可读存储介质，其中，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行任意一项所述的方法。
本发明的有益效果：本发明提供的一种基于外设手势智能识别的操作控制方法及装置，本发明采用人工智能AI视觉点指识别技术，使用摄像头将用户的手势动作输入到外设智能设备，经过智能设备内部的识别和键值转换，最终通过USB线给电视主机发送操控键值，从而实现手势控制电视的目的，为用户的使用大大提供了方便。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于外设手势智能识别的操作控制方法的流程示意图。
图2是本发明实施例提供的基于外设手势智能识别的操作控制方法中用户点赞手指动作图像示意图。
图3是本发明具体应用实施例提供的基于外设手势智能识别的操作控制方法流程示意图。
图4是本发明实施例提供的基于外设手势智能识别的操作控制装置的原理框图。
图5是本发明实施例提供的智能外设的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
现有技术的智能电视都是通过遥控器来操作控制的，由于家里一般有小孩老人，遥控器的摆放位置经常会被忘记，这个时候找遥控器操控电视就显得很麻烦吃力了，不方便用户操作使用。
为了解决现有技术的问题，本发明提供一种基于外设手势智能识别的操作控制方法，本申请采用图像识别技术，在内部通过摄像头对用户手势的视频实时采集、智能识别、虚拟指令转换等一系列的关键技术处理，实现通过手势即可触发遥控器模式，发送虚拟按键来操控电视的目的。
示例性方法
如图1中所示，本发明实施例提供一种基于外设手势智能识别的操作控制方法，所述基于外设手势智能识别的操作控制方法可以应用于智能终端。在本发明实施例中，所述方法包括如下步骤：
步骤S100、获取用户的手势图像；
本申请实施例中，设置一种智能外设来对用户手势图像进行识别处理，然后转换为了USB标准协议发送给智能电视，控制智能电视根据用户操作手势执行对应操作响应。
本申请中，在获取用户的手势图像，可以通过设置在智能电视上的摄像头获取用户的手势图像；也可以通过设置在智能外设上的摄像头获取用户的手势图像。
步骤S200、通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状；
可选地，本申请实施例中，通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状。
具体地，可以通过与智能电视连接的智能外设对获取的手势图像进行识别处理；通过分析连续的手势图像帧，检测手势的起点、终点以及中间的运动路径，识别手势的运动轨迹，以确定手势在空间中的移动路径，并提取出手势的运动轨迹；
以及通过分析手势图像中的轮廓、边缘特征，识别出手势的形状，确定手势所呈现的具体形态，并提取出手势形状。
即本申请中，通过与智能电视连接的智能外设，可以获取手势图像并对手势图像进行识别处理。这种处理过程旨在识别出手势图像中的手势运动轨迹和手势形状。
具体来说，通过智能电视摄像头或与智能电视连接的智能外设的摄像头或者其他传感器设备，捕捉到用户在空中或者特定区域内的手势动作。这些手势动作可以是手指的移动、手势的形状等。
本申请实施例中智能外设获取到手势图像，会将这些图像进行识别处理。在这个处理过程中，本申请的智能外设会使用一系列的算法和模型来分析手势图像，并提取出手势的运动轨迹和手势的形状。
识别手势的运动轨迹意味着确定手势在空间中的移动路径。可以通过分析连续的图像帧来实现，智能外设会检测手势的起点、终点以及中间的运动路径。
本申请中识别手势的形状意味着确定手势所呈现的具体形态。可以通过分析手势图像中的轮廓、边缘等特征来实现，本申请的智能外设会识别出手势的形状，如手势是一个手掌、一个手指或者其他形状。
这样，本步骤可以识别出手势图像中的手势运动轨迹及手势形状。
步骤S300、根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令；
可选地，本步骤中根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令；
具体地，根据预设的手势运动轨迹与焦点的对应关系，确定与当前手势运动轨迹对应的焦点在屏幕上的移动位置，其中，所述焦点指在屏幕上操作的光标或者选择框。
可选地，本申请根据所述智能外设识别出的手势运动轨迹及手势形状，可以将这些手势运动轨迹转换为对应的焦点移动指令。
具体来说，当通过识别处理将手势图像中的手势运动轨迹和手势形状提取出来后，智能外设可以根据这些信息来判断用户的意图和操作需求。在焦点移动指令中，焦点通常指的是用户在屏幕上的光标或者选择框。通过手势的运动轨迹，可以确定用户希望将焦点移动到屏幕的哪个位置。例如，用户可以通过手势的运动轨迹从屏幕的左上角滑动到右下角，表示希望将焦点移动到屏幕的右下角。
而手势的形状则可以进一步细化焦点移动指令。不同的手势形状可以表示不同的操作需求。例如，用户可以通过手势形状画出一个圆形，表示希望将焦点绕着一个中心点进行旋转。
因此，根据所述智能外设识别出的手势运动轨迹及手势形状，可以将这些信息转换为对应的焦点移动指令。这样，可以根据这些指令来实现控制相应的焦点移动操作，满足用户的操作需求。
步骤S400、根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令；
本申请在具体实施前需要，预先在指令库设置用于触发启动手势操作模式的第一指定手势图像，并设置该第一指定手势图像与智能电视触发进入手势操作模式的操作指令建立对应关系；例如如图2所示，可以设置大拇指竖起的手势为第一指定手势图像、并与智能电视触发进入手势操作模式的操作指令建立对应关系；这样当检测到大拇指竖起的手势时可以控制智能电视触发进入手势操作模式。
可选地，本申请还预先在指令库设置在手势操作模式下，与鼠标左按键指令对应的第二指定手势图像；例如可以设置第二指定手势图像为右手食指点击动作；
可选地，本申请还可以预先在指令库设置在手势操作模式下，与鼠标右按键指令对应的第三指定手势图像；例如可以设置第三指定手势图像为右手中指点击动作；
可选地，本申请还可以预先在指令库设置在手势操作模式下，与鼠标中间滚轮按键指令对应的第四指定手势图像；例如可以设置第四指定手势图像为右手大拇指拨动动作。
所以，本申请步骤S300会根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令。
具体地，本步骤获取所述智能外设识别出的手势形状；然后将识别出的手势形状，与预先设置的指令库中有对应操作指令的手势形状进行比较，查找预先设置指令库中是否有与所识别出的手势形状一致的手势形状；
当预先设置指令库中有与所识别出的手势形状一致的手势形状，则判定为预先设置的指令库中有与所述手势形状对应的操作执行指令，并输出与所述手势形状对应的操作执行指令。
其中，本实施例的获取所述智能外设识别出的手势形状是指从智能外设中获取到手势形状的信息。手势形状的识别可以是通过传感器或其他手势识别技术获得的。
然后，将识别出的手势形状与预先设置的指令库中有对应操作指令的手势形状进行比较，是指将识别出的手势形状与事先存储在指令库中的手势形状进行匹配。
在指令库中，可以预先设置一些手势形状与相应的操作执行指令进行关联。例如，可以将一个O形手势形状与旋转操作进行关联。
本申请中当预先设置的指令库中有与所识别出的手势形状一致的手势形状时，即匹配成功，可以判定为预先设置的指令库中有与所述手势形状对应的操作执行指令。这样，在匹配成功的情况下，可以输出与所述手势形状对应的操作执行指令。这意味着智能外设可以识别出用户的手势形状，并根据匹配结果输出相应的操作执行指令。这些操作执行指令可以是一些控制指令，用于控制智能电视执行相应的操作。
通过这个过程，智能外设可以根据用户的手势形状识别出相应的操作执行指令，并将其传递给智能电视，以实现对智能电视的控制。
步骤S500、将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应。
本步骤中，将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应。
具体地，将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令，进行符合USB通信标准协议的编码和封装；
将进行过编码和封装的焦点移动指令以及操作执行指令、通过USB接口传输给智能电视；控制智能电视根据焦点移动指令中的信息，执行光标的移动操作，以及控制智能电视根据操作执行指令中的信息，执行相应的操作响应。
本申请实施例中，其中，将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，是指将这些指令进行编码和封装，以符合USB通信的标准协议。
USB(Universal Serial Bus，通用串行总线)是一种用于连接计算机和外部设备的通信接口标准。通过将手势识别的指令转换为USB标准协议，可以将这些指令通过USB接口传输给智能终端，如智能电视或其他计算设备。
当智能电视接收到通过USB传输的焦点移动指令以及操作执行指令，可以解析这些指令，并根据指令内容执行相应的操作。
对于焦点移动指令，智能电视可以根据指令中的信息来控制光标的移动。例如，如果指令表示将焦点移动到屏幕的右下角，智能电视可以根据指令来调整光标的位置，使其移动到屏幕的右下角。
对于操作执行指令，智能电视可以根据指令中的信息来执行相应的操作响应。例如，如果指令表示执行一个旋转操作，智能电视可以根据指令来执行相应的旋转功能。
因此，本步骤中通过将根据手势运动轨迹转换的焦点移动指令和与手势形状对应的操作执行指令转换为USB标准协议，并发送给智能电视，可以实现对智能电视的控制。智能电视可以根据接收到的指令来执行相应的光标移动操作和操作响应，以满足用户的操作需求。
可见，本申请实施例，通过对手势图像进行识别处理，智能电视或者其他计算设备可以理解用户的手势动作，并根据识别结果进行相应的操作。例如，可以根据手势的运动轨迹来控制光标的移动，根据手势的形状来执行特定的功能。
总之，通过与智能电视连接的智能外设对获取的手势图像进行识别处理，可以识别出手势图像中的手势运动轨迹和手势形状。这种技术可以实现基于手势的交互，增强用户对智能电视的控制和操作能力。
以下再通过一具体应用实施例对本发明做进一上步详细说明：
本具体应用实施例，如图3所示，以智能外设100通过USB与智能电视连接，具体包括以下步骤：
步骤S101、通过摄像头获取用户的手势图像；
步骤S102、智能外设对获取的手势图像进行图像转换；
本发明实施例中，智能外设对获取的手势图像进行图像转换是指对从传感器或其他手势识别技术获取到的原始手势图像进行处理和转换的过程。
在手势识别中，原始手势图像可能是以不同的格式或表示方式呈现的，例如灰度图像、彩色图像、深度图像等。为了进行后续的手势识别和分析，需要对这些原始图像进行转换和处理。
图像转换可以包括以下几个方面的处理：
归一化：将手势图像的尺寸、比例或分辨率进行统一，以便后续处理和比较。
去噪：去除图像中的噪声或不必要的细节，以提高手势识别的准确性和稳定性。
特征提取：从手势图像中提取出与手势形状相关的特征，例如边缘、轮廓、角点等。这些特征可以用于后续的手势匹配和识别。
标准化：将手势图像转换为标准的表示形式，以便与预先设置的手势模板进行比较和匹配。
姿态估计：根据手势图像中的信息，估计手势的姿态或方向，以便更准确地理解用户的手势意图。
通过对获取的手势图像进行图像转换，智能外设可以将原始图像转换为更方便处理和分析的形式，以便后续的手势识别和操作执行。这样可以提高手势识别的准确性和响应速度，从而更好地满足用户的操作需求。
步骤S103、将转换后的图片进行图片预处理；
步骤S104、对预处理后的图片进行模型推理，以进入步骤S105，识别图中手势形状。
将转换后的手势图像进行图片预处理是指对经过图像转换的手势图像进行一系列的预处理操作，以提取更有用的特征并减少噪声，以便于后续的手势形状识别。
图片预处理的操作可以包括以下几个方面：
去噪：使用滤波器或其他去噪算法，去除手势图像中的噪声和干扰。
缩放和裁剪：根据需要，对手势图像进行缩放或裁剪，将其调整为适合模型输入的大小。
标准化：将手势图像的像素值进行归一化，将其范围映射到合适的数值范围。
增强和增加对比度：通过调整手势图像的亮度、对比度和颜色饱和度等参数，增强手势图像中的特征。
角度矫正：如果手势图像存在倾斜或旋转，可以对其进行角度矫正，使手势图像恢复水平或垂直的方向。
数据增强：通过对手势图像应用平移、旋转、缩放等变换，生成更多的训练样本，增加模型的鲁棒性和泛化能力。
处理完毕后，对预处理后的图片进行模型推理，即使用训练好的手势形状识别模型对图像进行分析和推断，以识别图中的手势形状。
手势形状识别模型可以是基于机器学习(如卷积神经网络、支持向量机)或深度学习(如卷积神经网络、循环神经网络)的模型。它们可以学习从输入的手势图像中提取特征，并根据这些特征对手势形状进行分类或回归。
模型推理的过程使用经过预训练或自适应训练的模型，对预处理后的手势图像进行输入，模型将根据学到的知识和特征进行计算和推理，最终判定手势图像中的手势形状是什么。
通过将转换后的手势图像进行图片预处理和模型推理，可以实现对手势形状的自动识别，并据此进行相应的操作或响应。这种技术在智能外设、虚拟现实、人机交互等领域有广泛的应用。
步骤S106、标记手势坐标位置及动作；
步骤S107、转换手势坐标及动作键值为USB标准协议；
步骤S108、通过USB线传输给智能电视，控制智能电视屏幕执行对应操作。
上述步骤中，识别图中手势形状，标记手势坐标位置及动作是指对手势图像进行分析和处理，以确定手势的形状、位置和动作，并将这些信息进行标记和记录。
首先，可以通过使用手势识别模型对预处理后的手势图像进行推理，可以确定图中手势的形状。识别的结果可以是手势的类别，例如“拳头”、“手掌”、“剪刀”等，或者是手势的动作，例如“抓取”、“挥动”、“放大”等。
其次，识别手势的坐标位置是指确定手势在图像中的具体位置。这可以通过计算手势图像中手势的边界框或轮廓来实现。边界框是一个矩形框，用于包围手势的区域，轮廓是手势的边界线。通过获取边界框或轮廓的位置和大小，可以确定手势在图像中的位置，并标记出来。
最后，识别手势的动作是指确定手势的具体动作或意图。这可以通过分析手势的形状和位置的变化来实现。例如，如果手势从“手掌”形状变为“拳头”形状，可以判定为“抓取”动作；如果手势从左侧移动到右侧，可以判定为“滑动”动作。通过识别手势的动作，可以实现对手势的实时跟踪和响应。
将手势形状、坐标位置和动作进行标记和记录，可以用于不同的应用和场景。例如，在虚拟现实中，可以根据手势的形状和动作来控制虚拟对象的操作；在智能外设中，可以根据手势的位置和动作来执行相应的操作；在人机交互中，可以根据手势的形状和动作来实现自然的人机交互方式。
然后在识别图中手势形状，标记手势坐标位置及动作，转换手势坐标及动作键值是指在手势识别的基础上，进一步对手势的坐标位置和动作进行处理和转换，以便更好地应用于具体的任务或场景。
转换手势坐标及动作键值是指将手势的坐标位置和动作转换成适合特定任务或场景的形式。这可以包括以下几个方面：
坐标转换：手势的坐标位置通常是相对于图像的像素坐标。如果需要将手势的位置应用于其他任务或场景，可能需要进行坐标的转换。例如，将手势的像素坐标转换为屏幕坐标、世界坐标或相对坐标等，以便在不同的应用中正确地定位手势的位置。
动作转换：手势的动作通常是以文本或数字形式表示的，例如“抓取”、“挥动”、“放大”等。如果需要将手势的动作应用于特定任务或场景，可能需要将其转换成相应的键值或指令。例如，将手势的动作转换为键盘按键、鼠标点击、指令序列等，以便在计算机操作、游戏控制等方面实现手势的应用。
手势识别模型的训练和调整：根据具体的任务或场景需求，可能需要对手势识别模型进行训练和调整，以提高手势的识别准确性和可靠性。这可以涉及收集更多的手势数据、调整模型的参数或结构，以适应特定任务的要求。
通过将手势的坐标位置和动作进行转换，可以将手势的信息应用于不同的任务和场景。例如，在虚拟现实中，可以将手势的位置转换为虚拟场景中的物体操作；在智能外设中，可以将手势的动作转换为设备的控制指令；在人机交互中，可以将手势的坐标位置和动作转换为计算机操作的输入。
从以上工作流程可以看到，手势通过摄像头输入，智能外设内部做图片的分析处理，输出手型识别结果及其对应的坐标位置，即可转换成对应的虚拟光标位置和键值，完成对电视节目的操作。
由上可见，由于传统的智能电视操控强依赖遥控器，而遥控器是借助红外或蓝牙协议实现按键传递；本申请智能外设采用图像识别技术，通过摄像头对用户手势的视频实时采集、智能识别、虚拟指令转换等一系列的关键技术处理，实现通过手势即可触发手势操作模式，发送虚拟按键来操控电视的目的。
示例性设备
如图4中所示，本发明实施例提供一种基于外设手势智能识别的操作控制装置，该装置包括：
手势图像获取模块510，用于获取用户的手势图像；
外设识别处理模块520，用于通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状；
外设转换模块530，用于根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令；
外设指令库对比模块540，用于根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令；
USB输出控制模块550，用于将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应，具体如上所述。
基于上述实施例，本发明还提供了一种智能外设，其原理框图可以如图5所示。该智能外设可以为智能电视包括通过系统总线连接的处理器、存储器、网络接口、显示屏、摄像头。其中，该智能外设的处理器用于提供计算和控制能力。该智能外设的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能外设的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于外设手势智能识别的操作控制方法。该智能外设的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能外设的摄像头是预先在智能外设内部设置，用于拍摄获取用户手势图像。
本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能外设的限定，具体的智能外设可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能外设，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取用户的手势图像；
通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状；
根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令；
根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令；
将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应，具体如上所述。
其中，所述获取用户的手势图像的步骤之前包括：
预先在指令库设置用于触发启动手势操作模式的第一指定手势图像，并设置该第一指定手势图像与智能电视触发进入手势操作模式的操作指令建立对应关系；
预先在指令库设置在手势操作模式下，与鼠标左按键指令对应的第二指定手势图像；
预先在指令库设置在手势操作模式下，与鼠标右按键指令对应的第三指定手势图像；
以及以预先在指令库设置在手势操作模式下，与鼠标中间滚轮按键指令对应的第四指定手势图像。
其中，所述获取用户的手势图像的步骤包括：
通过设置在智能电视上的摄像头获取用户的手势图像；
或通过设置在智能外设上的摄像头获取用户的手势图像。
其中，所述通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状的步骤包括：
通过与智能电视连接的智能外设对获取的手势图像进行识别处理；
通过分析连续的手势图像帧，检测手势的起点、终点以及中间的运动路径，识别手势的运动轨迹，以确定手势在空间中的移动路径，并提取出手势的运动轨迹；
通过分析手势图像中的轮廓、边缘特征，识别出手势的形状，确定手势所呈现的具体形态，并提取出手势形状。
其中，所述根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令的步骤包括：
根据预设的手势运动轨迹与焦点的对应关系，确定与当前手势运动轨迹对应的焦点在屏幕上的移动位置，其中，所述焦点指在屏幕上操作的光标或者选择框。
其中，所述根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令的步骤包括：
获取所述智能外设识别出的手势形状；
将识别出的手势形状，与预先设置的指令库中有对应操作指令的手势形状进行比较，查找预先设置指令库中是否有与所识别出的手势形状一致的手势形状；
当预先设置指令库中有与所识别出的手势形状一致的手势形状，则判定为预先设置的指令库中有与所述手势形状对应的操作执行指令，并输出与所述手势形状对应的操作执行指令。
其中，所述将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应的步骤包括：
将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令，进行符合USB通信标准协议的编码和封装；
将进行过编码和封装的焦点移动指令以及操作执行指令、通过USB接口传输给智能电视；控制智能电视根据焦点移动指令中的信息，执行光标的移动操作，以及控制智能电视根据操作执行指令中的信息，执行相应的操作响应，具体如上所述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种基于外设手势智能识别的操作控制方法、装置、智能外设及存储介质，本发明采用人工智能AI视觉点指识别技术，使用摄像头将用户的手势动作输入到外设智能设备，经过智能设备内部的识别和键值转换，最终通过USB线给电视主机发送操控键值，从而实现手势控制电视的目的，为用户的使用大大提供了方便。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于外设手势智能识别的操作控制方法，其特征在于，包括：
获取用户的手势图像；
通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状；
根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令；
根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令；
将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应。
2.根据权利要求1所述的基于外设手势智能识别的操作控制方法，其特征在于，所述获取用户的手势图像的步骤之前包括：
预先在指令库设置用于触发启动手势操作模式的第一指定手势图像，并设置该第一指定手势图像与智能电视触发进入手势操作模式的操作指令建立对应关系；
预先在指令库设置在手势操作模式下，与鼠标左按键指令对应的第二指定手势图像；
预先在指令库设置在手势操作模式下，与鼠标右按键指令对应的第三指定手势图像；
以及以预先在指令库设置在手势操作模式下，与鼠标中间滚轮按键指令对应的第四指定手势图像。
3.根据权利要求1所述的基于外设手势智能识别的操作控制方法，其特征在于，所述获取用户的手势图像的步骤包括：
通过设置在智能电视上的摄像头获取用户的手势图像；
或通过设置在智能外设上的摄像头获取用户的手势图像。
4.根据权利要求1所述的基于外设手势智能识别的操作控制方法，其特征在于，所述通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状的步骤包括：
通过与智能电视连接的智能外设对获取的手势图像进行识别处理；
通过分析连续的手势图像帧，检测手势的起点、终点以及中间的运动路径，识别手势的运动轨迹，以确定手势在空间中的移动路径，并提取出手势的运动轨迹；
通过分析手势图像中的轮廓、边缘特征，识别出手势的形状，确定手势所呈现的具体形态，并提取出手势形状。
5.根据权利要求1所述的基于外设手势智能识别的操作控制方法，其特征在于，所述根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令的步骤包括：
根据预设的手势运动轨迹与焦点的对应关系，确定与当前手势运动轨迹对应的焦点在屏幕上的移动位置，其中，所述焦点指在屏幕上操作的光标或者选择框。
6.根据权利要求1所述的基于外设手势智能识别的操作控制方法，其特征在于，所述根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令的步骤包括：
获取所述智能外设识别出的手势形状；
将识别出的手势形状，与预先设置的指令库中有对应操作指令的手势形状进行比较，查找预先设置指令库中是否有与所识别出的手势形状一致的手势形状；
当预先设置指令库中有与所识别出的手势形状一致的手势形状，则判定为预先设置的指令库中有与所述手势形状对应的操作执行指令，并输出与所述手势形状对应的操作执行指令。
7.根据权利要求1所述的基于外设手势智能识别的操作控制方法，其特征在于，所述将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应的步骤包括：
将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令，进行符合USB通信标准协议的编码和封装；
将进行过编码和封装的焦点移动指令以及操作执行指令、通过USB接口传输给智能电视；控制智能电视根据焦点移动指令中的信息，执行光标的移动操作，以及控制智能电视根据操作执行指令中的信息，执行相应的操作响应。
8.一种基于外设手势智能识别的操作控制装置，其特征在于，所述装置包括：
手势图像获取模块，用于获取用户的手势图像；
外设识别处理模块，用于通过与智能电视连接的智能外设对获取的手势图像进行识别处理，识别出手势图像中的手势运动轨迹及手势形状；
外设转换模块，用于根据所述智能外设识别出的手势运动轨迹及手势形状，将所述手势运动轨迹转换为对应的焦点移动指令；
外设指令库对比模块，用于根据所述智能外设识别出的手势形状，查找预先设置指令库中是否有与所述手势形状对应的操作执行指令，当有则输出与所述手势形状对应的操作执行指令；
USB输出控制模块，用于将根据所述手势运动轨迹转换的焦点移动指令，以及与所述手势形状对应的操作执行指令转换为USB标准协议，发送给智能电视；控制智能电视执行与所述焦点移动指令对应的光标移动操作，以及执行与所述操作执行指令对应的操作响应。
9.一种智能外设，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-7中任意一项所述的方法。
10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310838024.3A CN116962769A (zh) | 2023-07-07 | 2023-07-07 | 基于外设手势智能识别的操作控制方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310838024.3A CN116962769A (zh) | 2023-07-07 | 2023-07-07 | 基于外设手势智能识别的操作控制方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116962769A true CN116962769A (zh) | 2023-10-27 |
Family
ID=88459635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310838024.3A Pending CN116962769A (zh) | 2023-07-07 | 2023-07-07 | 基于外设手势智能识别的操作控制方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116962769A (zh) |
-
2023
- 2023-07-07 CN CN202310838024.3A patent/CN116962769A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106774850B (zh) | 一种移动终端及其交互控制方法 | |
| WO2018000519A1 (zh) | 一种基于投影的用户交互图标的交互控制方法及系统 | |
| CN103092334B (zh) | 虚拟鼠标驱动装置及虚拟鼠标仿真方法 | |
| KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
| CN106873893B (zh) | 用于智能机器人的多模态交互方法及装置 | |
| CN113961067B (zh) | 基于深度学习的非接触式涂鸦绘制方法与识别交互系统 | |
| WO2013078989A1 (zh) | 人机交互操作指令的触发控制方法和系统 | |
| CN114792443A (zh) | 一种基于图像识别的智能设备手势识别控制方法 | |
| JP6498802B1 (ja) | 生体情報解析装置及びその顔型のシミュレーション方法 | |
| CN112949689A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN114333056B (zh) | 一种手势控制的方法、系统、设备及存储介质 | |
| CN111241940B (zh) | 一种机器人的远程控制方法、人体边界框确定方法及系统 | |
| CN112199015A (zh) | 智能交互一体机及其书写方法、装置 | |
| CN109919128B (zh) | 控制指令的获取方法、装置及电子设备 | |
| KR20160141023A (ko) | 액션이벤트·실감미디어컨텐츠연동을 수행하는 비접촉 스마트제스처인식장치 및 방법 | |
| CN117008491A (zh) | 一种智能手势控制系统及方法 | |
| CN109934155B (zh) | 一种基于深度视觉的协作机器人手势识别方法及装置 | |
| CN110007748B (zh) | 终端的控制方法、处理装置、存储介质及终端 | |
| KR101525011B1 (ko) | Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법 | |
| CN116962769A (zh) | 基于外设手势智能识别的操作控制方法、装置 | |
| CN116453230A (zh) | 活体检测方法、装置、终端设备以及存储介质 | |
| CN115951783A (zh) | 一种基于手势识别的计算机人机交互方法 | |
| US20220050528A1 (en) | Electronic device for simulating a mouse | |
| CN101446859B (zh) | 一种基于机器视觉的输入方法及其系统 | |
| KR101068281B1 (ko) | 후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |