CN103593056B - 手势数据识别和处理方法、电视机和手势输入设备 - Google Patents

手势数据识别和处理方法、电视机和手势输入设备 Download PDF

Info

Publication number
CN103593056B
CN103593056B CN201310618592.9A CN201310618592A CN103593056B CN 103593056 B CN103593056 B CN 103593056B CN 201310618592 A CN201310618592 A CN 201310618592A CN 103593056 B CN103593056 B CN 103593056B
Authority
CN
China
Prior art keywords
gesture
input device
sample frequency
gesture input
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310618592.9A
Other languages
English (en)
Other versions
CN103593056A (zh
Inventor
张静静
崔亚楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Qingdao Hisense Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronics Co Ltd filed Critical Qingdao Hisense Electronics Co Ltd
Priority to CN201310618592.9A priority Critical patent/CN103593056B/zh
Priority to CN201610371974.XA priority patent/CN106125904B/zh
Publication of CN103593056A publication Critical patent/CN103593056A/zh
Application granted granted Critical
Publication of CN103593056B publication Critical patent/CN103593056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明提供了一种手势数据识别方法、一种手势数据处理方法、一种电视机和一种手势输入设备,其中手势数据处理方法包括在建立被控设备与手势输入设备之间的通信连接后,被控设备通知手势输入设备以设定采样频率进行手势数据的采集;根据来自手势输入设备的手势数据建立用户手势模型;匹配用户手势模型与预置的标准手势模型;根据匹配结果调整设定采样频率,并将调整后的采样频率通知手势输入设备。本发明的手势识别控制方式能够使手势控制设备不受环境因数和位置的影响,并且根据建立的手势模型不断的调整手势数据采样频率,从而有效减少了手势控制设备的功耗。

Description

手势数据识别和处理方法、电视机和手势输入设备
技术领域
本发明涉及信息技术领域,具体而言,涉及一种手势数据识别和一种手势数据处理方法、一种电视机和一种手势输入设备。
背景技术
手势识别技术被应用于多种电子产品,例如办公产品、个人消费电子产品和家电产品等,随着人们对控制的智能化要求越来越高。因此,对于手势识别的准确度和实用性要求也越来越高。
目前较为典型的手势识别技术是利用摄像头对手部/手持工具的形态、位移等进行持续采集,每隔一段时间完成一次建模,形成一个模型信息的序列帧,再将这些序列帧转换为对应的指令,用来控制实现某些操作。手势识别技术实现了手部信息的捕捉以及手部信息到命令的转换。
但采用摄像头采集数据方式进行手势识别的方式,有以下三个技术缺点:
1、使用摄像头抓取图片的手势识别方式,为了使摄像头准确捕捉用户的手势动作,用户一般需要位于摄像头的正前方;
2、手在三维空间中运动,因此难以定位,并且计算机获取的图像是三维向二维的投影,因此误差较大;
3、由于手的表面是非光滑的,因此易产生阴影。因此这种识别方式对于用户与摄像头的距离以及室内光线都有严格要求。
在基于视觉的手势识别中,因为复杂的环境因素,如背景的不确定性,光照情况等等,所以在很多情况下,研究人员对使用者加上了很多限制以保障分割效果,如使用纯白纯黑的背景,身穿黑色的长袖衣服,带上特殊色彩的手套等。这样可以很大程度上降低算法的复杂度,并提升识别效果,但是对使用者造成了诸多限制,不利于自然地交流。
因此,需要一种新的手势识别技术,能够避免手势动作必须在某固定位置的限制,环境因素的限制以及对使用者施加的相关限制。
发明内容
本发明所要解决的技术问题在于,提供一种新的手势识别技术,能够避免手势动作必须在某固定位置的限制,环境因素的限制以及对使用者施加的相关限制,提高手势识别的灵活性。
有鉴于此,根据本发明的一个方面,提供了一种手势数据识别方法,包括:在建立被控设备与手势输入设备之间的通信连接后,所述被控设备通知所述手势输入设备以设定采样频率进行手势数据的采集;根据来自所述手势输入设备的手势数据建立用户手势模型;匹配所述用户手势模型与预置的标准手势模型;根据匹配结果调整所述设定采样频率,并将调整后的采样频率通知所述手势输入设备。
本发明的实施例将手势识别方式从现有的摄像头抓取图片的识别方式改为使用传感器识别手势动作的方式,客户端将采集到的手势动作数据通过有线或无线传输的方式发送给被控设备端,无需对使用者做额外的措施,也无需限定使用者必须在被控设备的正面进行操作,从而使得客户端能够避免手势动作位置的限制、环境因素的限制以及对使用者的限制,并且在手势识别的过程中,该被控设备能够根据手势输入设备采集的手势数据情况调整手势输入设备的采样频率,并不是使手势输入设备一直保持在固定频率进行采集,从而减少了手势输入设备的功耗。
根据本发明的另一方面,还提供了一种手势数据处理方法,包括:获取手势输入设备相对于被控设备的指定面的相对位置数据;根据所述相对位置数据对所述手势输入设备的位置进行补偿,使所述手势输入设备的位置被虚拟为面向所述被控设备的指定面;采集所述手势输入设备的运动方向和旋转角度,并以补偿后的所述手术输入设备的位置为基准,对采集到的数据进行处理,得到发送至被控设备的手势数据。
本发明的实施例将手势识别方式从现有的摄像头抓取图片的识别方式改为使用传感器识别手势动作的方式,手势输入设备可佩戴在用户的手部或头部,该手势输入设备上设置有各种类型的采集单元,能够采集用户的动作。在本发明中,对手势输入设备相对于被控设备的位置进行了转换,当手势输入设备偏移被控设备的正面时,在手势数据的计算过程中,获取手势输入设备的偏移位置数据,根据该偏移位置数据仍然能够将该手势输入设备还原到被控设备的正面,使得无论手势输入设备相对于被控设备的位置发生怎样的变化,均能够以原位置基准,确定手势动作相对于被控设备的方向轨迹,这样就能够避免手势输入设备的位置的限制,提高了手势输入设备使用的灵活性,而不像相关技术那样,使用者必须在被控设备的正面,并且也无需对使用者施加其他的限制。
根据本发明的再一方面,还提供了一种电视机,包括:通信单元,用于建立被控设备与手势输入设备之间的通信连接,以及接收来自所述手势输入设备的手势数据,以及通知所述手势输入设备以设定采样频率进行手势数据的采集,以及将频率调节单元的频率调节消息发送至所述手势输入设备;手势模型建立单元,连接至所述通信单元,根据来自所述手势输入设备的手势数据建立用户手势模型;手势识别单元,连接至所述手势模型建立单元,用于匹配所述用户手势模型与预置的标准手势模型,并将所述匹配结果通知所述频率调节单元;所述频率调节单元,连接至所述手势识别单元,用于根据匹配结果调整所述设定采样频率,并将调整后的采样频率通知所述通信单元。
本发明的实施例将手势识别方式从现有的摄像头抓取图片的识别方式改为使用传感器识别手势动作的方式,客户端将采集到的手势动作数据通过有线或无线传输的方式发送给被控设备端,无需对使用者做额外的措施,也无需限定使用者必须在被控设备的正面进行操作,从而使得客户端能够避免手势动作位置的限制、环境因素的限制以及对使用者的限制,并且在手势识别的过程中,该被控设备能够根据手势输入设备采集的手势数据情况调整手势输入设备的采样频率,并不是使手势输入设备一直保持在固定频率进行采集,从而减少了手势输入设备的功耗。
根据本发明的又一方面,还提供了一种手势输入设备,包括:第一采集单元,连接至处理单元,用于获取手势输入设备相对于被控设备的指定面的相对位置数据,以及用于根据所述相对位置数据对所述手势输入设备的位置进行补偿,使所述手势输入设备的位置被虚拟为面向所述被控设备的指定面;第二采集单元,连接至所述处理单元,采集所述手势输入设备的运动方向;第三采集单元,连接至所述处理单元,采集所述手势输入设备的角加速度;处理单元,用于以补偿后的所述手势输入设备的位置为基准,对所述第一采集单元、所述第二采集单元和所述第三采集单元分别采集到的数据进行处理,得到发送至被控设备的手势数据;收发单元,连接至所述处理单元,用于将所述手势数据发送至所述被控设备。
本发明的实施例将手势识别方式从现有的摄像头抓取图片的识别方式改为使用传感器识别手势动作的方式,手势输入设备可佩戴在用户的手部或头部,该手势输入设备上设置有各种类型的采集单元,能够采集用户的动作。在本发明中,对手势输入设备相对于被控设备的位置进行了转换,当手势输入设备偏移被控设备的正面时,在手势数据的计算过程中,获取手势输入设备的偏移位置数据,根据该偏移位置数据仍然能够将该手势输入设备还原到被控设备的正面,使得无论手势输入设备相对于被控设备的位置发生怎样的变化,均能够以原位置基准,确定手势动作相对于被控设备的方向轨迹,这样就能够避免手势输入设备的位置的限制,提高了手势输入设备使用的灵活性,而不像相关技术那样,使用者必须在被控设备的正面,并且也无需对使用者施加其他的限制。
附图说明
图1是根据本发明的实施例的手势数据识别方法的流程图;
图2是根据本发明的实施例的手势数据处理方法的流程图;
图3是根据本发明的实施例的手势输入设备端与电视机端之间的交互处理流程图;
图4是根据本发明的实施例的手势输入设备的示意图;
图5是根据本发明的实施例的手势输入设备的位置转换示意图;
图6是根据本发明的实施例的手势输入设备的手势动作方向采集示意图;
图7是根据本发明的一个实施例的电视机的示意图;
图8是根据本发明的另一实施例的电视机的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例的限制。
图1是根据本发明的实施例的手势数据识别方法的流程图。
如图1所示,根据本发明的实施例的手势数据识别方法可以包括以下步骤:
步骤102,在建立被控设备与手势输入设备之间的通信连接后,被控设备通知手势输入设备以设定采样频率进行手势数据的采集;步骤104,根据来自手势输入设备的手势数据建立用户手势模型;步骤106,匹配用户手势模型与预置的标准手势模型;步骤108,根据匹配结果调整设定采样频率,并将调整后的采样频率通知手势输入设备。
本发明的实施例将手势识别方式从现有的摄像头抓取图片的识别方式改为使用传感器识别手势动作的方式,客户端将采集到的手势动作数据通过有线或无线传输的方式发送给被控设备端,无需对使用者做额外的措施,也无需限定使用者必须在被控设备的正面进行操作,从而使得客户端能够避免手势动作位置的限制、环境因素的限制以及对使用者的限制,并且在手势识别的过程中,该被控设备能够根据手势输入设备采集的手势数据情况调整手势输入设备的采样频率,并不是使手势输入设备一直保持在固定频率进行采集,从而减少了手势输入设备的功耗。
在建立所述通信连接之后以及向所述手势输入设备通知所述设定采样频率之前还包括以下步骤:判断保存的配对记录中是否有所述手势输入设备,根据判断结果确定所述设定采样频率。
被控设备例如电视机、电冰箱、空调会记录下曾经配对过的手势输入设备的标识信息。如果配对记录中发现曾经有相关的手势输入设备记录,说明之前配对过,如果没有记录,说明之前没有配对过。根据配对记录确定当前手势输入设备应该有的初始采样频率,根据不同的场景来灵活确定初始采样频率,增强了被控设备与手势输入设备之间的交互性。
具体的,在一种场景下,若所述配对记录中没有所述手势输入设备,则所述设定采样频率为最大采样频率;所述根据匹配结果调整所述设定采样频率的步骤包括:在所述匹配结果大于预设匹配范围中的最大值时,减小所述设定采样频率,在所述匹配结果小于所述预设匹配范围中的最小值时,增加所述调整后的采样频率,以使所述手势输入设备的采样频率达到所述最大采样频率。由于之前没有配对过,因此为了保证采样的准确性,手势输入设备的初始采样频率应为最大,并在使用过程中,随着匹配度的变化来灵活调整手势输入设备的采样频率,使手势输入设备能够满足匹配度的同时,又能够以轻松的采样频率进行采集,从而减少手势输入设备的功耗。
需说明的是,预先设置一个匹配范围,例如规定百分之八十到百分之九十之内的匹配度属于有效匹配范围。在该场景下,初始采样频率为最大值,如果发现匹配度属于该预设匹配范围内,则说明该初始采样频率是合适的。如果发现匹配度大于该范围,例如百分之九十五,说明匹配度很高,不需要这么高的采样频率,也能够符合预设匹配范围,因此,可减小手势输入设备的采样频率。
在另一种场景下,若所述配对记录中有所述手势输入设备,则所述设定采样频率小于最大采样频率;所述根据匹配结果调整所述设定采样频率的步骤包括:在所述匹配结果小于预设匹配范围中的最小值时,增加所述设定采样频率,以使所述手势输入设备的采样频率达到所述最大采样频率。由于手势输入设备与被控设备之前配对过,因此,初始采样频率可以小于最大采样频率的频率进行采样,例如中等采样频率。如果在使用过程中,匹配度小于预设匹配范围中的最小值,则可以提高该手势输入设备的采样频率。当然若匹配度大于预设匹配范围,说明初始采样频率较高,可适当的减小该手势输入设备的采样频率,从而减少了手势输入设备功耗。
针对同一个动作,不同的用户其执行的动作轨迹是有差异的,而电视机中预置的手势模型是标准手势模型,没有考虑个体差异,因此预设匹配范围可不包括百分百,可以是百分之八十到百分之九十之间的匹配度就认为这两种手势动作是相同的。在匹配结束后,用匹配结果属于所述预设匹配范围内的用户手势模型替换标准手势模型,从而能够以用户习惯的手势模型来进行匹配,提高了手势控制的自学习能力,并且由于符合用户的动作习惯,在更新了手势模型之后,以后的匹配度将会提高,从而能够进一步降低手势输入设备的采样频率,进而能够进一步减少手势输入设备的耗电量。
在来自所述手势输入设备的手势数据达到设定数据包数目时,判断最后接收到的若干个数据包之间是否相同,若相同,则通知所述手势输入设备停止采集手势数据。电视机可规定手势输入设备每次采集的数据包数目。统计多个人执行某一动作时,传感器所采集的数据大小,从而约定一个动作可对应的数据包数目的大小。例如向右滑动、向左滑动动作,统计出数据包数目一般50个,当电视机接收到该50个数据包之后,需判断该50个数据包中的最后5个数据包之间是否相同,如果相同,则确认本次动作结束。接着根据该50个数据包建立手势模型,这样能够提高手势建模的准确性。
图2是根据本发明的实施例的手势数据处理方法的流程图。
如图2所示,根据本发明的实施例的手势数据处理方法可以包括以下步骤:
步骤202,获取手势输入设备相对于被控设备的指定面的相对位置数据;步骤204,根据相对位置数据对手势输入设备的位置进行补偿,使手势输入设备的位置被虚拟为面向被控设备的指定面;步骤206,采集手势输入设备的运动方向和旋转角度,并以补偿后的手术输入设备的位置为基准,对采集到的数据进行处理,得到发送至被控设备的手势数据。
本发明的实施例将手势识别方式从现有的摄像头抓取图片的识别方式改为使用传感器识别手势动作的方式,手势输入设备可佩戴在用户的手部或头部,该手势输入设备上设置有各种类型的采集单元,能够采集用户的动作。在本发明中,对手势输入设备相对于被控设备的位置进行了转换,当手势输入设备偏移被控设备的正面时,在手势数据的计算过程中,获取手势输入设备的偏移位置数据,根据该偏移位置数据仍然能够将该手势输入设备还原到被控设备的正面,使得无论手势输入设备相对于被控设备的位置发生怎样的变化,均能够以原位置基准,确定手势动作相对于被控设备的方向轨迹,这样就能够避免手势输入设备的位置的限制,提高了手势输入设备使用的灵活性,而不像相关技术那样,使用者必须在被控设备的正面,并且也无需对使用者施加其他的限制。
在被控设备有多个时,手势输入设备优先与信号强度较强的被控设备进行通信连接,以减少功耗,因此,根据本发明的手势数据处理方法还可可以包括:向外发送一个广播消息;接收来自被控设备的回应消息;判断所述广播消息中包含的信号强度与所述回应消息中包含的信号强度之差是否大于预设值;在判断结果为大于或等于所述预设值时,放弃建立所述手势输入设备与所述被控设备之间的通信连接;在判断结果为小于所述预设值时,根据所述回应消息中包含的所述被控设备的设备地址建立所述手势输入设备与所述被控设备之间的通信连接。
手势输入设备向电视机发送一个广播消息,该广播消息中包含信号强度信息,例如70db强度的信息,电视机向手势输入设备回应该消息,该回应消息中同样包含信号强度信息,例如50db强度信息,可见信号强度之差为20db,可见该信号强度之差为20db,若信号强度之差小于预设值,则确定该手势输入设备可与电视机进行通信,若信号强度之差大于预设值,则说明信号衰减厉害,不与该电视机进行通信。手势输入设备有选择与哪个被控设备建立通信的权利。
在手势输入设备与被控设备建立通信连接之后,还可以包括步骤:以所述被控设备通知的采样频率进行手势数据采集;若接收到来自所述被控设备的频率调节通知,则调节当前的采样频率。也就是说,手势输入设备虽然有选择与谁建立通信连接的权利,但是采样频率由被控设备来通知,并且在接收到被控设备的频率调节通知之后,动态调整自身的采样频率,在保证正常工作的同时能够减少耗电量。
图3是根据本发明的实施例的手势输入设备端与电视机端之间的交互处理流程图。
如图3所示,示出了host端(即被控设备)与device端(即手势输入设备)之间的交互处理流程:
在步骤302,用户佩戴手势输入设备,在用户进行手势识别动作时,手势输入设备(即客户端)首先根据其与host端的协议,发出一个广播性质的数据包。
步骤304,主机端接收这个广播性质的数据包后,会对该数据包进行解析,解析获得客户端设备的mac地址和相对于host端的信号强度信息。
步骤306,然后主机端对该数据包进行回应,将自己的mac地址和收到的信号强度信息打包成数据包反馈给客户端设备。
步骤308,客户端经判断是否接收到来自主机端的回应信息,若是,在进入步骤312,否则进入步骤310。
步骤310,使客户端处于待机状态,一定时间后关机,直到用户下一次触发。
步骤312,判断主机的信息是否符合要求,若是,则进入步骤314,否则进入步骤310。
判断方法为客户端设备接收到host端反馈回来的信号强度信息后,根据目前的信号强度信息决定是否可以进行手势通信,这样做是为保证是客户端设备和host端设备在一个有效的无线距离范围之内,避免距离过远,造成客户端设备的电量消耗。
步骤314,如果客户端设备判断出其和host端之间的距离可以进行手势识别,会再发一个数据包给Host端,通知主机端配对成功,可以进行通信。
步骤316,Host端在接收到配对成功的数据包后,检测该客户端设备之前有无手势建模信息。若有,则进入步骤320,否则进入步骤318。
步骤318,如果检测到该客户端设备之前没有手势建模信息,host端就发送给客户端设备一个最大要求采样值。
步骤320,如果检测到该客户端设备之前有手势建模信息,host端就发送给客户端设备一个中等要求采样值。
步骤322,客户端根据主机端通知的采样频率进行手势数据的采集。
步骤324,将采集的手势数据传输至主机端。
步骤326,主机端接收来自客户端的手势数据,当数据包达到一定数目时,传送给服务处理进程进行处理。
步骤328,手势服务器处理进程对手势数据包进行处理。
步骤330,判断手势是否停止,判断方法为:判断最后若干个数据包之间是否相同,如果相同,说明手势停止。若手势停止,则进入步骤332,否则进入步骤334。
步骤332,根据获取手势数据包建立手势模型。
步骤334,将建立的手势模型与默认的标准手势模型进行对比,若对比结果为符合要求,则将该手势信息传输给应用处理单元,并且用新手势数据替换原来的标准数据。
步骤338,应用处理单元将该手势信息转换成相应的命令并由执行单元执行该相应的命令。
步骤336,判断当前建立的手势模型是否与默认的标准手势模型相匹配,若是,则进入步骤324,通知手势输入设备可降低采样频率;否则回到步骤332,重新建立手势模型。
步骤340,主机端在确定手势停止时,向客户端发送结束通知。客户端在接收到该通知后,清楚本次手势数据结束,可以开始下一次的手势数据传输。
步骤342,判断两秒钟之内是否有手势动作,如果有,则进入步骤324,否则,进入步骤344。
步骤344,客户端进入休眠状态,等待用户激活。
需说明的是,本发明在手势数据识别过程中,加入了采样频率调节的处理过程:
如果主机端检测到配对记录中没有该客户端设备的信息,则主机端通知该客户端以最大采样频率进行采样。客户端设备接收到主机端通知的以最大采样频率进行数据采集后,根据该采样频率值向host端发送手势数据包。Host端接收到客户端设备发送的一定数目的数据包之后,把数据交给手势处理服务器进行处理分析,并由手势处理服务器建立手势模型,并实时地将建立的手势模型与手势数据默认模型进行数据的模糊比对,如果发现目前输入的手势数据与某条默认手势信息之间的匹配度大于预设匹配范围中的最大值,手势处理服务器就将该匹配结果反馈到host端,然后由host端通知客户端设备减少发送数据的频率,以达到客户端省电目的。
但是当发现接收到的手势识别数据与该手势数据默认模型差距较大时,即匹配度小于预设匹配范围中的最小值,则host端会通知客户端设备提高采样频率来发送接下来采集到的数据。依此类推,经过这样不停的纠错校准,不断完善手势数据模型,直到输入的手势识别数据与某条默认手势信息达到一个比较大的匹配程度之后(即匹配度属于预设匹配范围内),将该输入的手势识别数据转换成相应的命令,由相应的执行单元执行相应的指令,并将输入的手势识别数据替换掉原有的默认手势信息,在输入的手势识别数据的基础上,建立与用户使用习惯匹配的手势模型。
如果主机端检测到配对记录中有该客户端设备的信息,则主机端就会通知客户端设备以低于最大要求采样值发送采集到的手势识别数据,但是当发现接收到的手势识别数据与该手势数据默认模型差距较大时,host端会通知客户端设备提高采样频率值来发送接下来采集到的数据。依此类推,直到输入的手势识别数据与某条默认手势信息达到一个比较大的匹配程度之后,将该输入的手势识别数据转换成相应的命令,并由相应的执行单元执行相应的指令。
在手势识别的过程中,host端一般接收发过来的20个数据包后,通知客户端设备停止此次手势数据的采集,本次传输结束,并准备进入下一个手势数据采集的过程。Host端也开始准备继续接收下一条手势,与此同时Host端的手势处理服务器在得到最后一个数据包后,也完成了手势模型的比对。将比对结果上报给应用处理器,由应用处理器该手势比对结果。
本领域技术人员应理解,手势输入设备与被控设备之间的无线通信可以是WIFI、蓝牙、红外、近场通信或移动通信网络等方式。
图4是根据本发明的实施例的手势输入设备的示意图。
如图4所示,根据本发明的实施例的手势输入设备,包括:第一采集单元402,连接至处理单元408,用于获取手势输入设备相对于被控设备的指定面的相对位置数据;第二采集单元404,连接至所述处理单元408,采集所述手势输入设备的运动方向;第三采集单元406,连接至所述处理单元408,采集所述手势输入设备的角加速度;处理单元408,用于根据所述相对位置数据对所述手势输入设备的位置进行补偿,使所述手势输入设备的位置被虚拟为面向所述被控设备的指定面,以补偿后的所述手势输入设备的位置为基准,对所述第一采集单元402、所述第二采集单元404和所述第三采集单元406分别采集到的数据进行处理,得到发送至被控设备的手势数据;收发单元,连接至所述处理单元408,用于将所述手势数据发送至所述被控设备。
在上述技术方案中,优选的,收发单元408还用于发送一个广播消息,以及接收来自所述被控设备的回应消息,以及判断所述广播消息中包含的信号强度与所述回应消息中包含的信号强度之差是否大于预设值,在判断结果为大于或等于所述预设值时,放弃建立所述手势输入设备与所述被控设备之间的通信连接,以及在判断结果为小于所述预设值时,根据所述回应消息中包含的所述被控设备的设备地址建立所述手势输入设备与所述被控设备之间的通信连接。
手势输入设备向电视机发送一个广播消息,该广播消息中包含信号强度信息,例如70db强度的信息,电视机向手势输入设备回应该消息,该回应消息中同样包含信号强度信息,例如50db强度信息,可见信号强度之差为20db,可见该信号强度之差为20db,若信号强度之差小于预设值,则确定该手势输入设备可与电视机进行通信,若信号强度之差大于预设值,则说明信号衰减厉害,不与该电视机进行通信。手势输入设备有选择与哪个被控设备建立通信的权利。
在上述任一技术方案中,优选的,所述第一采集单元402、所述第二采集单元404和/或所述第三采集单元406在建立所述手势输入设备与所述被控设备之间的通信连接之后,以所述被控设备通知的采样频率进行手势数据采集,以及在接收到来自所述被控设备的频率调节通知时,调节当前的采样频率。
也就是说,手势输入设备虽然有选择与谁建立通信连接的权利,但是采样频率由被控设备来通知,并且在接收到被控设备的频率调节通知之后,动态调整自身的采样频率,在保证正常工作的同时能够减少耗电量。
具体的,第一采集单元402可以为电子罗盘即指南针,第二采集单元404为重力传感器,第三采集单元406为陀螺仪。
如图5所示,下面利用电子罗盘来说明是如何进行位置转换的,从而使手势输入设备能够在相对于电视机的不同位置来控制电视机。
传统的电子罗盘输出智能设备指定方向的瞬态磁场强度值。通常使用三支磁性材料实现。利用x,y,z轴上的磁场强度解算出磁场北的方向角参数,来实现指南针功能。现在将指南的数据信息做相对位置转换,在使用手势输入设备时,使手势输入设备对准电视机的正面进行校准,使手势输入设备中的电子罗盘的指针指向电视机端。如图5所示,当手势输入设备相对于电视机的位置发生变化后,电子罗盘的指针也发生转动,根据电子罗盘采集的数据(即指针旋转的角度)能够计算出手势输入设备相对于电视机的正面的相对角度,利用该相对角度进行角度补充,能够将手势输入设备还原到面向电视机的正面的位置,即使手势输入设备的位置被虚拟到面向电视机的正面的位置,这样就完成了位置转换处理。因此在将电子罗盘数据传输到处理单元(MCU)之后,即可进行相对位置转换,实现实时数据监测用户和主机端的相对位置,这样即使手势输入设备的位置发生变化,也能够以校准位置为基准来判断手势动作的方向。如图5中所示。手势输入设备和电视机(主机端)的相对位置关系,可以利用电子罗盘的“相对位置数据”体现到主机端的正面。Host端将根据这种相对位置数据做位置转换,无论用户在哪一个相对位置,都能虚拟出用户在host“正面”。
电子罗盘能够获取手势输入设备相对于电视机的相对位置数据,而重力传感器则可以提供手势动作的形态。重力传感器采集X、Y、Z三轴的数据,利用该数据。电视机能正确识别该用户的手势方向是向左或者右,向上或者向下。如图6所示,当用户的手势往不同方向进行运动时,X、Y、Z轴的数据显示是不相同的。利用该数据可有效的得知用户的手势动作,及幅度。根据坐标数据,可立体显示出,用户对于host端正面的平移数据。这是传统的图像识别技术所做不到的,对三维空间有了更好的定位。
陀螺仪通过电子罗盘和重力传感器所提供的数据,进行算法校验,然后将融合的数据及自身数据进行合并生成设备角度旋转数据,提供给处理单元408。当然陀螺仪也能够根据不需要电子路旁和冲力传感器的辅助来完成角度的测量。陀螺仪输出手势输入设备的指定方向在一段指定时间内转过的角度值。通常使用质量块和电容测量法实现,它与加速度传感器的不同在于电容的采样点不同,其计量离心方向切向的角加速度值,积分后输出角度值。客户端使用该模块的目的是为了主要起到平滑和稳定运动参数目的。
最终,经处理单元408的打包处理后将采集的手势数据传输给主机端,数据传输的频率和每次数据包的大小的设定值是与主机端通信时动态决定,以到达省电功能。
图7示出了与图4对应的电视机的示意图。
如图7所示,根据本发明的实施例的电视机包括通信单元702、手势识别单元704、转换单元706、应用单元708和显示单元710,其中,通信单元702可与图4所示的手势输入设备中的收发单元410进行通信,用于接收来自手势输入设备的手势数据以及向手势输入设备发送采样频率调节通知,手势识别单元704用于解析来自通信单元702的手势数据并识别该手势数据,以建立手势模型。转换单元706用于将该手势模型与默认的标准手势模型进行比较,获取与当前建立的手势模型对应的指令,将该指令传输至应用单元708。应用单元708接收到该指令后执行相应的指令和操作,由显示单元710呈现相应的操作界面。
图8是根据本发明的另一实施例的电视机的示意图。
如图8所示,根据本发明的实施例的电视机800可以包括:通信单元802(对应于图7中的通信单元702),用于建立被控设备与手势输入设备之间的通信连接,以及接收来自所述手势输入设备的手势数据,以及通知所述手势输入设备以设定采样频率进行手势数据的采集,以及将频率调节单元的频率调节消息发送至所述手势输入设备;手势模型建立单元804,连接至所述通信单元802,根据来自所述手势输入设备的手势数据建立用户手势模型;手势识别单元806,连接至所述手势模型建立单元804,用于匹配所述用户手势模型与预置的标准手势模型,并将所述匹配结果通知所述频率调节单元808;所述频率调节单元808,连接至所述手势识别单元806,用于根据匹配结果调整所述设定采样频率,并将调整后的采样频率通知所述通信单元802。图8中的手模模型建立单元804和手势识别单元806和频率调节单元808集成在一起构成图7中的手势识别单元704。
本发明的实施例将手势识别方式从现有的摄像头抓取图片的识别方式改为使用传感器识别手势动作的方式,客户端将采集到的手势动作数据通过有线或无线传输的方式发送给被控设备端,无需对使用者做额外的措施,也无需限定使用者必须在被控设备的正面进行操作,从而使得客户端能够避免手势动作位置的限制、环境因素的限制以及对使用者的限制,并且在手势识别的过程中,该被控设备能够根据手势输入设备采集的手势数据情况调整手势输入设备的采样频率,并不是使手势输入设备一直保持在固定频率进行采集,从而减少了手势输入设备的功耗。
优选的,所述频率调节单元808还用于在所述通信单元建立所述通信连接之后以及向所述手势输入设备通知所述设定采样频率之前,判断保存的配对记录中是否有所述手势输入设备,根据判断结果确定所述设定采样频率。
被控设备例如电视机、电冰箱、空调会记录下曾经配对过的手势输入设备的标识信息。如果配对记录中发现曾经有相关的手势输入设备记录,说明之前配对过,如果没有记录,说明之前没有配对过。根据配对记录确定当前手势输入设备应该有的初始采样频率,根据不同的场景来灵活确定初始采样频率,增强了被控设备与手势输入设备之间的交互性。
在上述任一技术方案中,优选的,所述频率调节单元808在所述配对记录中没有所述手势输入设备时,确定所述设定采样频率为最大采样频率,以及在所述匹配结果大于预设匹配范围中的最大值时,减小所述设定采样频率,在所述匹配结果小于所述预设匹配范围中的最小值时,增加所述调整后的采样频率,以使所述手势输入设备的采样频率达到所述最大采样频率。
由于之前没有配对过,因此为了保证采样的准确性,手势输入设备的初始采样频率应为最大,并在使用过程中,随着匹配度的变化来灵活调整手势输入设备的采样频率,使手势输入设备能够满足匹配度的同时,又能够以轻松的采样频率进行采集,从而减少手势输入设备的功耗。
需说明的是,预先设置一个匹配范围,例如规定百分之八十到百分之九十之内的匹配度属于有效匹配范围。在该场景下,初始采样频率为最大值,如果发现匹配度属于该预设匹配范围内,则说明该初始采样频率是合适的。如果发现匹配度大于该范围,例如百分之九十五,说明匹配度很高,不需要这么高的采样频率,也能够符合预设匹配范围,因此,可减小手势输入设备的采样频率。
优选的,所述频率调节单元808还用于在所述配对记录中有所述手势输入设备时,确定所述设定采样频率为小于最大采样频率的采样频率,以及在所述匹配结果小于预设匹配范围中的最小值时,增加所述设定采样频率,以使所述手势输入设备的采样频率达到所述最大采样频率。
在上述任一技术方案中,优选的,所述手势识别单元806还用于将匹配结果属于所述预设匹配范围内的用户手势模型替换所述标准手势模型。
在上述任一技术方案中,优选的,所述手势模型建立单元804还用于在来自所述手势输入设备的手势数据达到设定数据包数目时,判断最后接收到的若干个数据包之间是否相同,若相同,则通知所述手势输入设备停止采集手势数据。
以上结合附图详细说明了根据本发明的技术方案,本发明的手势识别控制方式能够使手势输入设备能够不受环境因数和位置的影响,在相对于被控设备的任意位置都能够控制被控设备,手势数据处理算法简单,不需要对用户施加诸多限制,并且可根据建立的手势模型不断的调整手势数据采样频率,从而有效减少了手势输入设备的功耗,达到节能目的。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种手势数据识别方法,其特征在于,包括:
在建立被控设备与手势输入设备之间的通信连接后,所述被控设备通知所述手势输入设备以设定采样频率进行手势数据的采集;
根据来自所述手势输入设备的手势数据建立用户手势模型;
匹配所述用户手势模型与预置的标准手势模型;
根据匹配结果调整所述设定采样频率,并将调整后的采样频率通知所述手势输入设备。
2.根据权利要求1所述的手势数据识别方法,其特征在于,在建立所述通信连接之后以及向所述手势输入设备通知所述设定采样频率之前还包括:
判断保存的配对记录中是否有所述手势输入设备,根据判断结果确定所述设定采样频率。
3.根据权利要求2所述的手势数据识别方法,其特征在于,若所述配对记录中没有所述手势输入设备,则所述设定采样频率为最大采样频率;
所述根据匹配结果调整所述设定采样频率的步骤包括:
在所述匹配结果大于预设匹配范围中的最大值时,减小所述设定采样频率,在所述匹配结果小于所述预设匹配范围中的最小值时,增加所述调整后的采样频率,以使所述手势输入设备的采样频率达到所述最大采样频率。
4.根据权利要求2所述的手势数据识别方法,其特征在于,若所述配对记录中有所述手势输入设备,则所述设定采样频率小于最大采样频率;
所述根据匹配结果调整所述设定采样频率的步骤包括:
在所述匹配结果小于预设匹配范围中的最小值时,增加所述设定采样频率,以使所述手势输入设备的采样频率达到所述最大采样频率。
5.根据权利要求3或4所述的手势数据识别方法,其特征在于,用匹配结果属于所述预设匹配范围内的用户手势模型替换所述标准手势模型。
6.根据权利要求1至4中任一项所述的手势数据识别方法,其特征在于,还包括:
在来自所述手势输入设备的手势数据达到设定数据包数目时,判断最后接收到的若干个数据包之间是否相同,若相同,则通知所述手势输入设备停止采集手势数据。
7.一种电视机,其特征在于,包括:
通信单元,用于建立被控设备与手势输入设备之间的通信连接,以及接收来自所述手势输入设备的手势数据,以及通知所述手势输入设备以设定采样频率进行手势数据的采集,以及将频率调节单元的频率调节消息发送至所述手势输入设备;
手势模型建立单元,连接至所述通信单元,根据来自所述手势输入设备的手势数据建立用户手势模型;
手势识别单元,连接至所述手势模型建立单元,用于匹配所述用户手势模型与预置的标准手势模型,并将所述匹配结果通知所述频率调节单元;
所述频率调节单元,连接至所述手势识别单元,用于根据匹配结果调整所述设定采样频率,并将调整后的采样频率通知所述通信单元。
CN201310618592.9A 2013-11-26 2013-11-26 手势数据识别和处理方法、电视机和手势输入设备 Active CN103593056B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310618592.9A CN103593056B (zh) 2013-11-26 2013-11-26 手势数据识别和处理方法、电视机和手势输入设备
CN201610371974.XA CN106125904B (zh) 2013-11-26 2013-11-26 手势数据处理方法和手势输入设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310618592.9A CN103593056B (zh) 2013-11-26 2013-11-26 手势数据识别和处理方法、电视机和手势输入设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610371974.XA Division CN106125904B (zh) 2013-11-26 2013-11-26 手势数据处理方法和手势输入设备

Publications (2)

Publication Number Publication Date
CN103593056A CN103593056A (zh) 2014-02-19
CN103593056B true CN103593056B (zh) 2016-11-16

Family

ID=50083240

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310618592.9A Active CN103593056B (zh) 2013-11-26 2013-11-26 手势数据识别和处理方法、电视机和手势输入设备
CN201610371974.XA Active CN106125904B (zh) 2013-11-26 2013-11-26 手势数据处理方法和手势输入设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610371974.XA Active CN106125904B (zh) 2013-11-26 2013-11-26 手势数据处理方法和手势输入设备

Country Status (1)

Country Link
CN (2) CN103593056B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589553A (zh) * 2014-09-23 2016-05-18 上海影创信息科技有限公司 一种智能设备的手势控制方法和系统
CN104244049A (zh) * 2014-10-21 2014-12-24 三星电子(中国)研发中心 一种动态调节曲率和方向的曲面电视和方法
US9633622B2 (en) * 2014-12-18 2017-04-25 Intel Corporation Multi-user sensor-based interactions
CN105207864A (zh) * 2015-08-31 2015-12-30 小米科技有限责任公司 家电设备控制方法和装置
CN105159456A (zh) * 2015-08-31 2015-12-16 武汉云通英飞科技有限公司 一种移动终端的操控系统
CN105630174A (zh) * 2016-01-22 2016-06-01 上海斐讯数据通信技术有限公司 一种智能终端拨号的系统和方法
CN105607786B (zh) * 2016-03-14 2018-11-02 青岛海信电器股份有限公司 一种触摸点的识别方法及红外触控装置
CN105843404A (zh) * 2016-05-12 2016-08-10 深圳市联谛信息无障碍有限责任公司 基于读屏应用指令输入方法及装置
CN105843402A (zh) * 2016-05-12 2016-08-10 深圳市联谛信息无障碍有限责任公司 基于可穿戴设备的读屏应用指令输入方法及装置
CN105824429A (zh) * 2016-05-12 2016-08-03 深圳市联谛信息无障碍有限责任公司 基于红外传感器的读屏应用指令输入方法及装置
CN105867639A (zh) * 2016-05-12 2016-08-17 深圳市联谛信息无障碍有限责任公司 基于声呐的读屏应用指令输入方法及装置
CN106226737B (zh) * 2016-06-28 2018-06-26 南京大学 一种利用低频超声进行多手指定位的方法
CN106406518B (zh) * 2016-08-26 2019-01-18 清华大学 手势控制装置及手势识别方法
CN111881862B (zh) * 2020-07-31 2024-06-25 Oppo广东移动通信有限公司 手势识别方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111582A (zh) * 2009-12-25 2011-06-29 康佳集团股份有限公司 电视遥控装置、电视机及遥控方法
CN102184014A (zh) * 2011-05-12 2011-09-14 浙江大学 基于移动设备指向的智能家电交互控制方法及装置
CN102915111A (zh) * 2012-04-06 2013-02-06 寇传阳 一种腕上手势操控系统和方法
CN103034347A (zh) * 2011-09-29 2013-04-10 联想(北京)有限公司 触点采样频率切换方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101427570B (zh) * 2004-04-30 2012-01-18 希尔克瑞斯特实验室公司 3d定位装置和方法
KR100711261B1 (ko) * 2006-06-21 2007-04-25 (주)마이크로인피니티 입력 장치의 공간 인식 방법 및 그 장치
KR100855471B1 (ko) * 2006-09-19 2008-09-01 삼성전자주식회사 입력 장치 및 상기 입력 장치의 이동 정보를 제공하는 방법
US8555205B2 (en) * 2010-10-08 2013-10-08 Cywee Group Limited System and method utilized for human and machine interface
US8929609B2 (en) * 2011-01-05 2015-01-06 Qualcomm Incorporated Method and apparatus for scaling gesture recognition to physical dimensions of a user
CN102880287B (zh) * 2012-08-16 2017-02-15 深圳Tcl新技术有限公司 手势识别方法及手势识别装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111582A (zh) * 2009-12-25 2011-06-29 康佳集团股份有限公司 电视遥控装置、电视机及遥控方法
CN102184014A (zh) * 2011-05-12 2011-09-14 浙江大学 基于移动设备指向的智能家电交互控制方法及装置
CN103034347A (zh) * 2011-09-29 2013-04-10 联想(北京)有限公司 触点采样频率切换方法和设备
CN102915111A (zh) * 2012-04-06 2013-02-06 寇传阳 一种腕上手势操控系统和方法

Also Published As

Publication number Publication date
CN106125904B (zh) 2019-03-26
CN106125904A (zh) 2016-11-16
CN103593056A (zh) 2014-02-19

Similar Documents

Publication Publication Date Title
CN103593056B (zh) 手势数据识别和处理方法、电视机和手势输入设备
CN104102335B (zh) 一种手势控制方法、装置和系统
EP2453386B1 (en) Multimedia device, multiple image sensors having different types and method for controlling the same
WO2015090185A1 (zh) 无线手势遥控控制指令的生成方法及无线遥控器
US20120005632A1 (en) Execute a command
WO2013123693A1 (zh) 多模式遥控器的遥控控制方法、遥控器、用户终端及系统
CN206387065U (zh) 一种基于室内空气控制的物联网系统
KR20120051209A (ko) 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
CN102710549B (zh) 通过摄像建立通信连接关系的方法、终端及系统
WO2007006053A3 (en) Connection and data application billing
CN102739947B (zh) 一种无线网络拍摄设备及其工作方法
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
CN103049102A (zh) 鼠标数据处理装置和鼠标数据处理方法
WO2019184585A1 (zh) 一种基于WiFi感知控制家用电器的方法及系统
CN104507117A (zh) 一种网络连接方法及电视机
CN109725580A (zh) 机器人的远程控制方法
CN205594339U (zh) 一种体感智能家居控制系统
CN102271143A (zh) 基于网络传输技术的远程云台控制系统
CN202102697U (zh) 无线自动检测屏幕联合显示设备
CN103593050A (zh) 通过移动终端选取新闻屏幕并传递画面的方法及系统
CN104202694A (zh) 语音拾取装置的定向方法和系统
CN115623243A (zh) 显示设备、终端设备及动作跟练方法
CN109960998A (zh) 多功能电控式温度调节器
CN109213307A (zh) 一种手势识别方法及装置、系统
Wang et al. Robot's remote real-time navigation controlled by smart phone

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee after: Hisense Visual Technology Co., Ltd.

Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee before: QINGDAO HISENSE ELECTRONICS Co.,Ltd.

CP01 Change in the name or title of a patent holder