CN105404449B - 可层级展开的多饼型体感菜单及其语法制导识别方法 - Google Patents

Abstract

本发明提供了一种可层级展开的多饼型体感菜单，用于电视显示屏或智能家电或其它体感控制装置上，所述菜单由多个饼型子菜单构成，其中，每个饼型子菜单包含上、下、左、右排布的4个选项，每个选项经激活后包括：显示新的饼型子菜单或者执行某项预定的功能。本发明还提供了一种上述多饼型体感菜单的语法制导识别方法，根据人体动作进行所述多饼型体感菜单的选择和激活。本发明的多饼型体感菜单，通过多个饼型动态生成和定位的方式实现了菜单的动态展开，菜单呈现给用户的是清晰、动态的逐级展开效果。其语法制导识别方法，通过人体敏感点触碰的方式实现稳定的启动，并通过语法制导识别的方法实现对上述体感菜单的选择，并可以快速构建新菜单。

Description

可层级展开的多饼型体感菜单及其语法制导识别方法

技术领域

本发明涉及智能电视领域，支持用身体动作操作电视菜单；也可用于智能家电系统，用身体动作控制空调等电器；或其他用体感设备进行多层次命令选择的场合。

背景技术

菜单，作为WIMP(窗口、图标、菜单、指针)界面模式的要素之一，是最常见的一种界面元素。菜单的价值在于将一组符合继承关系的概念伴随用户动作按树形结构逐层展开，这与人类认识、记忆事物的心理过程契合，因此既容易使用，也容易记忆。

菜单的使用过程分为三个步骤：启动、定位和选中。

1、“启动”即根据某种信号向用户展现菜单，在使用体感菜单的场合是必须的。

2、“定位”即用户找到所需的选项，在普通系统中通过鼠标的“移动+停滞”实现，菜单项的树形结构同时逐层展开。

3、“选中”即用户选择所需项，普通通过鼠标点击实现。

随着人机交互技术的发展，脱离传统的鼠标，使用体感设备的体感菜单逐渐出现，它们在交互设计上有三种思路：指点型、动作识别型和身体部位识别型。指点型的想法是保留用户使用鼠标的感受、并将其延续到体感设备上。通常假定从用户身体某部分发出一射向屏幕的虚拟光线，产生一个光标，用户移动此光标进行菜单的选择。动作识别型的想法不再拘泥于鼠标的使用感受，它通过Kinect、加速度感应器、螺旋仪等体感设备识别用户动作并解释成菜单选择。身体部位识别型的想法比较特殊，它将菜单项虚拟地放置于人体各部位，通过手或操纵杆的触碰这些部位达成菜单项选择。

饼型界面最早由Callahan提出，它将选项如切饼一般排布在一个圆上，诺基亚的手机和苹果的iPod都较早地使用了这种界面。Kurtenbah将其应用在手持式PDA上，用户通过手写笔的划动达成选择，Zhao等对Pie菜单的连击与单击在准确率、空间要求等方面进行了比较，认为在PDA上单击方式更优。Lenman以静态图像识别的手段实现了单击的Pie菜单，并总结它的优势是平均移动距离最短。

诺基亚拥有“多状态统一式饼型菜单”(公开号101622593)专利，应用于其手机键盘。中国科学院软件研究所拥有“一种基于笔倾角信息的饼形菜单选择方法”(公开号101286111)专利，应用于手机、PDA等手写笔设备。这两种专利有共同的特点，即应用的场合(手机或PDA)面积狭小，只能容纳一个饼(圆)型，其所谓“菜单”其实只是命令按钮之组合，并没有前述传统菜单的层级展开的效果。本专利所应用的场合即电视机等设备则有充分大的显示空间，可以同时显示多个饼型，通过本专利的方法可呈现出层级展开的动态效果。

电视的功能日渐智能化，由于其特殊的历史地位，未来将成为家庭的主要的智能终端，因而需要一种准确好用的体感菜单。饼型界面有控制杆(或手)平均运动距离短的优点，可降低定位和选中动作的识别难度，将其用作电视或其他设备的体感菜单是可行的，但须解决如下问题：1)需要稳定的启动。2)需要多层菜单逐层展开的效果，如前所述，目前的饼型界面应用都不支持此效果，单层菜单其实退化为了按钮，不体现菜单界面帮助记忆和分类的价值。3)需要一种将用户的身体动作转换成对饼型菜单选择的识别方法。从电视应用要求出发，这种方法应可以支持方便地更换新的菜单。

发明内容

针对上述技术问题，本发明提供了一种在电视显示屏或智能家电或其它体感装置上的可层级展开的饼型体感菜单及其语法制导识别方法，启动稳定且能逐层展开，方便用户控制和更换新的菜单。

为了实现上述技术目的，本发明采用了如下技术方案：

一种可层级展开的多饼型体感菜单，用于电视显示屏或智能家电或其它体感控制装置上，所述菜单由多个饼型子菜单构成，其中，每个饼型子菜单包含上、下、左、右排布的4个选项，每个选项经激活后包括：显示新的饼型子菜单或者执行某项预定的功能；

依次激活的多个子菜单同时出现于显示区域内，呈现类似普通线性菜单具有的层次展开效果。

进一步的，所述多个饼型子菜单由一组半径为r的圆的集合P＝{p₀,p₁,p₂,...p_t}构成，其中

p_i＝(x_i,y_i)，

(x_i,y_i)是p_i在显示区域内的圆心坐标。

进一步的，若显示区域内已经显示了s个圆，当菜单选项激活后在显示区域内出现新的饼型子菜单时，对于已存在的p_i∈{p₀,p₁,p₂,...p_s}，其位置为

新出现的p_s+1的位置为

其中，表示激活向量，为激活新的饼 型子菜单的激活向量。

本发明提供的多饼型体感菜单的语法制导识别方法，根据人体动作进行所述多饼型体感菜单的选择和激活，包括如下步骤：

步骤一,使用体感设备采集人体骨骼数据；

步骤二,处理所述人体骨骼数据，提取出特征向量，所述特征向量包括手和人体敏感点的实时位置信息；

步骤三，定义若干原子事件，每个原子事件代表手和敏感点的位置关系、运动速度、运动行程、运动方向和内部计时器状态的特定变化；赋予每个原子事件一个英文字母，建立字母表，并制定相应的从特征向量提取字母的规则；

步骤四，根据所述字母表和提取规则，使用字母提取器对特征向量集合作字母提取，产生字母流；

步骤五，定义若干菜单操作的基本动作，赋予每个动作一个终结符；制定正则表达式将基本动作描述为前述字母的特定组合；将所述字母流输入词法分析器，所述词法分析器根据正则表达式过滤字母流，产生终结符流；

步骤六，将所述终结符流输入语法分析器，所述语法分析器根据所述终结符流和相应规则识别人体动作，并判断是否为可执行菜单命令；

步骤七，若不是可执行菜单命令，则重复步骤四到六，直至识别出一个可执行菜单命令，所述可执行菜单命令包括多饼型菜单的启动和菜单项选择及激活。

进一步的，所述步骤二中，人体敏感点包括额、肩部和腰肋部。上述敏感点符合如下要求：一、不易混淆，人体在自然状态时不倾向于长时间将手(或控制杆)置于该点；二、基于图像(包括红外图像)的体感设备可识别，该点一般不在身体中部，多在身体轮廓的边缘；三、手可以触及。

进一步的，所述步骤二中，处理所述人体骨骼数据，提取出特征向量具体包括如下步骤：1)去除数据毛刺；2)人体坐标变换，将设备坐标转化为人体坐标；3)提取特征向量。

进一步的，将设备坐标转化为人体坐标后，为了消除身高的个体差异对识别准确率的影响，定义长度调整系数δ，点(x,y,z)经调整后的坐标为(x/δ,y/δ,z/δ)，δ为人体喉部到腹部的垂直距离与两肩的水平距离之和。

进一步的，所述步骤六中，可执行菜单命令包括多饼型菜单的启动、悬停、激活及上、下、左、右选择。

本发明的多饼型体感菜单，通过多个饼型动态生成和定位的方式实现了菜单的动态展开，菜单呈现给用户的是清晰、动态的逐级展开效果。

本发明的多饼型体感菜单的语法制导识别方法，通过人体敏感点触碰的方式实现稳定的启动，并通过语法制导识别的方法实现对上述体感菜单的选择，并可以快速构建新菜单。

相比现有技术，本发明的有益效果如下：

1)通过敏感点触碰达成体感菜单的启动，稳定而不易混淆。

2)通过一系列生成和定位规则实现了饼型菜单的层次展开。

3)采用语法制导的识别方法，通过字母提取器将连续不断的人体动作转换成一系列预定义的字母，再通过特定的词法分析器和语法分析器对字母流进行筛选和分析，识别出对展开式饼型体感菜单的操作。由于词法分析和语法分析的描述都有规范标准，因此可方便地进行修改以适应菜单的变化或应用的扩展。

附图说明

图1为本发明的多饼型体感菜单的语法制导识别方法的输入、输出流程示意图；

图2为本发明的多饼型体感菜单的语法制导识别方法在数字电视控制上实施的示例图；

图3为本发明的多饼型体感菜单的语法制导识别方法在Kinect设备上的实施框架图。

具体实施方式

为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

本发明提供了一种可层级展开的多饼型体感菜单，可以用在电视显示屏或智能家电或其它体感控制装置上。菜单由多个饼型子菜单构成，其中，每个饼型子菜单包含上、下、左、右排布的4个选项，每个选项经激活后显示新的饼型子菜单或者执行某项预定的功能。

新的菜单激活后，依次激活的多个子菜单同时出现于显示区域内，按照特定方法定位，呈现类似普通线性菜单具有的层次展开效果。

具体的，为实现上述效果，多个饼型子菜单由一组半径为r的圆的集合P＝{p₀,p₁,p₂,...p_t}构成，其中p_i＝(x_i,y_i)，(x_i,y_i)是p_i在显示区域内的圆心坐标。

当新的菜单激活时，若显示区域内已经显示了s个圆，当菜单选项激活后在显示区域内出现新的饼型子菜单时，对于已存在的p_i∈{p₀,p₁,p₂,...p_s}，其位置为

新出现的p_s+1的位置为

其中，表示激活向量，为激活新的饼型 子菜单的激活向量。

对上述多饼型体感菜单，本发明还提供了一种语法制导识别方法，能根据人体动作进行所述多饼型体感菜单的选择和激活，包括如下步骤：

步骤一,使用体感设备采集人体骨骼数据；

步骤二,处理所述人体骨骼数据，提取出特征向量，所述特征向量包括手和人体敏感点的实时位置信息；

步骤三，定义若干原子事件，每个原子事件代表手和敏感点的位置关系、运动速度、运动行程、运动方向和内部计时器状态的特定变化；赋予每个原子事件一个英文字母，建立字母表，并制定相应的从特征向量提取字母的规则；

步骤四，根据所述字母表和提取规则，使用字母提取器对特征向量集合作字母提取，产生字母流；

步骤五，定义若干菜单操作的基本动作，赋予每个动作一个终结符；制定正则表达式将基本动作描述为前述字母的特定组合；将所述字母流输入词法分析器，所述词法分析器根据正则表达式过滤字母流，产生终结符流；

步骤六，将所述终结符流输入语法分析器，所述语法分析器根据所述终结符流和相应规则识别人体动作，并判断是否为可执行菜单命令；

步骤七，若不是可执行菜单命令，则重复步骤四到六，直至识别出一个可执行菜单命令，所述可执行菜单命令包括多饼型菜单的启动和菜单项选择及激活。

人体敏感点包括额、肩部和腰肋部。上述敏感点符合如下要求：一、不易混淆，人体在自然状态时不倾向于长时间将手(或控制杆)置于该点；二、基于图像(包括红外图像)的体感设备可识别，该点一般不在身体中部，多在身体轮廓的边缘；三、手可以触及。

特别的，为了消除身高的个体差异对识别准确率的影响，将设备坐标转化为人体坐标后，定义长度调整系数δ，点(x,y,z)经调整后的坐标为(x/δ,y/δ,z/δ)，δ为人体喉部到腹部的垂直距离与两肩的水平距离之和。

具体的，在一个较佳实施例中，本发明所用的语法制导识别方法是一个6元组合，

Gram＝(N,T,P,S,F,A)

N：非终结符集

T：终结符集

P：产生式集

S：开始符号

F：从特征向量到字母的转换函数

A：动作集合

如附图1所示，本实施例中的语法制导识别方法，将体感设备传来的手和敏感点实时位置数据输入字母提取器，后者不断生成字符串c。c输入词法分析器，后者根据正则表达式识别词汇token，并可能引发字母提取器内部状态的改变。token输入语法分析器，后者通过产生式集P的归约识别菜单操作，并将之输出到后续的反馈(显示)模块，输出饼型体感菜单选择的信号(启动、悬停、上、下、左、右等)。

当菜单改变时，该方法支持方便、快速地构建新菜单。

上述步骤中，字母提取器通过函数集合F对体感设备当前的各种信息包括位置、速度、计时器状态、距离、运动方向等作出离散的描述，并将这种描述表达为单个的字母。设字母集合Σ＝{a₁,a₂,…a_n}，字符串c＝b₁b₂…b_m，其中b_i∈Σ。输入向量集合V＝{v₁,v₂,…v_i…v_k}。F是一组子函数的集合，即F＝{f₁,f₂,…f_i…f_m}，有b_i＝f_i(V)；其中i＝1..m。

具体的，本实施例中，字符串长度m＝5，字母集Σ及其解释见下表：

表1字母表

字母序列c₁，c₂，…c_i,…输入词法分析器，后者识别出词汇token。token∈T，终结符集合T见表2。

表2终结符表

其中，每一个token对应一正则表达式，主要的正则表达式如下：

1)EnterHeadBox→0.000h.000

(EnterShoulderBox、EnterWaistBox类似)

2)SelectHead→EnterHeadBox(h.000)*(h.b00)+(0.b00)

(SelectShoulder、SelectWaist类似)

3)FreezeOccur→0f000

4)FreezeFail→FreezeOccur(00100)

5)FreezeSignal→FreezeOccur(0f100)+(0fb00)

6)RunLength→(0.110)+(0.1a0)

7)Up→RunLength(0.1au)

(Down、Right、Left类似)

8)TimeOutError→(h|s|w|0)(f|0)e(a|1|0)(u|d|r|l|)

词法分析器从输入流寻找匹配特定模式的串并对字母提取模块的内部状态作出相应改变。表2中最后一个终结符LeafSelected是一个特殊的token。系统内部维护了菜单对象M，

M＝{Tree,Function,Selected}

M包含了菜单的信息：Tree为菜单树结构，Function为菜单项所关联的电视控制命令，Selected为M当前状态，即哪一菜单项被选中。当M.Selected为一个叶子节点时，系统通知词法分析器产生LeafSelected终结符。M对象是比较容易构建的，当需替换菜单时，只需生成新的M对象即可。

词法分析产生的token被输入语法分析器，后者通过产生式的归约识别用户菜单操作，并激活相应的动作。非终结符集

N＝{MenuItem,BodyMenuSelect,PieMenuSelect,Waves,OneWave,PieMenuError}，

终结符见表2，产生式集P如下：

1)S→S MenuItem|MenuItem

2)MenuItem→BodyMenuSelect PieMenuSelect

3)BodyMenuSelect→SelectHead|SelectShoulder|SelectWaist

4)PieMenuSelect→FreezeSignal Waves LeafSelected

5)Waves→Waves OneWave|OneWave

6)OneWave→Up|Down|Right|Left

7)PieMenuError→FreezeSignal TimeOutError|Waves TimeOutError

P描述了系统的语法规则。菜单项定义为一次身体部位菜单选择后进行一次饼型菜单选择；身体部位菜单选择定义为选择头部，或选择肩部，或选择腰部；饼型菜单选择定义为悬停(Freeze)信号后挥手，直至菜单树叶子项被选中；在悬停或挥动中出现超时则产生错误。上述产生式归约成功时系统将执行相关的动作，如对产生式2)，系统将清空状态变量并执行菜单命令；产生式3)，系统产生饼型菜单反馈，初始化菜单识别的内部状态；产生式6)，系统产生新的饼型菜单反馈，并变动内部状态；对产生式7)则清空内部控制变量并回到初始状态。

如附图2所示，在一个具体的实施例中，(a)中用户触碰额部激活“点播”项，该项随之展开成(b)中包含“新闻”等4项的饼型菜单，用户在此悬停片刻表示将开始挥手，之后向右挥手激活“影视”项，该项随之展开成(c)所示的包含“电影”等的子菜单，两级饼型菜单按照前述展开规则确定位置，显示出层级展开的效果，(d)中用户继续向下挥手选择“电视剧”导致菜单继续展开，(e)中用户右挥选择了叶子项“美剧”，一次菜单操作结束，系统遂发出操作命令进入流行美剧缩略界面。

下面进一步给出具体的实施例。

本发明的多饼型体感菜单语法制导识别方法可采用如下设备及技术参数实施：

体感设备：Kinect 1.0

驱动程序：1.8版本的Kinect SDK

操作系统：Windows 7

菜单深度：3

激活启动时间阀值：3s

饼型菜单第一次悬停时间阀值：1.5s

超时错误阀值为：10s

实施框架如附图3所示，Kinect采集的人体骨架数据经前处理后提取出特征向量(包含了手和敏感点的实时位置信息)，后者输入一个环形缓存，语法制导识别方法从环形缓存获得输入，产生饼型展开的位置信息，并控制电视显示。

前处理包括以下功能：

1)去除数据毛刺；

2)人体坐标变换，将设备坐标转化为人体坐标；

3)提取特征向量。特征向量v_i定义为：

v_i＝(i,p_head,p_shoulder,p_waist,p_hand,u_hand,t)

其中i为流水号，p_head、p_shoulder、p_waist、p_hand分别为额头、(控制手一侧的)肩膀、腰部和手部的位置，u_hand为控制手从i-1帧到i帧的运动向量，t为系统时间戳。

vi被保存在如图3右上部所示的环形缓存中。该缓存顺时针方向为数据加入方向，在行程、运动方向等计算中需要逆时针向后查看。可取缓存容量为600，即大约20秒钟的数据，更早的数据将被覆盖。

设特征向量缓存的当前帧为v_c，变量pos用来记录缓存历史位置，对前述之字母提取器的实施说明如下：

a计时器、行程和运动方向的判断需向后查看多帧即(v_pos..v_c)的数据

b表1的字母可看做对用户运动相关的基本信息的采样。

c手和目标部位的接触通过各部位坐标点为中心的外包围盒求交实现。由于Kinect骨架数据不考虑身体厚度，且位置数据在z方向上误差比x和y方向大得多，所以外包围盒尺寸在z方向上大于x和y方向，可使用尺寸为(20cm,20cm,30cm)，box测试为正时将激活相应的字母’h’、’s’或’w’。

d用户在选择身体敏感点后、进入饼型菜单工作之前，需悬停片刻作为开始信号。

e当手的运动速度低于阀值时将激活字母’f’。

f系统内部有多个计时器，计时满将激活相应的字母。

g手在(v_pos..v_c)间的运动行程达到阀值时激活字母’a’。

h手在(v_pos..v_c)间的运动方向通过向量和的倾角判断。

词法分析可激活一系列动作，对字母提取器的内部状态进行修改，动作如下所示：

1)EnterHeadBox→0.000h.000

动作：pos＝c,身体菜单计时器启动。

(EnterShoulderBox、EnterWaistBox类似)

2)SelectHead→EnterHeadBox(h.000)*(h.b00)+(0.b00)

动作：pos＝-1(3,4,5三种类型字母不起作用)，身体菜单计时器停止。

(SelectShoulder、SelectWaist类似)

3)FreezeOccur→0f000

动作：pos＝c,启动饼型菜单计时器。

4)FreezeFail→FreezeOccur(00100)

动作：pos＝-1，停止饼型菜单计时器。

5)FreezeSignal→FreezeOccur(0f100)+(0fb00)

动作：pos＝c，启动行程计算，停止饼型菜单计时器。

6)RunLength→(0.110)+(0.1a0)

动作：重启错误计时器，启动方向计算。

7)Up→RunLength(0.1au)

动作：pos＝c，关闭方向计算。

(Down、Right、Left类似)

8)TimeOutError→(h|s|w|0)(f|0)e(a|1|0)(u|d|r|l|)

动作：清理所有控制变量。

语法分析部分，产生式集合P的归约产生一系列动作，说明如下：

产生式2)，发出菜单叶子选项所关联的命令。

产生式3)，弹出饼型菜单第一层。

产生式6)，饼型菜单按照前述方法展开。

产生式7)，系统出错，清理内部变量，初始化。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种配置有可层级展开的多饼型体感菜单的装置，其特征在于：所述菜单由多个饼型子菜单构成，其中，每个饼型子菜单包含上、下、左、右排布的4个选项，每个选项经激活后包括：显示新的饼型子菜单或者执行某项预定的功能；

依次激活的多个子菜单同时出现于显示区域内，呈现类似普通线性菜单具有的层次展开效果；其中，所述多个饼型子菜单由一组半径为r的圆的集合P＝{p₀,p₁,p₂,...p_t}构成，其中p_i＝(x_i,y_i)，0≤i≤t，

(x_i,y_i)是p_i在显示区域内的圆心坐标，t为菜单展开的次数；并且，若显示区域内已经显示了s个圆，s≥1，当菜单选项激活后在显示区域内出现新的饼型子菜单时，对于已存在的p_i∈{p₀,p₁,p₂,...p_s}，其位置为

新出现的p_s+1的位置为

其中，表示激活向量， 为激活新的饼型子菜单的激活向量，激活后显示区域内显示的饼型子菜单为{p₀′,p₁′,p₂′,...p_s′,p_s+1}。

2.一种执行如权利要求1所述的配置有可层级展开的多饼型体感菜单的装置的多饼型体感菜单的语法制导识别方法，根据人体动作进行所述多饼型体感菜单的选择和激活，其特征在于，包括如下步骤：

步骤一,使用体感设备采集人体骨骼数据；

步骤二,处理所述人体骨骼数据，提取出特征向量，所述特征向量包括手和人体敏感点的实时位置信息；

步骤三，定义若干原子事件，每个原子事件代表手和敏感点的位置关系、运动速度、运动行程、运动方向和内部计时器状态的特定变化；赋予每个原子事件一个英文字母，建立字母表，并制定相应的从特征向量提取字母的规则；

步骤四，根据所述字母表和提取规则，使用字母提取器对特征向量集合作字母提取，产生字母流；

步骤五，定义若干菜单操作的基本动作，赋予每个动作一个终结符；制定正则表达式将基本动作描述为前述字母的特定组合；将所述字母流输入词法分析器，所述词法分析器根据正则表达式过滤字母流，产生终结符流；

步骤六，将所述终结符流输入语法分析器，所述语法分析器根据所述终结符流和相应规则识别人体动作，并判断是否为可执行菜单命令；

步骤七，若不是可执行菜单命令，则重复步骤四到六，直至识别出一个可执行菜单命令。

3.如权利要求2所述的多饼型体感菜单的语法制导识别方法，其特征在于：所述步骤二中，人体敏感点包括额、肩部和腰肋部。

4.如权利要求2所述的多饼型体感菜单的语法制导识别方法，其特征在于：所述特征向量保存在环形缓存中。

5.如权利要求2所述的多饼型体感菜单的语法制导识别方法，其特征在于，所述步骤二中，处理所述人体骨骼数据，提取出特征向量具体包括如下步骤：

1)去除数据毛刺；

2)人体坐标变换，将设备坐标转化为人体坐标；

3)提取特征向量。

6.如权利要求5所述的多饼型体感菜单的语法制导识别方法，其特征在于：将设备坐标转化为人体坐标后，为了消除身高的个体差异对识别准确率的影响，定义长度调整系数δ，点(x,y,z)经调整后的坐标为(x/δ,y/δ,z/δ)，δ为人体喉部到腹部的垂直距离与两肩的水平距离之和。

7.如权利要求2-6任一项所述的多饼型体感菜单的语法制导识别方法，其特征在于：所述步骤六中，可执行菜单命令包括多饼型菜单的启动、悬停、激活及上、下、左、右选择。