CN102906670A - 信息处理设备和方法以及程序 - Google Patents

信息处理设备和方法以及程序 Download PDF

Info

Publication number
CN102906670A
CN102906670A CN2011800257570A CN201180025757A CN102906670A CN 102906670 A CN102906670 A CN 102906670A CN 2011800257570 A CN2011800257570 A CN 2011800257570A CN 201180025757 A CN201180025757 A CN 201180025757A CN 102906670 A CN102906670 A CN 102906670A
Authority
CN
China
Prior art keywords
gesture
locus
posture
information
relevant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800257570A
Other languages
English (en)
Other versions
CN102906670B (zh
Inventor
渡边明香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102906670A publication Critical patent/CN102906670A/zh
Application granted granted Critical
Publication of CN102906670B publication Critical patent/CN102906670B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Abstract

一种设备和方法提供了用于提供手势控制的逻辑。在一个实现中，设备包括接收单元，该接收单元被配置成接收与人体的第一部分相关的第一空间位置和与人体第二部分相关的第二空间位置。识别单元被配置成至少基于第一空间位置识别一组目标，以及选择单元被配置成基于第二空间位置选择已识别出的组中的目标。

Description

信息处理设备和方法以及程序
技术领域
本发明所公开的示例性实施例涉及一种信息处理设备和方法以及程序。具体地，本发明所公开的示例性实施例涉及可以获得采用手势的鲁棒的用户界面的信息处理设备和方法以及程序。
背景技术
近年来，在信息选择用户界面（UI）领域，关于采用使用身体的一部分（例如，手或手指）的非接触手势的UI代替通过信息输入设备（诸如远程控制器或键盘）的信息选择的研究变得越来越活跃。
所提出的采用手势选择信息的技术的示例包括检测身体的一部分（诸如，手或指尖）的运动并将运动的量与屏幕上光标位置相关联的指示操作以及指引手或姿势的形状与信息的联系的技术。这时，通过使用指示操作的信息选择和使用关于例如手或姿势的形状的信息的确定操作的组合，来实现许多信息选择操作。
更具体地，在信息选择操作中最经常用到的指示操作中的一个是辨认手的位置的操作。这是直观的并且十分容易理解的，因为信息是通过手的运动而选择的。（参见，例如，Horo等,"Realtime Pointing GestureRecognition Using Volume Intersection",The Japan  Society ofMechanical Engineers,Robotics and Mechatronics Conference,2006.）
然而，凭借辨认手的位置的技术，依赖于作为估计目标的人体的手的位置，确定为左手还是右手的可能是困难的。例如，对于花费不多的使用静态图像的手检测（该检测通过将检测到的皮肤颜色区域与检测到的手的形状进行匹配来辨认手），可能不能彼此区别左手和右手的重叠。因此，提出了通过使用距离传感器（诸如红外传感器）来辨认深度从而进行区别的技术。（参见，例如，Akahori等.,"Interface of Home AppliancesTerminal on User's Gesture",ITX2001,2001（非专利文献2）.）另外，还提出了具有约束的辨认技术，例如当同时使用右手和左手时无效的技术、当右手和左手交叉时无效的技术以及仅当在预定区域中存在一只手时才能辨认运动的技术。（参见非专利文献3）。
引用列表
非专利文献（NPL）
NPL 1:Horo,Okada,Inamura,and Inaba,"Realtime PointingGesture Recognition Using Volume Intersection",The Japan Society ofMechanical Engineers,Robotics and Mechatronics Conference,2006NPL 2:Akahori and Imai,"Interface of Home Appliances Terminalon User's Gesture",ITX2001,2001
NPL 3:Nakamura,Takahashi,and Tanaka,"Hands-Popie:AJapanese Input System Which Utilizes the Movement of Both Hands",WISS,2006
发明内容
技术问题
然而，针对非专利文献1中的技术，例如如果用户通过指示操作从大的选项区域（诸如显示在屏幕上的键盘）中选择了输入标志1，则因为必须大范围地运动手或手指而同时保持手处于举起状态，因此用户往往容易疲劳。即使当使用小的选项区域时，如果用于显示选择信息的设备的屏幕很大，则因为手或手指的运动量同样很大，所以用户也往往容易疲劳。
在非专利文献2和3的情况中，当双手彼此互相重叠时难以区别右手和左手。即使当使用距离传感器（诸如红外传感器）可辨认深度时，如果在距离传感器基本相同距离处的双手交叉，则存在很高的不能区别双手的可能性。
因此，提出了在非专利文献3中所示的技术。即使凭借此技术，因为存在约束（例如不允许同时使用右手和左手、不允许交叉右手和左手以及仅当在预定区域中存在一只手时才能辨认运动），所以限制了指示操作。
并且，据说人类空间感知特性导致在实际空间与远处的感知到的空间之间的差别，并且这是在大屏幕上指示中所存在的问题（参见，例如，Shintani等,"Evaluation of a Pointing Interface for a Large Screen withImage Features”，Human Interface Symposium,2009）。
本发明所公开的示例性实施例提供一种即使使用采用简单手势的信息选择操作也非常鲁棒的用户界面。
问题的解决方案
与示例性实施例一致的，一种设备包括接收单元，该接收单元被配置成接收与人体的第一部分相关的第一空间位置以及与人体的第二部分相关的第二空间位置。识别单元被配置成至少基于第一空间位置来识别一组目标，并且选择单元被配置成基于第二空间位置来选择已识别出的组中的目标。
与另外的示例性实施例一致的，一种计算机实施的方法提供了界面的手势控制。该方法包括：接收与人体的第一部分相关的第一空间位置以及与人体的第二部分相关的第二空间位置。至少基于第一空间位置来识别一组目标。该方法包括至少基于第二空间位置，使用处理器选择已识别的组中的目标。
与另外的示例性实施例一致的，一种存储程序的非暂态计算机可读的存储介质，当通过处理器执行所述程序时，程序使处理器执行用于界面的手势控制的方法。该方法包括：接收与人体的第一部分相关的第一空间位置以及与人体的第二部分相关的第二空间位置。至少基于第一空间位置来识别一组目标。该方法包括至少基于第二空间位置来选择已识别出的组中的目标。
本发明的有利的效果
根据本发明所公开的示例性实施例，可以获得采用手势的鲁棒的用户界面。
附图说明
图1是示出根据示例性实施例的信息输入设备的配置的框图；
图2示出了人体姿势估计单元的配置示例；
图3是用于描述信息输入处理的流程图；
图4是用于描述人体姿势估计处理的流程图；
图5是用于描述姿势辨认处理的流程图；
图6是用于描述姿势辨认处理的示意图；
图7是用于描述姿势辨认处理的示意图；
图8是用于描述姿势辨认处理的示意图；
图9是用于描述手势辨认处理的流程图；
图10是用于描述信息选择处理的流程图；
图11是用于描述信息选择处理的示意图；
图12是用于描述信息选择处理的示意图；
图13是用于描述信息选择处理的示意图；
图14是用于描述信息选择处理的示意图；
图15是用于描述信息选择处理的示意图；
图16是用于描述信息选择处理的示意图；
图17示出通用的个人计算机的配置示例。
具体实施方式
信息输入设备的配置示例
图1示出了根据示例性实施例的信息输入设备的硬件实施例的配置示例。图1中的信息输入设备11响应于用户人体的动作（手势）辨认输入操作，并且显示对应的处理结果。
信息输入设备11包括非接触捕获单元31、信息选择控制单元32、信息选项数据库33、信息装置系统控制单元34、信息显示控制单元35以及显示单元36。
非接触捕获单元31获得包含用户人体的图像，生成对应于在所获得的图像中的用户人体姿势的姿势命令或生成对应于作为按时序排列的姿势的手势的手势命令，以及将生成的命令提供至信息选择控制单元32。即，非接触捕获单元31辨认关于用户人体处于非接触状态的姿势或手势，生成对应的姿势命令或手势命令，以及将生成的命令提供至信息选择控制单元32。
更具体地，非接触捕获单元31包括成像单元51、人体姿势估计单元52、姿势存储数据库53、姿势辨认单元54、分类的姿势存储数据库55、手势辨认单元56、姿势历史数据缓冲器57以及姿势存储数据库58。
成像单元51包括成像组件（诸如电耦合器件（CCD）或互补金属氧化物半导体（CMOS）），该单元由信息选择控制单元32所控制、获得包含用户人体的图像以及将所获得的图像提供至人体姿势估计单元52。
人体姿势估计单元52基于成像单元51所提供的包含用户人体的图像逐帧地辨认人体的姿势，并且将与已辨认出的姿势相关的姿势信息提供至姿势辨认单元54和手势辨认单元56。更具体地，人体姿势估计单元52从关于通过成像单元51所获得的图像的信息中提取表示人体姿势的多个特征。然后，人体姿势估计单元52对于每个姿势使用多个提取的特征的向量和系数向量的要素的内积之和来估计关于三维空间中人体的节点的坐标和角度的信息，其中系数向量登记在姿势存储数据库53中、通过基于用于每个姿势的多个特征的向量学习而获得；并且人体姿势估计单元52将具有这些信息的姿势信息确定为参数。应当注意，参照图2在下面描述人体姿势估计单元52的详情。
姿势辨认单元54基于作为参数的具有关于人体的节点的坐标和角度的信息的姿势信息，搜索与姿势信息以及在分类的姿势存储数据库55中所登记的之前分类的姿势相关的姿势命令。然后，姿势辨认单元54将与所搜索的姿势信息相关联登记的姿势辨认为用户人体姿势，并且将与姿势信息以及所登记的姿势相关的姿势命令提供至信息选择控制单元32。
手势辨认单元56在姿势历史数据缓冲器57中循序地累积人体姿势估计单元52在预定的一段时间中逐帧所提供的姿势信息。然后，手势辨认单元56在与手势存储数据库58中所登记的之前分类的手势相联系的按时序的姿势信息中搜索对应的手势。手势辨认单元56将与所搜索的按时序的姿势信息相关的手势辨认为由人体（已获得其图像）所做出的手势。手势辨认单元56从手势存储数据库58中读取与所辨认的手势联合登记的手势命令，并且将其提供至信息选择控制单元32。
在信息选项数据库33中，登记了作为与非接触捕获单元31所提供的姿势命令或手势命令相联系的选项的信息。信息选择控制单元32基于非接触捕获单元31所提供的姿势命令或手势命令从信息选项数据库33中选择作为选项的信息，并且将其提供至信息显示控制单元35。
信息装置系统控制单元34使信息装置作为系统（未示出）或独立的信息装置来基于作为信息选择控制单元32所提供的选项的信息来执行各种处理。
信息显示控制单元35使显示单元36显示对应于作为选项所选择的信息的信息，该显示单元包括例如液晶显示器（LCD）。
人体姿势估计单元的配置示例
接下来，参照图2描述人体姿势估计单元52的详细配置示例。
人体姿势估计单元52包括面部检测单元71、轮廓提取单元72、标准化处理区域提取单元73、特征提取单元74、姿势估计单元75以及校正单元76。面部检测单元71从成像单元51所提供的图像中检测面部图像、识别检测到的面部图像的大小和位置以及将检测到的面部图像的大小和位置连同成像单元51所提供的图像提供至轮廓提取单元72。轮廓提取单元72基于所获得的图像和面部检测单元71所提供的表示面部图像的大小和位置的信息，从所获得的图像中提取形成人体的轮廓，并且将提取的轮廓连同关于面部图像的信息以及所获得的图像提供至标准化处理区域提取单元73。
标准化处理区域提取单元73使用所获得的图像、表示面部图像的位置和大小的信息以及轮廓信息从所获得的图像中提取在对于人体的姿势信息的估计中所使用的区域作为标准化处理区域，并且将该区域连同图像信息提供至特征提取单元74。除了面部图像的位置和大小以及轮廓信息，特征提取单元74还从所获得图像中提取多个特征（例如边缘、边缘强度以及边缘方向），并且将具有多个特征的向量作为要素提供至姿势估计单元75。
姿势估计单元75基于关于特征提取单元74所提供的作为要素的具有多个特征的向量的信息，从姿势存储数据库53中读取多个系数的向量。应当注意，在以下描述中，作为要素具有多个特征的向量被称为特征向量。另外，在姿势存储数据库53中所登记的与特征向量相关的多个系数的向量被称为系数向量。即，在姿势存储数据库53中，存储了通过学习之前确定的与用于每个姿势的特征向量相联系的系数向量（系数集）。姿势估计单元75使用读取的系数向量和特征向量的内积之和确定姿势信息，并且将姿势信息提供至校正单元76。即，在此确定的姿势信息是表示被设定为人体的多个节点的坐标位置和节点的角度的信息。
校正单元76基于使用人体的面部图像的大小所确定的约束（诸如手臂或腿的长度）校正由姿势估计单元75所确定的姿势信息，并且将校正过的姿势信息提供至姿势辨认单元54和手势辨认单元56。
关于信息输入处理
接下来，参照图3的流程图描述信息输入处理。
在步骤S11中，非接触捕获单元31的成像单元51获得包含作为用户的人的区域的图像，并且将所获得的图像提供至人体姿势估计单元52。
在步骤S12中，人体姿势估计单元52执行人体姿势估计处理，估计人体姿势以及将其作为姿势信息提供至姿势辨认单元54和手势辨认单元56。
人体姿势估计处理
在此，参照图4的流程图描述人体姿势估计处理。
在步骤S31中，面部检测单元71基于成像单元51所提供的所获得的图像确定所获得的作为用户的人的面部图像的位置和大小的信息，并且将确定的关于面部图像的信息和所获得的图像提供至轮廓提取单元72。更具体地，面部检测单元71确定作为用户的人是否出现在图像中。当人出现在图像中时，面部检测单元71检测面部图像的位置和大小。此时，当出现多个面部图像时，面部图像检测单元71确定用于识别多个面部图像的信息和多个面部图像中的每一个的位置和大小。面部检测单元71例如通过采用黑色和白色矩形模式（所谓的Haar模式）的方法来确定面部图像的位置和大小。例如，使用Harr模式检测面部图像的方法利用了眼睛和嘴暗于其它区域的事实，并且代表了以下技术：该技术代表与被称为Harr模式的特定模式结合的面部的亮度并且依赖于这些模式的布置、坐标、大小以及数量检测面部图像。
在步骤S32中，轮廓提取单元72通过测量与之前登记的背景区域的差别并且以与面部图像检测类似的方式（即，所谓的背景减除技术）从背景区域中分离前景区域，从而仅提取前景区域作为轮廓。然后，轮廓提取单元72将提取的轮廓、关于面部图像的信息以及所获得的图像提供至标准化处理区域提取单元73。应当注意，轮廓提取单元72还可以通过背景减除技术之外的技术来提取轮廓。例如，还可以采用其它通用算法诸如使用具有预定的或更多的动作的区域作为前景区域的动作差别技术。
在步骤S33中，标准化处理区域提取单元73使用关于作为面部图像检测结果的面部图像的位置和大小的信息来设定标准化处理区域（即，用于姿势估计的处理区域）。标准化处理区域提取单元73生成仅由形成人体的前景区域部分构成的标准化处理区域，并且将其输出至特征提取单元74，其中依照通过轮廓提取单元72所提取的目标人体的轮廓移除关于背景区域的信息。凭借该标准化处理区域，可以估计人体的姿势而不考虑人体与成像单元51之间的位置关系。
在步骤S34中，特征提取单元74提取诸如标准化处理区域中的边缘、边缘强度以及边缘方向的特征，并且除了在面部图像的位置和大小以及轮廓信息之外，还形成由到达姿势估计单元75的多个特征构成的特征向量。
在步骤S35中，姿势估计单元75读取之前通过学习所确定的并与所提供的特征向量和来自姿势存储数据库53的姿势相关的系数向量（即，系数集）。然后，姿势估计单元75通过特征向量和系数向量的内积之和确定包括三维坐标中每个节点的位置和角度的姿势信息，并且将姿势信息提供至校正单元76。
在步骤S36中，校正单元76基于约束（诸如人体的面部图像的位置和大小以及人体的手臂或腿的长度）对包括每个节点的位置和角度的姿势信息进行校正。在步骤S37中，校正单元76将已校正的姿势信息提供至姿势辨认单元54和手势辨认单元56。
在此，描述了基于特征向量通过学习在姿势存储数据库53中所存储的系数向量。
如上所述，姿势存储数据库53准备了从图像信息所获得的用于必要的姿势的多个特征向量组和对应于必要的姿势的三维空间中的节点的坐标，并且存储使用这些相互关系通过学习所获得的系数向量。即，姿势存储数据库53确定从经受标准化处理的图像所获得的身体的整个上半部的特征向量与在三维空间中的人体的节点位置的坐标之间的相互关系，并且估计人体的姿势，该人体的姿势提供将能够被辨认的各种姿势（例如右手和左手的交叉）。
可以使用各种算法来确定系数向量。在此，作为示例描述了多重回归分析。（i）通过图像信息转换所获得的特征向量xεR_m（ε（epsilon）：被包含为要素），与（ii）形成包括三维空间中人体的节点的位置坐标和节点的角度的姿势信息要素的姿势信息向量XεR_d之间的关系可以被表示为使用以下表达式的多重回归分析：
表达式1
Y≡Xβ+ε          …(1)
在此，m表示使用的特征的维度，并且d表示三维空间中人的节点的位置的坐标向量的维度。ε被称为剩余向量并且代表用于学习的三维空间中人体的节点位置的坐标与通过多重回归分析所确定的预测出的三维位置坐标之间的差别。在此，为了代表身体的上半部，估计了腰部、头部、两个肩部、两个肘部以及两个腕部共计8个节点的三维空间中的位置坐标（x，y，z）。通过将所获得的特征向量和通过学习所获得的偏回归系数向量β(m*d)相乘，调用侧（calling side）可以获得在三维空间中人体的节点的位置的坐标的预测值。姿势存储数据库53将偏回归系数向量β_(m*d)的要素（系数集）存储为以上描述的系数向量。
作为使用以上描述的学习数据集来确定系数向量β的技术，可以使用例如被称为岭回归的多重回归分析。典型的多重回归分析使用最小二乘法来确定偏回归系数向量β(m*d)，以依照使用以下表达式所表达的估值函数，来获得预测值和真值（例如，三维空间中人体的节点位置的坐标和学习数据中的节点的角度）之间的最小平方差。
表达式2
min{|Y-Xβ||2}            …(2)
对于岭回归，包含可选变量γ的项被添加到最小二乘法中的估值函数中，并且确定了下面的表达式具有最小值处的偏回归系数向量β(m*d)。表达式3
min{|Y-Xβ||2+λββ||2}         …(3)
在此，γ是用于控制通过多重回归等式和学习数据所获得的模型的拟合“优度”的参数。公知的是，不仅在多重回归分析中并且在其它学习算法的使用中应当充分地考虑被称为过度拟合的问题。过度拟合是支持学习数据的低泛化性能学习，但是不可以拟合未知数据。包含出现在岭回归中的参数γ的项是用于控制关于学习数据的拟合优度的参数，并且对于控制过度拟合是有效的。当参数γ小时，关于学习数据的拟合优度高，但关于未知数据的拟合优度低。相反地，当参数γ大时，关于学习数据的拟合优度低，但是关于未知数据的拟合优度高。调整参数γ以实现具有较高的泛化性能的姿势存储数据库。
应当注意，在三维空间中的节点的位置的坐标可以被确定为当腰部的中心位置是原点时计算得到的坐标。即使当使用通过多重回归分析所确定的系数向量β和特征向量的要素的内积之和可以确定每个坐标位置和角度时，在学习中在人体的个部分（诸如手臂和腿）的长度之间的关系中也可能发生错误。因此，校正单元76基于各部分（诸如手臂和腿）的长度之间的关系在约束下对姿势信息进行校正。
凭借前述的人体姿势信息处理，关于在三维空间中的用户的身体的每个节点的位置的坐标和其角度的信息可以被确定为姿势信息（即，姿势信息向量），并且被提供至姿势辨认单元54和手势辨认单元56。
在此，描述将返回至图3的流程图。
当在步骤S12的处理中确定了用于人体的姿势信息时，在步骤S13中，姿势辨认单元54执行姿势辨认处理，并且基于姿势信息通过将其与用于之前在分类的姿势存储数据库55中所登记的每个姿势的姿势信息相比较来辨认姿势。然后，姿势辨认单元54读取与所辨认出的在分类的姿势存储数据库55中所登记的姿势相关的姿势命令，并且将其提供至信息选择控制单元32。
姿势辨认处理
在此，参照图5的流程图描述姿势辨认处理。
在步骤S51中，姿势辨认单元54获得姿势信息，该信息包括人体姿势估计单元52所提供的关于在三维空间中的用户人体的每个节点的位置的坐标的信息和关于其角度的信息。
在步骤S52中，姿势辨认单元54读取分类的姿势存储数据库55中所登记的姿势信息中的未被处理的姿势信息，并且将其设定为作为处理目标的姿势信息。
在步骤S53中，姿势辨认单元54比较作为处理目标的姿势信息和人体姿势估计单元52所提供的姿势信息以确定其差别。更具体地，姿势辨认单元54基于关于作为处理目标的姿势信息中所包含的节点的位置的坐标的信息和所获得的姿势信息，确定链接两个连续节点的部分的角度的差距，并且将其确定为差别。例如，当链接左肘部和左腕部的左前臂是部分的示例时，如图6所示确定差别θ。即图6所示的差别θ是向量V1（a1，a2，a3）与向量V2（b1，b2，b3）之间形成的角度，其中向量V1（a1，a2，a3）的原点是上级节点（即左肘部节点），并且其基于作为处理目标的之前登记的姿势信息从左肘部指向左腕部；向量V2（b1，b2，b3）基于通过人体姿势估计单元52所估计的姿势信息。通过以下表达式（4）的计算可以确定差别θ。
表达式4
θ = cos - 1 ( a 1 b 1 + a 2 b 2 + a 3 b 3 a 1 2 + a 2 2 + a 3 2 · b 1 2 + b 2 2 + b 3 2 ) · · · ( 4 )
以这样的方式，姿势辨认单元54对于通过计算从姿势信息所获得的所有节点中的每一个确定角度的差别θ。
在步骤S54中，姿势辨认单元54确定是否所有确定的差别θ都落入容限θth中。当在步骤S54中确定所有的差别θ都落入到容限θth中时，处理继续至步骤S55。
在步骤S55中，姿势辨认单元54确定人体姿势估计单元52所提供的姿势信息与被分类为作为处理目标的姿势信息的姿势匹配是非常有可能的，并且将作为处理目标的姿势信息和关于被分类为姿势信息的姿势的信息存储为候选。
另一方面，当在步骤S54中确定不是所有的差别θ都落入容限θ时，确定所提供的信息与对应于作为处理目标的姿势信息的姿势不匹配，跳过步骤S55的处理并且处理继续至步骤S56。
在步骤S56中，姿势辨认单元54确定在分类的姿势存储数据库55中是否存在未处理的姿势信息。当确定存在未处理的姿势信息时，处理返回至步骤S52。即，在确定不存在未处理的姿势信息之前，重复从步骤S52至步骤S56的处理。然后，当在步骤S56中确定不存在未处理的姿势信息时，处理进入步骤S57。
在步骤S57中，姿势辨认单元54确定是否存储了用于对应于候选的姿势的姿势信息。在步骤S57中，例如，当存储了该信息时处理前进至步骤S58
在步骤S58中，姿势辨认单元54读取在分类的姿势存储数据库55中所登记的姿势命令以及与在作为候选的姿势中具有差别θ的最小总和的姿势相关联的姿势信息，并且将其提供至信息选择控制单元32。
另一方面，当在步骤S57中确定未存储对应于作为候选的姿势的姿势信息时，在步骤S59中姿势辨认单元54将表示未分类的姿势的姿势命令提供至信息选择控制单元32。
凭借以上处理，当提供了与之前分类的姿势相关的姿势信息时，相关的姿势命令被提供至信息选择控制单元32。因此作为之前分类的姿势，例如，如从图7左侧部分中上部起始的顺序所示，可以识别并辨认，在页面中关于左肘部用户人体的左臂LH的手掌指向左侧方向的姿势（即姿势201）、指向向下方向的姿势（即，姿势202）、指向右侧方向的姿势（即姿势203）以及指向向上方向的姿势（即，姿势204）。并且，如在图7右侧部分中所示，可以识别并辨认，右臂RH的手掌（即，沿人体的第二部分放置的第二参考点）从页面的右侧起始顺序地指向虚拟地布置在人前面的区域211至215的姿势。
此外，可辨认的姿势可以是图7中所示的姿势之外的姿势。例如，如在图8中所示，从上面起始，还可以识别并辨认左臂LH在页面中左上方和右臂RH在页面中右下方的姿势、左臂LH2和右臂RH2在页面中右上方的姿势、左臂LH3和右臂RH3在水平方向上的姿势以及左臂LH1和右臂RH1交叉的姿势。
即，因为来自身体的位置关系不明确，所以例如仅使用手掌的位置（即，第一空间位置和/或第二空间位置）的识别可能导致在辨认中发生错误。然而，因为作为人体的姿势而执行辨认，所以两个手臂均可以精确的辨认，并且可以消除错误辨认的发生。并且，因为作为姿势而进行辨认，例如，即使两个手臂交叉，也可以识别各自的手掌，从而可以减少错误辨认的发生，并且更复杂的姿势也可以登记为可以识别的姿势。此外，只要仅登记了身体的右侧的运动或身体的左侧的运动，就可以组合地识别左臂和右臂的姿势，并且因此，可以减少所登记的姿势信息量，而同时可以识别并辨认许多复杂的姿势。
在此，描述返回至图3的流程图。
当在步骤S13中执行姿势辨认处理，识别了用户人体的姿势并且输出了姿势命令时，处理前进至步骤S14。在步骤S14中，手势辨认单元56执行手势辨认处理，基于人体姿势估计单元52循序地提供的姿势信息，与在手势存储数据库58中所登记的手势信息进行比较，并且辨认手势。然后，手势辨认单元56将与所辨认出的在分类的姿势存储数据库55中所登记的手势相关的手势命令提供至信息选择控制单元32。
手势辨认处理
在此，参照图9的流程图描述手势辨认处理。
在步骤S71中，手势辨认单元56在姿势历史数据缓冲器57中将人体姿势估计单元52所提供的姿势信息作为历史存储仅预定的一段时间。此时，手势辨认单元56用最新帧的姿势信息重写最旧帧的姿势信息，并且按时序将该姿势信息与历史帧相关联地存储预定的一段时间。
在步骤S72中，手势辨认单元56读取在姿势历史数据缓冲器57中作为历史按时序所存储预定一段时间的姿势信息作为姿势信息。
在步骤S73中，手势辨认单元56读取手势存储数据库58中所登记的手势信息中的与之前登记的手势相关联的未处理的手势信息（即，第一空间位置和/或第二空间位置），作为是处理目标的手势信息。应当注意，在手势存储数据库58中，对应于之前登记的手势的按时序的姿势信息被登记为手势信息。在手势存储数据库58中，与各个手势相关联地登记手势命令。
在步骤S74中，手势辨认单元56通过模式匹配来比较作为处理目标的手势信息和从姿势历史数据缓冲器57所读取的姿势信息。更具体地，例如，手势辨认单元56使用连续动态规划（DP）比较作为处理目标的手势信息和从姿势历史数据缓冲器57中所读取的姿势信息。例如，连续DP是这样一种算法：该算法允许作为输入的按时序的数据的时间轴的扩展和收缩，并且该算法执行之前登记的按时间排列的数据之间的模式匹配。其特征在于不需要之前的学习。
在步骤S75中，手势辨认单元56通过模式匹配确定作为处理目标的手势信息和从姿势历史数据缓冲器57中所读取的姿势信息是否彼此互相匹配。在步骤S75中，例如，当确定作为处理目标的手势信息和从姿势历史数据缓冲器57中所读取的姿势信息彼此互相匹配时，处理继续至步骤S76。
在步骤S76中，手势辨认单元56将对应于作为处理目标的手势信息的手势存储为候选。
另一方面，当确定作为处理目标的手势信息和从姿势历史数据缓冲器57中所读取的姿势信息彼此不互相匹配时，跳过步骤S76的处理。
在步骤S77中，手势辨认单元56确定在手势存储数据库58中是否登记了未处理的信息。在步骤S77中，例如，当登记了未处理的手势信息时，处理返回至步骤S73。即，在未处理的手势信息为不存在之前，重复从步骤S73至步骤S77的处理。然后，当在步骤S77中确定不存在未处理的手势信息时，处理继续至步骤S78。
在步骤S78中，手势辨认单元56确定是否存储了作为候选的手势。当在步骤S78中确定存储了作为候选的手势时，处理继续至步骤S79.
在步骤S79中，手势辨认单元56通过模式匹配将作为候选所存储的手势中最匹配的手势辨认为通过用户人体所做出的手势。然后，手势辨认单元56将与所辨认出的在手势存储数据库58中所存储的的手势（即，对应的第一手势或第二手势）相关的手势命令（即，第一命令和/或第二命令）提供至信息选择控制单元32。
另一方面，在步骤S78中，当未存储作为候选的手势时，确定为做出了未登记的手势。在步骤S80中，手势辨认单元56将表示做出了未登记的手势的手势命令提供至信息选择控制单元32。
即，凭借以上处理例如确定了，包括从姿势历史数据缓冲器57所读取的按时序的姿势信息的手势信息被辨认为对应于手掌循序地从左臂LH从左肘部起指向上方的状态（如在图7中最下面左侧所示）运动至手掌在页面中指向左上方向的状态（如在图7中最上面左侧所示）的手势。在这种情况中，辨认了左臂在第二象限中以通过图7中的虚线所示的基本上为圆形的形式逆时针运动的手势，并且输出其对应的手势命令。
类似地，辨认了手掌循序地从左臂LH从左肘部起指向页面中左侧方向的状态（如在图7中最上行左侧所示）运动至其指向在页面中向下方向的状态（如通过在图7中左侧第二行中的箭头202所示）的手势。在这种情况中，辨认了左臂在页面中的第三象限中以通过图7中的虚线所示的基本上为圆形的形式逆时针运动的手势，并且输出其对应的手势命令。
并且，辨认了手掌循序地从左臂LH从左肘部起指向页面中向下方向的状态（如在图7中左侧第二行所示）运动至其指向页面中右侧方向的状态（如通过在图7中左侧第三行中的箭头203所示）的手势。在在这种情况中，辨认了左臂在页面中的第四象限中以通过图7中的虚线所示的基本上为圆形的形式逆时针运动的手势，并且输出其对应的手势命令。
然后，辨认了手掌循序地从左臂LH从左肘部起指向右侧方向的状态（如在图7中左侧第三行所示）运动至其指向页面中向上方向（如通过在图7中左侧最下面中的箭头204所示）的手势。在这种情况中，辨认了左臂在页面中的第一象限中以通过图7中的虚线所示的基本上为圆形的形式逆时针运动的手势，并且输出其对应的手势命令。
此外，在图7中的右侧部分，如以上的顺序所示，辨认了右手掌从虚拟设定的区域211至215的循序地运动。在这种情况中，识别了右臂在页面中在左侧方向上水平地运动的手势，并且输出其对应的手势命令。
类似地，在图7中的右侧部分中，如以下的顺序所示，辨认了右手掌从虚拟设定的区域215至211的循序地运动。在这种情况中，辨认了右臂在页面中在右侧方向上水平地运动的手势，并且输出其对应的手势命令。
以这样的方式，因为基于按时序辨认的姿势信息来辨认手势，所以如果简单地基于手掌的运动路径来辨认手势可能发生的错误辨认（诸如未能确定是否通过右臂或左臂做出运动）可以被消除。作为结果，可以消除手势的错误辨认，并且可以合适地辨认手势。
应当注意，尽管作为被辨认的手势的示例描述了基本上以圆形的形式以90度为单位旋转手掌的手势，但是可以使用所描述的示例之外的旋转。例如，可能使用基本上椭圆形的形式、基本上菱形的形式、基本上方形的形式或者基本上矩形的形式，并且可能使用顺时针的运动。旋转的单位不限于90度，并且也可能使用其它角度。
在此，描述返回至图3的流程图。
当在步骤S14中通过手势辨认处理辨认了手势，并且与已辨认的手势相关的手势命令被提供至信息选择控制单元32时，处理继续至步骤S15。
在步骤S15中，信息选择控制单元32执行信息选择处理，选择与姿势命令或手势命令相关联的、作为在选项数据库33中所登记的选项的信息。信息选择控制单元32将信息提供至使各种处理被执行的信息装置系统控制单元34，将信息提供至信息显示控制单元35，以及在显示单元36上显示选择的信息。
此外，在步骤S16中，信息选择控制单元32确定是否通过姿势命令或手势命令所表示处理完成。当确定了未表示处理完成时，处理返回至步骤S11。即，当未表示处理完成时，重复步骤S11至步骤S16的处理。然后，当在步骤S16中确定表示了处理完成时，结束处理。
信息选择处理
在此，参照图10的流程图描述信息选择处理。应当注意，尽管在此作为示例描述了选择假名字符（日语音节）作为信息的处理，但是也可以选择其它信息。此时，描述了选择字符的示例，在该示例中通过每当左臂以90度旋转手掌（如在图7中左侧部分所示）运动一个字符来选择一个辅音（包含被认为是辅音的浊音标记），并且通过右手掌指向水平布置地区域211至215中的一个来选择元音。在本说明书中，假名字符被表示为罗马字（用于音译日语的罗马化的拼写系统）。此说明中所使用的辅音表示在布置了一组字符（即，一组目标）的列中的第一个字符，此说明中所使用的元音表示选择的辅音（即，目标组中的目标）的列中的一组字符中所指定的字符。
在步骤S101中，信息选择控制单元32确定姿势辨认单元54所提供的姿势命令或手势辨认单元56所提供的手势命令是否是表示开始的姿势命令或手势命令。例如，如果通过左臂以360度旋转手掌的手势是表示开始的手势，当辨认了通过左臂以360度旋转手掌的这样的手势时，确定辨认出表示开始的手势，并且处理继续至步骤S102。
在步骤S102中，信息选择控制单元32在“A”列中的“A”中设置当前选择的辅音和元音以进行初始化。另一方面，当在步骤S101中确定手势不是表示开始的手势时，处理继续至步骤S103。
在步骤S103中，信息选择控制单元32确定通过手势命令所辨认的手势是否是以90度逆时针旋转左臂的手势。当在步骤S103中确定通过手势命令所辨认的手势是以90度逆时针旋转左臂的手势时，处理继续至步骤S104。
在步骤S104中，信息选择控制单元32读取作为在信息选项数据库33中所登记的选项的信息，辨认出从当前辅音顺时针运动至其近邻的辅音，以及将辨认结果提供至信息装置系统控制单元34和信息显示控制单元35。
即，例如，如在图11左侧部分或右侧部分中所示，作为辅音，选择了“A”、“KA”、“SA”、“TA”、“NA”、“HA”、“MA”、“YA”、“RA”、“WA”或“浊音标记”（类似于双引号（“））（即识别了一组目标）。在这样的情况中，如通过图12最上面的状态P1中的选择位置251所示，当选择“A”列作为当前的辅音时，如果做出了从左臂LH11至左臂LH12以90度逆时针旋转手掌的手势（如通过图12第二行的状态P2中的箭头261所示），则选择了顺时针邻近邻列“KA”（如通过图12第二行的状态P2中的选择位置262所示）。
在步骤S105中，信息显示控制单元35在显示单元36上显示表示作为从当前辅音顺时针运动的近邻而辨认的辅音的信息。即，例如在初始状态中，例如，如在图12最上侧的状态P1中的显示区域252所示，信息显示控制单元35显示作为缺省初始位置的“A”列中的“A”以在显示单元36上显示表示当前选择的辅音的显示信息。然后，在此，通过左臂LH11以90度逆时针旋转手掌，信息显示控制单元35基于信息选择控制单元32所提供的信息主要地显示“KA”（如在图12中第二行中显示区域263所示）以表示当前选择的辅音切换至“KA”。应当注意，此时在显示区域263中，例如显示了作为中心的“KA”，并且仅显示了其逆时针方向上的近邻“WA”、“浊音标记”以及“A”和其顺时针方向上的近邻“SA”、“TA”以及“NA”。这可以允许容易地辨认在当前选择的辅音之前或之后可能选择的辅音。
类似地，从此状态起，当左臂从左臂LH12至左臂LH13以90度进一步运动并且手掌进一步逆时针运动时（如在图12第三行中的状态P3所示），凭借步骤S103和S104的处理，选择了“KA”列的顺时针邻近“SA”（如通过选择位置272所示）。然后，凭借步骤S105的处理，信息显示控制单元35主要地显示“SA”以表示当前选择的辅音切换至“SA”列（如在图12第三行的状态P3的显示区域273中所示）。
另一方面，在步骤S103中确定不是逆时针90度旋转的手势时，处理继续至步骤S106。
在步骤S106中，信息选择控制单元32确定通过手势命令所辨认的手势是否是顺时针旋转左臂90度的手势。当在步骤S106中确定通过手势命令所辨认的手势是顺时针旋转左臂90度的手势时，例如，处理继续至步骤S107。
在步骤S107中，信息选择控制单元32读取作为在信息选项数据库33中所登记的选项的信息，辨认关于当前元音运动至其逆时针近邻位置的辅音，以及将辨认结果提供至信息装置系统控制单元34和信息显示控制单元35。
在步骤S108中，信息显示控制单元35在显示单元36上显示表示运动至当前辅音的逆时针邻近位置而辨认出的辅音的信息。
即，这与在上述步骤S103至S105中的手掌顺时针旋转的处理相反。即，例如，当从图12的第三行中的状态P3起，手掌以180度进一步旋转连同从左臂LH13至左臂LH11的运动时（如在第四行的状态P4中的箭头281所示），凭借步骤S107和S108的处理，如通过选择位置282所示，当手掌顺时针运动90度时选择了近邻“KA”，并且当手掌进一步顺时针运动90度时，选择了“A”。然后，凭借步骤S108的处理，信息显示控制单元35主要地显示“A”以表示当前选择的辅音从“SA”切换至“A”（如在图12的第四行的状态P4中的显示区域283所示）。
另一方面，当在步骤S106中确定了不是顺时针旋转90度的手势时，处理继续至步骤S109。
在步骤S109中，信息选择控制单元32确定姿势辨认单元54所提供的姿势命令或手势辨认单元56所提供的手势命令是否是用于选择元音（即，已识别的目标组中的目标）的姿势命令或手势命令。例如，当手掌通过右臂选择虚拟的布置在人前面的区域211至215中的一个时（如在图7中所示），在通过该区域识别元音的姿势的情况中，辨认出表示手掌通过右臂指向区域211至215中的一个的姿势的姿势命令，确定识别了表示元音的手势（即，识别了目标），以及处理继续至步骤S110。
在步骤S110中，信息选择控制单元32读取作为在信息选项数据库33中所登记的选项的信息，辨认出对应于被辨认为姿势的右手掌的位置的元音，并且将辨认结果提供至信息装置系统控制单元34和信息显示控制单元35。
即，例如，当选择“TA”列作为辅音时，如果辨认了表示手掌通过右臂RH31指向虚拟地设置在人前面的区域21的姿势的姿势命令（如在图13中最上行所示），则选择“TA”作为元音（如通过选择位置311所示）。类似地，如在图13第二行中所示，如果辨认了表示手掌通过右臂RH32指向虚拟地设置在人前面的区域212的姿势的姿势命令（如在图13中第二行中所示），则选择“TI”作为元音。如果辨认了表示手掌通过右臂RH32指向虚拟地设置在人前面的区域213至215的姿势的姿势命令（如在图13中第二行至第五行中所示），则选择“TU”、“TE”以及“TO”作为其各自的元音。
在步骤S111中，信息显示控制单元35在显示单元36上显示对应于被辨认为所选择的元音的字符。即，例如，显示对应于所选择的元音的字符以使对应于在图13左侧部分中的显示位置311至315中的每个。
另一方面，在步骤S109中确定其不是用于识别辅音的手势，处理继续至步骤S112。
在步骤S112中，信息选择控制单元32确定姿势辨认单元54所提供的姿势命令或手势辨认单元56所提供的手势命令是否是用于选择确定的姿势命令或手势命令。例如，如果其是手掌连续地运动通过虚拟地布置在人前面的区域211至215并且选择一个的手势或手掌连续地运动通过虚拟地布置在人前面的区域211至215的手势（如在图7中所示），则其被确定为表示辨认了确定的手势，并且处理继续至步骤S113。
在步骤S113中，信息选择控制单元32辨认具有当前选择的辅音和确定的元音的字符，并且将辨认结果提供至信息装置系统控制单元34和信息显示控制单元35。
在步骤S114中，信息显示控制单元35在显示单元36上显示选择的字符以使得基于信息选择控制单元32所提供的信息而进行确定。
并且，当在步骤S112中确定其是表示确定的手势时，处理继续至步骤S115。
在步骤S115中，信息选择控制单元32确定姿势辨认单元54所提供的姿势命令或手势辨认单元56所提供的手势命令是否是用于表示完成的姿势命令或手势命令。当在步骤S115中确定不是表示完成的姿势命令或手势命令时，信息选择处理完成。另一方面，在步骤S115中，例如，当提供了表示双臂的运动的姿势命令时，信息选择控制单元32在步骤S116中确定辨认了表示完成的姿势命令，并且辨认出处理完成。
以上描述的一系列处理总结如下。
即，当做出了如在图14的状态P11中的用户人体的左臂LH51所示的以如通过箭头351所示的基本上圆形的运动手掌的手势时，其被确定为表示了开始，并且处理开始。此时，如在图14中的状态P11所示，缺省地选择“A”列作为辅音，并且还选择了元音“A”。
然后，做出了在箭头361的方向上以90度逆时针旋转在状态P11中的左臂LH51的手势（如在状态P12中通过LH52所示），并且做出了指向通过从右臂RH51运动而由右臂RH52所表示的区域215的姿势。在这种情况中，连同手势，辅音从“A”列运动至“KA”列，并且此外，通过姿势“KA”列中的“KO”被识别为元音。在这种情况中，当做出了表示确定的手势时，选择“KO”。
接下来，做出了在箭头371的方向上以270度顺时针旋转在状态P12中的左臂LH52的手势（如在状态P13中通过LH53所示），并且在不大量的运动右臂RH52的情况下做出了指向如通过右臂RH53所示的区域215的姿势。在这种情况中，对于连同手势的每个90度旋转辅音通过“A”和“浊音标记”列运动至“WA”列，并且此外，通过姿势，“WA”列中的“N”被识别为元音。在这种情况中，当做出了表示确定的手势时，选择“N”。
并且，做出了在箭头381的方向上以450度逆时针旋转在状态P13中的左臂LH53的手势（如在状态P12中通过LH52所示），并且做出了指向通过从右臂RH53运动而来的右臂RH54所表示的区域212的姿势。在这种情况中，对于连同手势的每个90度旋转辅音通过“浊音标记”、“A”、“KA”、“SA”以及“TA”列运动至“NA列”，并且此外，通过姿势，“NA”列中的“NI”被识别为元音。在这种情况中，当做出了表示确定的手势时，选择“NI”。
此外，做出了在箭头391的方向上以90度顺时针旋转在状态P14中的左臂LH54的手势（如在状态P15中通过LH55所示），并且做出了指向右臂RH55以对于右臂RH54相同的方式所表示的区域212的姿势。在这种情况中，连同手势辅音运动至“TA”列，并且此外，通过姿势，“TA”列中的“TI”被识别为元音。在这种情况中，做出了表示确定的手势时，选择“TI”。
以及，做出了在箭头401的方向上以180度顺时针旋转在状态P15中的左臂LH55的手势（如在状态P16中通过LH56所示），并且做出了指向通过从右臂RH55运动而来的右臂RH56所表示的区域211的姿势。在这种情况中，连同手势辅音通过“NA”列运动至“HA”列，并且此外，通过姿势，“HA”列中的“HA”被识别为元音。在这种情况中，当做出了表示确定的手势时，选择“HA”。
最终，如在状态P16中所示，如通过左臂LH57和右臂RH57所示，表示完成的一系列向下运动双臂的手势和姿势导致了“KONNITIHA”（英语中意为“hello”）的确定和输入。
以这样的方式，使用左臂和右臂的手势和姿势允许字符的输入。这时，采用姿势信息辨认了姿势，并且采用姿势信息的按时序排列的信息辨认了手势。因此，基于人体的单个部分的运动或位置，可以消除如果选择或者输入选项时可能发生的错误辨认（诸如不能区别左臂和右臂）。
在前述中，作为示例描述了基于人体的上半部的八个节点所获得姿势信息和部分的运动输入字符的技术。然而，可能将以下三种状态添加到特征中：手指紧握在手掌中的状态（石头）、仅有食指和中指伸展的状态（剪刀）以及打开手的状态（布）。即使当使用与识别元音的方法中相同的方式时，这可以增加使用姿势领命识别元音的方法的变化范围，诸如允许在石头状态下常规字符的选择、剪刀状态下浊音标记的选择以及布状态下半浊音标记的选择的切换（如在图11中右侧部分所示）。
并且，在假名字符之外，用与以上描述的选择辅音的方法类似的方式通过旋转手势也可能选择“a”、“e”、“i”、“m”、“q”、“u”以及“y”（如在图15中的左侧部分中所示）。然后，用与以上描述的元音的选择类似的方式可能在"a,b,c,d″中选择"a”、在"e,f, g,h"中选择"e”、在"i,j,k,l"中选择"i”、在"m,n,o,p″中选择"m”、在"q,r,s,t″中选择"q”、在"u,v，w,x"中选择"u”以及在"y，z"中选择"y"。
此外，如果启用了采用手掌状态的识别，用通过与以上描述的选择辅音的方法类似的方式旋转手势，还可以选择“a”、“h”、"l”、“q”、以及“w”（如在图15中右侧部分所示）。然后，用与以上描述的元音的选择类似的方式可能在"a,b,c,d,e,f, g″中选择"a”、在"h,i,j,k"中选择"h”、在"q,r,s,t,u,v"中选择"q”、以及在"w，x,y，z"选择"w"。
以及，在图15中右侧部分中所示的情况中，即使未使用采用手掌的状态的识别，可能增加虚拟地设置在人前面的区域211至215。在这种情况中，例如，可能使用具有区域501至509的九个（=3*3）区域的配置（如在图16状态P42中所示）。
即，例如，如通过图16的状态P41中的用户人体的左臂LH71所示，当做出了基本上以圆形的形状运动手掌的手势时（通过箭头411所示），确定表示了开始，并且开始处理。此时，如在图16的状态P41所示，缺省选择“a”列作为辅音，并且还选择“a”作为元音。
然后，当做出了在箭头412的方向上以90度逆时针旋转在状态P41中的左臂LH71的手势（如在状态P42中通过LH72所示），并且做出了指向通过从右臂RH71运动而来的右臂RH72所表示的区域503的姿势时，连同手势辅音从“a”列运动至“h”列，并且此外，通过姿势“h”列中的“h”被识别为元音。在这种情况中，当做出了表示确定的手势时，选择“h”。
接下来，当做出了在箭头413的方向上以90度顺时针旋转在状态P42中的左臂LH72的手势（如在状态P43中通过LH73所示），并且做出了指向通过从右臂RH72运动而来的右臂RH73所表示的区域505的姿势时，对于连同手势的每个90度的旋转辅音运动至“a”列，并且此外，通过姿势“a”列中的“e”被识别为元音。在这种情况中，当做出了表示确定的手势时，选择“e”。
并且，当做出了在箭头414的方向上以180度逆时针旋转在状态P43中的左臂LH73的手势（如在状态P44中通过LH74所示），并且做出了指向通过从右臂RH72运动而来的右臂RH73所表示的区域505的姿势时，对于连同手势的每个90度的旋转辅音通过“h”列运动至“l”列，并且此外，通过姿势“l”列中的“l”被识别为元音。在这种情况中，当做出了表示确定的手势时，选择“l”。
此外，如通过状态45中的左臂LH75和右臂RH75所示，当做出了表示确定的手势而同时保持状态P44时，再次选择“l”。
以及，如通过状态P46中的左臂LH76所示，当做出了指向通过从右臂RH75运动至右臂RH76所表示的区域506的姿势而同时保持状态P45中的左臂LH75时，“l”列中的“o”被识别为元音。在这种状态中，当做出了表示确定的手势时，选择“o”。
最终，如通过状态P47中的左臂LH77和右臂RH77所示，表示完成的一系列运动双臂向下的手势和姿势输入了“hello”。
应当注意，在前面描述了通过对于每个90度的旋转角度以单个字符运动辅音的示例。然而，可能不使用旋转角度。例如，响应于旋转速度可能改变辅音运动的字符数量；对于高速度，可能增加运动的字符的数量，并且对于低速度，可能减少运动的字符的数量。
并且，描述了使用三维空间中的人体的每个节点的位置和角度的坐标信息作为姿势信息的示例。然而，可能添加诸如打开或闭合手掌或者打开或闭合眼睛以及嘴的信息以使其可区别。
此外，在前述中，描述了输入假名字符和字母表的字母作为选项的示例。然而，选项不限于字符，并且可能使用文件列表或文件夹列表选择文件或文件夹。在这种情况中，类似于上述的元音或辅音，通过创建日期或文件大小可能识别并选择文件或文件夹。一个这样的文件的示例可以是照片文件。在这种情况中，类似于上述的元音或辅音，通过诸如获得图像的年份、月份、日期、星期或时间的信息可能分类并选择文件。
根据上述，在人体姿势或手势的辨认中，即使存在通过例如交叉右臂和左臂所导致的部分隐藏部分，也可以区别并辨认右臂和左臂，并且可以输入信息而同时可以作出有限空间的最好的可能的使用。因此，可以从大量的信息选项中选择期望的信息而不增加手臂的运动量，减少用户疲劳的输入操作的作用所导致的抑制了减少的输入信息的意愿，以及可以实现具有容易操作的信息选择处理。
并且，同时辨认通过右手和左手做出的不同手势允许高速信息选择并且同样允许通过连续操作（诸如类似单一操作的勾画的操作）的选择。此外，仅使用少量的简单手势（诸如用于确定操作的手的形状的旋转或改变，例如滑动操作）可以选择并输入大量的信息。因此，可以实现允许用户容易的掌握操作并且即使是初学者也可以容易地使用的用户界面。
附带地，尽管可以通过硬件执行上述的一系列处理，但是也可以通过软件执行。如果通过软件执行一系列处理，可以将形成软件的程序从记录介质安装到适当的硬件所包括的计算机上或安装到能够使用安装在其上的各种程序执行各种功能的计算机上（例如通用的个人计算机）。
图17示出了通用个人计算机的配置示例。个人计算机包括中央处理单元（CPU）1001。CPU 1001通过总线1004连接至输入/输出接口1005。总线1004连接至只读存储器（ROM）1002和随机访问存储器（RAM）1003。
输入/输出接口1005连接至包括用户输入操作命令的输入装置的输入单元106（诸如，键盘或鼠标），输出单元1007用于将处理操作屏幕的图像或处理的结果输出至显示装置，存储单元1008包括保持程序和各种数据的硬盘驱动器，以及通信单元1009包括例如局域网（LAN）适配器，并且通过网络（通常通过因特网）执行通信处理。其通常连接至用于向可移动的介质1011写入数据和从可移动介质1011读取数据的驱动器1010，诸如磁盘（包括软盘）、光盘（包括压缩磁盘只读存储器（CD-ROM）和数字激光视盘（DVD））、磁光盘（迷你光盘（MD））或半导体存储器。
CPU 1001依照ROM 1002中所存储的程序或从安装在存储单元1008中的可移动介质1011（例如，磁盘、光盘、磁光盘或半导体存储器）所读取的并且载入到RRM 1003中的程序，执行各种处理。如果需要，RAM1003还存储CPU 1001执行各种处理所需的数据。
应当注意，在本说明中，描述记录介质中所记录的程序的步骤包括按时序地以声明的顺序执行的处理，当然也包括不必按时序执行并且以并行方式或基于个体的执行的处理。
在参照图1的上述的信息处理设备11的功能组件要素中，非接触捕获单元31、信息选择控制单元32、信息装置系统光控制单元34、信息显示控制单元35、显示单元35、成像单元51、人体姿势估计单元52、姿势辨认单元54以及手势辨认单元56可以实现为使用包括一个或多个集成电路的电路配置，或可以实现为通过CPU（中央处理单元）执行存储单元1008中所存储的程序的软件。存储单元1008通过组合存储设备（诸如ROM（例如ROM 1002）或RAM），或可运动存储介质（例如，可运动介质1011）（诸如光盘、磁盘或半导体存储器）而实现，或者实现为任何额外的或替选的组合。
参考标记列表
11      信息输入设备
31      非接触捕获单元
32      信息选择控制单元
33      信息选项数据库
34      信息装置系统控制单元
35      信息显示控制单元
36      显示单元
51      成像单元
52      人体姿势估计单元
53      姿势存储数据库
54      姿势辨认单元
55      分类的姿势存储数据库
56      手势辨认单元
57      姿势历史数据缓冲器，以及
58      手势存储数据库

Claims (21)

1.一种设备，包括：
接收单元，其被配置成接收与人体的第一部分相关的第一空间位置以及与所述人体的第二部分相关的第二空间位置；
识别单元，其被配置成至少基于所述第一空间位置来识别一组目标；以及
选择单元，其被配置成基于所述第二空间位置来选择所述已识别出的组中的目标。
2.根据权利要求1所述的设备，其中所述人体的所述第一部分在左肩部的末端，并且所述人体的所述第二部分在右肩部的末端。
3.根据权利要求1所述的设备，其中：
所述第一空间位置与沿所述人体的所述第一部分布置的第一参考点相关；并且所述第二空间位置与沿所述人体的所述第二部分布置的第二参考点相关。
4.根据权利要求3所述的设备，还包括：
被配置成从数据库检索与所述人体的所述第一部分和所述第二部分相关的姿势信息的单元，所述姿势信息包括对应于所述第一参考点和所述第二参考点的多个空间位置。
5.根据权利要求4所述的设备，还包括：
确定单元，其被配置成至少基于所述检索到的姿势信息，确定所述第一空间位置是否与第一手势相关。
6.根据权利要求5所述的设备，其中所述确定单元还被配置成：
将所述第一空间位置和与所述第一参考点相关的所述姿势信息进行比较；和
当所述第一空间位置对应于与所述第一参考点相关的所述姿势信息的空间位置中的至少一个时，确定所述第一空间位置与所述第一手势相关。
7.根据权利要求5所述的设备，其中所述识别单元还被配置成：
当所述第一空间位置与所述第一手势相关时，为所述第一空间位置分配第一命令。
8.根据权利要求7所述的设备，其中所述识别单元还被配置成：
依照所述第一命令识别所述一组目标。
9.根据权利要求4所述的设备，其中所述识别单元还被配置成：
基于所述第一空间位置与对应于所述第一参考点的所述姿势信息的至少一个空间位置之间的比较，确定第一手势的特征。
10.根据权利要求9所述的设备，其中所述特征包括速度、位移或角位移中的至少一个。
11.根据权利要求9所述的设备，其中所述识别单元还被配置成：
至少基于所述第一手势的所述第一空间位置和所述特征来识别所述一组目标。
12.根据权利要求5所述的设备，其中所述识别单元还被配置成：
当所述第一空间位置不与所述第一手势相关时，为所述第一空间位置分配通用命令。
13.根据权利要求5所述的设备，其中所述确定单元还被配置成：
至少基于所述检索到的姿势信息，确定所述第二空间位置是否与第二手势相关。
14.根据权利要求13所述的设备，其中所述确定单元还被配置成：
将所述第二空间位置和与所述第二参考点相关的所述姿势信息进行比较；和
当所述第二空间位置对应于与所述第二参考点相关的所述姿势信息的空间位置中的至少一个时，确定所述第二空间位置与所述第二手势相关。
15.根据权利要求14所述的设备，其中所述选择单元还被配置成：
当所述第二空间位置与所述第二手势相关时，为所述第二空间位置分配第二命令。
16.根据权利要求15所述的设备，其中所述选择单元还被配置成：
至少基于所述第二命令选择所述已识别出的组中的所述目标。
17.根据权利要求1所述的设备，还包括：
成像单元，其被配置成捕获至少包括所述人体的所述第一部分和所述第二部分的图像。
18.根据权利要求17所述的设备，其中所述检索单元还被配置成：
处理所捕获的图像以识别所述第一空间位置和所述第二空间位置。
19.根据权利要求1所述的设备，还包括：
被配置成执行对应于所选择的目标的功能的单元。
20.一种计算机可执行的方法，所述方法用于界面的手势控制，所述方法包括：
接收与所述人体的第一部分相关的第一空间位置以及与所述人体的第二部分相关的第二空间位置；
至少基于所述第一空间位置来识别一组目标；以及
至少基于所述第二空间位置，来使用处理器选择所述已识别出的组中的目标。
21.一种存储程序的非暂态计算机可读的存储介质，当通过处理器执行所述程序时，所述程序使处理器执行用于界面的手势控制的方法，其包括：
接收与所述人体的第一部分相关的第一空间位置以及与所述人体的第二部分相关的第二空间位置；
至少基于所述第一空间位置来识别一组目标；以及
至少基于所述第二空间位置来选择已识别出的组中的目标。
CN201180025757.0A 2010-06-01 2011-05-25 信息处理设备和方法 Expired - Fee Related CN102906670B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010125967A JP2011253292A (ja) 2010-06-01 2010-06-01 情報処理装置および方法、並びにプログラム
JP2010-125967 2010-06-01
PCT/JP2011/002913 WO2011151997A1 (en) 2010-06-01 2011-05-25 Information processing apparatus and method and program

Publications (2)

Publication Number Publication Date
CN102906670A true CN102906670A (zh) 2013-01-30
CN102906670B CN102906670B (zh) 2015-11-25

Family

ID=45066390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180025757.0A Expired - Fee Related CN102906670B (zh) 2010-06-01 2011-05-25 信息处理设备和方法

Country Status (7)

Country Link
US (1) US20130069867A1 (zh)
EP (1) EP2577426B1 (zh)
JP (1) JP2011253292A (zh)
CN (1) CN102906670B (zh)
BR (1) BR112012029938A2 (zh)
RU (1) RU2012150277A (zh)
WO (1) WO2011151997A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295029A (zh) * 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
CN105094319A (zh) * 2015-06-30 2015-11-25 北京嘿哈科技有限公司 一种屏幕操控方法及装置
CN105701442A (zh) * 2014-12-15 2016-06-22 黄安琪 乘客拦车提示方法与装置
CN110349180A (zh) * 2019-07-17 2019-10-18 深圳前海达闼云端智能科技有限公司 人体关节点预测方法及装置、动作类型识别方法及装置
CN112149466A (zh) * 2019-06-28 2020-12-29 富士通株式会社 手臂动作识别方法、装置及图像处理设备

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349040B2 (en) * 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
JP6106921B2 (ja) * 2011-04-26 2017-04-05 株式会社リコー 撮像装置、撮像方法および撮像プログラム
TW201328340A (zh) * 2011-12-27 2013-07-01 Hon Hai Prec Ind Co Ltd 乘客攔車提示系統及方法
WO2014002803A1 (ja) * 2012-06-25 2014-01-03 オムロン株式会社 モーションセンサ、物体動作検知方法及び遊技機
US10591998B2 (en) 2012-10-03 2020-03-17 Rakuten, Inc. User interface device, user interface method, program, and computer-readable information storage medium
WO2014054718A1 (ja) 2012-10-03 2014-04-10 楽天株式会社 ユーザインタフェース装置、ユーザインタフェース方法、プログラム及びコンピュータ可読情報記憶媒体
US20150261301A1 (en) * 2012-10-03 2015-09-17 Rakuten, Inc. User interface device, user interface method, program, and computer-readable information storage medium
KR101956073B1 (ko) * 2012-12-20 2019-03-08 삼성전자주식회사 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
KR20140136303A (ko) * 2013-05-20 2014-11-28 삼성전자주식회사 하이브리드 신체 인식을 위한 장치 및 방법
US10141930B2 (en) 2013-06-04 2018-11-27 Nvidia Corporation Three state latch
TWI506461B (zh) * 2013-07-16 2015-11-01 Univ Nat Taiwan Science Tech 人體動作的辨識方法與裝置
US9582737B2 (en) * 2013-09-13 2017-02-28 Qualcomm Incorporated Context-sensitive gesture classification
KR102120864B1 (ko) 2013-11-06 2020-06-10 삼성전자주식회사 영상 처리 방법 및 장치
EP3090382B1 (en) * 2014-01-05 2023-08-30 ManoMotion AB Real-time 3d gesture recognition and tracking system for mobile devices
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
JP2016095795A (ja) 2014-11-17 2016-05-26 株式会社東芝 認識装置、方法、及びプログラム
CN105979330A (zh) * 2015-07-01 2016-09-28 乐视致新电子科技（天津）有限公司 体感按键的定位方法及装置
JP6483556B2 (ja) * 2015-07-15 2019-03-13 株式会社東芝 操作認識装置、操作認識方法及びプログラム
JP2017211884A (ja) * 2016-05-26 2017-11-30 トヨタ紡織株式会社 動き検出システム
US11483522B2 (en) * 2016-12-14 2022-10-25 Ford Global Technologies, Llc Door control systems and methods
JP7004218B2 (ja) * 2018-05-14 2022-01-21 オムロン株式会社 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
JP7091983B2 (ja) * 2018-10-01 2022-06-28 トヨタ自動車株式会社 機器制御装置
US10739864B2 (en) * 2018-12-31 2020-08-11 International Business Machines Corporation Air writing to speech system using gesture and wrist angle orientation for synthesized speech modulation
JP7287600B2 (ja) 2019-06-26 2023-06-06 株式会社Ｎｔｔドコモ 情報処理装置
JP2022181937A (ja) * 2021-05-27 2022-12-08 いすゞ自動車株式会社 情報処理装置
CN114185429B (zh) * 2021-11-11 2024-03-26 杭州易现先进科技有限公司 手势关键点定位或姿态估计的方法、电子装置和存储介质
CN114783037B (zh) * 2022-06-17 2022-11-22 浙江大华技术股份有限公司 目标重识别方法、目标重识别装置和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000296219A (ja) * 2000-01-01 2000-10-24 Samii Kk 遊技機
CN1320854A (zh) * 2000-04-21 2001-11-07 索尼公司 信息处理装置、显示方法、通知方法、及程序存储媒体
CN1783110A (zh) * 2004-11-26 2006-06-07 奥西-技术有限公司 用于操作的桌面扫描
CN101131609A (zh) * 2006-08-25 2008-02-27 株式会社东芝 接口装置和接口方法
CN101460908A (zh) * 2006-06-02 2009-06-17 苹果公司 用于对便携式电子设备进行交互式输入的技术
US20100060570A1 (en) * 2006-02-08 2010-03-11 Oblong Industries, Inc. Control System for Navigating a Principal Dimension of a Data Space

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029621A (ja) 1998-07-10 2000-01-28 Sony Corp コンピュータ装置
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US20050215319A1 (en) * 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7598942B2 (en) * 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US9052970B2 (en) * 2008-04-24 2015-06-09 Oblong Industries, Inc. Multi-process interactive systems and methods
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
JP2008146243A (ja) 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
CN101842810B (zh) * 2007-10-30 2012-09-26 惠普开发有限公司 具有协作姿态检测的交互式显示系统
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
WO2010006087A1 (en) 2008-07-08 2010-01-14 David Seaberg Process for providing and editing instructions, data, data structures, and algorithms in a computer system
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000296219A (ja) * 2000-01-01 2000-10-24 Samii Kk 遊技機
CN1320854A (zh) * 2000-04-21 2001-11-07 索尼公司 信息处理装置、显示方法、通知方法、及程序存储媒体
CN1783110A (zh) * 2004-11-26 2006-06-07 奥西-技术有限公司 用于操作的桌面扫描
US20100060570A1 (en) * 2006-02-08 2010-03-11 Oblong Industries, Inc. Control System for Navigating a Principal Dimension of a Data Space
CN101460908A (zh) * 2006-06-02 2009-06-17 苹果公司 用于对便携式电子设备进行交互式输入的技术
CN101131609A (zh) * 2006-08-25 2008-02-27 株式会社东芝 接口装置和接口方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295029A (zh) * 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
CN105701442A (zh) * 2014-12-15 2016-06-22 黄安琪 乘客拦车提示方法与装置
CN105701442B (zh) * 2014-12-15 2019-12-03 孟圣慧 乘客拦车提示方法与装置
CN105094319A (zh) * 2015-06-30 2015-11-25 北京嘿哈科技有限公司 一种屏幕操控方法及装置
CN105094319B (zh) * 2015-06-30 2018-09-18 北京嘿哈科技有限公司 一种屏幕操控方法及装置
CN112149466A (zh) * 2019-06-28 2020-12-29 富士通株式会社 手臂动作识别方法、装置及图像处理设备
CN110349180A (zh) * 2019-07-17 2019-10-18 深圳前海达闼云端智能科技有限公司 人体关节点预测方法及装置、动作类型识别方法及装置
CN110349180B (zh) * 2019-07-17 2022-04-08 达闼机器人有限公司 人体关节点预测方法及装置、动作类型识别方法及装置

Also Published As

Publication number Publication date
CN102906670B (zh) 2015-11-25
EP2577426A4 (en) 2016-03-23
US20130069867A1 (en) 2013-03-21
RU2012150277A (ru) 2014-05-27
BR112012029938A2 (pt) 2016-09-20
JP2011253292A (ja) 2011-12-15
EP2577426B1 (en) 2019-12-11
EP2577426A1 (en) 2013-04-10
WO2011151997A1 (en) 2011-12-08

Similar Documents

Publication Publication Date Title
CN102906670B (zh) 信息处理设备和方法
WO2017152794A1 (en) Method and device for target tracking
EP1768058B1 (en) Information processing apparatus and control method therefor
US20170154470A1 (en) Virtual fitting implementation method and device
TW201638816A (zh) 人機識別方法及裝置、行為特徵資料的採集方法及裝置
Ramakers et al. Carpus: a non-intrusive user identification technique for interactive surfaces
Wei et al. Recognizing people’s identity in construction sites with computer vision: A spatial and temporal attention pooling network
CN103294257B (zh) 对于手写识别用于引导手写输入的装置和方法
Huang et al. Deepfinger: A cascade convolutional neuron network approach to finger key point detection in egocentric vision with mobile camera
CN103793683B (zh) 手势辨识方法与电子装置
CN104246824A (zh) 生物体认证装置、生物体认证方法以及生物体认证用计算机程序
CN107273869B (zh) 手势识别控制方法和电子设备
CN106030610A (zh) 移动设备的实时3d姿势识别和跟踪系统
CN105912126A (zh) 一种手势运动映射到界面的增益自适应调整方法
Wang et al. Immersive human–computer interactive virtual environment using large-scale display system
Panwar Hand gesture based interface for aiding visually impaired
Jia et al. Real‐time hand gestures system based on leap motion
Wang et al. A new hand gesture recognition algorithm based on joint color-depth superpixel earth mover's distance
Badi et al. New method for optimization of static hand gesture recognition
CN107450717A (zh) 一种信息处理方法及穿戴式设备
Appenrodt et al. Multi stereo camera data fusion for fingertip detection in gesture recognition systems
Dhamanskar et al. Human computer interaction using hand gestures and voice
Siam et al. Human computer interaction using marker based hand gesture recognition
JP7048534B2 (ja) 画像検索装置、画像検索方法、およびプログラム
CN113807191A (zh) 一种非侵入式可视化测试脚本自动录制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20200525