CN107533363B - 手势识别装置、手势识别方法以及信息处理装置 - Google Patents

手势识别装置、手势识别方法以及信息处理装置 Download PDF

Info

Publication number
CN107533363B
CN107533363B CN201680022114.3A CN201680022114A CN107533363B CN 107533363 B CN107533363 B CN 107533363B CN 201680022114 A CN201680022114 A CN 201680022114A CN 107533363 B CN107533363 B CN 107533363B
Authority
CN
China
Prior art keywords
gesture
body part
motion
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680022114.3A
Other languages
English (en)
Other versions
CN107533363A (zh
Inventor
神谷雅志
中村雄大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN107533363A publication Critical patent/CN107533363A/zh
Application granted granted Critical
Publication of CN107533363B publication Critical patent/CN107533363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供能够迅速识别用户的手势的手势识别装置、手势识别方法以及信息处理装置。手势识别装置(1)具有：动作信息生成部(10)，其进行用户的身体部位的检测和追踪而生成身体部位动作信息；预测处理部(20)，其进行对生成的身体部位动作信息与预先存储的手势事先动作模型信息(PGM)进行比较的第1比较，根据第1比较的结果生成与手势事先动作(PG)有关的预测结果(PRG)；以及识别处理部(30)，其进行对生成的身体部位动作信息与预先存储的手势模型信息(GM)进行比较的第2比较，根据所述预测结果(PGR)和第2比较的结果生成检测出的身体部位的动作所示的手势的识别结果(GR)。

Description

手势识别装置、手势识别方法以及信息处理装置
技术领域
本发明涉及迅速识别用户的手势的手势识别装置、手势识别方法以及包含所述手势识别装置的信息处理装置。
背景技术
近年来，通过用户的身体的移动和形状(手势)对设备进行操作的手势UI(UserInterface：用户接口)被应用到各种设备。手势UI多用于游戏娱乐设备，但最近还用于广播接收机、PC(Personal Computer：个人计算机)、汽车导航系统以及信息通信终端等的各种设备。
手势UI利用用户的手势来对设备进行操作。手势UI识别的手势例如包含用户的身体的一部分的移动和形状(手的移动和形状、手指的移动和形状等)以及用户的整个身体的移动和形状。手势UI通过摄像机等摄像装置取得用户的摄像数据(图像数据)，根据多帧的帧图像(摄像数据)对用户的手势进行识别，将与识别出的手势对应的信息作为用户操作输入信号(控制信号)发送给设备(控制对象)。在采用手势UI的设备中，由于根据用户的手势控制设备的动作，因此用户能够感受到良好的操作性。
专利文献1记载有如下内容：检测用户的手开始在某一方向以某一速度以上的速度移动、用户的手持续移动以及用户的手停止移动或者用户的手的移动被切换成相反方向的移动，然后开始用户执行的手势(例如被称作“挥击”的在某一方向晃动手的动作)的识别处理。
现有技术文献
专利文献
专利文献1：国际公开第2010/095204号
发明内容
发明要解决的课题
然而，在专利文献1记载的方法中，在检测出手势开始、手势持续以及手势结束后，开始手势的识别处理，在该识别处理结束后，控制对象设备执行基于手势识别处理结果的处理(例如显示画面的切换)。这样，由于以往是在用户的手势结束后开始手势的识别处理，因此存在从手势开始到控制对象设备开始执行处理为止的时间较长这样的问题。换言之，存在控制对象设备对基于用户手势的输入操作的动作反应迟缓这样的问题。
因此，本发明正是为了解决上述现有技术的课题而完成的，其目的在于，提供能够迅速识别用户的手势的手势识别装置、手势识别方法以及包含所述手势识别装置的信息处理装置。
用于解决课题的手段
本发明的手势识别装置的特征在于，该手势识别装置具有：动作信息生成部，其根据在拍摄用户而取得的多帧摄像数据的每帧摄像数据中，进行所述用户的身体部位的检测和追踪而得到的所述身体部位的动作来生成身体部位动作信息；预测处理部，其预先存储表示与在手势的紧前进行的手势事先动作有关的用户的身体部位的基准动作的手势事先动作模型信息，进行对由所述动作信息生成部生成的所述身体部位动作信息与所述手势事先动作模型信息进行比较的第1比较，根据所述第1比较的结果生成与由所述动作信息生成部检测出的所述身体部位的动作所示的手势事先动作有关的预测结果；以及识别处理部，其预先存储表示手势中的用户的身体部位的基准动作的手势模型信息，进行对由所述动作信息生成部生成的所述身体部位动作信息与所述手势模型信息进行比较的第2比较，根据所述预测结果和所述第2比较的结果生成由所述动作信息生成部检测出的所述身体部位的动作所示的手势的识别结果。
另外，本发明的手势识别方法是手势识别装置进行的手势识别方法，该手势识别装置预先存储表示与在手势的紧前进行的手势事先动作有关的用户的身体部位的基准动作的手势事先动作模型信息、和表示手势中的用户的身体部位的基准动作的手势模型信息，其特征在于，该手势识别方法包含以下步骤：动作信息生成步骤，根据在拍摄用户而取得的多帧摄像数据的每帧摄像数据中，进行所述用户的身体部位的检测和追踪而得到的所述身体部位的动作来生成身体部位动作信息；预测处理步骤，进行对在所述动作信息生成步骤中生成的所述身体部位动作信息与所述手势事先动作模型信息进行比较的第1比较，根据所述第1比较的结果生成与在所述动作信息生成步骤中检测出的所述身体部位的动作所示的手势事先动作有关的预测结果；以及识别处理步骤，进行对在所述动作信息生成步骤中生成的所述身体部位动作信息与所述手势模型信息进行比较的第2比较，根据所述预测结果和所述第2比较的结果生成在所述动作信息生成步骤中检测出的所述身体部位的动作所示的手势的识别结果。
另外，本发明的信息处理装置的特征在于，该信息处理装置具有：上述手势识别装置；摄像装置，其向所述手势识别装置发送所述摄像数据；以及控制对象设备，根据所述手势的识别结果来控制该控制对象设备。
发明效果
在本发明中，根据在手势开始的紧前执行的手势事先动作，预测紧接着手势事先动作执行的手势，使用该预测的结果执行手势的识别处理。因此，在本发明中，能够从手势开始前的时刻开始手势的识别处理，并且能够在手势结束前的时刻结束手势的识别处理。因此，根据本发明，能够缩短从手势开始到输出与手势对应的控制信号为止的时间，其结果是，能够缩短从手势开始到控制对象设备开始动作为止的时间。
附图说明
图1是示出能够应用本发明的信息处理装置的结构的一例的概略图。
图2是示出能够应用本发明的信息处理装置的结构的另一例的概略图。
图3是概略地示出本发明的第1实施方式的手势识别装置的结构的框图。
图4是示出第1实施方式的手势识别装置的身体部位检测阶段的流程图。
图5是示出第1实施方式的手势识别装置的身体部位追踪阶段的流程图。
图6是示出第1实施方式的手势识别装置的手势预测阶段的流程图。
图7是示出第1实施方式的手势识别装置的手势识别阶段的流程图。
图8的(a)和(b)是示出第1实施方式的手势识别装置的身体部位检测处理(身体部位检测阶段)的一例的图。
图9的(a)～(f)是示出第1实施方式的手势识别装置的身体部位追踪处理(身体部位追踪阶段)的一例的图。
图10是示出由第1实施方式的手势识别装置处理的身体部位动作信息的一例的图。
图11的(a)～(f)是示出第1实施方式的手势识别装置检测的手势事先动作的一例的图。
图12是示出第1实施方式的手势识别装置预先存储的手势事先动作模型信息的一例的图。
图13的(a)～(f)是示出第1实施方式的手势识别装置检测的手势事先动作的一例的图，(g)～(k)是示出第1实施方式的手势识别装置检测的手势的一例的图。
图14是在时间轴上示出第1实施方式的手势识别装置的手势事先动作的开始时刻、手势事先动作的结束时刻(手势的开始时刻)、手势的结束时刻以及手势识别处理的结束时刻的图。
图15的(a)～(f)是示出第1实施方式的手势识别装置检测的手势的紧前的手势事先动作的另一例(形成左手的手掌张开的状态的例子)的图。
图16的(a)～(f)是示出第1实施方式的手势识别装置检测的手势的紧前的手势事先动作的又一例(形成左手的1根手指突出的状态的例子)的图。
图17是概略地示出本发明的第2实施方式的手势识别装置的结构的框图。
图18是概略地示出本发明的第3实施方式的手势识别装置的结构的框图。
图19是示出本发明的第1实施方式～第3实施方式的变形例的硬件结构图。
具体实施方式
图1是概略地示出能够应用本发明的信息处理装置的结构的一例的图。图1所示的信息处理装置具有手势识别装置1、与手势识别装置1连接的作为摄像装置的摄像机4以及与手势识别装置1连接的作为图像显示部的显示器5。在图1中，由手势识别装置1和摄像机4构成手势UI。手势识别装置1使用由拍摄用户U的摄像机4生成的多帧的帧图像(摄像数据)，识别用户U执行的手势事先动作(手势预备动作)PG和手势，显示器5进行与该识别的结果对应的图像显示。在图1的信息处理装置中，作为手势识别装置1，可以采用以下说明的第1实施方式～第3实施方式以及变形例中的手势识别装置。
图2是概略地示出能够应用本发明的信息处理装置的结构的另一例的图。图2所示的信息处理装置具有具备作为图像显示部的显示器的手势识别装置7以及与手势识别装置7连接的作为摄像装置的摄像机4。在图2中，由手势识别装置7和摄像机4构成手势UI。手势识别装置7使用由拍摄用户U的摄像机4生成的多帧的帧图像(摄像数据)，识别用户U执行的手势事先动作PG和手势，显示器进行与该识别的结果对应的图像显示。图2的信息处理装置除了手势识别装置7具有显示器这一点以外，与图1的信息处理装置相同。
第1实施方式
图3是概略地示出本发明的第1实施方式的手势识别装置1的结构的框图。手势识别装置1是能够实施第1实施方式的手势识别方法的装置。在第1实施方式中，图1所示的摄像机4和显示控制部51与手势识别装置1连接，显示信息存储部52和作为控制对象设备的显示器5经由显示控制部51与手势识别装置1连接。在图3中示出包含手势识别装置1的信息处理装置。
如图3所示，手势识别装置1是识别(确定)用户执行的手势并输出与手势对应的信号(控制信号)的装置。如图3所示，手势识别装置1具有动作信息生成部10、预测处理部20以及识别处理部30。另外，手势识别装置1具有设备控制部41，该设备控制部41将基于用户执行的手势的信号发送给作为控制对象设备的显示器5的显示控制部51。
动作信息生成部10根据在由摄像机4拍摄用户而取得的多帧的帧图像数据(也称作“帧图像”或“摄像数据”)的每帧图像数据中，进行用户的身体部位的检测和追踪而得到的身体部位的动作来生成身体部位动作信息。
预测处理部20预先存储表示在手势的紧前进行的手势事先动作PG中的用户的身体部位的动作的手势事先动作模型信息PGM。预测处理部20进行对由动作信息生成部10生成的身体部位动作信息与手势事先动作模型信息PGM进行比较的第1比较，根据第1比较的结果识别(确定)由动作信息生成部10检测出的身体部位的动作所示的手势事先动作PG。预测处理部20通过识别在手势的紧前进行的手势事先动作PG，能够在手势的开始时刻(后述的图14的时刻t2)之前，对预计将要进行的手势进行预测。设备控制部41能够在由预测处理部20识别出手势事先动作PG之后，输出与预计将要进行的手势对应的控制信号。
识别处理部30预先存储表示手势中的用户的身体部位的动作的手势模型信息GM。识别处理部30进行对由动作信息生成部10生成的身体部位动作信息与手势模型信息GM进行比较的第2比较，根据第2比较的结果确定由动作信息生成部10检测出的身体部位的动作所示的手势。设备控制部41在由识别处理部30确定出手势的情况下，输出与确定出的手势对应的控制信号。在能够识别出在手势的紧前进行的手势事先动作PG的情况下，识别处理部30能够在较早的时刻开始与预测出的手势对应的处理(在后述的图14的时刻t2之前)，能够在较早的时刻(后述的图14的时刻t3)结束手势的识别处理。
在图3中，动作信息生成部10例如具有摄像控制部11、摄像数据存储部12、身体部位检测部13、身体部位追踪部14、身体部位动作信息生成部15以及身体部位动作信息存储部16。在图3中，预测处理部20例如具有手势事先动作模型存储部(第1存储部)21、手势事先动作预测部22以及手势事先动作预测结果存储部23。在图3中，识别处理部30例如具有手势识别部31和手势模型存储部(第2存储部)32。在图3所示的信息处理装置中，手势识别装置1连接着摄像机4、显示器5、显示控制部51以及显示信息存储部52。显示器5、显示控制部51以及显示信息存储部52构成显示装置。在附图中示出1台摄像机4，但也可以连接多台摄像机。
在第1实施方式中，关于通过由摄像机4进行拍摄而取得的摄像数据即帧图像FI中包含的1名用户U，将左手作为身体部位进行检测，根据左手的动作对用户执行的手势进行识别(认识)。左手的检测例如是手掌区域的重心位置的检测或指尖位置的检测等这样的左手的特定位置的检测。在第1实施方式中，对手势识别装置1识别的手势是左手进行的被称作“右挥击”的手势的情况进行说明。“右挥击”是指用户将手(或胳膊)朝右方晃动的动作。此时的“右方”是用户U朝向摄像机4时“右”的方向。因此，在由摄像机4拍摄用户U执行将左手朝右方晃动的“右挥击”的样子，且按时间序列顺序观察到多帧的帧图像FI时，观察多个帧图像FI的人在显示器上观察到的是用户U的手向观察显示器的人的左方移动的视频。
摄像机4在从摄像控制部11接收到表示拍摄开始的控制信号时，开始动态图像拍摄(或者连续的多个静态图像的拍摄)，摄像机4在从摄像控制部11接收到表示拍摄结束的控制信号时，结束动态图像拍摄(或者连续的多个静态图像的拍摄)。
摄像控制部11向摄像机4发送表示拍摄开始或拍摄结束的控制信号，接收通过摄像机4的拍摄而得到的摄像数据即帧图像FI。摄像数据存储部12从摄像控制部11接收作为摄像数据的帧图像FI，将帧图像FI与其帧编号FN一起进行存储。摄像数据存储部12中存储的帧图像FI和帧编号FN由身体部位检测部13和身体部位追踪部14读出。
身体部位检测部13从摄像数据存储部12取得作为摄像数据的帧图像FI与其帧编号FN。身体部位检测部13向身体部位动作信息存储部16发送已取得的帧图像FI中包含的用户的左手的坐标LHP以及已取得的帧图像FI的帧编号FN。
身体部位追踪部14从摄像数据存储部12读出并取得帧图像FI与其帧编号FN。另外，身体部位追踪部14从身体部位动作信息存储部16取得前1帧的帧图像FI(-1)中的左手的坐标LHP(-1)。另外，身体部位追踪部14向身体部位动作信息生成部15发送前1帧的帧图像FI(-1)的左手的坐标LHP(-1)和本次的帧图像FI(0)中的左手的坐标LHP(0)。另外，身体部位追踪部14向身体部位动作信息存储部16发送删除存储着的身体部位动作信息150的控制信号。
身体部位动作信息生成部15从身体部位追踪部14取得前1帧的帧图像FI(-1)中的左手的坐标LHP(-1)和本次的帧图像FI(0)中的左手的坐标LHP(0)，将身体部位动作信息150发送给身体部位动作信息存储部16。
身体部位动作信息存储部16从身体部位检测部13取得左手的坐标LHP和帧编号FN并对它们进行存储。另外，身体部位动作信息存储部16从身体部位动作信息生成部15取得身体部位动作信息150并存储身体部位动作信息150。身体部位动作信息存储部16中存储的前1帧的帧图像FI(-1)中的左手的坐标LHP(-1)由身体部位追踪部14读出。另外，身体部位动作信息存储部16在从身体部位追踪部14接收到删除存储着的身体部位动作信息150的控制信号时，对删除对象信息进行删除。另外，身体部位动作信息存储部16中存储的身体部位动作信息150(例如后述的图10所示)由手势事先动作预测部22读出。另外，身体部位动作信息存储部16中存储的身体部位动作信息150由手势识别部31读出。
手势事先动作模型存储部21存储手势事先动作模型信息PGM。另外，手势事先动作模型存储部21中存储的手势事先动作模型信息PGM由手势事先动作预测部22读出。
手势事先动作预测部22从身体部位动作信息存储部16取得身体部位动作信息150。另外，手势事先动作预测部22从手势事先动作模型存储部21取得手势事先动作模型信息PGM。另外，手势事先动作预测部22向手势事先动作预测结果存储部23发送手势事先动作预测结果PGR。
手势事先动作预测结果存储部23从手势事先动作预测部22取得手势事先动作预测结果PGR并对其进行存储。另外，手势事先动作预测结果存储部23向手势识别部31发送手势事先动作预测结果PGR。
手势识别部31从身体部位动作信息存储部16取得身体部位动作信息150。另外，手势识别部31从手势事先动作预测结果存储部23取得手势事先动作预测结果PGR。另外，手势识别部31从手势模型存储部32取得手势模型信息GM。另外，手势识别部31向设备控制部41发送手势识别结果GR。
手势模型存储部32存储手势模型信息GM。另外，手势模型存储部32的手势模型信息GM由手势识别部31读出。
设备控制部41从手势识别部31接收手势识别结果GR。另外，设备控制部41向显示控制部51发送指示执行与手势识别结果GR对应的设备动作的控制信号。
显示控制部51从设备控制部41接收指示执行设备动作的控制信号。另外，显示控制部51从显示信息存储部52取得用于显示在显示器5上的显示数据，使显示器5显示与该显示数据对应的图像。
显示器5从显示控制部51接收显示数据，显示基于该显示数据的图像。
图4是示出第1实施方式的手势识别装置1的手势识别处理的身体部位检测阶段S1的流程图。图5是示出第1实施方式的手势识别装置1的手势识别处理的身体部位追踪阶段S2的流程图。图6是示出第1实施方式的手势识别装置1的手势识别处理的手势预测阶段S3的流程图。图7是示出第1实施方式的手势识别装置1的手势识别处理的手势识别阶段S4的流程图。
使用图4对身体部位检测阶段S1的处理进行说明。首先，在摄像数据存储部12中蓄积有还没有执行身体部位检测处理的新的帧图像FI的情况下(图4的步骤S11中为是)，身体部位检测部13从摄像数据存储部12读出还没有执行身体部位检测处理的新的帧图像FI与其帧编号FN(图4的步骤S12)。在摄像数据存储部12中没有蓄积还没有进行身体部位检测处理的新的帧图像FI的情况下(图4的步骤S11中为否)，身体部位检测部13不进行身体部位检测阶段S1中的处理而进行待机，直到在摄像数据存储部12中蓄积还没有进行身体部位检测处理的新的帧图像FI为止。
摄像数据存储部12蓄积作为摄像数据的帧图像FI时，不仅存储构成1帧的帧图像的像素的像素值，而且存储为了确定帧而按照每个帧附加的帧编号FN。帧编号FN被分配给摄像机4拍摄到的每个帧图像FI。例如，设最初拍摄到的帧图像FI的帧编号FN为“FN＝0”，设此后依次拍摄到的帧图像FI的帧编号FN分别为“FN＝1”、“FN＝2”、……这样地每次增加1的值。当身体部位检测部13判定在摄像数据存储部12中是否蓄积有最新的帧图像FI时，身体部位检测部13对进行了上次的身体部位检测处理的帧图像FI的帧编号FN与摄像数据存储部12中存储的帧编号FN进行比较，检查存储着的帧编号FN是否比进行了上次的身体部位检测处理的帧图像FI的帧编号FN增加了1以上。在帧编号FN增加了1以上的情况下，身体部位检测部13从摄像数据存储部12读出新的帧图像FI与其帧编号FN(图4的步骤S12)。
图8的(a)和(b)是示出第1实施方式的手势识别装置1的身体部位检测处理(身体部位检测阶段S1)的一例的图。图8的(a)示出输入到手势识别装置1的摄像数据(输入图像)，图8的(b)示出左手LH的检测结果。身体部位检测部13在图8的(a)所示的、从摄像数据存储部12读出的多个帧图像FI中，如图8的(b)所示对左手LH进行检测(图4的步骤S13)。根据摄像数据将手等身体的特定部位作为对象进行检测的方法是公知的，身体部位检测部13能够自由地选择身体部位的检测方法。
在能够检测出左手的坐标LHP的情况下(图4的步骤S14中为是)，身体部位检测部13将检测出的左手的坐标LHP和帧编号FN发送给身体部位动作信息存储部16。身体部位动作信息存储部16从身体部位检测部13接收左手的坐标LHP和帧编号FN并对它们进行存储(图4的步骤S15)。另一方面，在无法检测出左手的坐标LHP的情况下(图4的步骤S14中为否)，身体部位检测部13进行待机，直到在摄像数据存储部12中再次蓄积新的帧图像FI为止。
在能够检测出左手的坐标LHP的情况下，当在摄像数据存储部12中蓄积有新的帧图像FI时，执行图5所示的身体部位追踪阶段S2。即，不是身体部位检测部13而是身体部位追踪部14读出帧图像FI和帧编号FN并执行追踪处理。
如图5所示，在摄像数据存储部12蓄积有没有进行身体部位追踪处理的新的帧图像FI的情况下(图5的步骤S21中为是)，身体部位追踪部14从摄像数据存储部12读出并取得该新的帧图像FI与其帧编号FN(图5的步骤S22)。在摄像数据存储部12没有蓄积新的帧图像FI的情况下(在图5的步骤S21中为否)，身体部位追踪部14不进行以后的身体部位追踪处理而进行待机，直到蓄积新的帧图像FI为止。
图9的(a)～(f)是示出第1实施方式的手势识别装置1的身体部位追踪处理(身体部位追踪阶段S2)的一例的图。图9的(a)～(c)是基于摄像数据的各帧的帧图像(输入图像)，图9的(d)～(f)是用星形标志分别示出图9的(a)～(c)中的左手LH的位置的图。身体部位追踪部14在如图9的(a)～(c)所示从摄像数据存储部12读出的多个帧图像FI中，如图9的(d)～(f)所示执行左手LH的追踪(图5的步骤S23)。具体地，身体部位追踪部14从身体部位动作信息存储部16取得前1帧的帧图像FI(-1)中的左手的坐标LHP(-1)，根据其周边坐标检测最新的帧图像FI(0)中的左手LH。这样，当在最新的帧图像FI(0)中检测出的左手LH存在于前1帧的帧图像FI(-1)中的左手的坐标LHP(-1)附近的情况下，可以采用假设是作为同一身体部位的左手LH来进行追踪的方法。追踪作为同一身体部位的左手LH的方法是使用基于亮度分布的特征量进行追踪的方法等的公知方法。身体部位追踪部14能够从公知方法中自由地选择身体部位的追踪方法。
在左手的追踪成功的情况下(图5的步骤S24中为是)，身体部位追踪部14向身体部位动作信息生成部15发送前1帧的帧图像FI(-1)中的左手的坐标LHP(-1)和本次的帧图像FI(0)中的左手的坐标LHP(0)。
另一方面，在左手的追踪失败的情况下(图5的步骤S24中为否)，身体部位追踪部14向身体部位动作信息存储部16发送指示删除在判断为追踪失败的时刻之前存储的身体部位动作信息150的控制信号。接收到该控制信号的身体部位动作信息存储部16按照接收到的控制信号的指示，删除存储着的身体部位动作信息150(图5的步骤S27)。在追踪失败的情况下，对下一个帧图像FI执行身体部位检测阶段S1的处理(处理从图5的A转移到图4的A)。
在身体部位追踪部14进行的追踪成功的情况下(图5的步骤S24中为是)，身体部位动作信息生成部15从身体部位追踪部14取得前1帧的帧图像FI(-1)中的左手的坐标LHP(-1)和本次的帧图像FI(0)中的左手的坐标LHP(0)，根据这些左手的坐标LHP生成图10所示的身体部位动作信息150(图5的步骤S25)。
图10是示出由第1实施方式的手势识别装置1处理的身体部位动作信息的一例的图。如图10所示，身体部位动作信息150包含帧编号FN、身体部位坐标BPP(xy坐标位置)、身体部位动作量BPM(动作量mag)以及身体部位动作方向BPD(相对于基准方向的角度dir(单位：度))。身体部位动作信息150被存储到身体部位动作信息存储部16中。
身体部位动作信息生成部15将这样生成的身体部位动作信息150发送给身体部位动作信息存储部16。身体部位动作信息存储部16存储身体部位动作信息150(步骤S26)。
如图6所示，在手势预测阶段S3中，在身体部位动作信息存储部16中存储有身体部位动作信息150的情况下(图6的步骤S31中为是)，手势事先动作预测部22从身体部位动作信息存储部16读出身体部位动作信息150(图6的步骤S32)。在身体部位动作信息存储部16中没有存储身体部位动作信息150的情况下(图6的步骤S31中为否)，手势事先动作预测部22进行待机，直到在身体部位动作信息存储部16中存储身体部位动作信息150为止。
手势事先动作预测部22从身体部位动作信息存储部16读出身体部位动作信息150，从手势事先动作模型存储部21读出预先存储的手势事先动作模型信息PGM(图6的步骤S33)。
图11的(a)～(f)是示出第1实施方式的手势识别装置1检测的手势事先动作PG的一例的图。在用户U用左手LH执行右挥击作为手势的情况下，最初按照图11的(a)～(f)的顺序执行使用户U的左手LH向用户的左上方(在图11的(a)～(f)中是向右上方)移动的动作(上挥动作)。这样，用户U在即将执行左手的右挥击的手势之前(在后述的图14的时刻t2之前)，有按照图11的(a)～(f)的顺序进行将手上挥的动作的倾向，将这样在实际的手势之前执行的身体部位的动作定义成手势事先动作PG。
图12是示出第1实施方式的手势识别装置1预先存储的手势事先动作模型信息PGM的一例的图。手势事先动作模型信息PGM是记载有与该手势事先动作PG有关的身体部位动作信息的身体部位事先动作信息151。如图12所示，手势事先动作模型信息PGM包含身体部位动作量BPM和身体部位动作方向BPD。
手势事先动作模型信息PGM中的身体部位动作量BPM和身体部位动作方向BPD的记载内容，被表示成事先收集到的、1人以上执行1次以上的右挥击之前的挥击事先动作中的左手的坐标LHP的动作量和动作方向的平均。即，在身体部位动作量BPM和身体部位动作方向BPD的记载内容，按照时间顺序记载有作为右挥击的事先动作平均是如何进行移动的。
手势事先动作预测部22计算从身体部位动作信息存储部16读出的身体部位动作信息150与从手势事先动作模型存储部21读出的手势事先动作模型信息PGM之间的相似度(第1相似度)。对于相似度，可以将各帧的身体部位动作量BPM和身体部位动作方向BPD作为向量，根据身体部位动作信息150和手势事先动作模型信息PGM，按照时间顺序求出向量彼此之间的欧式距离和相关系数，计算欧式距离的平均和相关系数的平均，将它们用作相似度。
相似度表示值越大则越相似。即使是彼此相似的2个动作，在2个动作各自所需的时间不同的情况下，也存在按照时间轴顺序一一对应地计算出的相似度较小的情况。例如用户U缓慢地进行将左手上挥的手势事先动作PG的情况。因此，在计算相似度时，也可以是，对身体部位动作信息150或手势事先动作模型信息PGM的身体部位动作量BPM和身体部位动作方向BPD，按照不同的间隔进行采样和比较。
并且，手势事先动作预测部22判定计算出的相似度是否在确定的阈值(第1阈值)MTH1以上。在计算出的相似度在阈值MTH1以上的情况下，手势事先动作预测部22预测用户U正在进行执行右挥击之前的手势事先动作PG即挥击事先动作，在计算出的相似度小于阈值MTH1的情况下，手势事先动作预测部22预测用户U没有进行执行右挥击之前的挥击事先动作。在预测出用户U正在进行执行右挥击之前的挥击事先动作的情况下，手势事先动作预测部22向手势事先动作预测结果存储部23发送表示该情况的手势事先动作预测结果PGR，手势事先动作预测结果存储部23存储该手势事先动作预测结果PGR。手势事先动作预测结果PGR例如可以是单纯的标记，只要在预测出用户U正在进行执行右挥击之前的挥击事先动作的情况下记载成“1”并进行存储等即可。
如图7所示，在手势识别阶段S4中，手势识别部31在身体部位动作信息存储部16中存储有身体部位动作信息150的情况下(图7的步骤S41中为是)，取得该身体部位动作信息150(图7的步骤S42)。在身体部位动作信息存储部16中没有存储身体部位动作信息150的情况下(图7的步骤S41中为否)，手势识别部31进行待机，直到在身体部位动作信息存储部16中存储身体部位动作信息150为止。
手势识别部31从身体部位动作信息存储部16读出身体部位动作信息150，从手势模型存储部32读出手势模型信息GM(图7的步骤S43)。
手势识别部31在手势事先动作预测结果存储部23中存储有手势事先动作预测结果PGR的情况下(图7的步骤S44中为是)，读出该手势事先动作预测结果PGR(图7的步骤S45)。在手势事先动作预测结果存储部23中没有存储手势事先动作预测结果PGR的情况下(图7的步骤S44中为否)，手势识别部31判定身体部位动作信息与作为手势动作模型的手势模型信息是否一致(图7的步骤S47)
手势识别部31在从手势事先动作预测结果存储部23读出手势事先动作预测结果PGR时，计算读出的身体部位动作信息150的全部帧的信息与手势模型信息GM的全部帧的信息之间的相似度，或者计算部分帧的信息与手势模型信息GM的部分帧的信息之间的相似度。
手势识别部31判定计算出的相似度(第2相似度)是否在阈值(第2阈值)MTH2以上，在阈值MTH2以上的情况下，手势识别部31识别出用户U正在执行(或者已执行)右挥击，在小于阈值MTH2的情况下，手势识别部31识别出用户U没有执行右挥击。在识别出用户U正在执行(或者已执行)右挥击的情况下，手势识别部31向设备控制部41发送手势识别结果GR(图7的步骤S46中为是)，在识别出没有执行右挥击的情况下，不进行任何动作(图7的步骤S46中为否)。
实际将多名被测者验证为用户U后，可以将一边使左手LH向左斜上方进行动作一边上挥而向右方甩动的动作，确认为用左手LH执行右挥击时的手势事先动作PG。因此，在手势事先动作预测部22预测出该上挥动作后，如果手势识别部31能够识别出用户U已开始将左手LH向右方甩动，则即使是在手势结束之前(左手LH到达右方的最后位置之前)也能够识别出右挥击。
图13的(a)～(f)是示出第1实施方式的手势识别装置1检测的手势事先动作PG的一例的图，图13的(g)～(k)是示出第1实施方式的手势识别装置检测的手势的一例的图。根据图13的(a)～(f)所示的上挥动作，在图13的(g)～(k)所示的甩动动作之前的一系列动作中，只要能够识别甩动动作的前半段，就能够识别手势。
图14是示出第1实施方式的手势识别装置1的手势事先动作PG的开始时刻t1、手势事先动作PG的结束时刻(手势的开始时刻)t2、手势的结束时刻t4以及手势的识别处理的结束时刻t3的图。虽然存在手势事先动作PG的开始时刻t1、手势事先动作PG的结束时刻(手势开始时刻)t2以及手势的结束时刻t4，但只要能够这样地识别手势事先动作PG，在手势事先动作PG的结束时刻(手势开始时刻)t2与手势结束时刻t4之间的期间内，手势识别部31就能够向设备控制部41发送手势识别结果GR。
手势识别部31在没有从手势事先动作预测结果存储部23取得手势事先动作预测结果PGR的情况下，计算身体部位动作信息150的全部帧或部分帧的信息与手势模型信息GM的全部帧的信息之间的相似度(第2相似度)。手势模型信息GM记载有手势中的身体部位动作量BPM和身体部位动作方向BPD。
如图14所示，在无法识别出手势事先动作PG的情况下，根据手势事先动作PG的结束时刻(手势开始时刻)与手势结束时刻之间的左手LH的动作信息识别手势，在手势结束时刻以后，手势识别部31向设备控制部41发送手势识别结果GR。
通过以上这样，与不预测手势事先动作PG而只根据手势来进行手势识别的情况(在图14的时刻t5结束识别处理)相比，在能够预测出手势事先动作PG的情况下(在图14的时刻t3结束识别处理)，能够在短时间内进行手势识别。
在能够预测出手势事先动作PG的情况下，虽然也可以只根据该手势事先动作预测结果PGR进行手势识别，但为了进一步提高识别率，优选的是在能够按照手势的最初部分进行识别后发送手势识别结果GR。
另外，通过预测手势事先动作PG，在手势模型存储部32存储有多种与手势相关的手势模型信息GM的情况下，能够缩减多种手势中的此后实际进行的可能性较高的手势，能够得到缩短识别时间的效果以及提高识别率的效果。并且，手势的种类越增加，效果越好。在存在多个识别对象手势的情况下，关于它们的手势模型信息GM，一般需要将其依次与身体部位动作信息150进行比较，但如果有手势事先动作预测结果PGR则不需要全部进行比较。即使在全部进行比较的情况下，由于能够根据手势事先动作预测结果PGR从可能性较高的手势开始依次进行比较，因此，识别时间的期待值与现有方法相比变短，因而是有利的。
设备控制部41从手势识别部31接收手势识别结果GR，向显示控制部51发送控制信号，使得信息处理装置100进行与该结果对应的设备动作。设备控制部41例如在每次识别右挥击时变更显示在显示器5上的图像。变更后的图像例如是存储在显示信息存储部52中的、存储有显示器5当前正在显示的图像的文件夹内的下一个图像(图像的顺序例如是根据文件名和制作日期的顺序确定的)。
为了执行这样的设备动作，从设备控制部41接收到控制信号的显示控制部51从显示信息存储部52读出要显示的信息，将其发送给显示器5使之显示图像。
在如上构成的手势识别装置1中，对于由用户U执行的手势，能够在手势结束的时刻(图14的时刻t4)之前(例如图14的时刻t3)结束识别，因此与以往(例如图14的时刻t5)相比，基于手势识别结果的设备控制能够较早进行。由此，能够缩短用户U感觉到的从手势执行到设备控制为止的时间滞后，能够实现对于用户U而言无压力的手势操作。
在第1实施方式中，将作为手势识别基础的摄像数据设为图像数据，但这并不是仅指能够利用可见光(作为颜色信号)进行拍摄的摄像机中的数据，也可以是通过利用红外线进行拍摄的摄像机的拍摄而得到的数据以及通过2个以上的摄像机的拍摄而得到的数据。另外，在利用能够测距的摄像机的情况下，身体部位检测部13会容易地进行身体部位检测。这例如是因为容易根据距离信息，识别图像数据中包含的人物和除此以外的内容(背景)。
在第1实施方式中，作为手势识别装置1能够识别的手势，对左手的右挥击的情况进行了说明，但本发明也可以应用于识别左手的左挥击、右手的左挥击、右手的左挥击、左手的上挥击、右手的上挥击、左手的下挥击以及右手的下挥击等其他手势的情况。
图15的(a)～(f)是示出第1实施方式的手势识别装置1检测的手势的紧前的手势事先动作PG(一边移动左手，一边慢慢打开手掌的动作)和手势(使左手的手掌呈打开状态的动作)的图。图16的(a)～(f)是示出第1实施方式的手势识别装置1检测的手势的紧前的手势事先动作PG(一边移动左手，一边慢慢伸开1根手指的动作)和手势(使左手的1根手指呈伸开状态的动作)的图。如图15的(e)和(f)所示，本发明能够应用的手势也可以是使手掌呈打开状态的动作。另外，如图16的(e)和(f)所示，本发明能够应用的手势也可以是使1根手指伸开而指示某物的状态的动作。在这种情况下，如图15的(a)～(d)以及图16的(a)～(d)所示，手势识别装置1能够将在举手时手的形状慢慢发生变化的动作识别为手势事先动作PG。
在第1实施方式中，手势事先动作预测部22预测用户U是否执行了手势事先动作PG，在执行了手势事先动作PG的情况下，向手势事先动作预测结果存储部23发送表示该情况的手势事先动作预测结果PGR。手势事先动作预测结果存储部23存储手势事先动作预测结果PGR。
另外，手势事先动作预测部22并不是只在用户U执行了手势事先动作PG的情况下才使手势事先动作预测结果存储部23存储手势事先动作预测结果PGR，也可以是使手势事先动作预测结果存储部23存储相似度计算结果本身作为手势事先动作预测概率PGPR。
另外，也可以是，手势识别部31从手势事先动作预测结果存储部23读出这样用概率表示的手势事先动作预测结果PGR，在计算身体部位动作信息150与手势模型信息GM之间的相似度时，根据该概率改变比较的帧数，变更(例如缩短)识别所需要的时间。换言之，也可以是，手势识别部31根据身体部位动作信息150与手势事先动作模型信息(手势事先动作预测结果PGR)之间的第1相似度，变更多帧摄像数据中的在第2比较中使用的摄像数据的时间(即，变更在第2比较中作为比较对象的摄像数据的量，从而变更与摄像数据对应的时间)。例如，在该手势事先动作预测概率PGPR较大的情况下，由于执行该手势的概率较高，因此在实际的手势中，当较少的最初几帧与手势模型信息GM一致时，手势识别部31识别为执行该手势。换言之，也可以是，当身体部位动作信息150与手势事先动作模型信息(手势事先动作预测结果PGR)之间的第1相似度在预先确定的第1阈值以上时，手势识别部31缩短多帧摄像数据中的在第2比较中使用的摄像数据的时间(即，减少在第2比较中作为比较对象的摄像数据的量来缩短与摄像数据对应的时间)。另一方面，在该手势事先动作预测概率PGPR较小的情况下，由于执行该手势的概率较低，因此在实际的手势中，当较多的最初几帧与手势模型信息GM一致时，手势识别部31识别为执行该手势。这样，例如即使进行与手势事先动作模型信息PGM稍有不同的左手LH的抬起而进行了右挥击，也能够识别该手势。
在第1实施方式中，作为手势识别装置1识别的手势说明了右挥击，但也可以是，将包含其他手势的多个手势同时作为识别对象。此时，使手势事先动作模型存储部21预先存储作为识别对象的手势的全部或者一部分的手势事先动作模型信息PGM。手势事先动作预测部22构成为能够预测这些手势事先动作PG，手势模型存储部32预先存储这些手势模型信息GM。另外，手势识别部31构成为识别这些手势，向设备控制部41发送用于执行与识别出的手势对应的设备控制的控制信号。通过这样的处理，用户U能够输入多种手势，能够执行各种设备控制。
另外，手势事先动作预测部22并不是只在用户U执行了手势事先动作PG的情况下才存储手势事先动作预测结果PGR，也可以是，使手势事先动作预测结果存储部23存储各手势中的相似度计算结果本身，作为手势事先动作预测概率PGPR。
另外，也可以是，手势识别部31从手势事先动作预测结果存储部23读出这样用概率表示的手势事先动作预测结果PGR，在计算身体部位动作信息150与手势模型信息GM之间的相似度时，通过根据该概率改变按照每个手势进行比较的帧数等来缩短识别所需要的时间。这样，无论多种手势是识别对象，还是在进行了与手势事先动作模型信息PGM不同的动作之后进行了实际的手势，手势识别部31都能够识别该手势。
在第1实施方式中，对手势识别装置1识别的手势是右挥击的情况进行了说明，但手势识别装置1也可以将包含其他手势的多个手势同时作为识别对象。此时，也可以是，考虑设备和外界、时刻、手势的过去的使用频率等的使用状况，预测手势事先动作PG或者识别手势。这里，设备是指与手势识别装置1连接的控制对象设备。外界是指手势识别装置1或设备的设置环境。时刻信息可以从外部取得，或者也可以从内置的时钟取得。这样，手势识别装置1能够根据设备的状态锁定要识别的手势。另外，手势识别装置1能够预先收集并存储在1天中的特定时间段内频繁执行某一手势等的时间段信息和使用频率信息，在手势的识别处理之前锁定手势的范围。这样，能够提高手势事先动作PG的预测概率和手势识别的识别率。
在第1实施方式中，对左手LH是作为识别对象的身体部位的情况进行了说明，但也可以将其他的身体部位作为对象。例如，也可以是将食指的指尖、肘、膝、肩等的身体部位作为识别对象。另外，在不同种类的手势中，身体部位通常进行不同的动作。通过将按照每个手势而进行特征性移动的身体部位作为识别对象，能够提高识别率。
在第1实施方式中，对左手LH是作为识别对象的身体部位的情况进行了说明，但身体部位不需要是1处，也可以是2处以上。通过将这些多处身体部位的动作组合起来进行手势识别，即使对于只通过1处动作很难识别的手势，也能够以较高的识别率来识别。
在第1实施方式中，能够将手势事先动作与实际的手势动作组合起来识别手势，因此即使在用户U的手势动作高速进行的情况下，与在手势识别中只使用手势动作的情况相比，可利用的摄像数据的量也会增加。由此，第1实施方式还具有能够提高手势识别率这样的效果。
第2实施方式
图17是概略地示出本发明的第2实施方式的手势识别装置2的结构的框图。手势识别装置2是能够实施第2实施方式的手势识别方法的装置。在图17中，对于与图3所示的结构要素相同或对应的结构要素，附加与图3的标号相同的标号。在第2实施方式中，对图1所示的摄像机和显示器与手势识别装置2连接的情况进行说明。第2实施方式的手势识别装置2(图17)与第1实施方式的手势识别装置1(图3)的不同点在于，从手势识别部31a向手势事先动作模型存储部21a发送数据这一点。除了这一点以外，第2实施方式与第1实施方式相同。第2实施方式的手势识别装置2逐次更新手势事先动作模型存储部21中存储的手势事先动作模型信息PGM，因此，能够提高用户U的手势事先动作PG的预测概率。
手势识别部31a向手势事先动作模型存储部21a发送身体部位动作信息150。手势事先动作模型存储部21a从手势识别部31a接收身体部位动作信息150并存储该身体部位动作信息150。
手势识别部31a在手势识别阶段S4，计算身体部位动作信息150的全部帧的信息与手势模型信息GM的全部帧的信息之间的相似度并识别手势。另外，手势识别部31a在手势识别阶段S4，计算身体部位动作信息150的部分帧的信息与手势模型信息GM的部分帧的信息之间的相似度并识别手势。手势识别部31a在识别出用户U正在执行(或已执行)手势的情况下，向设备控制部41发送手势识别结果GR，在识别出还没有执行手势的情况下，不进行任何动作。
另外，手势识别部31a在识别出用户U正在执行(或者已执行)手势的情况下，提取身体部位动作信息150中的与手势相关的信息之前的信息。即，手势识别部31a提取本次识别出的手势中的手势事先动作PG。手势识别部31a向手势事先动作模型存储部21a发送与该手势事先动作PG有关的身体部位动作信息150。
手势事先动作模型存储部21a将从手势识别部31a接收到的身体部位动作信息150作为手势事先动作模型信息PGM进行存储。此时，手势事先动作模型存储部21a在已经存储有手势事先动作模型信息PGM的情况下，重新存储这些信息的平均，或者重新存储从手势识别部31a读出的手势事先动作模型信息PGM。
如以上说明的那样，在第2实施方式的手势识别装置2中，能够在手势结束的时刻之前识别用户U执行的手势，因此，与以往相比，能够迅速进行基于手势识别结果的设备控制。由此，能够缩短用户U感觉到的从手势执行到设备控制为止的时间滞后，因此能够实现对于用户U而言无压力的手势操作。
另外，在第2实施方式的手势识别装置2中，能够逐次更新手势事先动作模型信息PGM，因此，能够逐次地反映与用户U的习惯和熟悉程度引起的手势方式有关的变化，由此，能够提高手势事先动作PG的预测概率。
第3实施方式
图18是概略地示出本发明的第3实施方式的手势识别装置3的结构的框图。手势识别装置3是能够实施第3实施方式的手势识别方法的装置。在图18中，对于与图17所示的结构要素相同或相应的结构要素，附加与图17的标号相同的标号。在第3实施方式中，对图1所示的摄像机和显示器与手势识别装置3连接的情况进行说明。第3实施方式的手势识别装置3(图18)与第2实施方式的手势识别装置2(图17)的不同点在于，具有对执行手势的人物进行确定的人物确定处理部17这一点。除了这一点以外，第3实施方式与第2实施方式相同。第3实施方式的手势识别装置3考虑用户信息来执行手势识别。根据第3实施方式的手势识别装置3，能够提高用户U的手势事先动作PG的预测概率。
在图18中，动作信息生成部10a的人物确定处理部17从摄像数据存储部12取得帧图像FI，将与帧图像FI中包含的人物有关的人物确定结果HDR发送给身体部位检测部13、身体部位追踪部14以及手势事先动作预测部22a。
身体部位检测部13从摄像数据存储部12取得帧图像FI与其帧编号FN，并将帧图像FI中包含的左手的坐标LHP和帧编号FN发送给身体部位动作信息存储部16。另外，身体部位检测部13从人物确定处理部17取得人物确定结果HDR，将左手的坐标LHP与帧编号FN的组发送给身体部位动作信息存储部16。
身体部位追踪部14从摄像数据存储部12取得帧图像FI与其帧编号FN。另外，身体部位追踪部14从身体部位动作信息存储部16取得特定用户的前1帧的帧图像FI中的左手的坐标LHP。另外，身体部位追踪部14从人物确定处理部17取得人物确定结果HDR。另外，身体部位追踪部14向身体部位动作信息生成部15发送前1帧的帧图像FI中的左手的坐标LHP、本次的帧图像FI中的左手的坐标LHP以及人物确定结果HDR。另外，身体部位追踪部14向身体部位动作信息存储部16发送删除存储着的身体部位动作信息150的控制信号。
身体部位动作信息生成部15从身体部位追踪部14取得前1帧的帧图像FI(-1)中的左手的坐标LHP(-1)、本次的帧图像FI(0)中的左手的坐标LHP(0)以及人物确定结果HDR，将身体部位动作信息150发送给身体部位动作信息存储部16。
手势事先动作模型存储部21a存储每个用户的手势事先动作模型信息PGM。另外，手势事先动作模型存储部21a向手势事先动作预测部22a发送特定用户的手势事先动作模型信息PGM。
手势事先动作预测部22a从身体部位动作信息存储部16读出特定用户(最新帧图像FI中有身体部位动作的用户)的身体部位动作信息150。另外，手势事先动作预测部22a从手势事先动作模型存储部21a接收用户的手势事先动作模型信息PGM。另外，手势事先动作预测部22a向手势事先动作预测结果存储部23发送用户的手势事先动作预测结果PGR。
手势事先动作预测结果存储部23从手势事先动作预测部22a接收特定用户的手势事先动作预测结果PGR并对其进行存储。另外，手势事先动作预测结果存储部23向手势识别部31a发送特定用户的手势事先动作预测结果PGR。
手势识别部31a从身体部位动作信息存储部16取得特定用户的身体部位动作信息150。另外，手势识别部31a从手势事先动作预测结果存储部23取得特定用户的手势事先动作预测结果PGR。另外，手势识别部31a从手势模型存储部32读出特定用户的手势模型信息GM。另外，手势识别部31a向设备控制部41发送手势识别结果GR。
手势模型存储部32存储每个用户的手势模型信息GM。另外，手势识别部31a从手势模型存储部32取得特定用户的手势模型信息GM。
首先，人物确定处理部17从摄像数据存储部12取得帧图像FI，对于帧图像FI中包含的用户执行人物确定处理。作为人物确定处理的手法可以举出脸部检测等。在人物确定处理执行之后，人物确定处理部17将人物确定结果HDR发送给身体部位检测部13、身体部位追踪部14以及手势事先动作预测部22a。
身体部位检测部13检测身体部位，并将检测结果信息发送给身体部位动作信息存储部16。此时，身体部位检测部13将从人物确定处理部17接收的人物确定结果HDR发送给身体部位动作信息存储部16。
身体部位追踪部14在从摄像数据存储部12读出的多个帧图像FI中执行身体部位的追踪。此时，身体部位追踪部14根据从人物确定处理部17接收到的人物确定结果HDR，追踪同一人物的身体部位。例如，身体部位追踪部14利用人物确定结果HDR，将第1用户的手和第2用户的手作为单独的身体部位执行追踪。
在追踪成功的情况下，身体部位追踪部14向身体部位动作信息生成部15发送前1帧的帧图像FI(-1)中的左手的坐标LHP(-1)、本次的帧图像FI(0)中的左手的坐标LHP(0)以及人物确定结果HDR。
身体部位动作信息生成部15从身体部位追踪部14接收前1帧的帧图像FI(-1)中的左手的坐标LHP(-1)、本次的帧图像FI(0)中的左手的坐标LHP(0)以及人物确定结果HDR，根据这些信息生成身体部位动作信息150。此时，身体部位动作信息150按照用户记载到不同的文件中。另外，身体部位动作信息150也可以记载到相同的文件中。在这种情况下，身体部位动作信息150是以能够按照每个用户判别身体部位动作信息的方式记载的。身体部位动作信息存储部16存储身体部位动作信息150。
手势事先动作模型存储部21a存储每个用户的手势事先动作模型信息PGM。手势事先动作模型信息PGM是按照每个用户存储的，因此能够反映各用户的习惯等的各用户固有的身体动作。手势事先动作模型信息PGM可以是预先根据用户执行的手势取得并登记的信息，或者也可以是如第2实施方式所示，通过从手势识别部31a反馈识别结果而逐次存储、更新的信息。另外，手势事先动作预测部22a从手势事先动作模型存储部21a取得特定用户的手势事先动作模型信息PGM。
手势事先动作预测部22a从身体部位动作信息存储部16取得特定用户(在最新帧图像FI中有身体部位动作的用户)的身体部位动作信息150。另外，手势事先动作预测部22a从手势事先动作模型存储部21a取得上述用户的手势事先动作模型信息PGM并计算相似度。手势事先动作预测部22a将计算出的相似度与阈值MTH1进行比较，预测上述用户是否执行了手势事先动作PG并发送手势事先动作预测结果PGR，手势事先动作预测结果存储部23存储该手势事先动作预测结果PGR。
手势识别部31a从身体部位动作信息存储部16取得特定用户的身体部位动作信息150，进而从手势模型存储部32读出上述的手势模型信息。并且，在手势事先动作预测结果存储部23中存储有上述用户的手势事先动作预测结果PGR的情况下，手势识别部31a接收该手势事先动作预测结果PGR。在手势事先动作预测结果存储部23中没有存储上述用户的手势事先动作预测结果PGR的情况下，手势识别部31a不进行任何动作。然后，手势识别部31a计算已取得的身体部位动作信息150与手势模型信息GM之间的相似度，根据相似度识别手势。
另外，在手势模型存储部32中按照每个用户存储有手势模型信息GM。手势识别部31a发送特定用户的手势模型信息GM。
在这样构成的手势识别装置3中，由于能够在手势结束的时刻之前识别用户U执行的手势，因此与以往相比能够迅速进行基于手势识别结果的设备控制，由此，能够缩短用户U感觉到的从手势执行到设备控制的时间滞后，能够实现对于用户U而言无压力的手势操作。
并且，在手势识别装置3中，按照每个用户识别手势事先动作PG和手势。因此，能够吸收与用户U的习惯等引起的手势方式有关的差异，由此，能够提高手势事先动作PG的预测概率和手势的识别率。
在第3实施方式中，作为人物确定处理的内容，不仅能够利用脸部检测，而且能够利用其他方法。例如，也可以使用作为人物的用户的发型、服装、身高等能够确定用户的信息。
在第3实施方式中，还能够根据用户锁定要识别的手势。这样，能够提高手势事先动作PG的预测概率和手势识别的识别率。
变形例
图19是示出本发明的第1实施方式～3实施方式的手势识别装置的变形例的硬件结构图。图3所示的手势识别装置1能够使用存储作为软件的程序的作为存储装置的存储器91以及作为执行存储器91中存储的程序的信息处理部的处理器92(例如通过计算机)来实现。在这种情况下，图3的摄像数据存储部12、身体部位动作信息存储部16、手势事先动作模型存储部21、手势事先动作预测结果存储部23以及手势模型存储部32相当于图19的存储器91。另外，图3的摄像控制部11、身体部位检测部13、身体部位追踪部14、身体部位动作信息生成部15、手势事先动作预测部22、手势识别部31以及设备控制部41相当于执行程序的处理器92。另外，图3所示的手势识别装置1的一部分也可以通过图19所示的存储器91以及执行程序的处理器92来实现。
另外，图17所示的手势识别装置2能够使用存储作为软件的程序的作为存储装置的存储器91以及作为执行存储器91中存储的程序的信息处理部的处理器92(例如通过计算机)来实现。在这种情况下，图17的摄像数据存储部12、身体部位动作信息存储部16、手势事先动作模型存储部21a、手势事先动作预测结果存储部23以及手势模型存储部32相当于图19的存储器91。另外，图17的摄像控制部11、身体部位检测部13、身体部位追踪部14、身体部位动作信息生成部15、手势事先动作预测部22、手势识别部31a以及设备控制部41相当于执行程序的处理器92。另外，图17所示的手势识别装置2的一部分也可以通过图19所示的存储器91和执行程序的处理器92来实现。
另外，图18所示的手势识别装置3能够使用存储作为软件的程序的作为存储装置的存储器91以及作为执行存储器91中存储的程序的信息处理部的处理器92(例如通过计算机)来实现。在这种情况下，图18的摄像数据存储部12、身体部位动作信息存储部16、手势事先动作模型存储部21a、手势事先动作预测结果存储部23以及手势模型存储部32相当于图19的存储器91。另外，图18的摄像控制部11、身体部位检测部13、身体部位追踪部14、身体部位动作信息生成部15、人物确定处理部17、手势事先动作预测部22a、手势识别部31a以及设备控制部41相当于执行程序的处理器92。另外，图18所示的手势识别装置3的一部分也可以通过图19所示的存储器91和执行程序的处理器92来实现。
[工业上的可利用性]
本发明的手势识别装置、手势识别方法以及信息处理装置能够应用于例如广播接收机、PC、汽车导航系统以及信息通信终端等各种电子设备。
另外，本发明的手势识别装置、手势识别方法以及信息处理装置能够应用于根据用户执行的手势变更视听频道的广播接收机、以及根据用户执行的手势变更显示器上显示的电子节目表的显示的广播接收机。
标号说明
1、2、3、7：手势识别装置；4：摄像机；5：显示器；10、10a：动作信息生成部；11：摄像控制部；12：摄像数据存储部；13：身体部位检测部；14：身体部位追踪部；15：身体部位动作信息生成部；16：身体部位动作信息存储部；17：人物确定处理部；20、20a、20b：预测处理部；21、21a：手势事先动作模型存储部(第1存储部)；22、22a：手势事先动作预测部；23：手势事先动作预测结果存储部；30、30a：识别处理部；31、31a：手势识别部；32：手势模型存储部(第2存储部)；41：设备控制部；51：显示控制部；52：显示信息存储部。

Claims (9)

1.一种手势识别装置，其特征在于，该手势识别装置具有：
动作信息生成部，其根据在拍摄用户而取得的多帧摄像数据的每帧摄像数据中，进行所述用户的身体部位的检测和追踪而得到的所述身体部位的动作来生成身体部位动作信息；
预测处理部，其预先存储表示与在手势的紧前进行的手势事先动作有关的用户的身体部位的基准动作的手势事先动作模型信息，进行对由所述动作信息生成部生成的所述身体部位动作信息与所述手势事先动作模型信息进行比较的第1比较，根据所述第1比较的结果生成与由所述动作信息生成部检测出的所述身体部位的动作所示的手势事先动作有关的预测结果；以及
识别处理部，其预先存储表示手势中的用户的身体部位的基准动作的手势模型信息，进行对由所述动作信息生成部生成的所述身体部位动作信息与所述手势模型信息进行比较的第2比较，根据所述预测结果和所述第2比较的结果生成由所述动作信息生成部检测出的所述身体部位的动作所示的手势的识别结果，
所述识别处理部向所述预测处理部发送生成了所述识别结果的所述手势的紧前的身体部位动作信息，
所述预测处理部将生成了所述识别结果的所述手势的紧前的身体部位动作信息作为所述手势事先动作模型信息进行存储。
2.根据权利要求1所述的手势识别装置，其特征在于，
所述识别处理部根据所述身体部位动作信息与所述手势事先动作模型信息之间的第1相似度，变更所述多帧摄像数据中的在所述第2比较中使用的摄像数据的时间。
3.根据权利要求1或2所述的手势识别装置，其特征在于，
当所述身体部位动作信息与所述手势事先动作模型信息之间的第1相似度在预先确定的第1阈值以上时，所述识别处理部缩短所述多帧摄像数据中的在所述第2比较中使用的摄像数据的时间。
4.根据权利要求1所述的手势识别装置，其特征在于，
所述识别处理部根据所述身体部位动作信息与所述手势事先动作模型信息之间的第1相似度，缩减在所述第2比较中使用的所述手势模型信息的范围。
5.根据权利要求1或4所述的手势识别装置，其特征在于，
当所述身体部位动作信息与所述手势事先动作模型信息之间的第1相似度在预先确定的第1阈值以上时，所述识别处理部缩减在所述第2比较中使用的所述手势模型信息的范围。
6.根据权利要求1或2或4所述的手势识别装置，其特征在于，
所述预测处理部根据与所述手势识别装置连接的控制对象设备的类型、所述手势识别装置的设置环境、时刻、每个时间段的手势的使用频率中的至少1项，缩减进行所述第1比较的所述手势事先动作模型信息。
7.根据权利要求1或2或4所述的手势识别装置，其特征在于，
所述识别处理部根据与所述手势识别装置连接的控制对象设备的类型、所述手势识别装置的设置环境、时刻、每个时间段的手势的使用频率中的至少1项，缩减进行所述第2比较的所述手势模型信息。
8.一种手势识别装置进行的手势识别方法，该手势识别装置预先存储表示与在手势的紧前进行的手势事先动作有关的用户的身体部位的基准动作的手势事先动作模型信息、和表示手势中的用户的身体部位的基准动作的手势模型信息，其特征在于，该手势识别方法包含以下步骤：
动作信息生成步骤，根据在拍摄用户而取得的多帧摄像数据的每帧摄像数据中，进行所述用户的身体部位的检测和追踪而得到的所述身体部位的动作来生成身体部位动作信息；
预测处理步骤，进行对在所述动作信息生成步骤中生成的所述身体部位动作信息与所述手势事先动作模型信息进行比较的第1比较，根据所述第1比较的结果生成与在所述动作信息生成步骤中检测出的所述身体部位的动作所示的手势事先动作有关的预测结果；以及
识别处理步骤，进行对在所述动作信息生成步骤中生成的所述身体部位动作信息与所述手势模型信息进行比较的第2比较，根据所述预测结果和所述第2比较的结果生成在所述动作信息生成步骤中检测出的所述身体部位的动作所示的手势的识别结果，
将在所述识别处理步骤中生成了所述识别结果的所述手势的紧前的身体部位动作信息作为所述手势事先动作模型信息进行存储。
9.一种信息处理装置，其特征在于，该信息处理装置具有：
权利要求1～7中的任意一项所述的手势识别装置；
摄像装置，其向所述手势识别装置发送所述摄像数据；以及
控制对象设备，根据所述手势的识别结果来控制该控制对象设备。
CN201680022114.3A 2015-04-17 2016-04-15 手势识别装置、手势识别方法以及信息处理装置 Active CN107533363B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015084853 2015-04-17
JP2015-084853 2015-04-17
PCT/JP2016/062052 WO2016167331A1 (ja) 2015-04-17 2016-04-15 ジェスチャー認識装置、ジェスチャー認識方法、及び情報処理装置

Publications (2)

Publication Number Publication Date
CN107533363A CN107533363A (zh) 2018-01-02
CN107533363B true CN107533363B (zh) 2020-06-30

Family

ID=57127116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022114.3A Active CN107533363B (zh) 2015-04-17 2016-04-15 手势识别装置、手势识别方法以及信息处理装置

Country Status (5)

Country Link
US (1) US10156909B2 (zh)
JP (1) JP6355829B2 (zh)
CN (1) CN107533363B (zh)
DE (1) DE112016001794T5 (zh)
WO (1) WO2016167331A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810289B2 (en) * 2016-08-15 2020-10-20 Fisher-Rosemount Systems, Inc. Apparatuses, systems, and methods for providing access security in a process control system
JP6899674B2 (ja) * 2017-03-16 2021-07-07 日立造船株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP6293953B1 (ja) * 2017-04-04 2018-03-14 京セラ株式会社 電子機器、プログラムおよび制御方法
JP2021507434A (ja) * 2017-12-13 2021-02-22 ヒューマニシング オートノミー リミテッド 歩行者の意図を予測するためのシステムおよび方法
JP7331846B2 (ja) * 2018-06-07 2023-08-23 ソニーグループ株式会社 制御装置、制御方法、プログラム、および移動体
CN109144268A (zh) * 2018-09-04 2019-01-04 爱笔（北京）智能科技有限公司 一种电子设备的状态切换方法及装置
CN109858380A (zh) * 2019-01-04 2019-06-07 广州大学 可扩展手势识别方法、装置、系统、手势识别终端和介质
US11256342B2 (en) 2019-04-03 2022-02-22 Facebook Technologies, Llc Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality
US10824247B1 (en) * 2019-04-03 2020-11-03 Facebook Technologies, Llc Head-coupled kinematic template matching for predicting 3D ray cursors
CN110059661B (zh) * 2019-04-26 2022-11-22 腾讯科技（深圳）有限公司 动作识别方法、人机交互方法、装置及存储介质
US11144128B2 (en) * 2019-11-20 2021-10-12 Verizon Patent And Licensing Inc. Systems and methods for controlling video wall content using air gestures
SG10201913029SA (en) * 2019-12-23 2021-04-29 Sensetime Int Pte Ltd Target tracking method and apparatus, electronic device, and storage medium
JP7322824B2 (ja) * 2020-07-01 2023-08-08 トヨタ自動車株式会社 情報処理装置、情報処理方法、および制御システム
CN112001248B (zh) 2020-07-20 2024-03-01 北京百度网讯科技有限公司 主动交互的方法、装置、电子设备和可读存储介质
CN112486317B (zh) * 2020-11-26 2022-08-09 湖北鼎森智能科技有限公司 基于手势的数字阅读方法及系统
CN113221745B (zh) * 2021-05-12 2023-09-01 北京百度网讯科技有限公司 举手识别方法、装置、电子设备及存储介质
CN114167993B (zh) * 2022-02-10 2022-05-24 北京优幕科技有限责任公司 信息处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200831A (zh) * 2010-03-25 2011-09-28 索尼公司 手势输入设备、手势输入方法和程序
CN102298442A (zh) * 2010-06-24 2011-12-28 索尼公司 手势识别设备、手势识别方法及程序
CN103380405A (zh) * 2010-12-30 2013-10-30 汤姆逊许可公司 用于手势识别的用户界面、装置和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3603919B2 (ja) 1996-06-11 2004-12-22 日本電気株式会社 ジェスチャ認識装置および方法
JP4035610B2 (ja) 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US20090243998A1 (en) * 2008-03-28 2009-10-01 Nokia Corporation Apparatus, method and computer program product for providing an input gesture indicator
JP2010009484A (ja) 2008-06-30 2010-01-14 Denso It Laboratory Inc 車載機器制御装置および車載機器制御方法
JP5175755B2 (ja) 2009-02-04 2013-04-03 株式会社東芝 ジェスチャ認識装置、その方法及びそのプログラム
EP2399243A4 (en) 2009-02-17 2013-07-24 Omek Interactive Ltd METHOD AND SYSTEM FOR RECOGNIZING GESTURE
WO2010095204A1 (ja) 2009-02-18 2010-08-26 株式会社 東芝 インターフェース制御装置、及びその方法
JP2012022458A (ja) * 2010-07-13 2012-02-02 Canon Inc 情報処理装置およびその制御方法
JP5802667B2 (ja) 2010-07-20 2015-10-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ジェスチャ入力装置およびジェスチャ入力方法
JP2012079138A (ja) 2010-10-04 2012-04-19 Olympus Corp ジェスチャ認識装置
JP5617581B2 (ja) 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
JP5604279B2 (ja) * 2010-12-08 2014-10-08 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
JP6316540B2 (ja) * 2012-04-13 2018-04-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． カメラ装置及びその制御方法
JP6057755B2 (ja) 2013-02-08 2017-01-11 株式会社東海理化電機製作所 ジェスチャ操作装置及びジェスチャ操作プログラム
JP5980879B2 (ja) * 2014-10-28 2016-08-31 レノボ・シンガポール・プライベート・リミテッド ジェスチャの認識方法、ジェスチャ入力システムおよび電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200831A (zh) * 2010-03-25 2011-09-28 索尼公司 手势输入设备、手势输入方法和程序
CN102298442A (zh) * 2010-06-24 2011-12-28 索尼公司 手势识别设备、手势识别方法及程序
CN103380405A (zh) * 2010-12-30 2013-10-30 汤姆逊许可公司 用于手势识别的用户界面、装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
実体を伴うプロアクティブヒューマンインタフェースのためのジェスチャの早期認識・予測に関する検討;森明慧 等;《日本ロボット学会誌》;20061130;第24卷(第8期);第66-75页 *

Also Published As

Publication number Publication date
US10156909B2 (en) 2018-12-18
WO2016167331A1 (ja) 2016-10-20
US20180052521A1 (en) 2018-02-22
CN107533363A (zh) 2018-01-02
DE112016001794T5 (de) 2018-02-08
JPWO2016167331A1 (ja) 2017-09-28
JP6355829B2 (ja) 2018-07-11

Similar Documents

Publication Publication Date Title
CN107533363B (zh) 手势识别装置、手势识别方法以及信息处理装置
US10565437B2 (en) Image processing device and method for moving gesture recognition using difference images
KR101437760B1 (ko) 제스처 인식 장치, 전자기기, 제스처 인식 방법, 및 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US9690388B2 (en) Identification of a gesture
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US9373195B2 (en) Display control device, display control method, and program
EP2757771B1 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
WO2019151368A1 (ja) 生体認証装置、システム、方法および記録媒体
JPWO2007119355A1 (ja) 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
KR20150009184A (ko) 카메라를 구비하는 장치의 이미지 처리장치 및 방법
KR20140002007A (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
US20230353711A1 (en) Image processing system, image processing method, and program
JP2013250637A (ja) 認識装置
JP5932082B2 (ja) 認識装置
CN112788244B (zh) 拍摄方法、拍摄装置和电子设备
KR20140061226A (ko) 영상을 표시하는 방법 및 이를 위한 장치
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
US11551452B2 (en) Apparatus and method for associating images from two image streams
JP6866210B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN116737290A (zh) 指关节敲击事件的识别方法及电子设备
US10616479B2 (en) Image recording apparatus, image recording method, and computer-readable storage medium
US10321089B2 (en) Image preproduction apparatus, method for controlling the same, and recording medium
JP2005332061A (ja) 操作装置、操作入力端末、操作方法、および、操作プログラム
EP2919096B1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
KR20130123316A (ko) 사용자의 얼굴 분석 결과에 따라 이동 단말을 제어하는 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant