CN103688232A - 姿势识别装置及其控制方法、程序、电子设备及记录介质 - Google Patents

姿势识别装置及其控制方法、程序、电子设备及记录介质 Download PDF

Info

Publication number
CN103688232A
CN103688232A CN201280035734.2A CN201280035734A CN103688232A CN 103688232 A CN103688232 A CN 103688232A CN 201280035734 A CN201280035734 A CN 201280035734A CN 103688232 A CN103688232 A CN 103688232A
Authority
CN
China
Prior art keywords
mentioned
gesture recognition
people
recognition device
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280035734.2A
Other languages
English (en)
Other versions
CN103688232B (zh
Inventor
山本基夫
阿部佑一
半泽雄希
高山贵宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN103688232A publication Critical patent/CN103688232A/zh
Application granted granted Critical
Publication of CN103688232B publication Critical patent/CN103688232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

人物判定部（22）判定在摄像头（3）拍摄到的图像中是否拍摄有用户，如果未拍摄有用户，则输出部（27）发出表示未拍摄到姿势的通知。

Description

姿势识别装置及其控制方法、程序、电子设备及记录介质
技术领域
本发明涉及利用摄像头拍摄用户的动作并根据拍摄的图像对用户的姿势进行识别的姿势识别装置、电子设备、姿势识别装置的控制方法、控制程序以及记录介质。
背景技术
近年来，正在开发通过识别用户的姿势来生成用于对装置进行控制的控制信号的各种信息输入装置。作为这样的信息输入装置，例如存在专利文献1和2中所记载的信息输入装置。具体而言，存在如下所述的装置：即，用户操作定位设备（pointing device）、笔型输入设备、触控板等输入设备，输入设备对该动作进行检测从而识别用户的姿势。
另一方面，存在不使用输入设备而利用摄像头对用户的动作进行拍摄，根据拍摄的图像来识别用户姿势的信息输入装置。以下，将根据图像来识别用户姿势的信息输入装置称作姿势识别装置。在该姿势识别装置中，用户不需要对输入设备等进行操作，而能够直观地向装置输入操作指示，因此，该姿势识别装置作为下一代的界面（interface）而受到期待。
现有技术文献
专利文献
专利文献1：日本国公开专利公报“特开2004-303207号公报（2004年10月28日公开）”；
专利文献2：日本国公开专利公报“特开2009-301301号公报（2009年12月24日公开）”；
专利文献3：日本国公开专利公报“特开2007-166187号公报（2007年6月28日公开）”；
专利文献4：日本国公开专利公报“特开2008-244804号公报（2008年10月9日公开）”。
发明内容
发明所要解决的问题
但是，在现有的姿势识别装置中，用户无法知晓姿势识别装置是否处于能够识别自身的姿势的状态。换而言之，用户无法正确地判断自身的姿势是否被进入到摄像头的视场角范围内。因此，存在以下情况：尽管姿势识别装置不处于能够识别用户姿势的状态，但是用户还是期待姿势被识别而多次重复相同的动作或者无意义地下功夫活动。
在此，存在如下技术，即，当摄像头进行拍摄时，判定人类的全身、脸等是否进入到视场角内，在未进入时发出警告（专利文献3和4）。但是，专利文献3和4中所记载的技术是针对一般摄像头的技术，并不是有关姿势识别装置的技术。另外，以往在姿势识别装置中，不通知姿势是否进入到视场角内。
本发明正是鉴于上述问题而完成的，其目的在于，实现当用户的姿势未进入到视场角内时发出通知的姿势识别装置、电子设备、姿势识别装置的控制方法、控制程序以及记录介质。
用于解决问题的手段
为了解决上述问题，本发明的姿势识别装置根据摄像头拍摄到的图像来识别人的姿势，并基于识别出的姿势向电子设备输出用于控制该电子设备的信息，其具有：人判定单元，判定上述图像中是否包含有人；以及输出单元，在上述人判定单元判定为上述图像中未包含有人时，输出用于指示第一通知的人视场角外通知指示信息，其中，上述第一通知是指，未拍摄到人的通知。
为了解决上述问题，本发明的姿势识别装置的控制方法用于控制姿势识别装置，该姿势识别装置根据摄像头拍摄到的图像来识别人的姿势，并基于识别出的姿势向电子设备输出用于控制该电子设备的信息，其包括：人判定步骤，判定上述图像中是否包含有人；以及输出步骤，当在上述人判定步骤中判定为上述图像中未包含有人时，输出用于指示第一通知的人视场角外通知指示信息，其中，上述第一通知是指，未拍摄到人的通知。
根据上述结构，在摄像头拍摄到的图像中未包含有人时，输出单元向电子设备输出用于指示未拍摄到人的通知的人视场角外通知指示信息。电子设备基于人视场角外通知指示信息，向操作电子设备的人发出表示未拍摄到人的通知。
因此，操作电子设备的人基于来自电子设备的通知，能够判断摄像头拍摄到的图像中是否包含有自身，即，能够判断自身是否在摄像头的视场角外。因此，起到能够防止操作电子设备的人的如下的无意义的动作的效果：即，尽管未拍摄到操作电子设备的人自身，但该人为了使姿势被识别而多次重复相同的姿势。
发明的效果
如上所述，本发明的姿势识别装置具有：人判定单元，判定上述图像中是否包含有人；以及输出单元，在上述人判定单元判定为上述图像中未包含有人时，输出用于指示第一通知的人视场角外通知指示信息，其中，上述第一通知是指，未拍摄到人的通知。
另外，本发明的姿势识别装置的控制方法包括：人判定步骤，判定上述图像中是否包含有人；以及输出步骤，当在上述人判定步骤中判定为上述图像中未包含有人时，输出用于指示第一通知的人视场角外通知指示信息，其中，上述第一通知是指，未拍摄到人的通知。
因此，起到能够防止人的如下的无意义的动作的效果：即，尽管未拍摄到人自身，但该人为了使姿势被识别而多次重复相同的姿势。
附图说明
图1是示出本发明的实施方式的图，是示出姿势识别装置和搭载有姿势识别装置的电视机的主要部分结构的框图；
图2是示出搭载有上述姿势识别装置的电视机的使用形态的一个例子的图；
图3是示出保存在上述电视机的电视机存储部中的电视机处理历史信息的一个例子的图；
图4是示出保存在上述姿势识别装置的姿势识别装置存储部中的人物确定信息的一个例子的图；
图5是示出保存在上述姿势识别装置的姿势识别装置存储部中的用户信息的一个例子的图；
图6是示出保存在上述姿势识别装置的姿势识别装置存储部中的操作时机信息的一个例子的图；
图7是示出保存在上述姿势识别装置的姿势识别装置存储部中的姿势信息的一个例子的图；
图8是示出保存在上述姿势识别装置的姿势识别装置存储部中的姿势识别装置处理历史信息的一个例子的图；
图9是示出由上述姿势识别装置执行的处理的一个例子的流程图；
图10是示出摄像头拍摄到的图像的图；
图11是示出摄像头拍摄到的图像的图；
图12是示出摄像头拍摄到的图像的图；
图13是示出摄像头拍摄到的图像的图。
具体实施方式
<本发明的概要>
本发明涉及当用户（操作者）通过姿势操作电子设备时，在用户位于摄像头的视场角外的情况下，向用户通知该情况的技术。搭载有本发明的姿势识别装置的电子设备的使用形态的一个例子如图2所示。图2是示出搭载有本发明的姿势识别装置的电子设备的使用形态的一个例子的图。
在图2中，示出了电子设备是电视机2且在电视机2中内置有姿势识别装置的情况。如图2所示，当用户4偏离摄像头3的视场角θ时，电视机2中显示“没有拍摄到”等，从而向用户4通知未拍摄到用户自身或者姿势的情况。
通过发出这样的通知，用户能够知晓自身的姿势是否被拍摄。因此，能够防止如下的用户的无意义的动作：即，尽管姿势未被拍摄，但用户为了使姿势被识别而多次重复相同的姿势。
以下，基于图1～图13更详细地说明图2中示出的本发明的实施方式。此外，在本实施方式中，示出了电子设备是电视机的例子，但是并不仅限于此。例如，作为电子设备，也可以是移动电话机、游戏机、数码相机、安全门（门）等。
另外，在本实施方式中，假设搭载有姿势识别装置的电视机2设置在家庭内且“父亲”、“母亲”、“孩子”等三人作为用户存在。在本实施方式中，假设像这样由特定的用户进行使用，但是并不仅限于此。本发明的电子设备也可以供不特定的多个用户使用。例如，在医院等中，存在不特定的多个用户，但是有时不优选直接触摸设备来进行操作。因此，在医院等环境下，能够将姿势识别装置作为电子设备的操作手段而恰当地加以利用。
此外，此处的用户是指操作电子设备的人（试图对电子设备进行操作的人）。
<电视机和姿势识别装置的结构>
首先，针对电视机2和搭载于电视机2的姿势识别装置的具体结构和功能进行说明。图1是示出电视机2和搭载于电视机2的姿势识别装置1的主要部分结构的一个例子的框图。首先针对电视机2的结构进行说明。
[电视机的结构]
如图1所示，电视机2具有电视机控制部51、电视机存储部52、电视机通信部53、操作部54、显示部（通知单元）55、声音输出部（通知单元）56以及姿势识别装置1。此外，电视机2也可以具有声音输入部等部件，但由于与发明的技术特征无关而不对所述部件进行图示。
电视机通信部53是利用无线通信方式或有线通信方式进行与其他装置之间的通信而且按照电视机控制部51的指示进行数据的交换的装置。具体而言，电视机通信部53是接收广播波（broadcast wave）的天线，是接收广播波从而接收影像数据、声音数据以及节目数据等的装置。
操作部54是用于用户向电视机2输入操作信号从而操作电视机2的装置。操作部54也可以由操作按钮等输入设备等构成。另外，也可以是操作部54和显示部55成为一体的触控面板。另外，操作部54也可以是与电视机2分开的遥控器等远程控制装置。此外，因为电视机2具有姿势识别装置1，所以电视机2也可以不具有操作部54。
显示部55是按照电视机控制部51的指示来显示图像的装置。显示部55只要是按照电视机控制部51的指示来显示图像的装置即可，例如，可以使用LCD（液晶显示器）、有机电致发光显示器、等离子显示器等。
声音输出部56是按照电视机控制部51的指示来输出声音的装置，例如为扬声器。
电视机控制部51是通过执行从电视机存储部52读取到临时存储部（未图示）的程序来进行各种运算并且整体地控制电视机2所具有的各部分的装置。
具体而言，电视机控制部51是如下装置，即，基于经由电视机通信部53获取的影像数据、声音数据以及节目数据等，在显示部55中显示影像、节目信息，或者从声音输出部56输出声音。另外，电视机控制部51基于来自操作部54或者姿势识别装置1的操作信号，执行电源的开/关、频道的切换、音量的变更、节目表的显示等规定的处理。另外，电视机控制部51在执行规定的处理时，将已执行的处理的处理内容与处理日期和时刻相对应地保存在电视机存储部52中来作为电视机处理历史信息61。
另外，电视机控制部51基于来自姿势识别装置1的指示信号在显示部55中显示指示信号所表示的信息和/或从声音输出部56输出声音，从而向用户通知该信息。另外，电视机控制部51也可以通过使LED等通知灯（未图示）发光，来向用户通知上述指示信号所表示的信息。
电视机控制部51从姿势识别装置1接收用于通知未拍摄到姿势或操作对象者的指示或者用于通知不是操作对象者的指示，详细情况后述。基于这样的指示，电视机控制部51可以将上述内容作为文字（text）在显示部55中进行显示，也可以将上述内容作为声音从声音输出部56输出。另外，电视机控制部51也可以为了通知姿势或操作对象者未被拍摄的情况，而在显示部55的整个或一部分画面中显示摄像头3拍摄到的图像。
电视机存储部52是保存供电视机控制部51参照的程序、数据等的装置，例如保存上述的电视机处理历史信息61等。
基于图3对保存在电视机存储部52中的电视机处理历史信息61进行说明。图3是示出保存在电视机存储部52中的电视机处理历史信息61的一个例子的图。如图3所示，电视机处理历史信息61是将电视机控制部51已执行的处理的处理内容与电视机控制部51执行了处理的处理日期和时间进行了关联的信息。
姿势识别装置1是根据摄像头3拍摄到的图像来识别用户的姿势，并基于识别的姿势向电子设备输出用于控制该电子设备的信号（信息）的装置。在图1所示的例子中，姿势识别装置1搭载于电视机2，但是并不仅限于此，电视机2与姿势识别装置1也可以分开。接下来针对姿势识别装置1的具体结构和功能进行说明。
[姿势识别装置的结构]
如图1所示，姿势识别装置1具有姿势识别装置控制部11、姿势识别装置存储部12以及姿势识别装置通信部13。
姿势识别装置通信部13是如下装置，即，利用无线通信方式或有线通信方式进行与摄像头3等其他装置之间的通信，而且按照姿势识别装置控制部11的指示进行数据的交换。具体而言，姿势识别装置通信部13按照姿势识别装置控制部11的指示从摄像头3获取摄像头3拍摄到的图像。
姿势识别装置控制部11是通过执行从姿势识别装置存储部12读取到临时存储部（未图示）的程序来进行各种运算并且整体地控制姿势识别装置1所具有的各部分的装置。
在本实施方式中，姿势识别装置控制部11具有包括下述的各功能块的结构：图像获取部21、人物判定部（人判定单元）22、人物确定部23、用户判定部（操作对象者判定单元、操作禁止者判定单元）24、时机判定部（时机判定单元）26、输出部（输出单元）27、姿势识别执行部28以及信息设定部29。就这些姿势识别装置控制部11的各功能块（21～24、26～29）而言，可以通过CPU（Central Processing Unit：中央处理单元）将存储在由ROM（Read Only Memory：只读存储器）等实现的存储装置中的程序读取到由RAM（Random Access Memory：随机存取存储器）等实现的临时存储部中并执行上述程序来实现。
图像获取部21是经由姿势识别装置通信部13从摄像头3获取摄像头3拍摄到的图像的装置。
人物判定部22是判定图像获取部21所获取的图像中是否拍摄到了人物的装置。例如，人物判定部22针对图像执行人体检测或者脸部检测等，在检测的结果是检测到了全身或作为人体的一部分的脸（头）、手、脚等部位时，判定为拍摄到了人物。另外，人物判定部22针对图像执行人体检测或者脸部检测等，确定全身或者部位的检测可靠度来作为检测的结果，在检测可靠度大于等于规定值时，判定为拍摄到了人物。
换而言之，人物判定部22在图像获取部21所获取的图像中拍摄到了人的全身或者人的部位时，判定为拍摄到了人物。此外，人物判定部22也可以根据一个图像检测一个或者多个人。另外，人物判定部22只需是判定图像中是否拍摄到了人物的装置即可，其手法不受限制。
例如，人物判定部22为了对全身或者作为人体的一部分的脸（头）、手、脚等部位进行检测，可以应用在日本特开2005-115932号公报、日本特开2008-158790号公报以及日本特开2008-15641号公报中记载的技术或学习型的人体检测技术等。
人物确定部23是从姿势识别装置存储部12读取人物确定信息41，并基于人物确定信息41确定人物判定部22所检测到的人的装置。
具体而言，在人物确定信息41包含用于分别确定“父亲”、“母亲”、“孩子”这三个人的信息时，人物确定部23可以针对人物判定部22所检测到的全身图像、脸部图像等进行认证，从而确定检测到的是哪一个人。例如，人物确定部23可以计算人物判定部22所检测到的脸部图像的特征量，并对计算出的特征量与“父亲”、“母亲”、“孩子”的脸部图像的特征量进行比较，将最接近的人物确定为人物判定部22所检测到的脸部图像的人物。
另外，人物确定部23可以根据人物判定部22所检测到的全身图像、脸部图像、手部图像等，确定性别、年龄、人种等，并基于该确定的结果来确定人物判定部22检测到的人是谁。另外，也可以从人物判定部22所检测到的全身图像、脸部图像、手部图像等来检测装饰品等，并基于人物带在身上的装饰品来确定人物判定部22检测到的人是谁。
另外，在人物判定部22检测出拍摄有全身或者脸部等一部分的图像（例如，只拍摄有半身图像或者脸、手或脚的一部分的图像）时，人物确定部23也可以在补充完未拍摄到的部分之后进行确定人物的处理。例如，在检测出拍摄有半身、半张脸的图像时，也可以在进行镜像变换（mirroring）之后进行确定人物的处理。
此外，人物确定部23也可以不将人物判定部22检测到的人作为个人进行确定，而是确定性别、年龄、人种等人物的属性。另外，人物确定部23只需能够确定个人或属性即可，其手法不受到限制。人物确定部23也可以使用上述以外的公知技术来确定个人、属性。
用户判定部24是从姿势识别装置存储部12读取用户信息42并基于用户信息42判定人物确定部23所确定的人物是否为操作对象者的装置。另外，用户判定部24是基于用户信息42判断人物确定部23所确定的人物是否为操作禁止者的装置。
在此，操作对象者是指能够利用姿势来执行对电视机2的操作的人物。换而言之，只有被设定为操作对象者的用户才能够利用姿势来执行对电视机2的操作。另外，操作禁止者是指禁止利用姿势来执行对电视机2的操作的人物。
时机判定部26基于电视机2或者姿势识别装置1的当前或者过去的处理，判定是否处于用户希望利用姿势进行操作的操作时机。具体而言，时机判定部26从姿势识别装置存储部12读取操作时机信息43。然后，时机判定部26从姿势识别装置存储部12读取姿势识别装置处理历史信息45，并从电视机控制部51获取表示电视机2的当前的处理内容的信息和表示过去的处理内容的电视机处理历史信息61，判定当前时刻是否满足操作时机信息43所表示的处理条件。
输出部27是基于人物判定部22、用户判定部24以及时机判定部26的判定结果，向电视机控制部51输出用于指示规定信息的通知的指示信号或者用于指示所述通知的消除的指示信号的装置。
具体而言，在人物判定部22判定为未拍摄到人物且时机判定部26判定为处于操作时机的情况下，输出部27向电视机控制部51输出用于指示特定通知的人物视场角外通知指示信号（人视场角外通知指示信息），该特定通知是指，未拍摄到操作对象者（用户）的通知。另外，在人物判定部22判定为未拍摄到人物且时机判定部26判定为处于操作时机的情况下，输出部27也可以向电视机控制部51输出用于指示特定通知的姿势视场角外通知指示信号来取代人物视场角外通知指示信号，其中，该特定通知是指，未拍摄到姿势的通知。另外，在用户判定部24判定为既不是操作对象者也不是操作禁止者且时机判定部26判定为处于操作时机的情况下，输出部27向电视机控制部51输出用于指示特定通知的非操作对象者通知指示信号（非操作对象者通知指示信息），其中，该特定通知是指，不是操作对象者的通知。另外，在用户判定部24判定为操作对象者且电视机2进行未拍摄到姿势的通知或不是操作对象者的通知的情况下，输出部27向电视机控制部51输出用于指示消除该通知的通知消除指示信号。
此外，输出部27也可以在人物判定部22判定为未拍摄到人物时，向电视机控制部51输出用于指示未拍摄到操作对象者（用户）的通知的人物视场角外通知指示信号。
另外，输出部27向电视机控制部51输出由姿势识别执行部28生成的操作信号。另外，输出部27向电视机控制部51输出由姿势识别执行部28生成的姿势识别错误信号。
姿势识别执行部28在用户判定部24判定为操作对象者时，执行姿势识别处理。具体而言，姿势识别执行部28在开始姿势识别处理时，从图像获取部21获取按时间顺序排列的多个图像，并且从姿势识别装置存储部12读取姿势信息44。然后，姿势识别执行部28根据获取的多个图像检测姿势信息44所示的姿势。
姿势识别执行部28在检测出规定的姿势时，生成在姿势信息44中与检测出的姿势相对应的操作信号。另一方面，在不能够检测出姿势时，姿势识别执行部28也可以生成姿势识别错误信号。
另外，姿势识别执行部28将执行了姿势识别处理的日期和时刻、生成的操作信号或姿势识别错误信号以及操作对象者相互对应起来生成姿势识别装置处理历史信息45，并将该姿势识别装置处理历史信息45保存在姿势识别装置存储部12中。
信息设定部29是用于设定人物确定信息41、用户信息42、操作时机信息43以及姿势信息44的装置。具体而言，信息设定部29基于来自用户的指示，即，从电视机控制部51获取输入到操作部54的操作信号或者从姿势识别执行部28获取操作信号而基于获取的操作信号生成或更新各信息。
另外，在规定数量的处理历史作为姿势识别装置处理历史信息45保存在姿势识别装置存储部12中时，信息设定部29也可以参照姿势识别装置处理历史信息45，将通过姿势执行操作的次数为规定次数的人物设定为操作对象者，并对用户信息42进行更新。
另外，在新的处理历史作为姿势识别装置处理历史信息45保存在姿势识别装置存储部12中时，信息设定部29也可以参照最新的处理历史，仅限在规定期间内仅将刚刚通过姿势进行了操作的人物设定为操作对象者，并对用户信息42进行更新。
另外，信息设定部29也可以参照姿势识别装置处理历史信息45，仅限在规定期间内将在规定期间内通过姿势执行了操作的一个或多个人物设定为操作对象者，并对用户信息42进行更新。例如，当用户X通过姿势执行了操作时，将之后的5分钟作为等候操作时间。假设用户Y在等候操作时间内通过姿势执行了操作。在该情况下，信息设定部29在等候操作时间结束后，在规定的操作对象者有效期间（例如，15分钟）内将用户X和用户Y设定为操作对象者。
此外，信息设定部29也可以在从设定了操作对象者或操作禁止者开始经过了规定期间之后，解除针对操作对象者或操作禁止者的设定。也就是说，信息设定部29也可以事先规定针对操作对象者或操作禁止者的设定有效的期间，在设定有效期间内，将规定的用户设定为操作对象者或操作禁止者，在设定有效期间结束后，解除该设定。另外，信息设定部29也可以基于来自用户的指示，即，从电视机控制部51获取输入至操作部54的操作信号或者从姿势识别执行部28获取操作信号，并基于获取的操作信号解除针对操作对象者或操作禁止者的设定。
另外，信息设定部29也可以从电视机控制部51获取电视机处理历史信息61而且从姿势识别装置存储部12读取姿势识别装置处理历史信息45，并基于电视机处理历史信息61和姿势识别装置处理历史信息45，学习用户希望通过姿势进行操作的操作时机，并对操作时机信息43进行更新。
姿势识别装置存储部12是保存供姿势识别装置控制部11进行参照的程序、数据等的装置，例如保存上述的人物确定信息41、用户信息42、操作时机信息43、姿势信息44、以及姿势识别装置处理历史信息45等。
分别基于图4～图8对保存在姿势识别装置存储部12中的人物确定信息41、用户信息42、操作时机信息43、姿势信息44以及姿势识别装置处理历史信息45进行说明。图4是示出保存在姿势识别装置存储部12中的人物确定信息41的一个例子的图。图5是示出保存在姿势识别装置存储部12中的用户信息42的一个例子的图。图6是示出保存在姿势识别装置存储部12中的操作时机信息43的一个例子的图。图7是示出保存在姿势识别装置存储部12中的姿势信息44的一个例子的图。图8是示出保存在姿势识别装置存储部12中的姿势识别装置处理历史信息45的一个例子的图。
（人物确定信息）
如图4所示，人物确定信息41是用户名和用于个别地确定该用户的个别确定信息以及表示该用户的属性的个人属性信息相互对应的信息。在图示的例子中，作为个别确定信息存在“特征量”。“特征量”例如是从用户的人体图像和/或脸部图像中抽取的信息。人物确定部23参照“特征量”，从人物判定部22所检测出的人体图像或者脸部图像中抽取特征量，并确定该特征量是否与人物确定信息41中包含的某一项特征量一致或近似，从而个别地确定用户。
另外，在图示的例子中，作为个人属性信息，存在“性别”、“身高”、“年龄”、“人种”以及“装饰品”。“性别”表示用户的性别。人物确定部23根据人物判定部22检测出的人体图像或者脸部图像，基于嘴唇的颜色、皮肤的颜色、基于眉毛的形状或颜色来判断的化妆的有无、美甲（nail）的有无、胡须的有无、指甲的形状（长指甲时是女性，短指甲时是男性等）、服装、鞋袜等来确定用户的性别。人物确定部23根据确定的性别判断是哪一个用户。例如，在图示的例子中，如果能够判断为女性，则因为女性用户只有“母亲”，所以能够将用户确定为“母亲”。
另外，“身高”表示用户的身高。人物确定部23根据人物判定部22检测出的人体图像或者脸部图像确定拍摄到的人的身高，并根据确定的身高判断是哪一个用户。
另外，“年龄”表示用户的年龄。人物确定部23根据人物判定部22检测出的人体图像或者脸部图像确定拍摄到的人的年龄，并根据确定的年龄判断是哪一个用户。
另外，“人种”表示用户的人种。人物确定部23根据人物判定部22检测出的人体图像或脸部图像，基于瞳孔的颜色、皮肤的颜色、头发的颜色等，确定拍摄到的人的人种，并根据确定的人种判断是哪一个用户。
另外，“装饰品”表示用户戴在身上的装饰品。人物确定部23根据人物判定部22检测出的人体图像或者脸部图像，对眼镜、戒指、手表等装饰品进行检测，判断佩戴了检测出的装饰品的人物是哪一个用户。
此外，人物确定信息41中也可以包含有“体型”、“发型”等信息作为个人属性信息。另外，在图示的例子中，人物确定信息41中包含六种信息，但是人物确定信息41只需包含个别确定信息或者个人属性信息中的至少一种信息即可。
（用户信息）
如图5所示，用户信息42是表示哪个用户被设定为操作对象者或操作禁止者的信息。在图5所示的例子中，“父亲”被设定为操作对象者，“孩子”被设定为操作禁止者。在图5所示的例子中，将用户个人设定为操作对象者和操作禁止者，但是并不仅限于此。例如，也可以将“女性”设定为操作对象者，或者将“未成年人”设定为操作禁止者，或者以用户的属性来设定操作对象者或操作禁止者。
此外，在本实施方式中，只有被设定为操作对象者的用户能够通过姿势执行操作，但是并不仅限于此。例如，也可以设定为无论谁都能够利用姿势自由地操作电视机的状态。在该情况下，例如可以将操作对象者设定为“全部用户”。
另外，如上所述，操作对象者和操作禁止者也可以事先通过用户的指示或者缺省来设定。
（操作时机信息）
如图6所示，操作时机信息43是表示视为是操作时机的条件的信息，该条件用于判断是否处于用户希望利用姿势进行操作的操作时机。
认为以下各时刻为用户希望利用姿势进行操作的操作时机的可能性高：即，电子设备进行了规定的处理之后、电子设备正在进行规定的处理的期间内、从电子设备进行了规定的处理开始经过了规定期间之后、通过姿势进行了操作之后、从通过姿势进行了操作开始经过了规定期间之后等。因此，设定图6所示的条件作为用于判断是否处于操作时机的条件。
在图6所示的例子中，时机判定部26从姿势识别装置存储部12中读取姿势识别装置处理历史信息45，并分别判断当前时刻是不是在通过姿势进行了操作之后的5分钟以内，或者是不是在从通过姿势进行了操作开始经过了20分钟后的5分钟以内，在是任一者的情况下判断为是操作时机。另外，时机判定部26从电视机控制部51获取电视机处理历史信息61，并分别判断当前时刻是不是在打开电视机的电源之后的5分钟以内，或者是不是在变更音量之后的1分钟以内，或者是不是在从变更频道的操作开始经过了1小时后的5分钟以内，在是任一者的情况下判断为是操作时机。另外，时机判定部26从电视机控制部51获取表示电视机2的当前的处理内容的信息，如果电视机2当前正在显示广告（CM），则判定为是操作时机。
这样，在本实施方式中，时机判定部26在操作时机信息43中包含的任一项条件得到满足时，判定为是操作时机，但是并不仅限于此。例如，时机判定部26也可以在操作时机信息43中包含的规定数量以上的条件得到满足时，判定为是操作时机。另外，时机判定部26也可以针对各条件事先设定可靠度，在可靠度的总值（和值）大于等于规定值时判定为是操作时机。另外，也可以与每一用户相对应地事先设定操作时机信息43中包含的各条件。由此，时机判定部26能够与各用户的使用形态相配合地判定操作时机。
另外，也可以追加特定的时间带、星期几等进一步的条件作为操作时机信息43的各条件。另外，在根据电子设备的特性、个人的使用形态，电子设备被周期地操作时，也可以将周期性的条件设定为操作时机。这样，就操作时机而言，操作时机根据电子设备的特性（属性）、操作者的使用形态而分成多种。因此，优选根据电子设备的特性（属性）、操作者的使用形态而适当地设定或者学习操作时机。
（姿势信息）
如图7所示，姿势信息44是姿势与操作信号相对应的信息。例如，在根据获取的图像来检测出操作对象者采取“只立起右手食指”的姿势时，姿势识别执行部28生成操作信号“S01”。此外，操作信号“S01”是控制电视机2的电源开/关的信号，操作信号“S02”是控制电视机2的频道变更的信号，操作信号“S03”是控制电视机2的音量变更的信号。
（姿势识别装置处理历史信息）
如图8所示，姿势识别装置处理历史信息45是如下的信息：即，在所述姿势识别装置处理历史信息45中，由姿势识别执行部28生成的操作信号、姿势识别执行部28执行了姿势识别处理的处理日期和时刻以及进行了由姿势识别执行部28识别出的姿势的操作对象者相互对应。
此外，在图1所示的例子中，电视机2搭载姿势识别装置1，但是并不仅限于此，也可以是电视机2具有姿势识别装置1的全部功能。具体而言，也可以是电视机控制部51具有姿势识别装置控制部11的功能，电视机存储部52具有姿势识别装置存储部12所保存的信息，电视机通信部53具有姿势识别装置通信部13的功能。
<姿势识别装置的处理>
接下来，基于图9～图13说明由姿势识别装置1执行的处理。图9是示出由姿势识别装置1执行的处理的一个例子的流程图。另外，图10～图13是示出摄像头3拍摄到的图像的图。在此，假设图5中示出的信息作为用户信息42保存在姿势识别装置存储部12中。也就是说，假设操作对象者是“父亲”、操作禁止者是“孩子”、“母亲”是既不是操作对象者也不是操作禁止者的人物。
[摄像头拍摄到的图像中未拍摄有任何人的情况]
首先，针对如图10所示地摄像头3拍摄到的图像中未拍摄有任何人的情况下的处理进行说明。
如图9所示，图像获取部21经由姿势识别装置通信部13从摄像头3获取摄像头3拍摄到的图像（S1）。人物判定部22判定图像获取部21所获取的图像中是否拍摄有人物（S2）。在此，因为图10所示的图像中未拍摄到任何人，所以人物判定部22不会从图像中检测出任何人物，从而判定为未拍摄到人物。
当人物判定部22判定为未拍摄到人物时（S2：否），时机判定部26基于电视机2或者姿势识别装置1的当前或过去的处理，判定是否处于用户希望通过姿势进行操作的操作时机（S3）。当时机判定部26判定为处于操作时机时（S3：是），输出部27向电视机控制部51输出用于指示未拍摄到姿势或操作对象者的通知的人物视场角外通知指示信号（S4）。另一方面，当时机判定部26判定为不处于操作时机时（S3：否），输出部27不进行任何输出，返回到S1。
[摄像头拍摄到的图像中拍摄有“母亲”的情况]
接下来，针对如图11所示地摄像头3拍摄到的图像中拍摄有“母亲”的情况下的处理进行说明。
如图9所示，图像获取部21经由姿势识别装置通信部13从摄像头3中获取摄像头3拍摄到的图像（S1）。人物判定部22判定图像获取部21所获取的图像中是否拍摄有人物（S2）。在此，因为图11所示的图像中拍摄有“母亲”的脸等，所以人物判定部22根据图像检测出人物，从而判定为拍摄到了人物。
当人物判定部22判定为拍摄到了人物时（S2：是），人物确定部23从姿势识别装置存储部12读取人物确定信息41，并基于人物确定信息41确定由人物判定部22检测出的人（S5）。在此，人物确定部23确定人物判定部22检测出的人物是“母亲”。
接着，用户判定部24从姿势识别装置存储部12读取用户信息42，并基于用户信息42判定由人物确定部23确定的人物是否为操作对象者（S6）。在此，因为“母亲”不是操作对象者，所以用户判定部24判定为不是操作对象者（S6：否）。接下来，用户判定部24基于用户信息42判定由人物确定部23确定的人物是否为操作禁止者（S7）。在此，因为“母亲”也不是操作禁止者，所以用户判定部24判定为不是操作禁止者（S7：否）。
接着，时机判定部26基于电视机2或者姿势识别装置1的当前或过去的处理，判定是否处于用户希望通过姿势进行操作的操作时机（S8）。当时机判定部26判定为处于操作时机时（S8：是），输出部27向电视机控制部51输出用于指示不是操作对象者的通知的非操作对象者通知指示信号（S9）。另一方面，当时机判定部26判定为不处于操作时机时（S8：否），输出部27不进行任何输出，返回到S1。
[摄像头拍摄到的图像中拍摄有“孩子”的情况]
接下来，针对如图12所示地摄像头3拍摄到的图像中拍摄有“孩子”的情况下的处理进行说明。
如图9所示，图像获取部21经由姿势识别装置通信部13从摄像头3中获取摄像头3拍摄到的图像（S1）。人物判定部22判定图像获取部21所获取的图像中是否拍摄有人物（S2）。在此，因为图12所示的图像中拍摄有“孩子”的脸等，所以人物判定部22根据图像检测出人物，从而判定为拍摄到了人物。
当人物判定部22判定为拍摄到了人物时（S2：是），人物确定部23从姿势识别装置存储部12读取人物确定信息41，并基于人物确定信息41确定由人物判定部22检测出的人（S5）。在此，人物确定部23确定人物判定部22检测出的人物是“孩子”。
接着，用户判定部24从姿势识别装置存储部12读取用户信息42，并基于用户信息42判定由人物确定部23确定的人物是否为操作对象者（S6）。在此，因为“孩子”不是操作对象者，所以用户判定部24判定为不是操作对象者（S6：否）。接下来，用户判定部24基于用户信息42判定由人物确定部23确定的人物是否为操作禁止者（S7）。在此，因为“孩子”是操作禁止者，所以用户判定部24判定为操作禁止者（S7：是）。当用户判定部24判定为操作禁止者时，输出部27不进行任何输出，返回到S1。
[摄像头拍摄到的图像中拍摄有“父亲”的情况]
接下来，针对如图13所示地摄像头3拍摄到的图像中拍摄有“父亲”的情况下的处理进行说明。
如图9所示，图像获取部21经由姿势识别装置通信部13从摄像头3获取摄像头3拍摄到的图像（S1）。人物判定部22判定图像获取部21所获取的图像中是否拍摄有人物（S2）。在此，因为图12所示的图像中拍摄有“父亲”的脸等，所以人物判定部22根据图像检测出人物，从而判定为拍摄到了人物。
当人物判定部22判定为拍摄到了人物时（S2：是），人物确定部23从姿势识别装置存储部12读取人物确定信息41，并基于人物确定信息41确定由人物判定部22检测出的人（S5）。在此，人物确定部23确定人物判定部22检测出的人物是“父亲”。
接着，用户判定部24从姿势识别装置存储部12读取用户信息42，并基于用户信息42判定由人物确定部23确定的人物是否为操作对象者（S6）。在此，因为“父亲”是操作对象者，所以用户判定部24判定为是操作对象者（S6：是）。
在此，当电视机控制部51正基于指示信号执行通知处理时（S10：是），输出部27向电视机控制部51输出用于指示消除该通知的通知消除指示信号（S11）。然后，姿势识别执行部28执行姿势识别处理（S11）。另一方面，当电视机控制部51没有在执行通知处理时（S10：否），输出部27不进行任何输出，姿势识别执行部28执行姿势识别处理（S12）。
此外，在图9所示的处理例中，在判定是否为操作对象者之后执行姿势识别处理，但是并不仅限于此。例如，也可以针对图像获取部21所获取的图像，首先由姿势识别执行部28执行姿势识别处理，在不能够正常进行姿势识别时，进行上述S2～S9的处理。
<变形例>
作为变形例，对电子设备是安全门（security gate）的情况进行说明。该安全门设置在只有女性会员能够进入的房间的入口。而且，在此操作对象者被设定为经过事先注册的女性用户，操作禁止者被设定为男性。
在该情况下，当女性会员虽然做出了姿势，但未被摄像头拍摄到时，安全门向女性会员发出表示未拍摄到姿势的通知。另外，在不是会员的女性做出了姿势时，安全门向不是会员的女性发出表示不是操作对象者也就是非会员的通知。此时，安全门也可以向不是会员的女性通知成为会员所需要的信息。另外，在男性做出姿势时，安全门不进行任何通知。在安全门等中，从安全性的角度出发，向允许者（操作对象者）和可能成为允许者的人物以外的人物（在该情况下是指男性）通知在通过姿势进行的操作中产生了错误，不是优选的。
此外，虽然取决于安全性与用户的便利之间的平衡，但是当在性别判定处理中执行错误的判定处理的频率不低时，安全门可以在判断为男性的情况下，也在多次的判定处理中偶尔发出表示非会员的通知。
<用于解决问题的手段>
本发明的姿势识别装置根据摄像头拍摄到的图像来识别人的姿势，并基于识别出的姿势向电子设备输出用于控制该电子设备的信息，其具有：人判定单元，判定上述图像中是否包含有人；以及输出单元，在上述人判定单元判定为上述图像中未包含有人时，输出用于指示第一通知的人视场角外通知指示信息，其中，上述第一通知是指，未拍摄到人的通知。
本发明的姿势识别装置的控制方法用于控制姿势识别装置，该姿势识别装置根据摄像头拍摄到的图像来识别人的姿势，并基于识别出的姿势向电子设备输出用于控制该电子设备的信息，其包括：人判定步骤，判定上述图像中是否包含有人；以及输出步骤，当在人判定步骤中判定为上述图像中未包含有人时，输出用于指示第一通知的人视场角外通知指示信息，其中，上述第一通知是指，未拍摄到人的通知。
根据上述结构，在摄像头拍摄到的图像中未包含有人时，输出单元向电子设备输出用于指示未拍摄到人的通知的人视场角外通知指示信息。电子设备基于人视场角外通知指示信息，向操作电子设备的人发出表示未拍摄到人的通知。
因此，操作电子设备的人基于来自电子设备的通知，能够判断摄像头拍摄到的图像中是否包含有自身，即，能够判断自身是否在摄像头的视场角外。因此，起到能够防止操作电子设备的人的如下的无意义的动作的效果：即，尽管未拍摄到操作电子设备的人自身，但该人为了使姿势被识别而多次重复相同的姿势。
另外，优选地，本发明的姿势识别装置还具有时机判定单元，该时机判定单元基于上述电子设备或者上述姿势识别装置的当前或过去的处理，判定是否处于人希望通过姿势进行操作的操作时机，当上述人判定单元判定为上述图像中未包含有人且上述时机判定单元判定为处于操作时机时，上述输出单元输出上述人视场角外通知指示信息。
根据上述结构，当摄像头拍摄到的图像中未包含有人且是人希望通过姿势进行操作的操作时机时，输出单元向电子设备输出用于指示未拍摄到人的通知的人视场角外通知指示信息。
当操作电子设备的人不在视场角内时，存在操作电子设备的人希望通过姿势进行操作然而该人不在视场角内的情况，但是也存在由于人不希望通过姿势进行操作所以该人不在视场角内的情况。因此，只在操作电子设备的人不在视场角内且该人希望通过姿势进行操作时才向操作电子设备的人发出表示不在视场角内的通知，由此能够不妨碍操作电子设备的人对电子设备的使用，防止该人的无意义的动作。
另外，优选地，在本发明的姿势识别装置中，在当前时刻为自从上述姿势识别装置向上述电子设备输出基于姿势识别的上述信息起规定期间以内的时刻时，上述时机判定单元判定为处于操作时机。
认为在人通过姿势进行操作之后的规定期间内人再次通过姿势进行操作的可能性高。因此，如上述结构那样，在当前时刻为自从上述姿势识别装置向上述电子设备输出基于姿势识别的上述信息起规定期间以内的时刻时，上述时机判定单元判定为处于操作时机，由此能够基于姿势识别装置的处理，高精度地确定操作时机。
另外，优选地，在本发明的姿势识别装置中，当自从上述姿势识别装置向上述电子设备输出基于姿势识别的上述信息起经过了规定期间时，上述时机判定单元判定为处于操作时机。
认为在自从人通过姿势进行了操作起经过了规定期间的状态下人再次通过姿势进行操作的可能性高。例如，当电子设备是电视机时，节目以一个小时为单位构成的情况较多，另外，在节目结束时可能变更至其他频道。因此，在电视机的情况下，认为在自从进行操作开始经过了一个小时后，再次进行频道切换等操作的可能性高。
因此，如上述结构那样，当自从上述姿势识别装置向上述电子设备输出基于姿势识别的上述信息起经过了规定期间时，上述时机判定单元判定为处于操作时机，由此能够基于姿势识别装置的处理，高精度地确定操作时机。
另外，优选地，在本发明的姿势识别装置中，在上述电子设备在规定的期间内执行了规定的处理时，上述时机判定单元判定为处于操作时机。
认为在电子设备执行了规定处理后的规定期间之内人再次通过姿势进行操作的可能性高。例如，认为人在打开电子设备的电源后立即操作电子设备的可能性高。
因此，如上述结构那样，在上述电子设备在规定的期间内执行了规定的处理时，上述时机判定单元判定为处于操作时机，由此能够基于姿势识别装置的处理，高精度地确定操作时机。
另外，优选地，在本发明的姿势识别装置中，上述电子设备是电视机，在上述电视机显示广告时，上述时机判定单元判定为处于操作时机。
认为在电视机显示广告时人进行频道切换等操作的可能性高。因此，如上述结构那样，上述时机判定单元在上述电视机显示广告时判定为处于操作时机，由此能够基于姿势识别装置的处理，高精度地确定操作时机。
另外，优选地，本发明的姿势识别装置还具有操作对象者判定单元，该操作对象者判定单元判定由上述人判定单元判定为包含在上述图像中的人是否为能够通过姿势对上述电子设备进行操作的操作对象者，当上述操作对象者判定单元判定为不是操作对象者时，上述输出单元输出用于指示第二通知的非操作对象者通知指示信息，其中，上述第二通知是指，不是操作对象者的通知。
在操作电子设备的人不是操作对象者时，即，在该人不能够通过姿势对上述电子设备进行操作时，上述输出单元输出用于指示不是操作对象者的通知的非操作对象者通知指示信息。
因此，操作电子设备的人能够基于来自电子设备的通知判断自身是否为操作对象者。因此，能够防止该人的如下的无意义的动作：即，尽管不能够通过姿势进行操作，但操作电子设备的人为了使姿势被识别而多次重复相同的姿势。
另外，优选地，本发明的姿势识别装置还具有操作禁止者判定单元，该操作禁止者判定单元判定由上述人判定单元判定为包含在上述图像中的人是否为被禁止通过姿势对上述电子设备进行操作的操作禁止者，当上述操作禁止者判定单元判定为操作禁止者时，上述输出单元不输出上述非操作对象者通知指示信息。
在想要操作电子设备的人是操作禁止者时，即，在想要操作电子设备的人被禁止通过姿势操作上述电子设备时，上述输出单元不输出用于指示不是操作对象者的通知的非操作对象者通知指示信息。因为操作禁止者不能够通过姿势对上述电子设备进行操作，所以无需通知用于容易地进行姿势识别的信息等。
因此，当想要操作电子设备的人是操作禁止者时，不通知上述信息，由此，妨碍操作禁止者以外的人使用电子设备的情况能够得以减少，而且能够防止向操作禁止者提供多余的信息。
另外，优选地，在本发明的姿势识别装置中，上述操作对象者判定单元将事先被设定为能够通过姿势对上述电子设备进行操作的人判定为操作对象者。
另外，优选地，在本发明的姿势识别装置中，上述操作对象者判定单元将通过姿势对上述电子设备进行操作的次数为规定次数人判定为操作对象者。
另外，优选地，在本发明的姿势识别装置中，上述操作对象者判定单元将在规定期间内通过姿势对上述电子设备进行了操作的人判定为操作对象者。
另外，本发明的电子设备具有上述姿势识别装置和通知单元，该通知单元按照上述输出单元输出的信息向人发出通知。
根据上述结构，电子设备起到与上述姿势识别装置相同的效果。
此外，上述姿势识别装置也可以通过计算机实现，在该情况下，通过使计算机发挥上述姿势识别装置的各单元的功能而使计算机实现上述姿势识别装置的控制程序、以及记录有该控制程序的计算机可读取的记录介质也包含在本发明的范围内。
<补充>
本发明并不仅限于上述实施方式，而在权利要求所示的范围内能够进行各种变更。即，对在权利要求所示的范围内进行了适当变更而得的技术手段进行组合所获得的实施方式也包含在本发明的技术范围内。
最后，姿势识别装置1的各功能块，尤其是姿势识别装置控制部11可以由硬件逻辑器件构成，也可以如下所述通过利用CPU由软件实现。
即，姿势识别装置1具有执行用于实现各功能的控制程序的命令的CPU、保存了上述程序的ROM、展开上述程序的RAM、以及保存上述程序及各种数据的存储器等存储装置（记录介质）等。并且，本发明的目的也能够通过如下方式实现，即，向上述姿势识别装置1提供计算机可读取的记录介质，该记录介质记录有实现上述功能的软件即姿势识别装置1的控制程序的程序代码（执行形式程序、中间代码程序、源程序），使该计算机（或者，CPU、MPU（微处理器））读取并执行记录在记录介质内的程序代码。
作为上述记录介质，例如，能够使用如下的设备：磁带、盒式磁带（cassettetape）等磁带类；包括软盘（Floppy disk：注册商标）/硬盘等磁盘、CD-ROM（只读光盘）/MO（光磁盘）/MD（迷你光盘）/DVD（数字多功能光盘）/CD-R（数据写入光盘）等光盘的盘（disk）类，IC卡（包括存储卡）／光卡等卡类；或掩膜ROM/EPROM（可擦除可编程只读存储器）/EEPROM（电可擦可编程只读存储器）/快闪ROM等半导体存储器类。
另外，也可以将姿势识别装置1构成为能够与通信网络连接，经由通信网络供给上述程序代码。作为该通信网络，没有特别的限定，例如，能够利用互联网、内联网、外联网、LAN、ISDN（综合业务数字网）、VAN（增值网络）、CATV通信网、虚拟专用网（Virtual Private Network）、电话线路网、移动通信网、卫星通信网等。另外，作为构成通信网络的传送介质，没有特别的限定，例如，能够利用IEEE1394、USB、电力线载波、电缆TV线路、电话线、ADSL（非对称数字用户环路）线路等有线网络，还能够利用IrDA（红外数据组织）、遥控之类的红外线、蓝牙（注册商标）、802.11无线、HDR、移动电话网、卫星线路、地面波数字网等无线网络。此外，本发明还可以通过以电子传送体现上述程序代码的、加载到载波中的计算机数据信号的形式来实现。
产业可用性
本发明能够应用于根据摄像头拍摄到的图像来识别用户的姿势并基于识别出的姿势来控制电子设备的姿势识别装置。
附图标记的说明
1：姿势识别装置；
2：电视机（电子设备）；
3：摄像头；
4：用户；
22：人物判定部（人判定单元）；
24：用户判定部（操作对象者判定单元、操作禁止者判定单元）；
26：时机判定部（时机判定单元）；
27：输出部（输出单元）；
55：显示部（通知单元）；
56：声音输出部（通知单元）。

Claims (15)

1.一种姿势识别装置，根据摄像头拍摄到的图像来识别人的姿势，并基于识别出的姿势向电子设备输出用于控制该电子设备的信息，其特征在于，具有：
人判定单元，判定上述图像中是否包含有人；以及
输出单元，在上述人判定单元判定为上述图像中未包含有人时，输出用于指示第一通知的人视场角外通知指示信息，其中，上述第一通知是指，未拍摄到人的通知。
2.如权利要求1所述的姿势识别装置，其特征在于，
还具有时机判定单元，该时机判定单元基于上述电子设备或者上述姿势识别装置的当前或过去的处理，判定是否处于人希望通过姿势进行操作的操作时机，
当上述人判定单元判定为上述图像中未包含有人且上述时机判定单元判定为处于操作时机时，上述输出单元输出上述人视场角外通知指示信息。
3.如权利要求2所述的姿势识别装置，其特征在于，
在当前时刻为自从上述姿势识别装置向上述电子设备输出基于姿势识别的上述信息起规定期间以内的时刻时，上述时机判定单元判定为处于操作时机。
4.如权利要求2所述的姿势识别装置，其特征在于，
当自从上述姿势识别装置向上述电子设备输出基于姿势识别的上述信息起经过了规定期间时，上述时机判定单元判定为处于操作时机。
5.如权利要求2所述的姿势识别装置，其特征在于，
在上述电子设备在规定的期间内执行了规定的处理时，上述时机判定单元判定为处于操作时机。
6.如权利要求2所述的姿势识别装置，其特征在于，
上述电子设备是电视机，
在上述电视机显示广告时，上述时机判定单元判定为处于操作时机。
7.如权利要求1～6中任一项所述的姿势识别装置，其特征在于，
还具有操作对象者判定单元，该操作对象者判定单元判定由上述人判定单元判定为包含在上述图像中的人是否为能够通过姿势对上述电子设备进行操作的操作对象者，
当上述操作对象者判定单元判定为不是操作对象者时，上述输出单元输出用于指示第二通知的非操作对象者通知指示信息，其中，上述第二通知是指，不是操作对象者的通知。
8.如权利要求7所述的姿势识别装置，其特征在于，
还具有操作禁止者判定单元，该操作禁止者判定单元判定由上述人判定单元判定为包含在上述图像中的人是否为被禁止通过姿势对上述电子设备进行操作的操作禁止者，
当上述操作禁止者判定单元判定为是操作禁止者时，上述输出单元不输出上述非操作对象者通知指示信息。
9.如权利要求7所述的姿势识别装置，其特征在于，
上述操作对象者判定单元将事先被设定为能够通过姿势对上述电子设备进行操作的人判定为操作对象者。
10.如权利要求7所述的姿势识别装置，其特征在于，
上述操作对象者判定单元将通过姿势对上述电子设备进行操作的次数为规定次数的人判定为操作对象者。
11.如权利要求7所述的姿势识别装置，其特征在于，
上述操作对象者判定单元将在规定期间内通过姿势对上述电子设备进行了操作的人判定为操作对象者。
12.一种电子设备，其特征在于，具有：
如权利要求1～11中任一项所述的姿势识别装置，
通知单元，按照上述输出单元输出的信息，向人发出通知。
13.一种姿势识别装置的控制方法，用于控制姿势识别装置，该姿势识别装置根据摄像头拍摄到的图像来识别人的姿势，并基于识别出的姿势向电子设备输出用于控制该电子设备的信息，其特征在于，包括：
人判定步骤，判定上述图像中是否包含有人；以及
输出步骤，当在上述人判定步骤中判定为上述图像中未包含有人时，输出用于指示第一通知的人视场角外通知指示信息，其中，上述第一通知是指，未拍摄到人的通知。
14.一种控制程序，其特征在于，
用于使如权利要求1～11中任一项所述的姿势识别装置动作，
使计算机发挥上述姿势识别装置的各单元的功能。
15.一种记录介质，其特征在于，
记录有如权利要求14所述的控制程序，并且能够由计算机读取。
CN201280035734.2A 2011-09-15 2012-03-14 姿势识别装置及其控制方法、电子设备 Active CN103688232B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-202433 2011-09-15
JP2011202433A JP5862143B2 (ja) 2011-09-15 2011-09-15 ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
PCT/JP2012/056517 WO2013038733A1 (ja) 2011-09-15 2012-03-14 ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
CN103688232A true CN103688232A (zh) 2014-03-26
CN103688232B CN103688232B (zh) 2016-08-17

Family

ID=47882979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280035734.2A Active CN103688232B (zh) 2011-09-15 2012-03-14 姿势识别装置及其控制方法、电子设备

Country Status (6)

Country Link
US (1) US9304600B2 (zh)
EP (1) EP2746898A4 (zh)
JP (1) JP5862143B2 (zh)
KR (1) KR101597922B1 (zh)
CN (1) CN103688232B (zh)
WO (1) WO2013038733A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106165440A (zh) * 2014-03-28 2016-11-23 马自达汽车株式会社 移动设备用罩体
CN107358888A (zh) * 2017-09-12 2017-11-17 王秀珍 户外显示系统和户外显示主系统
CN109635691A (zh) * 2018-11-30 2019-04-16 泸州与德科技有限公司 一种控制方法、装置、设备及存储介质
CN111176594A (zh) * 2019-09-23 2020-05-19 广东小天才科技有限公司 一种智能音箱的屏幕显示方法及智能音箱、存储介质
CN111480178A (zh) * 2017-12-14 2020-07-31 富士通株式会社 技巧识别程序、技巧识别方法以及技巧识别系统
US11087775B2 (en) 2015-12-11 2021-08-10 Sony Corporation Device and method of noise suppression based on noise source positions
CN114615429A (zh) * 2022-03-03 2022-06-10 深圳市明日实业有限责任公司 手势识别方法、系统、拍摄终端、拍摄系统和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054278A1 (en) * 2013-10-07 2015-04-16 Google Inc. Smart-home hazard detector providing useful follow up communications to detection events
JP6268526B2 (ja) 2014-03-17 2018-01-31 オムロン株式会社 マルチメディア装置、マルチメディア装置の制御方法、及びマルチメディア装置の制御プログラム
CN104076704A (zh) * 2014-06-27 2014-10-01 广东美的制冷设备有限公司 终端及其控制方法
KR101685138B1 (ko) 2015-10-14 2016-12-09 연세대학교 산학협력단 실공간 사용자 인터페이스 장치 및 그 방법
KR102497299B1 (ko) 2016-06-29 2023-02-08 삼성전자주식회사 전자 장치 및 이의 제어 방법
EP3681678A4 (en) * 2017-09-18 2020-11-18 Samsung Electronics Co., Ltd. METHOD OF DYNAMIC INTERACTION AND ELECTRONIC DEVICE THEREFORE
JP7339604B2 (ja) * 2019-11-12 2023-09-06 オムロン株式会社 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090292958A1 (en) * 2008-05-21 2009-11-26 Kabushiki Kaisha Toshiba Electronic apparatus and state notification method
US20100205667A1 (en) * 2009-02-06 2010-08-12 Oculis Labs Video-Based Privacy Supporting System
US20110080254A1 (en) * 2009-10-07 2011-04-07 Samsung Electronics Co., Ltd. System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device
CN102129293A (zh) * 2010-01-15 2011-07-20 微软公司 在运动捕捉系统中跟踪用户组
CN102129292A (zh) * 2010-01-15 2011-07-20 微软公司 在运动捕捉系统中识别用户意图

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4275304B2 (ja) * 2000-11-09 2009-06-10 シャープ株式会社 インターフェース装置およびインターフェース処理プログラムを記録した記録媒体
JP4053903B2 (ja) * 2003-03-07 2008-02-27 日本電信電話株式会社 ポインティング方法、装置、およびプログラム
US7886236B2 (en) 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
JP4613558B2 (ja) 2003-09-16 2011-01-19 パナソニック電工株式会社 画像を用いた人体検知装置
JP4623299B2 (ja) 2005-12-13 2011-02-02 富士フイルム株式会社 撮像装置および撮像方法
JP4905931B2 (ja) 2006-07-04 2012-03-28 富士フイルム株式会社 人体領域抽出方法および装置並びにプログラム
JP4737073B2 (ja) 2006-12-22 2011-07-27 パナソニック電工株式会社 人体検出装置
JP2008244804A (ja) 2007-03-27 2008-10-09 Fujifilm Corp 撮像装置及び撮像方法並びに制御プログラム
CN101874404B (zh) * 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
JP2009301301A (ja) 2008-06-12 2009-12-24 Tokai Rika Co Ltd 入力装置及び入力方法
US20100066689A1 (en) * 2008-06-17 2010-03-18 Jung Edward K Y Devices related to projection input surfaces
EP2327005B1 (en) * 2008-07-25 2017-08-23 Qualcomm Incorporated Enhanced detection of waving gesture
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090292958A1 (en) * 2008-05-21 2009-11-26 Kabushiki Kaisha Toshiba Electronic apparatus and state notification method
US20100205667A1 (en) * 2009-02-06 2010-08-12 Oculis Labs Video-Based Privacy Supporting System
US20110080254A1 (en) * 2009-10-07 2011-04-07 Samsung Electronics Co., Ltd. System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device
CN102129293A (zh) * 2010-01-15 2011-07-20 微软公司 在运动捕捉系统中跟踪用户组
CN102129292A (zh) * 2010-01-15 2011-07-20 微软公司 在运动捕捉系统中识别用户意图

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106165440A (zh) * 2014-03-28 2016-11-23 马自达汽车株式会社 移动设备用罩体
CN106165440B (zh) * 2014-03-28 2019-06-25 马自达汽车株式会社 移动设备用罩体
US11087775B2 (en) 2015-12-11 2021-08-10 Sony Corporation Device and method of noise suppression based on noise source positions
CN107358888A (zh) * 2017-09-12 2017-11-17 王秀珍 户外显示系统和户外显示主系统
CN111480178A (zh) * 2017-12-14 2020-07-31 富士通株式会社 技巧识别程序、技巧识别方法以及技巧识别系统
CN111480178B (zh) * 2017-12-14 2024-02-20 富士通株式会社 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统
CN109635691A (zh) * 2018-11-30 2019-04-16 泸州与德科技有限公司 一种控制方法、装置、设备及存储介质
CN111176594A (zh) * 2019-09-23 2020-05-19 广东小天才科技有限公司 一种智能音箱的屏幕显示方法及智能音箱、存储介质
CN111176594B (zh) * 2019-09-23 2023-02-28 广东小天才科技有限公司 一种智能音箱的屏幕显示方法及智能音箱、存储介质
CN114615429A (zh) * 2022-03-03 2022-06-10 深圳市明日实业有限责任公司 手势识别方法、系统、拍摄终端、拍摄系统和存储介质

Also Published As

Publication number Publication date
KR20140027469A (ko) 2014-03-06
US20140225825A1 (en) 2014-08-14
JP5862143B2 (ja) 2016-02-16
US9304600B2 (en) 2016-04-05
CN103688232B (zh) 2016-08-17
JP2013065111A (ja) 2013-04-11
EP2746898A1 (en) 2014-06-25
KR101597922B1 (ko) 2016-02-25
WO2013038733A1 (ja) 2013-03-21
EP2746898A4 (en) 2015-04-08

Similar Documents

Publication Publication Date Title
CN103688232A (zh) 姿势识别装置及其控制方法、程序、电子设备及记录介质
US10606226B2 (en) Method for controlling an external device and an electronic device therefor
CN103688233A (zh) 姿势识别装置及其控制方法、程序、电子设备及记录介质
KR102575272B1 (ko) 유전 정보에 기반하여 가이드 정보를 제공하는 전자 장치 및 그 방법
KR102549216B1 (ko) 사용자 프로파일을 생성하기 위한 전자 장치 및 방법
US10841476B2 (en) Wearable unit for selectively withholding actions based on recognized gestures
KR102277212B1 (ko) 디스플레이 정보를 이용한 홍채 인증 방법 및 장치
US11172450B2 (en) Electronic device and method for controlling operation thereof
CN108351697A (zh) 包括多个显示器的电子设备和用于操作其的方法
CN110008678A (zh) 电子设备和在电子设备中注册指纹的方法
US10691402B2 (en) Multimedia data processing method of electronic device and electronic device thereof
CN106201733A (zh) 用于处理装置之间的输入的方法及其电子装置
US20150269318A1 (en) Privacy Protection Based on Device Presence
CN113553449A (zh) 机器智能预测通信和控制系统
CN107491177A (zh) 用于识别旋转体的旋转的方法及用于处理该方法的电子设备
EP3133471A1 (en) Play control method, apparatus, terminal, and recording medium
KR102401932B1 (ko) 생체 정보를 측정하는 전자 장치와 이의 동작 방법
CN108133757A (zh) 用于提供健康管理服务的设备及其方法
CN108702295A (zh) 基于生物数据进行认证的电子设备及其操作方法
CN108351890A (zh) 电子装置及其操作方法
CN109815672A (zh) 用户终端设备及其控制方法
US11493890B2 (en) Image capture to provide advanced features for configuration of a wearable device
CN107683444A (zh) 电子装置及其电源管理方法
US20240012480A1 (en) Machine learning configurations modeled using contextual categorical labels for biosignals
CN106339148A (zh) 用于提供备忘录功能的设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant