CN103999020A - 用于姿势控制的方法，姿势服务器设备与传感器输入设备 - Google Patents

用于姿势控制的方法，姿势服务器设备与传感器输入设备 Download PDF

Info

Publication number
CN103999020A
CN103999020A CN201280060048.0A CN201280060048A CN103999020A CN 103999020 A CN103999020 A CN 103999020A CN 201280060048 A CN201280060048 A CN 201280060048A CN 103999020 A CN103999020 A CN 103999020A
Authority
CN
China
Prior art keywords
posture
server apparatus
information
sensor input
input equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280060048.0A
Other languages
English (en)
Inventor
科恩·德舒伯
鲁迪·范蒂尔堡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Optical Networks Israel Ltd
Original Assignee
Alcatel Optical Networks Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Optical Networks Israel Ltd filed Critical Alcatel Optical Networks Israel Ltd
Publication of CN103999020A publication Critical patent/CN103999020A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/305—Authentication, i.e. establishing the identity or authorisation of security principals by remotely controlling device operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Vascular Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于至少一个远程可控设备(11)的姿势控制的方法，其包括步骤，在姿势服务器设备(1)处接收来自至少一个传感器输入设备(9，11，14)的信息，由姿势服务器设备(1)检测接收的来自所述至少一个传感器输入设备(9，11)的信息中的姿势，以及由姿势服务器设备(1)根据检测的姿势远程控制所述至少一个远程可控设备(11)。本发明进一步涉及一种用于执行以上所述方法的姿势服务器设备(1)。本发明还涉及一种用于将信息提供至姿势服务器设备(1)的传感器输入设备(9，11)，据此所述传感器输入设备(9，11)适于将对象(10，11，12)和/或对象(10，11，12)运动的检测作为信息来提供。

Description

用于姿势控制的方法,姿势服务器设备与传感器输入设备
技术领域
本发明涉及一种用于至少一个远程可控设备的姿势控制(gesturecontrol)的方法，一种执行该前述方法的姿势服务器设备，以及一种用于将信息提供至姿势服务器设备的传感器输入设备。
背景技术
在姿势识别领域中，已知多种可以通过姿势来控制的设备。所述姿势例如在该设备的触摸屏上被执行，该设备随后识别该姿势，或者所述姿势未接触该设备而被执行，例如通过直接朝向该用户的视频摄像头。该视频摄像头可以作为该设备的组成部分，或者连接至那里的单独设备。该等设备具有检测并解译姿势的算法，特别为它们的目的。这样的设备的姿势控制已经被证明是可靠的并且被提供用于越来越多不同种类的设备。
如以上描述的姿势控制的现有实施方式的缺点在于每个设备不得不单独地被提供用于姿势控制的装置，并且每个设备不得不实施和执行姿势控制算法。
发明内容
因此，本发明的一个目的在于提供用于姿势控制的方法以及姿势服务器设备，该方法以及该姿势服务器设备允许对任何种类的远程可控设备应用姿势控制并且使得姿势识别能够具有高可靠性。该发明进一步的目的在于使得能够进行可变的姿势控制，其与姿势被执行的方式具有高度独立性。本发明的另一个目的在于提供传感器输入设备用于有效地将信息提供至该姿势服务器设备并且该传感器输入设备通过以上方法和姿势服务器设备来促进姿势的检测。
该目的通过独立权利要求被完成。有益的实施例在从属权利要求中给出。
特别地，本发明提供一种用于至少一个远程可控设备的姿势控制的方法，该方法包括步骤，在姿势服务器设备处接收来自至少一个传感器输入设备的信息，由该姿势服务器设备检测所接收的来自所述至少一个传感器输入设备的信息中的姿势，以及由该姿势服务器设备根据所检测的姿势来远程控制所述至少一个远程可控设备。
本发明还提供一种姿势服务器设备，其包括输入连接器，用于接收来自至少一个传感器输入设备的信息，处理单元，用于检测所接收的来自所述至少一个传感器输入设备的信息中的姿势，以及输出连接器，用于根据所检测的姿势来远程控制所述至少一个远程可控设备，据此该姿势服务器设备适于执行以上方法。
此外，本发明提供一种传感器输入设备，其用于将信息提供至姿势服务器设备，据此该传感器输入设备适于将对象和/或对象运动的检测作为信息来提供。
本发明的基本思想在于使得姿势检测独立于特定设备，以便姿势控制可以被应用到任何种类的远程可控设备。任何远程可控设备可以轻易地被控制，而不用在每个设备上单独地实施姿势控制，并且用于姿势控制的资源可以独立于远程可控设备的资源。这使得对于低计算能力的设备能够使用姿势控制。电池驱动设备可以节能，由于在这样的设备上无需电力用于姿势检测。该姿势服务器设备作为核心设备被提供，接收来自至少一个传感器输入设备的信息，检测该姿势并且根据所检测的姿势来远程控制所述至少一个远程可控设备。姿势在该姿势服务器设备处被定义，并且所述至少一个传感器输入设备的信息也由该姿势服务器设备处理。在该姿势服务器设备以及所述至少一个传感器输入设备之间的通信连接在传感器输入设备的信息输出连接器和该姿势服务器设备的输入连接器之间被建立。这个通信连接的实施方式可以为任何适合的种类，包括有线的和/或无线的通信连接或它们的组合。该姿势服务器设备经由其输出连接器来控制远程可控设备。相应的控制命令经由通信连接从该输出连接器被发送至远程可控设备的控制输入连接器。根据之前提到的在该传感器输入设备和该姿势服务器设备之间的通信连接，该姿势服务器设备的输出连接器和远程可控设备的控制输入连接器之间的通信连接可以为任何种类。优选地，该姿势服务器设备的输入和输出连接器被提供为组合的输入/输出连接器。尽管该姿势服务器设备在此被描述为单一设备，该姿势服务器设备也可被实施为具有多个独立的设备。特别地，该处理单元可以被实施为具有多个单个处理器的共享的处理单元，例如作为基于云的处理单元。传感器输入设备可以为任何种类的设备。所接收的来自所述至少一个传感器输入设备的信息或者是由该传感器输入设备收集的信息，或者是由该传感器输入设备收集的信息的经任何种类的预处理所获得的信息。这样的预处理可以包括数据压缩。
如以上规定的姿势涉及任何种类的对象和/或对象运动的识别，其适合于控制远程可控设备。该对象可以为远程可控设备其自身或者任何其它可由对象定义识别的对象，包括人体部分或人体。因此，这样的姿势可以通过人来执行，例如通过移动手臂或手，这样的姿势也可以通过对象运动的方式或者通过不同对象的识别组合来执行。这样的姿势可以为位于远程可控设备之前的人，这指示该人希望使用这个设备。这个设备个别的远程控制可以在于开启它的屏幕。另一个姿势，在此通过示例的方式给出，一个对象，其为移动计算设备，朝向作为第二对象的打印机方向的运动，以发起对当前显示在该移动计算设备上的文档的打印，该移动计算设备如手持式、平板或笔记本电脑。
在一个优选实施例中，所述在姿势服务器设备处接收来自至少一个传感器输入设备的信息的步骤包括在该姿势服务器设备处接收来自至少一个视频输入设备，触摸屏设备和/或RFID阅读器(RFID-reader)设备的信息。通常，适合用于识别对象的任何种类的传感器输入设备可以被使用。所提到的传感器输入设备仅作为适合的传感器输入设备的示例。优选地，该视频输入设备或者是独立的视频摄像头，或者是任何装有视频摄像头的装置的视频摄像头，该装有视频摄像头的装置如移动电话、平板电脑或电视机。该视频输入设备适于收集以涵盖任何适合波长范围的光，包括可见光、紫外线和/或红外光的视频图像形式的信息，。
根据一个优选的实施例，所述在该姿势服务器设备处接收来自至少一个传感器输入设备的信息的步骤包括在该姿势服务器设备处接收关于由该传感器输入设备识别的对象的信息。因此，该传感器输入设备对其收集的信息执行预处理并且将该预处理的信息提供至该姿势服务器设备。该预处理优选地包括在该传感器输入设备中定义的对象的识别，和/或对象运动的识别。例如视频摄像头设备仅将视频图像中已知对象的识别信息作为信息提供至该姿势服务器设备，与提供完整视频图像相比，这降低了该传感器输入设备和该姿势服务器设备之间的数据流量。简易的对象识别算法可以在该视频摄像头设备处容易地实现，以便装有视频摄像头的现有装置可以基于它们的内置视频摄像头采用低处理负荷执行对象识别，装有视频摄像头的现有装置如移动电话、手持式计算机、平板电脑或电视机。对象识别基于定义数据，定义数据包括存储于该传感器输入设备中的对象定义。这些对象定义可以为通用的、预定义的对象定义。
在一个优选实施例中，该方法包括将关于待识别对象的定义数据从该姿势服务器设备提供至该传感器输入设备的附加步骤。该定义数据包括对象定义，对象定义可以为独特的或通用的、预定义的对象定义。因此，仅适合用于执行姿势的对象由该传感器输入设备检测。例如，如果仅有基于人体部分的运动的姿势被定义，其它对象的识别被禁用从而提升该传感器输入设备的性能。优选地，该姿势服务器设备仅提供适合用于传感器输入设备的定义数据，例如为视频摄像头设备提供对象大小，或者为RFID阅读器设备提供RFID标识符。
在一个优选实施例中，该方法包括附加步骤，在该姿势服务器设备处注册所述至少一个远程可控设备，据此该姿势服务器设备接收来自所述远程可控设备的用于姿势控制的信息。远程可控设备可以提供不同种类的用于姿势控制的信息。首先，远程可控设备可以提供关于所支持的用于执行姿势控制的姿势的信息，包括用于执行姿势的对象的对象定义和/或运动定义。第二，远程可控设备可以提供关于所支持的远程可控功能的信息。第三，姿势组合以及相关联的远程控制功能被提供。此外，当注册的远程可控设备离开该姿势服务器设备的覆盖范围或被关闭时，远程可控设备自身和/或该姿势服务器设备可以注销远程可控设备。因此，远程可控设备用于姿势控制的信息在该姿势服务器设备中被删除或被去激活。用于姿势控制的信息可以直接地由远程可控设备提供，或者该信息可以基于远程可控设备的唯一标识从不同的信息来源获得。例如可以由该姿势服务器设备联系互联网数据库，用于基于该唯一标识接收远程可控设备用于姿势控制的信息。
根据一个优选的实施例，该方法包括附加步骤，在该姿势服务器设备处注册自识别对象，据此该姿势服务器设备接收来自该自识别对象的用于识别该自识别对象的对象定义。该自识别对象仅被用于执行姿势。其可以为任何种类的对象，包括远程可控设备。该对象定义包括适合于至少一种传感器输入设备的对象定义数据。通过提供其用于被识别的对象定义，姿势控制可以基于如早先描述的这个信息而被执行。因此，通过以由姿势定义的方式移动该自识别对象，姿势可以被定义，例如通过将该对象指向用于控制该设备的远程可控设备。用于识别该自识别对象的信息也可以直接地从该对象自身被提供，或者基于该对象的唯一标识从信息的独立来源被提供，如以上所描述的。
根据一个优选的实施例，该自识别对象包括至少一个传感器输入设备，并且所述在该姿势服务器设备处注册自识别对象的步骤包括启动将来自该自识别对象的所述至少一个传感器输入设备的信息传输至该姿势服务器设备。因此，非远程可控的对象也可以将信息提供至该姿势服务器设备，用于改善姿势的检测。多种这样的对象包括可以被用于姿势控制的至少一个传感器输入设备。因此，姿势控制可以被启用而不必提供一种传感器输入设备的基础设施。例如，如现今的移动电话、手持设备、平板电脑、笔记本电脑、计算机以及电视机的对象通常被提供不同的传感器输入设备。为对任何种类的远程可控设备应用姿势控制，仅需将来自传感器输入设备的至少一个前面提到的自识别对象的信息提供至该姿势服务器设备以检测该姿势。传感器输入设备对这样的自识别对象的使用可以与传感器输入设备相结合，形成一种基础设施。
根据一个优选地实施例，该姿势服务器设备适于学习对象和/或姿势和/或远程可控设备的远程控制。该信息可以经由任何种类的接口被提供至该姿势服务器设备。因此，不能将它们自身注册至该姿势服务器设备的对象和/或远程可控设备也可以被使用于姿势控制。
根据一个优选的实施例，该姿势服务器设备适于执行对象和/或姿势的训练，据此该处理单元适于将接收的来自所述至少一个传感器输入设备的信息识别为训练的对象和/或姿势。优选地，该姿势服务器设备适于将训练的对象指定到姿势和/或将训练的姿势指定到远程可控设备的远程控制。该姿势服务器设备优选地适于在特定的操作模式中执行对象和/或姿势的训练。因此，该方法包括附加步骤，将对象和/或姿势训练到该姿势服务器设备，以及将训练的对象和/或姿势指定到远程可控设备的远程控制。实质上，任何远程可控设备的任何远程控制功能可以被指定到特定姿势。优选地，训练姿势包括借助于已知的或者训练的对象来定义姿势并且将这个姿势指定到远程控制功能。在一个优选实施例中，对于不同用户，姿势的训练被单独地执行。
根据一个优选的实施例，该方法包括附加步骤，在该姿势服务器设备中定义通用姿势，以及通过组合对于对象的通用姿势在该姿势服务器设备中定义姿势。该对象可以为任何种类，特别地为自识别对象。这样的通用姿势的一个示例为将远程可控设备移向打印机，例如移向打印机的物理地点或移向该打印机的任何种类的虚拟表现形式。通过将这个通用打印姿势与关于作为对象的这个远程可控设备大小的信息相组合，在这个远程可控设备上用于打印的特定姿势可以被定义。因此，当视频摄像头设备识别与远程可控设备相应的对象时，该视频摄像头设备将这个信息提供至姿势服务器设备，该姿势服务器设备监控这个设备的运动。该姿势服务器设备识别该打印姿势并且控制远程可控设备来打印当前屏幕或文档。
在一个优选实施例中，所述在该姿势服务器设备处检测接收的来自所述至少一个传感器输入设备的信息中的姿势的步骤包括识别用户，并且所述由该姿势服务器设备根据检测的姿势对远程可控设备执行远程控制的步骤包括根据检测的姿势认证远程可控设备的远程控制。因此，远程控制仅限于授权用户。例如，用于激活或登陆远程可控设备的姿势可以取决于用户对这个设备的访问权限被做出。甚至更优选地，激活或登陆可以取决于用户的访问权限被做出，例如个人计算机可以采用相应于该识别的用户的特定登陆被激活。
相应的姿势服务器设备包括身份和授权服务器，其用于认证所述至少一个远程可控设备的远程控制。该姿势服务器设备可以为包括该身份和授权服务器的单一设备，或者该姿势服务器设备包括至少一个担任身份和授权服务器的独立设备以及用于检测姿势的独立设备。该姿势服务器设备甚至可以包括多个独立设备，以用于执行不同的任务和/或子任务。
在一个优选实施例中，所述由该姿势服务器设备检测接收的信息中的姿势的步骤包括作为组合处理来处理接收的多个传感器输入设备的信息，以及检测接收的多个传感器输入设备的信息中的姿势。因此，姿势识别可以高可靠性地被执行，尽管存在由于传感器输入设备的覆盖的限制，例如视频摄像头设备有限的视角或者RFID阅读器设备有限的无线电射程。优选地，来自多个视频摄像头设备的信息被组合以提供场景的全景。甚至更优选地，该姿势服务器设备可以基于多个视频摄像头设备的信息生成三维场景。
在一个优选实施例中，该输入连接器和/或该输出连接器是用于建立数据连接的网络连接器，特别是无线网络连接器。因此，从传感器输入设备提供的信息可以经由数据连接作为信息流被提供，例如作为视频流被提供，或者作为任何种类的预处理的数字信息流。优选地，传感器输入设备以及该姿势服务器设备的连接性通过使用无线网络连接器被提升。输入和输出连接器可以单独地或者作为组合的输入/输出连接器被提供。
由该姿势控制方法以及姿势服务器设备识别的该种姿势是独立于任何种类的单个设备的姿势控制。姿势控制被提供以用于控制任何远程可控设备和/或用于控制两个或更多个远程可控设备之间的交互。在一个示例中，不同远程可控设备相关的地理位置可以由传感器输入设备，例如视频摄像头设备检测，并且通过图标显示在触摸屏上以使得不同的远程可控设备之间的内容能够拖放。该内容随后可以通过任何种类的通信连接从一个设备转移至另一个设备，其中通信连接为或者现有的或者明确建立的通信连接。进一步地，对于相似的对象，多个实体可以例如通过增加设备实体标识被定义。该设备实体标识可以通过条码或序列号的方式被实现。在个人用户的情况下，例如通过视网膜扫描、指纹辨识或读取标记，多个实体可以被区分。因此，一个传感器输入设备可以被用于检测该对象，并且另一个传感器输入设备可以被提供来识别这个对象的实体。在视频摄像头设备作为传感器输入设备的情况下，例如一个摄像头可以覆盖一间房间以启用单一对象的识别，而另一个视频摄像头设备可以被使用于识别这些对象的实体，例如通过读取条码、序列号或视网膜。该第二视频摄像头设备可以为用户携带的移动设备，和/或可以被定向且缩放以检测细节的被操纵设备。操纵可以通过该第一摄像头设备或该姿势服务器设备被实现。用于监控房间的视频摄像头设备以及用于执行实体标识的不同的传感器输入设备的组合也可以被应用，例如用于读取标记的RFID阅读器。
此外，该姿势服务器设备可以控制远程可控设备以促进这个设备或其实体的识别和注册。优选地，该姿势服务器设备联系远程可控设备，也即这个设备的单一实体，并且控制该远程可控设备以生成视觉上可识别的信号，例如闪光，开启显示器，显示特定的显示屏幕，使LED照明，提供红外线或紫外光LED信号，优选地具有特定的序列。这些信号可以由视频摄像头设备识别，视频摄像头设备可以据此检测远程可控设备的实体的地点。进一步地，该视觉上可识别的信号可以被用于标记对象以用于训练该姿势服务器设备。姿势识别可以指视觉对象，视觉对象例如显示在屏幕或另一个可视化设备上。这些视觉对象可以被用于如以上规定的姿势。
附图说明
根据本发明实施例的一些装置和/或方法的实施例在此仅通过示例的方式并参考附图被描述，其中：
图1示出场景以及用于姿势识别的姿势服务器设备的示意图，
图2示出用于初始化姿势服务器设备以及连接的传感器输入设备、自识别对象以及远程可控设备的图，
图3示出用于执行登陆姿势的姿势控制的图，以及
图4示出用于执行打印姿势的姿势控制的图。
具体实施方式
图1示出用于在场景2中执行姿势控制的姿势服务器设备1。该姿势服务器设备1包括姿势识别设备3以及身份和授权服务器4。该姿势识别设备3以及该身份和授权服务器4通过LAN连接5的方式被连接。因此，在该实施例中该姿势识别设备3以及该身份和授权服务器4是该姿势服务器设备1的独立设备。该姿势识别设备3包括处理单元，其未在图中明确示出。
该姿势服务器设备1进一步包括两个输入/输出连接器6，它们被连接至该LAN连接5，并且使得能够建立至该姿势服务器设备1的数据连接。该网络连接7包括WiFi设备8，其将该网络连接7延伸至无线网络连接。
一组三个视频摄像头设备9或者经由该WiFi设备8、或者直接地被连接至该网络连接7。多个视频摄像头设备9中的每个具有视频摄像头，视频摄像头具有被表示为的视角，并且多个视频摄像头设备9中的每个具有处理单元，视频摄像头和处理单元均未在图中明确示出。视频摄像头设备9根据它们各自的视角来提供关于一部分场景的信息，并且视频摄像头设备9形成用于姿势识别的基础设施的部分。
该场景2包括持有平板电脑(tablet-PC)11的用户的人体10，该平板电脑11具有两个内置视频摄像头，如其中的视角所指示。该平板电脑11也装有WiFi模块，以用于经由该WiFi设备8连接至该网络连接7。该平板电脑11因此可以接管视频摄像头设备9的功能。该场景2进一步包括经由该WiFi设备8被连接至该网络连接7的打印机12以及被直接连接至该网络连接7的电视机13。
该姿势服务器设备1的操作以及由该姿势服务器设备1执行的该方法将进一步地被详细描述。
关于图2描述该姿势识别设备3与该身份和授权服务器4和连接设备9、11、12、13的初始化和发现阶段。从步骤S11开始，该姿势识别设备3对该身份和授权服务器4以及连接设备9、11、12、13通告该姿势服务的初始化。
在步骤S12中，该姿势服务器3开始注册阶段，将待识别对象的对象定义作为广播提供至全部连接设备9、11、12、13，待识别对象包括人体以及人体部分的形状。视频摄像头设备9以及该平板电脑11接收这些对象定义以供进一步使用，如下面所描述。在可选的实施例中，关于待识别对象的大小的信息将仅被提供至能够评估视觉信息的设备。
在步骤S13中，已经在步骤S12中被该姿势服务器3触发的该平板电脑11，向该姿势识别设备3提供用于姿势控制的信息。具体地，该平板电脑11将关于其大小、所支持的姿势和远程控制功能的信息提供至该姿势识别设备3。因此，该平板电脑11是自识别对象以及远程可控设备。关于该平板电脑11的大小的信息，也即对象定义，随后作为广播由该姿势识别设备3提供至全部连接设备9、11、12、13。视频摄像头设备9以及该平板电脑11接收该信息以供进一步使用，如下面所描述。在可选的实施例中，该平板电脑11将关于其对象定义的信息作为广播提供至全部连接设备9、11、12、13。
在步骤S14中，该打印机12注册至该姿势识别设备3。因此，该姿势识别设备3接收用于识别该打印机12的信息，也即关于该打印机12的大小的信息，也即该打印机12的对象定义。该信息从该姿势识别设备3被提供至全部连接设备9、11、12、13。在该实施例中，该打印机12不是可远程控制的，但是自识别对象12。在可选的实施例中，该打印机12将关于其大小的信息作为广播提供至全部连接设备9、11、12、13。
在如上所描述的初始化阶段之后，姿势识别基于由担当传感器输入设备的视频摄像头设备9以及该平板电脑11所提供的信息被执行。该信息基于由视频摄像头设备9以及该平板电脑11对作为对象的该人体10、该平板电脑11、以及该打印机12的检测。
该姿势识别设备3经由该网络连接7接收该信息。该姿势识别设备3的处理单元处理所接收的信息并且检测其中的姿势。根据所检测的姿势，该姿势识别设备3控制远程可控设备11，也即该平板电脑11，如以下进一步所描述的。对从视频摄像头设备9以及该平板电脑11所接收的信息的处理作为组合处理被执行，在这种情形下姿势通过评估该组合处理的信息被检测。
关于图3，用户认证姿势被具体描述。在步骤S21中，视频摄像头设备9以及该平板电脑11将信息提供至该姿势识别设备3，指示人体10已经被检测位于一个特定的地点。在步骤S22中，该姿势识别设备3接收进一步信息，其指示，该平板电脑11已经被检测位于邻近该人体10的地点。因此，该姿势服务器3识别用户持有该平板电脑11的姿势以执行在平板电脑11上的登录。在步骤S23中，该平板电脑11用其面对该用户的视频摄像头获得该用户的脸部图像，并且将该图像提供至该身份和授权服务器4，其通过脸部识别的方式基于该图像对该用户执行识别，并且将该用户授权至该平板电脑11。
现在将关于图4描述作为组合姿势的用于打印的姿势的检测。
在步骤S31中，该用户10接触显示在该平板电脑11正面的触摸屏14上的图片。进一步地，视频摄像头设备9检测该用户的人体10的手臂指向该打印机12的运动。视频摄像头设备9将这个检测的运姿势为信息提供至该姿势识别设备3。同时地，该平板电脑11识别由该用户在该触摸屏14上接触的图片。在步骤S32中，该姿势识别设备3通过将该平板电脑11挥向该打印机12的运动来识别打印姿势。该姿势识别设备3控制该平板电脑11来执行打印操作。在步骤S33中该平板电脑11执行打印命令，该打印命令考虑在步骤S31中所选择的图片，并且该平板电脑11将待打印的图片发送至该打印机12。在可选的实施例中，该平板电脑11也将来自触摸屏14的信息提供至该姿势识别设备3，其评估该信息用于姿势检测。
本领域技术人员可以容易地认识到，各种以上所述方法的步骤可以通过编程的计算机来被执行。在此，一些实施例也意在覆盖程序存储设备，比如，数字数据存储介质，其为机器或计算机可读的并且编码机器可执行或者计算机可执行的程序指令，其中所述指令执行以上所述方法的部分或者全部步骤。所述程序存储设备可以是，比如，数字存储装置、磁性存储介质如磁盘及磁带、硬盘或者光学可读的数字数据存储介质。这些实施例也意在覆盖被编程来执行上述方法的所述步骤的计算机。
本说明书和附图仅说明本发明的原理。因此它将被理解为本领域技术人员将能够设计体现本发明的原理并被包含于其精神和范围内的各种装置，尽管在此未被明确地描述或示出。进一步地，在此所述的全部例子主要意在明确地仅用于教学目的来帮助读者理解本发明的原理与发明人所贡献的概念以促进本领域，并且将被解释为不限于这些具体列举的例子和条件。而且，在此列举本发明的原理、方面及实施例的所有陈述，以及它们的具体示例，意在包括它们的等同方式。
附图中所示的各种部件的功能，包括任何标为“处理器”的功能块，可以通过使用专用硬件及能够执行软件的硬件并结合合适的软件来提供。当以处理器来提供，功能可以由单个专用处理器、由单个共享处理器或由其中一些处理器可以被共享的多个单个处理器来提供。而且，术语“处理器”或“控制装置”的明确使用不应被解释为专指能够执行软件的硬件，并且可隐含地包括但不限于，数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)，用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)，以及非易失性存储器。其它硬件，常规的和/或定制的，也可以被包括。类似的，图中所示的任何交换仅为概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的配合、或甚至手工地被执行，由实施者选择的特定技术可以从文中更明确地理解。
本领域技术人员应能理解，任何框图在此表示体现本发明原理的示例性电路的概念图。类似地，还将理解任何流程表、流程图、状态转换图、伪代码，诸如此类，代表各种过程，其可以被基本上表示于计算机可读介质内并因此被计算机或处理器执行，无论这些计算机或处理器是否被明确示出。

Claims (15)

1.一种用于至少一个远程可控设备(11)的姿势控制的方法，该方法包括步骤
在姿势服务器设备(1)处接收来自至少一个传感器输入设备(9，11，14)的信息，
由所述姿势服务器设备(1)检测所述接收的来自所述至少一个传感器输入设备(9，11)的信息中的姿势，以及
由所述姿势服务器设备(1)根据所述检测的姿势远程控制所述至少一个远程可控设备(11)。
2.根据权利要求1所述的方法，其特征在于
所述在姿势服务器设备(1)处接收来自至少一个传感器输入设备(9，11)的信息的步骤包括在所述姿势服务器设备(1)处接收来自至少一个视频输入设备(9)，触摸屏设备(14)和/或RFID阅读器设备的信息。
3.根据权利要求1所述的方法，其特征在于
所述在所述姿势服务器设备(1)处接收来自至少一个传感器输入设备(9，11)的信息的步骤包括在所述姿势服务器设备(1)处接收关于由所述传感器输入设备(9，11)识别的对象(10，11，12)的信息。
4.根据权利要求3所述的方法，其特征在于该方法包括以下附加步骤：
将关于待识别对象(10，11，12)的定义数据从所述姿势服务器设备(1)提供至所述传感器输入设备(9，11)。
5.根据权利要求1所述的方法，其特征在于该方法包括以下附加步骤：
在所述姿势服务器设备(1)处注册所述至少一个远程可控设备(11)，据此所述姿势服务器设备(1)接收来自所述远程可控设备(11)的用于姿势控制的信息。
6.根据权利要求1所述的方法，其特征在于该方法包括以下附加步骤：
在所述姿势服务器设备(1)处注册自识别对象(11，12)，据此所述姿势服务器设备(1)接收来自所述自识别对象(11，12)的用于识别所述自识别对象(11，12)的对象定义。
7.根据权利要求6所述的方法，其特征在于
所述自识别对象(11，12)包括至少一个传感器输入设备(9，11)，并且
所述在所述姿势服务器设备(1)处注册自识别对象(11，12)的步骤包括启动将来自所述自识别对象(11，12)的所述至少一个传感器输入设备(9，11)的信息传输至所述姿势服务器设备(1)。
8.根据权利要求1所述的方法，其特征在于该方法包括以下附加步骤：
在所述姿势服务器设备(1)中定义通用姿势，以及
通过组合对于对象(10，11，12)的通用姿势在所述姿势服务器设备(1)中定义姿势。
9.根据权利要求1所述的方法，其特征在于该方法包括以下附加步骤：
将对象(10，11，12)和/或姿势训练到所述姿势服务器设备(1)，以及
将所述训练的对象(10，11，12)和/或姿势指定到远程可控设备(11)的远程控制。
10.根据权利要求1所述的方法，其特征在于
所述在所述姿势服务器设备(1)处检测所述接收的来自所述至少一个传感器输入设备(9，11)的信息中的姿势的步骤包括识别用户，并且
所述由所述姿势服务器设备(1)根据所述检测的姿势对所述远程可控设备(11)执行远程控制的步骤包括根据所述识别的用户认证所述远程可控设备(11)的远程控制。
11.根据权利要求1所述的方法，其特征在于
所述由所述姿势服务器设备(1)检测所述接收的信息中的姿势的步骤包括
作为组合处理来处理接收的多个传感器输入设备(9，11)的信息，以及
检测所述接收的多个传感器输入设备(9，11)的信息中的姿势。
12.一种姿势服务器设备(1)，其包括
输入连接器(6)，用于接收来自至少一个传感器输入设备(9，11)的信息，
处理单元，用于检测所述接收的来自所述至少一个传感器输入设备(9，11)的信息中的姿势，以及
输出连接器(6)，用于根据所述检测的姿势远程控制所述至少一个远程可控设备(11)，据此
所述姿势服务器设备(1)适于执行根据任一在先方法权利要求的方法。
13.根据权利要求12所述的姿势服务器设备(1)，其特征在于
所述姿势服务器设备(1)包括授权服务器(4)，用于认证所述至少一个远程可控设备(11)的远程控制。
14.根据权利要求12所述的姿势服务器设备(1)，其特征在于
所述姿势服务器设备(1)适于执行对象(10，11，12)和/或姿势的训练，据此
所述处理单元适于将所述接收的来自所述至少一个传感器输入设备(9，11)的信息识别为训练的对象(10，11，12)和/或姿势。
15.一种传感器输入设备(9，11)，其用于将信息提供至姿势服务器设备(1)，据此
所述传感器输入设备(9，11)适于将对象(10，11，12)和/或对象(10，11，12)运动的检测作为信息来提供。
CN201280060048.0A 2011-12-05 2012-11-26 用于姿势控制的方法，姿势服务器设备与传感器输入设备 Pending CN103999020A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11290560.9A EP2602691A1 (en) 2011-12-05 2011-12-05 Method for gesture control, gesture server device and sensor input device
EP11290560.9 2011-12-05
PCT/EP2012/073614 WO2013083426A1 (en) 2011-12-05 2012-11-26 Method for gesture control, gesture server device and sensor input device

Publications (1)

Publication Number Publication Date
CN103999020A true CN103999020A (zh) 2014-08-20

Family

ID=47428580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280060048.0A Pending CN103999020A (zh) 2011-12-05 2012-11-26 用于姿势控制的方法，姿势服务器设备与传感器输入设备

Country Status (6)

Country Link
US (1) US20140320274A1 (zh)
EP (1) EP2602691A1 (zh)
JP (1) JP5826408B2 (zh)
KR (1) KR20140105812A (zh)
CN (1) CN103999020A (zh)
WO (1) WO2013083426A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794414A (zh) * 2015-03-31 2015-07-22 浙江水利水电学院 一种基于rfid技术的人体静态姿态识别方法
CN107111356A (zh) * 2014-11-27 2017-08-29 尔吉斯科技公司 用于基于手势控制装置的方法和系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9261966B2 (en) * 2013-08-22 2016-02-16 Sony Corporation Close range natural user interface system and method of operation thereof
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
CN106155301A (zh) * 2015-04-27 2016-11-23 阿里巴巴集团控股有限公司 一种家庭物联网控制方法、装置及系统
KR101669816B1 (ko) * 2015-11-20 2016-10-27 동국대학교 산학협력단 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법
CN114138116A (zh) 2016-02-04 2022-03-04 苹果公司 基于无线测距来控制电子设备和显示信息
JP6696246B2 (ja) 2016-03-16 2020-05-20 富士ゼロックス株式会社 画像処理装置及びプログラム
US10372892B2 (en) 2016-07-13 2019-08-06 Motorola Mobility Llc Electronic device with gesture actuation of companion devices, and corresponding systems and methods
US11243567B2 (en) 2016-07-13 2022-02-08 Motorola Mobility Llc Deformable electronic device and methods and systems for reconfiguring presentation data and actuation elements
US10251056B2 (en) * 2016-07-13 2019-04-02 Motorola Mobility Llc Electronic device with gesture actuation of companion devices, and corresponding systems and methods
US10878771B2 (en) 2016-07-13 2020-12-29 Motorola Mobility Llc Deformable electronic device and methods and systems for display remediation to compensate performance degradation
US11093262B2 (en) 2019-07-29 2021-08-17 Motorola Mobility Llc Electronic devices and corresponding methods for switching between normal and privacy modes of operation
US11113375B2 (en) 2019-09-09 2021-09-07 Motorola Mobility Llc Electronic devices with proximity authentication and gaze actuation of companion electronic devices and corresponding methods
US20230005262A1 (en) * 2019-11-25 2023-01-05 Alon Melchner System and method for dynamic synchronization between real and virtual environments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101512A (zh) * 2002-11-20 2008-01-09 皇家飞利浦电子股份有限公司 基于指示设备的用户接口系统
CN101431613A (zh) * 2007-11-09 2009-05-13 陆云昆 网络合影的实现方法
CN101622871A (zh) * 2007-02-27 2010-01-06 埃森哲环球服务有限公司 视频呼叫设备控制
US20100083373A1 (en) * 2008-09-29 2010-04-01 Scott White Methods and apparatus for determining user authorization from motion of a gesture-based control unit
CN102204215A (zh) * 2008-09-04 2011-09-28 萨万特系统有限责任公司 用于远程控制系统的触摸式无线设备和屏上显示

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20050101314A1 (en) * 2003-11-10 2005-05-12 Uri Levi Method and system for wireless group communications
JP5207513B2 (ja) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
KR100931403B1 (ko) * 2008-06-25 2009-12-11 한국과학기술연구원 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템
US20100302357A1 (en) * 2009-05-26 2010-12-02 Che-Hao Hsu Gesture-based remote control system
US8818274B2 (en) * 2009-07-17 2014-08-26 Qualcomm Incorporated Automatic interfacing between a master device and object device
US8593576B2 (en) * 2009-10-15 2013-11-26 At&T Intellectual Property I, L.P. Gesture-based remote control
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
JP5488011B2 (ja) * 2010-02-04 2014-05-14 ソニー株式会社 通信制御装置、通信制御方法及びプログラム
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
JP2013069224A (ja) * 2011-09-26 2013-04-18 Sony Corp 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
US9519769B2 (en) * 2012-01-09 2016-12-13 Sensible Vision, Inc. System and method for disabling secure access to an electronic device using detection of a predetermined device orientation
US20140009384A1 (en) * 2012-07-04 2014-01-09 3Divi Methods and systems for determining location of handheld device within 3d environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101512A (zh) * 2002-11-20 2008-01-09 皇家飞利浦电子股份有限公司 基于指示设备的用户接口系统
CN101622871A (zh) * 2007-02-27 2010-01-06 埃森哲环球服务有限公司 视频呼叫设备控制
CN101431613A (zh) * 2007-11-09 2009-05-13 陆云昆 网络合影的实现方法
CN102204215A (zh) * 2008-09-04 2011-09-28 萨万特系统有限责任公司 用于远程控制系统的触摸式无线设备和屏上显示
US20100083373A1 (en) * 2008-09-29 2010-04-01 Scott White Methods and apparatus for determining user authorization from motion of a gesture-based control unit

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111356A (zh) * 2014-11-27 2017-08-29 尔吉斯科技公司 用于基于手势控制装置的方法和系统
CN107111356B (zh) * 2014-11-27 2020-10-20 尔吉斯科技公司 用于基于手势控制装置的方法和系统
CN104794414A (zh) * 2015-03-31 2015-07-22 浙江水利水电学院 一种基于rfid技术的人体静态姿态识别方法
CN104794414B (zh) * 2015-03-31 2017-07-04 浙江水利水电学院 一种基于rfid技术的人体静态姿态识别方法

Also Published As

Publication number Publication date
EP2602691A1 (en) 2013-06-12
WO2013083426A1 (en) 2013-06-13
US20140320274A1 (en) 2014-10-30
JP2015500528A (ja) 2015-01-05
JP5826408B2 (ja) 2015-12-02
KR20140105812A (ko) 2014-09-02

Similar Documents

Publication Publication Date Title
CN103999020A (zh) 用于姿势控制的方法，姿势服务器设备与传感器输入设备
CN104871170B (zh) 隐私察觉的相机和设备状态指示器系统
CN103324280B (zh) 互动白板会话的自动终止
EP2798840B1 (en) Visual command processing
US20170118374A1 (en) Information processing system, terminal device and method of processing data
US20080214233A1 (en) Connecting mobile devices via interactive input medium
JP6558527B2 (ja) 電子機器、電子機器の制御方法、プログラム及び無線通信システム
CN103189864A (zh) 用于确定个人的共享好友的方法、设备和计算机程序产品
US9811649B2 (en) System and method for feature-based authentication
CN107078917A (zh) 托管电话会议
KR20170052083A (ko) 화상 형성 장치 및 그 화상 형성 장치의 에러 복구 방법, 모바일 기기 및 그 모바일 기기의 화상 형성 장치의 에러 복구 방법
CN110800314B (zh) 计算机系统、远程操作通知方法以及记录介质
EP3462734A1 (en) Systems and methods for directly accessing video data streams and data between devices in a video surveillance system
CN108780474B (zh) 服务提供系统、服务递送系统、服务提供方法和记录介质
JP6044633B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015081485A1 (zh) 一种终端设备识别用户手势的方法和设备
CN104185830A (zh) 信息处理装置、信息处理方法和程序
JP2015046028A (ja) 情報処理装置、及び情報処理方法
JP6064995B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10931896B2 (en) Image capture device and image capture management system
JP2019176471A (ja) 通信システム、及び通信方法
CN105594195B (zh) 信息处理装置、成像装置、成像系统、用于控制信息处理装置的方法、用于控制成像装置的方法和程序
KR101124960B1 (ko) 이동 설치식 학습 안내／관리 장치 및 방법
JP6790534B2 (ja) 装置管理システム、画像形成装置、プログラム
JP2018018406A (ja) 検出装置、監視システム、検出方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140820