CN113891159A - 信息处理装置、信息处理方法以及控制系统 - Google Patents

信息处理装置、信息处理方法以及控制系统 Download PDF

Info

Publication number
CN113891159A
CN113891159A CN202110725367.XA CN202110725367A CN113891159A CN 113891159 A CN113891159 A CN 113891159A CN 202110725367 A CN202110725367 A CN 202110725367A CN 113891159 A CN113891159 A CN 113891159A
Authority
CN
China
Prior art keywords
gesture
type
data
information processing
belonging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110725367.XA
Other languages
English (en)
Inventor
田中由里香
长田祐
山田健一
釜贺隆市
宫田亚衣
驹嶺聪史
松谷慎太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113891159A publication Critical patent/CN113891159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/50—Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56—Remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明涉及一种信息处理装置、信息处理方法以及控制系统。其提供通过手势来实施设备控制的技术。从被设置在家中的、用于对用户所实施的手势进行检测的一个以上的传感器取得传感器数据，基于所述传感器数据，来对第一类型的手势和第二类型的手势进行检测，其中，所述第一类型的手势为对多个设备中的作为操作对象的设备进行指定的手势，所述第二类型的手势为对针对所述设备而实施的操作进行指定的手势，在检测到所述第一类型的手势和所述第二类型的手势的双方的情况下，针对所述被指定的设备而执行所述被指定的操作。

Description

信息处理装置、信息处理方法以及控制系统
技术领域
本发明涉及一种对设备的操作进行帮助的技术。
背景技术
用于在不使用遥控器等操作单元的条件下实施电子设备或家电产品的控制的技术正在普及。例如，在专利文献1中公开了一种通过语音识别来使电视机的操作变为可能的系统。
在先技术文献
专利文献
专利文献1：日本特开2020-010387号公报
专利文献2：日本特开2017-204859号公报
发明内容
发明所要解决的课题
在于设备的操作中使用语音的情况下，必须每次都对指令的内容进行发声。此外，在杂音较多的环境下存在精度将会下降这一问题。
本发明的目的在于，提供一种通过手势来实施设备控制的技术。
用于解决课题的方法
本公开的第一方式为一种信息处理装置，其具备控制部，所述控制部执行如下处理，即：从被设置在家中的、用于对用户所实施的手势进行检测的一个以上的传感器取得传感器数据；基于所述传感器数据，来对第一类型的手势和第二类型的手势进行检测，其中，所述第一类型的手势为对多个设备中的作为操作对象的设备进行指定的手势，所述第二类型的手势为对针对所述设备而实施的操作进行指定的手势；在检测到所述第一类型的手势和所述第二类型的手势的双方的情况下，针对所述被指定的设备而执行所述被指定的操作。
此外，本公开的第二方式为一种信息处理方法，其包括：从被设置在家中的、用于对用户所实施的手势进行检测的一个以上的传感器取得传感器数据的步骤；基于所述传感器数据来对第一类型的手势和第二类型的手势进行检测的步骤，其中，所述第一类型的手势为对多个设备中的作为操作对象的设备进行指定的手势，所述第二类型的手势为对针对所述设备而实施的操作进行指定的手势；在检测到所述第一类型的手势和所述第二类型的手势的双方的情况下，针对所述被指定的设备而执行所述被指定的操作的步骤。
此外，本公开的第三方式为一种控制系统，其包括：传感器，其为被设置在家中的、用于对用户所实施的手势进行检测的一个以上的传感器；以及信息处理装置，其执行如下处理，即：从所述传感器取得传感器数据；基于所述传感器数据来对第一类型的手势和第二类型的手势进行检测，其中，所述第一类型的手势为对多个设备中的作为操作对象的设备进行指定的手势，所述第二类型的手势为对针对所述设备而实施的操作进行指定的手势；在检测到所述第一类型的手势和所述第二类型的手势的双方的情况下，针对所述被指定的设备而执行所述被指定的操作。
此外，作为其他方式，可以列举出用于使计算机执行由上述的信息处理装置所执行的信息处理方法的程序、或者非临时性地对该程序进行存储的计算机可读存储介质。
发明效果
根据本发明，能够提供通过手势来实施设备控制的技术。
附图说明
图1为对控制系统的概要进行说明的图。
图2为更详细地表示控制系统的结构要素的图。
图3为对被设置在家中的多个传感器以及设备进行例示的图。
图4为表示存储部中所存储的第一数据以及第二数据的示例的图。
图5为表示存储部中所存储的设备数据的示例的图。
图6为由信息处理装置的控制部所执行的处理的流程图。
图7为表示在第二实施方式中被利用的第一数据的示例的图。
图8为对家中的用户和设备之间的位置关系进行说明的图。
图9为表示在第三实施方式中被利用的第一数据的示例的图。
具体实施方式
具有对摄像机进行搭载，并通过手势而使得可操作的设备(电器产品或计算机等)。另一方面，由于在家中存在各种各样的设备，因此用户必须记住这些设备能够受理的所有指令。此外，为了实施操作，还需要在摄像机的视野内进行移动。
为了解决该问题，本实施方式所涉及的信息处理装置由控制部来执行如下处理，即：从被设置在家中的、用于对用户所实施的手势进行检测的一个以上的传感器取得传感器数据；基于所述传感器数据来对第一类型的手势和第二类型的手势进行检测，其中，所述第一类型的手势为对多个设备中的作为操作对象的设备进行指定的手势，所述第二类型的手势为对针对所述设备而实施的操作进行指定的手势；在检测到所述第一类型的手势和所述第二类型的手势的双方的情况下，针对所述被指定的设备而执行所述被指定的操作。
通过由被设置在家中的一个以上的传感器来取得手势，从而能够消除摄像机的视野对于每台设备而言各不相同的这样的制约。优选为，传感器被设置在能够在用户的活动范围内进行捕捉的位置处(例如，家中的各房间)。
此外，通过分别对第一类型的手势和第二类型的手势进行检测，且在双方齐备的情况下执行针对设备的操作，从而使得用户能够更直观地实施针对多个设备的操作。
第一类型的手势为，用于对作为操作对象的设备进行指定的手势。第一类型的手势也可以为按照每台设备而各自不同的手势。此外，手势本身也可以是相同(例如，指示手势)的，而指示目标按照每台设备而各自不同。
第二类型的手势为，用于对针对设备的操作进行指定的手势。第二类型的手势可以为由多个设备来共用的手势。例如，也可以把将手心向上移动的手势分配给“提高音量(电视机)”，“提高温度(空调)”这样的操作。
此外，也可以将如下方式作为特征，即，信息处理装置还具有存储部，所述存储部对第一数据和第二数据进行存储，其中，所述第一数据为用于对属于所述第一类型的一个以上的手势进行检测的数据，所述第二数据为用于对属于所述第二类型的一个以上的手势进行检测的数据。
第一数据以及第二数据例如能够设为用于对手势进行识别的特征量数据。
此外，也可以将如下方式作为特征，即，所述第一数据将属于所述第一类型的多个手势与所述多个设备分别建立关联，所述控制部基于属于所述第一类型的手势，来对所述用户所指定的设备进行特定。
通过第一数据，能够对手势和特定的设备附加关联。
在按照每台设备而定义不同的手势的情况下，关联也可以通过将特定的手势与特定的设备建立关联来实施。此外，虽然手势本身是相同的，但是在指示方向按照每台设备而各不相同的情况下，关联也可以通过将由手势所示的方向与特定的设备建立关联来实施。
此外，也可以将如下方式作为特征，即，所述第一数据将属于所述第一类型的多个手势和检测到所述手势的传感器的组合与所述多个设备分别建立关联，所述控制部基于属于所述第一类型的手势和检测到所述手势的传感器，来对所述用户所指定的设备进行特定。
如此，也能够通过手势和检测到该手势的传感器的组合来对设备进行特定。由此，使得在例如传感器被设置在多个房间的那样的情况下，将相同的手势分配给相同种类的设备(例如，被设置在客厅的电视机和被设置在起居室的电视机等)成为可能。
此外，也可以将如下方式作为特征，即，所述控制部在检测到属于所述第一类型的手势的情况下，对由所述手势所示的地点进行特定。
例如，在实施了指示地点的手势的情况下，控制部也可以对被指示的对象和方向进行判断。
此外，也可以将如下方式作为特征，即，所述传感器数据包括从多个图像传感器中的任意一个被发送出的图像，所述控制部基于发送出了所述图像的图像传感器在家中的设置地点、和对所述图像进行分析所得出的结果，来对由所述手势所示的地点进行特定。
图像传感器既可以为摄像机，也可以为取得距离图像的传感器。控制部能够基于图像来对手势所指示的地点进行特定。
此外，也可以将如下方式作为特征，即，所述第一数据为，对于所述多个设备中的每一个而进一步将家中的设置地点与分别建立关联的数据，所述控制部在检测到属于所述第一类型的手势的情况下，基于由所述手势所示的地点和所述第一数据，来对所述用户所指定的设备进行特定。
基于第一数据，能够对在由手势所示的地点具有哪个设备进行判断。
此外，也可以将如下方式作为特征，即，所述控制部在检测到属于所述第一类型的手势的情况下，开始进行属于所述第二类型的手势的检测，而在检测到属于所述第二类型的手势的情况下，开始进行属于所述第一类型的手势的检测。
此外，也可以将如下方式作为特征，即，所述控制部在检测到表示取消的手势的情况下，开始进行属于所述第一类型的手势的检测和属于所述第二类型的手势的检测的双方。
根据所述结构，能够与顺序无关地开始进行第一类型以及第二类型的手势。此外，能够在任意的时刻中止输入。
此外，也可以将如下方式作为特征，即，所述控制部在检测到所述手势时，生成按照检测到的手势的类型而各自不同的反馈。
根据所述结构，能够向用户明示当前是正在受理设备的选择、还是正在受理操作内容的输入。
此外，也可以将如下方式作为特征，即，所述控制部在检测到属于所述第一类型的手势时，生成按照所述设备而各自不同的反馈。
根据所述结构，能够向用户明示是哪个设备被选择。
以下，基于附图来对本公开的实施方式进行说明。以下的实施方式的结构为例示，本公开并不限定于实施方式的结构。
(第一实施方式)
在参照图1的同时，对第一实施方式所涉及的控制系统的概要进行说明。本实施方式所涉及的控制系统以包括信息处理装置100和传感器组200的方式被构成，所述信息处理装置100与和用户建立了关联的预定的设施(例如，用户的自家住宅)建立关联，传感器组200包括在家中对用户进行传感检测的多个传感器。
信息处理装置100为对被设置在家中的多个设备进行控制的装置。信息处理装置100使用被设置在家中的多个传感器，来对由用户所实施的手势进行检测。此外，基于被检测到的手势的内容，来对作为用户所指定的操作对象的设备(以下，对象设备)和针对该设备的操作内容进行特定，并向该设备发送控制信号。
另外，虽然在图1中信息处理装置100被设置在家中，但是信息处理装置100的设置地点也可以为远隔地点处。此外，也可以由一台信息处理装置100来对多个设施进行管辖。
传感器组200包括被设置在家中的多个传感器。多个传感器只要能够对用户所实施的手势进行检测，则并不对其种类作限定。例如，所述传感器既可以为取得可见光图像的摄像机(图像传感器)，也可以为距离图像传感器。
另外，虽然在本实施方式中作为预定的设施而对用户的自家住宅进行了例示，但是与信息处理装置100建立关联的建筑物也可以为任意的设施，而并不限定于自家住宅。
图2为更详细地表示本实施方式所涉及的控制系统的结构要素的图。在此，首先对传感器组200所具有的传感器和被设置在家中的设备进行说明。
图3为对被设置在家中的多个传感器以及设备进行例示的图。如以实线所图示的那样，在家中设置有多个传感器。此外，如以虚线所图示的那样，设置有作为操作对象的多个设备。
多个传感器以能够输出传感器数据的方式被构成。在传感器为图像传感器的情况下，传感器数据也可以为图像数据。
信息处理装置100以能够对用户所实施的第一手势和第二手势进行检测的方式被构成。第一手势为用于对作为操作对象的设备(对象设备)进行指定的手势。此外，第二手势为用于对针对对象设备的操作内容进行指定的手势。
信息处理装置100对用于检测第一手势和第二手势的数据进行存储，并基于对该数据和从传感器组200所取得的传感器数据进行比较而得出的结果，来对对象设备以及操作内容进行特定。
信息处理装置100能够由通用的计算机来构成。即，信息处理装置100能够作为具有CPU(Central Processing Unit：中央处理器)或CPU等处理器、RAM(Random AccessMemory：随机存取存储器)或ROM(Read Only Memory，只读存储器)等主存储装置、EPROM(Erasable Programmable ROM：可擦除可编程只读存储器)、硬盘驱动器、可移动介质等辅助存储装置的计算机而构成。另外，可移动介质例如也可以为像USB(Universal SerialBus)存储器、或者CD或DVD那样的盘片记录介质。在辅助存储装置中储存有操作系统(Operating System：OS)、各种程序、各种表格等，并且通过将储存于此的程序载入主存储装置的工作区中并执行，且通过程序的执行来对各结构部等进行控制，从而能够实现下文叙述的那样的、与预定的目的相符的各功能。但是，一部分或全部的功能也可以通过ASIC或FPGA那样的硬件电路来实现。
设备I/F101为，用于向对象设备发送控制信号的接口。设备I/F101例如以包括红外线发送器或无线通信装置的方式被构成。
例如，在设备I/F101包括红外线发送器的情况下，能够通过发送预定的红外线信号，来对利用红外线遥控器的设备进行控制。此外，在设备I/F101包括无线通信装置的情况下，能够通过发送按照无线LAN或Bluetooth(注册商标)等的通信标准的无线信号，来对利用该通信标准的设备进行控制。
存储部102以包括主存储装置和辅助存储装置的方式被构成。主存储装置为，供通过控制部103而被执行的程序、或该控制程序所利用的数据展开的存储器。辅助存储装置为，存储有在控制部103中所执行的程序、或该控制程序所利用的数据的装置。
并且，存储部102对手势进行识别，并对用于控制设备的数据进行存储。
本实施方式所涉及的控制系统对指定对象设备的手势和指定操作内容的手势这两个种类进行检测。将前者称为第一类型的手势，将后者称为第二类型的手势。
存储部102存储用于对第一类型的手势进行检测并对对象设备进行特定的数据(第一数据)、和用于对第二类型的手势进行检测并对操作内容进行特定的数据(第二数据)。通过对从传感器数据所提取出的特征量和这些数据中所包含的特征量进行比较并求出一致度，从而能够对用户所指定的对象设备以及操作内容进行特定。
图4(A)为第一数据的示例。第一数据为，对定义第一类型的手势的数据(例如，对传感检测到的手势进行转换所获得的特征量)与设备的标识符(设备ID)建立了关联的数据。
此外，图4(B)为第二数据的示例。第二数据为，对定义第二类型的手势的数据与操作内容的标识符(操作ID)建立了关联的数据。
另外，定义手势的数据既可以根据学习结果来生成，也可以事先被生成。
作为可定义的手势，可以列举出表示动作的手势、表示地点的手势、基于身体部位的形状的手势等。
作为表示动作的手势，例如可以列举出使手或手指以预定的模式来移动的手势、通过手或手指来描绘图形的手势、点头的手势、摇头的手势等。
此外，作为表示地点的手势，可以列举出用手指来指示预定的方向的手势、看预定的方向的手势等。在传感器能够对脸的朝向或视线的朝向进行检测的情况下，还能够通过脸或视线的朝向来实施手势。
此外，作为基于身体部位的形状的手势，例如可以列举出通过手的形状(竖起的手指数量等)来表现内容的手势。例如，能够进行“在将手张开的情况下表示肯定的手势”，“在将手握住的情况下表示否定的手势”这样的定义。
此外，还能够使用他们的组合。例如，也能够定义“使手从张开的状态变化至握住的状态，并就此来移动手”这样的手势、或“在看了第一方向之后，看第二方向”这样的手势。
并且，存储部102对用于定义向设备发行的控制信号的设备数据进行存储。图5为设备数据的示例。设备数据为，针对每个设备ID和操作ID的组合，而对所利用的接口和所发送的数据建立了关联的数据。
控制部103为，负责由信息处理装置100所实施的控制的运算装置。控制部103能够通过CPU等运算处理装置来实现。
控制部103以具有手势取得部1031、操作特定部1032、设备控制部1033这三个功能模块的方式而被构成。各功能模块也可以通过由CPU执行被存储的程序来实现。
手势取得部1031从传感器组200中所包括的传感器取得传感器数据。所取得的传感器数据既可以为可见光图像数据，也可以为距离图像数据。此外，还可以为其他形式。
手势取得部1031也可以将所取得的数据转换为预定的形式。例如，也可以基于图像数据，而将按照时间序列被实施的手势转换为特征量(例如，表示特征点的动作的时间序列数据)。在本实施方式中，手势取得部1031对捕捉到手势的传感器(例如，被设置在客厅的传感器)的标识符于对手势进行转换所获得的特征量进行输出。
操作特定部1032基于手势取得部1031所输出的数据和存储部102中所存储的第一数据以及第二数据，来对用户所指定的对象设备以及操作内容进行特定。
设备控制部1033基于操作特定部1032所特定的对象设备以及操作内容，而生成用于对设备进行控制的控制信号，并进行发送。具体而言，基于设备数据，来实施所使用的接口的特定和控制信号的生成，并经由设备I/F101而发送该控制信号。
输入输出部104为，用于实施信息的输入输出的接口。输入输出部104例如以具有显示器装置和触摸面板的方式被构成。输入输出部104也可以包括键盘、近距离通信单元、触摸屏等。并且，输入输出部104也可以包括对语音进行输入输出的单元。
接下来，更详细地对通过控制部103而被实施的处理进行说明。
首先，在步骤S11中，手势取得部1031周期性地取得从属于传感器组200的传感器被发送出的传感器数据，并依次对它们进行积存。被积存的时间序列的传感器数据随时与第一数据以及第二数据被进行对照，从而对是否实施了与既定的手势相符合的手势进行判断(步骤S12)。例如，在传感器数据为图像的情况下，将从当前的帧回溯了预定数量的帧的范围转换为特征量，并求取出与既定的手势的类似度。在此，在类似度超过了阈值的情况下，能够判断为实施了相应的手势。
在步骤S13中，对由用户所实施的手势(以下，输入手势)的类型进行判断。
在此，在由用户所实施的手势为第一类型的情况下，处理向步骤S14转移。在由用户所实施的手势为第二类型的情况下，处理向步骤S15转移。
此外，在由用户所实施的手势为表示取消的手势(以下，取消手势)的情况下，处理向步骤S11返回。取消手势为，用于对输入进行中止的手势。在实施了取消手势的情况下，信息处理装置100将临时性地被存储的数据清除，并使状态恢复至初始状态。取消手势能够预先进行规定。
在步骤S14中，操作特定部1032基于输入手势和第一数据，来对用户所指定的对象设备进行特定。例如，判断为被指定了设备ID为A001的设备(客厅的电视机)。在本步骤中，临时性地存储对象设备的识别已完成的信息。
在步骤S15中，操作特定部1032基于输入手势和第二数据，来对用户所指定的操作内容进行特定。例如，判断为被指定了操作ID为C001的操作(电源导通)。在本步骤中，临时性地存储操作内容的识别已完成的信息。
在步骤S16中，操作特定部1032对对象设备的识别和操作内容的识别的双方是否已完成进行判断。在输入有第一类型的手势和第二类型的手势的双方的情况下，在本步骤中成为肯定判断。在某一方的手势尚未被完成的情况下，处理返回至步骤S11。
通过反复实施步骤S11～S16的处理，从而用户能够与手势的顺序无关地实施对象设备的指定和操作内容的指定。
在步骤S17中，设备控制部1033基于设备数据，而生成与被指定的对象设备以及操作内容相对应的控制信号。所生成的控制信号经由被指定的接口而被发送向相应的设备。
如以上说明的那样，第一实施方式所涉及的信息处理装置100通过被设置在家中的多个传感器来对用户所实施的手势进行检测，并生成以及发送针对设备的指令。手势被分为用于对设备进行指定的手势、和用于对操作内容进行指定的手势，且也能够先实施任意一方的手势。
根据所述结构，由于能够在多个设备中利用相同的分配给操作内容的手势(例如，音量的增减、电源的接通断开)，因此使得能够实施更直观的操作。
(第二实施方式)
在第一实施方式中，按照每个设备来定义了用于对对象设备进行指定的手势。然而，记住按照每个设备而不同的手势会给用户带来负担。为了应对此情况，第二实施方式为，进一步利用传感器的设置地点来实施对象设备的特定的实施方式。
例如，考虑到在客厅和起居室的双方都设置有空调的情况。在这样的情况下，优选为，针对相同种类的设备(空调)而通过相同的手势来实施指定。
在此，在家中设置有多个传感器的情况下，例如通过对“是由被设置在哪个房间的传感器检测到的手势”进行判断，从而即使手势相同也能够推断出位于哪个房间的设备被指定为操作对象。
例如，在对空调进行指定的手势在客厅被实施的情况下，能够推断出被设置在客厅的空调为对象设备。此外，在相同的手势在起居室被实施的情况下，能够推断出被设置在起居室的空调为对象设备。
图7为，在第二实施方式中被利用的第一数据的示例。
在第二实施方式中，向第一数据中追加有传感器的标识符。此外，在步骤S13中，操作特定部1032取得传感器的标识符，并进一步利用该传感器的标识符来对对象设备进行特定，所述标识符为取得了传感器数据的标识符。
例如，在通过具有S001这一标识符的传感器(例如，被设置在客厅的传感器)而被检测到X2(方便地以标识符来标记)这一手势的情况下，操作特定部1032会判断为已完成对客厅的空调进行指定的手势。另一方面，在通过具有S002这一标识符的传感器(例如，被设置在起居室的传感器)而相同地被检测到X2这一手势的情况下，操作特定部1032会判断为已完成对起居室的空调进行指定的手势。
如此，根据第二实施方式，能够将用于对对象设备进行指定的相同的手势分配给多个设备，从而能够提升可用性。
(第三实施方式)
在第一以及第二实施方式中，通过按照每个设备而不同的手势来实施了对象设备的指定。与此相对，第三实施方式为，通过指示设备的方向的手势来实施对象设备的指定的实施方式。
图8为对实施手势的用户进行俯瞰的图。在附图中，符号S001表示图像传感器。在像图示的那样由用户做出了指示设备(A001)的手势的情况下，通过传感器(S001)而取得指示近前方向的用户的图像。另一方面，在用户做出指示设备(A002)的手势的情况下，取得指示右方向的用户的图像。
即，当知晓(1)在图像中用户所指示的方向、(2)家中的传感器的设置位置、(3)家中的设备的设置位置时，能够对用户欲指定的设备进行特定。
图9为，在第三实施方式中被利用的第一数据的示例。
在第三实施方式中，第一类型的手势全部都表示“指示”。此外，在第一数据中，存储有表示家中的传感器的位置的信息、和表示设备的位置的信息。
此外，在步骤S13中，操作特定部1032取得传感器的标识符，并进一步利用该传感器的标识符来对对象设备进行特定，所述标识符为取得了传感器数据的标识符。
具体而言，在检测到“指示”手势的情况下，操作特定部1032基于取得了传感器数据的传感器的标识符来实施设备的锁定。例如，在通过具有S001这一标识符的传感器而被检测到手势的情况下，具有A001和A002这样的标识符的设备被锁定。
并且，基于用户指示的方向、和第一数据中所包含的传感器以及设备的位置信息，来实施设备的锁定。例如，在图8的示例中，在通过具有S001这一标识符的传感器而被检测到指示右方向的手势的情况下，判断具有A002这一标识符的设备被指定。
如此，根据第三实施方式，可以通过指示特定的方向的手势来实施设备的指定。由此，用户无需记住针对每个设备而不同的手势，从而能够提升可用性。
另外，指示特定的方向的手势也可以并不一定通过手指来实施。例如，也能够通过脸或视线的朝向来指示特定的方向。
(改变例)
上述的实施方式只不过为一个示例，本发明可以在不脱离其主旨的范围内适当地进行变更而实施。
例如，在本公开内容中所说明的处理或单元只要不产生技术上的矛盾，则能够自由地进行组合来实施。
例如，也可以为了提高手势的识别精度，而对多个种类的的传感器进行组合。例如也可以采用如下方式，即，对取得语音的传感器进行组合，并在检测到预定的关键词的情况下，开始进行步骤S11的处理。
此外，也可以使第一类型的手势和第二类型的手势具有连续性。例如，在第一类型的手势为指示设备的手势、且第二类型的手势为上下移动手指的手势的情况下，也能够通过在用手指指示了设备之后就此移动该手指，从而对第一类型的手势和第二类型的手势连续地进行输入。
此外，也可以在装置识别到手势时，向用户实施反馈。例如，也可以在执行了步骤S13以及S14时，经由输入输出部104而输出语音。优选为，该语音在识别到第一类型的手势的情况、和识别到第二类型的手势的情况下有所不同。由此，用户能够对当前的阶段(是对对象设备进行指定的阶段，还是对操作内容进行指定的阶段)进行识别。此外，也可以在实施了取消手势的情况下输出相对应的语音。
并且，也可以在执行了步骤S13的情况下，根据所选择的设备来输出不同的语音。语音与设备之间的关联附加例如能够通过第一数据来实施。
此外，反馈并不限定于语音。例如，也能够通过振动等来实施。
此外，虽然在实施方式的说明中，在步骤S11中对手势进行检测，在步骤S12中对该手势的类型进行判断，但是也可以对作为输入对象的手势的类型进行决定。例如，也可以在已完成对象设备的识别且未完成操作内容的识别的情况下，在步骤S11中仅对第二类型的手势进行检测。此外，也可以在已完成操作内容的识别且未完成对象设备的识别的情况下，在步骤S11中仅对第一类型的手势进行检测。
此外，虽然在实施方式的说明中，利用第一数据来对对象设备进行特定，但是对象设备的特定也可以仅根据图像来实施。例如，也可以基于对使用能够捕捉用户和设备的双方的摄像机被取得的图像进行分析所得出的结果，来对“用户指示了图像上所包含的哪个设备”、以及“被指示的设备是什么设备”进行判断。
此外，作为一个装置所实施的情况而进行了说明的处理也可以通过多个装置来分担而执行。或者，作为不同的装置所实施的情况而进行了说明的处理也可以通过一个装置来执行。在计算机系统中，以何种硬件结构(服务器结构)来实现各功能是能够灵活地变更的。
本公开也能够向计算机提供安装有上述实施方式中所说明的功能的计算机程序，并使该计算机所具有的一个以上的处理器读取并执行程序来实现。这样的计算机程序既可以通过能够与计算机的系统总线连接的非临时性的计算机可读存储介质来提供给计算机，也可以经由网络来提供给计算机。非临时性的计算机可读存储介质例如包括磁盘(Floopy，注册商标)、硬盘驱动器(HDD)等)、光盘(CD-ROM、DVD盘、蓝光光盘等)等任意类型的盘片、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡、闪存、光学式卡、为了存储电子指令而适用的任意类型的介质。
符号说明
100…信息处理装置；
101…设备I/F；
102…存储部；
103…控制部；
104…输入输出部；
200…传感器组。

Claims (20)

1.一种信息处理装置，其中，
具有控制部，所述控制部执行如下处理，即：
从被设置在家中的、用于对用户所实施的手势进行检测的一个以上的传感器取得传感器数据；
基于所述传感器数据来对第一类型的手势和第二类型的手势进行检测，其中，所述第一类型的手势为对多个设备中的作为操作对象的设备进行指定的手势，所述第二类型的手势为对针对所述设备而实施的操作进行指定的手势；
在检测到所述第一类型的手势和所述第二类型的手势的双方的情况下，针对所述被指定的设备而执行所述被指定的操作。
2.如权利要求1所述的信息处理装置，其中，
还具有存储部，所述存储部对第一数据和第二数据进行存储，其中，所述第一数据为用于对属于所述第一类型的一个以上的手势进行检测的数据，所述第二数据为用于对属于所述第二类型的一个以上的手势进行检测的数据。
3.如权利要求2所述的信息处理装置，其中，
所述第一数据为将属于所述第一类型的多个手势与所述多个设备分别建立了关联的数据，
所述控制部基于属于所述第一类型的手势，来对所述用户所指定的设备进行特定。
4.如权利要求2所述的信息处理装置，其中，
所述第一数据为将属于所述第一类型的多个手势和检测到所述手势的传感器的组合与所述多个设备分别建立了关联的数据，
所述控制部基于属于所述第一类型的手势和检测到所述手势的传感器，来对所述用户所指定的设备进行特定。
5.如权利要求3或4所述的信息处理装置，其中，
所述控制部在检测到属于所述第一类型的手势的情况下，对由所述手势所示的地点进行特定。
6.如权利要求5所述的信息处理装置，其中，
所述传感器数据包括从多个图像传感器中的任意一个被发送出的图像，
所述控制部基于发送出了所述图像的图像传感器在家中的设置地点、和对所述图像进行分析所得出的结果，来对由所述手势所示的地点进行特定。
7.如权利要求5或6所述的信息处理装置，其中，
所述第一数据为对于所述多个设备中的每一个而进一步与家中的设置地点分别建立了关联的数据，
所述控制部在检测到属于所述第一类型的手势的情况下，基于由所述手势所示的地点和所述第一数据，来对所述用户所指定的设备进行特定。
8.如权利要求1至7中的任意一项所述的信息处理装置，其中，
所述控制部在检测到属于所述第一类型的手势的情况下，开始进行属于所述第二类型的手势的检测，而在检测到属于所述第二类型的手势的情况下，开始进行属于所述第一类型的手势的检测。
9.如权利要求1至8中的任意一项所述的信息处理装置，其中，
所述控制部在检测到所述手势时，生成按照检测到的手势的类型而各自不同的反馈。
10.如权利要求9所述的信息处理装置，其中，
所述控制部在检测到属于所述第一类型的手势时，生成按照所述多个设备而各自不同的反馈。
11.一种信息处理方法，包括：
从被设置在家中的、用于对用户所实施的手势进行检测的一个以上的传感器取得传感器数据的步骤；
基于所述传感器数据来对第一类型的手势和第二类型的手势进行检测的步骤，其中，所述第一类型的手势为对多个设备中的作为操作对象的设备进行指定的手势，所述第二类型的手势为对针对所述设备而实施的操作进行指定的手势；
在检测到所述第一类型的手势和所述第二类型的手势的双方的情况下，针对所述被指定的设备而执行所述被指定的操作的步骤。
12.如权利要求11所述的信息处理方法，其中，
还包括取得第一数据和第二数据的步骤，其中，所述第一数据为用于对属于所述第一类型的一个以上的手势进行检测的数据，所述第二数据为用于对属于所述第二类型的一个以上的手势进行检测的数据。
13.如权利要求12所述的信息处理方法，其中，
所述第一数据为将属于所述第一类型的多个手势与所述多个设备分别建立了关联的数据，
基于属于所述第一类型的手势，来对所述用户所指定的设备进行特定。
14.如权利要求12所述的信息处理方法，其中，
所述第一数据为将属于所述第一类型的多个手势和检测到所述手势的传感器的组合与所述多个设备分别建立了关联的数据，
基于属于所述第一类型的手势和检测到所述手势的传感器，来对所述用户所指定的设备进行特定。
15.如权利要求13或14所述的信息处理方法，其中，
在检测到属于所述第一类型的手势的情况下，对由所述手势所示的地点进行特定。
16.如权利要求15所述的信息处理方法，其中，
所述传感器数据包括从多个图像传感器中的任意一个被发送出的图像，
基于发送出了所述图像的图像传感器在家中的设置地点、和对所述图像进行分析所得出的结果，来对由所述手势所示的地点进行特定。
17.如权利要求15或16所述的信息处理方法，其中，
所述第一数据为对于所述多个设备中的每一个而进一步与家中的设置地点分别建立了关联的数据，
在检测到属于所述第一类型的手势的情况下，基于由所述手势所示的地点和所述第一数据，来对所述用户所指定的设备进行特定。
18.如权利要求11至17中的任意一项所述的信息处理方法，其中，
在检测到属于所述第一类型的手势的情况下，开始进行属于所述第二类型的手势的检测，在检测到属于所述第二类型的手势的情况下，开始进行属于所述第一类型的手势的检测。
19.如权利要求11至18中的任意一项所述的信息处理方法，其中，
在检测到所述手势时，生成按照检测到的手势的类型而各自不同的反馈。
20.一种控制系统，包括：
一个以上的传感器，其被设置在家中，并用于对用户所实施的手势进行检测；以及
信息处理装置，其执行如下处理，即：
从所述传感器取得传感器数据；
基于所述传感器数据来对第一类型的手势和第二类型的手势进行检测，其中，所述第一类型的手势为对多个设备中的作为操作对象的设备进行指定的手势，所述第二类型的手势为对针对所述设备而实施的操作进行指定的手势；并且
在检测到所述第一类型的手势和所述第二类型的手势的双方的情况下，针对所述被指定的设备而执行所述被指定的操作。
CN202110725367.XA 2020-07-01 2021-06-29 信息处理装置、信息处理方法以及控制系统 Pending CN113891159A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-114395 2020-07-01
JP2020114395A JP7322824B2 (ja) 2020-07-01 2020-07-01 情報処理装置、情報処理方法、および制御システム

Publications (1)

Publication Number Publication Date
CN113891159A true CN113891159A (zh) 2022-01-04

Family

ID=79010629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110725367.XA Pending CN113891159A (zh) 2020-07-01 2021-06-29 信息处理装置、信息处理方法以及控制系统

Country Status (3)

Country Link
US (1) US20220004264A1 (zh)
JP (1) JP7322824B2 (zh)
CN (1) CN113891159A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5024495B1 (ja) * 2012-04-17 2012-09-12 オムロン株式会社 ジェスチャ入力装置およびジェスチャ入力装置の制御方法
CN103472796A (zh) * 2013-09-11 2013-12-25 厦门狄耐克电子科技有限公司 一种基于手势识别的智能家居系统
US20140013417A1 (en) * 2011-03-03 2014-01-09 Omron Corporation Gesture input device and method for controlling gesture input device
CN104699244A (zh) * 2015-02-26 2015-06-10 小米科技有限责任公司 智能设备的操控方法及装置
CN106444415A (zh) * 2016-12-08 2017-02-22 湖北大学 智能家居控制方法及系统
JP2017207890A (ja) * 2016-05-18 2017-11-24 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理システム、情報処理方法
CN107533363A (zh) * 2015-04-17 2018-01-02 三菱电机株式会社 手势识别装置、手势识别方法以及信息处理装置
US20180285062A1 (en) * 2017-03-28 2018-10-04 Wipro Limited Method and system for controlling an internet of things device using multi-modal gesture commands
JP2019062270A (ja) * 2017-09-25 2019-04-18 Kddi株式会社 機器制御装置、機器制御方法及び機器制御システム
CN110925945A (zh) * 2019-11-27 2020-03-27 广东美的制冷设备有限公司 基于手势识别的空调机器人控制方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005103863A2 (en) 2004-03-23 2005-11-03 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140013417A1 (en) * 2011-03-03 2014-01-09 Omron Corporation Gesture input device and method for controlling gesture input device
JP5024495B1 (ja) * 2012-04-17 2012-09-12 オムロン株式会社 ジェスチャ入力装置およびジェスチャ入力装置の制御方法
CN103472796A (zh) * 2013-09-11 2013-12-25 厦门狄耐克电子科技有限公司 一种基于手势识别的智能家居系统
CN104699244A (zh) * 2015-02-26 2015-06-10 小米科技有限责任公司 智能设备的操控方法及装置
CN107533363A (zh) * 2015-04-17 2018-01-02 三菱电机株式会社 手势识别装置、手势识别方法以及信息处理装置
JP2017207890A (ja) * 2016-05-18 2017-11-24 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理システム、情報処理方法
CN106444415A (zh) * 2016-12-08 2017-02-22 湖北大学 智能家居控制方法及系统
US20180285062A1 (en) * 2017-03-28 2018-10-04 Wipro Limited Method and system for controlling an internet of things device using multi-modal gesture commands
JP2019062270A (ja) * 2017-09-25 2019-04-18 Kddi株式会社 機器制御装置、機器制御方法及び機器制御システム
CN110925945A (zh) * 2019-11-27 2020-03-27 广东美的制冷设备有限公司 基于手势识别的空调机器人控制方法和装置

Also Published As

Publication number Publication date
US20220004264A1 (en) 2022-01-06
JP2022012522A (ja) 2022-01-17
JP7322824B2 (ja) 2023-08-08

Similar Documents

Publication Publication Date Title
US10796694B2 (en) Optimum control method based on multi-mode command of operation-voice, and electronic device to which same is applied
US11861264B2 (en) Portable terminal device and information processing system
EP2093650B1 (en) User interface system based on pointing device
JP5812358B2 (ja) ３次元移動空間におけるジェスチャの非接触検出および認識のためのシステムおよび方法
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
EP2930715A1 (en) Device control method and device management system
KR20150044874A (ko) 깊이 기반 콘텍스트 식별
CN103929603A (zh) 图像投影设备、图像投影系统及控制方法
JP2022103189A (ja) 作業現場監視装置、作業現場監視システム、作業現場監視方法およびプログラム
CN111656313A (zh) 屏幕显示切换方法、显示设备、可移动平台
KR102035860B1 (ko) 연속 제스처 인식 시스템
CN113934307B (zh) 一种根据手势和场景开启电子设备的方法
CN107862852B (zh) 基于位置匹配的适配多种设备的智能遥控装置及控制方法
CN106293064A (zh) 一种信息处理方法及设备
CN113891159A (zh) 信息处理装置、信息处理方法以及控制系统
CN109782616B (zh) 基于感应阵列的控制方法、装置、存储介质及计算机设备
CN107608540B (zh) 一种基于陀螺仪的指纹操控方法、移动终端及存储介质
KR20130050670A (ko) 카메라를 이용한 손동작 인식 방법 및 장치
US20230419698A1 (en) Information processing apparatus and information input system
KR20090083212A (ko) 끝점 검출 방법, 이를 적용한 마우스 장치와 그 작동 방법
Kristiana et al. The Viability of Leap Motion Implementation in Controlling Drone using K-Nearest Neighbor Algorithm
KR101471304B1 (ko) 가상 리모트 컨트롤 장치 및 그 방법
CN115686207A (zh) 一种操作手的跟踪方法、装置、设备及存储介质
US20190227167A1 (en) Device and method for estimating degree of freedom for movement
CN115453899A (zh) 基于个性化动作识别的设备控制方法、装置及智能空调

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination