CN112204505A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN112204505A
CN112204505A CN201980035921.2A CN201980035921A CN112204505A CN 112204505 A CN112204505 A CN 112204505A CN 201980035921 A CN201980035921 A CN 201980035921A CN 112204505 A CN112204505 A CN 112204505A
Authority
CN
China
Prior art keywords
processing
information
target
user
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980035921.2A
Other languages
English (en)
Inventor
饭田文彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112204505A publication Critical patent/CN112204505A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种信息处理装置，包括控制单元(140)，该控制单元(140)基于空间内的用户指令位置信息和空间内的目标位置信息执行用于对已经由用户从空间内的多个选择目标中连续选择的多个处理目标进行检查的检测处理，以及基于对用户已经针对所检测到的多个处理目标指定的处理策略进行指示的处理策略信息执行用于对检测到的多个处理目标执行批量操作的批量操作处理。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
当前，与智能家居相关的技术已经变得普遍。该技术使得用户能够例如通过姿势、语音等来选择和操作存在于生活空间中的设备。
与上述技术相关联，例如，以下专利文献1公开了基于用户的视线来检测要操作的设备并且在用户附近显示用于操作所述设备的操作对象的技术，其中用户使用所述操作对象来操作设备。在该技术中，用户将他或她的视线引导至多个设备中的每一个以对所述多个设备进行批量选择，并且在用户附近显示(例如，在手边显示)用于对所选择的设备中的每一个进行操作的操作对象。然后，用户可以通过对要在操作对象上进行操作的一个设备进行选择并且针对所选择的设备输入操作指令来对手边的设备进行操作。
引用列表
专利文献
专利文献1：WO 2018/008218
发明内容
本发明要解决的问题
然而，上述技术是基于用户选择显示在操作对象上的多个设备中的一个设备并且顺序地执行所选择的设备的处理的假设。因此，用户不能选择多个设备并且不能使设备的各个处理一次执行，并且需要依据要操作设备的数目来重复选择一个设备和输入操作指令的操作。因此，当用户想要一次执行多个设备的处理时，可操作性不好。
因此，本公开内容提出了一种能够在用户批量选择多个对象时提高可操作性的新的和改进的信息处理装置、信息处理方法和程序。
针对问题的解决方案
根据本公开内容，提供了一种信息处理装置，包括控制单元，该控制单元执行基于空间中的用户指定位置信息和空间中的目标位置信息来对由用户从空间内的多个选择目标中连续选择的多个处理目标进行检测的检测处理，以及基于对由用户针对所检测到的多个处理目标指定的处理策略进行指示的处理策略信息来对所检测到的多个处理目标执行批量操作的批量操作处理。
此外，根据本公开内容，提供了一种由处理器执行的信息处理方法，该方法包括：执行基于空间中的用户指定位置信息和空间中的目标位置信息来对由用户从空间内的多个选择目标中连续选择的多个处理目标进行检测的检测处理，以及基于对由用户针对所检测到的多个处理目标指定的处理策略进行指示的处理策略信息来对所检测到的多个处理目标执行批量操作的批量操作处理。
此外，根据本公开内容，提供了一种程序，该程序使计算机用作：控制单元，该控制单元执行基于空间中的用户指定位置信息和空间中的目标位置信息来对由用户从空间内的多个选择目标中连续选择的多个处理目标进行检测的检测处理，以及基于对由用户针对所检测到的多个处理目标指定的处理策略进行指示的处理策略信息来对所检测到的多个处理目标执行批量操作的批量操作处理。
本发明的效果
如上所述，根据本公开内容可以在用户批量选择多个对象时提高可操作性。
注意，上述效果不一定受限制，并且可以连同上述效果或代替上述效果来呈现本说明书中示出的任何效果或者可以根据本说明书理解的其他效果。
附图说明
图1是示出根据本公开内容的实施方式的信息处理系统的概述的说明图。
图2是示出根据同一实施方式的在选择多个处理目标时的指向设备的操作示例的说明图。
图3是示出根据同一实施方式的在记录轨迹的开始或结束时的指向设备的操作示例的说明图。
图4是示出根据同一实施方式的在对处理目标进行选择时的轨迹形状的示例的说明图。
图5是示出根据同一实施方式的关于处理目标的信息的呈现示例的说明图。
图6是示出根据同一实施方式的处理目标的选择状态的呈现示例的说明图。
图7是示出根据同一实施方式的信息处理装置的功能配置示例的框图。
图8是示出根据同一实施方式的存储在存储单元中的数据的示例的说明图。
图9是示出根据同一实施方式的基于选择目标上的轨迹形状的选择确定的示例的说明图。
图10是示出根据同一实施方式的基于指针在选择目标上的停留时间的选择确定的示例的说明图。
图11是示出根据同一实施方式的基于指针在选择目标上的轨迹弯曲的选择确定的示例的说明图。
图12是示出根据同一实施方式的基于指针在选择目标上的移动速度的加速或减速的选择确定的示例的说明图。
图13是示出根据同一实施方式的基于选择目标上的轨迹形状的重心位置的选择确定的示例的说明图。
图14是示出根据同一实施方式的基于选择目标上的轨迹形状的面积的选择确定的示例的说明图。
图15是示出当根据同一实施方式的非选择目标被选择时的处理的示例的说明图。
图16是示出根据同一实施方式的基于用户的视线的选择确定的示例的说明图。
图17是示出根据同一实施方式的基于通过用户的指令的指定位置处的信息的显示示例的说明图。
图18是示出根据同一实施方式根据处理目标的位置处的信息的显示示例的说明图。
图19是示出根据同一实施方式的当没有位置指定时的信息的显示示例的说明图。
图20是示出根据同一实施方式的当没有位置指定时的信息的显示示例以及无法评估的显示位置的说明图。
图21是示出根据同一实施方式的基于权重的信息的呈现示例的说明图。
图22是示出根据同一实施方式的操作处理的示例的说明图。
图23描述了根据同一实施方式的信息处理系统的操作示例。
图24是示出根据同一实施方式的信息处理服务器的主要处理的流程图。
图25是示出根据同一实施方式的批量操作处理的流程图。
图26是示出根据同一实施方式的信息处理服务器的硬件配置示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在说明书和附图中，具有基本上相同功能和配置的部件由相同的附图标记表示，并且省略重复的描述。
注意，将按照以下顺序进行描述。
1.本公开内容的实施方式
1.1.系统概述
1.2.系统配置示例
1.3.信息处理装置的功能配置示例
1.4.操作示例
2.硬件配置示例
3.总结
《1.本公开内容的实施方式》
近年来，与智能家居相关的技术已变得普遍。智能家居是例如其中将存在于生活空间中的诸如家用电器的设备连接至互联网并且控制家用电器的操作的房屋，并且因此可以实现更加舒适的生活。具体地，用户可以通过语音对生活空间中的设备进行选择，并且通过语音对所选择的设备进行操作。由于可能难以仅使用语音对设备进行操作，因此还存在使得能够通过手势对设备进行选择和操作的技术。
然而，上述技术是基于用户对多个设备中的一个设备进行选择并且顺序地执行所选择的设备的处理的假设。因此，用户不能选择多个设备并且不能使设备的各个处理一次执行，并且需要依据设备的数目来重复对一个设备进行选择和输入操作指令的操作。因此，当用户想要一次执行多个设备的处理时，可操作性不好。
鉴于上述要点构思本公开内容的实施方式，并且提出了能够在用户对多个对象进行批量选择时提高可操作性的技术。注意，在下文中，将描述当用户对诸如安装在生活空间中的家用电器的多个对象进行选择时的可操作性。
《1.1.系统概述》
下面将参照图1描述根据本公开内容的实施方式的信息处理系统的概述。图1是示出根据本公开内容的实施方式的信息处理系统的概述的说明图。注意，根据本公开内容的实施方式的信息处理系统包括图1所示的信息处理服务器10、指向设备20、环境评估设备30、传感器设备40和投影设备50。此外，信息系统的各个部件经由网络60彼此连接。
图1所示的空间是生活空间，并且在该生活空间中存在持有指向设备20的用户90。用户90对指向设备20进行操作来选择要作为操作处理的目标的设备(在下文中也被称为处理目标)。此处，操作处理是与由信息处理服务器10执行的与处理目标相关的处理。例如，在存在关于处理目标的信息(在下文中，也被称为处理目标信息)的情况下，信息处理服务器10执行以下作为操作处理的处理：通过另一设备(例如，投影设备50)使多个处理目标信息显示(在下文中，也被称为显示处理)。此外，在多个处理目标是诸如家用电器的信息处理设备的情况下，信息处理服务器10执行作为操作处理的使多个处理目标进行操作的处理(在下文中，也被称为操作处理)。
此外，在图1所示的空间中，存在用户可以选择作为处理目标的多个对象(在下文中，也被称为选择目标)。选择目标被分类为两种类型：空间中实际存在的真实对象和空间中由投影设备50投影的虚拟对象。真实对象进一步分类为两种类型：作为信息处理设备的对象和除信息处理设备以外的对象。作为本实施方式中的信息处理设备的对象是例如图1所示的电视72、冰箱73和灯74。此外，在本实施方式中不是信息处理设备的对象是例如图1所示的模拟时钟70、台历71和桌子75。此外，不是信息处理设备并且没有特别具有用于呈现至用户的信息的对象诸如观叶植物76可以被设置成从选择目标中排除。此外，对于要从选择目标中排除的对象的确定标准可以是例如，该对象是诸如食物的可消耗材料或者诸如人或动物的移动体。
此外，虚拟对象基本上呈现关于真实对象和虚拟对象的信息。此外，虚拟对象可以通过被选择来执行功能。该功能例如是信息处理设备的功能。具体地，当由用户使用指向设备20选择虚拟对象时，虚拟对象可以接通电视的电源。以这种方式，虚拟对象可以具有通过被选择来执行信息处理设备等的功能的快捷功能。
此外，虚拟对象可以显示关于另一房间或远程地点的信息。例如，虚拟对象显示放置在另一房间中的信息处理设备等的信息。例如，当用户使用指向设备20选择在虚拟对象中显示的另一房间中的电视时，虚拟对象可以接通另一房间中的电视的电源。
当从选择目标中选择处理目标时，用户90移动指针诸如从指向设备20输出的光的位置(用户指定的位置)。用户90移动指针的位置并且使用指针连续地触摸多个选择目标(在下文中，也被称为一笔划绘制)，从而对多个处理目标进行选择。用户90可以通过使用指向设备20执行一笔划绘制来对多个处理目标进行批量选择。
信息处理服务器10从环境评估设备30中获取选择目标的位置信息(在下文中，也被称为目标位置信息)。此外，信息处理服务器10通过基于从传感器设备40获取的感测数据检测指针的位置来获取指针的位置信息(用户指定位置信息)。信息处理服务器10可以基于指针的位置信息来掌握指针已经沿其移动的路径(在下文中，也被称为轨迹)。然后，信息处理服务器10基于所获取的目标位置信息和轨迹来执行对由用户批量选择的多个处理目标进行检测的处理(在下文中，也被称为检测处理)。
当用户90批量选择多个处理目标时，信息处理服务器10执行用于一次执行针对设备的各个操作处理的处理(在下文中，也被称为批量操作处理)。注意，可以基于由用户90进行的特定操作来执行批量操作处理。由用户90进行的特定操作例如是指示执行批量操作处理的操作，并且用户90使用指向设备20执行特定操作。
在批量操作处理中，例如，在多个设备上执行相同的操作。具体地，批量执行接通多个设备的电源的操作。此外，在批量操作处理中，可以执行相同类别的操作。具体地，在其中操作类别是信息显示的情况下，多个设备中的每一个设备执行被称为信息显示的相同操作，但是要显示的信息可以是取决于设备中的每一个设备的信息。此外，在批量操作处理中，可以一次同时执行针对每个设备的预设操作。具体地，当冰箱73和灯74被批量选择为处理目标时，信息处理服务器10可以执行对冰箱73的内部的图像进行显示的处理，并且可以通过对灯74的开关进行操作执行切换通电和断电的处理。注意，在下面的描述中，作为操作处理执行批量操作处理。
此外，用户90可以由通过移动指针形成的形状(在下文中，也被称为轨迹形状)来呈现对将要由信息处理服务器10执行的批量操作处理进行指示的信息(在下文中，也被称为处理策略信息)。信息处理服务器10基于由传感器设备40测量的指针的位置信息来检测处理策略信息，并且基于所检测的处理策略信息来执行批量操作处理。注意，轨迹形状是当从操作对象的位置观看轨迹时的形状。具体地，轨迹形状是当从指向设备20的输出单元观看轨迹时的形状。即，假设当从指向设备20的输出单元观看时，在忽略深度方向的差异的同时检测轨迹形状。例如，假设以部分地偏离电视72到超出电视72的壁的方式成圆形形状移动的指针的轨迹形状为圆形形状。注意，操作对象是由用户90用于选择处理目标、呈现处理策略信息等的对象，并且可以包括指向设备20、用户90的手指等。此外，操作对象的位置例如是指向设备20的输出单元的位置、用户90的手指的指尖的位置等。此外，用户90对指向设备20进行操作以呈现处理策略信息的事实是上述由用户90进行的特定操作的示例。
如上所述，信息处理服务器10执行检测处理和批量操作处理，从而当用户对多个对象进行批量选择时实现可操作性的提高。
上面已经参照图1描述了根据本公开内容的实施方式的信息处理系统的概述。接下来，将描述根据本公开内容的实施方式的信息处理系统的配置示例。
《1.2.系统配置示例》
在下文中，将参照图2至图6描述根据本公开内容的实施方式的信息处理系统的配置示例。
(1)信息处理服务器10
信息处理服务器10是具有基于从构成信息处理系统的其他部件接收到的信息来执行处理的功能的信息处理装置。例如，信息处理服务器10基于从环境评估设备30和传感器设备40接收到的信息来执行检测处理。此外，信息处理服务器10还基于从传感器设备40接收到的信息来执行批量操作处理。
此外，信息处理服务器10是具有对构成信息处理系统的其他部件的处理进行控制的功能的信息处理装置。例如，当批量操作处理是显示处理时，信息处理服务器10对投影设备50的投影处理进行控制以呈现处理目标信息。注意，信息处理服务器10可以控制由环境评估设备30进行的环境评估处理和由传感器设备40进行的感测数据获取处理。
(2)指向设备20
指向设备20是用户90用于对空间中的对象进行选择的设备。例如，当对指向设备20进行操作时，用户90抓握并操作指向设备20。此外，用户90通过按压包括在指向设备20中的开关来使指向设备20开始指针的投影。此外，用户90通过在指向设备20正在投影指针的同时再次按压该开关来使指向设备20结束指针的投影。
指向设备20具有指示指向位置的功能。例如，指向设备20投影来自红外发光二极管(IR LED)等的光以指示下述位置，在所述位置中光被投影的位置作为指向位置。
此外，指向设备20具有通信功能。利用通信功能，指向设备20将指示其是否处于激活状态的信息发送至信息处理服务器10。例如，当由用户按压开关并且开始指针的投影时，指向设备20将指示其处于激活状态的信息发送至信息处理服务器10。此外，当用户在其处于激活状态的同时再次按压开关并且结束指针的投影时，指向设备20可以将指示其处于非激活状态的信息发送至信息处理服务器10。
此外，指向设备20可以包括诸如加速度传感器的传感器组。指向设备20使用传感器组来感测关于指向设备20的姿势的数据。然后，指向设备20将数据发送至信息处理服务器10作为针对信息处理服务器10的数据以识别指针的位置。
此处，将参照图2至图4描述根据本公开内容的实施方式的指向设备20的操作示例。图2是示出根据本公开内容的实施方式的在选择多个处理目标时的指向设备20的操作示例的说明图。图3是示出根据本公开内容的实施方式的在记录轨迹的开始或结束时的指向设备20的操作示例的说明图。图4是示出根据本公开内容的实施方式的在对处理目标进行选择时的轨迹形状的示例的说明图。
图2示出了其中用户90使用指向设备20选择灯74、冰箱73和电视72的示例。首先，用户90按压指向设备20的开关以使指向设备20将指针投影至任意位置处(例如，开始位置23A)。
在将指针投影至开始位置23A处之后，用户90移动指针以对处理目标进行选择。此时，用户90操作指向设备20并且移动指针，使得如轨迹22一样将指针投影在作为处理目标的灯74、冰箱73和电视72上。对处理目标进行选择之后，用户90再次按压指向设备20的开关，并且结束指针的投影。
注意，在本公开内容的实施方式中，通过使用由用户90进行的指向设备20的开关的操作作为触发来开始或结束轨迹的记录。例如，如图3的操作示例1所示，从开始位置23A开始轨迹的记录，在开始位置23A处，按压指向设备20的开关以开始指针的投影。然后，当用户90将指针移动至结束位置23B时记录轨迹22，在结束位置23B处，再次按压指向设备20的开关以结束指针的投影。
此外，在本公开内容的实施方式中，可以通过使用特定轨迹的检测作为触发来开始轨迹的记录。例如，如图3的操作示例2所示，检测到三角形轨迹的位置可以是开始位置24A，并且检测到圆形轨迹的位置可以是结束位置24B。
此外，在本公开内容的实施方式中，用户可以在选择目标上移动指针以在选择目标上形成具有特定形状的轨迹，从而指示选择目标被选择为处理目标。例如，当用户想要选择电视72作为处理目标时，如图4的选择示例1所示，用户移动指针使得轨迹描绘出其中轨迹弯曲多次的形状，从而指示电视72被选择为处理目标。此外，如图4的选择示例2所示，用户可以移动指针使得轨迹指示圆形形状，从而指示电视72被选择为处理目标。
注意，用户90可以用他或她的手指替代指向设备20指向选择目标，或者将手指指向选择目标并且在空中绘制上述特定形状，从而指示选择目标被选择。
(3)环境评估设备30
环境评估设备30具有以下功能：评估通过感测空间而获得的感测数据以及执行所谓的空间识别诸如识别空间中的选择目标。例如，环境评估设备30获取到空间中的壁表面的距离、到空间中的选择目标的距离等作为感测数据。环境评估设备30评估所获取的感测数据并且获取选择目标在空间中的位置信息。然后，环境评估设备30将所获取的选择目标的位置信息发送至信息处理服务器10。
环境评估设备30使用例如距离测量设备诸如深度传感器、摄像装置或激光成像检测和测距(LIDAR)执行空间的感测。注意，提供给环境评估设备30来执行感测的设备不限于上述设备，并且可以包括任何设备。此外，环境评估设备30的安装位置及其要安装在空间中的数目不受特别限制，并且任何数目的环境评估设备30可以安装在任何位置处。
此外，在选择目标具有能够指定位置信息的功能例如近场通信(NFC)功能的情况下，环境评估设备30可以基于该功能获取位置信息。
此外，在选择目标是无形虚拟对象的情况下，环境评估设备30可以从投影虚拟对象的投影设备50中获取虚拟对象的位置信息。此外，环境评估设备30可以获取关于正在投影虚拟对象的投影设备50的状态的信息作为感测数据，基于该感测数据来评估投影设备50的位置、姿势和投影方向等，并且根据评估结果来评估虚拟对象的位置。此外，当虚拟对象显示在其位置被固定的信息处理设备例如电视72上时，环境评估设备30可以基于信息处理设备的位置来获取虚拟对象的位置信息。
(4)传感器设备40
传感器设备40是具有获取感测数据的功能的设备。例如，传感器设备40获取指针的状态作为感测数据，并且将感测数据发送至信息处理服务器10。具体地，传感器设备40用摄像装置对指针的状态的图像进行捕获，并且将所捕获的图像(静止图像或运动图像)发送至信息处理服务器10。此外，传感器设备40可以利用加速度传感器测量指针的加速度数据，并且将加速度数据发送至信息处理服务器10。
此外，传感器设备40获取诸如用户手势的用户动作作为感测数据，并且将该感测数据发送至信息处理服务器10。具体地，传感器设备40使用深度传感器或摄像装置来获取指示用户的姿势的姿势信息，并且将所获取的姿势信息发送至信息处理服务器10。
注意，提供给传感器设备40执行感测的设备不限于上述设备，并且可以包括任何设备。此外，传感器设备40的安装位置及其要安装在空间中的数目不受特别限制，并且任意数目的传感器设备40可以安装在任何位置处。
(5)投影设备50
投影设备50是投影内容的设备。例如，投影设备50可以是驱动型光学投影设备。使用投影设备50来投影用于呈现给用户的关于多个处理目标的信息。
此处，将参照图5和图6描述由根据本公开内容的实施方式的投影设备50进行的信息的呈现示例。图5是示出根据本公开内容的实施方式的关于处理目标的信息的呈现示例的说明图。例如，假设用户90通过指向设备20选择了台历71和电视72作为处理目标。在这种情况下，如图5所示，投影设备50投影作为处理目标信息51的台历信息52和节目信息53，所述台历信息52作为关于台历71的信息，所述节目信息53作为关于电视72的信息。
图6是示出根据本公开内容的实施方式的处理目标的选择状态的呈现示例的说明图。例如，当用户90通过指向设备20选择冰箱73作为处理目标时，投影设备50可以执行用于将视觉效果投影至冰箱73上的视觉反馈(VFB)。例如，投影设备50执行投影内容54的VFB，使得冰箱73的外周部分看起来发光，如图6所示。这使得用户能够在视觉上识别处理目标的选择状态。
注意，呈现关于处理目标的信息和处理目标的选择状态的方法不限于上述示例，并且可以使用任何方法。例如，关于处理目标的信息和处理目标的选择状态可以由音频输出设备代替投影设备50以音频呈现。此外，关于处理目标的信息和处理目标的选择状态可以通过能够呈现触觉的设备以触觉呈现。
此外，上述呈现关于处理目标的信息和处理目标的选择状态的设备不限于诸如上述投影设备50的光学投影设备，并且可以使用任何设备。例如，可以使用可穿戴设备，例如眼镜。
上面已经参照图2至图6描述了根据本公开内容的实施方式的信息处理系统的配置示例。接下来，将描述根据本公开内容的实施方式的信息处理装置的功能配置示例。
《1.3.信息处理装置的功能配置示例》
在下文中，将参照图7至图22描述根据本公开内容的实施方式的信息处理服务器10的功能配置示例。图7是示出根据本公开内容的实施方式的信息处理装置的功能配置示例的框图。
如图7所示，根据本公开内容的实施方式的信息处理服务器10包括通信单元130、控制单元140和存储单元150。
(1)通信单元130
通信单元130具有与外部设备进行通信的功能。例如，通信单元130与外部设备进行通信将从外部设备接收的信息输出至控制单元140。具体地，通信单元130将从指向设备20接收到的信息以及指示其是否处于激活状态的信息输出至控制单元140。此外，通信单元130还将从环境评估设备30接收的选择目标的位置信息输出至控制单元140。此外，通信单元130还将从传感器设备40接收的感测数据输出至控制单元140。此外，通信单元130还将从处理目标接收到的处理目标信息输出至控制单元140。
此外，通信单元130与外部设备进行通信将从控制单元140输入的信息发送至外部设备。具体地，通信单元130将从控制单元140输入的关于显示处理的信息发送至投影设备50。此外，通信单元130将从控制单元140输入的关于处理目标的批量操作处理的信息发送至处理目标。
(2)控制单元140
控制单元140具有控制整个信息处理服务器10的功能。例如，控制单元140控制通信单元130中的通信处理。具体地，控制单元140将根据由控制单元140执行的处理输出的信息输出至通信单元130，并且使通信单元130将该信息发送至外部设备。
此外，控制单元140还控制存储单元150中的存储处理。具体地，控制单元140将根据由控制单元140执行的处理输出的信息输出至存储单元150，并且使存储单元150存储该信息。
此外，控制单元140还具有控制批量操作处理的功能。例如，控制单元140检测用于控制批量操作处理所需的信息。具体地，控制单元140基于从通信单元130输入的感测数据来检测指针并且获取指针的位置信息。此外，控制单元140基于所获取的指针的位置信息来检测指针移动时的轨迹。此外，控制单元140基于从通信单元130输入的选择目标的位置信息和所检测到的轨迹来检测处理目标和处理策略。然后，控制单元140基于所检测到的处理目标和处理策略来确定并执行要执行的批量操作处理。
注意，控制单元140经由通信单元130的通信将关于批量操作处理的请求发送至多个处理目标中的每一个处理目标。
为了实现上述功能，根据本公开内容的实施方式的控制单元140包括检测控制单元142、存储控制单元144、选择控制单元146和操作处理控制单元148，如图7所示。
(检测控制单元142)
检测控制单元142具有检测指针的位置信息的功能。例如，检测控制单元142基于由传感器设备40感测并且从通信单元130输入的感测数据来检测指针。例如，当由摄像装置捕获的图像(静止图像或运动图像)为感测数据时，检测控制单元142确认指针是否包括在图像中。当指针包括在图像中时，检测控制单元142获取其中指针包括在图像中的位置信息。
此外，当包括在指向设备20中的由诸如加速度传感器的传感器组所感测的与指向设备20的姿势相关的数据是感测数据时，检测控制单元142基于传感器数据来评估指向设备20的姿势。然后，检测控制单元142可以基于所评估的姿势来评估指向方向并且识别指向位置。
此外，检测控制单元142具有基于连续检测到的指针的位置信息来检测轨迹并且基于由该轨迹指示的形状来检测由用户输入的处理策略的功能。检测控制单元142将预先登记在存储单元150中的轨迹形状与基于指针的位置信息而检测到的由轨迹指示的形状进行比较。当两个轨迹形状与比较的结果匹配时，检测控制单元142执行与预先登记在存储单元150中的轨迹形状相关联的登记的处理。
此外，检测控制单元142基于由连续检测到的指针的位置信息指示的形状来设置批量操作处理的目标范围。例如，当检测到指示开始轨迹的检测的形状时，检测控制单元142将此时的指针的位置信息的位置设置为批量操作处理的目标范围的开始位置。此外，当检测到指示结束轨迹的检测的形状时，检测控制单元142将此时的指针的位置信息的位置设置为批量操作处理的目标范围的结束位置。
注意，当用户90正在执行一笔划绘制时，检测控制单元142可能会丢失指针的位置(即，未能检测到指针的位置)。当在丢失指针的位置之后经过预定时间之前重新检测到指针时，检测控制单元142可以确定与重新检测到的指针对应的一笔划绘制与丢失之前的一笔划绘制相同。此外，当无论预定时间如何与检测到的指针对应的一笔划绘制的轨迹是在丢失之前的一笔划绘制的轨迹的延长线上时，检测控制单元142可以确定与重新检测到的指针对应的一笔划绘制与丢失之前的一笔划绘制相同。
此外，检测控制单元142可以具有基于用户90的动作来检测由用户90指向的位置的功能。例如，检测控制单元142基于由摄像装置、深度传感器等所感测的信息来识别用户90的手指的运动。接下来，检测控制单元142通过分析用户90的手指的识别运动来检测手指的位置和姿势等。然后，检测控制单元142基于检测到的用户90的手指的位置和姿势等来检测由用户90的手指所指向的位置作为指向位置。
(存储控制单元144)
存储控制单元144具有对与存储在存储单元150中的信息相关的处理进行控制的功能。例如，存储控制单元144控制存储关于存储单元150中的轨迹的信息的轨迹存储处理以及存储关于存储单元150中的空间布局的信息的空间布局存储处理。
-轨迹存储处理的控制
轨迹存储处理是其中存储单元150存储由检测控制单元142检测到的指针的位置信息的处理。存储控制单元144对存储单元150开始存储指针的位置信息时的定时和存储单元150结束存储时的定时进行控制。
例如，当检测到由连续检测到的指针的位置信息指示的形状是指示开始轨迹的检测的形状时，存储控制单元144使存储单元150在此时在指针的位置信息的位置处开始轨迹的存储。此外，在检测到由连续获取的指针的位置信息指示的形状是指示结束轨迹的检测的形状时，存储控制单元144使存储单元150在此时在指针的位置信息的位置处结束轨迹的存储。
此外，当检测到由连续获取的指针的位置信息指示的形状是指示检测处理目标的形状时，存储控制单元144使存储单元150在此时在指针的位置信息的位置处开始轨迹的存储。
此处，将参照图8描述存储控制单元144使存储单元150存储指针的位置信息的示例。图8是示出根据本公开内容的实施方式的存储在存储单元中的数据的示例的说明图。
如图8的数据示例1中所示，在指针位于平面A的坐标(x1，y1)处的情况下，存储控制单元144使存储单元150存储坐标(x1，y1)。此外，如数据示例2所示，在指针相对于原点位于坐标(x1，y1，z1)处的情况下，存储控制单元144使存储单元150存储坐标(x1，y1，z1)。
此外，如数据示例3所示，假设指向设备20位于坐标(x1，y1，z1)处并且指针位于坐标(x2，y2，z2)处。在这种情况下，存储控制单元144使存储单元150存储连接坐标(x1，y1，z1)与坐标(x2，y2，z2)的矢量数据。
如上所述，由存储控制单元144存储在存储单元150中的指针的位置信息可以是二维坐标、三维坐标或矢量数据中的任何一种。
此外，存储控制单元144可以使存储单元150预先存储与轨迹形状对应的处理作为轨迹存储处理。例如，存储控制单元144使存储单元150存储指示圆形的轨迹形状是指示对处理目标进行选择的形状。此外，存储单元150存储指示三角形的轨迹形状是指示结束轨迹的记录的形状。此外，存储单元150存储指示四边形的轨迹形状是指示用于显示处理目标的信息的处理策略的形状。注意，轨迹形状和对应处理的组合不限于以上示例，并且可以是任何组合。然而，存储控制单元144控制存储单元150的存储处理，使得指示用户已经选择处理目标的轨迹形状与指示处理策略的轨迹的形状不同。
-空间布局存储处理的控制
空间布局存储处理是其中存储单元150存储布置在空间中的选择目标的名称和位置信息的处理。存储控制单元144基于由环境评估设备30获取的并且从通信单元130输入的选择目标的位置信息来获取布置在空间中的选择目标的名称和位置信息。例如，在获取冰箱的位置信息作为选择目标的位置信息的情况下，存储控制单元144使存储单元150存储“冰箱”作为选择目标名称。此外，存储控制单元144使存储单元150存储与选择目标名称“冰箱”相关联的冰箱的位置信息。
在由用户预先将选择目标的名称和位置信息登记在存储单元150中的情况下，存储控制单元144不需要基于由环境评估设备30获取的选择目标的位置信息来获取布置在空间中的选择目标的名称和位置信息。
此外，在要存储在存储单元150中的选择目标的信息包括用户不能选择的对象等的信息的情况下，存储控制单元144可以将对象等从选择目标中排除。
(选择控制单元146)
选择控制单元146具有对处理目标进行检测的功能。例如，选择控制单元146基于由指向设备20所呈现的指针的位置信息的一个连续轨迹来对连续选择的多个处理目标进行检测。此外，选择控制单元146可以基于通过由用户的手指指向或用户的视线的移动检测到的一个连续轨迹来对连续选择的多个处理目标进行检测。在下文中，将参照图9至图16描述其中选择控制单元146基于轨迹从选择目标中选择处理目标的示例。
-基于轨迹的形状的选择确定
图9是示出根据本公开内容的实施方式的基于选择目标上的轨迹形状的选择确定的示例的说明图。在图9所示的示例中，示出了其中用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动至结束位置23B以便选择台历71、电视72和冰箱73作为处理目标的示例。
选择控制单元146基于在选择目标上是否形成了指示对处理目标进行检测的轨迹形状的至少一部分来确定选择目标是否被选择为处理目标。例如，假设指示用以对处理目标进行检查的轨迹形状是圆形形状。在图9所示的示例中，当选择台历71、电视72和冰箱73时，用户90移动指针使得轨迹22的形状变为圆形并且在每个选择目标上形成指示用以对处理目标进行检查的轨迹形状的至少一部分。因此，选择控制单元146确定将台历71、电视72和冰箱73选择为处理目标。
-基于指针的停留时间的选择确定
如图10所示，选择控制单元146可以基于指针停留在选择目标上的时间来确定选择目标是否被选择为处理目标。图10是示出根据本公开内容的实施方式的基于指针在选择目标上的停留时间的选择确定的示例的说明图。在图10所示的示例中，示出了其中用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动至结束位置23B以便选择台历71和冰箱73作为处理目标的示例。
例如，当指针在选择目标上停留达预定时间或更长时间时，选择控制单元146确定选择目标被选择为处理目标。具体地，假设预定时间设置为两秒。在图10所示的示例中，指针在台历71上停留达四秒钟，在电视72上停留达一秒钟，并且在冰箱73上停留达两秒钟。因此，选择控制单元146确定台历71和冰箱73被选择为处理目标。
-基于轨迹的弯曲的选择确定
如图11所示，选择控制单元146可以基于指针的轨迹是否在选择目标上弯曲来确定选择目标是否被选择为处理目标。图11是示出根据本公开内容的实施方式的基于指针在选择目标上的轨迹的弯曲的选择确定的示例的说明图。在图11所示的示例中，示出了其中用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动至结束位置23B以便选择冰箱73作为处理目标的示例。
例如，选择控制单元146确定在选择目标上的指针的轨迹在预定角度内弯曲的选择目标被选择为处理目标。具体地，假设预定角度被设置为90度。在图11所示的示例中，示出了其中指针的轨迹22在台历71和电视72上几乎是直线，但是在冰箱73上以90度内的角度弯曲的示例。因此，选择控制单元146确定冰箱73被选择为处理目标。
–基于指针的移动速度的选择确定
如图12所示，选择控制单元146可以基于指针在选择目标上的移动速度的加速或减速来确定选择目标是否被选择为处理目标。图12是示出根据本公开内容的实施方式的基于指针在选择目标上的移动速度的加速或减速的选择确定的示例的说明图。在图12所示的示例中，示出了其中用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动至结束位置23B以便选择台历71和冰箱73作为处理目标的示例。
注意，在图12所示的轨迹22附近描绘的符号“>”指示指针的移动速度的加速或减速。四个符号“>”形成一组，指示当四个“>”之间的间隔减小时指针的移动速度加速，并且当四个“>”之间的间隔增大时指针的移动速度减速。
例如，当使指针在选择目标上的移动速度加速时，选择控制单元146确定选择目标被选择为处理目标。在图12所示的示例中，指针的移动速度在台历71上加速，在电视72上减速，以及在冰箱73上加速。因此，选择控制单元146确定台历71和冰箱73被选择为处理目标。
–基于轨迹形状的重心位置的选择确定
如图13所示，当轨迹22的形状和选择目标彼此部分地交叠时，选择控制单元146可以基于在选择目标上是否存在轨迹形状的重心来确定选择目标是否被选择为处理目标。图13是示出根据本公开内容的实施方式的基于选择目标上的轨迹形状的重心位置的选择确定的示例的说明图。在图13所示的示例中，示出了其中用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动至结束位置23B以便选择台历71和电视72作为处理目标的示例。
例如，当选择目标上存在指示选择目标已经被选择为处理目标的轨迹形状的重心时，选择控制单元146确定选择目标被选择为处理目标。在图13所示的示例中，在台历71上存在指示选择目标已经被选择为处理目标的轨迹形状的重心25A，在电视72上存在重心25B，而在冰箱73上不存在重心25C。因此，选择控制单元146确定台历71和冰箱73被选择为处理目标。
如上所述，通过执行基于轨迹形状的重心的位置的选择确定，当多个选择目标彼此接近时，用户90可以容易地选择处理目标。
-基于轨迹形状的面积的选择确定
如图14所示，当轨迹形状和选择目标部分地交叠时，选择控制单元146可以基于交叠部分的面积来确定选择目标是否被选择为处理目标。图14是示出根据本公开内容的实施方式的基于选择目标上的轨迹形状的面积的选择确定的示例的说明图。在图14所示的示例中，示出了其中用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动至结束位置23B以便选择台历71和电视72作为处理目标的示例。
例如，当指示选择目标已经被选择为处理目标的轨迹形状与选择目标交叠的部分的面积大于或等于预定面积时，选择控制单元146确定选择目标被选择为处理目标。具体地，假设预定面积被设置为轨迹形状的四分之一或更大。在图14所示的示例中，指示选择目标已经被选择为处理目标的轨迹形状与选择目标交叠的部分的面积等于或大于台历71的四分之一，并且等于或大于电视72的四分之一，而小于冰箱73的四分之一。因此，选择控制单元146确定台历71和电视72被选择为处理目标。
如上所述，通过执行基于轨迹形状的面积的选择确定，当多个选择目标彼此接近时，用户90可以容易地选择处理目标。
-基于选择目标的设置的选择确定
如图15所示，当在指向设备20的输出单元与指针之间存在多个选择目标时，在多个选择目标中，选择控制单元146可以从多个选择目标中排除在其上未设置基于处理策略执行的处理的选择目标。图15是示出当根据本公开内容的实施方式的非选择目标被选择时的处理的示例的说明图。在图15所示的示例中，示出了其中当用户90对指向设备20进行操作并且将指针投影在电视72上时，作为另一选择目标的杯子77存在于指向设备20的输出单元与电视72之间的示例。
例如，杯子77没有要呈现的特定信息，并且因此不能基于处理策略呈现信息。此外，由于杯子77不是信息处理设备，因此杯子77不能基于处理策略进行操作。因此，当将杯子77登记为选择目标时，用户90仅登记目标名称，而不登记基于处理策略执行的处理。因此，当指向设备20的输出单元与电视72之间存在作为另一个选择目标的杯子77时，选择控制单元146将杯子77从选择目标中排除。然后，选择控制单元146可以缩小范围使电视72作为选择目标。
-基于用户的视线的选择确定
如图16所示，假设在使指向设备20的输出单元的位置(操作对象的位置)与由指针的位置信息指示的位置连接的直线上存在多个选择目标。在这种情况下，选择控制单元146可以基于用户的视线从多个选择目标中选择一个处理目标。图16是示出根据本公开内容的实施方式的基于用户的视线的选择确定的示例的说明图。图16的左侧所示的图示出了其中当杯子77存在于电视72的前面时、指示选择目标已经被选择为处理目标的轨迹在电视72和杯子77两者上延伸的示例。图16的右侧上的图示出了其中当指示选择目标已经被选择为处理目标的轨迹形状在多个选择目标上延伸时将轨迹重新布置在一个选择目标上的示例。
例如，当可以基于用户的视线确定用户90正在注视着多个选择目标之一时，选择控制单元146确定该一个选择目标被选择为处理目标。在图16的左侧所示的示例中，指示选择目标已经被选择为处理目标的轨迹形状被划分并且分别作为轨迹26A和轨迹26B存在于电视72和杯子77上。即，选择电视72和杯子77作为多个选择目标。然而，选择控制单元146可以基于用户90的视线91确定用户90正在注视电视72。因此，选择控制单元146确定电视72被选择为处理目标。
此外，假设在将指向设备20的输出单元的位置(操作对象的位置)和由指针的位置信息指示的位置连接的直线上存在多个选择目标，并且轨迹与多个选择目标交叠。在这种情况下，选择控制单元146可以将轨迹重新布置在从多个选择目标中选择的一个处理目标上。
例如，如使用图16的左侧的图所描述的，选择控制单元146基于用户90的视线从多个选择目标中选择一个处理目标，并且重新将轨迹布置在处理目标上。具体地，选择控制单元146基于用户90的视线91确定电视72被选择为处理目标。然后，选择控制单元146将轨迹26A和轨迹26B组合以生成图16的右侧所示的轨迹23C，并且将轨迹23C布置在电视72上。
-其他选择确定
当用户在不使用指向设备20的情况下通过诸如手指指向或移动视线的操作选择处理目标时，选择控制单元146可以基于由摄像装置捕获的图像(静止图像或运动图像)来检测该操作，并且确定该选择目标被选择为处理目标。
此外，当用户90已经选择了预定数目的选择目标时，选择控制单元146可以执行控制，使得用户90不能选择更多的选择目标。例如，选择控制单元146可以控制指向设备20在指针附近显示告警。此外，选择控制单元146可以控制指向设备20使得指针的响应性例如通过降低指针的移动速度等而劣化。
此外，当用户90大幅移动指针以包括指示选择目标已经被选择为处理目标的一个轨迹形状上的多个选择目标时，选择控制单元146可以一次确定多个选择目标全部被选择为处理目标。然后，操作处理控制单元148此后可以控制显示处理，使得用户90可以选择或放弃手边的处理目标。
此外，注意，选择控制单元146可以基于通过用户90的语音的选择指令来确定从选择目标中选择的处理目标。例如，选择控制单元146确定当用户90说诸如“这个(this)”或“那个(that)”的指令字时，在讲话时更靠近指针的位置的选择目标被选择为处理目标。此外，此外，当用户90说取消对处理目标的选择时，选择控制单元146可以取消对处理目标的选择。
(操作处理控制单元148)
操作处理控制单元148具有控制操作处理的功能。例如，操作处理控制单元148基于在开始记录轨迹之前或之后检测到的处理策略信息对多个处理目标执行批量操作处理。具体地，当检测到的处理策略指示执行用于显示多个处理目标中的每一个处理目标的处理目标信息的显示处理时，操作处理控制单元148获取处理目标信息并且执行作为批量操作处理的显示处理。此外，当检测到的处理策略指示执行使多个处理目标进行操作的操作处理时，操作处理控制单元148执行作为批量操作处理的操作处理。
-处理目标信息获取过程
在处理策略是要执行显示处理的情况下，操作处理控制单元148获取关于处理目标中的每一个处理目标的处理目标信息。处理目标信息的获取源根据处理目标是否是可通信信息处理设备而不同。例如，在处理目标是可通信信息处理设备的情况下，操作处理控制单元148使通信单元130与处理目标通信，并且获取由通信单元130从处理目标接收的信息作为处理目标信息。具体地，在处理目标是可通信的电视72的情况下，操作处理控制单元148获取通过在电视72与通信单元130之间的通信获取的节目信息作为处理目标信息。另一方面，在处理目标是不可通信的信息处理设备的情况下，操作处理控制单元148从处理目标以外获取处理目标信息。此外，在处理目标是不作为信息处理设备的对象的情况下，操作处理控制单元148类似地从处理目标以外获取处理目标信息。具体地，在处理目标是不可通信的电视72的情况下，操作处理控制单元148例如使通信单元130与外部服务器装置通信，并且获取由通信单元130从外部服务器装置接收的电视72的节目信息作为处理目标信息。此外，例如，在处理目标是不作为信息处理设备的对象诸如台历71的情况下，操作处理控制单元148从存储单元150获取日历信息作为处理目标信息。然后，操作处理控制单元148使投影设备50将所获取的多个处理目标信息批量投影至由用户指定的位置。注意，在操作处理控制单元148从处理目标以外获取处理目标信息的情况下，处理目标信息的获取源不限于上述示例。接下来，将参照图17至图21描述由操作处理控制单元148执行的显示处理的示例。
-基于轨迹的形状的处理目标信息的布局配置
图17是示出根据本公开内容的实施方式的基于通过用户的指令在指定位置处的信息的显示示例的说明图。在图17所示的示例中，用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动以便选择台历71、电视72和冰箱73作为处理目标。然后，示出了其中作为关于台历71的信息的日历信息52、作为关于电视72的信息的节目视频56、以及作为关于冰箱73的信息的厢内图像55被选择为处理目标并且被投影为处理目标信息51的示例。
当执行作为批量操作处理的显示处理时，操作处理控制单元148例如基于对检测处理目标进行指示的轨迹形状来改变要显示的处理目标信息51的布局。具体地，操作处理控制单元148对处理目标信息51中的布局进行配置，使得以轨迹22在处理目标上弯曲的次数的降序显示各个处理目标信息。在图17所示的示例中，在用户90选择台历71、电视72和冰箱73时，轨迹22的形状是使得轨迹22的弯曲次数以台历71、冰箱73和电视72的顺序增加。因此，如图17所示，操作处理控制单元148以最大尺寸显示日历信息52，以第二最大尺寸显示厢内图像55，以及以最小尺寸显示节目视频56。
如上所述，当基于处理目标的选择状态呈现处理目标信息时，操作处理控制单元148可以自动地生成布局。
–在根据处理目标信息的位置处的信息显示
如图18所示，当用户尚未指定显示多个处理目标信息的位置时，操作处理控制单元148基于多个处理目标信息中的每一个处理目标信息的内容来确定用于显示多个处理目标信息中的每一个处理目标信息的位置。然后，操作处理控制单元148使投影设备50投影与每个确定的位置对应的处理目标信息。图18是示出根据本公开内容的实施方式的根据处理目标的位置处的信息的显示示例的说明图。在图18所示的示例中，用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动以便选择台历71、电视72和冰箱73作为处理目标。然后，作为关于台历71的信息的日历信息52和作为关于冰箱73的信息的厢内图像55被选择为处理目标，并且作为处理目标信息51A被投影在空间的壁表面上。此外，示出了其中作为关于电视72的信息的远程控制器图像57被投影在桌子75上作为处理目标信息51B的示例。注意，用户90可以通过触摸远程控制器图像57上的按钮来操作电视72。
当执行作为批量操作处理的显示处理时，例如，操作处理控制单元148基于所获取的处理目标信息的内容来确定针对每个处理目标信息的显示位置。例如，日历信息52和厢内图像55在被显示的较大时具有更好的可视性。因此，操作处理控制单元148使日历信息52和厢内图像55作为处理目标信息51A较大地显示在空间的壁表面上。此外，如果远程控制器图像57更靠近用户90，则远程控制器图像57对于用户来说更加方便。因此，操作处理控制单元148将远程控制器图像57作为处理目标信息51B显示在靠近用户90的桌子75上。
-在没有由用户指定位置的情况下的信息显示
图19是示出根据本公开内容的实施方式的在没有位置指定的情况下的信息的显示示例的说明图。在图19所示的示例中，用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动以便选择台历71、电视72和冰箱73作为处理目标。然后，将关于选择为处理目标的台历71、电视72和冰箱73的信息作为处理目标信息51投影至空间的壁表面上。
例如，在没有由用户指定位置的情况下，操作处理控制单元148可以基于处理目标信息的内容、用户90的位置等在更合适的位置处显示处理目标信息。在图19所示的示例的情况下，由于处理目标信息51包括关于包括字符的台历71的信息，因此当将处理目标信息51显示在允许较大显示的壁表面上时，处理目标信息51的可视性更好。此外，当处理目标信息51显示在更靠近用户90的位置处时，用户90可以容易地在视觉上识别处理目标信息51。因此，操作处理控制单元148在图19所示的更靠近用户90的壁表面上显示处理目标信息51。
-在不存在由用户指定的位置并且无法评估显示位置的情况下的信息显示
图20是示出根据本公开内容的实施方式的在没有位置指定并且无法评估显示位置的情况下的信息的显示示例的说明图。图20的上侧所示的图是其中在选择处理目标之后指导用户90指定信息的显示位置的图。图20的下侧所示的图是其中用户90指定信息的显示位置的图。
在图20的上侧所示的图中，用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动至结束位置23B以便选择台历71、电视72和冰箱73作为处理目标。然而，假设还未指定用于显示处理目标信息的位置。
如上所述，在未由用户指定位置的情况下，操作处理控制单元148可以例如基于处理目标信息的内容和用户90的位置等在更合适的位置处显示处理目标信息。然而，在未能评估适当位置的情况下，操作处理控制单元148可以使用扬声器80通过语音指导用户90指定显示处理目标信息的位置。例如，如图20的上部图所示，操作处理控制单元148使扬声器80输出如“请指定用于显示信息的位置”的语音。
当从操作处理控制单元148接收到指令时，如图20的下部图所示，用户90说“此处。”并且使用指向设备20将要显示处理目标信息的位置25指定在桌子75上。然后，在检测到由用户90进行的位置指定后，操作处理控制单元148使处理目标信息显示在检测到的位置25处。
-按权重更改处理目标信息的内容
图21是示出根据本公开内容的实施方式的基于权重的信息的呈现示例的说明图。在一个处理目标具有多个处理目标信息的情况下，操作处理控制单元148可以对多个处理目标信息中的每一个处理目标信息设置权重，并且可以显示设置有与在处理目标上检测到的轨迹的状态对应的权重的处理目标信息。例如，操作处理控制单元148对多个处理目标信息中的每一个处理目标信息设定权重，并且操作处理控制单元148使投影设备50投影设置有与指针在处理目标上移动期间的时间对应的权重的处理目标信息。
例如，在电视具有远程控制器图像53A和节目信息53B作为处理目标信息的情况下，操作处理控制单元148对远程控制器图像53A设置权重1并且设置节目信息53B。此外，操作处理控制单元148设置条件以使得如果指针在处理目标上移动期间的时间小于预定时间，则选择具有权重1的处理目标信息，或者如果指针在处理目标上移动期间的时间等于或大于预定时间，则选择具有权重2的处理目标信息。
在图19的权重示例1中，假设指针在作为处理目标的电视72上移动期间的时间小于预定时间。在这种情况下，根据上述权重和条件的设置示例，如显示示例1，显示远程控制器图像53A作为处理目标信息。此外，在图19的权重示例2中，假设指针在作为处理目标的电视72上移动期间的时间等于或大于预定时间。在这种情况下，根据上述权重和条件的设置示例，如显示示例2，显示节目信息53B作为处理目标信息。
–当处理目标为虚拟对象时的信息呈现
例如，当用户90选择由投影设备50投影的虚拟对象作为处理目标时，操作处理控制单元148可以使投影设备50进一步投影关于作为虚拟对象的虚拟对象的信息。
–真实对象的操作处理
在下文中，将参照图22描述由操作处理控制单元148执行的操作处理的示例。图22是示出根据本公开内容的实施方式的操作处理的示例的说明图。图22的上侧示出的图是示出用户90已经选择了处理目标的图。在图22的下侧示出的图是示出用户90已经指定了操作处理的图。
当批量操作处理是使多个处理目标中的每一个处理目标执行相同操作的操作处理时，操作处理控制单元148使多个处理目标中的每一个处理目标批量执行由用户指定的操作处理。例如，在图22的上侧所示的图中，用户90对指向设备20进行操作并且如轨迹22一样将指针从开始位置23A移动至结束位置23B以便选择电视72和灯74为处理目标。在选择处理目标之后，如图22的下侧的图所示，用户90通过说“打开”来给出关于操作处理的指令。当检测到该指令时，操作处理控制单元148使作为处理目标的电视72和灯74批量执行操作处理以根据该指令接通电源。
(3)存储单元150
存储单元150具有存储通过信息处理装置中的处理获取的数据的功能。例如，存储单元150存储由存储控制单元144输出的指针的位置信息、选择目标的名称和选择目标的位置信息。注意，存储在存储单元150中的信息不限于上述轨迹数据。例如，存储单元150可以存储处理目标的处理目标信息。此外，存储单元150可以存储在控制单元140的处理中输出的数据、诸如各种应用的程序和数据等。
上面已经参照图6至图22描述了根据本公开内容的实施方式的信息处理服务器10的功能配置示例。接下来，将描述根据本公开内容的实施方式的操作示例。
<1.4.操作示例>
(1)信息处理系统的操作示例
在下文中，将参照图23描述根据本公开内容的实施方式的信息处理系统的操作示例。图23是示出根据本公开内容的实施方式的信息处理系统的操作示例的序列图。注意，在下文中，将描述当用户使用指向设备20以冰箱73、电视72和台历71的顺序选择处理目标时的显示处理。此外，假设冰箱73和电视72是作为可通信信息处理设备的对象，并且台历71是不作为信息处理设备的对象。
如图23所示，首先，当通过用户操作等作为触发来激活指向设备20时，指向设备20将该激活通知给信息处理服务器10(步骤S1000)。在接收到指向设备20已经被激活的通知时，信息处理服务器10进入可以记录指针的轨迹的状态(步骤S1002)。传感器设备40将通过感测空间而获得的感测数据发送至信息处理服务器10(步骤S1004)。
当信息处理服务器10基于感测数据检测到指针时，信息处理服务器10开始指针的轨迹的记录处理和处理目标的检测处理(步骤S1006)。
在检测处理中检测到冰箱73并且因此信息处理服务器10确定冰箱73是可通信的信息处理设备，并且然后通知冰箱73：冰箱73被选择为处理目标(步骤S1008)。在接收到被选择为处理目标的通知时，冰箱73将冰箱中的图像作为关于处理目标的信息发送至信息处理服务器10(步骤S1010)。在从冰箱73接收到冰箱中的图像时，信息处理服务器10将指令发送至投影设备50以对冰箱73执行VFB输出(步骤S1012)。
随后，在检测处理中检测到电视72并且因此信息处理服务器10确定电视72是可通信的信息处理设备，并且然后通知电视72：电视72被选择为处理目标(步骤S1014)。在接收到被选择为处理目标的通知时，电视72将节目信息作为关于处理目标的信息发送至信息处理服务器10(步骤S1016)。在从电视72接收到节目信息时，信息处理服务器10将指令发送至投影设备50以对电视72执行VFB输出(步骤S1018)。
随后，在检测处理中检测到台历71并且因此信息处理服务器10确定台历71是不作为信息处理设备的对象，并且然后从存储单元150获取关于台历71的信息(步骤S1019)。
在基于感测数据检测到指针的轨迹的记录处理结束时，信息处理服务器10结束指针的轨迹的记录处理。此外，信息处理服务器10评估在整个一笔划绘制中选择的处理目标(步骤S1020)。信息处理服务器10基于评估结果生成将由投影设备50投影的显示信息，并且确定用于投影所生成的显示信息的位置(步骤S1022)。然后，信息处理服务器10将用于在所确定的位置处投影显示信息的指令发送至投影设备50(步骤S1024)。
(2)信息处理装置的操作示例
在下文中，将参照图24至图25描述根据本公开内容的实施方式的信息处理服务器10的操作示例。
(主要处理)
在下文中，将参照图24描述根据本公开内容的实施方式的信息处理服务器10的主要处理的流程。图24是示出根据本公开内容的实施方式的信息处理装置的主要处理的流程图。
如图24所示，首先，信息处理服务器10确认是否检测到轨迹的记录开始(步骤S2000)。当未检测到轨迹的记录开始(步骤S2000中为否)时，信息处理服务器10重复步骤S2000的处理，直至检测到轨迹的记录开始。
当检测到轨迹的记录开始(步骤S2000中为是)时，信息处理服务器10确认是否检测到由用户对处理目标的选择(步骤S2002)。当未检测到对处理目标的选择(步骤S2002中为否)时，信息处理服务器10重复步骤S2002的处理，直至检测到对处理目标的选择。
当检测到对处理目标的选择(步骤S2002中为是)时，信息处理服务器10确认选择处理目标时的轨迹形状是否在用户的视野内(步骤S2004)。当该区域不在用户的视野内时(步骤S2004为否)，信息处理服务器10执行稍后描述的步骤S2008的处理。
当检测到的轨迹形状在用户的视野内时(步骤S2004中为是)，信息处理服务器10重新布置检测到的轨迹形状(步骤S2006)，并且执行步骤S2008的处理。
在步骤S2008中，信息处理服务器10检测在检测到的轨迹形状的延伸方向上存在的对象(步骤S2008)。在检测到对象之后，信息处理服务器10确认检测到的对象是否是选择目标(步骤S2010)。当检测到的对象不是选择目标(步骤S2010中为否)时，信息处理服务器10执行稍后描述的步骤S2022的处理。
当检测到的对象是选择目标时(步骤S2010中为是)，信息处理服务器10确认是否存在多个选择目标(步骤S2012)。当不存在多个选择目标(步骤S2012中为否)时，信息处理服务器10选择检测到的对象作为处理目标(步骤S2018)，并且执行稍后描述的步骤S2020的处理。
当存在多个选择目标时(步骤S2012中为是)，信息处理服务器10计算由轨迹围绕的区域与选择目标中的每一个选择目标交叠的部分的面积(步骤S2014)。在计算出面积之后，信息处理服务器10选择具有较大面积的选择目标作为处理目标(步骤S2016)，并且执行步骤S2020的处理。
在步骤S2020的处理中，信息处理服务器10确认是否从所选择的处理目标获取处理目标信息。当从处理目标获取处理目标信息(步骤S2020中为是)时，信息处理服务器10通过与处理目标通信来从处理目标获取处理目标信息(步骤S2022)，并且执行步骤S2026的处理。另一方面，当没有从处理目标获取处理目标信息(步骤S2020中为否)时，信息处理服务器10从除处理目标以外诸如存储单元150或外部服务器获取处理目标信息(步骤S2024)并且执行步骤S2026的处理。
在步骤S2026的处理中，信息处理服务器10存储在步骤S2014中计算出的面积中的、该区域与处理目标交叠的部分的面积(步骤S2026)，并且执行步骤S2028的处理。
在步骤S2028的处理中，信息处理服务器10确认是否检测到轨迹的记录结束(步骤S2028)。当检测到轨迹的记录结束(步骤S2028中为是)时，信息处理服务器10执行批量操作处理(步骤S2030)并且结束该处理。注意，稍后将描述批量操作处理的详细处理流程。
当未检测到轨迹的记录结束(步骤S2028中为否)时，信息处理服务器10重复上述从步骤S2002至步骤S2026的处理，直至检测到轨迹的记录结束。
(批量操作处理)
接下来，将参照图25描述根据本公开内容的实施方式的信息处理服务器10的批量操作处理的流程。图25是示出根据本公开内容的实施方式的批量操作处理的流程图。
如图25所示，首先，信息处理服务器10确认是否由用户指定了要执行的批量操作处理(步骤S3000)。当指定了批量操作处理时(步骤S3000中为是)，信息处理服务器10执行稍后描述的步骤S3008的处理。
当未指定批量操作处理时(步骤S3000中为否)，信息处理服务器10确认是否由用户指定了位置(步骤S3002)。当指定位置时(步骤S3002中为是)，信息处理服务器10使投影设备50将关于处理目标的信息投影至由用户指定的位置(步骤S3006)，并且结束批量操作处理。
当未指定位置(步骤S3002中为否)时，信息处理服务器10确定位置(步骤S3004)，使投影设备50将关于处理目标的信息投影至所确定的位置(步骤S3006)，并且结束批量操作处理。
在步骤S3008中，信息处理服务器10确认是否需要指定位置以执行由用户指定的批量操作处理(步骤S3008)。当需要指定位置(步骤S3008中为是)时，信息处理服务器10执行稍后描述的步骤S3012的处理。
当不需要指定位置(步骤S3008中为否)时，信息处理服务器10执行由用户指定的批量操作处理(步骤S3010)，并且结束批量操作处理。
在步骤S3012中，信息处理服务器10确认是否由用户指定了位置(步骤S3012)。当指定了位置(步骤S3012中为是)时，信息处理服务器10在指定位置处执行指定处理(步骤S3014)，并且结束批量操作处理。
当未指定位置(步骤S3012中为否)时，信息处理服务器10确认是否可以确定用于执行指定处理的位置(步骤S3016)。当可以确定位置(步骤S3016中为是)时，信息处理服务器10确定位置(步骤S3018)，执行在所确定的位置处指定的处理(步骤S3014)，并且结束批量操作处理。
当不可能确定位置(步骤S3016中为否)时，信息处理服务器10指导用户指定用于执行处理的位置(步骤S3020)。在指导用户之后，信息处理服务器10确认是否检测到来自用户的位置的指定(步骤S3022)。当检测到来自用户的位置的指定(步骤S3022中为是)时，信息处理服务器10在指定位置处执行指定处理(步骤S3014)，并且结束批量操作处理。
当未检测到来自用户的位置的指定(步骤S3022中为否)时，信息处理服务器10确认是否已经经过了一定时间(步骤S3024)。当还没有经过一定时间(步骤S3024中为否)时，则再次执行步骤S3022的处理。
当已经经过一定时间(步骤S3024中为是)时，信息处理服务器10结束批量操作处理而不执行指定处理。
上面已经参照图23至图25描述了根据本公开内容的实施方式的操作示例。
上面已经参照图1至图25描述了本公开内容的实施方式。接下来，将描述根据本公开内容的实施方式的信息处理装置的硬件配置。
《2.硬件配置示例》
在下文中，将参照图26描述根据本公开内容的实施方式的信息处理设备的硬件配置示例。图26是示出根据本公开内容的实施方式的信息处理服务器10的硬件配置示例的框图。如图26所示，信息处理服务器10包括例如CPU 101、ROM 103、RAM 105、主机总线107、桥接器109、外部总线111和接口113。此外，信息处理服务器10还包括输入设备115、输出设备117、音频输出设备119、存储设备121、驱动器123、可移除记录介质125和通信设备127。注意，此处示出的硬件配置是示例，并且可以省略一些部件。此外，硬件配置还可以包括除此处示出的部件之外的部件。
(CPU101、ROM103、RAM105)
CPU 101用作例如运算处理设备或控制设备，并且基于记录在ROM103、RAM 105、存储设备121、或者可移除记录介质125中的各种程序来控制各个部件的整体操作或各个部件的部分操作。ROM 103是用于存储由CPU 101读取的程序、用于计算的数据等的装置。RAM105临时地或永久地存储例如由CPU 101读取的程序以及在执行该程序时适当改变的各种参数等。这些经由包括CPU总线等的主机总线107彼此连接。CPU 101、ROM103和RAM 105可以例如与软件协作来实现参照图7描述的控制单元140的功能。
(主机总线107、桥接器109、外部总线111、接口113)CPU 101、ROM 103和RAM 105例如经由能够进行高速数据传输的主机总线107彼此连接。另一方面，例如，主机总线107经由桥接器109连接至具有相对低的数据传输速度的外部总线111。此外，外部总线111还经由接口113连接至各种部件。
(输入设备115)
例如，将鼠标、键盘、触摸板、按钮、开关、控制杆等用作输入设备115。此外，可以将能够使用红外线或其他无线电波发送控制信号的远程控制器用作输入设备115。此外，输入设备115包括诸如麦克风的音频输入设备。
(输出设备117、音频输出设备119)
输出设备117例如包括诸如阴极射线管(CRT)显示设备或液晶显示(LCD)设备的显示设备。此外，输出设备117包括诸如投影仪设备、有机发光二极管(OLED)设备和灯的显示设备。此外，音频输出设备119是诸如扬声器和耳机的设备。
(存储设备121)
存储设备121是用于存储各种数据的设备。例如，使用诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光学存储设备、磁光存储设备等作为存储设备121。例如，存储设备121可以实现参照图7描述的存储单元150的功能。
(驱动器123)
驱动器123例如是读取记录在诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质125上的信息，或者将信息写入可移除记录介质125上的设备。
(可移除记录介质125)
可移除记录介质125例如是DVD介质、蓝光(注册商标)介质、HD-DVD介质、各种类型的半导体存储介质等。当然，可移除记录介质125例如可以是配备有非接触型IC芯片的IC卡、电子设备等。
(通信设备127)
通信设备127是用于与网络连接的通信设备，例如，有线或无线LAN、蓝牙(注册商标)或者用于无线USB(WUSB)的通信卡、用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器或者用于各种通信的调制解调器等。
上面已经参照图26描述了根据本公开内容的实施方式的信息处理装置的硬件配置示例。
《3.总结》
如上所述，根据本公开内容的实施方式的信息处理装置基于空间中的指针的位置信息和空间中的选择目标的位置信息来检测由用户从空间内的多个选择目标中连续选择的多个处理目标。此外，根据本公开内容的实施方式的信息处理装置基于对由用户针对所检测到的多个处理目标指定的处理策略进行指示的处理策略信息对所检测到的多个处理目标执行批量操作的批量操作处理。
在选择了多个处理目标之后，信息处理装置可以通过对多个处理目标执行批量操作处理来对多个处理目标批量执行操作处理。
因此，信息处理装置可以提供当用户批量选择多个对象时能够改善可操作性的新的和改进的信息处理装置、信息处理方法和程序。
上面已经参照附图详细描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这样的示例。明显的是，具有本公开内容的技术领域的普通知识的技术人员可以在权利要求书中描述的技术思想的范围内设计出各种改变示例或修改示例，并且将自然地理解，这样的改变也属于本公开内容的技术范围。
此外，通过本说明书中描述的每个设备执行的一系列处理可以使用软件、硬件以及软件和硬件的组合中的任何一个来实现。例如，将配置软件的程序预先存储在被设置在每个设备内部或外部的记录介质(非暂态介质)中。然后，例如，当计算机执行程序时，每个程序被读取至RAM中并且由诸如CPU的处理器执行。
此外，在本说明书中使用流程图和顺序图描述的处理不一定必须以所示顺序执行。一些处理步骤可以并行执行。此外，可以采用附加的处理步骤，并且可以省略一些处理步骤。
此外，本说明书中描述的效果仅是说明性或示例性的而非限制性的。即，除了上述效果以外或代替上述效果，根据本公开内容的技术还可以呈现出根据本说明书对于本领域技术人员而言明显的其他效果。
注意，以下配置也属于本公开内容的技术范围。
(1)一种信息处理装置，包括：
控制单元，所述控制单元执行基于空间中的用户指定位置信息和所述空间中的目标位置信息来对由用户从所述空间内的多个选择目标中连续选择的多个处理目标进行检测的检测处理，以及基于对由所述用户针对所检测到的所述多个处理目标指定的处理策略进行指示的处理策略信息来对所检测到的所述多个处理目标执行批量操作的批量操作处理。
(2)根据以上(1)所述的信息处理装置，其中，所述控制单元基于呈现的所述用户指定位置信息的连续轨迹，对连续选择的所述多个处理目标进行检测。
(3)根据以上(2)所述的信息处理装置，其中，所述控制单元将以下范围设置为所述批量操作处理的目标范围，所述范围从在检测到由连续获取的所述用户指定位置信息指示的形状是指示开始所述轨迹的检测的形状时的所述用户指定位置信息的位置、至在检测到由连续获取的所述用户指定位置信息指示的形状是指示结束所述轨迹的检测的形状时的所述用户指定位置信息的位置。
(4)根据以上(2)所述的信息处理装置，其中，所述控制单元从在检测到由连续获取的所述用户指定位置信息指示的形状是指示检测到所述处理目标的形状时的所述用户指定位置信息的位置开始所述轨迹的检测。
(5)根据以上(2)至(4)中任一项所述的信息处理装置，其中，所述控制单元基于指示检测所述处理目标的所述轨迹的形状的至少一部分是否形成在所述选择目标上来确定所述选择目标是否被选择为所述处理目标。
(6)根据以上(5)所述的信息处理装置，其中
当指示检测所述处理目标的所述轨迹的形状和所述选择目标部分交叠时，
所述控制单元基于指示检测所述处理目标的所述轨迹的形状的重心是否存在于所述选择目标上来确定所述选择目标是否被选择为所述处理目标。
(7)根据以上(5)所述的信息处理装置，其中，
当指示检测所述处理目标的所述轨迹的形状和所述选择目标部分交叠时，
所述控制单元基于交叠的部分的面积来确定所述选择目标是否被选择为所述处理目标。
(8)根据以上(2)至(7)中任一项所述的信息处理装置，其中
当在连接操作对象的位置和所述用户指定位置信息的位置的直线上存在多个所述选择目标时，
所述控制单元基于所述用户的视线从所述多个所述选择目标中选择所述处理目标中的一个。
(9)根据以上(8)所述的信息处理装置，其中
当在连接所述操作对象的位置和所述用户指定位置信息的位置的所述直线上存在多个所述选择目标并且所述轨迹与多个所述选择目标交叠时，
所述控制单元将所述轨迹重新布置在从多个所述选择目标中选择的所述处理目标中的一个上。
(10)根据以上(2)至(9)中任一项所述的信息处理装置，其中，所述控制单元从所述多个所述选择目标中排除多个所述选择目标中的对于其没有设置基于所述处理策略要执行的处理的选择目标。
(11)根据以上(2)至(10)中任一项所述的信息处理装置，其中，所述控制单元基于对在开始所述轨迹的记录之前或结束所述轨迹的记录之后检测到的所述处理策略信息进行指示的所述用户的操作来执行所述批量操作处理。
(12)根据以上(11)所述的信息处理装置，其中，所述控制单元经由通信将关于所述批量操作处理的请求发送至所述多个处理目标中的每一个处理目标。
(13)根据以上(11)或(12)所述的信息处理装置，其中
当所述批量操作处理是显示关于所述多个处理目标中的每一个处理目标的处理目标信息的显示处理时，
所述控制单元获取所述处理目标信息，并且使投影设备将所获取的多个所述处理目标信息批量投影至由所述用户指定的位置。
(14)根据以上(13)所述的信息处理装置，其中
当所述用户尚未指定用于显示所述多个处理目标信息的位置时，
所述控制单元基于所述多个处理目标信息中的每一个处理目标信息的内容确定用于显示所述多个处理目标信息中的每一个处理目标信息的位置，并且使所述投影设备投影与所确定位置中的每一个位置对应的所述处理目标信息。
(15)根据以上(13)或(14)所述的信息处理装置，其中，所述控制单元根据所述用户指定位置信息在所述处理目标上移动的时间来改变要由所述投影设备投影的所述处理目标信息。
(16)根据以上(11)至(15)中任一项所述的信息处理装置，其中
当所述批量操作处理是使所述多个处理目标中的每一个处理目标执行相同操作的操作处理时，
所述控制单元使所述多个处理目标中的每一个处理目标批量执行由所述用户指定的所述操作处理。
(17)根据以上(2)至(16)中任一项所述的信息处理装置，其中，对所述用户已经选择了所述处理目标进行指示的所述轨迹的形状与对所述处理策略进行指示的所述轨迹的形状不同。
(18)根据以上(1)至(17)中任一项所述的信息处理装置，其中，所述选择目标是在所述空间中实际存在的真实对象或者由投影设备在所述空间中投影的虚拟对象。
(19)一种由处理器执行的信息处理方法，所述方法包括
执行基于空间中的用户指定位置信息和所述空间中的目标位置信息来对由用户从所述空间内的多个选择目标中连续选择的多个处理目标进行检测的检测处理，以及基于对由所述用户针对所检测到的所述多个处理目标指定的处理策略进行指示的处理策略信息来对所检测到的所述多个处理目标执行批量操作的批量操作处理。
(20)一种程序，所述程序使计算机用作
控制单元，所述控制单元执行基于空间中的用户指定位置信息和所述空间中的目标位置信息来对由用户从所述空间内的多个选择目标中连续选择的多个处理目标进行检测的检测处理，以及基于对由所述用户针对所检测到的所述多个处理目标指定的处理策略进行指示的处理策略信息来对所检测到的所述多个处理目标执行批量操作的批量操作处理。
附图标记列表
10 信息处理服务器
20 指向设备
30 环境评估设备
40 传感器设备
50 投影设备
130 通信单元
140 控制单元
142 检测控制单元
144 储存控制单元
146 选择控制单元
148 操作处理控制单元
150 存储单元

Claims (20)

1.一种信息处理装置，包括：
控制单元，所述控制单元执行基于空间中的用户指定位置信息和所述空间中的目标位置信息来对由用户从所述空间内的多个选择目标中连续选择的多个处理目标进行检测的检测处理，以及基于对由所述用户针对所检测到的所述多个处理目标指定的处理策略进行指示的处理策略信息来对所检测到的所述多个处理目标执行批量操作的批量操作处理。
2.根据权利要求1所述的信息处理装置，其中，所述控制单元基于呈现的所述用户指定位置信息的连续轨迹，对连续选择的所述多个处理目标进行检测。
3.根据权利要求2所述的信息处理装置，其中，所述控制单元将以下范围设置为所述批量操作处理的目标范围，所述范围从在检测到由连续获取的所述用户指定位置信息指示的形状是指示开始所述轨迹的检测的形状时的所述用户指定位置信息的位置、至在检测到由连续获取的所述用户指定位置信息指示的形状是指示结束所述轨迹的检测的形状时的所述用户指定位置信息的位置。
4.根据权利要求2所述的信息处理装置，其中，所述控制单元从在检测到由连续获取的所述用户指定位置信息指示的形状是指示检测到所述处理目标的形状时的所述用户指定位置信息的位置开始所述轨迹的检测。
5.根据权利要求2所述的信息处理装置，其中，所述控制单元基于指示检测所述处理目标的所述轨迹的形状的至少一部分是否形成在所述选择目标上来确定所述选择目标是否被选择为所述处理目标。
6.根据权利要求5所述的信息处理装置，其中
当指示检测所述处理目标的所述轨迹的形状和所述选择目标部分交叠时，
所述控制单元基于指示检测所述处理目标的所述轨迹的形状的重心是否存在于所述选择目标上来确定所述选择目标是否被选择为所述处理目标。
7.根据权利要求5所述的信息处理装置，其中，
当指示检测所述处理目标的所述轨迹的形状和所述选择目标部分交叠时，
所述控制单元基于交叠的部分的面积来确定所述选择目标是否被选择为所述处理目标。
8.根据权利要求2所述的信息处理装置，其中
当在连接操作对象的位置和所述用户指定位置信息的位置的直线上存在多个所述选择目标时，
所述控制单元基于所述用户的视线从所述多个所述选择目标中选择所述处理目标中的一个。
9.根据权利要求8所述的信息处理装置，其中
当在连接所述操作对象的位置和所述用户指定位置信息的位置的所述直线上存在多个所述选择目标并且所述轨迹与多个所述选择目标交叠时，
所述控制单元将所述轨迹重新布置在从多个所述选择目标中选择的所述处理目标中的一个上。
10.根据权利要求2所述的信息处理装置，其中，所述控制单元从所述多个所述选择目标中排除多个所述选择目标中的对于其没有设置基于所述处理策略要执行的处理的选择目标。
11.根据权利要求2所述的信息处理装置，其中，所述控制单元基于对在开始所述轨迹的记录之前或结束所述轨迹的记录之后检测到的所述处理策略信息进行指示的所述用户的操作来执行所述批量操作处理。
12.根据权利要求11所述的信息处理装置，其中，所述控制单元经由通信将关于所述批量操作处理的请求发送至所述多个处理目标中的每一个处理目标。
13.根据权利要求11所述的信息处理装置，其中
当所述批量操作处理是显示关于所述多个处理目标中的每一个处理目标的处理目标信息的显示处理时，
所述控制单元获取所述处理目标信息，并且使投影设备将所获取的多个所述处理目标信息批量投影至由所述用户指定的位置。
14.根据权利要求13所述的信息处理装置，其中
当所述用户尚未指定用于显示所述多个处理目标信息的位置时，
所述控制单元基于所述多个处理目标信息中的每一个处理目标信息的内容确定用于显示所述多个处理目标信息中的每一个处理目标信息的位置，并且使所述投影设备投影与所确定位置中的每一个位置对应的所述处理目标信息。
15.根据权利要求13所述的信息处理装置，其中，所述控制单元根据所述用户指定位置信息在所述处理目标上移动的时间来改变要由所述投影设备投影的所述处理目标信息。
16.根据权利要求11所述的信息处理装置，其中
当所述批量操作处理是使所述多个处理目标中的每一个处理目标执行相同操作的操作处理时，
所述控制单元使所述多个处理目标中的每一个处理目标批量执行由所述用户指定的所述操作处理。
17.根据权利要求2所述的信息处理装置，其中，对所述用户已经选择了所述处理目标进行指示的所述轨迹的形状与对所述处理策略进行指示的所述轨迹的形状不同。
18.根据权利要求1所述的信息处理装置，其中，所述选择目标是在所述空间中实际存在的真实对象或者由投影设备在所述空间中投影的虚拟对象。
19.一种由处理器执行的信息处理方法，所述方法包括
执行基于空间中的用户指定位置信息和所述空间中的目标位置信息来对由用户从所述空间内的多个选择目标中连续选择的多个处理目标进行检测的检测处理，以及基于对由所述用户针对所检测到的所述多个处理目标指定的处理策略进行指示的处理策略信息来对所检测到的所述多个处理目标执行批量操作的批量操作处理。
20.一种程序，所述程序使计算机用作
控制单元，所述控制单元执行基于空间中的用户指定位置信息和所述空间中的目标位置信息来对由用户从所述空间内的多个选择目标中连续选择的多个处理目标进行检测的检测处理，以及基于对由所述用户针对所检测到的所述多个处理目标指定的处理策略进行指示的处理策略信息来对所检测到的所述多个处理目标执行批量操作的批量操作处理。
CN201980035921.2A 2018-06-06 2019-05-24 信息处理装置、信息处理方法和程序 Pending CN112204505A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018108860 2018-06-06
JP2018-108860 2018-06-06
PCT/JP2019/020705 WO2019235263A1 (ja) 2018-06-06 2019-05-24 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN112204505A true CN112204505A (zh) 2021-01-08

Family

ID=68770358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980035921.2A Pending CN112204505A (zh) 2018-06-06 2019-05-24 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US11570017B2 (zh)
JP (1) JP7306386B2 (zh)
CN (1) CN112204505A (zh)
DE (1) DE112019002866T5 (zh)
WO (1) WO2019235263A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874399A (zh) * 2024-03-11 2024-04-12 合肥坤颐建筑科技合伙企业(有限合伙) 空间净距的批量检测方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049700A (ja) * 1996-08-02 1998-02-20 Canon Inc ペン入力装置、ペン入力方法、入力装置及び入力方法
JP2003018672A (ja) * 2001-07-03 2003-01-17 Hitachi Ltd ネットワーク・システム
JP2004246856A (ja) * 2002-12-18 2004-09-02 National Institute Of Advanced Industrial & Technology インタフェース装置
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置
US20130141011A1 (en) * 2011-12-06 2013-06-06 Panasonic Corporation Illumination system
CN104297748A (zh) * 2014-10-20 2015-01-21 西安电子科技大学 一种基于轨迹增强的雷达目标检测前跟踪方法
US20150293586A1 (en) * 2014-04-09 2015-10-15 International Business Machines Corporation Eye gaze direction indicator

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471578A (en) * 1993-12-30 1995-11-28 Xerox Corporation Apparatus and method for altering enclosure selections in a gesture based input system
US7086013B2 (en) * 2002-03-22 2006-08-01 Xerox Corporation Method and system for overloading loop selection commands in a system for selecting and arranging visible material in document images
JP2007259329A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 遠隔制御装置、システムおよび方法
DE102008021160A1 (de) 2008-04-28 2009-10-29 Beckhoff Automation Gmbh Fernbedienung
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
JP5455364B2 (ja) * 2008-12-26 2014-03-26 キヤノン株式会社 情報処理装置及び軌跡データ認識方法
KR20100114572A (ko) * 2009-04-16 2010-10-26 삼성전자주식회사 터치스크린을 구비한 단말기의 컨텐츠 표시 방법 및 장치
WO2011027397A1 (ja) 2009-09-03 2011-03-10 株式会社 東芝 ユーザーインターフェース装置
JP5471850B2 (ja) 2010-06-02 2014-04-16 ソニー株式会社 制御装置、制御方法、プログラム
WO2012024442A2 (en) * 2010-08-17 2012-02-23 Google Inc. Touch-based gesture detection for a touch-sensitive device
US20150248166A1 (en) * 2014-01-26 2015-09-03 Shangkar Meitei Mayanglambam System for spontaneous recognition of continuous gesture input
JP2015232928A (ja) 2014-06-09 2015-12-24 株式会社ディスコ 照明器具及び照明器具の点灯管理方法
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
WO2018008218A1 (ja) 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3324270A1 (en) * 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049700A (ja) * 1996-08-02 1998-02-20 Canon Inc ペン入力装置、ペン入力方法、入力装置及び入力方法
JP2003018672A (ja) * 2001-07-03 2003-01-17 Hitachi Ltd ネットワーク・システム
JP2004246856A (ja) * 2002-12-18 2004-09-02 National Institute Of Advanced Industrial & Technology インタフェース装置
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置
US20130141011A1 (en) * 2011-12-06 2013-06-06 Panasonic Corporation Illumination system
US20150293586A1 (en) * 2014-04-09 2015-10-15 International Business Machines Corporation Eye gaze direction indicator
CN104297748A (zh) * 2014-10-20 2015-01-21 西安电子科技大学 一种基于轨迹增强的雷达目标检测前跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874399A (zh) * 2024-03-11 2024-04-12 合肥坤颐建筑科技合伙企业(有限合伙) 空间净距的批量检测方法、装置、设备及存储介质
CN117874399B (zh) * 2024-03-11 2024-06-04 合肥坤颐建筑科技合伙企业(有限合伙) 空间净距的批量检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2019235263A1 (ja) 2019-12-12
DE112019002866T5 (de) 2021-04-15
US11570017B2 (en) 2023-01-31
JPWO2019235263A1 (ja) 2021-07-08
US20210167982A1 (en) 2021-06-03
JP7306386B2 (ja) 2023-07-11

Similar Documents

Publication Publication Date Title
US11604510B2 (en) Zonal gaze driven interaction
JP6721713B2 (ja) 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
US10642371B2 (en) Sessionless pointing user interface
US10409385B2 (en) Occluded gesture recognition
EP2766790B1 (en) Authenticated gesture recognition
US10635184B2 (en) Information processing device, information processing method, and program
US9978261B2 (en) Remote controller and information processing method and system
US10013083B2 (en) Utilizing real world objects for user input
KR101872426B1 (ko) 깊이 기반 사용자 인터페이스 제스처 제어
US20130211843A1 (en) Engagement-dependent gesture recognition
US20110191707A1 (en) User interface using hologram and method thereof
JP2017524170A (ja) レーダベースのジェスチャ認識
US20160209968A1 (en) Mapping touch inputs to a user input module
TW201531925A (zh) 多點觸控虛擬滑鼠
WO2013124845A1 (en) Computer vision based control of an icon on a display
US20240185516A1 (en) A Method for Integrated Gaze Interaction with a Virtual Environment, a Data Processing System, and Computer Program
CN115496850A (zh) 家居设备控制方法、智能穿戴设备和可读存储介质
CN112204505A (zh) 信息处理装置、信息处理方法和程序
US10222866B2 (en) Information processing method and electronic device
KR20160039589A (ko) 손가락 센싱 방식을 이용한 무선 공간 제어 장치
CN104951211B (zh) 一种信息处理方法和电子设备
JP4053903B2 (ja) ポインティング方法、装置、およびプログラム
US20210294482A1 (en) Information processing device, information processing method, and program
CN111492339A (zh) 信息处理设备、信息处理方法以及记录介质
JP6523509B1 (ja) ゲームプログラム、方法、および情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination