CN108572728B - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN108572728B
CN108572728B CN201810171478.9A CN201810171478A CN108572728B CN 108572728 B CN108572728 B CN 108572728B CN 201810171478 A CN201810171478 A CN 201810171478A CN 108572728 B CN108572728 B CN 108572728B
Authority
CN
China
Prior art keywords
input device
information processing
information
processing apparatus
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810171478.9A
Other languages
English (en)
Other versions
CN108572728A (zh
Inventor
横山谅
伊藤镇
松崎庸介
山野郁男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108572728A publication Critical patent/CN108572728A/zh
Application granted granted Critical
Publication of CN108572728B publication Critical patent/CN108572728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8023—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game the game being played by multiple players at a common site, e.g. in an arena, theatre, shopping mall using a large public display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了一种信息处理设备、信息处理方法和程序。该信息处理设备包括：获取单元，其被配置成基于一个或多个传感器数据来获取多个指示器信息；确定单元，其被配置成基于多个指示器信息的特征来确定与每个指示器对应的输入装置；以及生成单元，其被配置成在指示器的位置满足预定条件的情况下，生成要输出到与指示器对应的输入装置的预定触觉刺激信号。

Description

信息处理设备、信息处理方法和程序
相关申请的交叉引用
本申请要求于2017年3月8日提交的日本优先权专利申请JP2017-043989的权益，该申请的全部内容通过引用并入本文中。
技术领域
本公开内容涉及信息处理设备、信息处理方法和程序。
背景技术
已知这样的远程控制器，其经由无线通信连接到电视接收机等并且执行操作。
此外，如下技术已经变得普遍：其用于根据视频或音频向用户提供诸如振动的触觉输出，以便改进诸如电影和视频游戏的内容的真实感。例如，在日本专利申请公开第2015-166890号中，公开了如下的技术，其用于通过基于在内容的虚拟空间中发生事件的位置而延迟来自控制器的触觉输出来改进内容的真实感。
发明内容
然而，在上述相关技术中，假设家庭或娱乐设施中的少数用户操作控制器，并且难以区分许多控制器并使各个控制器输出诸如振动的相应触觉刺激。
鉴于上述情况，本公开内容提出了如下的信息处理设备、信息处理方法和程序：其能够通过基于来自多个输入装置的输入向相应的输入装置呈现预定触觉刺激来实现更加逼真且直观的触觉接口。
根据本公开内容的实施方式，提供了一种信息处理设备，包括：获取单元，其被配置成基于一个或多个传感器数据来获取多个指示器信息；确定单元，其被配置成基于多个指示器信息的特征来确定与每个指示器对应的输入装置；以及生成单元，其被配置成在指示器的位置满足预定条件的情况下，生成要输出到与该指示器对应的输入装置的预定触觉刺激信号。
根据本公开内容的实施方式，提供了一种信息处理方法，其包括：由处理器基于一个或多个传感器数据来获取多个指示器信息；基于多个指示器信息的特征来确定与每个指示器对应的输入装置；以及在指示器的位置满足预定条件的情况下，生成要输出到与该指示器对应的输入装置的预定触觉刺激信号。
根据本公开内容的实施方式，提供了一种程序，该程序使得计算机被用作：获取单元，其被配置成基于一个或多个传感器数据来获取多个指示器信息；确定单元，其被配置成基于多个指示器信息的特征来确定与每个指示器对应的输入装置；以及生成单元，其被配置成在指示器的位置满足预定条件的情况下，生成要输出到与该指示器对应的输入装置的预定触觉刺激信号。
如上所述，根据本公开内容，能够实现基于来自多个输入装置的输入而向相应的输入装置呈现预定触觉刺激的更加逼真且直观的触觉接口。
应该注意的是，上述效果不一定是限制性的，并且本文中描述的任何效果或者可以从本文中得知的其他效果可以与上述效果一起运用或者取代上述效果来运用。
如附图所示，根据以下对本公开内容的最佳实施方式的详细描述，本公开内容的这些和其他目的、特征和优点将变得更加明显。
附图说明
图1是示出根据本公开内容的实施方式的信息处理系统的概要的图；
图2是示出本实施方式中的显示设备、3D投影仪和用户的布置的示例的图；
图3是示出本实施方式中的输入装置和触觉刺激输出装置中包括的振动单元的示例的图；
图4是示出本实施方式中的夹克式触觉刺激输出装置的图；
图5是描述根据本实施方式的整个信息处理系统的配置的图；
图6是示出根据本实施方式的信息处理设备的配置的示例的框图；
图7是描述根据本公开内容的第一实施方式的信息处理系统的概况的图；
图8是示出第一实施方式中的输入装置的配置的示例的框图；
图9是示出第一实施方式中的操作处理的流程图；
图10是描述在第一实施方式中通过使用两种类型的波长来区分三个输入装置的情况的图；
图11是描述在第一实施方式中使用三种类型的波长的情况下输入装置的发光波长的组合的示例的图；
图12是描述在第一实施方式中通过使用两种类型的波长来区分九个输入装置的情况的图；
图13是描述在第一实施方式中使用高帧频摄像装置的情况下区分输入装置的方法的图；
图14是示出第二实施方式中的输入装置的配置的示例的框图；
图15是示出第二实施方式中的操作处理的流程图；
图16是描述第二实施方式中的区分方法中的速度计算的图；
图17是描述第二实施方式中的区分方法中的角度计算的图；
图18是描述第二实施方式中的区分方法中的速度计算的另一示例的图；
图19是示出第二实施方式的第一变型示例中的操作处理的流程图；
图20是描述第二实施方式的第一变型示例中的区分方法中的速度计算和角度计算的图；
图21是描述第二实施方式的第二变型示例的概况的图；
图22是描述本变型示例中计算发光轨迹的估计速度的图；
图23是描述本变型示例中的IR传感器的布置的另一示例的图；
图24是描述多个IR传感器同时检测IR的情况的图；
图25是描述本变型示例中对发光定时和检测定时的同步控制的图；
图26是示出根据本公开内容的实施方式的信息处理系统的配置的框图；
图27是示出根据本实施方式的信息处理系统的操作的示意图；
图28是示出根据本实施方式的信息处理系统的操作的示意图；
图29是示出根据本公开内容的实施方式的信息处理系统的操作的框图；
图30是示出根据本实施方式的信息处理系统的操作的示意图；
图31是示出根据本实施方式的信息处理系统的操作的示意图；以及
图32是示出根据本实施方式的信息处理系统的操作的示意图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的有利实施方式。应该注意的是，具有基本上相同的功能配置的部件将由相同的附图标记表示，并且在本文中和附图中将省略重复的描述。
注意，将按以下顺序进行描述。
1.根据本公开内容的实施方式的信息处理系统的概况
2.配置
2-1.整体配置
2-2.信息处理设备的配置
3.第一实施方式
3-1.概况
3-2.输入装置的配置
3-3.操作处理
3-4.其他
4.第二实施方式
4-1.输入装置的配置
4-2.操作处理
4-3.第一变型示例
4-4.第二变型示例
5.补充说明
6.结论
7.关于发送延迟
8.关于输入装置的区分
9.变型示例
<<1.根据本公开内容的实施方式的信息处理系统的概况>>
将参照图1来描述根据本公开内容的实施方式的信息处理系统的概况。在根据本实施方式的信息处理系统中，许多用户持有各自的输入装置2(2A至2K)，并且执行诸如相对于前方屏幕3上显示的立体对象30摇动输入装置2的操作。输入装置2中的每一个都包括发射诸如红外线的不可见光的发光单元，并且能够用指示器照射屏幕3。
由于通过投影仪5将三维(3D)视频投影在屏幕3上，因此用户能够执行诸如挥动的操作，并且用输入装置2对向他/她靠近的立体对象30进行攻击。
接下来，图2中示出了本实施方式中的屏幕3、投影仪5和用户的布置的示例。如图2所示，许多用户持有输入装置2并面向大屏幕3，并且投影仪5被放置在用户的上方并将3D视频投影在屏幕3上。此外，尽管在图1和图2中未示出，但是扬声器7(图5)被放置在外围。在图2所示的示例中，用户是站着的。然而，用户可以是坐着的。另外，在图2所示的示例中，投影仪5被放置在天花板上。然而，投影仪5可以被放置在另一个地方。
此外，每个用户所持的输入装置2可以具有例如图1和图2所示的条形、或者模仿诸如棒和枪的武器的形状。输入装置2具有在信息处理设备1(参照图5)的控制下振动的结构，并且在用户对立体对象30执行预定操作的情况下，该输入装置2能够通过以预定振动返回反馈来实现诸如对虚拟空间中的虚拟对象的感觉的真实感。发射诸如红外线的光的发光单元22(参见图8)被设置在输入装置2的端部处。通过使用发光单元22，当用户相对于屏幕3操作输入装置2时，可以用红外指示器照射屏幕3。例如，在指示器与立体对象30交叠的情况下，信息处理设备1基于指示器施加到屏幕3的位置以及立体对象30的显示位置，通过使用户感知到输入装置2与立体对象30接触的振动来提供反馈。
接下来，将参照图3描述输入装置2的振动功能。图3是示出本实施方式中的输入装置和触觉刺激输出装置中包括的振动单元的示例的图。如图3所示，除了上述发光单元之外，多个振动单元24也包括在输入装置2中，并且在信息处理设备1的控制下振动(参见图5)。输入装置2和信息处理设备1通过有线或无线连接彼此连接，并且能够向彼此发送数据/从彼此接收数据。输入装置2中包括的振动单元24的数量可以是一个或更多个。此外，振动单元24可以并入输入装置2的用户握持的手柄部分中或者输入装置2的另一位置处。
另外，在本实施方式中，如图3所示，触觉刺激输出装置4附接至每个用户的身体。每个触觉刺激输出装置4和信息处理设备1经由有线或无线连接彼此连接，并且能够向彼此发送/从彼此接收数据。触觉刺激输出装置4的形状不受具体限制。例如，触觉刺激输出装置4可以是如图3所示的带式触觉刺激输出装置。一个或多个振动单元41包括在带式触觉刺激输出装置4-1中，并且在信息处理设备1的控制下振动。注意，触觉刺激输出装置4的形状不限于此，触觉刺激输出装置4可以是例如如图4所示的夹克式输出装置。
如图4所示，例如，多个振动单元42被放置在夹克式触觉刺激输出装置4-2中。振动单元42的数量和布置不限于图4所示的示例。例如，振动单元42可以被设置在背面或侧面上。此外，不同于带式触觉刺激输出装置，在夹克式触觉刺激输出装置的情况下，可以知道当用户佩戴夹克式触觉刺激输出装置时每个振动单元42被放置在身体的哪个位置。因此，可以更准确地向身体的目标部位提供振动。注意，尽管在图4所示的示例中示出了夹克式触觉刺激输出装置，但是本实施方式不限于此。例如，触觉刺激输出装置4可以是其他服饰，诸如具有袖子的夹克、上衣、裤子、手套、帽子、袜子和鞋。此外，除了手臂之外，带式触觉刺激输出装置4-1还可以附接到脚、躯干、头部等。
另外，如图4所示，立体声扬声器43被放置在夹克式触觉刺激输出装置4-2的肩部上。立体声扬声器43输出从信息处理设备1发送的音频。例如，可以根据每个用户对输入装置2的操作来向该用户呈现音频(声音)。
如上所述，在本实施方式中，通过向用户呈现诸如3D视频、音频和振动的多种感觉，可以增强虚拟空间中的沉浸感并且实现更高的真实感。
在上述示例中，使用“振动”作为触觉刺激输出装置4的触觉刺激的示例。然而，本实施方式不限于此，并且可以使用诸如电刺激、温度、风和水的其他触觉刺激。
此外，在本实施方式中，3D视频被投影在屏幕3上。然而，可以替代地放置大型显示设备。
接下来，将参照附图具体描述根据本公开内容的实施方式的信息处理系统的每个配置。
<<2.配置>>
<2-1.整体配置>
图5是示出根据本实施方式的整个信息处理系统的配置的图。如图5所示，根据本实施方式的信息处理系统包括信息处理设备1、多个输入装置2(2A至2C)、多个触觉刺激输出装置4(4A至4C)、投影仪5、摄像装置6和扬声器7。
摄像装置6是例如对屏幕3进行成像的IR摄像装置，并且将拾取图像输出到信息处理设备1。
信息处理设备1连接到输入装置2、触觉刺激输出装置4、摄像装置6、投影仪5和扬声器7，并且控制每个外围装置。例如，信息处理设备1控制投影仪5进行的在屏幕3上的3D视频投影以及从扬声器7输出的音频。另外，信息处理设备1基于从摄像装置6输出的拾取图像，掌握每个输入装置2相对于屏幕3的显示画面的输入状态，并且执行控制，使得相应的输入装置2以及持有该输入装置的用户的触觉刺激输出装置4根据输入状态输出预定触觉刺激。
输入装置2是包括发光单元22和振动单元24(参见图8)并且由每个用户持有的输入装置。此外，输入装置2能够在信息处理设备1的控制下执行来自振动单元24的振动输出。
触觉刺激输出装置4是包括振动单元42(参见图3和图4)并且附接到每个用户的输出装置。此外，触觉刺激输出装置4能够在信息处理设备1的控制下执行来自振动单元42的振动输出。
投影仪5是包括投影单元的输出装置，并且在信息处理设备1的控制下将例如3D视频投影在屏幕3上。
扬声器7是输出音频的输出装置，并且在信息处理设备1的控制下输出音频信号。
<2-2.信息处理设备的配置>
图6是示出根据本实施方式的信息处理设备1的配置的示例的框图。如图6所示，信息处理设备1包括控制单元10、通信单元11、输入单元12、输出单元13和存储单元14。
控制单元10用作算术处理装置和控制装置，并且根据各种程序执行对信息处理设备1的操作的总体控制。控制单元10是例如通过电子电路(诸如CPU(中央处理单元))和微处理器来实现的。此外，控制单元10可以包括存储要使用的程序、算术参数等的ROM(只读存储器)以及临时存储适当变化的参数等的RAM(随机存取存储器)。
此外，在本实施方式中，控制单元10还用作信息分析单元101、确定单元102和输出信号生成单元103。
信息分析单元101分析一个或多个传感器数据，并且获取关于屏幕3的显示画面的多个指示器信息。具体地，信息分析单元101识别显示画面上的指示器的位置坐标和指示器的特征(多个波长、标记形状、挥动期间的状态、标记的状态、轨迹等的组合)。传感器数据表示例如由一个或多个摄像装置6拾取的IR图像。
确定单元102基于由信息分析单元101获取的多个指示器信息的特征来确定与指示器对应的输入装置2。在本实施方式中，对一个显示画面执行来自多个输入装置2的输入(例如，红外线的发光)，并且信息处理设备1的确定单元102确定显示画面上的哪个指示器是从哪个输入装置施加的。此时，确定单元102通过使用来自输入装置2的输出信息(例如，传感器信息)以及由信息分析单元101分析的指示器信息的特征来执行对输入装置2中的每一个的确定。在每个实施方式中将具体描述特定的区分方法。
在指示器的位置满足预定条件的情况下，输出信号生成单元103生成要输出到与指示器对应的输入装置的预定触觉刺激信号。具体地，例如，在指示器的位置或轨道与立体对象30交叠的情况下，输出信号生成单元103生成用于使用户感知输入装置2与立体对象30接触的触觉刺激信号。此时，当输入装置2与立体对象30接触时生成使用户感知虚拟感觉(诸如硬度和柔软度的纹理)的触觉刺激信号。此外，当输入装置2与立体对象30接触时，输出信号生成单元103还可以生成用于使用户感知虚拟声音的音频信号。所生成的触觉刺激信号从通信单元11输出(发送)到对应的输入装置2。此外，所生成的音频信号被输出(发送)到包括扬声器的触觉刺激输出装置4。
此外，在指示器的位置满足预定条件的情况下，输出信号生成单元103还可以生成要输出到触觉刺激输出装置4的预定触觉刺激信号，该触觉刺激输出装置4附接到持有与指示器对应的输入装置2的用户。所生成的触觉刺激信号从通信单元11输出到对应的触觉刺激输出装置4。
因此，例如，在用户用输入装置2虚拟地撞击立体对象30的游戏的情况下，根据本实施方式的信息处理设备1能够向用户呈现用于使用户感知他/她实际上用输入装置2撞击了立体对象30的振动和声音。此外，信息处理设备1能够从夹克式触觉刺激输出装置4-2(参见图4)输出预定振动，使得在撞击时给用户的身体冲击。此外，信息处理设备1还能够连同立体对象30攻击用户的视频一起从夹克式触觉刺激输出装置4-2输出用于使用户感知攻击失败并且立体对象30击中用户或者实际攻击到身体的特定部位的预定振动。
通信单元11是用于经由有线或无线通信向另一设备发送/从另一设备接收数据的通信模块。通信单元11直接地或者通过使用诸如有线LAN(局域网)、无线LAN、Wi-Fi(注册商标)、红外通信、BlueTooth(注册商标)和短程/非接触式通信的方法、经由网络接入点与外部设备进行无线通信。例如，在本实施方式中，通信单元11将触觉刺激信号发送到输入装置2和触觉刺激输出装置4。
输入单元12接收来自管理员等的操作指令，并且将操作内容输出到控制单元10。输入单元12可以是与显示器一体地设置的触摸传感器、压力传感器或接近传感器。替选地，输入单元12可以具有物理配置，例如键盘、按钮、开关和控制杆(lever)。此外，输入单元12可以是麦克风。
输出单元13是例如为管理员输出操作画面或菜单画面的显示器。输出单元13的具体示例包括液晶显示器(LCD：Liquid CrystalDisplay)和有机EL(电致发光)显示器。此外，输出单元13还可以包括输出音频的扬声器。
存储单元14存储上述控制单元10执行每个功能所用的程序和参数。此外，存储单元14包括包含存储介质的存储装置、将数据记录在存储介质中的记录装置、从存储介质读取数据的读取装置、删除记录在存储介质中的数据的删除装置等。注意，该存储单元14可以是诸如非易失性存储器(诸如，闪速ROM(或者闪速存储器)、EEPROM(电可擦除可编程只读存储器)、EPROM(可擦除可编程ROM)的存储介质、诸如硬盘和盘状磁盘的磁盘、光盘(诸如，CD(致密盘)、DVD-R(可记录数字通用盘)和BD(蓝光盘(注册商标)))以及MO(磁光盘)盘。
到此为止已经具体描述了根据本公开内容的实施方式的信息处理系统的每个配置。接下来，将参照附图具体描述根据本实施方式的信息处理系统的实施方式。
<<3.第一实施方式>>
<3-1.概况>
如上所述，根据本实施方式的信息处理设备1能够进行如下操作：通过由确定单元102确定显示画面上的哪个指示器是从哪个输入装置2施加的来根据输入装置2的输入(即，指示器的位置或运动)、用预定触觉刺激输出向每个输入装置2提供反馈。
注意，通过使用具有不同波长的IR发射器和具有与这些波长对应的带通滤波器的摄像装置，可以确定指示器在显示画面上的位置以及指示器与对应的IR发射器的关联。然而，考虑到滤波器的精度，需要使波段分离达一定程度，波段的数量最多为大约四个，例如800nm、850nm、900nm和950nm，并且只能区分四个IR发射器。因此，难以同时区分很多人。
就此而言，第一实施方式使得可以通过使用发射具有n种类型的IR波长之中的一个或多个IR波长的光的输出装置以及具有n个波长带通滤波器的摄像装置来同时区分许多人。图7是描述根据第一实施方式的信息处理系统的概况的图。
如图7所示，在本实施方式中，使用发射具有一个或多个IR波长的光的多个输入装置2-1(2-1A、2-1B、……)以及对屏幕3进行成像的具有不同波长的带通滤波器的摄像装置6A至6n。
根据本实施方式的信息处理设备1分析从摄像装置6A至6n输出的拾取图像中的每一个，并且确定与显示画面上的各个指示器对应的输入装置2。在本实施方式中，在使用n种类型的波长的情况下，通过使用发射具有多个IR波长的输入装置2，可以区分2n-1个人。
<3-2.输入装置的配置>
首先，将参照图8描述本实施方式中的输入装置2-1的配置。图8是示出本实施方式中的输入装置2-1的配置的示例的框图。如图8所示，输入装置2-1包括控制单元20、操作单元21、发光单元22、通信单元23和振动单元24。
控制单元20用作算术处理装置和控制装置，并且根据各种程序执行对输入装置2-1的操作的总体控制。控制单元20例如通过诸如CPU和微处理器的电子电路来实现。此外，控制单元20可以包括存储要使用的程序、算术参数等的ROM以及临时存储适当变化的参数等的RAM。
本实施方式中的控制单元20例如根据经由操作单元21输入的操作来控制发光单元22的发光的开启/关闭，并且根据经由通信单元23从信息处理设备1发送的触觉刺激信号来控制振动单元24的振动输出。
操作单元21根据用户操作来切换输入装置2-1的电源的开启/关闭以及发光单元22的发光的开启/关闭。操作单元21由例如开关、按钮、控制杆、触摸传感器、压力传感器等来实现。
发光单元22发射诸如红外线的不可见光。例如，本实施方式中的发光单元22具有发射具有n种类型的IR波长的光的功能。
通信单元23经由有线或无线连接连接至信息处理设备1，并且向信息处理设备1发送数据或者从信息处理设备1接收数据。例如，通信单元23从信息处理设备1接收触觉刺激信号。
振动单元24是输出作为触觉刺激的示例的振动刺激的小型振动致动器。振动单元24包括一个或多个振动致动器。
<3-3.操作处理>
接下来，将参照图9描述第一实施方式中的操作处理。图9是示出本实施方式中的操作处理的流程图。
如图9所示，首先，信息处理设备1获取由摄像装置6A至6n拾取的图像(步骤S103)。
接下来，信息处理设备1的信息分析单元101对拾取图像执行图像分析以识别指示器(发光点)的坐标位置(步骤S106)。
接下来，信息处理设备1的确定单元102将两个或更多个拾取图像中的指示器的坐标对彼此进行比较(步骤S109)，并且确定与指示器对应的输入装置(步骤S112)。下面将参照图10和图11来描述与指示器的坐标对的比较对应的确定输入装置的方法。
图10是描述通过使用两种类型的波长来区分三个输入装置2的情况的图。在图10所示的示例中，从输入装置2-1A发射具有波长1的IR，从输入装置2-1B发射具有波长2的IR，以及从输入装置2-1C发射具有波长1和波长2的IR。此外，在图10中，示出了由具有波长1的带通滤波器的摄像装置6A拾取的图像60以及由具有波长2的带通滤波器的摄像装置6B拾取的图像61。
确定单元102分别将由信息分析单元101识别的图像60的指示器坐标对P1(x1，y1)和P2(x2，y2)与由信息分析单元101识别的图像61的指示器坐标对P3(x'2，y'2)和P4(x3，y3)彼此进行比较，并且确定多个拾取图像中的大致相同的坐标处的指示器是从发射具有与其对应的多种类型的波长的IR的输入装置2-1C施加的。关于输入装置2-1中的每一个的IR发射波长的信息被预先登记在例如存储单元14中。
下面示出了用于识别大致相同的坐标的计算公式的示例。注意，示出了在比较坐标对P2(x2，y2)和P3(x'2，y'2)的情况下的计算公式作为示例。在满足下式的情况下，确定单元102确定指示器在大致相同的坐标处，并且发射具有波长1和波长2的IR的输入装置2-1C是对应的输入装置。
[数学式1]
Figure BDA0001585957920000121
图11是描述在使用三种类型的波长的情况下输入装置的发光波长的组合的示例的图。如图11所示，在使用波长1、波长2和波长3这三种类型的IR波长的情况下，可以区分输入装置2-1A至2-1C以及输入装置2-1D至2-1G这七个输入装置，换言之，可以区分七个人。在这种情况下，作为IR摄像装置，使用了具有波长1的带通滤波器的摄像装置6A、具有波长2的带通滤波器的摄像装置6B和具有波长3的带通滤波器的摄像装置6C。
此外，尽管未示出，但是在使用四种类型的IR波长的情况下，可以区分15个输入装置，换言之，可以区分15个人。
到此为止，具体描述了区分输入装置2-1的方法。
接下来，在所识别的指示器的位置满足预定条件的情况下，信息处理设备1的输出信号生成单元103生成要输出到与该指示器对应的输入装置2-1的预定触觉刺激信号(步骤S115)。例如，在指示器与立体对象30交叠的情况下，输出信号生成单元103生成用于使用户感知输入装置2-1与立体对象30接触的触觉刺激信号。
然后，信息处理设备1将所生成的触觉刺激信号从通信单元11发送到目标输入装置2-1，并且使输入装置2-1输出触觉刺激(步骤S118)。
<3-4.其他>
在上述示例中，可以通过使用n种类型的波长来区分2n-1个人。然而，通过提供以下指示器特征，可以区分更多人。
(标记形状)
例如，通过使用指示器的标记形状、标记的大小、标记的取向、点光源的位置、线状光源的特征等，可以进一步增加要区分的输入装置的数量。图12是描述通过使用两种类型的波长来区分九个输入装置的情况的图。
在图12所示的示例中，发射具有波长1的光的输入装置2-1A至2-1C分别施加第一标记至第三标记，发射具有波长2的光的输入装置2-1D至2-1F分别施加第一标记至第三标记，并且发射具有波长1和波长2的光的输入装置2-1G以及输入装置2-1H和2-1I分别施加第一标记至第三标记。
确定单元102基于由具有波长1的带通滤波器的摄像装置6A拾取的图像62的指示器坐标P11至P16的位置和标记形状以及由具有波长2的带通滤波器的摄像装置6B拾取的图像63的指示器坐标P17至P22来区分输入装置2-1。每个输入装置2-1的发光波长和标记形状被预先存储在例如存储单元14中。
例如，确定单元102能够通过使用相应的波长和相应的标记形状的差异来分别确定与图像62中的指示器坐标P11至P13有关的输入装置2-1A至2-1C以及与图像63中的指示器坐标P17至P19有关的输入装置2-1D至2-1F。此外，由于图像62的指示器坐标P14至P16与图像63的指示器坐标P20至P22大致相同，并且指示器坐标P14至P16的标记形状与指示器坐标P20到P22的标记形状相同，因此确定单元102能够确定与这些指示器坐标对应的输入装置2-1G到2-1I。
(挥动期间的特征)
即使在挥动输入装置2期间，确定单元102也能够基于指示器的发光轨迹的状态来识别差异以区分输入装置。当指示器静止时，可以如图12所示的那样识别每个标记形状。然而，在挥动期间，由于指示器根据曝光时间段而变得模糊，所以发光轨迹根据不同的标记形状和标记的大小而异。确定单元102能够基于诸如发光轨迹的厚度或主线的指示器特征以及挥动方向来确定对应的输入装置2。
(标记的状态)
此外，还可以通过使从输入装置2-1发射的IR的亮度值不同(即，亮度的差异)来确定对应的输入装置2-1。
此外，还可以通过使用闪烁模式的差异来确定对应的输入装置2-1，该闪烁模式的差异是通过使从输入装置2-1发出的IR闪烁而获得的。
(使用高帧频摄像装置)
即使在使用单个波长的情况下，信息处理设备1也能够通过下述方法来区分多个输入装置2-1：将输入装置2-1的发光定时和摄像装置6的快门定时彼此同步，使得各个指示器仅在预定编号的帧(例如，每隔多个的帧)中成像。在下文中，将参照图13对此进行具体描述。
图13是描述在本实施方式中在使用高帧频摄像装置的情况下区分输入装置的方法的图。信息处理设备1执行控制，使得通过将每个输入装置2-1的发光定时与由摄像装置6对显示画面的成像定时彼此同步，各个指示器仅在预定编号的帧(例如，每隔多个的帧)中成像，如图13所示。因此，信息处理设备1的确定单元102能够确定例如在输入装置2-1A的发光定时所获得的帧1中成像的指示器A对应于输入装置2-1A，并且在输入装置2-1B的发光定时所获得的帧2中成像的指示器B对应于输入装置2-1B。
(每种方法的组合)
还可以通过使用上述每种方法中的每一种中的模式的组合来进一步增加要区分的输入装置2-1的数量。例如，可以构想上述实施方式中描述的多个波长的组合。
(不同方法的组合)
还可以通过将上述的不同方法进行组合来进一步增加要区分的输入装置2-1的数量。例如，在使用两种类型的红外波长的情况下，可以通过将使用标记形状、大小、亮度、闪烁等的许多区分方法进行组合来区分更多人。
<<4.第二实施方式>>
接下来，将参照图14至图20描述根据第二实施方式的信息处理设备。在本实施方式中，具有IR发射功能的输入装置2-2还设置有检测运动、姿势等的传感器，并且基于输入装置2-2的运动以及由摄像装置6拾取的显示画面的图像来区分与各个指示器对应的输入装置2-2。
<4-1.输入装置的配置>
图14是示出本实施方式中的输入装置2-2的配置的示例的框图。如图14所示，输入装置2-2包括控制单元20、操作单元21、发光单元22、通信单元23、振动单元24和传感器单元25。注意，将描述与第一实施方式中的输入装置2-1的部件不同的部件，并且将省略对共同部件的描述。
除了对发光单元22和振动单元24的控制之外，控制单元20执行控制，使得由传感器单元25检测到的传感器信息经由通信单元23被发送到信息处理设备1。
传感器单元25是检测输入装置2-2的运动或姿势的传感器，并且可以是例如六轴传感器(具体为加速度传感器和陀螺仪传感器)以及姿势传感器(具体为地磁传感器)。注意，六轴传感器和姿势传感器是传感器单元25的示例，并且本实施方式不限于此。例如，可以使用加速度传感器、陀螺仪传感器和地磁传感器中的至少任一个，并且还可以使用速度传感器、振动传感器等。
<4-2.操作处理>
接下来，将描述本实施方式中的操作处理。图15是示出本实施方式中的操作处理的流程图。
如图15所示，首先，信息处理设备1获取由设置于输入装置2-2的端部的传感器单元25检测到的六轴传感器信息(步骤S203)，并且通过确定单元102计算输入装置2-2的端部的速度v。输入装置2-2将由传感器单元25检测到的传感器信息连续地发送到信息处理设备1。图16是描述该实施方式中的区分方法中的速度计算的图。如图16所示，传感器单元25被设置于输入装置2-2的端部。例如，用户挥动模仿诸如球杆的武器的形状的输入装置2-2，以攻击在他/她的眼睛前方的投影在屏幕3上的立体对象(图16中未示出)。此时，确定单元102基于六轴传感器信息(具体地，角速度)和输入装置2-2的长度l，通过下式来计算输入装置2-2的端部的速度v。
[数学式2]
Figure BDA0001585957920000161
接下来，信息处理设备1从摄像装置6获取与检测到在计算端部的速度时使用的六轴传感器信息的时间大致相同的时间处拾取的屏幕3的图像(步骤S209)。
接下来，确定单元102基于由信息分析单元101对所获取的拾取图像的分析结果来计算发光轨迹的速度v(步骤S212)。如图16所示，由于从输入装置2-2的端部发射IR，因此当用户相对于屏幕3向下挥动输入装置2-2时，通过IR在屏幕3上产生发光轨迹31。确定单元102基于IR拾取图像中的发光轨迹31在向下挥动定时的长度(从起点到终点的长度)和时间段(指示器从起点移动到终点的时间段)来计算发光轨迹的速度v。
同时，信息处理设备1同时(用户向下挥动输入装置2-2的定时)获取由设置于输入装置2-2的端部的传感器单元25检测到的姿势传感器信息(步骤S215)，并且通过确定单元102计算输入装置2-2的端部的向下挥动角度
Figure BDA0001585957920000162
接下来，信息处理设备1从摄像装置6获取与检测到当计算向下挥动角度信息时使用的姿势传感器信息的时间基本上相同时间处拾取的屏幕3的图像(步骤S221)。
接下来，确定单元102基于信息分析单元101对所获取的拾取图像的分析结果来计算发光轨迹的角度Φ(步骤S224)。
图17是描述本实施方式的区分方法中的角度计算的图。如图17的上部所示，发光轨迹31在由摄像装置6拾取的IR摄像装置图像65中成像。确定单元102能够基于图像分析结果来计算在向下挥动时的发光轨迹31的角度Φ。此外，图17的下部示出了当用户向下挥动输入装置2-2时从后面看的视图。确定单元102基于由设置于输入装置2-2中的传感器单元25检测到的姿势传感器信息来计算输入装置2-2的端部的向下挥动角度
Figure BDA0001585957920000172
接下来，确定单元102基于在操作输入装置2-2时输入装置2-2的端部的速度和发光轨迹31的速度、以及在操作输入装置2-2时输入装置2-2的端部的角度和发光轨迹31的角度，确定与发光轨迹对应的输入装置2-2(步骤S227)。在图16和图17中，为了便于描述，仅示出了一个输入装置2-2和一个发光轨迹31。然而，预期到如下情况：由于如图1和图2所示那样多个用户持有输入装置2-2并且通过相对于投影在屏幕3上的立体对象30挥动这些输入装置来操作输入装置2-2，因此在屏幕3的IR摄像装置图像65中同时产生多条发光轨迹31。确定单元102将在操作输入装置2-2时的速度和角度与发光轨迹的速度和角度进行比较，以确定与发光轨迹对应的输入装置2-2。更具体地，例如，在满足下式的情况下，确定单元102确定输入装置2-2和发光轨迹彼此对应。下式的左侧基于如下情况：在预先知道用户位置的范围的情况下，可以通过考虑从用户位置到屏幕3的距离来估计取决于输入装置2-2的端部的速度v的、发光轨迹31的速度v。
[数学式3]
Figure BDA0001585957920000171
接下来，在所确定的发光轨迹的位置或运动满足预定条件的情况下，信息处理设备1的输出信号生成单元103生成要输出到与发光轨迹对应的输入装置2-2的预定触觉刺激信号(步骤S230)。例如，在发光轨迹与立体对象30交叠的情况下，输出信号生成单元103生成使用户感知输入装置2-2与立体对象30接触的触觉刺激信号。
然后，信息处理设备1将所生成的触觉刺激信号从通信单元11发送到目标输入装置2-2，并且使输入装置2-2输出触觉刺激(步骤S233)。
到此为止，已具体描述了第二实施方式中的操作处理。注意，尽管在上述操作处理中通过使用速度和角度这两个条件来提高确定的准确性，但是本实施方式不限于此，并且可以仅通过使用这些条件中的任一个来执行确定。
另外，作为基于输入装置的操作速度的区分方法，还可以计算不取决于长度l的速度v'，以确定对应的输入装置2-2。在下文中，将参照图18对此进行描述。
图18是描述本实施方式中的区分方法中的速度计算的另一示例的图。如图18所示，考虑到在用户位置的范围已知的情况下从用户位置到屏幕3的距离L以及由设置于输入装置2-2中的传感器单元25检测到的六轴传感器信息(具体为角速度)，确定单元102通过使用下式来获得不取决于输入装置2-2的长度的速度v'。
[数学式4]
Figure BDA0001585957920000181
然后，在同时满足下式的情况下，确定单元102确定输入装置2-2和发光轨迹彼此对应。
[数学式5]
Figure BDA0001585957920000182
<4-3.第一变型示例>
尽管在上述示例中描述了使用由输入装置2-2的传感器单元25检测到的传感器信息的区分方法，但是本实施方式不限于此。例如，通过准备对用户进行成像的IR摄像装置并且使用由该IR摄像装置拾取的图像，可以在不使用传感器单元25获得的传感器信息的情况下确定与发光轨迹对应的输入装置。在下文中，将参照图19和图20对此进行描述。
图19是示出第二实施方式的第一变型示例中的操作处理的流程图。如图19所示，首先，信息处理设备1获取由从前方对用户的运动进行成像的摄像装置6b(例如，IR摄像装置)拾取的图像(IR摄像装置图像67)(步骤S303)。图20是描述本变型示例中的区分方法中的速度计算和角度计算的图。如图20所示，在本变型示例中，放置了对屏幕3进行成像的摄像装置6a(IR摄像装置)以及从前方对用户的运动(即，输入装置2-1的运动)进行成像的摄像装置6b(IR摄像装置)。输入装置2-1的配置与参照图8描述的第一实施方式中的输入装置2-1的配置相同。发射IR的发光单元22设置于输入装置2-1的端部。
接下来，信息分析单元101分析从摄像装置6b获取的拾取图像(IR摄像装置图像66)，并且识别输入装置2-1的运动轨迹(步骤S306)。例如，输入装置2-1的运动轨迹是输入装置2-1的端部的轨迹。
接下来，确定单元102基于图像分析结果来计算运动轨迹的速度和角度(步骤S309)。具体地，如图20所示，确定单元102计算从IR摄像装置图像66识别出的运动轨迹29的速度v和角度
Figure BDA0001585957920000191
同时，信息处理设备1获取由对屏幕3的显示画面进行成像的摄像装置6a(IR摄像装置)拾取的图像(步骤S312)。
接下来，信息分析单元101分析从摄像装置6a获取的拾取图像，并且识别发光轨迹(步骤S315)。
接下来，确定单元102基于图像分析结果来计算发光轨迹的速度和角度(步骤S318)。具体地，如图20所示，确定单元102计算从IR摄像装置图像67识别出的发光轨迹31的速度v和角度Φ。
接下来，确定单元102基于在操作输入装置2-1时输入装置2-1的端部的速度(即，运动轨迹29的速度)和发光轨迹31的速度、以及在操作输入装置2-1时输入装置2-1的端部的角度(即，运动轨迹29的角度)和发光轨迹31的角度，确定与发光轨迹对应的输入装置2-1(步骤S321)。在图20中，为了便于描述，仅示出了一个输入装置2-1和一条发光轨迹31。然而，可以预期，由于如图1和图2所示的那样实际上多个用户持有输入装置2-1并且通过相对于投影在屏幕3上的立体对象30挥动输入装置2-1来操作输入装置2-1，所以在屏幕3的IR摄像装置图像67中同时产生多条发光轨迹31。确定单元102将输入装置2-1的运动轨迹的速度和角度与发光轨迹的速度和角度进行比较，以确定与发光轨迹对应的输入装置2-1。摄像装置6b可以针对每个用户来放置。替选地，可以共同地对多个人进行成像。在大概地确定了用户的位置的情况下，可以例如基于排列顺序来确定哪条运动轨迹对应于哪个输入装置。
关于确定与发光轨迹对应的输入装置2-1，更具体地，例如，在速度和角度满足下式的情况下，确定单元102确定输入装置2-1和发光轨迹31彼此对应。下式的左边基于如下情况：在预先知道用户位置的范围的情况下，可以通过考虑从用户位置到屏幕3的距离L来估计取决于输入装置2-1的端部的速度v的、发光轨迹31的速度v。
[数学式6]
Figure BDA0001585957920000201
接下来，在所确定的发光轨迹的位置或运动满足预定条件的情况下，信息处理设备1的输出信号生成单元103生成要输出到与发光轨迹对应的输入装置2-1的预定触觉刺激信号(步骤S324)。例如，在发光轨迹与立体对象30交叠的情况下，输出信号生成单元103生成使用户感知输入装置2-1与立体对象30接触的触觉刺激信号。
然后，信息处理设备1将所生成的触觉刺激信号从通信单元11发送到目标输入装置2-1，并且使输入装置2-1输出触觉刺激(步骤S327)。
<4-4.第二变型示例>
虽然在上述示例中分析由对屏幕3进行成像的摄像装置6拾取的IR图像以识别屏幕3上的发光轨迹，但是本实施方式不限于此。例如，通过将IR传感器布置在屏幕3周围，可以在不使用对屏幕3进行成像的摄像装置6的情况下基于IR传感器的检测结果来估计屏幕3上的发光轨迹。在下文中，将参照图21至图25对此进行具体描述。
图21是描述本变型示例的概况的图。如图21所示，IR传感器8被布置在屏幕3周围。IR传感器8围绕屏幕3被布置成两列，并且这两列包括例如外部IR传感器列80和内部IR传感器列81。此外，在图21所示的示例中，IR传感器列80和IR传感器列81被布置在屏幕的上侧以及左右两侧。每个IR传感器均将检测结果发送到信息处理设备1。
例如，当用户相对于屏幕3挥动发射IR的输入装置2A时，在上侧的外部IR传感器80-1和内部IR传感器81-1顺序地检测到所发射的IR。在这种情况下，信息处理设备1的控制单元10估计在连接外部IR传感器80-1和内部IR传感器81-1的线的延长线上产生了发光轨迹32。
此外，例如，当另一用户相对于屏幕3挥动输入装置2B时，在左侧的外部IR传感器80-2和内部IR传感器81-2顺序地检测到所发射的IR。在这种情况下，信息处理设备1的控制单元10估计在连接外部IR传感器80-2和内部IR传感器81-2的线的延长线上产生了发光轨迹33。
还假定下述情况：从输入装置2发射的IR在经过屏幕3之后被内部IR传感器81-n和外部IR传感器80-n顺序地检测到。此外，认为在从外部IR传感器80-n检测到该IR到内部IR传感器81-n检测到该IR的时间段长且输入装置2的运动太慢的情况下，则不是诸如对立体对象30的攻击的操作。就此而言，在外部IR传感器80-n的检测时间t1和内部IR传感器81-n的检测时间t2满足下式情况下，控制单元10可以通过认为IR从布置有这些IR传感器的一侧进入来估计发光轨迹。
0<t2-t1<Tth
通过使用如上所述的布置在屏幕3周围的IR传感器8，可以更准确地估计发光轨迹，因为这不是基于IR从屏幕3反射的光，而是直接检测IR的结果。
此外，关于确定与所估计的发光轨迹对应的输入装置2，例如，通过将输入装置2的速度(其可以由输入装置2的六轴传感器检测到或者通过分析用户的图像来计算)与发光轨迹的速度进行比较，在满足“数学式3”中所示的公式的左边或者“数学式6”中所示的公式的左边的情况下，确定对应的输入装置2。
现在，将参照图22描述所估计的发光轨迹的速度的计算。在如图22所示那样外部IR传感器80-1和内部IR传感器81-1顺序地检测到该发光轨迹的情况下，将通过下式获得的速度v估计为发光轨迹的速度。在下式中，t1表示外部IR传感器80-1的检测时间，t2表示内部IR传感器81-1的检测时间，x表示如图22所示在水平方向上外部IR传感器80-1与内部IR传感器81-1之间的间隔距离，y表示在垂直方向上外部IR传感器80-1与内部IR传感器81-1之间的间隔距离，以及距离L表示外部IR传感器80-1与内部IR传感器81-1之间的直线距离。
[数学式7]
时间T＝t2-t1
角度θ＝arctan(x/y))
距离
Figure BDA0001585957920000221
速度v＝L/T
此外，布置在屏幕3周围的IR传感器8的布置不限于图21所示的示例。例如，如图23所示，IR传感器8可以被布置成三列或更多列。在图23中，示出了包括外部IR传感器列82、中央IR传感器列83和内部IR传感器列84的IR传感器8A。在这种情况下，外部IR传感器82-1、中央IR传感器83-1和内部IR传感器84-1顺序地检测IR，并且估计出发光轨迹位于连接这些IR传感器的线的延长线上。注意，由于需要对至少两列进行检测以估计发光轨迹，所以通过将IR传感器布置成三列或更多列，即使在对任一列的检测失败的情况下，也可以估计发光轨迹。
图24是描述多个IR传感器同时检测IR的情况的图。例如，可以预期，在IR以足够快的速度通过三列中的IR传感器8A的情况下，多个IR传感器82-1、83-1和84-1同时检测到IR，如图24所示。此外，可以预期，在照射尺寸大的情况下，周围的IR传感器82-2、82-3、83-2、83-3、83-3、84-2和84-3也检测到IR。在这种情况下，信息处理设备1的控制单元10能够通过基于IR传感器的检测结果、根据强度分布确定中心轴来估计发光轨迹。
图25是描述发光定时和检测定时的同步控制的图。在本变型示例中，通过使输入装置2的IR发光定时与IR传感器8的IR检测定时彼此同步以使得仅在特定定时检测到来自每个输入装置2的IR，即使以单一波长也可以区分多个人(区分多个输入装置2)。例如，信息处理设备1的控制单元10确定在输入装置2A的发光定时所获取的IR传感器的检测结果对应于输入装置2A，并且在输入装置2B的发光定时所获取的IR传感器的检测结果对应于输入装置2B。然后，例如，当获取与输入装置2A对应的外部IR传感器和内部IR传感器的检测结果时，控制单元10估计输入装置2A的发光轨迹位于连接这些IR传感器的线的延长线上。
尽管在上述的第二变型示例中使用IR传感器作为检测不可见光的传感器的示例，但是本实施方式不限于此，并且可以布置能够检测从输入装置2发射的光的其他传感器。
<<5.补充说明>>
接下来，将附加地描述根据本公开内容的实施方式的信息处理系统。
尽管在上述实施方式中已描述了发射诸如红外线的不可见光作为输入装置2的输入的情况，但是本公开内容不限于此，并且光源可以是可见光源或具有指向性的声源。在发射可见光的情况下，由于用户可以看到他/她自己的输入装置2正在屏幕上的哪个位置施加可见光，所以画面受到影响，并且用户可以感知反馈。
可以仅在用户通过设置于输入装置2的操作单元21操作输入装置2并且开启输入时输出来自输入装置2的光源或声源。
作为这种信息处理系统的使用，假设多个人共有一个显示画面或特定区域或对象(包括真实对象)的情况。
确定单元102还能够通过基于屏幕3上的反射强度估计相对于屏幕3的投影方向(入射角)来确定输入装置。具体地，当使输入装置2的亮度(亮度值)不同以通过使用亮度的差异来确定对应的输入装置2时，确定单元102能够基于屏幕3的拾取图像中屏幕3上的反射强度和投影方向来确定输入装置。此时，相对于屏幕3的用户位置是大概固定的和已知的。
输入装置2可以仅在操作单元21被操作并且输入开启期间从发光单元22发射光，并且将传感器单元25检测到的实时传感器信息从通信单元23发送到信息处理设备1。此外，输入装置2可以基于传感器信息来执行预定阈值确定或预定手势识别，并且执行控制以使得仅在满足条件的情况下开启输入并且从发光单元22发射光。例如，输入装置2可以执行控制，使得仅在以其值等于或高于预定值的速度挥动输入装置2或者执行预定运动的情况下才从发光单元22发射光并发送传感器信息。注意，在发送传感器信息或者发射光一次之后，输入装置2可以处于睡眠模式达预定时间段。
此外，信息处理设备1能够通过针对每个用户学习该用户如何挥动输入装置2来提高确定输入装置2的准确性。
在可以单独地识别用户的情况下，还可以呈现针对每个用户而不同的触觉刺激信号或音频信号。例如，由于在某些情况下成人和儿童具有不同的感知振动的强度，所以可以根据情况来改变触觉刺激信号，使得成人和儿童能够感知相似振动。此外，还可以根据用户属性来改变所呈现的信息中的使用语言等。此外，可以针对老人、孕妇、伤员、残疾人等而生成较弱的触觉刺激信号。
由于信息处理设备1通过确定输入装置2而知道谁攻击了哪个立体对象30，因此可以根据谁进行攻击而改变屏幕3上的视觉反馈或视觉效果。
可以动态地改变在第一实施方式中描述的n种类型的波长和输入装置2的组合。例如，在第一用户操作输入装置2a的情况下，信息处理设备1使输入装置2a发射具有第一波长的光。在第一用户进行操作期间第二用户操作输入装置2b的情况下，信息处理设备1使输入装置2b发射具有第二波长的光。接下来，在第二用户操作输入装置2b期间第一用户完成输入装置2a的操作并且第三用户操作输入装置2c的情况下，信息处理设备1使得输入装置2c以第一波长发射光。接下来，在第二用户和第三用户进行操作期间第一用户再次操作输入装置2a的情况下，信息处理设备1使输入装置2a以第一波长和第二波长(多个波长)发射光。如上所述，当在操作输入装置2期间(或者当输入开启期间)执行对发光的控制时，信息处理设备1能够通过执行控制以使得以不是正发射其他光的波长的波长发射光来增加同时要区分的人数。例如，通过使用两种类型的波长，可以区分四个或更多个人。
此外，在无法确定与指示器对应的输入装置2的情况下，信息处理设备1可以将多个指示器当中的较好的指示器(满足条件的指示器)的反馈发送到信息处理设备1无法确定的输入装置2。
此外，信息处理设备1可以针对每个输入装置2预先校准各种阈值。因此，例如，可以支持发光强度减弱的情况，并且可以减少许多输入装置2的个体差异。此外，对于每个用户属性(成人、儿童或年龄)，可以校准各种阈值。例如，在以一定速度或更高速度挥动输入装置2时执行对发光的控制的情况下，由于在成人与儿童之间存在力量的差异，所以根据用户属性来调节用于执行对发光的控制的阈值。
此外，通过将上述区分方法进行组合，可以增加要区分的输入装置2的数量(即，要单独识别的人数)。
<<6.结论>>
如上所述，在根据本公开内容的实施方式的信息处理系统中，可以实现更加逼真且直观的触觉接口，其基于来自多个输入装置的输入来将预定触觉刺激呈现到相应的输入装置。
尽管已参照附图详细描述了本公开内容的有利实施方式，但是本公开内容不限于这样的实施方式。显而易见的是，本公开内容的技术领域内的技术人员可以想到在所附权利要求的范围内描述的技术思想的范围内的各种变型示例，并且应当理解的是，这些示例当然属于本公开内容的技术范围。
例如，可以创建计算机程序，该计算机程序使包括在上述信息处理设备1或输入装置2中的硬件(诸如CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器))发挥信息处理设备1或者输入装置2的功能。此外，还提供了存储计算机程序的计算机可读存储介质。
此外，本文中描述的效果仅仅为描述性的或示例性的，而不是限制性的。也就是说，除了上述效果之外或者替代上述效果，根据本公开内容的技术可以发挥本领域技术人员根据本说明书中的描述显而易见的其他效果。
<<7.关于传送延迟>>
在上述实施方式中的每一个中，当信息处理设备1的通信单元11和输入装置2的通信单元23进行无线通信时，发生延迟。可以如下处理如下该延迟。
图26是示出根据本公开内容的实施方式的信息处理系统的配置的框图。如图26所示，信息处理设备1包括通信单元11、定时生成单元111和曝光控制器112。此外，输入装置2包括通信单元23、发光控制器211和发光单元22。信息处理设备1和输入装置2的其它配置与上述实施方式中的信息处理设备和输入装置的配置类似。
定时生成单元111生成定时信号，并且将所生成的定时信号提供给曝光控制器112和发光控制器211。
曝光控制器112连接到摄像装置6，并且响应于从定时生成单元111提供的定时信号来控制摄像装置的曝光(快门)。发光控制器211响应于从定时生成单元111提供的定时信号来控制发光单元22的发光。
图27和图28均为表示信息处理系统的操作的示意图。如图27所示，定时生成单元111以预定间隔(nHz)生成定时信号，并且将所生成的定时信号提供给曝光控制器112和发光控制器211。
曝光控制器112在被提供定时信号时开始使摄像装置6曝光。此外，定时信号从通信单元11被无线地发送到通信单元23，并且被提供给发光控制器211。发光控制器211在被提供定时信号时开始使发光单元22发光。
注意，由于在通信单元11与通信单元23之间的无线通信中发生某些延迟，所以发光控制器211开始发光的定时从曝光开始定时延迟。由此，在摄像装置6的曝光定时与发光单元22的发光定时之间发生偏差，并且发生了下述问题：由于发光单元22的发光而产生的指示器没有在由摄像装置6拾取的图像中成像或者指示器的光量减少。
在这点上，定时生成单元111将包括延迟信息的定时信号提供给发光控制器211。延迟信息表示因通信单元11与通信单元23之间的无线通信产生的延迟时间段。定时生成单元111使通信单元11预先将大小与定时信号的大小相同的数据发送到通信单元23。延迟时间段可以是从通信单元11发送数据到数据从通信单元23被返回给通信单元11的时间段的一半。
如图28所示，发光控制单元211基于延迟信息而使发光定时偏移，并且控制发光单元22根据摄像装置6的下一曝光定时来发光。相应地，发光单元22的发光定时对应于摄像装置6的曝光定时，这允许由摄像装置6拾取的图像可靠地包括指示器。注意，在延迟时间段长的情况下，发光控制器211可以使发光单元22根据该下一曝光定时之后的曝光定时来发光。
此外，定时生成单元111可以使定时信号包括用于识别输入装置2的装置标识信息。因此，即使在多个输入装置2接收到定时信号的情况下，发光控制器211也能够识别发光控制器211本身信赖的定时信息。
此外，输入装置2可以包括计时器。定时生成单元111将包括频率信息的定时信号发送到输入装置2，这允许输入装置本身进行定时。
此外，定时生成单元111可以使定时信号包括用于多个输入装置2当中的一个输入装置的定时信号以及输入装置2的数量。发光控制器211根据定时信号中包括的装置标识信息与其自身的装置标识信息之间的差异来计算延迟时间段，并且能够使发光单元22在其自身的定时发光。例如，在发送装置编号为1的输入装置2的定时信号的情况下，装置编号为5的输入装置2的发光控制器211能够使发光单元22在待机之后、在输入装置2本身的顺序到来以前发光。
此外，定时生成单元111可以以短间隔(例如，100ms)顺序地发送相同的两个定时信号。在成功以该间隔接收到两个定时信号的情况下，发光控制器211能够将其视为没有传送故障。在未能以该间隔接收到两个定时信号的情况下，发光控制器211能够将定时信号视为不可靠的信号。
此外，定时生成单元111可以在重要的定时多次发送相同的定时信号或者延长定时信号的间隔。可以预先对重要的定时进行编程，或者可以将间隔信息包括在头部(header)中。
此外，在无线通信的状态改变(例如，通信环境恶化)的情况下，可以延长定时信号的间隔，或者输入装置2可以自己执行判断并开始闪烁。此外，在通信被中断的情况下，可以切换到本地处理并且避免使用无线通信。在不使用无线通信的情况下，可以在预定时间段(例如，10分钟)之后统一地发送数据，或者延长通信的间隔。可以根据发送信号的可靠性而改变处理。
此外，在无线延迟显著的情况下，可以切换内容。例如，在多次未能接收到无线信号的情况下，该内容可以被替换为其他内容，或者被切换为延迟不会引起麻烦的内容。
在上述配置中，定时生成单元111控制多个输入装置2的发光定时。然而，输入装置2可以彼此通信以确定发光定时，从而确保一致性。在输入装置2彼此通信的同步模式的情况下，在发光间隔延长并且同步完成之后，可以缩短发光间隔。
<<8.输入装置的识别>>
将描述在如上所述那样控制摄像装置6的曝光定时和发光单元22的发光定时的情况下对输入装置2的识别。图29至图32均是示出识别输入装置2的方法的示意图。尽管在下面的示例中通信单元11和通信单元23进行有线通信，但是可以进行无线通信。此外，假定多个输入装置2包括输入装置2a、2b和2c。
如图30所示，定时生成单元111以预定间隔(n Hz)生成定时信号，并且将所生成的定时信号提供给曝光控制器112和发光控制器211。
当被提供定时信号时，曝光控制器112开始使摄像装置6曝光。此外，当被提供定时信号时，发光控制器211开始发光。摄像装置6将包括通过曝光而产生的图像的数据(在下文中，称为感测结果)传送到控制单元10。摄像装置6可以使感测结果包括用于标识图像的ID(在下文中，称为感测ID)。
在这种情况下，控制单元10能够根据感测结果来确定感测ID。然而，控制单元10难以确定哪个输入装置2通过发光来产生由感测ID表示的图像中包括的指示器。
就这点而言，如图31所示，仅一个输入装置2(图31中的输入装置2a)的发光控制器211使发光单元22发光，并且摄像装置6将感测结果传送到控制单元10。因此，控制单元10能够确定特定的感测结果(例如每两帧)包括通过输入装置2a的发光而产生的指示器。此外，在其他输入装置(输入装置2b和2c)的情况下，类似地，通过仅使输入装置2发光，可以将感测结果与输入装置2彼此相关联，并且将感测ID和输入装置2的标识符(在下文中，称为控制ID)彼此同步。
另外，作为另一种方法，如图29和图32所示，当定时生成单元111使摄像装置6执行曝光时，摄像装置6将感测ID传送到定时生成单元111。同时，定时生成单元111使输入装置2中的任一个发光，并且将输入装置的控制ID与从摄像装置6传送的感测ID彼此相关联。定时生成单元111将一对控制ID和感测ID传送到控制单元10。因此，控制单元10能够使控制ID和感测ID彼此同步。
<<9.变型示例>>
在根据本公开内容的实施方式的信息处理系统中，信息处理设备1和输入装置2可以被放置在远隔的位置处。每个配置的操作可以通过使用云服务器等来实现。
尽管在以上描述中摄像装置6对输入装置2的发光(红外线)进行成像，但是本公开内容不限于此。只要输入装置2执行各种传感器可以检测的操作，就可以使用各种传感器来代替摄像装置6。
如上所述，发光控制器211基于延迟信息来使发光定时偏移，并且控制发光单元22根据摄像装置6的下一曝光定时来发光。然而，通过存储发光单元22的发光定时和摄像装置6的曝光定时的日志，可以借助于机器学习等来减少等待时间。
注意，本公开内容还可以采用以下配置。
(1)一种信息处理设备，包括：
获取单元，其被配置成基于一个或多个传感器数据来获取多个指示器信息；
确定单元，其被配置成基于所述多个指示器信息的特征来确定与每个指示器对应的输入装置；以及
生成单元，其被配置成在指示器的位置满足预定条件的情况下，生成要输出到与所述指示器对应的输入装置的预定触觉刺激信号。
(2)根据上述(1)所述的信息处理设备，其中，
所述生成单元被配置成在所述指示器的位置或者所述指示器的轨迹与特定的立体对象交叠的情况下，生成所述预定触觉刺激信号。
(3)根据上述(1)或(2)所述的信息处理设备，还包括：
发送单元，其被配置成将所生成的触觉刺激信号发送到对应的输入装置。
(4)根据上述(1)至(3)中任一项所述的信息处理设备，其中，
所述生成单元被配置成在所述指示器的位置满足所述预定条件的情况下，还生成要输出到触觉刺激输出装置的预定触觉刺激信号，所述触觉刺激输出装置附接至持有与所述指示器对应的输入装置的用户。
(5)根据上述(1)至(4)中任一项所述的信息处理设备，其中，
所述一个或多个传感器数据是与被施加了指示器的显示画面的拾取图像有关的信息。
(6)根据上述(1)至(5)中任一项所述的信息处理设备，其中，
所述多个指示器信息的特征是多个波长的组合。
(7)根据上述(6)所述的信息处理设备，其中，
所述多个指示器信息的特征是标记形状。
(8)根据上述(6)所述的信息处理设备，其中，
所述多个指示器信息的特征是挥动期间的状态。
(9)根据上述(6)所述的信息处理设备，其中，
所述多个指示器信息的特征是标记的状态。
(10)根据上述(6)所述的信息处理设备，其中，
所述多个波长的组合以及与所述多个波长对应的输入装置被动态地构造。
(11)根据上述(6)至(10)中任一项所述的信息处理设备，其中，
所述确定单元基于与由包括与各个不同波长对应的带通滤波器的多个成像装置拾取的多个拾取图像有关的信息，确定与所述多个拾取图像中的大致相同坐标上的指示器对应的输入装置。
(12)根据上述(1)至(11)中任一项所述的信息处理设备，其中，
所述获取单元获取与所述输入装置的输入定时对应的指示器信息。
(13)根据上述(1)至(12)中任一项所述的信息处理设备，其中，
所述确定单元基于输入装置的传感器检测到的传感器信息以及所述多个指示器信息的特征来确定与每个指示器对应的输入装置。
(14)根据上述(1)至(13)中任一项所述的信息处理设备，其中，
在所述输入装置的传感器检测到的传感器信息满足预定条件的情况下，所述输入装置执行输入。
(15)根据上述(12)至(14)中任一项所述的信息处理设备，其中，
所述输入装置执行的输入是来自设置于所述输入装置中的发光单元的发光。
(16)根据上述(13)至(15)中任一项所述的信息处理设备，其中，
所述确定单元基于从所述输入装置输出的运动传感器信息和姿势传感器信息中的至少任一个、以及由所述多个指示器信息的特征表示的所述指示器的轨迹或所述轨迹的角度，确定与所述指示器对应的输入装置。
(17)根据上述(3)所述的信息处理设备，其中，
在所述确定单元未能确定与多个指示器对应的输入装置的情况下，所述发送单元将要输出到与所述多个指示器之中的满足所述预定条件的指示器对应的输入装置的预定触觉刺激信号发送到所述确定单元未能确定的所有输入装置。
(18)一种信息处理方法，包括：
由处理器执行以下操作：
基于一个或多个传感器数据来获取多个指示器信息；
基于所述多个指示器信息的特征来确定与每个指示器对应的输入装置；以及
在指示器的位置满足预定条件的情况下，生成要输出到与所述指示器对应的输入装置的预定触觉刺激信号。
(19)一种程序，其使计算机用作：
获取单元，其被配置成基于一个或多个传感器数据来获取多个指示器信息；
确定单元，其被配置成基于所述多个指示器信息的特征来确定与每个指示器对应的输入装置；以及
生成单元，其被配置成在指示器的位置满足预定条件的情况下，生成要输出到与所述指示器对应的输入装置的预定触觉刺激信号。
本领域技术人员应该理解，在所附权利要求或其等同方案的范围内，可以根据设计要求和其他因素进行各种修改、组合、子组合和变更。

Claims (18)

1.一种信息处理设备，包括：
获取单元，其被配置成基于一个或更多个传感器数据来获取多个指示器信息；
确定单元，其被配置成基于所述多个指示器信息的特征来确定与多个指示器中的每个相应的指示器对应的多个输入装置中的相应的输入装置；以及
生成单元，其被配置成在相应的指示器的位置满足预定条件的情况下，生成要输出到与相应的指示器对应的相应的输入装置的预定触觉刺激信号，
其中，用于确定每个相应的输入装置的所述多个指示器信息的特征包括多个波长中的一个或更多个波长的唯一的组合，所述唯一的组合对应于该相应的输入装置，以及
其中，所述多个输入装置的数量大于所述多个波长的数量。
2.根据权利要求1所述的信息处理设备，其中，
所述生成单元被配置成在相应的指示器的位置或者相应的指示器的轨迹与特定的立体对象交叠的情况下，生成所述预定触觉刺激信号。
3.根据权利要求1所述的信息处理设备，还包括：
发送单元，其被配置成将所生成的触觉刺激信号发送到对应的输入装置。
4.根据权利要求1所述的信息处理设备，其中，
所述生成单元被配置成在相应的指示器的位置满足所述预定条件的情况下，还生成要输出到触觉刺激输出装置的预定触觉刺激信号，所述触觉刺激输出装置附接至持有与相应的指示器对应的相应的输入装置的用户。
5.根据权利要求1所述的信息处理设备，其中，
所述一个或更多个传感器数据包括与被施加了所述多个指示器中的一个或更多个指示器的显示画面的拾取图像有关的信息。
6.根据权利要求1所述的信息处理设备，其中，
所述多个指示器信息的特征是对应于每个指示器的标记形状。
7.根据权利要求1所述的信息处理设备，其中，
所述多个指示器信息的特征是每个指示器的挥动期间的状态。
8.根据权利要求1所述的信息处理设备，其中，
所述多个指示器信息的特征是对应于每个指示器的标记的状态。
9.根据权利要求1所述的信息处理设备，其中，
所述多个波长中的一个或更多个波长的唯一的组合以及与所述多个波长中的一个或更多个波长对应的多个输入装置中的每个相应的输入装置被动态地构造。
10.根据权利要求1所述的信息处理设备，其中，
所述确定单元基于与由包括与各个不同波长对应的带通滤波器的多个成像装置拾取的多个拾取图像有关的信息，确定与所述多个拾取图像上的大致相同坐标处的每个相应的指示器对应的相应的输入装置。
11.根据权利要求1所述的信息处理设备，其中，
所述获取单元获取与和每个相应的指示器对应的相应的输入装置的输入定时对应的所述多个指示器信息。
12.根据权利要求1所述的信息处理设备，其中，
所述确定单元基于相应的输入装置的传感器检测到的传感器信息以及所述多个指示器信息的特征来确定与每个相应的指示器对应的相应的输入装置。
13.根据权利要求1所述的信息处理设备，其中，
在相应的输入装置的相应的传感器检测到的传感器信息满足预定条件的情况下，相应的输入装置执行输入。
14.根据权利要求11所述的信息处理设备，其中，
相应的输入装置执行的输入包括来自设置于相应的输入装置中的发光单元的发光。
15.根据权利要求12所述的信息处理设备，其中，
所述确定单元基于从相应的输入装置输出的运动传感器信息和姿势传感器信息中的至少任一个、以及由所述多个指示器信息的特征表示的相应的指示器的轨迹或所述轨迹的角度，确定与每个相应的指示器对应的相应的输入装置。
16.根据权利要求3所述的信息处理设备，其中，
在所述确定单元未能确定与所述多个指示器对应的所述多个输入装置中的每个相应的输入装置的情况下，所述发送单元将要输出到与所述多个指示器之中的满足所述预定条件的每个相应的指示器对应的相应的输入装置的预定触觉刺激信号发送到所述确定单元未能确定的所有输入装置。
17.一种信息处理方法，包括：
由处理器执行以下操作：
基于一个或更多个传感器数据来获取多个指示器信息；
基于所述多个指示器信息的特征来确定与多个指示器中的每个相应的指示器对应的多个输入装置中的相应的输入装置；以及
在相应的指示器的位置满足预定条件的情况下，生成要输出到与相应的指示器对应的相应的输入装置的预定触觉刺激信号，
其中，用于确定每个相应的输入装置的所述多个指示器信息的特征包括多个波长中的一个或更多个波长的唯一的组合，所述唯一的组合对应于该相应的输入装置，以及
其中，所述多个输入装置的数量大于所述多个波长的数量。
18.一种其上实施程序的非暂态计算机可读介质，所述程序在由计算机执行时使所述计算机执行下述方法，所述方法包括：
基于一个或更多个传感器数据来获取多个指示器信息；
基于所述多个指示器信息的特征来确定与多个指示器中的每个相应的指示器对应的多个输入装置中的相应的输入装置；以及
在相应的指示器的位置满足预定条件的情况下，生成要输出到与相应的指示器对应的相应的输入装置的预定触觉刺激信号，
其中，用于确定每个相应的输入装置的所述多个指示器信息的特征包括多个波长中的一个或更多个波长的唯一的组合，所述唯一的组合对应于该相应的输入装置，以及
其中，所述多个输入装置的数量大于所述多个波长的数量。
CN201810171478.9A 2016-07-12 2018-03-01 信息处理设备、信息处理方法和程序 Active CN108572728B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016137894 2016-07-12
JP2017043969A JP6834614B2 (ja) 2016-07-12 2017-03-08 情報処理装置、情報処理方法、およびプログラム
JP2017-043969 2017-03-08

Publications (2)

Publication Number Publication Date
CN108572728A CN108572728A (zh) 2018-09-25
CN108572728B true CN108572728B (zh) 2022-11-08

Family

ID=60952503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810171478.9A Active CN108572728B (zh) 2016-07-12 2018-03-01 信息处理设备、信息处理方法和程序

Country Status (5)

Country Link
US (2) US11027195B2 (zh)
JP (1) JP6834614B2 (zh)
CN (1) CN108572728B (zh)
DE (2) DE112017003556T5 (zh)
WO (1) WO2018012062A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034053A1 (ja) * 2016-08-18 2018-02-22 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
US10945484B1 (en) * 2017-06-28 2021-03-16 Apple Inc. Haptic output devices
CN109364478B (zh) 2018-09-07 2022-08-23 深圳市腾讯信息技术有限公司 信息同步方法、装置及存储介质
WO2020080432A1 (ja) * 2018-10-19 2020-04-23 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
CN112840295A (zh) * 2018-10-19 2021-05-25 索尼公司 信息处理器、信息处理方法和程序
WO2021145026A1 (ja) 2020-01-17 2021-07-22 ソニーグループ株式会社 情報処理装置及び情報処理端末
JP7484586B2 (ja) 2020-08-31 2024-05-16 株式会社Ｊｖｃケンウッド 表示制御装置、及び表示制御プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003260A (en) * 1987-05-28 1991-03-26 Auchterlonie Richard C Inductive position sensor having plural phase windings on a support and a displaceable phase sensing element returning a phase indicating signal by electromagnetic induction to eliminate wire connections
WO2016114015A1 (ja) * 2015-01-15 2016-07-21 ソニー株式会社 撮像制御装置、撮像制御方法及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744418B2 (ja) * 2001-12-17 2006-02-08 株式会社日立製作所 情報表示装置
WO2007063449A1 (en) * 2005-11-30 2007-06-07 Koninklijke Philips Electronics N. V. Light pen input system and method, particularly for use with large area non-crt displays
JP5004518B2 (ja) * 2006-06-22 2012-08-22 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームシステム、およびゲーム処理方法
JP5410710B2 (ja) * 2007-09-12 2014-02-05 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、ゲームシステム
CN101889453B (zh) * 2008-06-18 2013-11-13 松下电器产业株式会社 图像处理装置、摄像装置、方法及程序
US20110276113A1 (en) * 2010-04-12 2011-11-10 Cybulski James S RF Tissue Modulation Devices and Methods of Using the Same
JP5279482B2 (ja) * 2008-12-25 2013-09-04 キヤノン株式会社 画像処理装置、方法及びプログラム
EP2417513A4 (en) * 2009-04-05 2013-10-30 Radion Engineering Co Ltd SYSTEM AND METHOD FOR UNIFIED DISPLAY AND INPUT
JP2012014361A (ja) * 2010-06-30 2012-01-19 Canon Inc 情報処理装置およびその制御方法
US20120176308A1 (en) * 2011-01-12 2012-07-12 Smart Technologies Ulc Method for supporting multiple menus and interactive input system employing same
JP6112807B2 (ja) * 2012-09-11 2017-04-12 株式会社キーエンス 形状測定装置、形状測定方法および形状測定プログラム
JP6175913B2 (ja) * 2013-06-04 2017-08-09 船井電機株式会社 入力装置、入力システム及び入力方法
US10349031B2 (en) * 2013-07-28 2019-07-09 Michael J. DeLuca Augmented reality based user interfacing
JP2015166890A (ja) 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
US9779633B2 (en) * 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
FR3028051B1 (fr) * 2014-10-31 2016-12-09 Thales Sa Systeme de visualisation stereoscopique a multiplexage de longueur d'onde actif
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
WO2017139509A1 (en) * 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003260A (en) * 1987-05-28 1991-03-26 Auchterlonie Richard C Inductive position sensor having plural phase windings on a support and a displaceable phase sensing element returning a phase indicating signal by electromagnetic induction to eliminate wire connections
WO2016114015A1 (ja) * 2015-01-15 2016-07-21 ソニー株式会社 撮像制御装置、撮像制御方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于无线通信的游戏控制器设计;朱沁;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20120415;第I137-56页 *

Also Published As

Publication number Publication date
JP2018014078A (ja) 2018-01-25
US11027195B2 (en) 2021-06-08
US20190291002A1 (en) 2019-09-26
JP6834614B2 (ja) 2021-02-24
DE102018105289A1 (de) 2018-09-13
CN108572728A (zh) 2018-09-25
US10668372B2 (en) 2020-06-02
US20180256974A1 (en) 2018-09-13
WO2018012062A1 (ja) 2018-01-18
DE112017003556T5 (de) 2019-03-28

Similar Documents

Publication Publication Date Title
CN108572728B (zh) 信息处理设备、信息处理方法和程序
US10534432B2 (en) Control apparatus
US11016569B2 (en) Wearable device and method for providing feedback of wearable device
JP6737234B2 (ja) 評価装置、評価方法、及び評価プログラム
JP2020091904A (ja) システムおよびコントローラ
KR102162373B1 (ko) 주체와 객체의 연관
US9672413B2 (en) Setting operation area for input according to face position
KR20150116897A (ko) Ｎｕｉ 관여의 검출
JP2016139375A (ja) 情報処理装置および情報処理方法
US11334226B2 (en) Information processing device, information processing method, and program
US20160073017A1 (en) Electronic apparatus
KR20170010157A (ko) 인터랙티브 운동프로그램을 통한 사용자의 운동동작 유도 방법 및 그 장치
CN110520822B (zh) 控制装置、信息处理系统、控制方法和程序
EP3507569A1 (en) Information processing system, method of information processing, and program
JP3138145U (ja) 脳トレーニング装置
CN108139203A (zh) 信息处理设备和位置信息获取方法
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
WO2021196584A1 (zh) 激光感应系统及方法、计算机可读存储介质、电子设备
JP2012196286A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
WO2018079383A1 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
JP2019164216A (ja) 指示位置伝達システムおよび指示位置伝達方法
JP6467039B2 (ja) 情報処理装置
TWI533238B (zh) 動作偵測與判斷裝置及方法
US20220406206A1 (en) Recording medium recorded with cardiopulmonary resuscitation training program, cardiopulmonary resuscitation training method, apparatus, and system
WO2020019850A1 (zh) 一种穿戴式设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant