CN107408003A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN107408003A
CN107408003A CN201680011069.1A CN201680011069A CN107408003A CN 107408003 A CN107408003 A CN 107408003A CN 201680011069 A CN201680011069 A CN 201680011069A CN 107408003 A CN107408003 A CN 107408003A
Authority
CN
China
Prior art keywords
processing device
message processing
virtual
real object
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680011069.1A
Other languages
English (en)
Inventor
永野佳惠
石井智裕
河合宣彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107408003A publication Critical patent/CN107408003A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

[问题]提供可以为三维计算机图形(3DCG)应用提供更直观的操作环境的信息处理设备、信息处理方法和程序。[解决方案]一种信息处理设备，设置有：生成单元，其用于基于关于第一真实对象检测到的第一操作信息以及关于第二真实对象检测到的第二操作信息来生成用于显示虚拟空间的显示控制信息，其中该第一真实对象对应于虚拟空间中的虚拟对象，该第二真实对象对应于虚拟空间中的虚拟工具。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开内容涉及信息处理设备、信息处理方法和程序。
背景技术
近些年，三维计算机图形(3DCG)用于各种领域。用户可以在虚拟空间中生成3DCG，并且通过操作3DCG应用来从任意视点看该虚拟空间。在这种情况下，要求用户执行复杂的操作，例如，使用X坐标、Y坐标和Z坐标这三个坐标来识别虚拟空间中的位置，并且指定各种参数。因此，开发了这样的改进3DCG应用的操作环境的技术。
例如，在以下专利文献1中，公开了这样的根据真实空间中的装置的姿势来确定在虚拟空间中定义的视点的位置的技术。
引用列表
专利文献
专利文献1：JP2014-109802A
发明内容
技术问题
然而，在专利文献1中，使用真实空间中的装置的姿势仅可以操作虚拟空间中的视点。在虚拟空间中，除了作为用户的操作目标的工作点(例如视点)之外，还存在着虚拟对象。优选地，还可以使用真实空间中的直观操作来操作虚拟对象。因此，在本公开内容中，提出了能够为3DCG应用提供更直观的操作环境的新颖的且改进的信息处理设备、信息处理方法和程序。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，该信息处理设备包括生成单元，其被配置成基于关于第一真实对象检测到的第一操作信息以及关于第二真实对象检测到的第二操作信息来生成用于显示虚拟空间的显示控制信息，其中所述第一真实对象对应于所述虚拟空间中的虚拟对象，所述第二真实对象对应于所述虚拟空间中的虚拟工具。
此外，根据本公开内容，提供了一种由处理器执行的信息处理方法，该信息处理方法包括：基于关于第一真实对象检测到的第一操作信息以及关于第二真实对象检测到的第二操作信息来生成用于显示虚拟空间的显示控制信息，其中，所述第一真实对象对应于所述虚拟空间中的虚拟对象，所述第二真实对象对应于所述虚拟空间中的虚拟工具。
此外，根据本公开内容，提供了一种使计算机起到以下的作用的程序：生成单元，其被配置成基于关于第一真实对象检测到的第一操作信息以及关于第二真实对象检测到的第二操作信息来生成用于显示虚拟空间的显示控制信息，其中所述第一真实对象对应于所述虚拟空间中的虚拟对象，所述第二真实对象对应于所述虚拟空间中的虚拟工具。
发明的有益效果
如上所述，根据本公开内容，可以为3DCG应用提供更直观的操作环境。注意，上述效果不必是限制性的。与上述效果一起或代替于上述效果，可以实现本说明书中描述的效果中的任何一个效果或者可以从本说明书掌握领会的其他效果。
附图说明
图1是用于说明3DCG应用中的操作环境的图。
图2是用于说明3DCG应用中的操作环境的图。
图3是示出根据本实施方式的信息处理系统的外观配置的示例的图。
图4是示出根据本实施方式的用于操作的笔的外观配置的示例的图。
图5是示出根据本实施方式的信息处理设备的逻辑配置的示例的框图。
图6是用于说明根据本实施方式的信息处理设备的概要的图。
图7是示出根据本实施方式的在信息处理设备中执行的显示处理的流程的示例的流程图。
图8是用于说明根据本实施方式的信息处理设备的概要的图。
图9是用于说明根据本实施方式的信息处理设备的概要的图。
图10是示出根据本实施方式的在信息处理设备中执行的显示处理的流程的示例的流程图。
图11是示出根据本实施方式的在信息处理设备中执行的显示处理的流程的示例的流程图。
图12是用于说明根据本实施方式的信息处理设备的概要的图。
图13是用于说明根据本实施方式的信息处理设备的概要的图。
图14是示出根据本实施方式的在信息处理设备中执行的显示处理的流程的示例的流程图。
图15是示出根据本实施方式的在信息处理设备中执行的显示处理的流程的示例的流程图。
图16是用于说明根据本实施方式的信息处理设备的概要的图。
图17是用于说明根据本实施方式的摄像装置抖动校正功能的示例的图。
图18是用于说明根据本实施方式的摄像装置抖动校正功能的示例的图。
图19是示出根据本实施方式的信息处理设备的硬件配置的示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的一个或多个优选实施方式。在本说明书和附图中，用相同的附图标记来标示具有基本相同的功能和结构的结构元件，并且省略了对这些结构元件的重复说明。
此外，在本说明书和附图中存在通过将不同的字母附在同一附图标记之后来区分具有基本相同的功能的元件的情况。例如，根据需要将具有基本相同的功能配置的元件区分为信息处理设备100A、100B和100C。然而，当不存在特别区分具有基本相同的功能配置的多个元件的需要时，仅附有相同的附图标记。例如，当不存在特别区分信息处理设备100A、100B和100C的需要时，信息处理设备100A、100B和100C可以简称为信息处理设备100。
注意，按照以下顺序给出描述。
1.概要
1.1.介绍
1.2.技术问题
2.配置示例
2.1.外观配置示例
2.2.功能配置示例
3.第一实施方式
3.1.技术特征
3.2.操作处理示例
4.第二实施方式
4.1.技术特征
4.2.操作处理示例
5.第三实施方式
5.1.技术特征
5.2.操作处理示例
6.第四实施方式
7.第五实施方式
8.硬件配置的示例
9.总结
<<1.概要>>
<1.1.介绍>
首先，将参照图1和图2对3DCG应用中的操作环境给出描述。图1和图2是用于说明3DCG应用中的操作环境的图。
图1示出了3DCG应用的虚拟空间的示例。用户可以通过操作操纵器10来为虚拟空间提供各种工作(workings)。操纵器10具有方向性，并且可以向操纵器10的方向提供工作。此外，操纵器10可以起到虚拟工具的作用。例如，在图1所示的示例中，操纵器10是起到灯的作用的用于灯的操纵器，并且可以使用来自操纵器10的位置的聚光灯来照射虚拟对象20。除了用于灯的操纵器以外，用户还可以通过使用各种类型的操纵器(例如用于移动的操纵器、用于变形的操纵器或用于着色的操纵器)来给虚拟空间提供各种工作，例如虚拟对象20的移动、变形或着色。
如图2所示，操纵器10的方向13由原点11和观看点12来识别。因此，用户指定原点11和观看点12中的每一个的坐标(X坐标、Y坐标和Z坐标)，以操作操纵器10的方向13。
<1.2.技术问题>
此处，在用户使用鼠标或键盘执行操作的情况下，难以同时操作原点11和观看点12。此外，为了操作原点11和观看点12，需要分别指定X坐标、Y坐标和Z坐标这三个坐标。因此，用于控制操纵器10的方向13的操作是麻烦的。
此外，关于虚拟对象20，用户例如执行操作，例如经由用于移动的操纵器来移动虚拟对象20。因此，与操纵器10类似，操作虚拟对象20也会是麻烦的。此外，难以分别地且同时地操作操纵器10和虚拟对象20，例如使操纵器10起到虚拟工具(例如灯)的作用，以在操作灯的位置和方向的同时操作虚拟对象20的位置和方向。
因此，在作为视点的情况下，设计了根据本公开内容的实施方式的信息处理系统。使用根据本实施方式的信息处理系统，可以为3DCG提供更直观的操作环境。
<<2.配置示例>>
在下文中，将参照图3至图5对各个实施方式共有的信息处理系统的配置示例给出描述。
<2.1.外观配置示例>
图3是示出根据本实施方式的信息处理系统1的外观配置的示例的图。如图3所示，信息处理系统1包括信息处理设备100和用于操作的笔200。
信息处理设备100包括一个或多个可移动臂160。臂160A和160B分别具有传感器单元110A和110B以及显示单元120A和120B。传感器单元110A和110B均包括可以捕获图像(静止图像/运动图像)的图像传感器，以及可以获取深度信息(在深度方向上的距离)的深度传感器，并且传感器单元110A和110B可以检测桌子180上的识别范围190的状态。图像传感器可以通过例如RGB摄像装置来实现，而深度传感器可以通过例如IR(红外)立体摄像装置来实现。
显示单元120A和120B可以通过例如投影仪来实现，并且将图像投影到投影表面170。投影的图像是例如3DCG应用的操作画面。投影表面170可以具有作为触摸面板的功能，并且可以感测用于操作的笔200的触摸。投影仪120A和120B将相同的图像投影到投影表面170，同时将投影位置彼此匹配。由于从不同的位置照射了多个投影光束，即使存在有存在于投影表面170上障碍物(例如用户的手)，存在于投影表面170上的障碍物(例如用户的手)所产生的阴影也很轻。因此，可以改进投影表面上的图像在阴影的位置处的可见性。
信息处理设备100还可以包括显示单元120C。显示单元120C是由例如用于显示图像的显示器实现的。显示的图像是例如3DCG应用的操作画面。投影仪120A和120B以及显示器120C可以显示不同的图像或者显示相同的图像。例如，在图3所示的示例中，所显示的是在与投影仪120A和120B以及显示器120C的角度不同的角度处观看的车辆的虚拟对象20的状态。
用于操作的笔200是由用户操作的装置。如图3所示，用于操作的笔200可以由用户的手抓握、被放置在投影表面170上或者被任何支承件(例如三脚架)支承。在下文中，将参照图4对用于操作的笔200的外观配置示例给出具体描述。
图4是示出根据本实施方式的用于操作的笔200的外观配置的示例的图。如图4所示，给用于操作的笔200设置有多个输入单元210和多个发光单元220。
输入单元210具有用于接收用户输入的功能。在图4所示的示例中，输入单元210是按钮。例如，按钮210A对应于鼠标的左击。按钮210B对应于鼠标的右击。按钮210C是分配有任意功能的通用按钮。此外，输入单元210可以通过触摸传感器、切换器(toggle)、滑动器等来实现。
发光单元220具有用于发射光的功能。例如，由发光二极管(LED)、IR LED等来实现发光单元220。发光单元220发射光，从而与不发射光的情况相比，有利于通过传感器单元110来检测用于操作的笔200的姿势。注意，为了有利于检测用于操作的笔200的姿势，替代于发光单元220或与发光单元220一起，可以将无源标记(例如条形码)附接至用于操作的笔200。
此外，用于操作的笔200可以具有惯性传感器，例如加速度传感器和陀螺仪传感器、速度传感器、振动传感器或生物体传感器。此外，用于操作的笔200可以具有能够通过使用任意通信系统(例如无线局域网(LAN)、Wi-Fi(注册商标)或蓝牙(注册商标))来进行无线通信的通信单元，并且用于操作的笔200还可以向/从信息处理设备100发送和接收各种数据。
用户在触摸在投影表面170上所投影的或在显示单元120上所显示的3DCG应用的操作画面的同时使用用于操作的笔200进行触摸或移动，从而直观地操作3DCG应用。此外，用户在识别范围190中操作用于操作的笔200，从而根据用于操作的笔200的位置和姿势来直观地操作3DCG应用。
上文对用于操作的笔200的外观配置示例给出了描述。随后，将参照图5来对信息操作设备100的功能配置示例给出描述。
<2.2.功能配置示例>
图5是示出根据本实施方式的信息处理设备100的逻辑配置的示例的框图。如图5所示，信息处理设备100包括传感器单元110、显示单元120、通信单元130、存储单元140和控制单元150。
传感器单元110具有用于检测识别范围190的状态的功能。如上所述，传感器单元110包括例如图像传感器和深度传感器，并且检测关于存在于识别范围190中的真实对象(例如用于操作的笔200)的图像信息和深度信息。传感器单元110将检测到的信息输出至控制单元150。
显示单元120具有用于显示信息的功能。如上所述，显示单元120可以由投影仪和显示器来实现。显示单元120在控制单元150的控制下输出3DCG应用的操作画面等。
通信单元130是用于以有线/无线的方式向/从外部装置发送和接收数据的通信模块。通信单元130通过使用任意通信系统(例如无线LAN、Wi-Fi或蓝牙)来与用于操作的笔200通信。例如，通信单元130可以接收到输入单元210的输入信息或者由在用于操作的笔200中所包括的惯性传感器检测到的信息。通信单元130将接收到的信息输出至控制单元150。
存储单元140是用于将数据记录和再现到预定记录介质的部件。例如，存储单元140基于来自用户的存储指令来存储用于指示操作内容的信息。
控制单元150起到算术处理装置和控制装置的作用，并且根据各种程序来控制信息处理设备100中的所有操作。如图5所示，控制单元150起到获取单元151、存储控制单元153、生成单元155和显示控制单元157的作用。获取单元151具有用于获取对用户的操作内容进行指示的操作信息的功能。存储控制单元153具有用于将信息存储到存储单元140或者读取存储单元140中所存储的信息的功能。生成单元155具有用于生成用于规定在显示单元120上要显示的内容的显示控制信息的功能。注意，显示控制信息可以是用于显示图像的信号，例如RGB信号或HDMI(注册商标)信号、或HTML文件。显示控制单元157具有用于控制显示单元120以基于由生成单元155生成的显示控制信息来执行显示的功能。
注意，信息处理设备100从3DCG应用获取坐标，并且基于所获取的坐标来执行各种类型的信息处理。可以由3DCG应用的插件(plug-in)、API等来执行在控制单元150和3DCG应用之间执行的通信，例如坐标的输入和输出。
以上对根据本实施方式的信息处理设备100的功能配置示例给出了描述。随后，将对各个实施方式给出具体描述。
<<3.第一实施方式>>
首先，将参照图6来对根据本实施方式的信息处理设备100的概要给出描述。
图6是用于说明根据本实施方式的信息处理设备100的概要的图。如图6所示，用户在识别范围190中操作用于操作的笔200。此外，从侧后方看到的车辆的虚拟对象20的状态被显示在显示器120C上。从上方看到的车辆的虚拟对象20的状态被显示在投影表面170上。本实施方式是以下形式：用于操作的笔200在识别范围190中的位置和姿势被反映在操纵器10的位置和姿势中。
在下文中，对根据本实施方式的信息处理设备100的技术特征给出描述。
<3.1.技术特征>
(操作信息获取功能)
信息处理设备100(例如，获取单元151)具有以下功能：获取用于指示用户的操作内容的操作信息。本实施方式中的操作信息包括用于指示由用于操作的笔200的用户所操作的真实对象的真实空间中的位置和姿势的信息等。
例如，获取单元151可以通过从由传感器单元110检测到的图像信息中识别用于操作的笔200的图像或者从由传感器单元110检测到的深度信息中识别用于操作的笔200的高度，来获取用于操作的笔200的位置和姿势。在这种情况下，获取单元151可以通过识别用于操作的笔200的两端(发光单元220A和220B)的坐标来获取用于操作的笔200的位置和姿势。
此外，获取单元151可以根据用于操作的笔200中所包括的传感器检测到的、并且由通信单元130接收到的信息来获取用于操作的笔200的姿势。例如，获取单元151根据重力加速度的检测结果来获取用于操作的笔200的姿势。
此外，获取单元151可以获取由通信单元130接收到的、对用于操作的笔200的输入单元210的输入信息或者由用于操作的笔200中所包括的传感器检测到的信息(例如加速度或速度)，作为操作信息。
此外，例如，另一真实对象(例如用户的手指)可以起到用于操作的笔200的作用。在这种情况下，操作信息是对用户的手指和姿势进行指示的信息。获取单元151可以通过识别与用于操作的笔200的两端类似的用户手指的根部和尖部的坐标来获取操作信息。
(坐标转换功能)
信息处理设备100(例如，生成单元155)具有用于将真实空间中的坐标转换为虚拟空间中的坐标的功能。
例如，生成单元155将用于操作的笔200的两端在真实空间中的坐标转换成虚拟空间中的操纵器10的原点11和观看点12的坐标。更具体地，生成单元155将用于操作的笔200的位置和姿势(发光单元220A和220B的坐标)反映在操纵器10的位置和姿势(原点11和观看点12的坐标)中。例如，生成单元155将用于操作的笔200中的发光单元220B在真实空间中的坐标转换为操纵器10的原点11的坐标，而将发光单元220A的坐标转换为操纵器10的观看点12的坐标。因此，用户在识别范围190中移动由手抓握的用于操作的笔200，从而可以执行好像在虚拟空间中移动由手抓握的操纵器10一样的操作。
注意，只要未具体地提及，就认为转换目的地的坐标是全局坐标。注意，全局坐标是指示虚拟空间中的绝对位置的坐标。另一方面，局部坐标是指示将虚拟空间中的任意位置(简单坐标或虚拟对象)作为参考的相对位置的坐标。
生成单元155可以根据对虚拟空间中的显示的放大或缩小来执行坐标转换。例如，生成单元155将识别范围190中的用于操作的笔200的移动距离转换成在虚拟空间中的针对虚拟空间中的缩小比例特制的移动距离。例如，当虚拟空间被放大并且虚拟对象20的一部分被显示时，操纵器10的可移动区域被限于可移动区域的一部分。当在虚拟空间缩小的情况下显示整个虚拟对象20时，操纵器10的可移动区域散布整个区域。
(虚拟空间显示功能)
信息处理设备100(例如，生成单元155和显示控制单元157)具有用于显示虚拟空间的功能。在下文中，生成单元155生成显示控制信息，并且显示控制单元157基于显示控制信息来控制显示单元120，其也简称为显示。
例如，生成单元155具有用于基于检测到的关于用于操作的笔200(第二真实对象)的操作信息(第二操作信息)来生成用于显示虚拟空间的显示控制信息的功能。具体地，生成单元155使用坐标转换功能来生成用于执行显示的显示控制信息，其中所述显示将用于操作的笔200的位置和姿势反映在操纵器10中。因此，用户在识别范围190中移动由手抓握的用于操作的笔200，从而使得信息处理设备100能够执行好像在虚拟空间中移动由手抓握的操纵器10一样的显示。注意，用于操作的笔200在笔保持器(pen holder)方向上的旋转可以被反映在操纵器10中或者不被反映在操纵器10中。用户可以设置是否执行反映。此外，可以任意地调节以下比率是被减小、增大还是被设置为0(未移动)：将用于操作的笔200的到预定轴(方向)的移动(改变)转换成操纵器10的移动的比率。
此外，生成单元155使得用于操作的笔200能够对应于虚拟空间中的虚拟工具。具体地，生成单元155可以使得操纵器10能够具有如虚拟工具的功能。此外，生成单元155可以生成用于执行显示的显示控制信息，其中所述显示将对虚拟工具的使用反映到虚拟对象20。可以多方面地考虑虚拟工具。
例如，虚拟工具可以是灯。例如，信息处理设备100使得操纵器10能够具有如灯的功能，并且将操纵器10的原点11和观看点12设置为灯的原点和观看点。因此，灯从与真实空间中用于操作的笔200的位置(发光单元220B的位置)相对应的虚拟空间中的位置(原点11)向与真实空间中用于操作的笔200的姿势(发光单元220A的位置)相对应的虚拟空间中的方向发射光。例如，信息处理设备100可以显示使用虚拟灯照射虚拟对象20的状态。例如，如图6所示，操纵器10起到灯的作用，并且显示了照射车辆的虚拟对象20的背部的光(附图标记21)。
例如，虚拟工具可以是摄像装置。例如，信息处理设备100使得操纵器10能够具有如摄像装置的功能，并且将操纵器10的原点11和观看点12设置为摄像装置的原点和观看点。因此，将摄像装置从与真实空间中用于操作的笔200的位置(发光单元220B的位置)相对应的虚拟空间中的位置(原点11)指向与真实空间中用于操作的笔200的姿势(发光单元220A的位置)相对应的虚拟空间中的方向(观看点12)。例如，信息处理设备100可以显示由虚拟摄像装置捕获的虚拟对象20。
例如，虚拟工具可以是粒子发射装置。作为粒子发射装置，例如，存在着喷出涂料的喷枪、放出火焰或烟雾、烟草和烟火的火焰喷射器。例如，信息处理设备100使得操纵器10能够具有如喷枪的功能，并且将操纵器10的原点11和观看点12设置为喷枪的原点和观看点。因此，将喷枪从与真实空间中用于操作的笔200的位置(发光单元220B的位置)相对应的虚拟空间中的位置(原点11)指向与真实空间中用于操作的笔200的姿势(发光单元220A的位置)相对应的虚拟空间中的方向(观看点12)。例如，信息处理设备100可以显示使用虚拟喷枪喷涂的虚拟对象20。此外，除了用于操作的笔200的位置或姿势之外，还可以反映加速度等，并且在虚拟空间中可以执行物理计算。例如，当用户摇动用于操作的笔200时，可以根据加速度来从操纵器10的观看点12泼洒涂料。此外，涂料可以在虚拟空间中根据重力下降并且散开到虚拟对象20。
注意，生成单元155可以使得操纵器10能够具有如虚拟工具的多个功能。例如，操纵器10可以起到灯的作用并且还可以起到摄像装置的作用。在这种情况下，可以显示使用灯照射的摄像装置拍摄范围的摄像装置图像。
生成单元155可以生成用于执行显示的显示控制信息，其中所述显示反映与虚拟工具的工作相关的参数。因此，信息处理设备100可以控制虚拟工具的工作。参数可以由用户指定。此外，可以多方面地考虑参数。
作为关于灯的参数，例如，存在灯的类型、灯的颜色、强度、锥角、外围部分的角度、下降率、阴影的颜色、效果等。注意，锥角是聚光灯的伞的角度。外围部分的角度是围绕灯的边缘模糊的光的角度。下降率是从光的中心朝向外侧的衰减率。效果具有各种类型，例如亮光和镜头光晕。
作为与摄像装置相关的参数，存在例如摄像装置的类型、摄像装置的视角、焦距、景深、变焦等。此外，作为另一参数，存在摄像装置的重量。例如，生成单元155可以再现以下摄像装置工作：根据摄像装置的重量、用于操作的笔200的速度和加速度等，由于将离心力施加至摄像装置，摄像装置经过目标一次，然后再次返回。可以实时再现摄像装置工作，或者可以通过随后调节参数(例如摄像装置的重量)来调节返回量或摄像装置抖动量。
作为与粒子发射装置相关的参数，例如，存在着粒子发射装置的类型。此外，例如，作为与喷枪相关的参数，存在着粒子的形状、尺寸、发射数量、发射方向、发射角度、发射速度、发射率、重力、粘度等。作为与火焰或烟雾相关的参数，存在着火的量、亮度、扩散角、紧接在发射之后的半径、紧接在消失之前的半径、火移动方向、火移动速度、烟雾的不透明度、紊乱性等。
注意，操纵器10的原点和观看点的坐标也可以被看作参数。
此外，可以将滑动器等提供给用于操作的笔200，并且例如可以根据滑动器的位置来动态地设置参数，例如灯的强度和锥角。
(存储/再现功能)
信息处理设备100(例如，存储控制单元153和存储单元140)具有以下功能：存储以及再现用于操作的笔200所操作的虚拟空间中的情况。
例如，存储控制单元153使存储单元140存储用于指示操纵器10的位置和姿势的信息。然后，生成单元155基于用于指示存储控制单元153从存储单元140获取的操纵器10的过去的位置和姿势的信息来生成显示控制信息。因此，用户存储例如用于发光的优选方式，并且可以随后引用该方式。
可以连续存储或不连续地存储用于指示操纵器10的位置和姿势的信息。例如，存储控制单元153可以在按压用于操作的笔200的按钮210C的时间段内连续地存储操纵器10的坐标，以及在离散地按压按钮210C的定时处存储操纵器10的坐标。例如，在连续存储的情况下，生成单元155可以根据对连续存储的位置和姿势进行指示的信息来原样再现操纵器10的位置和姿势。另一方面，在离散存储的情况下，生成单元155沿时间轴链接用于指示离散存储的位置和姿势的信息，从而再现操纵器10的位置和姿势。
上文对根据本实施方式的信息处理设备100的技术特征给出了描述。随后，将参照图7对根据本实施方式的信息处理设备100的操作处理示例给出描述。
<3.2.操作处理示例>
图7是示出根据本实施方式的由信息处理设备100执行的显示处理的流程的示例的流程图。该流程是在操纵器10起到虚拟灯的作用的情况下的处理示例。
如图7所示，首先，在步骤S102中，信息处理设备100转变至灯控制模式。例如，用户按压按钮210B以将操作模式选择画面显示在投影表面170上并且选择灯控制模式。操作模式包括例如用于使得操纵器10能够起到虚拟绘图工具的作用的绘图模式，以及用于使得操纵器10能够起到虚拟摄像装置的作用的摄像装置控制模式。如上所述，获取单元151获取指示用户已选择灯控制模式的信息。因此，生成单元155使得操纵器10能够起到虚拟灯的作用。
随后，在步骤S104中，信息处理设备100将虚拟空间中的显示返回默认。例如，生成单元155和显示控制单元157执行以下显示：在该显示中，经旋转的、经放大的或经缩小的虚拟空间被返回。
随后，在步骤S106中，信息处理设备100生成虚拟灯。例如，用户使灯类型选择画面显示在投影表面170上，并且从方向灯、环境灯、聚光灯、点状灯等中选择要被使用的灯的类型。用户可以同时使用多个灯。此外，用户可以通过他自己/她自己指定参数来创建一种新的类型的灯。除了由用户选择之外，还可以选择默认的灯。获取单元151获取对如上所述的所指定的参数进行指示的信息。因此，生成单元155确定虚拟灯的工作。
随后，在步骤S108中，信息处理设备100获取用于操作的笔200的位置和姿势。例如，获取单元151使用操作信息获取功能来获取用于操作的笔200的位置和姿势。
随后，在步骤S110中，信息处理设备100将用于操作的笔200的位置和姿势转换到虚拟空间中的坐标系中。例如，生成单元155使用坐标转换功能来将用于操作的笔200的发光单元220A和220B在真实空间中的坐标转换为在虚拟空间中的坐标系中的坐标。
随后，在步骤S112中，信息处理设备100将用于操作的笔200的两端设置为虚拟灯的原点和观看点。例如，生成单元155将操纵器10的原点11的坐标设置为发光单元220B的被转换到虚拟空间中的坐标系中的坐标。此外，生成单元155将操纵器10的观看点12的坐标设置为发光单元220A的被转换到虚拟空间中的坐标系中的坐标。然后，生成单元155使用虚拟空间显示功能来将操纵器10的原点11和观看点12设置为灯的原点和观看点。
随后，在步骤S114中，信息处理设备100将来自虚拟灯的光反映在虚拟空间中。例如，信息处理设备100使用虚拟空间显示功能来显示光从原点11向观看点12的方向照射的状态。
随后，在步骤S116中，存储控制单元153确定是否存储信息。例如，当获取指示出按钮210C被按压的信息时，存储控制单元153确定存储信息(步骤S116/是)，并且处理前进至步骤S118。另一方面，当未获取指示出按钮210C被按压的信息时，存储控制单元153确定不存储信息，并且处理前进至步骤S120(步骤S116/否)。
在步骤S118中，信息处理设备100存储虚拟灯的信息。例如，存储控制单元153存储灯的参数以及用于指示位置和姿势的信息。
随后，在步骤S120中，信息处理设备100确定是否结束灯控制模式。例如，用户从在投影表面170上所显示的菜单中结束灯控制模式。当获取了由用户对灯控制模式的结束指令时(S120/是)，生成单元155结束灯控制模式并且关闭虚拟灯。另一方面，当未获取由用户对灯控制模式的结束指令时(S120/否)，处理再次返回步骤S108。
上文对第一实施方式给出了描述。
<<4.第二实施方式>>
首先，将参照图8和图9来对根据本实施方式的信息处理设备100的概要给出描述。
图8和图9是用于说明根据本实施方式的信息处理设备100的概要的图。如图8所示，用户在识别范围190中操作用于操作的笔200和用于操作的立方体300。此外，显示器120C显示从侧后方看的车辆的虚拟对象20的状态，而投影表面170显示从上方看的车辆的虚拟对象20的状态。本实施方式是以下形式：用于操作的笔200和用于操作的立方体300在识别范围190中的位置和姿势被反映在操纵器10和虚拟对象20的位置和姿势中。例如，如图9所示，用户可以执行操作，例如将用于操作的笔200从上方指向用于操作的立方体300，或者从下方指引用于操作的笔200。因此，例如，在虚拟空间中，光从上方照射到虚拟对象20或者光从下方照射。例如，在图8所示的示例中，由于从用于操作的立方体300的后方指引用于操作的笔200，因此显示用于照射车辆的虚拟对象20的后面的光(附图标记21)。
用于操作的立方体300是由用户操作的真实对象。如图8所示，用于操作的立方体300可以被放置在投影表面170上、被用户的手抓握或者由任意支承工具(例如三脚架)来支承。在用于操作的立方体300上，可以将用于识别每个表面的无源标记(例如条形码)或增强现实(AR)标记附接至每个表面以实现姿势的方向。
此外，用于操作的立方体300可以具有惯性传感器，例如加速度传感器或者陀螺仪传感器、速度传感器、振动传感器或生物体传感器。此外，用于操作的立方体300可以具有能够通过使用任意通信系统(例如无线LAN、Wi-Fi或蓝牙)来进行无线通信的通信单元，并且还可以向/从信息处理设备100发送和接收各种数据。
在下文中，对根据本实施方式的信息处理设备100的技术特征给出描述。注意，假设根据本实施方式的信息处理设备100具有在前述实施方式中所述的技术特征。
<4.1.技术特征>
(操作信息获取功能)
在本实施方式中的操作信息包括用于指示用于操作的笔200和用于操作的立方体300在真实空间中的位置和姿势的信息。用于操作的笔200如上所述。在下文中，将描述用于操作的立方体300。
例如，获取单元151可以从由传感器单元110检测到的信息中识别用于操作的立方体300的图像，或者从由传感器单元110检测到的深度信息中识别用于操作的立方体300的高度，以获取用于操作的立方体300的位置和姿势。在这种情况下，获取单元151可以识别附接至用于操作的立方体300的每个表面的标识信息，可以识别用于操作的立方体300的顶部位置，并且可以通过使用AR算法来估计AR标记的姿势，以获取用于操作的立方体300的位置和姿势。
此外，获取单元151可以根据用于操作的立方体300中所包括的传感器所检测到的、并且由通信单元130接收到的信息，来获取用于操作的立方体300的姿势。例如，获取单元151根据对重力加速度的检测结果来获取用于操作的立方体300的姿势。
此外，获取单元151可以获取用于操作的立方体300中所包括的传感器所检测到的、并且由通信单元130接收到的信息，例如加速度或速度，作为操作信息。
(坐标转换功能)
信息处理设备100(例如，生成单元155)具有用于将用于操作的笔200和用于操作的立方体300在真实空间中的坐标转换为虚拟空间中的坐标的功能。生成单元155可以通过使用用于操作的笔200或用于操作的立方体300的绝对位置，或者通过使用用于操作的笔200或用于操作的立方体300的相对位置来转换坐标。
■使用绝对位置的情况
例如，生成单元155可以将用于操作的立方体300的位置和姿势反映在虚拟空间中的虚拟对象20的位置和姿势中，并且还可以将用于操作的笔200的位置和姿势反映在虚拟空间中的操纵器10的位置和姿势中。例如，生成单元155将用于操作的立方体300的每个顶点在真实空间中的坐标转换成虚拟对象20的对应点的全局坐标。此外，生成单元155将用于操作的笔200中的发光单元220B在真实空间中的坐标转换为操纵器10的原点11的全局坐标，而将发光单元220A的坐标转换为操纵器10的观看点12的全局坐标。因此，用户在识别范围190中移动由手抓握的用于操作的笔200和用于操作的立方体300，从而使得能够执行好像在虚拟空间中移动由手抓握的操纵器10和虚拟对象20一样的操作。
■使用相对位置的情况
例如，生成单元155可以将用于操作的立方体300与用于操作的笔200之间的相对位置和姿势的关系反映在虚拟空间中的虚拟对象20与操纵器10之间的相对位置和姿势中。例如，生成单元155在将真实空间中的用于操作的立方体300作为参考的情况下，将用于操作的笔200的发光单元220B和220A的相对坐标添加至虚拟对象20的全局坐标，从而计算操纵器10的原点11和观看点12的全局坐标。显然，生成单元155可以在将真实空间中的用于操作的笔200作为参考的情况下将用于操作的立方体300的相对坐标添加至用于操作的笔200的全局坐标，从而计算虚拟对象20的全局坐标。因此，用户可以将用于操作的笔200与用于操作的立方体300之间的相对位置和姿势的关系反映在操纵器10与虚拟对象20之间的相对位置和姿势的关系中。
(虚拟空间显示功能)
由于用于操作的笔200是如上所述的，因此，在下文中，将描述用于操作的立方体300。
在本实施方式中，生成单元155具有以下功能：基于关于用于操作的立方体300(第一真实对象)检测到的操作信息(第一操作信息)来生成用于显示虚拟空间的显示控制信息。具体地，生成单元155生成用于执行显示的显示控制信息，其中通过使用坐标转换功能将用于操作的立方体300的位置和姿势反映在虚拟对象20中而获得所述显示。因此，用户在识别范围190中移动由手抓握的用于操作的立方体300，从而使得信息处理设备100能够执行好像在虚拟空间中移动由手抓握的虚拟对象20一样的显示。
(存储/再现功能)
用于操作的笔200如上所述。因此，在下文中，将描述用于操作的立方体300。
信息处理设备100(例如，存储控制单元153和存储单元140)具有以下功能：存储并且再现由用于操作的笔200和用于操作的立方体300操作的虚拟空间中的情况。
例如，存储控制单元153将对虚拟对象20的位置和姿势进行指示的信息存储到存储单元140。然后，生成单元155基于用于指示由存储控制单元153从存储单元140获取的虚拟对象20的过去的位置和姿势的信息来生成显示控制信息。因此，用户存储例如移动最喜欢的虚拟对象20的方式，并且可以随后引用该方式。
如上所述，描述了根据本实施方式的信息处理设备100的技术特征。随后，将参照图10和图11来描述根据本实施方式的信息处理设备100的操作处理示例。
<4.2.操作处理示例>
首先，将参照图10对在坐标转换功能中使用绝对位置的情况下的处理示例给出描述。
图10是示出根据本实施方式的在信息处理设备100中执行的显示处理的流程的示例的流程图。该流程是在操纵器10起到虚拟灯的作用的情况下的处理示例。
如图10所示，首先，在步骤S202中，信息处理设备100将虚拟对象20在虚拟空间中的全局坐标链接至放置在所显示的虚拟对象20上的用于操作的立方体300。例如，用户将用于操作的立方体300放置在投影表面170上所投影的虚拟对象20上。生成单元155根据由获取单元151获取的图像信息以及深度信息而识别出用于操作的立方体300被放置在虚拟对象20上，并且将虚拟对象20与用于操作的立方体300关联。
随后，在步骤S204中，信息处理设备100转变至灯控制模式。例如，信息处理设备100可以根据用户的选择转变至灯控制模式，或者可以根据对附接至用于操作的立方体300的标记的识别结果来转变至灯控制模式。
随后，在步骤S206中，信息处理设备100生成虚拟灯。
随后，在步骤S208中，信息处理设备100获取用于操作的笔200和用于操作的立方体300的位置和姿势。例如，获取单元151使用操作信息获取功能来获取用于操作的笔200和用于操作的立方体300的位置和姿势。
随后，在步骤S210中，信息处理设备100将用于操作的笔200和用于操作的立方体300的位置和姿势转换到虚拟空间中的全局坐标系中。例如，生成单元155使用坐标转换功能将用于操作的笔200和用于操作的立方体300在真实空间中的坐标转换为虚拟空间的坐标系中的全局坐标。
随后，在步骤S212中，信息处理设备100将用于操作的立方体300的位置和姿势反映到虚拟对象20的位置和姿势中。例如，生成单元155将所链接的虚拟对象20的全局坐标移动到用于操作的立方体300的被转换到虚拟空间的坐标系中的全局坐标，并且将用于操作的立方体300的姿势(旋转)反映在虚拟对象20的姿势中。
随后，在步骤S214中，信息处理设备100将用于操作的笔200的两端设置为虚拟灯的原点和观看点。
随后，在步骤S216中，信息处理设备100将来自虚拟灯的光反映到虚拟空间中。
随后，在步骤S218中，存储控制单元153确定是否存储信息。当确定存储信息时(步骤S218/是)，处理进行至步骤S220。当确定不存储信息时，处理进行至步骤S222(步骤S218/否)。
在步骤S220中，信息处理设备100存储虚拟灯和虚拟对象20的信息。例如，存储控制单元153存储用于指示灯的参数、位置和姿势的信息，以及用于指示虚拟对象20的位置和姿势的信息。
随后，在步骤S222中，信息处理设备100确定是否结束灯控制模式。例如，当获取了用户对灯控制模式的结束指令时(S222/是)，生成单元155结束灯控制模式以关闭虚拟灯。另一方面，当未获取用户对灯控制模式的结束指令时(S222/否)，处理再次返回步骤S208。
上文对在坐标转换功能中使用绝对位置的情况下的处理示例给出了描述。随后，将参照图11对在坐标转换功能中使用相对位置的情况下的处理示例给出描述。
图11是示出根据本实施方式的被信息处理设备100执行的显示处理的流程的示例的流程图。该流程是在操纵器10作用为虚拟灯的情况下的处理示例。
如图11所示，首先，在步骤S302至S308中，执行与参照图10描述的额步骤S202至S208中的处理类似的处理。
随后，在步骤S310中，信息处理设备100计算用于操作的笔200和用于操作的立方体300的相对位置和姿势。例如，生成单元155在将真实空间中的用于操作的立方体300作为参考的情况下计算用于操作的笔200的发光单元220B和220A的相对坐标。
随后，在步骤S312中，信息处理设备100将所计算的相对位置和姿势转换到虚拟空间中的全局坐标系中。例如，生成单元155将在步骤S310中所计算的相对坐标添加至虚拟对象20的全局坐标，从而识别操纵器10的全局坐标。
随后，在步骤S314至S322中，执行与参照图10描述的步骤S214至S222中的处理类似的处理。
上文描述了第二实施方式。
<<5.第三实施方式>>
首先，将参照图12和图13来对根据本实施方式的信息处理设备100的概要给出描述。
图12是用于说明根据本实施方式的信息处理设备100的概要的图。如图12所示，用户将模型对象400放置在识别范围190中，并且操作用于操作的笔200。模型对象400是起到用于操作的立方体300的作用的真实对象。如图12所示，模型对象400被构型为车辆，并且车辆的纹理(图案、颜色等)被投影映射(projection-mapped)。在图12所示的示例中，操纵器10起到摄像装置的作用。如图12所示，用于操作的笔200指向模型对象400的前面。因此，从前面看到的虚拟对象20的摄像装置图像被显示在显示器120C上。
图13是用于说明根据本实施方式的信息处理设备100的概要的图。如图13所示，模型对象400被构型为车辆，并且车辆的纹理被投影映射。在图中所示的示例中，操纵器10起到灯的作用。如图13所示，用于操作的笔200指向模型对象400的前面。因此，照射虚拟对象20的前面的光(附图标记21)被显示在显示器120C上。此外，对于模型对象400而言，指向模型对象400的前面的光(附图标记401)被投影映射。
在下文中，将描述根据本实施方式的信息处理设备100的技术特征。注意，假设根据本实施方式的信息处理设备100具有在前述实施方式中所述的技术特征。
<5.1.技术特征>
(投影映射功能)
根据本实施方式的信息处理设备100(例如，生成单元155)具有用于生成用于投影映射的显示控制信息的功能。多方面地考虑作为投影映射的目标的真实对象。例如，可以对存在于识别范围190中的任意真实对象(例如用户的手、用于操作的笔200、用于操作的立方体300或模型对象400)执行投影映射。此处，投影映射指示出图像被投影为具有三维形状的真实对象。例如，生成单元155首先通过使用图像信息和深度信息来识别真实对象(例如模型对象400)的三维形状。随后，生成单元155基于对三维形状的识别结果来生成用于控制从投影仪投影的图像的显示控制信息。然后，显示控制单元157基于所生成的显示控制信息来控制投影仪120执行投影。如上所述，实现了到真实对象的投影映射。
信息处理设备100可以执行到与虚拟对象20对应的真实对象的投影映射。作为真实对象，除了图12和图13所示的模型对象400之外，还存在着用于操作的立方体300等。因此，用户可以更直观地掌握对应于真实对象的虚拟对象的内容(例如，车辆)。注意，可以在3DCG应用侧执行投影映射。
(虚拟空间显示功能)
根据本实施方式的信息处理设备100(例如，生成单元155)可以执行对应于纹理的显示，其中所述纹理被投影映射到与虚拟对象20对应的真实对象。在图12所示的示例中，车辆的纹理被投影映射到模型对象400。因此，生成单元155可以生成用于显示虚拟对象20的显示控制信息，其中所述虚拟对象20具有绘制在表面上的所投影映射的纹理。在这种情况下，在图12所示的示例中，显示器120C显示从上方看的虚拟对象20的摄像装置图像，其中所述虚拟对象20具有绘制在表面上的所投影映射的纹理。灯等等是类似的。因此，信息处理设备100可以减小真实空间中的状态与虚拟空间中的状态之间的差异。
注意，生成单元155可以从执行投影映射的主要部件(例如，显示控制单元157或3DCG应用)获取哪个纹理被投影映射，或者可以从图像识别结果中获取。
(参数显示功能)
信息处理设备100(例如，生成单元155和显示控制单元157)可以具有显示虚拟工具的参数的功能。
例如，生成单元155可以在与用于操作的笔200相关的位置处生成用于显示参数的显示控制信息。作为用于显示参数的与用于操作的笔200相关的位置，例如，存在着用于操作的笔200自身或者抓握用于操作的笔200的用户的手。例如，投影仪120将参数投影映射到抓握用于操作的笔200的用户的手。因此，用户可以在操作用于操作的笔200的同时容易地掌握操纵器10的坐标信息、灯的强度等。
上文描述了根据本实施方式的信息处理设备100的技术特征。随后，将参照图14和图15来描述根据本实施方式的信息处理设备100的操作处理示例。
<5.2.操作处理示例>
图14是示出根据本实施方式的被信息处理设备100执行的显示处理的流程的示例的流程图。该流程是在操纵器10起到虚拟摄像装置的作用的情况下的处理示例。
如图14所示，首先，在步骤S402中，信息处理设备100转变至摄像装置控制模式。例如，信息处理设备100可以根据用户的选择转变至摄像装置控制模式。
随后，在步骤S404中，信息处理设备100生成虚拟摄像装置。例如，用户使得投影表面170能够显示参数(例如摄像装置的焦距)，并且指定参数。除了用户的指定之外，还可以使用默认的参数。获取单元151获取用于指示指定的参数的信息。生成单元155根据该信息来确定虚拟摄像装置的工作。
随后，在步骤S406中，信息处理设备100获取放置在桌子180上的模型对象400的位置和姿势。例如，获取单元151使用操作信息获取功能来获取模型对象400的位置和姿势。
随后，在步骤S408中，信息处理设备100执行虚拟对象到模型对象400的映射。在这种情况下，信息处理设备100可以将任意纹理投影映射到模型对象400。此外，要被映射的纹理可以由用户从例如GUI菜单选择。
随后，在步骤S410中，信息处理设备100获取用于操作的笔200的位置和姿势。
随后，在步骤S412中，信息处理设备100将用于操作的笔200与模型对象400之间的位置和姿势的关系转换到虚拟空间中的坐标系中。此时，信息处理设备100可以通过使用用于操作的笔200或模型对象400的绝对位置或者通过使用用于操作的笔200和模型对象400的相对位置来转换坐标。
随后，在步骤S414中，信息处理设备100将用于操作的笔200的两端设置为虚拟摄像装置的原点和观看点。例如，生成单元155使用虚拟空间显示功能来将操纵器10的原点11和观看点12设置为摄像装置的原点和观看点。
随后，在步骤S416中，信息处理设备100将信息反映在虚拟空间的摄像装置视图中。例如，生成单元155使用虚拟空间显示功能来显示由虚拟摄像装置捕获的虚拟空间中的状态，其中所述虚拟摄像装置指向从原点11向观看点12的方向。
随后，在步骤S418中，存储控制单元153确定是否存储信息。当确定存储信息时(步骤S418/是)，处理进行至步骤S420。当确定不存储信息时，处理进行至步骤S422(步骤S418/否)。
在步骤S420中，信息处理设备100存储虚拟摄像装置和虚拟对象20的信息。例如，存储控制单元153存储用于指示摄像装置的参数、位置和姿势的信息，以及用于指示虚拟对象20的位置和姿势的信息。
随后，在步骤S422中，信息处理设备100确定是否结束摄像装置控制模式。例如，当获取了用户对摄像装置控制模式的结束指令时(S422/是)，生成单元155结束摄像装置控制模式以关闭虚拟摄像装置。另一方面，当未获取用户对摄像装置控制模式的结束指令时(S422/否)，处理再次返回步骤S410。
上文描述了在操纵器10作用为虚拟摄像装置的情况下的处理示例。随后，将参照图15对在操纵器10作用为虚拟灯的情况下的处理示例给出描述。
图15是示出根据本实施方式的在信息处理设备100中执行的显示处理的流程的示例的流程图。
如图15所示，首先，在步骤S502中，信息处理设备100转变至灯控制模式。随后，在步骤S504中，信息处理设备100生成虚拟灯。
随后，在步骤S506至S512中，执行与参照图14描述的步骤S406至S412中的处理类似的处理。
随后，在步骤S514中，信息处理设备100将用于操作的笔200的两端设置为虚拟灯的原点和观看点。
随后，在步骤S516中，信息处理设备100将虚拟灯的光反映在虚拟空间中。
随后，在步骤S518至S522中，执行与参照图14描述的步骤S418至S422中的处理类似的处理。
上文描述了第三实施方式。
<<6.第四实施方式>>
首先，将参照图16来对根据本实施方式的信息处理设备100的概要给出描述。
图16是用于说明根据本实施方式的信息处理设备100的概要的图。如图16所示，用户在识别范围190中操作用于操作的笔200A和200B。在图16所示的示例中，与用于操作的笔200A对应的操纵器10操作为摄像装置，而与用于操作的笔200B对应的操纵器10操作为灯。如图16所示，用于操作的笔200A指向在投影表面170上所显示的虚拟对象20的侧后方。因此，从侧后方看到的虚拟对象20的摄像装置图像被显示在显示器120C上。此外，由于用于操作的笔200从虚拟对象20的后面指向在投影表面170上所显示的虚拟对象20，因此显示照射虚拟对象20的后面的光(附图标记21)。
根据本实施方式的生成单元155基于关于用于操作的多个笔200检测到的多条操作信息中的每条操作信息来生成显示控制信息。因此，如图16所示，可以显示使用用于操作的多个笔200来反映操作的虚拟空间。在图16所示的示例中，多个操纵器10起到不同的虚拟工具的作用。然而，技术不限于该示例。多个操纵器10可以起到相同的虚拟工具的作用。
<<7.第五的实施方式>>
本实施方式是用于执行摄像装置抖动校正的形式。
如上所述，信息处理设备100具有存储/再现功能，从而使得能够参照对存储单元140中所存储的虚拟空间的情况进行指示的信息(例如，虚拟灯、虚拟摄像装置和虚拟对象20的信息)来再现虚拟空间的情况。根据本实施方式的信息处理设备100可以使用摄像装置抖动校正功能平滑地存储或再现虚拟空间的情况。
首先，参照图17，将描述在存储时间处的摄像装置抖动校正功能。图17是用于说明根据本实施方式的摄像装置抖动校正功能的示例的图。如图17所示，用户用手指抓握用于操作的笔200。在例如如图4所示的用于操作的笔200的按钮210B被按压时的情况下，信息处理设备100存储操纵器10的坐标，用于操作的笔200可能在用户按压按钮210B时抖动，这会造成对要被存储的坐标的影响。因此，存储控制单元153可以在用户使放置在用于操作的笔200上的手指离开时存储操纵器10的坐标。如图17所示，用于操作的笔200可以具有触摸传感器210D，假定其用于检测手指是接触的还是离开的。因此，减小了用于操作的笔200的抖动，并且减小了摄像装置的抖动。存储控制单元153可以沿3DCG应用的坐标空间中的网格校正并且存储坐标。在这种情况下，进一步改进摄像装置抖动校正功能。
因此，参照图18对再现时的摄像装置抖动校正功能给出了描述。图18是用于说明根据本实施方式的摄像装置抖动校正功能的示例的图。如图18所示，假设离散坐标401至404的信息被存储至存储单元140中。例如，当手的实际移动通过轨道410时，信息处理设备100使用样条曲线等来内插各个坐标之间的间隔，并且因此可以在再现时生成轨道420。信息处理设备100可以沿轨道420再现虚拟空间的状态。
除了存储/再现功能之外，信息处理设备100可以具有与操作信息获取功能相关的摄像装置抖动校正函数。
例如，信息处理设备100(例如，生成单元155)可以基于用于操作的笔200的当前位置和一步之前的状态来使用卡尔曼滤波器执行移动预测，并且可以校正摄像装置抖动。此外，信息处理设备100可以根据虚拟空间中的比例，使用摄像装置抖动校正功能来动态地控制校正程度。
例如，信息处理设备100可以对应于用于操作的笔200的高度，产生具有十级(tensteps)的声音效果等，或者可以将用于指示用于操作的笔200或用于操作的立方体300的位置的信息投影映射到用于操作的立方体300。因此，用户可以有意识地使用坐标(例如水平移动)来直观地且精确地执行操作。
注意，摄像装置抖动校正功能的打开/关闭、校正程度等可以由用户任意地设置。
<<8.硬件配置的示例>>
最后，将参照图19来描述根据本实施方式的信息处理装置的硬件配置。图19是示出根据本实施方式的信息处理装置的硬件配置的示例的框图。同时，图19中所示的信息处理设备900可以实现例如图5所示的信息处理设备100。根据下文描述的硬件与软件的协作来实现由根据本实施方式的信息处理设备100进行的信息处理。
如图19中所示，信息处理设备900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，信息处理设备900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911和通信装置913。与CPU 901结合地或代替于CPU 901，信息处理设备900还可以包括处理电路，例如DSP或ASIC。
CPU 901起到算术处理单元和控制装置的作用，并且根据各种程序来控制信息处理设备900的整体操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在执行时适当改变的参数等。CPU 901可以形成例如图5所示的控制器150。
CPU 901、ROM 902和RAM 903通过由包括CPU总线等的主机总线904a连接。主机总线904a经由桥接器904连接到诸如外围组件互连/接口(PCI)总线的外部总线904b。此外，主机总线904a、桥接器904和外部总线904b不一定分离地配置，并且这样的功能可以被安装在单个总线中。
输入装置906是由用户通过其输入信息的装置来实现的，例如鼠标、键盘、触摸面板、按钮、麦克风、开关、操纵杆等。此外，输入装置906可以是在可以捕获图像的图像传感器、可以获取深度信息的深度传感器等的感测范围内检测真实对象的操作或用户的操作的装置。此外，例如，输入装置906可以是使用红外线或其他电波的遥控装置，或可以是与信息处理设备900的操作对应的外部连接设备，诸如蜂窝电话或PDA。此外，例如，输入装置906可以包括基于由用户使用前述输入装置输入的信息来生成输入信号并且将输入信号输出至CPU 901的输入控制电路等。信息处理设备900的用户可以输入各种类型的数据，或者通过操作输入装置906来安排信息处理设备900的处理操作。输入装置906可以形成例如图5所示的传感器单元110。
输出装置907由可以将所获取的信息可视地或可听地通知给用户的装置形成。作为这样的装置，存在着诸如激光投影仪、LED投影仪、CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置或灯的显示装置，诸如扬声器和耳机的音频输出装置，打印机装置等。例如，输出装置907输出通过信息处理设备900所执行的各种处理而获取的结果。具体地，显示装置以诸如文本、图像、表格和图形的各种形式可视地显示通过信息处理设备900所执行的各种处理而获取的结果。另一方面，声音输出装置将由再现的声音数据、音频数据等构成的音频信号转换成模拟信号，并且可听地输出模拟信号。前述显示装置可以形成例如图5所示的显示单元120。
存储装置908是被形成为信息处理设备900的存储单元的示例的、用于数据存储的装置。例如，存储装置908由诸如HDD的磁存储装置、半导体存储装置、光学存储装置、磁光存储装置等来实现。存储装置908可以包括存储介质、在存储介质上记录数据的记录介质、用于从存储介质读取数据的读取装置、用于删除记录在存储介质上的数据的删除装置等。存储装置908存储由CPI 901执行的各种类型的数据和程序、从外部获取的各种类型的数据等。存储装置908可以形成例如图5所示的存储单元140。
驱动器909是用于存储介质的读写器，并且被包括在信息处理设备900中或者外部地附接至信息处理设备900。驱动器909读取在其上安装的可移除记录介质(例如磁盘、光盘、磁光盘或半导体存储器)上所记录的信息，并将该信息输出到RAM 903。另外，驱动器909可以将信息写入可移除记录介质927。
例如，连接端口911是与外部设备连接的接口，并且是可以通过通用串行总线(USB)等将数据发送到外部装置的连接器。
例如，通信装置913是由用于连接到通信网络920的通信装置等形成的通信接口。例如，通信装置913是用于有线或无线局域网(LAN)、长期演进计划(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡等。此外，例如，通信装置913可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、各种通信调制解调器等。例如，通信装置913可以根据例如TCP/IP等的预定协议向/从因特网或其他通信设备发送/接收信号等。通信装置913可以形成例如图5所示的通信单元130。
此外，网络920是从连接至网络920的装置发送的信息的有线或无线传输路径。例如，网络920可以包括公共电路网络(例如因特网、电话电路网络或卫星通信网络)、包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。此外，网络920可以包括专用电路网络，例如因特网协议-虚拟专用网络(IP-VPN)。
在上文中，示出了能够实现根据本实施方式的信息处理设备900的功能的硬件配置的示例。相应的部件可以使用通用构件来实现，或者可以由专用于相应部件的功能的硬件来实现。因此，在执行实施方式时，可以根据技术水平适当地改变要使用的硬件配置。
此外，用于实现根据本实施方式的信息处理设备900的各个功能的计算机程序可以被创建、并且可以被安装在PC等中。此外，可以提供存储这样的计算机程序的计算机可读记录介质。例如，记录介质是磁盘、光盘、磁光盘、闪存等。例如，在不使用记录介质的情况下，可以通过网络来传递计算机程序。
<<9.结论>>
上文参照图1至图19对本公开内容的实施方式给出了具体描述。如上所述，根据本公开内容的信息处理设备100基于关于与虚拟空间中的虚拟对象对应的真实对象(例如，用于操作的立方体300或模型对象400)检测到的操作信息以及关于与虚拟空间中的虚拟工具对应的真实对象(例如用于操作的笔200)检测到的第二操作信息来显示虚拟空间。因此，用户可以通过使用例如用于操作的立方体300与用于操作的笔200之间的位置关系，来直观地且容易地操作虚拟空间中的虚拟对象20和操纵器10。此外，用户在通过操作用于操作的笔200来改变灯的位置和方向的同时操作用于操作的立方体300，从而实现了对操纵器10和虚拟对象20的单独的且同时的操作，以改变虚拟对象20的位置和方向。
此外，根据本实施方式的信息处理设备100可以执行到真实对象的投影映射。此外，信息处理设备100可以根据被投影映射的纹理来执行显示。因此，用户可以使用纹理所映射到的模型对象400来在更直观的操作环境下使用3DCG应用。
此外，根据本实施方式的信息处理设备100可以执行将对虚拟工具的使用反映到虚拟对象的显示。例如，用户可以使得与用于操作的笔200对应的操纵器10起到灯的功能或起到摄像装置的功能。因此，本技术有利于例如视觉确认(visual confirmation)，例如检查在建筑模型中从人的视线的观看方式，以及能够实现对客户的呈现应用以及生产应用。此外，该技术还可以用于医疗应用，例如检查在体腔中内诊镜的观看方式。此外，该技术使得操纵器10能够起到鼓棒的作用，从而使得例如将应用用于对乐器的试玩。
上文已参照附图描述了本公开内容的一个或多个实施方式，而本公开内容不限于以上示例。本领域的技术人员可以在所附权利要求的范围内找到各种替代和修改，并且应当理解它们将自然地落入本公开内容的技术范围中。
同时，说明书中所述的装置可以被实现为独立的装置，或者部分装置或全部装置可以被实现为分立的装置。例如，在图5所示的信息处理设备100的功能配置的示例中，存储单元140和控制器150可以被包括在通过网络等连接至传感器单元110、显示单元120和通信单元130的设备(例如服务器)中。
注意，在本说明书中参照流程图所述的处理不必按流程图中所示的顺序执行。可以并行地执行一些处理步骤。此外，可以采用一些附加步骤，或者可以省略一些处理步骤。
此外，本说明书中描述的效果仅是说明性或示例性的效果，而不是限制性的。也就是说，与上述效果一起或代替于上述效果，根据本公开内容的技术可以实现本领域技术人员基于本说明书的描述而清楚的其他效果。
另外，本技术还可以被配置如下。
(1)一种信息处理设备，包括：
生成单元，其被配置成基于关于第一真实对象检测到的第一操作信息以及关于第二真实对象检测到的第二操作信息来生成用于显示虚拟空间的显示控制信息，其中所述第一真实对象对应于所述虚拟空间中的虚拟对象，所述第二真实对象对应于所述虚拟空间中的虚拟工具。
(2)根据(1)所述的信息处理设备，
其中，所述第一操作信息包括指示所述第一真实对象的位置和姿势的信息，所述第二操作信息包括指示所述第二真实对象的位置和姿势的信息。
(3)根据(2)所述的信息处理设备，
其中，所述生成单元生成用于投影映射到所述第一真实对象的显示控制信息。
(4)根据(3)所述的信息处理设备，
其中，所述生成单元基于对所述第一真实对象的三维形状的识别结果来生成用于控制从投影仪投影的图像的显示控制信息。
(5)根据(3)或(4)所述的信息处理设备，
其中，所述生成单元根据被投影映射到所述第一真实对象的纹理来生成用于执行显示的显示控制信息。
(6)根据(2)至(5)中任一项所述的信息处理设备，
其中，所述生成单元生成反映与所述虚拟工具的工作相关的参数的显示控制信息。
(7)根据(6)所述的信息处理设备，
其中，所述生成单元生成用于在与所述第二真实对象相关的位置处显示参数的显示控制信息。
(8)根据(2)至(7)中任一项所述的信息处理设备，
其中，所述生成单元生成用于执行将对所述虚拟工具的使用反映到所述虚拟对象的显示的显示控制信息。
(9)根据(8)所述的信息处理设备，
其中，所述虚拟工具是灯。
(10)根据(9)所述的信息处理设备，
其中，与所述工具的工作相关的参数包括以下中的任何一个：灯的类型、灯的颜色、强度、锥角、外围部分的角度、下降率、阴影的颜色以及效果。
(11)根据(8)所述的信息处理设备，
其中，所述虚拟工具是摄像装置。
(12)根据(11)所述的信息处理设备，
其中，与所述工具的工作相关的参数包括以下中的任何一个：摄像装置的类型、摄像装置的视角、摄像装置的焦距、摄像装置的景深、变焦以及摄像装置的重量。
(13)根据(8)所述的信息处理设备，
其中，所述虚拟工具是粒子发射装置。
(14)根据(13)所述的信息处理设备，
其中，与所述工具的工作相关的参数包括以下中的任何一个：粒子发射装置的类型，以及粒子的形状、尺寸、发射数量、发射方向、发射角度、发射速度、发射率、重力和粘度。
(15)根据(2)至(14)中任一项所述的信息处理设备，
其中，所述生成单元将所述第一真实对象与所述第二真实对象之间的相对位置和姿势的关系反映在所述虚拟空间中的所述虚拟对象与所述虚拟工具之间的相对位置和姿势中。
(16)根据(2)至(15)中任一项所述的信息处理设备，
其中，所述生成单元将所述第一真实对象的位置和姿势反映在所述虚拟空间中的所述虚拟对象的位置和姿势中，并且将所述第二真实对象的位置和姿势反映在所述虚拟空间中的所述虚拟工具的位置和姿势中。
(17)根据(2)至(16)中任一项所述的信息处理设备，还包括:
存储控制单元，其被配置成使存储单元存储用于指示所述虚拟对象和所述虚拟工具中的每一个的位置和姿势的信息，
其中，所述生成单元基于由所述存储控制单元从所述存储单元获取的过去的信息来生成显示控制信息。
(18)根据(2)至(17)中任一项所述的信息处理设备，
其中，所述生成单元基于检测到的关于多个所述第二真实对象的多条所述第二操作信息中的每一条来生成显示控制信息。
(19)一种由处理器执行的信息处理方法，包括：
基于关于第一真实对象检测到的第一操作信息以及关于第二真实对象检测到的第二操作信息来生成用于显示虚拟空间的显示控制信息，其中，所述第一真实对象对应于所述虚拟空间中的虚拟对象，所述第二真实对象对应于所述虚拟空间中的虚拟工具。
(20)一种使计算机起到如下的作用的程序：
生成单元，其被配置成基于关于第一真实对象检测到的第一操作信息以及关于第二真实对象检测到的第二操作信息来生成用于显示虚拟空间的显示控制信息，其中所述第一真实对象对应于所述虚拟空间中的虚拟对象，所述第二真实对象对应于所述虚拟空间中的虚拟工具。
附图标记列表
1 信息处理系统
10 操纵器
11 原点
12 观看点
13 方向
20 虚拟对象
100 信息处理设备
110 传感器单元
120 显示单元
130 通信单元
140 存储单元
150 控制单元
151 获取单元
153 存储控制单元
155 生成单元
157 显示控制单元
160 臂
170 投影表面
180 桌子
190 识别范围
200 用于操作的笔
210 按钮
220 发光单元
300 用于操作的立方体
400 模型对象

Claims (20)

1.一种信息处理设备，包括：
生成单元，其被配置成基于关于第一真实对象检测到的第一操作信息以及关于第二真实对象检测到的第二操作信息来生成用于显示虚拟空间的显示控制信息，其中所述第一真实对象对应于所述虚拟空间中的虚拟对象，所述第二真实对象对应于所述虚拟空间中的虚拟工具。
2.根据权利要求1所述的信息处理设备，
其中，所述第一操作信息包括指示所述第一真实对象的位置和姿势的信息，所述第二操作信息包括指示所述第二真实对象的位置和姿势的信息。
3.根据权利要求2所述的信息处理设备，
其中，所述生成单元生成用于投影映射到所述第一真实对象的显示控制信息。
4.根据权利要求3所述的信息处理设备，
其中，所述生成单元基于对所述第一真实对象的三维形状的识别结果来生成用于控制从投影仪投影的图像的显示控制信息。
5.根据权利要求3所述的信息处理设备，
其中，所述生成单元根据被投影映射到所述第一真实对象的纹理来生成用于执行显示的显示控制信息。
6.根据权利要求2所述的信息处理设备，
其中，所述生成单元生成反映与所述虚拟工具的工作相关的参数的显示控制信息。
7.根据权利要求6所述的信息处理设备，
其中，所述生成单元生成用于在与所述第二真实对象相关的位置处显示所述参数的显示控制信息。
8.根据权利要求2所述的信息处理设备，
其中，所述生成单元生成用于执行将对所述虚拟工具的使用反映到所述虚拟对象的显示的显示控制信息。
9.根据权利要求8所述的信息处理设备，
其中，所述虚拟工具是灯。
10.根据权利要求9所述的信息处理设备，
其中，与所述工具的工作相关的参数包括以下中的任何一个：灯的类型、灯的颜色、强度、锥角、外围部分的角度、下降率、阴影的颜色以及效果。
11.根据权利要求8所述的信息处理设备，
其中，所述虚拟工具是摄像装置。
12.根据权利要求11所述的信息处理设备，
其中，与所述工具的工作相关的参数包括以下中的任何一个：摄像装置的类型、摄像装置的视角、摄像装置的焦距、摄像装置的景深、变焦以及摄像装置的重量。
13.根据权利要求8所述的信息处理设备，
其中，所述虚拟工具是粒子发射装置。
14.根据权利要求13所述的信息处理设备，
其中，与所述工具的工作相关的参数包括以下中的任何一个：粒子发射装置的类型，以及粒子的形状、尺寸、发射数量、发射方向、发射角度、发射速度、发射率、重力和粘度。
15.根据权利要求2所述的信息处理设备，
其中，所述生成单元将所述第一真实对象与所述第二真实对象之间的相对位置和姿势的关系反映在所述虚拟空间中的所述虚拟对象与所述虚拟工具之间的相对位置和姿势中。
16.根据权利要求2所述的信息处理设备，
其中，所述生成单元将所述第一真实对象的位置和姿势反映在所述虚拟空间中的所述虚拟对象的位置和姿势中，并且将所述第二真实对象的位置和姿势反映在所述虚拟空间中的所述虚拟工具的位置和姿势中。
17.根据权利要求2所述的信息处理设备，还包括:
存储控制单元，其被配置成使存储单元存储用于指示所述虚拟对象和所述虚拟工具中的每一个的位置和姿势的信息，
其中，所述生成单元基于由所述存储控制单元从所述存储单元获取的过去的信息来生成所述显示控制信息。
18.根据权利要求2所述的信息处理设备，
其中，所述生成单元基于检测到的关于多个所述第二真实对象的多条所述第二操作信息中的每一条来生成所述显示控制信息。
19.一种由处理器执行的信息处理方法，包括：
基于关于第一真实对象检测到的第一操作信息以及关于第二真实对象检测到的第二操作信息来生成用于显示虚拟空间的显示控制信息，其中，所述第一真实对象对应于所述虚拟空间中的虚拟对象，所述第二真实对象对应于所述虚拟空间中的虚拟工具。
20.一种使计算机用作为以下单元的程序：
生成单元，其被配置成基于关于第一真实对象检测到的第一操作信息以及关于第二真实对象检测到的第二操作信息来生成用于显示虚拟空间的显示控制信息，其中所述第一真实对象对应于所述虚拟空间中的虚拟对象，所述第二真实对象对应于所述虚拟空间中的虚拟工具。
CN201680011069.1A 2015-02-27 2016-01-13 信息处理设备、信息处理方法和程序 Pending CN107408003A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015039549 2015-02-27
JP2015-039549 2015-02-27
PCT/JP2016/050837 WO2016136311A1 (ja) 2015-02-27 2016-01-13 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN107408003A true CN107408003A (zh) 2017-11-28

Family

ID=56788345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680011069.1A Pending CN107408003A (zh) 2015-02-27 2016-01-13 信息处理设备、信息处理方法和程序

Country Status (5)

Country Link
US (1) US10672187B2 (zh)
EP (1) EP3264246A4 (zh)
JP (1) JP6569726B2 (zh)
CN (1) CN107408003A (zh)
WO (1) WO2016136311A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114208143A (zh) * 2019-07-02 2022-03-18 索尼集团公司 信息处理系统、信息处理方法和程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6674192B2 (ja) * 2014-05-28 2020-04-01 ソニー株式会社 画像処理装置と画像処理方法
USD822060S1 (en) * 2014-09-04 2018-07-03 Rockwell Collins, Inc. Avionics display with icon
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
JP7206591B2 (ja) * 2018-01-04 2023-01-18 凸版印刷株式会社 データ表示装置、方法、およびプログラム
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
CN112132918B (zh) * 2020-08-28 2022-08-05 稿定（厦门）科技有限公司 基于粒子的聚光灯效果实现方法及装置
JP7281576B1 (ja) 2022-03-31 2023-05-25 Kddi株式会社 映像投影システム及び映像投影方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745387A (en) * 1995-09-28 1998-04-28 General Electric Company Augmented reality maintenance system employing manipulator arm with archive and comparison device
US20020044153A1 (en) * 2000-08-29 2002-04-18 Michael Hoch Method and apparatus for optimized distortion correction for add-on graphics for real time video
US20020197591A1 (en) * 1999-03-15 2002-12-26 Ebersole John Franklin Method for simulating multi-layer obscuration from a viewpoint
US20070038944A1 (en) * 2005-05-03 2007-02-15 Seac02 S.R.I. Augmented reality system with real marker object identification
US20070242066A1 (en) * 2006-04-14 2007-10-18 Patrick Levy Rosenthal Virtual video camera device with three-dimensional tracking and virtual object insertion
JP2007293413A (ja) * 2006-04-21 2007-11-08 Canon Inc 情報処理方法および装置
CN101650749A (zh) * 2009-09-02 2010-02-17 上海理工大学 用于网上博览会的带有3d虚拟要素动态拖建模块系统
CN102147671A (zh) * 2010-02-09 2011-08-10 索尼计算机娱乐公司 操作器件
US20110205242A1 (en) * 2010-02-22 2011-08-25 Nike, Inc. Augmented Reality Design System
US20110306413A1 (en) * 2010-06-03 2011-12-15 D Young & Co Llp Entertainment device and entertainment methods
US20120013613A1 (en) * 2010-07-14 2012-01-19 Vesely Michael A Tools for Use within a Three Dimensional Scene
US20130120451A1 (en) * 2011-11-16 2013-05-16 Canon Kabushiki Kaisha Image processing device, image processing method, and program
JP2014109802A (ja) * 2012-11-30 2014-06-12 Casio Comput Co Ltd 画像処理装置、画像処理方法およびプログラム
US20140232816A1 (en) * 2013-02-20 2014-08-21 Microsoft Corporation Providing a tele-immersive experience using a mirror metaphor
JP2014164003A (ja) * 2013-02-21 2014-09-08 Nec Networks & System Integration Corp 仮想屋内空間表示装置
US10168873B1 (en) * 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2558984B2 (ja) * 1991-03-12 1996-11-27 松下電器産業株式会社 ３次元情報会話システム
US8823733B2 (en) * 2006-05-04 2014-09-02 Nintendo Co., Ltd. Enhanced virtual suction tool
US8549418B2 (en) * 2009-12-23 2013-10-01 Intel Corporation Projected display to enhance computer device use
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
EP2687955B1 (en) * 2012-07-20 2018-08-22 Nintendo Co., Ltd. Information processing program, information processing system and attitude calculation method for calculating an attitude of an input unit

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745387A (en) * 1995-09-28 1998-04-28 General Electric Company Augmented reality maintenance system employing manipulator arm with archive and comparison device
US20020197591A1 (en) * 1999-03-15 2002-12-26 Ebersole John Franklin Method for simulating multi-layer obscuration from a viewpoint
US20020044153A1 (en) * 2000-08-29 2002-04-18 Michael Hoch Method and apparatus for optimized distortion correction for add-on graphics for real time video
US20070038944A1 (en) * 2005-05-03 2007-02-15 Seac02 S.R.I. Augmented reality system with real marker object identification
US20070242066A1 (en) * 2006-04-14 2007-10-18 Patrick Levy Rosenthal Virtual video camera device with three-dimensional tracking and virtual object insertion
US20130083067A1 (en) * 2006-04-21 2013-04-04 Canon Kabushiki Kaisha Information processing method and device for presenting haptics received from a virtual object
JP2007293413A (ja) * 2006-04-21 2007-11-08 Canon Inc 情報処理方法および装置
CN101650749A (zh) * 2009-09-02 2010-02-17 上海理工大学 用于网上博览会的带有3d虚拟要素动态拖建模块系统
CN102147671A (zh) * 2010-02-09 2011-08-10 索尼计算机娱乐公司 操作器件
US20110205242A1 (en) * 2010-02-22 2011-08-25 Nike, Inc. Augmented Reality Design System
US20110306413A1 (en) * 2010-06-03 2011-12-15 D Young & Co Llp Entertainment device and entertainment methods
US20120013613A1 (en) * 2010-07-14 2012-01-19 Vesely Michael A Tools for Use within a Three Dimensional Scene
US8643569B2 (en) * 2010-07-14 2014-02-04 Zspace, Inc. Tools for use within a three dimensional scene
US20130120451A1 (en) * 2011-11-16 2013-05-16 Canon Kabushiki Kaisha Image processing device, image processing method, and program
JP2014109802A (ja) * 2012-11-30 2014-06-12 Casio Comput Co Ltd 画像処理装置、画像処理方法およびプログラム
US20140232816A1 (en) * 2013-02-20 2014-08-21 Microsoft Corporation Providing a tele-immersive experience using a mirror metaphor
JP2014164003A (ja) * 2013-02-21 2014-09-08 Nec Networks & System Integration Corp 仮想屋内空間表示装置
US10168873B1 (en) * 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114208143A (zh) * 2019-07-02 2022-03-18 索尼集团公司 信息处理系统、信息处理方法和程序

Also Published As

Publication number Publication date
JP6569726B2 (ja) 2019-09-04
EP3264246A1 (en) 2018-01-03
WO2016136311A1 (ja) 2016-09-01
US20180033195A1 (en) 2018-02-01
EP3264246A4 (en) 2018-09-05
JPWO2016136311A1 (ja) 2017-12-07
US10672187B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
CN107408003A (zh) 信息处理设备、信息处理方法和程序
US20230267900A1 (en) Computer vision and mapping for audio applications
JP5602618B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US8788951B2 (en) Avatar customization
US20190005733A1 (en) Extended reality controller and visualizer
US11669155B2 (en) Systems and methods for controlling secondary devices using mixed, virtual or augmented reality
US20190026950A1 (en) Program executed on a computer for providing virtual space, method and information processing apparatus for executing the program
CN106662926A (zh) 普适计算环境中的姿势交互的系统和方法
CN106104650A (zh) 经由凝视检测进行远程设备控制
JP5296599B2 (ja) ネットワークシステム，情報処理装置および情報処理プログラム
US20190043263A1 (en) Program executed on a computer for providing vertual space, method and information processing apparatus for executing the program
WO2008109299A2 (en) System and method for communicating with a virtual world
CN107291221A (zh) 基于自然手势的跨屏幕自适应精度调整方法及装置
US10564801B2 (en) Method for communicating via virtual space and information processing apparatus for executing the method
EP3689427B1 (en) Peripheral tracking system and method
CN110461427A (zh) 变焦设备和相关方法
WO2019176218A1 (ja) 情報処理装置、情報処理方法、および記録媒体
US20230060150A1 (en) Physical action-based augmented reality communication exchanges
JP2018190196A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US11221684B2 (en) Information processing device, information processing method, and recording medium
WO2019111027A1 (en) Method for creating virtual or augmented reality and system for creating virtual or augmented reality
CN105164617B (zh) 自主nui设备的自发现
JP2018190397A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN115004132A (zh) 信息处理装置、信息处理系统和信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171128