CN105531756B - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN105531756B
CN105531756B CN201480050007.2A CN201480050007A CN105531756B CN 105531756 B CN105531756 B CN 105531756B CN 201480050007 A CN201480050007 A CN 201480050007A CN 105531756 B CN105531756 B CN 105531756B
Authority
CN
China
Prior art keywords
action
data
environment
feasibility
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480050007.2A
Other languages
English (en)
Other versions
CN105531756A (zh
Inventor
竹内雄郎
竹内雄一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105531756A publication Critical patent/CN105531756A/zh
Application granted granted Critical
Publication of CN105531756B publication Critical patent/CN105531756B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出了一种能够自动理解对于人的环境的行动可能性以及将该行动可能性反映在要投影的视频中的信息处理装置。本发明提供了一种信息处理装置，其设置有：行动可能性分析单元，用于获取环境的三维形式的数据以及通过解析三维形式的数据而分析对于用户的环境的行动可能性；以及视频生成单元，用于通过使用行动可能性分析单元的分析结果而生成要投影到环境中的视频。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本公开涉及一种信息处理装置、信息处理方法和计算机程序。
背景技术
关于被称为投影增强现实系统的技术的研究正在进行，该技术使用投影仪将虚拟信息重叠和显示到真实世界中的对象上(例如参见专利文献1)。在对于投影增强现实系统的现有研究中，提出了如下示例：将用于用户引导的箭头投影到地板和墙壁上，在桌上显示对象，对模型汽车施加虚拟颜色，以及通过使用戴在脖子上的紧凑型投影仪而在一个人的手臂上显示手表。
引用列表
专利文献
专利文献1：JP 2013-520751A
发明内容
技术问题
在投影增强现实系统中，理解环境的能力极其重要。这是由于对于投影增强现实系统，投影仪是可移动的，并且投影仪的安装位置根据用户而不同。因此，投影仪所投影到的投影目标不总是相同的。
人具有下述能力：简单地扫视环境，并且能够在一定程度上判断在该环境中可采取的行动。在心理学中，可从环境感知的行动可能性称为可供性(affordance)。如果这样的可供性的自动理解可以应用于投影增强现实系统，则可以根据投影目标而做出关于图片的瞬时决定。
因此，本公开提出了一种新的且改进的信息处理装置、信息处理方法和计算机程序，其能够自动地理解对于人的环境的行动可能性以及将这样的行动可能性反映在要投影的图片中。
问题的解决方案
根据本公开，提供了一种信息处理装置，其包括：行动可能性分析单元，被配置成获取环境的三维形状的数据，并且通过解析三维形状的数据而分析对于用户的环境的行动可能性；图片生成单元，被配置成使用行动可能性分析单元的分析结果而生成要投影到环境上的图片；以及行动执行可行性数据库，在行动执行可行性数据库中，针对各个形状记录了用户行动的执行可行性，其中，行动可能性分析单元通过交叉参考存储在行动执行可行性数据库中的数据而评估用户的行动可行性。
根据本公开，提供了一种信息处理方法，其包括如下步骤：获取环境的三维形状的数据，以及通过解析三维形状的数据而分析对于用户的环境的行动可能性；使用所分析的行动可能性而生成要投影到环境上的图片；以及通过交叉参考存储在行动执行可行性数据库中的数据而评估用户的行动可行性，其中在行动执行可行性数据库中，针对各个形状记录了用户行动的执行可行性。
根据本公开，提供了一种存储有计算机程序的记录介质，该计算机程序在被执行时使计算机执行包括以下步骤的方法：获取环境的三维形状的数据，以及通过解析三维形状的数据而分析对于用户的环境的行动可能性；使用所分析的行动可能性来生成要投影到环境上的图片；以及通过交叉参考存储在行动执行可行性数据库中的数据而评估用户的行动可行性，其中在行动执行可行性数据库中，针对各个形状记录了用户行动的执行可行性。
本发明的有利效果
根据如上所述的本公开，可以提供一种新的且改进的信息处理装置、信息处理方法和计算机程序，其能够自动地理解对于人的环境的行动可能性以及将这样的行动可能性反映在要投影的图片中。
注意，上述效果不一定是限制性的，并且伴随该效果或者取代该效果，可呈现期望在本说明书中介绍的任何效果或者可以从本说明书预期的其它效果。
附图说明
图1是示出根据本公开的实施例的投影增强现实系统的示例配置的说明图。
图2是示出在深度传感器、RGB摄像装置和投影仪被形成为一体化装置的情况下的装置的示例外观的说明图。
图3是示出在深度传感器、RGB摄像装置和投影仪在环境中分别被安装为分开的装置的状态的说明图。
图4是示出根据本公开的实施例的图片回放装置的示例操作的流程图。
图5是示出安装投影仪的环境的示例的说明图。
图6是示出获取环境的每个坐标值附近的三维数据的示例的说明图。
图7是示出体素(voxel)的示例的说明图。
图8是示出随机生成的体素数据和体素数据中的行动的执行可行性的示例的说明图。
图9是示出图片要投影到的环境的示例的说明图。
图10是示出图片从投影仪投影到环境上的状态的说明图。
图11是示出图片从投影仪投影到环境上的状态的说明图。
图12是示出图片从投影仪投影到环境上的状态的说明图。
图13是示出图片从投影仪投影到环境上的状态的说明图。
图14是示出图片从投影仪投影到环境上的状态的说明图。
图15是示出图片从投影仪投影到环境上的状态的说明图。
图16是示出图片从投影仪投影到环境上的状态的说明图。
图17是示出图片从投影仪投影到环境上的状态的说明图。
图18是示出示例硬件配置的说明图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例。在该说明书和附图中，具有基本上相同的功能和结构的元件以相同的附图标记来表示，并且省略重复说明。
在下文中，将按以下顺序进行描述。
1.本公开的实施例
1.1概况
1.2示例系统配置
1.3示例操作
1.4投影图片的示例
2.示例硬件配置
3.结论
<1.本公开的实施例>
[1.1.概况]
首先，将描述根据本公开的实施例的投影增强现实系统的概况。投影增强现实系统指的是使用如下技术的系统：该技术利用投影仪将虚拟信息重叠和显示到真实世界中的对象上。例如，提出了如下示例：将导航箭头显示到墙壁和地板上，在桌上显示对象，对模型汽车施加虚拟颜色，以及通过使用戴在脖子上的紧凑型投影仪而在一个人的手臂上显示手表。
考虑到投影仪性能如何逐年改进以及可从投影仪输出的图片质量也正在改进，下述情况是可想到的：通过便携式紧凑型投影仪将虚拟图片投影到环境上可在某个时间点变为可能。
对于投影增强现实系统，理解要投影图片的环境的能力极其重要。对于作为将图片投影到建筑物上的近来开发技术的投影映射，预先定义投影目标，因此可能要花时间并且手动教导关于要投影图片的环境的系统信息。然而，对于典型的投影增强现实系统，投影仪是可移动的，并且投影仪的安装位置根据用户而不同。因此，投影仪所投影到的投影目标不总是相同的。为此，投影增强现实系统需要具有自动理解环境的能力。
如以上所讨论的，人具有下述能力：简单地扫视环境，并且能够在一定程度上判断可在该环境中采取的行动。在下文中描述的根据本公开的实施例的投影增强现实系统的特征在于自动理解环境的可供性(行动可能性)以及将所理解的环境的可供性反映在要投影的图片中。
[1.2.示例系统配置]
接下来，将参照附图描述根据本公开的实施例的投影增强现实系统的示例配置。图1是示出根据本公开的实施例的投影增强现实系统1的示例配置的说明图。在下文中，将使用图1描述根据本公开的实施例的投影增强现实系统1的示例配置。
图1所示的投影增强现实系统1是通过将图片投影到环境上而将虚拟信息重叠和显示到真实世界中的对象上的系统。在本实施例中，图片所投影到的环境可以是室内或室外而没有差别。另外，不仅环境中的任何表面可被视为对于图片的投影目标，而且另外，人的体表也可被视为对于图片的投影目标。
如图1所示，根据本公开的实施例的投影增强现实系统1包括深度传感器10、RGB摄像装置20、投影仪30和图片回放装置100。
深度传感器10是用于感测投影仪30将图片投影到的环境中的对象的深度的传感器。深度传感器10例如将红外光照射到对象上，并且根据红外光的反射程度而感测对象的深度。深度传感器10将作为感测结果获得的深度数据提供到图片回放装置100。注意，设置在根据本公开的实施例的投影增强现实系统1中的深度传感器10可以是一个或多个传感器。
RGB摄像装置20是用于捕获投影仪30将图片投影到的环境的运动图像的摄像装置。RGB摄像装置20将作为图片捕获结果获得的RGB数据提供到图片回放装置100。注意，设置在根据本公开的实施例的投影增强现实系统1中的RGB摄像装置20可以是一个或多个摄像装置。
投影仪30是用于将图片投影到环境上的装置。投影到环境上的图片可以是静止图像或运动图像。在本实施例中，由图片回放装置100生成要由投影仪30投影的图片。投影仪30从图片回放装置100接收投影图片数据，并且基于所接收的投影图片数据而发出图片。注意，设置在根据本公开的实施例的投影增强现实系统1中的投影仪30可以是一个或多个投影仪。
如之前所讨论的，在本实施例中，投影仪30将图片投影到的环境可以是室内或室外而没有差别。另外，不仅环境中的任何表面可被视为对于来自投影仪30的图片的投影目标，而且另外，人的体表也可被视为对于图片的投影目标。
深度传感器10、RGB摄像装置20和投影仪30可被配置成一体化的装置，或者可被配置为分开的装置。图2是示出深度传感器10、RGB摄像装置20和投影仪30被形成为一体化装置的情况下的装置的示例外观的说明图。另外，图3是示出如下状态的说明图：深度传感器10、RGB摄像装置20和投影仪30在投影仪30将图片投影到的环境C中分别被安装为分开的装置。注意，图3示出了两个投影仪30安装在环境C中的状态，但是如之前所述，深度传感器10、RGB摄像装置20和投影仪30的数量不限于图3所示的数量。
图片回放装置100是用于基于从深度传感器10和RGB摄像装置20发送的数据而生成要由投影仪30投影的图片的装置。图片回放装置100是根据本公开的信息处理装置的示例。图片回放装置100基于从深度传感器10发送的深度数据而理解投影仪30将图片投影到的环境的可供性(行动可能性)，并且基于所理解的可供性而生成要由投影仪30投影的图片。
如图1所示，根据本实施例的图片回放装置100包括可供性分析单元110、交互分析单元120、投影图片生成单元130和行动可行性数据库140。
可供性分析单元110使用深度传感器10输出的深度数据来分析投影仪30将图片投影到的环境的可供性(行动可能性)。可供性分析单元110是本公开的行动可能性分析单元的示例。另外，基于环境的可供性的分析结果，可供性分析单元110针对投影仪30将图片投影到的环境确定人可采取的行动的可行性。可供性分析单元110在针对投影仪30将图片投影到的环境确定了人可采取的行动的可行性之后，将关于可行性的信息发送到投影图片生成单元130。
交互分析单元120使用深度传感器10输出的深度数据来分析在投影仪30将图片投影到的环境中用户执行的行动的内容。交互分析单元120将在投影仪30将图片投影到的环境中用户执行的行动的分析结果发送到投影图片生成单元130。例如，如果用户在投影仪30正将图片投影到的环境中执行诸如行走、坐下或跳跃的行动，则交互分析单元120根据深度数据的分析而判断作为行动结果要在投影仪30投影的图片中产生何种效果。
注意，交互分析单元120还可通过使用当可供性分析单元110分析环境的可供性时的深度数据与当分析用户执行的行动的内容时的深度数据之间的差，来分析用户执行的行动的内容。尽管将在稍后进行讨论，但是当可供性分析单元110分析环境的可供性时的深度数据期望是不存在人、动物等的环境中的深度数据。因此，交互分析单元120能够通过使用当可供性分析单元110分析环境的可供性时的深度数据与当分析用户执行的行动的内容时的深度数据之间的差而有效地分析用户执行的行动的内容。
投影图片生成单元130通过使用关于在投影仪30将图片投影到的环境中人可采取的行动的可行性的信息而生成要由投影仪30投影的图片，这些行动是通过可供性分析单元110的分析来确定的。另外，除了来自可供性分析单元110的信息之外，投影图片生成单元130还获取交互分析单元120的分析结果，并且生成要由投影仪30投影的图片。
通过使用可供性分析单元110的分析结果，投影图片生成单元130显然能够生成根据环境的图片，但是也能够生成根据用户可在环境中执行的行动的图片。换言之，投影图片生成单元130不仅能够生成适当地显示在墙壁、书桌、椅子、桌子等上的图片，并且还能够生成使得图形、符号等显示在如果用户从桌子顶部跳下则到达的位置的图片。
注意，当生成图片时，投影图片生成单元130还可基于从RGB摄像装置20发送的RGB数据而确定要生成的图片的颜色。例如，投影图片生成单元130可确定颜色，以使得具有红色而不是白色的图片从投影仪30发出到白色对象上。作为另一示例，投影图片生成单元130可确定颜色，以使得具有黄色而不是蓝色的图片从投影仪30发出到蓝色墙壁上。
另外，当生成图片时，投影图片生成单元130预先确定环境中的投影仪30的位置。在如图2中那样深度传感器10、RGB摄像装置20和投影仪30被形成为一体化装置的情况下，深度传感器10的位置和投影仪30的位置被视为几乎相同。因此，投影图片生成单元130能够根据由深度传感器10获得的环境的三维数据而确定投影图片生成单元130的位置。
另一方面，在如图3中那样深度传感器10、RGB摄像装置20和投影仪30被安装在分开的位置的情况下，用户将投影仪30的位置配置在投影图片生成单元130中，从而使得投影图片生成单元130能够确定投影仪30的位置。
投影图片生成单元130还可通过使用由RGB摄像装置20对投影仪30投影的图片捕获的图像而估计投影仪30的位置。另外，投影图片生成单元130还可通过使用由RGB摄像装置20对投影仪30投影的图片捕获的图像而对要从投影仪30投影的图片进行校正。作为另一示例，投影图片生成单元130还可使用诸如ARToolkit的用于增强现实(AR)的库而根据由RGB摄像装置20捕获的图像来识别投影仪30投影的标记，从而获取投影仪30的位置。
行动可行性数据库140是用于记录针对何种形状的对象可执行或者不可执行何种行动的数据库。行动可行性数据库140例如关于人可采取的每个行动(诸如坐下、站立、行走和跳跃)，针对各个形状记录行动的可行性。例如，行动可行性数据库140利用在三维空间中的规则网格上表示的体素数据来近似三维形状，然后记录在该体素数据的情况下是否可执行人的行动。
可供性分析单元110能够通过使用记录在行动可行性数据库140中的行动可行性数据而分析投影仪30将图片投影到的环境的可供性。尽管具体示例将在稍后讨论，但是可供性分析单元110还可通过例如交叉参考行动可行性数据库140中的信息而分析投影仪30将图片投影到的环境的可供性。
记录在行动可行性数据库140中的行动可行性数据是通过对随机生成的体素数据执行物理模拟而生成的。物理模拟构造例如将人体视为多个刚性体的组合的简单模型，并且使用该模型来验证是否可执行特定行动。
例如，考虑验证行动“站立”在环境中的坐标(x,y,z)处是否可能的情况。在该情况下，如果人体的模型可位于环境的三维数据中的坐标(x,y,z)的位置处而不会干扰环境并且同时还保持平衡，则可判断坐标(x,y,z)处的行动“站立”是可能的。人体的模型干扰环境的情况指的是诸如当例如在站立时头碰到天花板时的情况。另外，不可能在保持平衡的同时进行位移的情况指的是例如诸如当地板过度倾斜时的情况或者站在有尖的地板上的情况。如上的验证可利用极其简单的物理模型来模拟。
作为另一示例，考虑验证行动“垂直跳跃”在环境中的坐标(x,y,z)处是否可能的情况。在该情况下，执行模拟以验证在人体的模型与环境之间是否存在干扰以及当行动“垂直跳跃”开始时不失去平衡，但是另外，以类似地验证在行动期间(即，在跳跃的同时)人体的模型与环境之间也没有干扰。例如，如果当站立在特定坐标(x,y,z)时在比人体的模型的高度高3cm的位置处存在天花板，则可判断“站立”是可能的，但是可判断“垂直跳跃”是不可能的。
以此方式，验证过程根据行动的类型而不同，但是共享将人体视为刚性体的组合的简单模型的使用。通过以此方式使用模型来验证是否可执行特定行动，记录在行动可行性数据库140中的行动可行性数据的累积变为可能。
注意，尽管图1示出了行动可行性数据库140包括在图片回放装置100内部的配置，但是本公开不限于这样的示例。行动可行性数据库140也可设置在与图片回放装置100分开的装置中。当行动可行性数据库140设置在与图片回放装置100分开的装置中时，图片回放装置100和该分开的装置可通过有线或无线方式连接。
通过包括图1所示的配置，根据本公开的实施例的图片回放装置100能够根据深度传感器10提供的深度数据而自动地理解环境的可供性，并且使得所理解的环境的可供性反映在要从投影仪30投影的图片的生成中。
以上如此描述了根据本公开的实施例的投影增强现实系统1的示例配置。接下来，将描述根据本公开的实施例的图片回放装置100的示例操作。
[1.3.示例操作]
图4是示出根据本公开的实施例的图片回放装置100的示例操作的流程图。图4所示的流程图是当图片回放装置100确定投影仪300将图片所照射到的环境中的行动可能性时的示例操作。在下文中，将使用图4来描述根据本公开的实施例的图片回放装置100的示例操作。
首先，图片回放装置100利用深度传感器10来获取安装投影仪30的环境的三维形状(步骤S101)。三维形状的获取可由可供性分析单元110来执行。具体地，可供性分析单元110通过获取由深度传感器10提供的深度数据而获取安装投影仪30的环境的三维形状。
注意，当获取安装投影仪30的环境的三维形状时，如之前所述，深度传感器10提供的深度数据期望是在不存在人、动物等的状态下获取的。
图5是示出安装投影仪30的环境C的示例的说明图。通过从在安装投影仪30的环境C中所安装的深度传感器10获取深度数据，图片回放装置100能够获取安装投影仪30的环境C的三维形状。
在以上步骤S101中获取了安装投影仪30的环境的三维形状之后，图片回放装置100接下来获取环境中的每个坐标值(x,y,z)附近的三维数据(步骤S102)。环境中的每个坐标值(x,y,z)附近的三维数据的获取可由可供性分析单元110来执行。
图6是示出获取环境C的每个坐标值(x,y,z)附近的三维数据的示例的说明图。图6示出了获取环境C中的预定点C1附近的范围C11的三维数据的示例。范围C11是用于判断人是否能够执行诸如站立、坐下、行走和跳跃的行动的范围。
可供性分析单元110还可根据要分析的行动而改变范围C11。例如，当判断人在原地执行的简单行动(诸如站立或坐下)时，可供性分析单元110可将预定点C1周围大约50厘米的范围视为点C1附近的范围C11。作为另一示例，当判断仅在原地无法执行的行动(诸如行走或跳跃)时，或者当判断在原地执行的但是伴随大动作的行动时，可供性分析单元110可将与当判断人在原地执行的行动的情况相比更宽的范围(例如，诸如预定点C1周围大约1米至2米的范围)视为点C1附近的范围C11。
在以上步骤S102中获取到环境中的每个坐标值(x,y,z)附近的三维数据之后，图片回放装置100接下来利用以三维空间中的规则网格表示的体素集合来近似所获取的每个坐标值(x,y,z)附近的三维数据(步骤S103)。利用体素集合来近似三维数据的处理可由可供性分析单元110来执行。
图7是示出利用体素集合来近似三维数据的示例的说明图。为了简单目的，图7所示的体素集合是从任意方向看到的二维图示，但是实际的体素是三维数据。
在以上步骤S103中利用体素集合近似了三维数据之后，图片回放装置100接下来针对体素集合评估人的行动可行性(步骤S104)。针对体素集合评估人的行动可行性的处理可由可供性分析单元110来执行。
在本实施例中，当针对体素集合评估人的行动可行性时，可使用记录在行动执行可行性数据库140中的数据。记录在行动执行可行性数据库140中的数据是关于针对随机生成的体素数据的行动的可行性的信息。
图8是示出随机生成的体素数据和体素数据中的行动的执行可行性的示例的说明图。图8所示的体素数据是如从上方看到的情况的示例。例如，下述信息记录在行动执行可行性数据库140中：该信息指示在平坦表面顶部坐下是可能的，但是在有尖的环境上坐下是不可能的。
可供性分析单元110交叉参考利用体素集合近似的三维数据和记录在行动执行可行性数据库140中的数据，从而评估环境中的每个坐标值(x,y,z)处的行动的执行可行性。然而，完全相同的体素记录在行动执行可行性数据库140中的可能性是较低的。
因此，可供性分析单元110使用诸如支持向量机(SVM)或贝叶斯滤波器的确定器来评估环境中的每个坐标值(x,y,z)处的行动的执行可行性。通过为确定器提供特定行动可行的大量样本环境和特定行动不可行的环境，当给出以特定坐标为中心的三维数据的预定范围时，确定器能够瞬间确定在相关范围中预定行动是否可行。
注意，如果行动被评估为简单行动(诸如“站立”和“坐下”)，则可供性分析单元110可对要评估的体素执行简单计算，而不使用确定器。例如，当评估行动“站立”的执行可行性时，如果在站立位置下方存在特定程度大小的平坦表面，则可供性分析单元110也可确定人可在此站立。
在针对体素集合评估了人的行动可行性之后，图片回放装置100接下来基于人的行动可行性的评估结果而确定环境中的每个坐标值的行动可行性(步骤S105)。该确定处理可由可供性分析单元110来执行。
通过以此方式执行一系列操作，图片回放装置100能够自动地确定投影仪30将图片所照射到的环境中的行动可能性。另外，通过自动确定投影仪30将图片所照射到的环境中的行动可能性，图片回放装置100能够生成与行动可能性匹配的要由投影仪30投影的图片。
以上如此使用图4描述了根据本公开的实施例的图片回放装置100的示例操作。接下来，将示出从投影仪30投影由根据本公开的实施例的图片回放装置100生成的图片的示例。
[1.4.投影图像的示例]
[1.4.1.实现动作游戏]
首先，将描述如下示例：投影增强现实系统1通过从投影仪30投影由图片回放装置100生成的图片而实现动作游戏。在下文中描述的动作游戏采取通过击败敌人、捕获项目等而赚得点数的游戏。利用根据本实施例的投影增强现实系统1，可在真实世界中实现这样的动作游戏。
图9是示出投影仪30试图将图片投影到的环境的示例的说明图。通过使用从深度传感器10提供的深度数据来确定图9所示的环境C的行动可能性，图片回放装置100能够根据环境C的形状和行动可能性而生成图片，并且使得投影仪30投影所生成的图片。注意，图9示出了利用投影仪30投影的图片来进行动作游戏的用户U的形式，但是如之前所讨论的，当图片回放装置100确定环境C的行动可能性时，更期望用户U不存在于环境C中。
图10是示出图片从投影仪30投影到图9所示的环境C上的状态的说明图。投影仪30能够投影由图片回放装置100根据环境C的形状和行动可能性而生成的图片。
图11和图12是示出图片从投影仪30投影到图9所示的环境C上的状态的说明图。图11和图12示出了下述状态：除了如图10所示的来自投影仪30的图片之外，项目I1也正从投影仪30照射到环境C上。如图12所示，投影图片生成单元130确定项目I1的显示位置，以使得项目I1显示在用户U通过从环境C的左侧的山跳下而刚刚可以够到的位置。
图13是示出图片从投影仪30投影到图9所示的环境C上的状态的说明图。图13示出了下述状态：除了如图11和图12所示的图片之外，敌人E1也正从投影仪30照射到环境C上。当用户U试图获取项目I1时，敌人E1阻碍用户U。
通过以此方式从投影仪30投影图片，下述动作游戏变得可由投影增强现实系统1实现：在该动作游戏中，如果根据交互分析单元120的分析结果而确定用户U已触碰到项目I1，则赚到点数。另外，下述动作游戏变得可由投影增强现实系统1实现：在该动作游戏中，如果根据交互分析单元120的分析结果确定用户U已触碰到敌人E1，则减去点数。
[1.4.2.实现打地鼠游戏]
接下来，将描述投影增强现实系统1通过从投影仪30投影由图片回放装置100生成的图片来实现打地鼠游戏的示例。打地鼠游戏是通过打击连续出现的地鼠来赚得点数的游戏，并且利用根据本实施例的投影增强现实系统1，可在真实世界中实现这样的打地鼠游戏。
图14是示出图片从投影仪30投影到图9所示的环境C上的状态的说明图。图14示出了下述状态：除了图10所示的图片之外，地鼠M1也正从投影仪30照射到环境C上。通过以此方式从投影仪30投影图片，下述打地鼠游戏变得可由投影增强现实系统1实现：在该打地鼠游戏中，如果用户U触碰到正从投影仪30照射的地鼠M1的图片，则地鼠M1消失。
图15是示出图片从投影仪30投影到图9所示的环境C上的状态的说明图。图15示出了用户U已触碰到图14所示的地鼠M1的图片的状态。如在图15中那样，如果根据交互分析单元120的分析结果确定用户U已触碰到地鼠M1的图片，则投影图片生成单元130停止地鼠M1的显示。
图16是示出图片从投影仪30投影到图9所示的环境C上的状态的说明图。图16示出了下述状态：除了如图10所示的图片之外，地鼠M1也正从投影仪30照射到环境C上。如图16所示，在地鼠M1的图片被触碰到之后，投影图片生成单元130确定地鼠M2的显示位置，以使得地鼠M2的图片显示在如果用户U加快则用户U刚刚可以够到的位置。
通过以此方式从投影仪30投影图片，下述打地鼠游戏变得可由投影增强现实系统1实现：在该打地鼠游戏中，如果根据交互分析单元120的分析结果确定用户U已触碰到地鼠M1和M2的图片，则赚得点数。
[1.4.3.实现锻炼应用]
接下来，将描述投影增强现实系统1通过从投影仪30投影由图片回放装置100生成的图片来实现锻炼应用的示例。基于投影仪30将图片投影到的环境和诸如用户健康状态的预登记信息，投影增强现实系统1能够为该环境中的用户提供最优的锻炼。诸如用户健康状态的信息可包括例如诸如用户的性别、年龄、身高、体重、血压和心率的信息。
图17是示出图片从投影仪30投影到图9所示的环境C上的状态的说明图。图17示出了下述状态：除了如图10所示的图片之外，要由用户U的手或脚触碰的标记M1也正从投影仪30照射到环境C上。
如图17所示，投影图片生成单元130确定标记M1的显示位置，以使得标记M1的图片显示在为用户U产生最优锻炼效果的位置处。标记M1的显示位置可不仅基于投影仪30将图片投影到的环境中的可供性而且还基于诸如用户健康状态的信息来确定。在图17所示的示例中，投影图片生成单元130生成要从投影仪30投影的图片，以使得标记M1显示在使得可供性分析单元110判断用户U能够将手放在标记M1上的位置处以及被判断为针对用户U产生最优锻炼效果的位置处。
通过以此方式从投影仪30投影图片，下述锻炼应用变得可由投影增强现实系统1来实现：在该锻炼应用中，通过使得用户U触碰标记M1的图片而在用户U中产生锻炼效果。
当投影增强现实系统1实现锻炼应用时，投影图片生成单元130还可根据用户期望的锻炼类型而生成要投影到环境上的图片。例如，当用户期望锻炼以训练爆发力时，投影图片生成单元130可生成使得标记的位置在短时间后改变的图片，而当用户期望锻炼以训练肌肉时，投影图片生成单元130可生成使得标记的位置不改变的图片。
注意，显然，投影增强现实系统1可实现的游戏和应用不限于以上讨论的示例。
<2.示例硬件配置>
可以通过使用例如图18所示的信息处理装置的硬件配置来执行以上各个算法。换言之，各个算法的处理通过使用计算机程序控制图18所示的硬件来实现。注意，该硬件的形式是任意的，并且包括例如个人计算机、移动电话、诸如PHS装置和PDA的便携式信息装置、游戏控制台、接触式或非接触式IC芯片、接触式或非接触式IC卡和各种信息设施。注意，以上PHS是个人手持电话系统的缩写，而以上PDA是个人数字助理的缩写。
如图18所示，硬件主要包括CPU 902、ROM 904、RAM 906、主机总线908和桥910。硬件还包括外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、连接端口924和通信单元926。注意，以上CPU是中央处理单元的缩写，而以上ROM是只读存储器的缩写，并且以上RAM是随机存取存储器的缩写。
CPU 902用作例如计算处理装置或控制装置，并且基于记录在ROM 904、RAM 906、存储单元920或可拆卸记录介质928中的各种程序而控制各个结构元件的操作的全部或一部分。ROM 904是用于存储诸如由CPU 902加载的程序和在计算中使用的数据的信息的装置。RAM 906暂时或永久存储例如诸如由CPU 902加载的程序以及当执行这样的程序时适当地改变的各种参数的信息。
这些结构元件经由例如能够进行高速数据传输的主机总线908互连。同时，主机总线908例如经由桥910连接到具有相对低速数据传输的外部总线912。诸如鼠标、键盘、触摸板、按钮、开关、传感器、摄像装置和控制杆的装置可用作例如输入单元916。另外，能够使用红外或其它电磁波以传送控制信号的远程控制装置(下文中称为远程)在一些情况下可用作输入单元916。
输出单元918包括能够在视觉上或听觉上向用户报告所获取信息的装置，并且可以是例如诸如投影仪、CRT、LCD、PDP或ELD的显示装置，诸如一个或多个扬声器或耳机的音频输出装置，打印机，移动电话或传真机。注意，以上CRT是阴极射线管的缩写，而以上LCD是液晶显示器的缩写，以上PDP是等离子显示面板的缩写，并且以上ELD是电致发光显示器的缩写。
存储单元920是用于存储各种数据的装置。诸如硬盘驱动器或其它磁存储装置、半导体存储装置、光学存储装置或磁光存储装置的装置可用作例如存储单元920。注意，以上HDD是硬盘驱动器的缩写。
驱动器922是用于读出记录到例如诸如磁盘、光盘、磁光盘或半导体存储器的可拆卸记录介质928上的信息的装置，并且还可将信息写入到可拆卸记录介质928。可拆卸记录介质928是例如DVD介质、蓝光介质、HD DVD介质或各种半导体存储介质的实例。显然，可拆卸记录介质928也可以是例如安装有非接触式IC芯片的IC卡或某种其它电子设备。注意，以上IC是集成电路的缩写。
连接端口924是连接到外接装置930的端口，例如，诸如USB端口、IEEE 1394端口、SCSI端口、RS-232C端口或光学音频端子。外接装置930可以是例如打印机、便携式音乐播放器、数字摄像装置、数字摄像机或IC记录器。注意，以上USB是通用串行总线的缩写，而以上SCSI是小型计算机系统接口的缩写。
通信单元926是连接到网络932的通信装置，并且可以是例如用于有线或无线LAN、蓝牙(注册商标)或WUSB的通信卡，光学通信路径，ADSL路由器或用于基于接触的或非接触式通信的装置。另外，连接到通信单元926的网络932是以有线或无线方式连接的网络，并且可以是例如因特网、家庭LAN、红外通信、可见光通信、广播或卫星通信。注意，以上LAN是局域网的缩写，而以上WUSB是无线USB的缩写，并且以上ADSL是异步数字用户线路的缩写。
<3.结论>
如上所述，根据本公开的实施例，提供了一种图片回放装置100，其分析环境的可供性(行动可能性)，并且基于可供性而生成要投影到环境上的图片。
图片回放装置100利用可供性分析单元110，使用从深度传感器10发送的深度数据执行对环境的可供性的分析。可供性分析单元110确定针对根据深度数据获得的环境的三维数据用户可采取的行动的可能性。当确定用户可采取的行动的可能性时，可供性分析单元110交叉参考存储在行动可行性数据库140中的信息。
通过分析环境的可供性(行动可能性)以及基于可供性生成要投影到环境上的图片，根据本公开的实施例的图片回放装置100能够自动理解对于人的环境的行动可能性，并且将这些行动可能性反映在要投影的图片中。
该说明书中的装置执行的处理中的步骤不一定按照序列图或流程图中描述的顺序以时间顺序执行。例如，装置执行的处理中的步骤可以以与流程图中描述的顺序不同的顺序来执行或者可并行地执行。
此外，可以创建计算机程序，该计算机程序使得并入各个装置中的诸如CPU、ROM或RAM的硬件以与上述装置中的结构类似的方式进行作用。此外，可以提供其上记录有计算机程序的记录介质。另外，通过将功能框图所示的各个功能块配置为硬件，该硬件可以实现一系列处理。
以上参照附图描述了本公开的优选实施例，但是本公开不限于以上示例。本领域技术人员可在所附权利要求的范围内找到各种变更和修改，并且应理解，这些变更和修改将自然地落入本公开的技术范围内。
另外，本说明书中描述的效果仅是示例性的和说明性的而非限制性的。换言之，伴随或取代基于本说明书的效果，根据本公开的技术可以呈现对本领域技术人员明显的其它效果。
例如，在上述实施例中，图片仅从投影仪30输出，但是本公开不限于这样的示例。除了投影仪之外，考虑了环境的可供性的图片也可从显示图片的显示器显示。
另外，本技术也可如下进行配置。
(1)一种信息处理装置，包括：
行动可能性分析单元，被配置成获取环境的三维形状的数据，以及通过解析所述三维形状的数据而分析对于用户的该环境的行动可能性；以及
图片生成单元，被配置成使用所述行动可能性分析单元的分析结果来生成要投影到所述环境上的图片。
(2)根据上述(1)所述的信息处理装置，其中，
所述行动可能性分析单元通过下述方式分析所述环境中的预定位置处的、所述环境的行动可能性：针对包括所述预定位置的预定范围中的、所述三维形状的数据，评估所述用户的行动可行性。
(3)根据上述(2)所述的信息处理装置，还包括：
行动执行可行性数据库，在所述行动执行可行性数据库中，针对各个形状记录了用户行动的执行可行性，其中，
所述行动可能性分析单元通过交叉参考存储在所述行动执行可行性数据库中的数据而评估所述用户的行动可行性。
(4)根据上述(3)所述的信息处理装置，其中，
所述行动可能性分析单元使用支持向量机来交叉参考存储在所述行动执行可行性数据库中的数据。
(5)根据上述(3)或(4)所述的信息处理装置，其中，
在所述行动执行可行性数据库中，通过针对随机生成的环境进行模拟而针对各个形状记录用户行动的执行可行性。
(6)根据上述(2)至(5)中任一项所述的信息处理装置，其中，
所述行动可能性分析单元通过针对所述用户的预定行动直接分析所述三维形状的数据而评估所述用户的行动可行性。
(7)根据上述(1)至(6)中任一项所述的信息处理装置，还包括：
交互分析单元，被配置成通过解析所述三维形状的数据而分析所述环境中的用户行动。
(8)根据上述(7)所述的信息处理装置，其中，
所述图片生成单元使用所述行动可能性分析单元的分析结果和所述交互分析单元的分析结果而生成要投影的图片。
(9)根据上述(1)至(8)中任一项所述的信息处理装置，其中，
所述环境的所述三维形状的数据基于从至少一个深度传感器获取的深度数据。
(10)一种信息处理方法，包括：
获取环境的三维形状的数据，以及通过解析所述三维形状的数据，分析对于用户的该环境的行动可能性；以及
使用所分析的行动可能性来生成要投影到所述环境上的图片。
(11)一种使得计算机执行以下处理的计算机程序：
获取环境的三维形状的数据，以及通过解析所述三维形状的数据，分析对于用户的该环境的行动可能性；以及
使用所分析的行动可能性来生成要投影到所述环境上的图片。
附图标记列表
1 投影增强现实系统
10 深度传感器
20 RGB摄像装置
30 投影仪
100 图片回放装置
C 环境
U 用户

Claims (10)

1.一种信息处理装置，包括：
行动可能性分析单元，被配置成获取环境的三维形状的数据，以及通过解析所述三维形状的数据而分析对于用户的该环境的行动可能性；
图片生成单元，被配置成使用所述行动可能性分析单元的分析结果来生成要投影到所述环境上的图片；以及
行动执行可行性数据库，在所述行动执行可行性数据库中，针对各个形状记录了用户行动的执行可行性，
其中，所述行动可能性分析单元通过交叉参考存储在所述行动执行可行性数据库中的数据而评估所述用户的行动可行性。
2.根据权利要求1所述的信息处理装置，其中，
所述行动可能性分析单元通过下述方式分析所述环境中的预定位置处的、所述环境的行动可能性：针对包括所述预定位置的预定范围中的、所述三维形状的数据，评估所述用户的行动可行性。
3.根据权利要求1所述的信息处理装置，其中，
所述行动可能性分析单元使用支持向量机来交叉参考存储在所述行动执行可行性数据库中的数据。
4.根据权利要求1所述的信息处理装置，其中，
在所述行动执行可行性数据库中，通过针对随机生成的环境进行模拟而针对各个形状记录用户行动的执行可行性。
5.根据权利要求2所述的信息处理装置，其中，
所述行动可能性分析单元通过针对所述用户的预定行动直接分析所述三维形状的数据而评估所述用户的行动可行性。
6.根据权利要求1所述的信息处理装置，还包括：
交互分析单元，被配置成通过解析所述三维形状的数据而分析所述环境中的用户行动。
7.根据权利要求6所述的信息处理装置，其中，
所述图片生成单元使用所述行动可能性分析单元的分析结果和所述交互分析单元的分析结果而生成要投影的图片。
8.根据权利要求1所述的信息处理装置，其中，
所述环境的所述三维形状的数据基于从至少一个深度传感器获取的深度数据。
9.一种信息处理方法，包括：
获取环境的三维形状的数据，以及通过解析所述三维形状的数据，分析对于用户的该环境的行动可能性；
使用所分析的行动可能性来生成要投影到所述环境上的图片；以及
通过交叉参考存储在行动执行可行性数据库中的数据而评估所述用户的行动可行性，其中在所述行动执行可行性数据库中，针对各个形状记录了用户行动的执行可行性。
10.一种存储有计算机程序的记录介质，所述计算机程序在被执行时使计算机执行包括以下步骤的方法：
获取环境的三维形状的数据，以及通过解析所述三维形状的数据，分析对于用户的该环境的行动可能性；
使用所分析的行动可能性来生成要投影到所述环境上的图片；以及
通过交叉参考存储在行动执行可行性数据库中的数据而评估所述用户的行动可行性，其中在所述行动执行可行性数据库中，针对各个形状记录了用户行动的执行可行性。
CN201480050007.2A 2013-09-17 2014-09-05 信息处理装置、信息处理方法和记录介质 Expired - Fee Related CN105531756B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013191634A JP6263917B2 (ja) 2013-09-17 2013-09-17 情報処理装置、情報処理方法及びコンピュータプログラム
JP2013-191634 2013-09-17
PCT/JP2014/073570 WO2015041079A1 (ja) 2013-09-17 2014-09-05 情報処理装置、情報処理方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
CN105531756A CN105531756A (zh) 2016-04-27
CN105531756B true CN105531756B (zh) 2017-11-24

Family

ID=52688730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480050007.2A Expired - Fee Related CN105531756B (zh) 2013-09-17 2014-09-05 信息处理装置、信息处理方法和记录介质

Country Status (5)

Country Link
US (1) US10565436B2 (zh)
EP (1) EP3048605B1 (zh)
JP (1) JP6263917B2 (zh)
CN (1) CN105531756B (zh)
WO (1) WO2015041079A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10404938B1 (en) 2015-12-22 2019-09-03 Steelcase Inc. Virtual world method and system for affecting mind state
JP6679966B2 (ja) * 2016-02-05 2020-04-15 凸版印刷株式会社 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム
US10181218B1 (en) * 2016-02-17 2019-01-15 Steelcase Inc. Virtual affordance sales tool
US10182210B1 (en) * 2016-12-15 2019-01-15 Steelcase Inc. Systems and methods for implementing augmented reality and/or virtual reality
CN106803913A (zh) * 2017-03-10 2017-06-06 武汉东信同邦信息技术有限公司 一种用于自动侦测学生起立发言动作的检测方法及其装置
JP7029722B2 (ja) * 2017-10-23 2022-03-04 株式会社Splink Ａｒ装置、方法及びプログラム
CN108635853B (zh) * 2018-03-23 2019-06-21 腾讯科技（深圳）有限公司 对象的控制方法和装置、存储介质、电子装置
CN109847350A (zh) * 2019-03-25 2019-06-07 深圳初影科技有限公司 基于ar技术的游戏实现方法、游戏系统、及存储介质
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US11832560B1 (en) 2019-08-08 2023-12-05 Valmont Industries, Inc. System and method for detecting and aligning the orientation of an irrigation system within a display

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548694A (en) * 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
JPH11300049A (ja) * 1998-04-20 1999-11-02 Hitachi Ltd シューティングゲーム装置
US6362817B1 (en) * 1998-05-18 2002-03-26 In3D Corporation System for creating and viewing 3D environments using symbolic descriptors
US6712703B2 (en) * 1998-11-19 2004-03-30 Nintendo Co., Ltd. Video game apparatus and information storage medium for video game
JP3944019B2 (ja) * 2002-07-31 2007-07-11 キヤノン株式会社 情報処理装置および方法
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
JP5147849B2 (ja) * 2007-09-14 2013-02-20 パナソニック株式会社 プロジェクタ
JP2009093376A (ja) * 2007-10-05 2009-04-30 Sony Corp 信号処理システム及び信号処置方法、並びにプログラム
US8126221B2 (en) * 2008-02-14 2012-02-28 Ecole Polytechnique Federale De Lausanne (Epfl) Interactive device and method for transmitting commands from a user
JP5315111B2 (ja) * 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
WO2012011044A1 (en) * 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2012173772A (ja) * 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
KR101818024B1 (ko) * 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
CN104081307B (zh) * 2012-02-10 2018-02-23 索尼公司 图像处理装置、图像处理方法和程序
JP2013172432A (ja) * 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
US8933970B2 (en) * 2012-09-11 2015-01-13 Longsand Limited Controlling an augmented reality object
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality

Also Published As

Publication number Publication date
JP6263917B2 (ja) 2018-01-24
EP3048605A4 (en) 2017-05-10
US10565436B2 (en) 2020-02-18
JP2015059965A (ja) 2015-03-30
EP3048605B1 (en) 2019-03-20
WO2015041079A1 (ja) 2015-03-26
EP3048605A1 (en) 2016-07-27
US20160217323A1 (en) 2016-07-28
CN105531756A (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
CN105531756B (zh) 信息处理装置、信息处理方法和记录介质
CN102763422B (zh) 用于无设备的增强的现实与交互的投影仪和深度相机
TWI512645B (zh) 使用深度影像之手勢辨識裝置及方法
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
WO2016169432A1 (zh) 身份验证方法、装置及终端
WO2011070871A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN103974752B (zh) 用于基于姿势的游戏的暂停和重新开始方案
CN104798362B (zh) 用户终端、外部装置、数据收发系统和数据收发方法
WO2019100754A1 (zh) 人体动作的识别方法、装置和电子设备
CN104321115A (zh) 用于增强的输入灵敏度和功能性的多传感器控制手柄
CN102915112A (zh) 用于近距离动作跟踪的系统和方法
KR20230044401A (ko) 확장 현실을 위한 개인 제어 인터페이스
US20130102387A1 (en) Calculating metabolic equivalence with a computing device
CN108694073A (zh) 虚拟场景的控制方法、装置、设备及存储介质
US8885878B2 (en) Interactive secret sharing
CN110308832A (zh) 显示控制设备及其控制方法和存储介质
TW201142746A (en) Information processing device, information processing method, and program
WO2020110547A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN107255812A (zh) 基于3d技术的测速方法、移动终端、及存储介质
CN107077730A (zh) 基于剪影的肢寻找器确定
CN108230312A (zh) 一种图像分析方法、设备和计算机可读存储介质
US10140766B2 (en) Apparatus and method of augmenting video
CN109246259A (zh) 一种终端交互方法、终端及计算机可读存储介质
KR20140046197A (ko) 동작인식 장치 및 방법, 그리고 프로그램을 저장한 컴퓨터로 판독 가능한 기록매체
TW202202845A (zh) 測速方法、電子設備及儲存介質

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171124