CN107925739B - 投影系统 - Google Patents

投影系统 Download PDF

Info

Publication number
CN107925739B
CN107925739B CN201680050791.6A CN201680050791A CN107925739B CN 107925739 B CN107925739 B CN 107925739B CN 201680050791 A CN201680050791 A CN 201680050791A CN 107925739 B CN107925739 B CN 107925739B
Authority
CN
China
Prior art keywords
projection
image
processing
display
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680050791.6A
Other languages
English (en)
Other versions
CN107925739A (zh
Inventor
本山博文
石井源久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wandai Nanmeng Palace Entertainment Co.,Ltd.
Original Assignee
Bandai Namco Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bandai Namco Entertainment Inc filed Critical Bandai Namco Entertainment Inc
Publication of CN107925739A publication Critical patent/CN107925739A/zh
Application granted granted Critical
Publication of CN107925739B publication Critical patent/CN107925739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Abstract

一种投影系统，包括：投影部(40、42)，投射投影图像；以及处理部(100)，基于传感器部(50)的检测信息而获取第一对象物和第二对象物的至少一方的位置信息，进行投影图像的生成处理。在基于所获取的位置信息而判断为第一对象物与第二对象物成为前提条件关系时，处理部(100)进行使向第一对象物投射的第一投影图像与向第二对象物投射的第二投影图像的至少一方的内容变化的处理。

Description

投影系统
技术领域
本发明涉及一种投影系统等。
背景技术
以往，已知有利用投影装置向投影对象物投射投影图像的系统。作为这样的投影系统的现有技术而具有专利文献1、2所公开的技术。
现有技术文献
专利文献
专利文献1：日本特开2013-192189号公报
专利文献2：日本特开2003-85586号公报
发明内容
发明要解决的课题
然而，在专利文献1、2这样的现有技术的投影系统中，由于只是向投影对象物投射由图像生成装置生成的图像，因此欠缺交互性。即，在现有的投影系统中，用户移动投影对象物的结果不会在投影图像中反映，无法实现使投影对象物交互移动的乐趣。例如在设施的余兴节目中使用了投影系统的情况下，无法使用户像感受现实世界的物体那样感受投影图像所显示的显示物。因此，无法实现长时间不厌烦地享受那样的余兴节目等。
另外，也可考虑实现图像追随投影对象物那样的交互性的方法，但未提出充分利用对象物间的相对位置关系以能够使图像在多个对象物间移动那样的方法。
根据本发明的几个方案，能够提供投影系统等，投射反映对象物相互位置关系信息等的投影图像，能够解决上述课题，能够进一步提高交互性。
用于解决课题的手段
本发明的一方案涉及一种投影系统，所述投影系统包括：投影部，投射投影图像；以及处理部，基于传感器部的检测信息而获取第一对象物和第二对象物的至少一方的位置信息，进行所述投影图像的生成处理，在基于所获取的所述位置信息而判断为所述第一对象物与所述第二对象物成为前提条件关系时，所述处理部进行使向所述第一对象物投射的第一投影图像与向所述第二对象物投射的第二投影图像的至少一方的内容变化的处理。
根据本发明的一方案，基于传感器部的检测信息而获取第一对象物和第二对象物的至少一方的位置信息。然后，当基于所获取的位置信息而判断为第一对象物与第二对象物成为前提条件关系时，进行使向第一对象物以及第二对象物投射的第一投影图像和第二投影图像的至少一方的内容变化的处理。这样一来，能够基于对象物的位置信息而判断第一对象物与第二对象物的关系，变更第一投影图像、第二投影图像的内容。因此，能够实现可投射反映了对象物彼此的位置关系信息等的投影图像而进一步提高交互性的投影系统。
另外，在本发明的一方案中，也可以是，所述处理部求出针对所述第一对象物设定于前提条件位置的虚拟面与所述第二对象物之间的位置关系，判断所述第一对象物与所述第二对象物是否成为所述前提条件关系。
这样一来，并非求出第一对象物自身，而求出针对第一对象物设定于前提条件位置的虚拟面与第二对象物的位置关系，能够判断第一对象物与第二对象物是否成为前提条件关系。因此，能够使模拟的虚拟面被用户识别为例如实际存在的面(水面等)，能够执行各种处理。
另外，在本发明的一方案中，也可以是，在判断为所述第一对象物与所述第二对象物成为所述前提条件关系时，所述处理部在向所述第一对象物投射的所述第一投影图像和向所述第二对象物投射的所述第二投影图像的至少一方的图像中进行使显示物出现的处理、使显示物消失的处理以及变更显示物的图像的处理中的至少一个处理。
这样一来，能够使用户感受到宛如通过使第一对象物与第二对象物成为前提条件关系而产生显示物的出现、消失、图像变更，能够提高投影系统中的交互性。
另外，在本发明的一方案中，也可以是，在判断为所述第一对象物与所述第二对象物成为所述前提条件关系时，所述处理部以使朝向所述第一对象物的投影对象即显示物向所述第二对象物投射的方式进行所述第二投影图像的生成处理。
这样一来，当第一对象物与第二对象物成为前提条件关系时，将朝向第一对象物的投影对象即显示物向第二对象物例如追随投影进行显示。因此，能够生成看起来宛如通过使第一对象物与第二对象物成为前提条件关系而在与第二对象物对应的位置出现显示物的投影图像。
另外，在本发明的一方案中，也可以是，所述处理部基于向所述第二对象物投射的所述显示物与所述第二对象物的关系，进行所述显示物的显示控制。
这样一来，在第一对象物与第二对象物成为前提条件关系而将显示物向第二对象物投影时，根据该显示物与第二对象物的关系，进行针对显示物的各种显示控制，能够生成各种各样的投影图像。
另外，在本发明的一方案中，也可以是，在所述第一对象物与所述第二对象物成为所述前提条件关系时，所述处理部进行基于处理规则的计算处理，以使所述计算处理的结果被判断为向所述第二对象物投射的所述显示物向所述第二对象物投射的方式进行所述显示物的显示控制。
这样一来，当第一对象物与第二对象物成为前提条件关系时，进行基于处理规则的计算处理。然后，基于该计算处理的结果，以使判断为向第二对象物投射的显示物向第二对象物投射的方式进行显示物的各种显示控制，生成投影图像。
另外，在本发明的一方案中，也可以是，在所述第一对象物和所述第二对象物的关系从所述前提条件关系变化了时，所述处理部进行与所述第一对象物和所述第二对象物的所述关系的变化相应的所述显示物的显示控制。
这样一来，当第一对象物与第二对象物的关系从前提条件关系变化时，进行与该关系变化相应的显示物的显示控制，生成反映该关系变化的投影图像。
另外，在本发明的一方案中，也可以是，在所述第一对象物和所述第二对象物的所述关系变化了时，所述处理部进行基于处理规则的计算处理，以使所述计算处理的结果被判断为向所述第二对象物投射的所述显示物向所述第二对象物投射的方式进行所述显示物的显示控制。
这样一来，当第一对象物与第二对象物的关系发生变化时，进行基于处理规则的计算处理，以使基于其结果被判断为向第二对象物投射的显示物向第二对象物投射的方式进行显示物的显示控制，生成投影图像。
另外，在本发明的一方案中，也可以是，在所述第一对象物和所述第二对象物的所述关系变化了时，所述处理部进行基于处理规则的计算处理，以使所述计算处理的结果被判断为不向所述第二对象物投射的所述显示物向所述第一对象物投射的方式进行所述显示物的显示控制。
这样一来，当第一对象物与第二对象物的关系发生变化时，进行基于处理规则的计算处理，以使基于其结果被判断为不向第二对象物投射的显示物向第一对象物投射的方式进行显示物的显示控制，生成投影图像。
另外，在本发明的一方案中，也可以是，在判断为所述第二对象物和第三对象物成为前提条件关系时，所述处理部进行用于在所述第三对象物上显示所述显示物的处理。
这样一来，能够进行使投射到第二对象物的显示物例如看起来宛如从第二对象物移动到第三对象物侧的投影图像的生成等。
另外，在本发明的一方案中，也可以是，所述处理部基于所述传感器部的检测信息而求出所述第一对象物与所述第二对象物的相对位置关系，判断所述第一对象物与所述第二对象物是否成为所述前提条件关系。
这样一来，能够生成反映第一对象物与第二对象物的位置关系的投影图像，实现交互性的提高等。
另外，在本发明的一方案中，也可以是，所述相对位置关系是所述第二对象物相对于所述第一对象物的高度关系。
这样一来，能够生成反映第一对象物与第二对象物的高度关系的投影图像。
另外，在本发明的一方案中，也可以是，所述处理部基于所述传感器部的检测信息而进行设定于所述第二对象物的标记的识别处理，基于所述识别处理的结果而获取所述第二对象物的位置信息，基于所获取的所述位置信息而判断所述第一对象物与所述第二对象物是否成为所述前提条件关系。
若像这样利用标记，则能够稳定且恰当地获取第二对象物的位置信息，判断第一对象物与第二对象物的关系。
另外，在本发明的一方案中，也可以是，所述处理部基于所述标记，求出被投射所述第二投影图像的第二投影区域，进行向所述第二投影区域投射的所述第二投影图像的生成处理。
这样一来，利用标记求出第二投影区域，生成朝向该第二投影区域的第二投影图像，能够实现例如使第二投影图像的内容变化的处理等。
另外，在本发明的一方案中，也可以是，所述第二对象物是用户的部位或者用户的把持物。
这样一来，能够生成使用户的部位、把持物的举动交互反映那样的投影图像。
另外，本发明的一方案涉及一种投影系统，所述投影系统包括：投影部，对作为第一对象物的游戏区域投射投影图像；以及处理部，进行所述投影图像的生成处理，所述处理部在针对所述游戏区域设定于前提条件位置的虚拟面上显示水面的图像，并且生成用于显示生物的图像的所述投影图像，所述投影部对所述游戏区域投射用于显示所述水面的图像与所述生物的图像的所述投影图像，所述处理部基于第二对象物的位置信息，进行使向作为所述第一对象物的所述游戏区域投射的第一投影图像和向所述第二对象物投射的第二投影图像的至少一方的内容变化的处理。
根据本发明的一方案，在针对游戏区域设定于前提条件位置的虚拟面上显示水面的图像，并且将用于显示生物的图像的投影图像对游戏区域投射。然后，向游戏区域投射的第一投影图像与向第二对象物投射的第二投影图像的至少一方的内容根据第二对象物的位置信息而变化。这样一来，能够实现看起来在游戏区域的与虚拟面对应的位置存在水面并且例如在其水面附近存在生物的投影系统。然后，能够根据第二对象物的位置信息使第一投影图像、第二投影图像的内容变化，因此能够实现可进一步提高交互性的投影系统。
另外，在本发明的一方案中，也可以是，所述处理部在向所述游戏区域投射的所述第一投影图像和向所述第二对象物投射的所述第二投影图像的至少一方的图像中，进行使显示物出现的处理、使显示物消失的处理以及变更显示物的图像的处理中的至少一个处理。
这样一来，能够使用户感到宛如产生了显示物的出现、消失、图像变更，能够提高投影系统中的交互性。
另外，在本发明的一方案中，也可以是，所述处理部进行设定于所述第二对象物的标记的识别处理，并进行基于所述识别处理的结果而获取所述第二对象物的位置信息、且基于所获取的所述位置信息而使所述第一投影图像和所述第二投影图像的至少一方的内容变化的处理。
若像这样利用标记，则能够稳定且恰当地获取第二对象物的位置信息，使第一投影图像和第二投影图像的至少一方的内容变化。
另外，在本发明的一方案中，也可以是，在基于所述第二对象物的所述位置信息而判断为作为所述第一对象物的所述游戏区域与所述第二对象物成为前提条件关系时，所述处理部进行使所述第一投影图像和所述第二投影图像的至少一方的内容变化的处理。
这样一来，当第一对象物与第二对象物成为前提条件关系时，第一投影图像和第二投影图像的至少一方的内容变化，能够提高投影系统中的交互性。
另外，在本发明的一方案中，也可以是，所述处理部基于传感器部的检测信息而获取所述第二对象物的所述位置信息。
这样一来，能够利用传感器部而获取第二对象物的位置信息，使第一投影图像和第二投影图像的至少一方的内容变化。
另外，在本发明的一方案中，也可以是，所述投影部对所述游戏区域通过投影映射来投射用于显示所述水面的图像与所述生物的图像的所述投影图像。
这样一来，即便在游戏区域具有各种形状的情况下，也能够通过利用投影映射而向游戏区域投射减少了该形状影响的投影图像。
另外，在本发明的一方案中，也可以是，所述游戏区域为沙地。
这样一来，能够提供一种看起来宛如在沙地之上存在水面与生物的投影系统。
另外，在本发明的一方案中，也可以是，所述处理部生成将所述水面以及所述生物动画显示的所述投影图像。
这样一来，例如能够通过动画显示真实地再现水面的波动等、生物的移动。
另外，在本发明的一方案中，也可以是，所述投影部设置在所述游戏区域的上方。
这样一来，能够在游戏区域的上方的例如不显眼的位置设置投影部，对游戏区域投射投影图像。
附图说明
图1是本实施方式的投影系统的整体结构例。
图2是本实施方式的投影系统的具体结构例。
图3的(A)、图3的(B)是朝向对象物进行的投影图像的投影方法的说明图。
图4是本实施方式的方法的说明图。
图5是高度信息映射的例子。
图6的(A)、图6的(B)是使对象物的投影图像的内容变化的方法的说明图。
图7的(A)、图7的(B)是向对象物设定标记而进行位置信息的获取等的方法的说明图。
图8是根据标记图案而变更显示物的方法的说明图。
图9的(A)、图9的(B)是朝向容器进行的投影图像的投影方法的说明图。
图10是使用饵物品进行位置信息的获取等的方法的说明图。
图11是朝向对象物进行的投影图像的生成方法的说明图。
图12是本实施方式的变形例的说明图。
图13是针对投影图像的校正处理的说明图。
图14是本实施方式的详细处理例的流程图。
图15是本实施方式的详细处理例的流程图。
图16是本实施方式的详细处理例的流程图。
具体实施方式
以下，对本实施方式进行说明。此外，以下说明的本实施方式并非不当地限定权利要求书所记载的本发明的内容。另外，本实施方式中说明的结构不一定全部是本发明的必须构成要件。
1.投影系统的结构
在图1中示出本实施方式的投影系统的整体结构例。本实施方式的投影系统包括投影部40、42与处理装置90(广义来说为处理部)。另外，可还包括传感器部50。此外，本实施方式的投影系统的结构不限于图1，可实施省略其构成要素(各部分)的一部分或追加其它构成要素等的各种变形。
游戏区域10是用户(游戏者)用于享受余兴节目等的区域，在图1中成为铺设有沙子的沙地的区域。另外，作为游戏区域10，例如可设想花草区域、土地区域、进行运动的区域、描绘有用于竞争游戏的跑道等的区域等各种区域。
投影部40、42向游戏区域10(广义来说为第一对象物)等投射投影图像，可通过所谓的投影仪来实现。在图1中，投影部40、42设置于游戏区域10的上方(例如天花板等)，从上方侧相对于下方的游戏区域10投射投影图像。此外，在图1中，设有2台投影部40、42，但投影部的台数既可以是1台，也可以是3台以上。另外，在游戏区域10的地形不变化这样的前提情况下，既可以是将地面设为屏幕、将投影仪(投影部)配置于地面下的所谓的背投影方式，也可以利用LCD等平板显示器来构成地面。
传感器部50检测对象物的位置信息等。在图1中，传感器部50设置于游戏区域10的上方(例如天花板等)，将作为对象物的游戏区域10的例如高度信息(各区域中的高度信息)检测为位置信息。该传感器部50例如能够通过拍摄图像的通常的摄像机、深度传感器(测距传感器)等来实现。
如后述那样，桶60用于储存捕获的鱼等生物，在其上表面设有用于映出捕获到的生物的显示物的显示部62(例如平板电脑的显示器)。
处理装置90作为本实施方式的处理部而发挥功能，进行投影图像的生成处理等各种处理。处理装置90例如能够通过台式电脑、笔记本电脑、平板电脑等各种信息处理装置来实现。
在图2中示出本实施方式的投影系统的详细的结构例。例如图1的处理装置90通过图2的处理部100、I/F部120、存储部150等来实现。
处理部100(处理器)基于来自传感器部50的检测信息等，进行各种判断处理、图像的生成处理等。处理部100将存储部150设为工作区域进行各种处理。该处理部100的功能能够通过各种处理器(CPU、GPU等)、ASIC(门阵列等)等硬件、程序来实现。
I/F(接口)部120进行与外部装置的接口处理。例如I/F部120进行与投影部40、42、传感器部50、显示部62之间的接口处理。例如由处理部100生成的投影图像的信息经由I/F部120向投影部40、42输出。来自传感器部50的检测信息经由I/F部120向处理部100输入。在显示部62显示的图像的信息经由I/F部120向显示部62输出。
存储部150成为处理部100等的工作区域，其功能能够通过RAM、SSD、HDD等来实现。存储部150包括存储显示物的信息(图像信息等)的显示物信息存储部152、存储标记图案的信息的标记图案存储部154、存储对象物的高度信息(位置信息)的高度信息存储部156。
处理部100包括位置信息获取部102、标记识别部104、位置关系判断部106、捕获判断部108、释放判断部109、图像生成处理部110。另外，图像生成处理部110包括变形校正部112。此外，能够实施省略这些构成要素(各部分)的一部分或者追加其它构成要素等的各种变形。
在本实施方式中，处理部100基于传感器部50的检测信息而获取第一对象物以及第二对象物的至少一方的位置信息。例如位置信息获取部102基于来自传感器部50的检测信息进行对象物的位置信息(例如高度信息等)的获取处理。例如后述那样，获取作为第一对象物的游戏区域10与作为第二对象物的用户的部位、容器等的至少一方的位置信息。此外，关于第一对象物(游戏区域10等)的位置信息(高度信息)，若例如在存储部150中预先存储为信息表，则也可以无需基于来自传感器部50的检测信息来求得位置信息(高度信息)。对于第二对象物的位置信息也是相同的。
而且，处理部100进行投影图像的生成处理，投影部40、42投射生成的投影图像。例如图像生成处理部110进行投影图像的生成处理。例如，针对地形深的位置配置特定生物，针对以判断为地形比虚拟水面(虚拟面)高程度隆起的位置，不显示水而进行作为陆地的表示等。另外，在如图1那样使用多个投影仪(投影部40、42)的情况下，期望这些图像的接缝部分不显眼。为此，需要尽可能精确地求出从投影仪至相当于接缝的各像素的距离，为此可应用上述的高度信息。而且，此时变形校正部112也可以进行投影图像的变形校正处理。例如基于对象物的位置信息等，进行用于减少向对象物投射了投影图像时的变形的变形校正处理。然而，变形校正处理也取决于观察者的观察位置，因此在难以求出观察者的观察位置、观察者为多人那样的情况下，也有时优选不进行变形校正。是否进行变形校正根据信息的内容、观察者的状况来适当决定即可。
具体来说，处理部100基于根据传感器部50的检测信息而获取的位置信息，判断第一对象物与第二对象物是否成为前提条件关系。位置关系判断部106进行该判断处理。然后，在判断为第一对象物以及第二对象物成为前提条件关系的情况下，进行使向第一对象物投射的第一投影图像与向第二对象物投射的第二投影图像的至少一方的内容变化的处理。例如进行使第一投影图像、第二投影图像的一方的内容变化或使两方的内容变化的处理。图像生成处理部110进行该图像的变化处理。而且，变化处理后的第一投影图像、第二投影图像通过投影部40、42向第一对象物以及第二对象物投射。
在此，第一对象物例如是图1的游戏区域10等。第二对象物例如是用户的部位或者用户的把持物等。用户的部位例如是用户的手(手掌)，用户的把持物是用户用手等把持的容器等，且是用户能够把持的物体。用户的部位也可以是用户的脸、胸、腹、腰、脚等部位。另外，把持物既可以是容器以外的物体，也可以是由用户的手以外的部位把持的物体。此外，第一对象物不限于游戏区域10，只要是成为背景等的成为主要图像等的投影对象的对象物即可。同样，第二对象物也不限于用户的部位、把持物。
另外，处理部100求出针对第一对象物设定于前提条件位置(高度)的虚拟面(虚拟平面)与第二对象物的位置关系，判断第一对象物与第二对象物是否成为前提条件关系。而且，使向第一对象物以及第二对象物投射的第一投影图像、第二投影图像的至少一方的内容变化。
例如在从第一对象物的投影面偏移的位置(上方位置)设定与该投影面对应的虚拟面。该虚拟面是例如对应于游戏区域10的投影面而虚拟设定的面。然后，判断该虚拟面与第二对象物是否成为前提条件关系(位置关系)，而不是与第一对象物(第一对象物的投影面)。例如，判断作为用户的部位、把持物的第二对象物是否相对于虚拟面(例如虚拟海面、虚拟水面)成为前提条件关系。具体来说，判断第二对象物是否位于比虚拟面靠下方位置等。然后，在成为前提条件关系的情况下，进行使朝第二对象物的第二投影图像(例如映在手、容器上的图像)、朝第一对象物的第一投影图像(例如生物、海面的图像)变化的处理。
另外，在判断为第一对象物与第二对象物成为前提条件关系(狭义来说为前提条件位置关系)的情况下，处理部100对向第一对象物投射的第一投影图像与向第二对象物投射的第二投影图像的至少一方的图像，进行使显示物出现的处理、使显示物消失的处理以及变更显示物的图像的处理中的至少一个处理。例如处理部100对第一投影图像、第二投影图像进行使后述的生物等显示物出现的处理、或者相反地进行使显示物消失的处理、或者进行变更显示物的图像(显示图案、纹理、颜色、效果等)的处理。通过这样，在判断为第一对象物与第二对象物成为前提条件关系的情况下，实现使向第一对象物投射的第一投影图像与向第二对象物投射的第二投影图像的至少一方的内容变化的处理。此外，显示物的信息(图像信息、目标信息、属性信息等)存储于显示物信息存储部152。
例如在判断为第一对象物与第二对象物成为前提条件关系的情况下，处理部100进行第二投影图像的生成处理，以使得作为朝第一对象物的投影对象的显示物向第二对象物投射(追随第二对象物进行投射)。例如，海洋生物等显示物成为朝第一对象物即游戏区域10的投影对象。在本实施方式中，在游戏区域10等第一对象物与用户的手等部位、其把持物即第二对象物成为前提条件关系的情况下，以不仅考虑第一对象物而还考虑用户的部位、把持物等第二对象物的位置、形状等来显示海洋生物等显示物的方式进行投影图像的生成处理。
例如在判断为第一对象物与第二对象物成为前提条件关系的情况下，处理部100判断为朝向第一对象物的投影对象即显示物被第二对象物捕获。该判断处理通过捕获判断部108(命中检查部)来进行。然后，处理部100(图像生成处理部110)以将判断为捕获的显示物向第二对象物投射的方式进行第二投影图像的生成处理。例如，在判断为海洋生物等显示物被手、容器等第二对象物捕获的情况下，将捕获的生物等显示物向第二对象物投射。
另一方面，对于判断为未被捕获的显示物，处理部100以使其向第一对象物投射的方式进行第一投影图像的生成处理。例如，在海洋生物等显示物未被第二对象物捕获的情况下，将其捕获失败的显示物向游戏区域10等的第一对象物投射。
另外，处理部100基于向第二对象物投射的显示物与第二对象物的关系进行显示物的显示控制。
例如像后述的图4、图7的(A)那样，当判断为鱼14被用户的部位即手20、把持物即容器22捕获了时，在作为第二对象物的手20、容器22中显示作为显示物的鱼14。例如当判断为手20、容器22进入后述的图4的虚拟海面12的下方而作为第一对象物的游戏区域10与作为第二对象物的手20、容器22成为前提条件关系时，进行将鱼14向手20、容器22投影的处理。
在这种情况下，处理部100进行用于表达作为显示物的鱼14相对于手20直挺挺或者与容器22的边缘碰撞等样子的显示控制。例如，进行鱼14与手20、容器22之间的命中检查处理，基于其命中检查处理的结果，进行控制鱼14的移动的显示控制。如此一来，能够对游戏者给予宛如真实生存的鱼14看起来在手20之上移动、在容器22之中游泳那样的虚拟现实感。
另外，在第一对象物与第二对象物成为前提条件关系的情况下，处理部100进行基于处理规则的计算处理，以使得计算处理的结果被判断为应向第二对象物投射的显示物向第二对象物投射的方式进行显示物的显示控制。
例如当判断为作为第一对象物的游戏区域10与作为第二对象物的手20、容器22成为前提条件关系(例如手20、容器22进入虚拟海面12的下方)时，进行基于处理规则的计算处理。作为一个例子，进行检索以手20、容器22为基准(中心位置)而位于预定范围(预定半径内)的鱼、并将其叫到手20、容器22侧的计算处理(游戏处理)。该计算处理是基于预定的处理规则(算法)的处理，例如能够设想基于预定的算法(程序)的检索处理、移动控制处理、命中检查处理等。然后，以使该计算处理的结果被判断为向作为第二对象物的手20、容器22投影的鱼向手20、容器22投影的方式进行作为显示物的鱼的显示控制。例如，进行使鱼向手20、容器22侧移动等的显示控制。
此外，作为该情况下的基于处理规则的计算处理，能够设想各种处理。例如在后述的图10所示那样的将饵物品26放在手20的掌心的情况下，进行将更多的鱼叫到手20的跟前那样的计算处理。另一方面，在未乘有饵物品26的情况下，进行不将鱼叫到手20侧、减少叫来的鱼数量等的计算处理。如此一来，能够进行基于作为游戏处理的计算处理的结果的、显示物的显示控制。
另外，在第一对象物与第二对象物之间的关系从前提条件关系变化的情况下，处理部100进行与第一对象物和第二对象物之间的关系变化相应的显示物的显示控制。
例如，像后述的图4所示那样，从手20进入虚拟海面12(虚拟水面)的下方这样的前提条件关系的状态，变化为抬起手20而向虚拟海面12的上方伸出那样的关系。在这种情况下，处理部100进行与其关系变化(手从虚拟海面12的下方向上方伸出这样的变化)相应的鱼等显示物的显示控制。例如，在具有这样的关系变化的情况下，判断为捕获到鱼，进行表达鱼被手20捕获的状态的显示控制。例如，进行向手20显示(投射)鱼那样的显示控制。或者，进行手20之上的鱼跳起、或一闪发光那样的显示控制。在此，显示物的显示控制例如是使显示物移动、使显示物的举动(motion)变化、或者使显示物图像的颜色、亮度和纹理等属性变化的处理等。
具体来说，在第一对象物与第二对象物之间的关系发生变化的情况下，处理部100进行基于处理规则的计算处理，以使计算处理的结果被判断为向第二对象物投射的显示物向第二对象物投射的方式进行显示物的显示控制。例如，进行表达鱼被用户的手20捕获的样子那样的显示控制。或者，处理部100以使计算处理的结果被判断为不向第二对象物投射的显示物向第一对象物投射的方式进行显示物的显示控制。例如，进行表达捕获失败的鱼向作为第一对象物的游戏区域10侧逃脱的样子那样的显示控制。
例如，假设产生手20、容器22向虚拟海面12的上方伸出那样的关系变化。在该情况下，对于位于手20、容器22的中心附近的鱼，进行使其留在手20之上、容器22之中的显示控制。另一方面，对于位于手20的端部、容器22的边缘的鱼，进行从手20、容器22向游戏区域10侧逃脱的显示控制。例如，进行求出鱼是否位于从手20、容器22的中心位置(基准位置)起的预定范围内(预定半径内)的计算处理(基于处理规则的计算处理)。然后，在鱼位于预定范围内的情况下，以使该鱼向手20、容器22投射的方式进行鱼的移动控制等显示控制。另一方面，在鱼位于预定范围之外的情况下，以使该鱼从手20、容器22逃脱向游戏区域10投射的方式进行鱼的移动控制等显示控制。通过进行基于这样的计算处理的显示物的显示控制，能够实现通过手20、容器22捕获鱼这样的游戏处理，能够实现迄今为止没有的投影系统。
另外，在判断为第二对象物与第三对象物成为前提条件关系(狭义来说为前提条件位置关系)的情况下，处理部100进行将显示物显示于第三对象物的处理(显示于第三对象物位置的处理)。在此，将显示物显示于第三对象物的处理例如是在第三对象物的显示部(例如图1的显示部62)显示显示物、或者向第三对象物投射显示物的处理等。
例如，在第二对象物与第三对象物成为前提条件关系的情况下，判断为显示物(被捕获的显示物)在第三对象物位置被释放。该判断处理通过释放判断部109来进行。然后，进行将被释放的显示物显示于第三对象物的处理(显示于第三对象物位置的处理)。例如，利用手、容器等第二对象物捕获海洋生物等显示物，第二对象物与图1的桶60等第三对象物成为前提条件位置关系。例如，用户的手、容器等第二对象物成为靠近桶60等第三对象物那样的位置关系。在该情况下，处理部100(释放判断部109)判断为捕获的生物等被释放。然后，处理部100(图像生成处理部110)生成显示被捕获的生物等的图像来作为桶60在显示部62的显示图像。如此一来，能够生成看起来捕获的生物等被释放而宛如向桶60移动的图像。此外，在这种情况下，也可以进行向桶60等第三对象物投射捕获的生物等显示物的处理。
另外，处理部100基于传感器部50的检测信息，求出第一对象物与第二对象物的相对位置关系，判断第一对象物与第二对象物是否成为前提条件关系。例如在求出高度方向、横向上的相对位置关系而判断为成为前提条件关系的情况下，使第一投影图像和第二投影图像的至少一方的内容变化。
在此，相对位置关系是针对第二对象物相对于第一对象物的例如高度的关系。例如基于传感器部50的检测信息，求出高度方向上的第一对象物以及第二对象物的相对位置关系。例如，判断第二对象物相对于第一对象物或者相对于第一对象物设定的虚拟面位于上方还是位于下方等。然后，基于判断结果，使针对第一对象物以及第二对象物的第一投影图像和第二投影图像的至少一方的内容变化。
另外，处理部100基于传感器部50的检测信息进行设定于第二对象物的标记的识别处理。然后，基于识别处理的结果，获取第二对象物的位置信息，基于获取的位置信息，判断第一对象物与第二对象物是否成为前提条件关系。例如利用传感器部50拍摄设定于第二对象物的标记，由此获取拍摄图像，进行拍摄图像的图像识别处理等，获取第二对象物的位置信息。这些标记识别处理通过标记识别部104来进行。
即，针对第二对象物配置设定标记。例如在第二对象物为用户的部位的情况下，向用户的部位粘贴标记、或使用户的部位把持成为标记的物体。另外，在第二对象物为用户的把持物的情况下，将把持物自身(色彩、形状等特征量)作为标记、或者向把持物安装标记。然后，利用传感器部50识别该标记，基于识别结果而获取第二对象物的位置信息。例如根据拍摄图像进行标记的图像识别，基于图像识别的结果，求出标记的位置信息(高度信息等)，判断第一对象物和第二对象物是否成为前提条件关系。
例如，处理部100基于标记而求出第二投影图像被投射的第二投影区域。然后，进行向第二投影区域投射的第二投影图像的生成处理。例如基于标记的识别处理的结果，例如求出VRAM(显存)上的第二投影区域的位置(地址)，进行该第二投影区域处的第二投影图像的生成处理。然后，例如进行使第二投影图像的内容变化的处理等。
另外，处理部100在相对于作为第一对象物的游戏区域设定于前提条件位置的虚拟面上显示水面的图像，并且生成用于显示生物的图像的投影图像。例如生物既可以显示于虚拟面的下方，也可以显示于虚拟面的上方，也可以显示于虚拟面的边界。然后，投影部40、42将用于显示水面的图像与生物的图像的投影图像向游戏区域投射。此时，处理部100进行基于第二对象物的位置信息使得向游戏区域投射的第一投影图像与向第二对象物投射的第二投影图像的至少一方的内容变化的处理。例如进行使第一投影图像和第二投影图像的一方的内容变化的处理或者使两方的内容变化的处理。然后，变化处理后的第一投影图像、第二投影图像通过投影部40、42向第一对象物以及第二对象物投射。
另外，处理部100进行在向游戏区域投射的第一投影图像与向第二对象物投射的第二投影图像的至少一方的图像中使显示物出现的处理、使显示物消失的处理、以及变更显示物的图像的处理中的至少一个处理。这样一来，根据第二对象物(例如用户的部位或者把持物)的位置信息，显示物出现、消失或使其图像变化。
另外，处理部100进行设定于第二对象物的标记的识别处理，基于识别处理的结果，获取第二对象物的位置信息。然后，基于获取的位置信息，进行使第一投影图像和第二投影图像的至少一方的内容变化的处理。这样一来，能够利用设定于第二对象物的标记，获取第二对象物的位置信息，使第一投影图像、第二投影图像的内容变化。
另外，优选的是，在基于第二对象物的位置信息判断为游戏区域与第二对象物成为前提条件关系的情况下，处理部100使第一投影图像和第二投影图像的至少一方的内容变化。另外，优选的是，处理部100基于传感器部50的检测信息而获取第二对象物的位置信息。
另外，投影部40、42通过投射映射将用于显示水面的图像与生物的图像的投影图像相对于游戏区域投射。例如对进行了变形校正等的投影图像进行投射。在这种情况下，游戏区域如后述那样例如为沙地。另外，处理部100生成将水面以及生物动画显示的投影图像。这样一来，能够显示看起来生物在水面下实时移动那样的图像。然后，投影部40、42设置于游戏区域的例如上方。由此，能够将用于显示水面、生物的投影图像从游戏区域的上方向游戏区域投射。
2.本实施方式的方法
2.1余兴节目的概要
首先，对通过本实施方式的方法实现的余兴节目的概要进行说明。在本实施方式中，在余兴节目的设施设置图1所示那样的游戏区域10。该游戏区域10成为沙地，供孩子玩沙子。
然后，向作为沙地的游戏区域10，通过使用了投影部40、42的投影映射，如图3的(A)所示那样投射显示海水、海洋生物等的图像。孩子利用手掌捞捕模拟的生物。然后，当使捕获到生物的手向图3的(B)所示那样的桶60位置移动时，捕获的生物被显示部62显示。例如在桶60的上部设置平板电脑，在该平板电脑的显示部62显示捕获的生物。
此外，通过本实施方式的方法来实现的余兴节目不限于图1那样的余兴节目。例如也能够适用于表达沙地、海以外的区域的余兴节目、实现与海洋生物的捕获不同的游戏的余兴节目等。另外，本实施方式的方法不仅适用于图1那样的大型的余兴节目，还能够适用于例如在装置内设有游戏区域的业务用游戏装置等。
根据通过本实施方式的方法实现的余兴节目，父母无需担心孩子的安全等，也不会感到特地出游至遥远的大海那样的麻烦。而且，能够亲子一同感受到在真实的海边欢闹的乐趣。孩子不会因未能抓到迅速逃回大海的小生物而放弃，能够利用自己的手来捕捉。另外，能够轻松地尽情感受到拾取贝壳、与涨落的波浪嬉戏那样的在真实的海边欢闹的乐趣。
因此，在本实施方式的余兴节目中，准备能够轻松外出的屋内的沙地即游戏区域10，还模仿波浪的声音、小岛的鸣声等环境，现实再现真实的南国沙滩。然后，通过朝向沙子的投影映射，宛如真实地再现涨落的浅沙滩的海面、波浪。例如，根据情形再现涨潮整体成为水面、或落潮后呈现浅沙滩的样子。另外，在孩子的脚接触的水面上交替产生水花、波纹。在落潮而出现的浅滩上，利用检测沙地的高度信息的传感器部50，在低洼部分再现水洼。另外，若孩子挖掘沙子，则其场所成为水洼。然后，利用投影系统来投射进行游泳或在沙子之上行进的海洋生物的图像，使之宛如活的一样，孩子能够享受利用手掌捞捕这些生物的游戏。
针对捞起的手掌，也通过投影映射，动画显示海水与捕捉的生物。然后，孩子能够将捕捉到的生物移到桶60之中进行观察。另外，能够将捕捉到的生物移到智能手机中而带回家。即，通过将捕捉到的生物显示于桶60的显示部62、智能手机的显示部，使孩子感受到宛如真实捕捉到生物那样的感觉。在这种情况下，例如在再次来到余兴节目的设施时，能够将自身怀念的生物呼叫至自身的周围。然后，也实现自身怀念的生物绕自身周围游泳或追随后方过来这样的、与生物间的交流要素。
如此，在本实施方式的余兴节目中，在作为沙地的游戏区域10中通过投影映射来投射图像，孩子捕捉海洋生物。例如，首先进行“在限制时间内亲子协作，拾取满满！”等广播。然后，当投出模拟饵食的发光球等时，鱼聚集过来。家长吧唧吧唧地跺脚而追赶鱼，孩子捕获被追赶的鱼。另外，在涨潮时进行微波袭来的演出，落潮后显示许多贝壳、鱼。孩子也能够使用耙子或铲子而挖掘沙子，寻找在沙子之中隐藏的宝物。
另外，在余兴节目中存在较大的工作台变化。例如在通常状态下涨潮时，沙地的大部分成为水面，鱼随机游动。
然后，形成落潮，沙地的水退去。落潮时显现海底(沙子)，在凹陷部分残留大大小小的海水洼。在其海水洼之中，游动有在涨潮时位于此且因落潮而残留的鱼，孩子容易捕获该鱼。另外，在涨潮时不存在的寄居蟹、螃蟹、虾蛄等生物出现在沙子之上。
接下来，成为大浪袭来的机会时间。例如大浪袭来而使高速的潮流疏浚沙地整面。另外，大鱼乘浪到来，或者在被波浪冲刷后露出的沙子底部出现宝石、珍贵的贝壳等。
2.2朝向对象物进行的投影图像的投影方法
为了实现以上那样的余兴节目等，在本实施方式中，基于传感器部50的检测信息而获取第一对象物和第二对象物的至少一方的位置信息。然后，基于获取的位置信息，判断第一对象物和第二对象物是否成为前提条件关系。然后，在判断为成为前提条件关系的情况下，使向第一对象物投射的第一投影图像与向第二对象物投射的第二投影图像的至少一方的内容发生变化。例如在与第一对象物对应的第一投影面和与第二对象物对应的第二投影面成为前提条件关系的情况下，使向第一投影面投射的第一投影图像或者向第二投影面投射的第二投影图像的内容发生变化。
具体来说，如图4所示，将用于表达虚拟海岸的虚拟海面12、鱼14、15的投影图像投射到游戏区域10。然后，在用户(孩子等)将手20放入通过投影映射表达的虚拟海面12(广义来说为虚拟面)的下方时，鱼14、15靠过来。在这种情况下，例如也可以当用户将带有标记的饵物品放在手20上而将手20放入虚拟海面12之下时，使鱼14、15朝向该饵物品靠过来。
然后，在像这样鱼靠近的状态下，用户将手20抬起至虚拟海面12的高度以上(预定阈值以上)。于是，将从手20(或者饵物品)起位于预定范围内的鱼判断为“捕获”，除此以外的鱼判断为“逃脱”。然后，针对判断为捕获的鱼，向用户的手20(广义来说为第二对象物)投射其图像。另一方面，针对判断为逃脱的鱼，将看起来该鱼逃到海中的图像向游戏区域10(广义来说为第一对象物)投射。在此，在捕获的判断中使用的预定范围也可以例如以将显示手颜色的范围中的正中附近作为有效范围的方式将颜色信息设定为判断材料。
在用户捕获鱼之后，在用户的手20靠近桶60的位置(例如能够通过图像标记等识别的位置)，桶60(广义来说为第三对象物)与手20(第二对象物)成为前提条件位置关系的情况下，鱼朝向桶60移动的判断成立。该判断能够通过例如进行设定于桶60的位置的前提条件范围与设定于手20的位置的前提条件范围的交叉判断等来实现。然后，当判断为鱼向桶60移动时，在桶60(桶物品)的显示部62(平板电脑的显示器)显示该鱼的图像。由此，能够使捕获的鱼看起来宛如在桶60中移动。
接下来，对实现本实施方式的方法的具体处理例进一步说明。此外，以下，以第一对象物为游戏区域10、第二对象物为用户的手的情况作为主要例子进行说明，但本实施方式不限于此。第一对象物也可以是游戏区域10以外的物体，第二对象物可以是例如用户的手以外的部位，也可以是用户的把持物(容器等)。
例如图4的传感器部50具有拍摄彩色图像(RGB图像)的通常的摄像机52(拍摄部)、以及检测深度信息的深度传感器54(测距传感器)。深度传感器54能够采用例如根据投射的红外线自对象物反射而返回的时间来获得深度信息的TOF(Time Of Flight：飞行时间)方式。在该情况下，深度传感器54能够通过例如投射脉冲调制后的红外线的红外线投影仪与检测从对象物反射回来的红外线的红外线摄像机来实现。或者，也可以采用读取投射的红外线图案根据图案变形获得深度信息的光编码方式。此时，深度传感器54能够通过投射红外线图案的红外线投影仪与读取投射的图案的红外线摄像机来实现。
在本实施方式中，使用该传感器部50(深度传感器54)来检测游戏区域10等的高度信息。具体来说，如图5所示，将各分割区域(例如1cm×1cm的区域)处的高度信息h11、h12、h13···作为高度信息映射(深度信息映射)，基于来自传感器部50的检测信息(深度信息)而获取。将获取的高度信息作为高度信息映射而存储于图2的高度信息存储部156。
例如，在图4中，将从传感器部50观察的俯视下的平面设为由X轴、Y轴限定的XY平面，将与XY平面正交的轴设为Z轴。XY平面是同与游戏区域10对应的第一投影面(实际上存在凹凸，但作为其平均值的平面)平行的平面。Z轴是沿着传感器部50(深度传感器54)面朝方向的轴。在这种情况下，图5的高度信息是Z轴方向上的高度信息(深度信息)。例如是以游戏区域10(第一投影面、第一对象物)的位置为基准的Z轴方向上的高度信息。在图4中，该Z轴方向成为从游戏区域10朝向设于其上方的传感器部50的方向(在附图中为上方向)。然后，在图5的高度信息映射中，存储有XY平面上的各分割区域处的高度信息h11、h12、h13···。
此外，在通过传感器部50的深度传感器54检测出的深度信息为从深度传感器54的位置朝向各点(各分割区域)的直线距离信息的情况下，通过进行将该距离信息转换成上述那样的Z轴方向上的高度信息的处理，能够获得图5的高度信息映射。
然后，在如图4那样手20位于游戏区域10的上方的情况下，在图5的高度信息映射中与手20的位置对应的分割区域处，存储有手20(广义来说为第二对象物)的高度信息。因此，通过使用图5的高度信息映射，不仅获取游戏区域10的各位置处的高度信息，也能够获取手20的高度信息。
然后，在本实施方式中，基于该高度信息(深度信息)，生成并投射朝游戏区域10等的投影图像。例如生成显示海水、海洋生物的投影图像而向游戏区域10等投射。由此，例如像所述那样，能够仅向沙子的凹陷部分投射海水、海洋生物的图像等。例如当用户挖起沙子时，其位置成为水洼，如图4所示，能够生成鱼14、15在其水洼中游泳那样的图像。
此外，在生成投影图像时，进行与通常的三维图像(模拟三维图像)的生成处理相同的处理。例如进行在目标空间中配置设定与鱼14、15对应的目标的处理。另外，以在距离游戏区域10的投影面起前提条件高度处设定虚拟海面12而在该虚拟海面12显示海面图像的方式进行目标空间的配置设定处理。然后，将在目标空间中从前提条件观察位置观察到的图像生成为投影图像。此外，“前提条件观察位置”优选设定为尽可能再现注视于该区域的用户的观察位置，但在用户为多个人的情况下难以实现，因此作为最代表性的观察位置，也可以设定为来自正上方的平行投射下的描绘。
这样一来，能够使模拟的虚拟海面12宛如真实存在的海面那样被用户识别，执行各种处理。例如，能够将看起来在虚拟海面12位置显示海面的图像并在其下方使鱼14、15游泳的模拟的三维图像生成为投影图像。
另外，在本实施方式中，基于来自传感器部50(深度传感器54)的检测信息(深度信息)，也能够检测手20的高度信息(Z轴方向上的高度)。即，如前述那样，在图5的高度信息映射中，在与手20的位置(XY平面下的位置)对应的分割区域储存手20的高度信息。该情况下的手20的位置能够通过例如根据传感器部50的摄像机52所拍摄的彩色图像来检测手20的颜色(与其它区域相比接近肤色的颜色)的区域等来确定。或者，也可以如后述那样通过对设定于手20位置的标记进行识别处理来确定。
接下来，判断手20的高度是否低于虚拟海面12(虚拟面)的高度(Z轴方向上的高度)。然后，在手20的高度低于虚拟海面12的情况下，判断为手20位于水中，在手20的手掌上也投射海水图像。另外，在手20位于水中的情况下，生成鱼14、15向手20侧移动那样的图像。
接下来，当在鱼位于手20的手掌上的状态下，用户将手20抬起至比虚拟海面12高的位置时，进行鱼的捕获判断。即，在判断为手20伸出到水之外时，进行是否捕获到鱼的捕获判断。具体来说，将位于以此时的手20位置(XY平面下的位置)为中心的预定范围区域(XY平面下的区域)之中的鱼判断为被捕获。另一方面，将位于预定范围区域之外的鱼判断为未被捕获而逃脱。
例如在图6的(A)中，判断为鱼14被捕获。此时，在判断为手20从水中出来之后，还在手20的手掌上投射鱼14、海水的图像。由此，能够对用户给予宛如利用自己手20实际捕获鱼14那样的虚拟现实感。
在这种情况下，即便在用户移动、或仅活动手20而使手20的位置移动的情况下，生成鱼14追随手20的移动而移动的图像。这样一来，即便在手20从水中出来进行移动的情况下，也能够生成在手20上载有鱼14的图像。此外，例如在手20位置向上方移动的情况下，由于图1的投影部40(42)与手20的距离缩小，在保持该状态下随着向上方移动而鱼14的大小看起来较小。
例如在图13中，B1表示抬起前的手20的范围，B2表示抬起后的手20的范围。另外，C1表示抬起手20之前的鱼14的位置以及大小，C2表示抬起手20之后的鱼14的位置以及大小。如C1、C2所示，随着手20向上方移动，鱼14的大小看起来较小。为了校正该情况，也可以根据高度进行放大或缩小鱼14的尺寸的处理。例如C3表示进行校正处理(放大或缩小以及后述的位置调整)时的鱼14的位置以及大小，相对于C2进行放大鱼14的图像(映像)的处理。
另外，同样如图13所示，当在手20的位置并非投影部40(42)的正下方的状况下手20向铅垂上方移动时，如C1、C2所示，产生鱼14的图像(映像)看起来从手20的位置向投影部40(42)的一侧偏移的现象。为了校正该情况，通过考虑了高度的计算，如C3所示那样也可以进行将鱼14的图像在保持与手20的位置关系的状态下显示出那样的位置调整的处理。
这样，在图13中，基于手20等第二对象物的高度信息等位置信息(投影部40、42与第二对象物的位置关系)，进行向第二对象物投射的鱼14等显示物的显示位置的调整处理和尺寸的调整处理的至少一方。这样一来，在判断为游戏区域10(游戏区域)等第一对象物与手20等第二对象物成为前提条件关系的情况下，能够实现将朝向第一对象物的投射对象即鱼14等显示物追随手20等第二对象物进行投射的第二投影图像的适当的生成处理。
在图6的(B)中，在A1所示的位置，手20从水中伸出，被判断为未捕获到鱼15、16而逃脱。即，由于在从水中伸出手20时，鱼15、16位于以手20的位置为中心的预定范围区域之外，因此判断为未能捕获。此时，生成未能捕获的鱼15、16例如从A1位置向外侧游动而逃脱那样的投影图像，向游戏区域10投射。这样一来，能够使用户视觉上识别出捕获鱼15、16失败。此外，在手20从水中伸出的A1位置的周围，例如生成波纹扩散那样的图像。
另一方面，在如图6的(A)那样捕获到鱼14的状态下，用户使手20向图1的桶60位置移动。即，用户的手20(第二对象物)靠近桶60(第三对象物)的位置，成为前提条件位置关系。于是，判断为将捕获到的鱼14向桶60释放。然后，如图3的(B)所示，进行将捕获到的鱼14显示于桶60的显示部62的处理。由此，实际上能够对用户给予捕获鱼14并将其移至桶60那样的虚拟现实感。
如以上那样，根据本实施方式，基于传感器部50的检测信息(深度信息)，获取游戏区域10(第一对象物)、手20(第二对象物)的位置信息。具体来说，如图4、图5所说明的那样，作为位置信息，获取游戏区域10的高度信息(各分割区域中的高度信息)、手20的高度信息。此外，在游戏区域10的高度信息预先作为表信息而存储于存储部150的情况下，仅获取手20的高度信息(广义来说为位置信息)即可。
然后，基于获取的位置信息，判断游戏区域10与手20是否成为前提条件关系。具体来说，基于传感器部50的检测信息而求出游戏区域10与手20的相对位置关系，由此判断是否成为前提条件关系。该相对位置关系如图4、图5所说明的那样是针对手20(第二对象物)相对于游戏区域10(第一对象物)的高度的关系等。
然后，当判断为游戏区域10与手20成为前提条件关系时，进行使朝向游戏区域10的第一投影图像和朝向手20的第二投影图像的至少一方的内容变化的处理。
例如像图4那样，当基于游戏区域10与手20的高度信息(广义来说为位置信息)判断为手20放入水中时，将海水的图像向手20投射，朝向手20的第二投影图像的内容发生变化。另外，生成鱼14、15靠近手20侧的图像，朝向游戏区域10的第一投影图像的内容发生变化。
另外，当基于游戏区域10与手20的高度信息而判断为手20从水中伸出时，如图6的(A)所示那样将捕获到的鱼14、海水的图像向手20的手掌投射，朝向手20的第二投影图像的内容发生变化。另外，如图6的(B)所示那样生成捕获失败的鱼14、15从A1位置逃脱的图像，朝向游戏区域10的第一投影图像的内容发生变化。
如以上那样，根据本实施方式，与只是将投影图像向对象物投射的系统不同，能够将反映游戏区域10、手20等对象物的位置信息等的投影图像向该对象物投射。例如以能够在多个对象物间移动图像的方式充分利用对象物间的相对位置关系。因此，当游戏区域10、手20等对象物的位置关系发生变化时，与之相应，向这些对象物投射的投影图像也发生变化。因此，根据用户的动作，将反映了其动作的投影图像向对象物投射，能够实现在迄今为止的系统中无法实现的交互性高的投影系统。然后，通过在余兴节目等中应用本实施方式的投影系统，能够实现具有趣味性且长时间游戏也不会厌烦的余兴节目等。
另外，在本实施方式中，如图4所示，求出相对于游戏区域10(第一对象物)设定于前提条件位置的虚拟海面12(虚拟面)与手20(第二对象物)的位置关系，判断游戏区域10与手20是否成为前提条件关系。例如，当判断为手20的高度低于虚拟海面12时，判断为手20放入水中，向手20投射海水图像或者在手20上生成鱼14、15靠过来的图像。另一方面，在手20放入水中之后，当判断为手20的高度比虚拟海面12变高时，判断为手20从水中伸出，生成将捕获到的鱼14向手20的手掌投射的图像、或生成捕获失败的鱼15、16逃脱的图像。
这样，并非使用作为第一对象物的游戏区域10自身，而是使用设定于游戏区域10的虚拟海面12进行与作为第二对象物的手20的位置关系的判断处理，由此能够通过简单处理实现在水中捕获生物的处理等。
另外，在本实施方式中，使第一投影图像、第二投影图像的内容变化的处理是例如在第一投影图像与第二投影图像的至少一方的图像中使显示物出现的处理、使显示物消失的处理、或者变更显示物的图像的处理。
例如在图6的(A)中，在手20的第二投影图像中，进行使作为显示物的鱼14出现的处理。此时，在游戏区域10的第一投影图像中，进行使鱼14消失的处理。
另外，在图6的(B)中，在游戏区域10的第一投影图像中，进行将作为显示物的鱼15、16的图像变更为从A1位置逃脱的图像的处理。另外，在图4中，当判断为手20放入水中时，进行将鱼14、15的图像变更为向手20侧靠过来的图像的处理。
另外，在图6的(A)中，在捞起鱼14而捕获成功的情况下，也可以以使鱼14闪光的方式进行作为显示物的鱼14的图像的变更处理。另外，当将捕获到的鱼14拿到桶60位置时，也可以通过进行感受为手20的手掌上的鱼14例如蹦跳的动画显示的方式进行鱼14的图像的变更处理。然后，鱼14蹦跳后从手20的手掌消失而显示于桶60的显示部62。
这样一来，宛如通过使游戏区域10与手20成为前提条件关系(位置关系)而使鱼14出现或消失，能够使用户感受到其图像变更，能够提高投影系统中的交互性。
另外，在本实施方式中，在判断为游戏区域10与手20成为前提条件关系的情况下，以使朝向游戏区域10(第一对象物)的投射对象即鱼14如图6的(A)所示那样向手20(第二对象物)投射的方式进行第二投影图像的生成处理。即，将原本被设为朝向游戏区域10的投射对象的鱼14的显示物也向手20投射。由此，能够表达迄今为止没有的投影图像。
具体来说，在本实施方式中，在判断为游戏区域10与手20成为前提条件关系的情况下，判断为朝向游戏区域10的投影对象即鱼14被手20捕获。然后，以使判断为被捕获的鱼14向手20投射的方式进行第二投影图像的生成处理。即，在手20放入水中之后，当判断为手20伸出到比虚拟海面12高处时，判断为位于以手20为中心的预定范围区域内的鱼14被捕获。然后，如图6的(A)所示，生成将捕获到的鱼14向手20投射的第二投影图像。如此一来，能够对用户给予能够感受为利用手20实际捕获在游戏区域10中游动的鱼14等的虚拟现实感。
在这种情况下，如图6的(B)所示，针对判断为未能捕获的鱼15、16的显示物，以向游戏区域10投射的方式进行第一投影图像的生成处理。这样一来，用户不仅对于捕获到的鱼14且对于捕获失败而逃脱的鱼15、16也能够通过观察游戏区域10的第一投影图像而视觉上识别其游动的身姿，能够进一步提高用户的虚拟现实感。
另外，在本实施方式中，在判断为手20(第二对象物)与桶60(第三对象物)成为前提条件关系的情况下，进行用于将判断为捕获到的鱼14的显示物显示于桶60的位置的处理。例如图6的(A)所示，在用户捕获到鱼14之后，将其手20移动到图1的桶60位置时，判断为捕获到的鱼14释放到桶60中。然后，进行将捕获到的鱼14显示于桶60的显示部62的处理。此时，对于投射到手20的鱼14也进行使其从第二投影图像消失的处理。这样一来，用户能够将捕获到的鱼移至桶60进行储存，能够对用户给予实际抓鱼那样的虚拟现实感。然后，例如在余兴节目的游戏结束时，通过使储存于桶60的鱼的图像显示于用户的智能手机等便携式信息终端，用户能够将捕获到的鱼带回家。由此，能够实现在迄今为止的系统中无法实现的抓鱼等余兴节目。
2.3标记的设定
以上，对检测第二对象物的高度信息等而实现本实施方式的方法的情况进行了说明，但本实施方式不限于此。例如也可以基于来自传感器部50的检测信息进行设定于第二对象物的标记的识别处理，基于识别处理的结果，获取第二对象物的位置信息，基于获取的位置信息，判断第一对象物与第二对象物是否成为前提条件关系。
例如在图7的(A)中，利用用户的手20把持作为第二对象物的容器22(广义来说为把持物)。然后，针对作为第二对象物的容器22设定有标记24。在此，容器22模拟半球状的椰子的果实，针对其圆状的边缘部分设定有黑色的标记24。利用图4的传感器部50的摄像机52拍摄该黑色的圆状的标记24，基于获得的拍摄图像进行标记24的识别处理。
具体来说，针对来自摄像机52的拍摄图像进行图像识别处理，提取与标记24对应的黑圆的图像。然后，求出该黑圆的例如中心位置而使其成为作为第二对象物的容器22的位置。即，求出图4中所说明的XY平面下的容器22的位置。然后，从图5的高度信息映射中获取与求出的容器22的位置(X，Y)对应的高度信息(Z)。换句话说，使用根据来自传感器部50的深度传感器54的深度信息求出的高度信息映射，求出与容器22在XY平面中的位置对应的高度信息，将其设为容器22的高度。
然后，与图4同样，当判断为作为第二对象物的容器22的高度低于虚拟海面12时，判断为容器22放入水中，对容器22投射海水的图像。另外，生成鱼14、15向容器22侧靠过来的图像。之后，当判断为容器22的高度比虚拟海面12高时，判断为容器22从水中伸出，进行鱼的捕获判断。然后，在判断为捕获到鱼的情况下，与图6的(A)同样，生成将捕获成功的鱼14向容器22投射的图像。另外，与图6的(B)同样，生成捕获失败的鱼15、16从A1位置逃脱的图像。
在例如根据传感器部50的摄像机52的拍摄图像检测手20的颜色(接近肌肤色的颜色)而求出手20的位置的方法中，存在难以稳定且恰当地检测手20的位置这样的课题。另外，在如图6的(A)那样捕获到鱼14的情况下，也存在受到手20的褶皱、颜色的影响而难以将鱼14等图像相对于手20鲜明地投射这样的课题。
关于这点，在图7的(A)的方法中，基于设定于容器22的标记24的识别处理的结果，检测容器22的位置。因此，与基于手20的颜色等检测手20位置的方法相比，存在能够稳定且恰当地检测作为第二对象物的容器22的位置这样的优点。另外，通过适当地设定容器22的投影面等，也存在能够将捕获到的鱼的图像、海水图像等以鲜明的图像对容器22的投影面投射这样的优点。
另外，如图7的(B)所示，也能够进行如下处理，即，进行标记24的图案识别，基于图案识别的结果，使靠向用户侧的鱼的种类不同等。
例如在标记24的图案为图7的(B)的左侧的图案的情况下，在判断为容器22放入水中的情况下，使与该图案建立对应关系的鱼15向容器22侧靠过来。另一方面，在标记24的图案为图7的(B)的右侧的图案的情况下，使与该图案建立对应关系的鱼16向容器22靠过来。
具体来说，如图8所示，准备将鱼的显示物ID与各标记图案建立对应关系而成的标记图案信息(表)。该标记图案信息存储于图2的标记图案存储部154。然后，通过针对来自传感器部50的摄像机52的拍摄图像进行的图像识别处理，判断是否检测到图8的任一标记图案。然后，在判断为容器22放入水中的情况下，使与检测到的标记图案对应的鱼出现，生成向容器22侧靠过来的图像。
如此一来，用户能够根据所持的容器22的标记24的图案而容易捕获不同种类的鱼。因此，能够实现长期游戏也不会厌烦的余兴节目等。
此外，作为朝向容器22(把持物)的投影图像(第二投影图像)的投影方法而能够设想各种方法。例如在图9的(A)中，针对容器22的半球状的内表面，通过投影部40投射有投影图像。
另一方面，在图9的(B)中，针对容器22的上部设定平面的投影面21。然后，针对该平面的投影面21，通过投影部40投射有投影图像。这样一来，例如容易对容器22投射变形较少的投影图像。例如在图9的(A)中，为了投射变形较少的投影图像，需要进行反映容器22的半球状的内表面形状、投影仪的位置与用户的观察位置的变形校正。例如利用算式等表示容器22的半球状的内表面形状，使用该算式等进行变形校正。
与此相对，根据图9的(B)的方法，存在即便不进行这样的变形校正也能够对容器22投射变形较少的投影图像这样的优点。另外，在使其它的用户、观察者观看用户获得到的鱼的情况下，无法针对多个观察位置同时进行适当的变形校正，但容器自身的凹凸更少的图9的(B)的情况还存在从各观察位置平等地观看到这样的优点。
另外，使用标记的方法不限于由图7的(A)、图7的(B)等说明的方法。例如，也可以预先将使用红外线墨、逆向反射性材料等而将游戏者看不到的二维码通过印刷、涂敷、粘合等配置于容器22的底面内侧，利用红外线摄像机拍摄该二维码。
作为其它的例子，在图10中，准备多个饵物品26。在各饵物品26例如设有红外线LED标记。
当用户将该饵物品26放在手20的手掌时，使用传感器部50的摄像机52对该红外线LED标记的发光图案进行图像识别，由此确定饵物品26(手20)的位置。然后，生成鱼靠近饵物品26的图像。另外，例如显示鱼啄食饵物品26的动画，此时使饵物品26振动。即，通过设于饵物品26的振动机构使饵物品26振动，将该振动向用户的手20传递。
然后，当成功捞起鱼时，被手20的手掌捕获的鱼吧嗒吧嗒地跳跃，将其振动向用户的手20传递。例如通过使饵物品26振动，将振动向用户的手20传递。由此，能够对用于给予宛如捞捕了真实鱼那样的虚拟现实感。
在这种情况下，如图10所示那样准备多个饵物品26，根据各饵物品26，靠过来的鱼的种类不同。例如各饵物品26的红外线LED标记以相互不同的发光图案进行发光。因此，通过图像识别来辨别该发光图案的种类，在用户将载有饵物品26的手放入虚拟海面12(虚拟水面)之下时，与发光图案的种类相应的鱼向饵物品26靠过来。如此一来，按照每个用户而不同的鱼靠过来，能够增加游戏的乐趣、变化。
此外，针对各饵物品26不使用可见光LED而使用红外光的LED标记的理由在于，投影仪的光线为可见光，因此在辨别配置于其中的LED时，与可见光相比，红外光的LED更容易辨别。若能够辨别，则也可以使用可见光LED，也可以使用印刷有标记图案的纸片等或者对各饵物品26直接印刷标记图案。
另外，对各饵物品26，也可以替代红外线LED标记而内置有NFC(近距离无线通信)的芯片。然后，也可以将该NFC的芯片输出的通信信号作为标记而使鱼向饵物品26靠过来。
另外，在本实施方式中，如图11所示，也可以基于设于容器22、饵物品26的标记，求出被投射第二投影图像的第二投影区域RG2，进行向第二投影区域RG2投射的第二投影图像IM2的生成处理。
例如在图11中，在描绘图像的VRAM中，在第一投影区域RG1描绘向游戏区域10等第一对象物投射的第一投影图像。另一方面，在第二投影区域RG2描绘向容器22、手20等第二对象物投射的第二投影图像。该VRAM上的图像由图1的投影部40、42分担，向游戏区域10以及容器22或手20投射。
具体来说，基于标记24的识别结果，确定VRAM上的第二投影区域RG2的位置(地址)，针对所确定的第二投影区域RG2，描绘向容器22、手20等第二对象物投射的第二投影图像IM2。然后，在例如判断为图6的(A)所示那样捕获到鱼14的情况下，如图11所示，生成捕获成功的鱼14出现并闪光那样的第二投影图像IM2，且向第二投影区域RG2描绘。另外，如图6的(B)所示，生成捕获失败的鱼15、16从手20伸出的A1位置逃出那样的第一投影图像IM1，且向第一投影区域RG1描绘。
另外，当捕获到鱼14的用户使容器22或手20移动时，与其相应而使第二投影区域RG2的位置也发生变化。然后，当判断为向桶60位置移动容器22或手20且鱼14被释放到桶60时，生成所释放的鱼14消失那样的第二投影图像IM2，向第二投影区域RG2描绘。
这样能够以简单的描绘处理来实现进行图11所示那样的描绘处理的、使第一投影图像IM1、第二投影图像IM2的内容变化的处理。
此外，以上对游戏区域10是其投影面成为与水平面(地面)接近平行的状态那样的沙地等区域的情况进行了说明，但本实施方式不限于此。例如图12所示，也可以是其投影面与水平面正交(交叉)那样的游戏区域10。该游戏区域10模拟瀑布，用户例如拿着设有标记的手网等捕获鱼14。在游戏区域10的侧旁设有投影部40、传感器部50，投影部40将瀑布的图像向游戏区域10投射。然后，传感器部50检测沿水平面方向上的高度信息等，由此判断用户所持的手网是否进入虚拟水面、是否捕获到鱼14等。另外，也进行在手网进入的水面部分例如溅起水花等的显示处理。
3.详细处理
接下来，使用图14的流程图对本实施方式的详细处理例进行说明。
首先，基于传感器部50的检测信息，如图4、图5所说明的那样获取游戏区域10的高度信息(步骤S1)。然后，基于获取的高度信息，向游戏区域10投射海水图像(步骤S2)。例如，以使游戏区域10的沙地的凹陷部分形成海水水洼的方式投射海水图像。
接着，利用传感器部50对设定于手或者容器的标记进行图像识别，将标记的高度信息获取为手或者容器的高度信息(步骤S3、S4)。例如通过使用了传感器部50的摄像机52的拍摄图像的图像识别，求出标记的位置(XY平面)，基于标记的位置而从图5的高度信息映射获取标记的高度信息。
接着，判断手或者容器的高度是否低于虚拟海面的高度(步骤S5)。然后，当低于虚拟海面时，向手或者容器投射海水图像(步骤S6)。
图15是表示鱼的捕获判断等的详细处理例的流程图。
首先，如图4所说明的那样，在手或者容器放入虚拟海面之下以后，判断是否抬起至比虚拟海面高(步骤S11)。然后，在抬起至比虚拟海面高时，将位于距离此时的手或者容器的位置起的预定范围区域的鱼判断为捕获到的鱼，将除此之外的鱼判断为逃脱的鱼(步骤S12)。然后，进行将捕获到的鱼的图像显示于手或者容器的投影图像并将逃脱的鱼显示于游戏区域10的投影图像的处理(步骤S13)。例如作为朝向图11的第二投影区域RG2的第二投影图像IM2，生成显示捕获到的鱼14的图像，作为朝向第一投影区域RG1的第一投影图像IM1，生成显示逃脱的鱼15、16、17的图像。
图16是表示鱼的释放判断等的详细处理例的流程图。
首先，通过传感器部50检测捕获到鱼的手或者容器的位置与桶的位置(步骤S21)。然后，判断手或者容器的位置与桶的位置是否成为前提条件位置关系(步骤S22)。例如判断手或者容器的位置是否与桶的配置位置重叠。然后，在成为前提条件位置关系的情况下，判断为捕获到的鱼被释放到桶中，将该鱼的图像显示于桶的显示部(步骤S23)。
此外，如上述那样对本实施方式进行了详细说明，但能够进行没有实质脱离本发明的新事项以及效果的大量变形，这对于本领域技术人员而言是容易理解的。因此，这样的变形例全部包含于本发明的范围。例如，在说明书或者附图中，至少一次一并记载有更广义或者同义的不同术语(第一对象物、第二对象物、虚拟面等)的术语(游戏区域、手、容器、把持物、虚拟海面等)在说明书或者附图的任意位置处也能够置换为该不同术语。另外，投影图像的投影方法、针对第一对象物和第二对象物的关系的判断方法、投影图像的生成方法、捕获判断方法、释放判断方法等也不限于本实施方式所说明的内容，与这些等同的方法也包含于本发明的范围。另外，本发明的方法能够适用于各种余兴节目、游戏装置。
附图标记说明
10、游戏区域；12、虚拟海面(虚拟面)；14、15、16、17、鱼；20、手；21、投影面；22、容器；24、标记；26、饵物品；RG1、RG2、第一投影区域、第二投影区域；IM1、IM2、第一投影图像、第二投影图像；40、42、投影部；50、传感器部；52、摄像机；54、深度传感器；60、桶；62、显示部；90、处理装置；100、处理部；102、位置信息获取部；104、标记识别部；106、位置关系判断部；108、捕获判断部；109、释放判断部；110、图像生成处理部；112、变形校正部；120、I/F部；150、存储部；152、显示物信息存储部；154、标记图案存储部；156、高度信息存储部。

Claims (22)

1.一种投影系统，其特征在于，
所述投影系统包括：
投影部，投射投影图像；以及
处理部，基于传感器部的检测信息而获取第一对象物和第二对象物的至少一方的位置信息，进行所述投影图像的生成处理，
所述处理部基于所获取的所述位置信息判断针对所述第一对象物设定于前提条件位置的虚拟面与所述第二对象物是否成为前提条件位置关系，并在判断为所述虚拟面与所述第二对象物成为所述前提条件位置关系时，进行使向所述第一对象物投射的第一投影图像与向所述第二对象物投射的第二投影图像的至少一方的内容变化的处理，
所述第一对象物是表面大致沿着水平方向的游戏区域，用户在所述第一对象物上玩显示物的捕获游戏，
所述第二对象物是所述用户的部位或者把持物，
所述处理部将如下关系判断为所述前提条件位置关系，即所述第二对象物位于所述虚拟面的下方，并且在垂直于所述虚拟面的方向上的俯视下，所述第二对象物与移动的显示物重叠。
2.根据权利要求1所述的投影系统，其特征在于，
在判断为所述虚拟面与所述第二对象物成为所述前提条件位置关系时，所述处理部在向所述第一对象物投射的所述第一投影图像和向所述第二对象物投射的所述第二投影图像的至少一方的图像中进行使所述显示物出现的处理、使所述显示物消失的处理以及变更所述显示物的图像的处理中的至少一个处理。
3.根据权利要求1或2所述的投影系统，其特征在于，
在判断为所述虚拟面与所述第二对象物成为所述前提条件位置关系时，所述处理部以使朝向所述第一对象物的投影对象即所述显示物向所述第二对象物投射的方式进行所述第二投影图像的生成处理。
4.根据权利要求3所述的投影系统，其特征在于，
所述处理部基于向所述第二对象物投射的所述显示物与所述第二对象物的关系，进行所述显示物的显示控制。
5.根据权利要求3所述的投影系统，其特征在于，
在所述虚拟面与所述第二对象物成为所述前提条件位置关系时，所述处理部进行基于处理规则的计算处理，以使所述计算处理的结果被判断为向所述第二对象物投射的所述显示物向所述第二对象物投射的方式进行所述显示物的显示控制。
6.根据权利要求3所述的投影系统，其特征在于，
在所述虚拟面和所述第二对象物的关系从所述前提条件位置关系变化了时，所述处理部进行与所述第一对象物和所述第二对象物的所述关系的变化相应的所述显示物的显示控制。
7.根据权利要求6所述的投影系统，其特征在于，
在所述虚拟面和所述第二对象物的所述关系变化了时，所述处理部进行基于处理规则的计算处理，以使所述计算处理的结果被判断为向所述第二对象物投射的所述显示物向所述第二对象物投射的方式进行所述显示物的显示控制。
8.根据权利要求6所述的投影系统，其特征在于，
在所述虚拟面和所述第二对象物的所述关系变化了时，所述处理部进行基于处理规则的计算处理，以使所述计算处理的结果被判断为不向所述第二对象物投射的所述显示物向所述第一对象物投射的方式进行所述显示物的显示控制。
9.根据权利要求3所述的投影系统，其特征在于，
在判断为所述第二对象物和第三对象物成为前提条件关系时，所述处理部进行用于在所述第三对象物上显示所述显示物的处理。
10.根据权利要求1或2所述的投影系统，其特征在于，
所述处理部基于所述传感器部的检测信息而求出所述虚拟面与所述第二对象物的相对位置关系，判断所述虚拟面与所述第二对象物是否成为所述前提条件位置关系。
11.根据权利要求1或2所述的投影系统，其特征在于，
所述处理部基于所述传感器部的检测信息而进行设定于所述第二对象物的标记的识别处理，基于所述识别处理的结果而获取所述第二对象物的位置信息，基于所获取的所述位置信息而判断所述虚拟面与所述第二对象物是否成为所述前提条件位置关系。
12.根据权利要求11所述的投影系统，其特征在于，
所述处理部基于所述标记，求出被投射所述第二投影图像的第二投影区域，进行向所述第二投影区域投射的所述第二投影图像的生成处理。
13.根据权利要求1或2所述的投影系统，其特征在于，
所述处理部检测所述游戏区域的高度信息，并基于检测出的高度信息设定所述虚拟面。
14.一种投影系统，其特征在于，
所述投影系统包括：
投影部，对作为第一对象物的游戏区域投射投影图像；以及
处理部，进行所述投影图像的生成处理，
所述处理部在针对所述游戏区域设定于前提条件位置的虚拟面上显示水面的图像，并且生成用于显示生物的图像的所述投影图像，
所述投影部对所述游戏区域投射用于显示所述水面的图像与所述生物的图像的所述投影图像，
所述处理部基于第二对象物的位置信息，判断针对所述游戏区域设定于前提条件位置的虚拟面与所述第二对象物是否成为前提条件位置关系，并在判断为所述虚拟面与所述第二对象物成为所述前提条件位置关系时，进行使向作为所述第一对象物的所述游戏区域投射的第一投影图像和向所述第二对象物投射的第二投影图像的至少一方的内容变化的处理，
所述第一对象物是表面大致沿着水平方向的所述游戏区域，用户在所述第一对象物上玩显示物的捕获游戏，
所述第二对象物是所述用户的部位或者把持物，
所述处理部将如下关系判断为所述前提条件位置关系，即所述第二对象物位于所述虚拟面的下方，并且，在垂直于所述虚拟面的方向上的俯视下，所述第二对象物与移动的显示物重叠。
15.根据权利要求14所述的投影系统，其特征在于，
所述处理部在向所述游戏区域投射的所述第一投影图像和向所述第二对象物投射的所述第二投影图像的至少一方的图像中，进行使所述显示物出现的处理、使所述显示物消失的处理以及变更所述显示物的图像的处理中的至少一个处理。
16.根据权利要求14或15所述的投影系统，其特征在于，
所述处理部进行设定于所述第二对象物的标记的识别处理，并进行基于所述识别处理的结果而获取所述第二对象物的位置信息、且基于所获取的所述位置信息而使所述第一投影图像和所述第二投影图像的至少一方的内容变化的处理。
17.根据权利要求14或15所述的投影系统，其特征在于，
所述处理部检测所述游戏区域的高度信息，并基于检测出的高度信息设定所述虚拟面。
18.根据权利要求14或15所述的投影系统，其特征在于，
所述处理部基于传感器部的检测信息而获取所述第二对象物的所述位置信息。
19.根据权利要求14或15所述的投影系统，其特征在于，
所述投影部对所述游戏区域通过投影映射来投射用于显示所述水面的图像与所述生物的图像的所述投影图像。
20.根据权利要求19所述的投影系统，其特征在于，
所述游戏区域为沙地。
21.根据权利要求14或15所述的投影系统，其特征在于，
所述处理部生成将所述水面以及所述生物动画显示的所述投影图像。
22.根据权利要求14或15所述的投影系统，其特征在于，
所述投影部设置在所述游戏区域的上方。
CN201680050791.6A 2015-09-02 2016-09-02 投影系统 Active CN107925739B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015172568A JP6615541B2 (ja) 2015-09-02 2015-09-02 投影システム
JP2015-172568 2015-09-02
PCT/JP2016/075841 WO2017038982A1 (ja) 2015-09-02 2016-09-02 投影システム

Publications (2)

Publication Number Publication Date
CN107925739A CN107925739A (zh) 2018-04-17
CN107925739B true CN107925739B (zh) 2020-12-25

Family

ID=58187764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680050791.6A Active CN107925739B (zh) 2015-09-02 2016-09-02 投影系统

Country Status (6)

Country Link
US (1) US20180191990A1 (zh)
JP (1) JP6615541B2 (zh)
CN (1) CN107925739B (zh)
GB (1) GB2557787B (zh)
HK (1) HK1247012A1 (zh)
WO (1) WO2017038982A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US20190116356A1 (en) * 2016-04-15 2019-04-18 Sony Corporation Information processing apparatus, information processing method, and program
CN109906423B (zh) * 2016-11-02 2022-05-06 松下知识产权经营株式会社 姿势输入系统及姿势输入方法、电子设备
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
CN106943756A (zh) * 2017-05-18 2017-07-14 电子科技大学中山学院 一种投影沙池游艺系统
CN107277476B (zh) * 2017-07-20 2023-05-12 苏州名雅科技有限责任公司 一种适合在旅游景点供儿童互动体验的多媒体设备
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
AU2018392482A1 (en) 2017-12-20 2020-07-02 Magic Leap, Inc. Insert for augmented reality viewing device
JP7054774B2 (ja) * 2018-01-10 2022-04-15 パナソニックＩｐマネジメント株式会社 投影制御システム及び投影制御方法
CN112136152A (zh) 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
JP2019186588A (ja) * 2018-03-30 2019-10-24 株式会社プレースホルダ コンテンツ表示システム
US10921935B2 (en) 2018-05-21 2021-02-16 Compal Electronics, Inc. Interactive projection system and interactive projection method
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
JP7369147B2 (ja) 2018-06-05 2023-10-25 マジック リープ， インコーポレイテッド 視認システムのホモグラフィ変換行列ベースの温度較正
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
JP7147314B2 (ja) * 2018-07-19 2022-10-05 セイコーエプソン株式会社 表示システム、及び、反射体
WO2020023545A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
WO2020223636A1 (en) 2019-05-01 2020-11-05 Magic Leap, Inc. Content provisioning system and method
WO2021021670A1 (en) * 2019-07-26 2021-02-04 Magic Leap, Inc. Systems and methods for augmented reality
US11109139B2 (en) * 2019-07-29 2021-08-31 Universal City Studios Llc Systems and methods to shape a medium
US11737832B2 (en) 2019-11-15 2023-08-29 Magic Leap, Inc. Viewing system for use in a surgical environment
WO2022181106A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 制御装置、制御方法、制御プログラム、及び投影装置
WO2023009765A2 (en) * 2021-07-28 2023-02-02 Fuller Mark W System for projecting images into a body of water
CN113744335B (zh) * 2021-08-24 2024-01-16 北京体育大学 一种基于场地标记的运动引导方法、系统及存储介质
CN113676711B (zh) * 2021-09-27 2022-01-18 北京天图万境科技有限公司 虚拟投影方法、装置以及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010362A (ja) * 2012-06-29 2014-01-20 Sega Corp 映像演出装置
CN103558689A (zh) * 2008-07-10 2014-02-05 实景成像有限公司 宽视角显示和用户接口
CN104460951A (zh) * 2013-09-12 2015-03-25 天津智树电子科技有限公司 一种人机交互方法
CN104571484A (zh) * 2013-10-28 2015-04-29 西安景行数创信息科技有限公司 一种虚拟钓鱼互动装置及其使用方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6554431B1 (en) * 1999-06-10 2003-04-29 Sony Corporation Method and apparatus for image projection, and apparatus controlling image projection
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
AU2003291320A1 (en) * 2002-11-05 2004-06-07 Disney Enterprises, Inc. Video actuated interactive environment
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US8155872B2 (en) * 2007-01-30 2012-04-10 International Business Machines Corporation Method and apparatus for indoor navigation
JP4341723B2 (ja) * 2008-02-22 2009-10-07 パナソニック電工株式会社 光投影装置、照明装置
JP2011180712A (ja) * 2010-02-26 2011-09-15 Sanyo Electric Co Ltd 投写型映像表示装置
US8845110B1 (en) * 2010-12-23 2014-09-30 Rawles Llc Powered augmented reality projection accessory display device
US9508194B1 (en) * 2010-12-30 2016-11-29 Amazon Technologies, Inc. Utilizing content output devices in an augmented reality environment
WO2012119215A1 (en) * 2011-03-04 2012-09-13 Eski Inc. Devices and methods for providing a distributed manifestation in an environment
US9118782B1 (en) * 2011-09-19 2015-08-25 Amazon Technologies, Inc. Optical interference mitigation
US8840250B1 (en) * 2012-01-11 2014-09-23 Rawles Llc Projection screen qualification and selection
US8887043B1 (en) * 2012-01-17 2014-11-11 Rawles Llc Providing user feedback in projection environments
US9262983B1 (en) * 2012-06-18 2016-02-16 Amazon Technologies, Inc. Rear projection system with passive display screen
US9195127B1 (en) * 2012-06-18 2015-11-24 Amazon Technologies, Inc. Rear projection screen with infrared transparency
US9124786B1 (en) * 2012-06-22 2015-09-01 Amazon Technologies, Inc. Projecting content onto semi-persistent displays
US8964292B1 (en) * 2012-06-25 2015-02-24 Rawles Llc Passive anisotropic projection screen
US9294746B1 (en) * 2012-07-09 2016-03-22 Amazon Technologies, Inc. Rotation of a micro-mirror device in a projection and camera system
US9282301B1 (en) * 2012-07-25 2016-03-08 Rawles Llc System for image projection
US9052579B1 (en) * 2012-08-01 2015-06-09 Rawles Llc Remote control of projection and camera system
US9726967B1 (en) * 2012-08-31 2017-08-08 Amazon Technologies, Inc. Display media and extensions to display media
US8933974B1 (en) * 2012-09-25 2015-01-13 Rawles Llc Dynamic accommodation of display medium tilt
US9281727B1 (en) * 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
US9204121B1 (en) * 2012-11-26 2015-12-01 Amazon Technologies, Inc. Reflector-based depth mapping of a scene
US8992050B1 (en) * 2013-02-05 2015-03-31 Rawles Llc Directional projection display
JP2015079169A (ja) * 2013-10-18 2015-04-23 増田　麻言 投影装置
JP2015106147A (ja) * 2013-12-03 2015-06-08 セイコーエプソン株式会社 プロジェクター、画像投写システム、およびプロジェクターの制御方法
US9508137B2 (en) * 2014-05-02 2016-11-29 Cisco Technology, Inc. Automated patron guidance
US20160109953A1 (en) * 2014-10-17 2016-04-21 Chetan Desh Holographic Wristband
US10122976B2 (en) * 2014-12-25 2018-11-06 Panasonic Intellectual Property Management Co., Ltd. Projection device for controlling a position of an image projected on a projection surface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103558689A (zh) * 2008-07-10 2014-02-05 实景成像有限公司 宽视角显示和用户接口
JP2014010362A (ja) * 2012-06-29 2014-01-20 Sega Corp 映像演出装置
CN104460951A (zh) * 2013-09-12 2015-03-25 天津智树电子科技有限公司 一种人机交互方法
CN104571484A (zh) * 2013-10-28 2015-04-29 西安景行数创信息科技有限公司 一种虚拟钓鱼互动装置及其使用方法

Also Published As

Publication number Publication date
GB2557787A (en) 2018-06-27
JP6615541B2 (ja) 2019-12-04
HK1247012A1 (zh) 2018-09-14
CN107925739A (zh) 2018-04-17
JP2017050701A (ja) 2017-03-09
US20180191990A1 (en) 2018-07-05
GB201804171D0 (en) 2018-05-02
WO2017038982A1 (ja) 2017-03-09
GB2557787B (en) 2021-02-10

Similar Documents

Publication Publication Date Title
CN107925739B (zh) 投影系统
JP5627973B2 (ja) ゲーム処理をするためのプログラム、装置、システムおよび方法
US8956227B2 (en) Storage medium recording image processing program, image processing device, image processing system and image processing method
JP5671349B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US8152637B2 (en) Image display system, information processing system, image processing system, and video game system
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
TWI248030B (en) Computer input device tracking six degrees of freedom
JP5827007B2 (ja) ゲームプログラム、画像処理装置、画像処理システム、および画像処理方法
CN110665230B (zh) 虚拟世界中的虚拟角色控制方法、装置、设备及介质
US11738270B2 (en) Simulation system, processing method, and information storage medium
US20110304611A1 (en) Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
JP5320332B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
EP2371434A2 (en) Image generation system, image generation method, and information storage medium
JP6058101B1 (ja) ゲーム装置及びプログラム
JP2012088782A (ja) 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法
US20180082618A1 (en) Display control device, display system, and display control method
JP5425940B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP4282112B2 (ja) 仮想物体制御方法および仮想物体制御装置および記録媒体
Bikos et al. An interactive augmented reality chess game using bare-hand pinch gestures
US6890263B2 (en) Game machine, and image processing method for use with the game machine
JP5746644B2 (ja) ゲーム装置及びプログラム
JP4218963B2 (ja) 情報抽出方法、情報抽出装置及び記録媒体
JP6732463B2 (ja) 画像生成システム及びプログラム
CN111563966B (zh) 虚拟内容显示方法、装置、终端设备及存储介质
JP2017064445A (ja) ゲーム装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1247012

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210223

Address after: Tokyo, Japan

Patentee after: Wandai Nanmeng Palace Entertainment Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: BANDAI NAMCO ENTERTAINMENT Inc.

TR01 Transfer of patent right