CN107430788A - 虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质 - Google Patents

虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质 Download PDF

Info

Publication number
CN107430788A
CN107430788A CN201580078470.2A CN201580078470A CN107430788A CN 107430788 A CN107430788 A CN 107430788A CN 201580078470 A CN201580078470 A CN 201580078470A CN 107430788 A CN107430788 A CN 107430788A
Authority
CN
China
Prior art keywords
virtual
data
dimensional
actual video
dimensional space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580078470.2A
Other languages
English (en)
Inventor
托马斯·哈特
中井实
山岸宏
山岸宏一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capcom Co Ltd
Original Assignee
Capcom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capcom Co Ltd filed Critical Capcom Co Ltd
Publication of CN107430788A publication Critical patent/CN107430788A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

根据包含有实拍影像的第一数据，基于放映实拍影像的虚拟屏幕位置和与摄影机位置对应的虚拟摄影机位置之间的位置关系，生成表示包含于实拍影像的基准物的边界的三维的基准物数据，生成对构成再现拍摄了实拍影像的实际存在空间的虚拟三维CG空间的对象进行表示的第二数据，基于第一数据和第二数据生成用于生成虚拟三维空间的第三数据。第三数据是通过匹配基准物数据中的基准物的边界和与第二数据中的基准物相对应的对象的边界，在虚拟三维CG空间中的、决定虚拟摄影机位置的数据。

Description

虚拟三维空间生成方法、影像系统、其控制方法以及计算机装 置中能读取的记录介质
技术领域
本发明涉及虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质。
背景技术
目前有动作类游戏或角色扮演类游戏等根据玩家的操作使玩家角色在虚拟的三维游戏空间内进行动作的游戏。通常，三维游戏空间由计算机图形（computer graphics）生成。近年来，计算机图形也变得高清，逐渐能够以高再现度表现实际的风景等。但还是不及摄像机等拍摄的实际的影像（实拍影像）。
还开发了代替计算机图形生成的背景图像，而能够在使用实际的影像生成的三维游戏空间内操作角色的游戏（例如参考非专利文献1）。
现有技术文献：
专利文献：
非专利文献1 : State of play公司，“爷爷的城市（Lumino City）”，[online]，[2015年2月24日检索]，网页<http://www.stateofplaygames.com/work/lumino-city>。
发明内容
发明要解决的问题：
但是，在非专利文献1的游戏中，形成在作为实拍影像显示的二维图像上角色平面地活动的结构。因此，纵深方向上的移动被限制。如此，在目前的结构中，使用有纵深的实拍影像使角色在纵深方向移动，会有产生违和感的问题。
因此本发明的目的是提供一种能够毫无违和感地对使用了实拍影像的虚拟三维空间中的纵深方向进行表现的虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质。
解决问题的手段：
根据本发明一形态的虚拟三维空间生成方法，包括：基准物数据生成步骤，根据包含有从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据，对放映所述实拍影像的虚拟屏幕位置和与所述摄影机位置对应的虚拟摄影机位置之间的位置关系进行特别规定，生成表示所述实拍影像包含的规定基准物的边界的数据，即、基于所述位置关系该边界与所述实拍影像中的所述基准物相对应的三维的基准物数据；生成第二数据的第二数据生成步骤，该第二数据表示构成由计算机图形再现拍摄了所述实拍影像的实际存在空间的虚拟三维CG空间的对象；以及基于所述第一数据和所述第二数据生成用于生成虚拟三维空间的第三数据的第三数据生成步骤；所述第三数据生成步骤通过匹配所述基准物数据中的所述基准物的边界和与所述第二数据中的所述基准物相对应的对象的边界，基于所述实拍影像的所述视角，生成在所述虚拟三维CG空间中的、决定所述虚拟摄影机位置的所述第三数据。
发明效果：
根据本发明，可以提供一种能毫无违和感地对使用实拍影像的虚拟三维空间中的纵深方向进行表现的虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质。
附图说明
图1是示出本实施形态中的游戏画面的示例的图；
图2是示出本实施形态中的虚拟三维空间的示例的俯视图；
图3是示出用于制作本实施形态中虚拟三维空间的计算机系统的概要结构的框图；
图4是示出在本实施形态的基准物数据生成过程中，表示基准物边界的特征点的生成过程的图；
图5是示出在本实施形态的基准物数据生成过程中虚拟基准物的生成过程的图；
图6是示意地示出在本实施形态的基准物数据生成过程中，包含于基准物数据中的特征性信息的图；
图7是示出在本实施形态的第二数据生成过程中第二数据生成画面的示例的图；
图8是示意地示出在本实施形态的第二数据生成过程中，包含于第二数据中的特征性信息的图；
图9是示出在本实施形态的第三数据生成过程中，虚拟基准物与基准物对象一致之前的状态的图；
图10是示出在本实施形态的第三数据生成过程中，虚拟基准物与基准物对象一致之后的状态的图；
图11是示出本实施形态中的游戏装置的硬件结构的框图；
图12是示出图11所示的游戏装置的功能性结构的框图；
图13是示出本实施形态中的游戏画面的其它示例的图；
图14是示出本实施形态中的虚拟三维空间的其它示例的俯视图。
具体实施方式
根据本发明一形态的虚拟三维空间生成方法，包括：基准物数据生成步骤，根据包含有从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据，对放映所述实拍影像的虚拟屏幕位置和与所述摄影机位置对应的虚拟摄影机位置之间的位置关系进行特别规定，生成表示所述实拍影像包含的规定基准物的边界的数据，即、基于所述位置关系该边界与所述实拍影像中的所述基准物相对应的三维的基准物数据；生成第二数据的第二数据生成步骤，该第二数据表示构成由计算机图形再现拍摄了所述实拍影像的实际存在空间的虚拟三维CG空间的对象；以及基于所述第一数据和所述第二数据生成用于生成虚拟三维空间的第三数据的第三数据生成步骤；所述第三数据生成步骤通过匹配所述基准物数据中的所述基准物的边界和与所述第二数据中的所述基准物相对应的对象的边界，基于所述实拍影像的所述视角，生成在所述虚拟三维CG空间中的、决定所述虚拟摄影机位置的所述第三数据。
所述虚拟三维空间生成方法也可以包括生成能够在所述虚拟三维空间内移动的角色的角色生成步骤。
所述虚拟三维空间生成方法也可以包括：二维图像显示步骤，显示被播放为从所述虚拟摄影机位置观看所述虚拟三维空间的二维图像的所述实拍影像；以及透过处理步骤，所述角色与显示为所述二维图像的所述实拍影像中的规定物体重合时，所述角色在所述虚拟三维空间中以与所述物体对应的对象的位置为基准而位于所述虚拟摄影机位置的相反侧的情况下，进行使所述角色中与所述物体重合的部分透明化的透过处理。
所述基准物数据生成单元也可以是通过取得包括所述基准物的所述实拍影像的特征点群来生成所述基准物数据。
所述基准物也可以是设置于所述实际存在空间的人造物。
所述实拍影像也可以在拍摄了包含设定为所述基准物的人造物之后，继续该拍摄的同时去除所述人造物，在生成所述基准物数据之时利用拍摄有所述实拍影像中所述人造物的部分，在根据所述实拍影像生成虚拟三维空间之时利用去掉所述实拍影像中所述人造物后被拍摄的部分。
根据本发明一形态的用户能操作的影像系统，具备：读出数据群的数据读出模块，所述数据群包括：包含从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据、表示构成由计算机图形再现拍摄了所述实拍影像的实际存在空间的虚拟三维CG空间的对象的边界的第二数据、和以使包含于所述实拍影像的对象与构成所述虚拟三维CG空间的所述对象的边界一致的形式，基于所述实拍影像的所述视角，决定所述虚拟三维CG空间中的、与所述实拍影像的所述摄影机位置对应的虚拟摄影机位置的第三数据；通过基于所述第三数据结合所述第一数据和所述第二数据，生成虚拟三维空间的虚拟三维空间生成模块；显示被播放为从所述虚拟摄影机位置观看所述虚拟三维空间的二维图像的所述实拍影像的二维图像显示模块；以及在显示为所述二维图像的所述虚拟三维空间内能移动地控制规定的角色对象的角色控制模块。
所述影像系统也可以具备透过处理模块，所述透过处理模块在所述角色对象与显示为所述二维图像的所述实拍影像中的规定物体重合时，所述角色对象在所述虚拟三维空间中以与所述物体对应的对象的位置为基准而位于所述虚拟摄影机位置的相反侧的情况下，进行使所述角色对象中与所述物体重合的部分透明化的透过处理。
根据本发明一形态的用户能操作的影像系统的控制方法，包括：读出数据群的数据读出步骤，所述数据群包括：包含从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据、表示构成由计算机图形再现拍摄了所述实拍影像的实际存在空间的虚拟三维CG空间的对象的边界的第二数据、和以使包含于所述实拍影像的对象与构成所述虚拟三维CG空间的所述对象的边界一致的形式，基于所述实拍影像的所述视角，决定所述虚拟三维CG空间中的、与所述实拍影像的所述摄影机位置对应的虚拟摄影机位置的第三数据；通过基于所述第三数据结合所述第一数据和所述第二数据，生成虚拟三维空间的虚拟三维空间生成步骤；显示被播放为从所述虚拟摄影机位置观看所述虚拟三维空间的二维图像的所述实拍影像的二维图像显示步骤；以及在显示为所述二维图像的所述虚拟三维空间内能移动地控制规定的角色对象的角色控制步骤。
所述控制方法也可以包括透过处理步骤，所述透过处理步骤在所述角色对象与显示为所述二维图像的所述实拍影像中的规定物体重合时，所述角色对象在所述虚拟三维空间中以与所述物体对应的对象的位置为基准而位于所述虚拟摄影机位置的相反侧的情况下，进行使所述角色对象中与所述物体重合的部分透明化的透过处理。
根据本发明一形态的记录介质，是通过计算机装置的控制部存储能执行的指令、且在该计算机装置中能读取的记录介质，所述指令包括：读出数据群的数据读出步骤，所述数据群包括：包含从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据、表示构成由计算机图形再现拍摄了所述实拍影像的实际存在空间的虚拟三维CG空间的对象的边界的第二数据、和以使包含于所述实拍影像的对象与构成所述虚拟三维CG空间的所述对象的边界一致的形式，基于所述实拍影像的所述视角，决定所述虚拟三维CG空间中的、与所述实拍影像的所述摄影机位置对应的虚拟摄影机位置的第三数据；通过基于所述第三数据结合所述第一数据和所述第二数据，生成虚拟三维空间的虚拟三维空间生成步骤；显示被播放为从所述虚拟摄影机位置观看所述虚拟三维空间的二维图像的所述实拍影像的二维图像显示步骤；以及在显示为所述二维图像的所述虚拟三维空间内能移动地控制规定的角色对象的角色控制步骤。
所述指令也可以包括透过处理步骤，所述透过处理步骤在所述角色对象与显示为所述二维图像的所述实拍影像中的规定物体重合时，所述角色对象在所述虚拟三维空间中以与所述物体对应的对象的位置为基准而位于所述虚拟摄影机位置的相反侧的情况下，进行使所述角色对象中与所述物体重合的部分透明化的透过处理。
以下，参考附图说明根据本发明实施形态的虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质。在本实施形态中，以操作能在生成的虚拟三维空间内行动的角色的游戏为例进行说明。
［本实施形态中生成的虚拟三维空间的概要］
本实施形态中的虚拟三维空间是为了显示能够看起来好像角色在拍摄了实际存在空间的实拍影像内行动一样的游戏画面而生成的。图1是示出本实施形态中的游戏画面的示例的图。又，图2是示出本实施形态中的虚拟三维空间的示例的俯视图。图1所示的游戏画面G作为从虚拟摄影机C（实线）观看图2所示的虚拟三维空间F的二维图像来表现。
如图1以及图2所示，游戏画面G上，角色P行动的虚拟三维空间F通过实拍影像来表现。即，作为由设置于虚拟三维空间F内虚拟摄影机位置的虚拟摄影机C摄像虚拟三维空间F的影像，实拍影像显示在游戏画面G上。虚拟摄影机C的摄像范围通过虚拟摄影机C的视角决定，是设置于与虚拟三维空间F的虚拟摄影机位置对应的虚拟屏幕位置上的虚拟屏幕S的范围。进一步，游戏画面G中还显示配置于虚拟摄影机C的摄像范围内的虚拟三维空间F，且角色P可获取的道具等的对象A。
又，在包含于实拍影像的对象上设定边界。例如，通过设定于树或墙壁等的边界，角色P的行动（移动等）受到限制。又，通过设定于地面等的边界，决定位于该边界之上的角色P的上下方向的位置（高度方向上的位置）。
角色P位于规定的摄影机切换位置H上时，显示在游戏画面G上的影像切换成由其它虚拟摄影机C摄像的影像。例如，在图2中实线所示的虚拟摄影机C摄像的影像显示于游戏画面G的状态（显示图1所示的游戏画面的状态）下，角色P到达摄影机切换位置H时，图2中虚线所示的虚拟摄影机C摄像的影像显示于游戏画面G上。
［虚拟三维空间制作方法］
图3是示出用于制作本实施形态中虚拟三维空间的计算机系统的概要结构的框图。如图3所示，计算机系统100具备：进行各种运算的计算机101；存储各种数据的硬盘装置等存储装置102；键盘或者鼠标等输入装置103；和显示器104。以上的各结构通过总线信号线105可以相互之间传递信号。
存储装置102中存储虚拟三维空间生成程序121。图3中，虚拟三维空间生成程序121表现为一个程序，但也可以如后述由多个程序构成。进一步，存储装置102中存储有包含从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据122。
计算机101具备CPU、内部存储器等，基于存储在存储装置102内的虚拟三维空间生成程序121发挥：基准物数据生成部（基准物数据生成单元，基准物数据生成模块）111；第二数据生成部（第二数据生成单元，第二数据生成模块）112；第三数据生成部（第三数据生成单元，第三数据生成模块）113；角色生成部（角色生成单元，角色生成模块）114；以及光源信息反映部（光源信息反映单元，光源信息反映模块）115的各功能。
［基准物数据的生成］
以下，依次进行说明。基准物数据生成部111，根据包含从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据（实拍影像数据）122，对放映实拍影像的虚拟屏幕位置和与摄影机位置对应的虚拟摄影机位置之间的位置关系进行特别规定，生成表示实拍影像包含的规定基准物的边界的数据，即、基于所述位置关系该边界与所述实拍影像中的所述基准物相对应的三维的基准物数据123。
图4至图6是示出本实施形态中的基准物数据的生成过程的图。首先，如图4所示的摄像区域的实拍影像由数码摄像机等拍摄。此时，作为用于判定实拍影像的比例尺的基准物D，人造物设置于实际存在空间，并以实拍影像包含该人造物的形式进行拍摄。图4的示例中，作为基准物D而采用作为人造物的纸箱等长方体。优选为基准物D有角，构成该角的多个面相互之间呈直角。另，也可取代在实拍影像内设置人造物，而将原本包含于实拍影像内的人造物或者是自然物设定为基准物D。基准物数据生成过程中，作为虚拟三维空间生成程序121，例如，可以利用“SynthEyes”（Andersson Technologies LLC；安德松技术有限责任公司）等三维摄影机追踪程序。
基准物数据生成部111通过对被摄像的实拍影像进行追踪处理，生成表示拍摄该实拍影像的摄影机位置与实拍影像中被摄像的物体（基准物、地面、墙壁、树等）的边界之间的位置关系的边界数据。通过边界数据以及拍摄实拍影像的摄影机的视角，对放映实拍影像的虚拟屏幕位置和与摄影机位置对应的虚拟摄影机位置之间的位置关系进行特别规定。图4的示例中，基准物数据生成部111通过取得包含基准物的实拍影像的特征点群生成边界数据。特征点群是各特征点具有三维位置坐标的数据集合。在图4所示的处理画面E上各特征点以×印记被标出。特别是为了取得有关于基准物D的正确的边界数据，实拍影像优选为以使摄影机位置在基准物D周围一定程度范围内转动的形式，使数码摄像机摇镜头从而拍摄而成。
仅用追踪处理无法充分生成基准物D的边界数据的情况下，也可形成为用户在实拍影像上可配置（表示）基准物D的三维位置坐标（的特征点）的结构。另，表示基准物D的边界的特征点B优选为设置在有角的基准物D上角的位置处。在使用图4示例这般大小既知的长方体的情况下，表示基准物D的边界的特征点B至少设置三个在包含于任意一个平面的该平面的顶点处即可。由此，剩余的角的位置坐标也能通过运算取得。
特别规定出表示基准物D的边界的特征点B以后，基于该特征点B，如图5所示，生成表示基准物D整体的三维边界的虚拟基准物VD。虚拟基准物VD例如由多边形（polygon）等生成。基于表示基准物D的边界的特征点B，虚拟基准物VD的生成可以是用户操作输入装置103描绘而成，也可以是基准物数据生成部111自动生成。其结果如图6所示，以使从虚拟摄影机C的位置观看虚拟屏幕S时，虚拟屏幕S和虚拟摄影机C和虚拟基准物VD之间的位置关系，变成可使虚拟基准物VD与包含于实拍影像的基准物D一致这样的位置关系的形式，生成使虚拟基准物VD（即基准物D的边界）与实拍影像中的基准物D相对应的基准物数据123。另，在图6的处理画面E中还显示出表示虚拟基准物VD以外的物体边界的特征点群，但该特征点群可以不包含在基准物数据123中，也可以包含于其中。生成的基准物数据123存储于存储装置102。
［第二数据的生成］
第二数据生成部112生成第二数据125，该第二数据125表示了构成由计算机图形（CG）再现拍摄了实拍影像的实际存在空间的虚拟三维CG空间的对象。图7以及图8是示出本实施形态中的第二数据生成过程的图。在图7的示例中，第二数据生成部112通过使用包含于实拍影像中的在实际存在空间内拍摄的多张静态图像进行三维扫描处理，生成作为第二数据125来源的虚拟三维CG空间K。静态图像由数码相机（Digital still camera）等拍摄，作为静态图像数据108被存储于存储装置102。此时，拍摄实拍影像時，在设置了基准物D的状态下也要拍摄静态图像。即，实拍影像中基准物D的设置位置与静态图像中基准物D的设置位置为同一位置。其结果是在构成生成的虚拟三维CG空间K的对象中，包含有基准物D的对象（后述图9中示出的基准物对象OD）。
如图7所示，图7示出的第二数据生成画面J的上段J1中，对应地显示有生成的虚拟三维CG空间K与用于生成该虚拟三维CG空间K的部分的静态图像L。第二数据生成画面J的下段J2中，用于生成上段的虚拟三维CG空间K的静态图像的一览与上段的静态图像群对应地显示。像这样以邻接的静态图像相互重叠的形式从多个角度拍摄多张（例如数百张左右）静态影像L，从而邻接的静态图像L内的图像连续地配置。然后，通过进行三维扫描处理生成虚拟三维CG空间K。第二数据生成过程中，作为虚拟三维空间生成程序121，例如，可以利用“PhotoScan”（Agisoft LLC）等三维扫描程序。
虚拟三维CG空间K中包含表示该虚拟三维CG空间K内的对象的边界的信息。该对象的边界用于进行与虚拟三维CG空间K内行动的角色间的接触判定（移动限制），或者进行地面的高低差的表现（角色的脚与地面离开后落下等表现）。第二数据生成部112将虚拟三维CG空间K内的对象生成为第二数据125。具体来说，将虚拟三维CG空间K透明化的信息被生成为第二数据125。例如第二数据125如图8所示，仅具有只有形成虚拟三维CG空间K中的对象边界的多边形网格M的信息。另，虽然图8中多边形网格M可视化，但在后述虚拟三维空间生成完成时多边形网格M自身透明化。
如此，最终生成的虚拟三维空间中无需粘贴于虚拟三维CG空间K的纹理（texture）（通过来自多张静态图像的模型而生成的纹理）。但是，为了生成后述第三数据，优选为虚拟三维CG空间K由高分辨率的纹理构成。特别是在用户调整后述虚拟基准物VD与基准物对象OD的位置以及大小的情况下，优选为虚拟三维CG空间K由高分辨率的纹理构成。由此，用户易于进行上述调整中的微调整。另，可在第二数据125中预先包含虚拟三维CG空间K的纹理信息直到生成第三数据，第三数据生成完成后，从第二数据125删除该纹理信息。又，也可以不删除第二数据125中的纹理信息。生成的第二数据125存储于存储装置102。
［第三数据的生成］
第三数据生成部113基于第一数据122和第二数据125，生成用于生成虚拟三维空间的第三数据。图9以及图10是示出本实施形态中的第三数据生成过程的图。第三数据生成部113以从图9所示状态变为图10所示状态的形式，通过将基准物数据123中的基准物D的边界和与第二数据125中的基准物相对应的对象的边界进行匹配，从而基于实拍影像的视角，生成虚拟三维CG空间K中决定虚拟摄影机C的虚拟摄影机位置的第三数据。第三数据生成过程中，作为虚拟三维空间生成程序121，例如，可以利用“Blender”（Blender.org，免费软件）等三维CG统一环境应用程序。
如图9所示，第三数据生成画面N中，包含第二数据125的虚拟三维CG空间K的描绘数据以及基准物数据123分别在一个虚拟三维空间内被读出。以使包含于基准物数据123的虚拟基准物VD的位置以及大小与包含于虚拟三维CG空间K的基准物对象OD一致的形式进行调整（进行移动以及扩大缩小处理）。通过这样的调整，虚拟基准物VD的位置发生变化时，与之相对应地虚拟摄影机C以及虚拟屏幕S的位置也发生变化。虚拟基准物VD的大小发生变化时，因为虚拟摄影机C的视角（拍摄实拍影像的摄影机的视角）固定，所以与之相对应地虚拟摄影机C和虚拟屏幕S之间的距离以及虚拟屏幕S的大小（比例尺）发生变化。
这样的调整可以由用户使用输入装置103对虚拟三维CG空间K进行移动虚拟基准物VD的操作和/或扩大缩小虚拟基准物VD的操作，也可以由第三数据生成部113自动进行调整处理。第三数据生成部113自动调整的情况下，虚拟三维CG空间K的纹理在第三数据生成开始时刻可以不包含于第二数据125。
这样调整的结果如图10所示，根据基准物数据123决定虚拟三维CG空间K中的虚拟摄影机C的位置。基于决定的虚拟摄影机C的位置决定虚拟屏幕S的位置。决定的虚拟摄影机C在虚拟三维CG空间K上的位置坐标生成为第三数据126，存储于存储装置102。
通过第三数据126，实拍影像作为从虚拟摄影机C观看的影像在虚拟屏幕S上播放的情况下，该播放的实拍影像与从同一虚拟摄影机C观看的虚拟三维CG空间K实际上是相同的情景。从而，作为如图1所示的游戏画面G而通过虚拟摄影机C呈现（基于作为第二数据125的对象边界）配置于透明化的虚拟三维CG空间K内的道具对象A、以及在虚拟三维CG空间K内行动的角色P等追加对象，借助于此可以让游戏玩家感觉到犹如角色P正在实拍影像内行动一样。
通过基于如以上生成的第三数据126结合第一数据122和第二数据125，生成虚拟三维空间F（图2）。从而，在像这样使用了虚拟三维空间F的游戏中，实拍影像作为通过虚拟摄影机C看见的虚拟三维空间F的情景显示在游戏画面G（图1）上。另一方面，显示于该游戏画面G内的角色P或道具对象A等追加对象基于与实拍影像对应的对象的边界而被控制行动或被配置。如此，通过将关于对象边界的信息适用于实拍影像，可以在二维图像的实拍影像中追加纵深方向的概念。从而，可以毫无违和感地表现使用了实拍影像的虚拟三维空间F中的纵深方向。
另，如图2所示，在虚拟三维空间F中虚拟摄影机C配置在多个不同的虚拟摄影机位置上，当根据角色P的异同切换虚拟摄影机C从而显示于游戏画面G的实拍影像被切换的情况下，用于生成该虚拟三维空间F的基准物D使用在多个实拍影像中共通的部分。即，在多个虚拟摄影机位置拍摄实拍影像时，使各虚拟摄影机位置上的虚拟摄影机C的摄像范围内包含有共通的基准物D。取而代之也可以将包含于多个虚拟摄影机位置上的虚拟摄影机C的摄像范围内的同型物体（例如，长椅、电话亭、信号器等）用作基准物D。
［实拍影像］
在这里，再次说明包含于第一数据122的实拍影像。实拍影像为了制作基准物数据123而使用包含设定为基准物的人造物并拍摄的影像。另一方面，有时显示为游戏画面的实拍影像中不映入基准物D是比较没有违和感的影像。此时，实拍影像可以使用如下影像：包含设定为基准物D的人造物并拍摄后，继续该拍摄的同时去掉基准物D。
例如，在最终生成的虚拟三维空间F中虚拟屏幕S的位置被固定的情况（固定位置的影像显示在游戏画面G内的情况）下，首先，将基准物D设置于实际存在空间的规定位置（摄影机的固定位置上的摄像范围内的规定位置），开始摄影机的拍摄。不固定摄影机开始拍摄，为便于取得参照点数据，使摄影机以基准物D为中心在规定范围内左右摇镜头并拍摄。之后，继续拍摄的同时将摄影机固定在固定位置上。此外，摄影机在固定位置上完全静止的状态下，摄像范围内包含基准物D的拍摄进行了规定期间后，继续拍摄的同时，去掉基准物D至摄像范围外。而且，将虚拟三维空间F作为从虚拟摄影机C看到的二维图像（图1所示的游戏画面）而进行必要的规定时间拍摄后，拍摄结束。
像这样拍摄的实拍影像里，使摄影机摇镜头后，静止状态下包含有基准物D的部分在生成基准物数据123之时使用。又，上述实拍影像里，摄影机的静止状态中去掉了基准物D的部分在生成实拍影像的虚拟三维空间F之时使用。即，将该部分作为在虚拟三维空间F中播放于虚拟屏幕S（作为二维图像显示于游戏画面G）的实拍影像来利用。由此，作为基准物D即使采用与实拍影像中的情景完全没关系的人造物，也能够消去生成的虚拟三维空间F中基准物D的存在。
又，在虚拟屏幕S的位置固定的情况下，虚拟三维空间F中播放于虚拟屏幕S上的实拍影像使用重复规定期间的影像的循环影像。即，根据拍摄的一系列实拍影像，生成将不包含基准物D的期间的影像设定为循环播放的播放影像数据。播放影像数据可通过调整循环期间以及循环期间初期和终期的连接，形成没有违和感的实拍影像。作为包含于后述游戏程序中使用的游戏数据中的第一数据122，也可以采用这样的播放影像数据129。
［角色的生成］
角色生成部114生成在虚拟三维空间F内可移动的角色P。角色P也可以由三维对象构成。此外，角色P也可以是由从多个角度拍摄实际存在的物体的多张静态图像通过三维扫描处理而生成的三维对象。生成的角色P的数据作为角色数据127存储于存储装置102。
［光源信息的生成］
光源信息反映部115从拍摄了实拍影像的实际存在空间的规定位置处拍摄的静态图像108中取得实际存在空间中的光源信息，将该光源信息反映在配置于实拍影像的虚拟三维空间F的对象（角色P、道具对象A等）上。因此，在存储装置102中，规定位置的周围被连续地拍摄的图像作为用于得到光源信息的静态图像数据108而单独存储。这样的静态图像数据108是在与拍摄实拍影像的条件（季节、时刻、天气等）大致相同的条件下例如由360度摄像机摄像的图像。用于得到光源信息的静态图像数据108可以使用进行了高动态范围合成（High Dynamic Range image；HDRi）处理的静态图像。通过使用具有宽动态范围（明暗比）的静态图像，可以得到更为详细的光源信息。这样生成的光源信息作为光源数据128存储于存储装置102。
据此，当游戏画面G内显示实拍影像以外的对象（角色P以及道具对象A等）时，在该实拍影像以外的对象上也可以容易地添加与实拍影像同样的阴影表现。
［使用了生成的虚拟三维空间的影像程序的示例］
以下，作为使用了由上述方法生成的虚拟三维空间F的影像程序的一个示例，说明用于实现角色P在该虚拟三维空间F内可行动的游戏的结构。本实施形态中的游戏里，玩家边观看图1所示的游戏画面G边操作角色P来取得道具对象A，遇见在虚拟三维空间F内行动的其他角色（非玩家角色。未图示）并对话等，同时推进设定有规定目标的脚本（游戏主线）。
［硬件结构］
说明实现上述游戏的游戏装置的结构。说明实现上述游戏的游戏系统的结构。本实施形态中的游戏系统由下述游戏装置2、与该游戏装置2连接的显示器19、扬声器22以及控制器24等外部装置构成，能基于从下述磁盘型记录介质30读入的游戏程序30a以及游戏数据30b进行游戏。但是，以下为简化说明，也有仅称为游戏装置2的情况。图11是示出本实施形态中游戏装置2的硬件结构的框图。如图11所示，游戏装置2在其它的游戏装置2以及服务器装置3之间，可以通过互联网或LAN等通信网络NW相互通信。此游戏装置2具备作为控制其动作的计算机的CPU10，该CPU10通过总线11与磁盘驱动器12、存储卡槽13、形成程序存储部的HDD14、ROM15以及RAM16连接。
磁盘驱动器12中可装填DVD-ROM等磁盘型记录介质30。该磁盘型记录介质30中记录有根据本发明实施形态的游戏程序30a及在本实施形态说明的游戏中出现的角色、以及形成游戏空间所必需的对象及纹理等的游戏数据30b。又，存储卡槽13中可以装填卡片型记录介质31，可根据来自CPU10的指示记录表示游戏中间过程等游戏状況的存档数据。
HDD14是内置于游戏装置2中的大容量记录介质，记录有从磁盘型记录介质30读入的游戏程序30a及游戏数据30b以及存档数据等。ROM15是掩模ROM或PROM等半导体存储器，记录有启动游戏装置2的启动程序、以及控制装填磁盘型记录介质30时的动作的程序等。RAM16由DRAM或SRAM等构成，根据游戏的游戏情况从磁盘型记录介质30或HDD14读入并临时存储CPU10应执行的游戏程序30a及其执行时必需的游戏数据30b等。
又，CPU10通过总线11与图形处理部17、音频合成部20、无线通信控制部23以及网络接口25连接。
其中的图形处理部17根据CPU10的指示描绘包含游戏空间和各角色等的游戏图像。又，图形处理部17通过视频转换部18连接外部的显示器19，图形处理部17中描绘的游戏图像在视频转换部18中转换成动画格式显示在显示器19上。
音频合成部20根据CPU10的指示播放以及合成数码游戏音。又，音频合成部20通过音频转换部21连接外部的扬声器22。从而，音频合成部20中播放以及合成的游戏音在音频转换部21中解码成模拟格式，进而由扬声器22输出至外部。
无线通信控制部23具有2.4GHZ频带的无线通信模块，与附属于游戏装置2的控制器24之间通过无线连接，可进行数据的收发。用户可通过操作设置于该控制器24上的按键等操作控件（未图示）向游戏装置2输入信号，并可控制显示于显示器19的玩家角色的动作。又，网络接口25相对于互联网或LAN等通信网络NW与游戏装置2连接，可与其它游戏装置2或服务器装置3间通信。而且，游戏装置2通过通信网络NW与其它游戏装置2连接而相互收发数据，以此可在同一游戏空间内同步显示多个玩家角色。从而使多人合作进行的多人游戏成为可能。
［游戏装置的功能性结构］
图12是示出图11所示的游戏装置2的功能性结构的框图。如图11所示游戏装置2作为具备控制部4的计算机而工作，控制部4包括CPU10、HDD14、ROM15、RAM16、图形处理部17、视频转换部18、音频合成部20、音频转换部21、网络接口25等。游戏数据30b中，作为用于生成虚拟三维空间F的数据群而包含第一数据122（或基于其的播放影像数据129）、第二数据125、第三数据126、角色数据127、以及光源数据128。然后，如图12所示，游戏装置2的控制部4通过执行本发明的游戏程序30a，发挥数据读出部（数据读出单元、数据读出模块）41、虚拟三维空间生成部（虚拟三维空间生成单元、虚拟三维空间生成模块）42、二维图像显示部（二维图像显示单元、二维图像显示模块）43、角色控制部（角色控制单元、角色控制模块）44、以及透过处理部（透过处理单元、透过处理模块）45等的功能。
其中，数据读出部41读出包含于游戏数据30b的数据群。虚拟三维空间生成部42基于读出的第三数据126结合第一数据122和第二数据125，以此生成虚拟三维空间F（图2）。此外，虚拟三维空间生成部42将道具对象A等配置于虚拟三维空间F的规定位置。
另，第一数据122与第二数据125也可以在被第三数据126预先结合的状态下保存为游戏数据30b。这种情况下，数据读出部41在第一数据122、第二数据125以及第三数据126相互结合的状态下读出这些数据。第一数据122与第二数据125在一一对应时等，以预先结合的状态数据化，以此可以提高读出速度或描绘速度。
取而代之，第一数据122、第二数据125以及第三数据126也可以分别以各自的状态保存为游戏数据30b。在这种情况下，虚拟三维空间生成部42基于第三数据126进行结合第一数据122和第二数据125的处理。例如，在根据游戏内时间切换昼夜的游戏中，根据时间带而包含不同的多个实拍影像的多个第一数据122被保存为游戏数据30b，虚拟三维空间生成部42也可从多个第一数据122中根据游戏内时间选择与第二数据125结合的第一数据122。
二维图像显示部43作为从虚拟摄影机C的位置观看虚拟三维空间F的二维图像，即作为图1所示游戏画面G，显示在虚拟屏幕S的位置上播放的实拍影像。角色控制部44在显示为二维图像的虚拟三维空间F内可移动地控制规定的角色对象（角色P）。角色P根据玩家的控制器24的操作在虚拟三维空间F内行动。
图13是示出本实施形态中的游戏画面的其它示例的图。又，图14是示出本实施形态中的虚拟三维空间的其它示例的俯视图。图13所示的游戏画面G表现为从虚拟摄影机C观看图14所示的虚拟三维空间F的二维图像。如图14所示，虚拟三维空间F中设定有基于光源数据128的表示阴暗的区域（阴暗区域）R。二维图像显示部43判定角色P是否位于阴暗区域R内，在角色P位于阴暗区域R内的情况下进行对该角色P添加阴影的加阴处理。例如，如图2所示，角色P（1）进入阴暗处（位于阴暗区域R内）的情况，相比于如图1所示的角色P未进入阴暗处（没有位于阴暗区域R内）的情况，对角色整体添加阴影，或进行降低角色整体的明度的处理。加阴处理不仅适用于角色P还可适用于存在于虚拟三维空间F内的所有对象。
此外，二维图像显示部43也可以在没有位于阴暗区域R内的情况下进行加阴处理。这种情况下，二维图像显示部43基于光源数据128，根据虚拟三维空间F（虚拟三维CG空间K）中的光源位置（未图示）与角色P的位置之间的位置关系，以使角色P上与光源位置相向的面变亮、与光源位置相反侧的面变暗的形式进行加阴处理。由此，可使角色P等对象更接近实际存在空间中打阴影的方式。从而，在角色P等对象显示于由实拍影像所示的游戏画面G上的时候，可以减少存在实拍影像内实际不存在的对象的违和感。
此处如前所述，在本实施形态的游戏画面G中根据实拍影像表现角色P移动的空间。即，角色P始终表现在实拍影像上。因此，如图13所示，在游戏画面G上，角色P可移动的区域（通路）跟前存在有树等遮蔽物V的情况下，如果角色P依照原样在通路上移动，则原本应该被遮蔽物V遮挡的角色P会显示在遮蔽物V前。这样会失去虚拟三维空间F的真实性，所以作为实拍影像不能使用如图13的配置构图时，设置虚拟摄影机C的位置的自由度（即实拍影像的选择自由度）会变低。
于是，透过处理部45在角色P与作为二维图像显示的实拍影像中的规定物体重合时，当角色P在虚拟三维空间F中以物体（遮蔽物）V所对应的对象（遮蔽物对象）T的位置为基准而位于虚拟摄影机位置的相反侧（即，虚拟屏幕位置侧）的情况下，进行使角色P上与物体重合的部分Q透明化的透过处理。更详细来说，虚拟三维空间F中虚拟摄影机C的位置与角色P所在的通路等之间存在遮蔽物V的情况下，事先指定该遮蔽物V对应的对象作为遮蔽物对象T。透过处理部45判定角色P的至少一部分是否进入了该遮蔽物对象T与虚拟屏幕S之间的遮蔽区域U内。遮蔽区域U被判定角色P的至少一部分进入了遮蔽区域U内的情况下，透过处理部45将角色P进入该遮蔽范围U内的部分Q透明化。对角色P以外的对象也同样进行透过处理。
由此，虽然在游戏画面G中角色P总是显示在实拍影像跟前，但可以相对于规定遮蔽物V进行角色P犹如从遮蔽物V后面绕过去一样的表现。由此，可以更有效地进行使用了实拍影像的虚拟三维空间中纵深方向的表现。又，能够提高作为显示在游戏画面G上的二维图像可采用的实拍影像的选择自由度。
以上对本发明的实施形态进行了说明，但本发明不限定于上述实施形态，在不脱离其主旨的范围内可以进行种种改良、变更、修改。
例如，在上述实施形态中说明了分别配置虚拟摄影机C以及虚拟屏幕S的位置被固定的情况，但也可以采用移动虚拟摄影机C以及虚拟屏幕S的结构（使用边移动摄影机边拍摄的实拍影像的结构）。
又，在上述实施形态中将二维图像显示部43以及透过处理部45作为游戏装置2的控制部4所执行的功能模块进行了说明，但也可以是二维图像显示部43以及透过处理部45构成为用于生成虚拟三维空间的计算机101所执行的功能模块。换言之，可以在计算机101中生成能够执行二维图像显示和透过处理的虚拟三维空间。
又，在上述实施形态中说明了基于在玩家操作该虚拟三维空间内行动的角色P从而推进脚本的游戏程序中应用生成的虚拟三维空间F的示例，但只要是用户与影像程序之间交互（interactive）动作的结构，就不限于此。
又，在上述实施形态中说明了固定型的游戏装置，但本发明也可良好地适用于携带型游戏装置、手机、以及个人计算机等计算机。
工业应用性：
本发明在毫无违和感地表现使用实拍影像的虚拟三维空间内的纵深方向是有用的。
符号说明：
2　 游戏装置；
4　 控制部；
30a　游戏程序；
30b　游戏数据；
41　 数据读出部；
42　 虚拟三维空间生成部；
43　 二维图像显示部；
44　 角色控制部；
45　 透过处理部；
101　计算机；
102　存储装置；
111　基准物数据生成部；
112　第二数据生成部；
113　第三数据生成部；
114　角色生成部；
121　虚拟三维空间生成程序；
122　第一数据；
123　静态图像数据；
124　基准物数据；
125　第二数据；
126　第三数据；
B　 基准物的特征点；
C　 虚拟摄影机；
D　 基准物；
F　 虚拟三维空间；
G　 游戏画面（二维图像）；
M　 多边形网格（Polygon mesh）（对象的边界）；
OD　 基准物对象；
P　 角色（角色对象）；
S　 虚拟屏幕；
T　 遮蔽物对象；
V　 遮蔽物；
VD　 虚拟基准物。

Claims (12)

1.一种虚拟三维空间生成方法，包括：
基准物数据生成步骤，根据包含有从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据，对放映所述实拍影像的虚拟屏幕位置和与所述摄影机位置对应的虚拟摄影机位置之间的位置关系进行特别规定，生成表示所述实拍影像包含的规定基准物的边界的数据，即、基于所述位置关系该边界与所述实拍影像中的所述基准物相对应的三维的基准物数据；
生成第二数据的第二数据生成步骤，该第二数据表示构成由计算机图形再现拍摄了所述实拍影像的实际存在空间的虚拟三维CG空间的对象；以及
基于所述第一数据和所述第二数据生成用于生成虚拟三维空间的第三数据的第三数据生成步骤；
所述第三数据生成步骤通过匹配所述基准物数据中的所述基准物的边界和与所述第二数据中的所述基准物相对应的对象的边界，基于所述实拍影像的所述视角，生成在所述虚拟三维CG空间中的、决定所述虚拟摄影机位置的所述第三数据。
2.根据权利要求1所述的虚拟三维空间生成方法，其特征在于，
包括生成能够在所述虚拟三维空间内移动的角色的角色生成步骤。
3.根据权利要求2所述的虚拟三维空间生成方法，其特征在于，包括：
二维图像显示步骤，显示被播放为从所述虚拟摄影机位置观看所述虚拟三维空间的二维图像的所述实拍影像；以及
透过处理步骤，所述角色与显示为所述二维图像的所述实拍影像中的规定物体重合时，所述角色在所述虚拟三维空间中以与所述物体对应的对象的位置为基准而位于所述虚拟摄影机位置的相反侧的情况下，进行使所述角色中与所述物体重合的部分透明化的透过处理。
4.根据权利要求1所述的虚拟三维空间生成方法，其特征在于，
所述基准物数据生成步骤通过取得包括所述基准物的所述实拍影像的特征点群来生成所述基准物数据。
5.根据权利要求1所述的虚拟三维空间生成方法，其特征在于，
所述基准物是设置于所述实际存在空间的人造物。
6.根据权利要求5所述的虚拟三维空间生成方法，其特征在于，
所述实拍影像在拍摄了包含设定为所述基准物的人造物之后，继续该拍摄的同时去除所述人造物，在生成所述基准物数据之时利用拍摄有所述实拍影像中所述人造物的部分，在根据所述实拍影像生成虚拟三维空间之时利用去掉所述实拍影像中所述人造物后被拍摄的部分。
7.一种用户能操作的影像系统，具备：
读出数据群的数据读出模块，所述数据群包括：包含从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据、
表示构成由计算机图形再现拍摄了所述实拍影像的实际存在空间的虚拟三维CG空间的对象的边界的第二数据、和
以使包含于所述实拍影像的对象与构成所述虚拟三维CG空间的所述对象的边界一致的形式，基于所述实拍影像的所述视角，决定所述虚拟三维CG空间中的、与所述实拍影像的所述摄影机位置对应的虚拟摄影机位置的第三数据；
通过基于所述第三数据结合所述第一数据和所述第二数据，生成虚拟三维空间的虚拟三维空间生成模块；
显示被播放为从所述虚拟摄影机位置观看所述虚拟三维空间的二维图像的所述实拍影像的二维图像显示模块；以及
在显示为所述二维图像的所述虚拟三维空间内能移动地控制规定的角色对象的角色控制模块。
8.根据权利要求7所述的影像系统，其特征在于，
具备透过处理模块，其在所述角色对象与显示为所述二维图像的所述实拍影像中的规定物体重合时，所述角色对象在所述虚拟三维空间中以与所述物体对应的对象的位置为基准而位于所述虚拟摄影机位置的相反侧的情况下，进行使所述角色对象中与所述物体重合的部分透明化的透过处理。
9.一种用户能操作的影像系统的控制方法，包括：
读出数据群的数据读出步骤，所述数据群包括：包含从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据、
表示构成由计算机图形再现拍摄了所述实拍影像的实际存在空间的虚拟三维CG空间的对象的边界的第二数据、和
以使包含于所述实拍影像的对象与构成所述虚拟三维CG空间的所述对象的边界一致的形式，基于所述实拍影像的所述视角，决定所述虚拟三维CG空间中的、与所述实拍影像的所述摄影机位置对应的虚拟摄影机位置的第三数据；
通过基于所述第三数据结合所述第一数据和所述第二数据，生成虚拟三维空间的虚拟三维空间生成步骤；
显示被播放为从所述虚拟摄影机位置观看所述虚拟三维空间的二维图像的所述实拍影像的二维图像显示步骤；以及
在显示为所述二维图像的所述虚拟三维空间内能移动地控制规定的角色对象的角色控制步骤。
10.根据权利要求9所述的影像系统的控制方法，其特征在于，
包括透过处理步骤，所述透过处理步骤在所述角色对象与显示为所述二维图像的所述实拍影像中的规定物体重合时，所述角色对象在所述虚拟三维空间中以与所述物体对应的对象的位置为基准而位于所述虚拟摄影机位置的相反侧的情况下，进行使所述角色对象中与所述物体重合的部分透明化的透过处理。
11.一种记录介质，是通过计算机装置的控制部存储能执行的指令、且在该计算机装置中能读取的记录介质，其特征在于，
所述指令包括：
读出数据群的数据读出步骤，所述数据群包括：包含从规定的摄影机位置以规定的视角拍摄实际存在空间的实拍影像的第一数据、
表示构成由计算机图形再现拍摄了所述实拍影像的实际存在空间的虚拟三维CG空间的对象的边界的第二数据、和
以使包含于所述实拍影像的对象与构成所述虚拟三维CG空间的所述对象的边界一致的形式，基于所述实拍影像的所述视角，决定所述虚拟三维CG空间中的、与所述实拍影像的所述摄影机位置对应的虚拟摄影机位置的第三数据；
通过基于所述第三数据结合所述第一数据和所述第二数据，生成虚拟三维空间的虚拟三维空间生成步骤；
显示被播放为从所述虚拟摄影机位置观看所述虚拟三维空间的二维图像的所述实拍影像的二维图像显示步骤；以及
在显示为所述二维图像的所述虚拟三维空间内能移动地控制规定的角色对象的角色控制步骤。
12.根据权利要求11所述的记录介质，其特征在于，
所述指令包括透过处理步骤，所述透过处理步骤在所述角色对象与显示为所述二维图像的所述实拍影像中的规定物体重合时，所述角色对象在所述虚拟三维空间中以与所述物体对应的对象的位置为基准而位于所述虚拟摄影机位置的相反侧的情况下，进行使所述角色对象中与所述物体重合的部分透明化的透过处理。
CN201580078470.2A 2015-03-30 2015-03-30 虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质 Pending CN107430788A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/001812 WO2016157247A1 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体

Publications (1)

Publication Number Publication Date
CN107430788A true CN107430788A (zh) 2017-12-01

Family

ID=57006747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580078470.2A Pending CN107430788A (zh) 2015-03-30 2015-03-30 虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质

Country Status (4)

Country Link
US (1) US10176643B2 (zh)
JP (1) JP6317854B2 (zh)
CN (1) CN107430788A (zh)
WO (1) WO2016157247A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257215A (zh) * 2017-12-06 2018-07-06 石化盈科信息技术有限责任公司 信息展板展示方法和装置
CN109829977A (zh) * 2018-12-30 2019-05-31 贝壳技术有限公司 在虚拟三维空间中看房的方法、装置、电子设备及介质
CN110889426A (zh) * 2018-09-10 2020-03-17 意识机械有限公司 三维表达体生成系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
CN106056663B (zh) * 2016-05-19 2019-05-24 京东方科技集团股份有限公司 增强现实场景中的渲染方法、处理模块和增强现实眼镜
US10831333B2 (en) * 2017-07-26 2020-11-10 Adobe Inc. Manipulating a camera perspective within a three-dimensional space
WO2019130374A1 (ja) * 2017-12-25 2019-07-04 ガンホー・オンライン・エンターテイメント株式会社 端末装置、システム、プログラム及び方法
CN110264568B (zh) * 2019-06-21 2023-07-25 网易（杭州）网络有限公司 一种三维虚拟模型交互方法和装置
JP6905568B2 (ja) 2019-11-21 2021-07-21 株式会社コーエーテクモゲームス ゲームプログラム、ゲーム処理方法及び情報処理装置
WO2021132013A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US11200745B2 (en) 2020-01-27 2021-12-14 Facebook Technologies, Llc. Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US11113891B2 (en) 2020-01-27 2021-09-07 Facebook Technologies, Llc Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11210860B2 (en) * 2020-01-27 2021-12-28 Facebook Technologies, Llc. Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US11451758B1 (en) 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
CN113516761B (zh) * 2021-08-05 2024-02-27 四开花园网络科技(广州)有限公司 视错觉类裸眼3d内容制作方法及装置
US11684848B2 (en) * 2021-09-28 2023-06-27 Sony Group Corporation Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces
US11948257B2 (en) * 2022-05-09 2024-04-02 Rovi Guides, Inc. Systems and methods for augmented reality video generation
CN115761141B (zh) * 2022-11-30 2023-07-07 灵瞳智能科技(北京)有限公司 一种虚拟数字人三维模型采集装置
CN117132507B (zh) * 2023-10-23 2023-12-22 光轮智能(北京)科技有限公司 图像增强方法、图像处理方法、计算机设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
CN101939765B (zh) * 2007-12-10 2014-01-29 Abb研究有限公司 用于远程检查工业过程的由计算机实施的方法和系统
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
PT2777024T (pt) * 2011-11-09 2021-11-08 Abyssal S A Sistema e procedimento de operação para veículos telecomandados, comportando conjuntos de imagens 3d sobrepostas
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US10013506B2 (en) * 2015-11-20 2018-07-03 Dassault Systems Solidworks Corporation Annotating real-world objects

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257215A (zh) * 2017-12-06 2018-07-06 石化盈科信息技术有限责任公司 信息展板展示方法和装置
CN110889426A (zh) * 2018-09-10 2020-03-17 意识机械有限公司 三维表达体生成系统
CN109829977A (zh) * 2018-12-30 2019-05-31 贝壳技术有限公司 在虚拟三维空间中看房的方法、装置、电子设备及介质

Also Published As

Publication number Publication date
US20180068488A1 (en) 2018-03-08
WO2016157247A1 (ja) 2016-10-06
JPWO2016157247A1 (ja) 2018-02-08
US10176643B2 (en) 2019-01-08
JP6317854B2 (ja) 2018-04-25

Similar Documents

Publication Publication Date Title
CN107430788A (zh) 虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质
KR101623288B1 (ko) 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체
KR102215166B1 (ko) 제공장치, 제공방법 및 컴퓨터 프로그램
JP2020522194A (ja) 異なるビデオ・データ・ストリームにおいて、異なる複数のヴァンテージ（Ｖａｎｔａｇｅ）・ポイントから表現されるバーチャル・オブジェクト及び現実世界オブジェクトに基づいて融合現実シーンを生成するための方法及びシステム
US6561907B2 (en) Simultaneous or reciprocal image synthesis for a video game at different viewpoints
CN110517355A (zh) 用于照明混合现实对象的环境合成
CN103544441B (zh) 移动图像生成装置
US20120147004A1 (en) Apparatus and method for generating digital actor based on multiple images
JP4761528B2 (ja) ゲームプログラムおよびゲーム装置
US20040021680A1 (en) Image processing method, apparatus and program
CN102542596A (zh) 顶点烘培三维动画扩充
CN108043027A (zh) 存储介质、电子装置、游戏画面的显示方法和装置
US20230006826A1 (en) System and method for generating a pepper&#39;s ghost artifice in a virtual three-dimensional environment
KR20190011224A (ko) 6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치
WO2013038979A1 (ja) ゲームプログラム、ゲーム装置、及び、ゲームプログラムを記録した記録媒体
JP2020107251A (ja) 画像生成システム及びプログラム
JP3990258B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
JP3641578B2 (ja) ゲーム用３次元画像処理方法、装置、ゲーム用３次元画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及びビデオゲーム装置
CN115830210A (zh) 虚拟对象的渲染方法、装置、电子设备及存储介质
JP2010029375A (ja) ゲームシステム、プログラム、及び情報記憶媒体
JP4447000B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
CN115801978A (zh) 特效视频制作方法、装置、电子设备及可读存储介质
JP2000135375A (ja) ゲーム装置、情報記録媒体および画像処理方法
JP7204843B2 (ja) 送信装置および送信方法、プログラム
JP3706545B2 (ja) 画像の生成方法及びそれに用いるプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171201