CN113808280A - 增强现实显示装置以及记录介质 - Google Patents

增强现实显示装置以及记录介质 Download PDF

Info

Publication number
CN113808280A
CN113808280A CN202110230812.5A CN202110230812A CN113808280A CN 113808280 A CN113808280 A CN 113808280A CN 202110230812 A CN202110230812 A CN 202110230812A CN 113808280 A CN113808280 A CN 113808280A
Authority
CN
China
Prior art keywords
model
special effect
augmented reality
display device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110230812.5A
Other languages
English (en)
Inventor
雷米·德里昂古
津田真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Square Enix Co Ltd
Original Assignee
Square Enix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Square Enix Co Ltd filed Critical Square Enix Co Ltd
Publication of CN113808280A publication Critical patent/CN113808280A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种能够使用户更加享受乐趣的增强现实显示技术。增强现实显示装置(10)具有：拍摄部(13)，其获得现实世界的背景图像；特殊效果执行部(11b)，其在特定的组合所涉及的多个模型存在于虚拟空间内的情况下执行与该模型的组合对应的特殊效果；显示部(14)，其根据特殊效果，将模型与背景图像一起显示。

Description

增强现实显示装置以及记录介质
技术领域
本发明涉及一种将虚拟模型重叠在现实世界的背景图像上进行显示的虚拟现实显示装置和记录有用于实现该虚拟现实显示装置的计算机程序的记录介质。
背景技术
近年来，伴随着计算机图形的渲染技术的发展和智能手机以及头戴式显示器等移动设备的普及，被称为VR(Virtual Reality：虚拟现实)或AR(Augmented Reality：增强现实)的体验型的影像内容备受瞩目。VR主要是针对穿戴有头戴式显示器的用户在屏蔽现实空间的视觉识别的基础上仅呈现虚拟空间的影像的技术，能够向该用户提供沉浸感高的影像内容。相对于此，AR则是针对智能手机或头戴式显示器的用户，一边将现实空间作为背景图像来呈现，一边将二维模型(Model)或三维模型重叠在该背景图像上进行显示的技术，能够向该用户提供现实空间和虚拟模型混合在一起的真实感高的影像内容。本发明就是在这些体验型的影像技术之中特别涉及增强现实(AR)技术。
关于AR技术，在专利文献1以及专利文献2中公开有以下的系统：例如当通过便携终端所具有的相机对实际空间中的规定的标记进行摄影时，读取与该标记对应的角色等虚拟图像，合成在实际空间的背景图像上进行显示。特别是专利文献1中记载的发明的特征是包含有以实际时间调节在显示器显示的虚拟角色的动作的虚拟角色控制器。另外，专利文献2中记载的发明的特征是，通过对打印在衣服上的角色的设计进行图像识别，将与该设计对应的演出用图像合成到将衣服穿在身上的人物的被拍摄体像上，从而生成并显示增强现实图像。
现有技术文献
专利文献
专利文献1：JP特开2016-218974号公报；
专利文献2：JP特开2017-010578号公报。
但是，专利文献1以及专利文献2中记载的发明，只不过是在显示器上一体显示虚拟的角色的图像而已，存在游戏方法和表现的范围受限这样的问题。另外，也可以考虑应用这些以往发明而使多个角色在虚拟空间内出现，但是仅仅单纯的使多个角色出现，可以说引起用户的兴趣的效果是缺乏的。
发明内容
本发明的主要目的在于提供一种在现实世界的背景图像上重叠虚拟的模型而进行显示的增强现实显示技术，能够使用户更加享受乐趣。
本发明的发明人针对实现上述目的的手段锐意研究的结果，确定在增强现实显示技术中，在特定的组合所涉及的多个模型存在于虚拟空间内的情况下，执行与该模型的组合对应的特殊效果。像这样，通过对应于模型的组合而准备各种各样的样式(Pattern)的特殊效果，从而能够使用户不会厌烦而长期的享受乐趣。本发明人想到只要根据上述想法就能够解决以往技术的问题并实现上述的目的，从而完成了本发明。若进行具体说明，则本发明具有以下的构成。
本发明的第一侧面涉及增强现实显示装置。本发明的增强现实显示装置具有拍摄部、特殊效果执行部以及显示部。拍摄部获得现实世界的背景图像。特殊效果执行部在特定的组合所涉及的多个模型存在于虚拟空间内的情况下，执行与模型的组合对应的特殊效果。所谓的多个模型的特定的组合，可以是两个模型的组合，也可以是三个以上的模型的组合。另外，本发明的特殊效果并不与各模型建立对应，而是与模型的组合建立对应。也就是说，模型单独执行的效果(模型固有的动作或演出等)不是本发明的特殊效果，将多个模型以特定的组合方式进行组合而初次执行的效果(特定模型的组合带来的动作或演出等的相乘效果)，成为本发明的特殊效果。显示部根据该特殊效果，将模型与背景图像一起显示。另外，本申请说明书中，组合现实空间和虚拟空间，虚拟的模型重叠在现实的背景图像上的空间，方便起见被称为“增强现实空间”。
如上述构成那样，通过在增强现实空间中执行与特定的模型的组合对应的特殊效果，从而能够向用户提供组合各种各样的模型并使之在该空间中登场的游戏方法或享乐方法。另外，本发明中，由于现实空间的背景图像和虚拟空间的模型重叠在一起显示，因此手办(Figure)游戏或场景(Diorama)制作等在现实世界中需要收集的工夫和收纳空间的游戏方法，能够在增强现实空间内简单的进行。
本发明的增强现实显示装置中，特殊效果包括使特定的组合所涉及的多个模型进行特定的行动，或者，在特定的组合所涉及的多个模型之外，输出特定的计算机图形或另外的模型。根据前者的例子，通过聚集多个特定的模型，从而采取各模型通常单独不进行的特殊的行动。另外，根据后者的例子，在特定的所组合的模型之外，出现与该模型相关联的新的CG(计算机图形)图像或另外的模型。由此，在给用户带来惊喜的同时，能够给用户带来以各种各样的样式使模型登场或者收集各种各样的种类的模型的乐趣。
本发明的增强现实显示装置中，也可以是模型中包含有在虚拟空间内移动的动态模型和停留在虚拟空间内的特定位置的静态模型。在此情况下，特殊效果执行部对应于动态模型和静态模型的特定的组合而执行特殊效果。例如，可以是动态模型为按照规定的动作程序而在增强现实空间内移动的模型，静态模型为未被赋予这样的动作程序的模型。另外，对静态模型赋予停留在虚拟空间内的特定位置进行规定的动作这样的静态模型用的动作程序也是可以的。像这样，通过能够准备与动态模型和静态模型的组合对应的特殊效果，从而能够扩展该特殊效果带来的表现的范围。例如，通过铁路用的轨道或车站、道口等表现景观的静态模型和在轨道上行驶的火车等动态模型的组合，也能够执行使该火车在轨道上行驶这样的特殊效果。由此，能够在增强现实空间中进行场景模型这样的游戏。
本发明的增强现实显示装置也可以进一步具有图像分析部。图像分析部对包含现实的物体的图像进行分析，提取该图像中包含的现实的物体的特征。优选该图像是由拍摄部实时获得的现实世界的背景图像。但是，该图像也可以是例如过去摄影而得到的现实世界的图像，也可以是通过互联网等的通信线路而下载的图像。另外，特殊效果执行部执行与模型和现实的物体的特征的组合对应的特殊效果。通过这样进行，从而除了如前所述的与多个模型的特定的组合对应的特殊效果之外，还能够执行与模型和现实的物体的组合对应的特殊效果。另外，也可以准备与多个模型和现实的物体的组合对应的特殊效果。
本发明中，也可以是在显示部的显示空间内现实的物体接触于模型时，特殊效果执行部执行将该接触所带来的作用给予模型的特殊效果。在此情况下，也可以是例如当用户的手指触碰到模型时，另外，现实空间的物体触碰到模型时，执行规定的特殊效果。由此，能够进行现实的物体好像对虚拟模型产生影响这样的演出。
本发明的增强现实显示装置也可以进一步具有模型生成部。模型生成部对包含有现实的物体的图像进行分析，根据该图像中包含的现实的物体而生成二维或三维的模型。另外，优选模型生成部针对所生成的模型设定与另外的模型的组合所涉及的特殊效果。像这样，通过根据从用户接受提供的任意的图像，生成具有特殊效果的模型，从而用户能够在增强现实空间中进行将自己的独创的模型与另外的模型组合在一起的游戏方法。
本发明的增强现实显示装置也可以进一步具有模型获得部。模型获得部对包含有现实的物体的图像进行分析，根据从该图像中包含的现实的物体得到的信息，从存储部读取与该现实的物体对应的模型，或者通过通信线路而从服务器获得与该现实的物体对应的模型。像这样，根据图像之中包含的现实的物体，例如获得该物体的形状以及颜色等特征信息或附在该物体上的编码信息，根据这些信息，确定与该物体对应的二维或三维的已有的模型。只要将该已有的模型从增强现实显示装置本身所具有的存储部读取或者通过互联网等而从服务器下载即可。由此，能够有效利用已有的模型，因此能够简单且高速的使与现实的物体对应的虚拟的模型出现在增强现实空间中。
本发明的第二侧面涉及记录有计算机程序的记录介质。本发明的记录介中所记录的程序使通用的便携式信息终端作为上述的第一侧面所涉及的增强现实显示装置而发挥功能。便携式信息终端的示例是智能手机、平板电脑式终端、笔记本电脑式终端、头戴式显示器、平视显示器(Heads-up Display)。本发明的程序可以记载在CD-ROM等计算机可读的介质中。
根据本发明，能够提供能使用户更加享受乐趣的增强现实显示技术。
附图说明
图1是示出本发明的增强现实显示装置的一实施方式的图，示意性的示出在该装置的显示部显示多个模型的状态。
图2是示出增强现实显示装置和管理服务器的功能构成例的框图。
图3是示出记录有有关模型的各种信息的数据库的数据构造例的图。
图4A～图4C是示出多个模型的组合带来的特殊效果的一个例子的图。
图5A、图5B是示出多个模型的组合带来的特殊效果的另外的例子的图。
图6A是示意性示出根据现实物体的图像生成虚拟的模型的处理的图，图6B是示意性示出根据现实物体的图像读取与此对应的虚拟的模型的处理的图。
附图标记的说明
10…增强现实显示装置 11…控制部
11a…模型控制部 11b…特殊效果执行部
11c…图像分析部 11d…模型生成部
11e…模型获得部 12…存储部
13…拍摄部 14…显示部
15…操作部 16…传感器部
17…通信部 20…管理服务器
21…控制部 22…数据库
23…通信部
具体实施方式
以下，使用附图针对实施本发明的方式进行说明。本发明并不限定于以下说明的方式，包含本领域的技术人员根据以下的方式而在显而易见的范围内适当的变更。
图1示出本发明的增强现实显示装置10的第一实施方式。在本实施方式中，增强现实显示装置10通过所谓的智能手机来实现。如图1所示，增强现实显示装置10将由拍摄部(相机)摄影的现实空间作为背景图像，将在该背景图像上重叠了二维或三维的模型的影像在显示部(显示器)显示。另外，在本申请的各图中，在通过计算机图形技术而描绘的虚拟模型上施加了斜线状的阴影线来表示。
如图1所示，增强现实显示装置10的一个特征是，在组合了现实空间和虚拟空间而构成的增强现实空间中使多个模型出现。在此情况下，增强现实显示装置10执行与多个模型的组合对应的特殊效果，根据该特殊效果而使虚拟的模型与现实空间的背景图像一起在显示部显示。在图1所示的例子中，作为特殊效果，是执行特定的组合所涉及的人型的模型相互进行会话这样的动作。另外，作为特殊效果的一部分，在人型模型的头上描绘着记载有各模型的台词的会话框图像。像这样，本发明中，通过使特定的组合所涉及的多个模型在增强现实空间内出现，从而执行以模型单体通常不会出现的特殊的效果(动作或演出)。
另外，在本发明中，模型并不限于人型，例如也可以是在人型模型上穿戴的装备品或装饰品，也可以是模仿其它的角色的模型，也可以是车辆或火车、航空器、船舶等交通工具型。另外，详细情况后述，但模型也可以是火车的轨道或车站、道口、大厦等建造物、树木或岩石、山等自然物等表现景观的场景(Diorama)模型的模型。另外，组装式的模型并不限于在此列举的模型，可以包含各种各样的种类的模型。
图2是示出包含增强现实显示装置10和管理服务器20的服务器·客户型系统的功能构成的框图。增强现实显示装置10和管理服务器20通过互联网等的通信线路而连接，能相互进行信息的发送及接收。本实施方式中，在管理服务器20保管着有关多个模型的信息(建模数据及其元数据(Metadata))，增强现实显示装置10根据需要从管理服务器20下载有关模型的信息并在显示部14显示。但是，虽然省略图示，但在另外的实施方式中，也可以使增强现实显示装置10本身预先存储有关多个模型的信息。在这种情况下，就不需要管理服务器20。
增强现实显示装置10是至少具有对现实空间进行摄影而将摄影图像和虚拟模型重叠显示的功能的装置。增强现实显示装置10例如由公知的智能手机或头戴式显示器等来实现。具体而言，在智能手机等通用的便携式信息终端中为了执行本发明的增强现实显示装置10特有的处理而存储有应用程序。该终端通过执行该程序而作为本发明的增强现实显示装置10来发挥功能。如图2所示，增强现实显示装置10基本上具有控制部11、存储部12、拍摄部13、显示部14、操作部15、传感器部16以及通信部17。
增强现实显示装置10的控制部11进行增强现实显示装置10所具有的其它的要素12～17的整体控制。作为控制部11，可利用CPU或GPU等公知的处理器。控制部11读取在存储部12中存储的应用程序，并根据该应用程序来控制其它的要素。具体而言，控制部11使通过拍摄部13而摄影的现实空间的背景图像在显示部14显示。另外，控制部11使通过通信部17而从管理服务器20接收的模型和背景图像一起在显示部14显示，并且根据来自操作部15或传感器部16的输入信息来控制该模型的动作等。另外，控制部11作为主要的功能块而具有模型控制部11a、特殊效果执行部11b、图像分析部11c、模型生成部11d以及模型获得部11e。有关这些功能块11a～11e的详细情况，参照图3至图6B在后面记述。
存储部12是用于存储在增强现实的显示控制中使用的信息的要素。具体而言，存储部12存储有用于使一般的智能手机等便携式信息终端作为增强现实显示装置10来发挥功能的应用程序。在存储部12中存储的应用程序，在进行增强现实的显示之际由控制部11读取，且执行按照该程序的处理。另外，在存储部12也可以存储有多个其它的应用程序。存储部12的存储功能例如可以通过HDD以及SDD这样的非易失性存储器来实现。另外，存储部12也可以具有将控制部11所进行的运算处理的中途经过等写入或读取用的作为存储器的功能。存储部12的存储器功能可以通过RAM或DRAM这样的易失性存储器来实现。
拍摄部13是用于获得静止图像或动态图像的图像数据的相机。构成拍摄部13的相机是利用内置于增强现实显示装置10中的相机。通过拍摄部13而获得的图像数据，被发送到控制部11，在进行了规定的运算处理之后，在显示部14显示。另外，也可以将该图像数据保存到存储部12中。相机例如由镜头、机械快门、快门驱动器、CCD图像传感器单元或CMOS图像传感器单元这样的光电转换元件、从光电转换元件读取电荷量而生成图像数据的数字信号处理器(DSP)以及IC存储器等构成。
显示部14是显示规定的图像用的要素。显示部14由液晶显示器或有机EL显示器这样的公知的显示器装置构成。在本发明中，在显示部14主要是将二维或三维的模型和现实空间的背景图像一起显示。
操作部15是将用户的操作信息输入到增强现实显示装置10用的要素。作为操作部15，只要是利用触控面板、鼠标、键盘、触控笔等公知的输入装置即可。另外，通过将触控面板(操作部15)配置在显示器(显示部14)的前面上，构成触控面板显示器也是可以的。另外，操作部15也可以是能够从增强现实显示装置10物理性的分离开的结构，在这种情况下，操作部15通过蓝牙(Bluetooth(注册商标))等近距离无线通信标准而与增强现实显示装置10相连接。
传感器部16是将传感信息输入到增强现实显示装置10用的要素。作为传感器部16的例子，可列举出加速度传感器、陀螺仪传感器、麦克风、GPS传感器、接近传感器、亮度传感器等，增强现实显示装置10具有一种或多种传感器。在本发明中，传感器部16用于检测增强现实显示装置10的姿势。即，通过包含有加速度传感器、陀螺仪传感器的传感器部16，增强现实显示装置10的拍摄部13的摄影方向或摄影范围的变化量作为传感信息而被检测出。控制部11(主要是模型控制部11a)使用该传感信息，进行模型的显示位置或显示方向的控制。例如，控制部11只要能进行以下的控制即可：使模型出现在现实空间的特定位置，当存在于该特定位置的模型进入到拍摄部13的摄影范围时，将该模型在显示部14显示。
另外，拍摄部13的摄影方向或摄影范围的检测，也可以不使用上述的加速度传感器或陀螺仪传感器，而是通过使用基于强的图像识别的SLAM(Simultaneous Localizationand Mapping：同步定位与地图构建)技术来进行。另外，只要有外带的传感器，即使是无图像识别，也能够实现将增强现实(AR)或虚拟现实(VR)、混合现实(MR)等总称的XR设备。利用了这些传感器或图像识别技术的设备，也被称为混合现实设备(Mixed Reality Device)。本发明中，能够适宜的采用在这样的混合现实设备中利用的技术。
增强现实显示装置10的通信部17是通过互联网等的通信线路而主要与管理服务器20进行通信用的要素。具体而言，在通过控制部11而生成规定的模型的下载要求的情况下，通信部17将该要求向管理服务器20发送。另外，通信部17接收在管理服务器20的数据库22存储的各种的模型相关的信息，并向控制部11传递。
管理服务器20是主要担负着管理向增强现实显示装置10提供的模型的功能的网络服务器。在管理服务器20保管着的模型以及与此相关的信息能够随时更新(增加、变更、删除)。另外，管理服务器20可以由一台网络服务器构成，也可以通过将其功能分担给多个网络服务器来构筑。管理服务器20基本上由向用户提供与增强现实相关的服务的运营商来管理。如图2所示，管理服务器20基本上具有控制部21、数据库22以及通信部23。
管理服务器20的控制部21进行管理服务器20所具有的其它的要素22、23的整体控制。作为控制部21，可利用CPU或GPU等公知的处理器。控制部21主要是当从增强现实显示装置10接收到下载要求时，从数据库22读取与下载要求对应的模型以及与其相关的信息，经由通信部23将这些信息向增强现实显示装置10发送。
数据库22存储有向增强现实显示装置10提供的各种的模型相关的信息。图3示出了关系数据库(Relational Database)的数据构造来作为数据库22中包含的数据的一个例子。例如，数据库22中包含有模型表(a)、特殊效果条件表(b)、拥有模型表(c)。
模型表记录着在增强现实显示装置10显示的各种模型相关的信息。例如，在模型表中针对每个模型，以模型固有的ID为关键项目，记录有系列、性质、种属这样的将各模型分类用的的分类数据和模型固有模型名、规定模型的基本动作的动作程序相关的信息。具体而言，模型表包括模型ID字段(Field)(列)、系列字段、性质字段、种属字段、模型名字段以及动作程序字段。
在模型ID字段记录有模型固有的识别信息(ID)。在系列字段记录有各模型所属的系列名。例如，在图示的例子中，模型ID0001～0005属于Series A(备注：系列A)，模型ID0006～0010属于Series B(备注：系列B)。例如，属于相同系列的模型实施有相同的设计，或者通过相同的设计理念作成，存在具有统一感等的共同点。在性质字段记录有模型是动态模型(Dynamic(备注：动态的))还是静态模型(Static(备注：静态的))。动态模型是在增强现实空间内移动的模型，静态模型是在增强现实空间内不移动而停留在增强现实空间的特定位置的模型。在本实施方式中，基本上是对动态模型赋予了动作程序，对静态模型则不赋予动作程序。但是，针对静态模型，也可以赋予以停留在增强现实空间的特定位置为前提而进行规定的动作这样的动作程序。在种属字段记录有各模型被分类的种属(并不限于生物)。在图3中，作为一个例子，示出人型(Human(备注：人))、动物型(Animal(备注：动物))、树木型(Tree(备注：树木))、建筑物型(Building(建筑物))等的种属，但是种属的例子并不限于在此列举的内容，可以自由设定。在模型名字段记录有模型固有的名字。在动作程序字段记录有赋予模型的动作程序相关的信息。另外，在该模型表中记录有动作程序的识别信息和对动作程序的链接信息。
特殊效果条件表主要记录有执行特殊效果用的模型的组合条件。在图3中的(b)所示的例子中，特殊效果条件表基本上包含有特殊效果字段和模型组合条件字段。在特殊效果字段记录有识别特殊效果用的信息(特殊效果的ID等)。另外，实际执行特殊效果用的程序数据、在特殊效果的执行之际利用的图像数据及其它的建模数据，与在特殊效果字段记录的识别信息建立关联而存储在数据库22内。在模型组合条件字段，针对每个特殊效果，作为执行该特殊效果用的模型的组合相关的信息，记录有指定模型的分类数据(系列、性质、种属)、模型名或者模型ID等模型的分类或固有的模型用的信息。另外，模型的组合条件并不限于两个模型的组合，可以将三个以上或者四个以上的模型的组合作为条件来指定。如图3中的(b)所示的例子那样，可以以模型组合为条件，指定模型的系列、性质、种属这样的分类数据，也可以单独制定模型ID(或者模型名)。另外，例如，如图3中的(b)的例子那样，“Series A/Human”这样的条件，其意思是系列为“Series A”且种属为“Human”的模型。同样的，“Series A/Dynamic”这样的条件，其意思是系列为“Series A”且性质为“Dynamic”(动态模型)的模型。像这样，也可以通过混合条件来进行模型的指定。在模型组合条件字段中指定的模型，通过在相同的增强现实空间中出现，从而执行特定的特殊效果。
另外，特殊效果表也可以进一步包含有背景条件字段。在背景条件字段中，作为在模型组合条件的基础之上用于执行特殊效果的进一步的条件，记录有有关背景条件的信息。背景条件是任意的附加的条件，包含有重叠模型的现实的背景图像之中所包含的特征点相关的条件。例如，在图3中的(b)所示的例子中，将在背景图像之中包含桌子、台座、衣柜等物体的边缘部的特征点(Edge(备注：边缘))的情况或包含马克杯等物体的碗形的特征点(Cup(备注：杯))的情况作为附加的背景条件来指定。因此，图3中的(b)所示的特殊效果SE4和特殊效果SE5，限于以下情况而执行，该情况是，除了通过模型组合条件而指定的模型ID0001以及模型ID0002的模型存在于增强现实空间中之外，在其背景图像中识别出边缘部的特征点(Edge)或者碗形的特征点(Cup)。像这样，作为特殊效果执行用的条件，并不限于模型的组合条件，也可以指定现实的背景图像中所包含的特征点的条件。
如图3中的(a)以及图3中的(b)所示的例子那样，在本实施方式中，在规定了各模型的基本动作的动作程序本身，并不是编入通过与其它的模型的协作而启动的动作等，而是与动作程序不同的规定着与其它的模型的组合所涉及的特殊效果的启动用的条件。由此，不需要在各模型的动作程序的作成时规定(编程)与其它的模型的协作带来的动作等，而是可以在作成各模型之后增加设定与其它的模型的组合带来的特殊效果。将动作程序本身在事后改变或增加一般是困难的情况很多，而通过设置图3中的(b)所示那样的特殊效果条件表来管理特殊效果条件，从而使得事后改变或增加特殊效果的启动条件变得容易。例如，在模型的数量或分类随时增加这样的情况下，每次改变各模型动作程序是困难的，因此通过特殊效果条件表来管理特殊效果条件是有效的。由此，在本实施方式中，确保了特殊效果条件的改变性以及扩展性。特别是如后所述那样，在本发明的一实施方式中，用户可以获取任意的图像，作成独创的模型。像这样，在模型中包含有用户独创的模型的情况下，通过利用图3中的(b)所示那样的表来管理特殊效果条件，从而容易的对用户独创的模型也附加与其它的模型的组合所涉及的特殊效果条件。另外，本发明并不排除在各模型的动作程序本身预先嵌入与其它的模型的组合带来的特殊效果(动作或演出等)，在另外的实施方式中也可以这样进行。
拥有模型表是记录每个用户所拥有的模型相关的信息用的表。例如，用户针对本身所拥有的模型可以使其在增强现实空间中自由出现来使用。另一方面，针对不拥有的模型不能使用，为了使用而需要另外获取(购入、作成、与其他用户交换、接受来自其他用户的赠与等)。拥有模型表中包含有记录用户固有的ID用的用户ID字段、记录用户所拥有的模型的ID的拥有模型ID字段以及记录各模型的来源的来源字段。有关模型的来源，例如，“作成”的意思是用户自己作成的模型(例如参照图6A)。另外，“获取”的意思是，以用户对规定的现实的物体进行摄影为契机而从服务器下载的模型(例如参照图6B)。另外，所谓“下载”的意思是用户从服务器下载(购入等)的模型。除此之外，作为模型的来源，也可以是与其他用户交换或者接受来自其他用户的赠与等。
管理服务器20的通信部23是通过互联网等的通信线路主要与增强现实显示装置10进行通信用的要素。通信部23主要将在数据库22中存储的各种的模型相关的信息向增强现实显示装置10发送。
接着，参照图4A～图4C以及图5A、图5B，针对模型的控制和特殊效果进行说明。如图4A～图4C以及图5A、图5B所示，增强现实显示装置10将多个模型在增强现实空间(将现实空间和虚拟空间组合，虚拟的模型重叠在现实的背景图像上的空间)中显示。
在图4A～图4C以及图5A、图5B所示的例子中，由显示部14和操作部15构成触控面板显示器，用户能够通过触控各模型而自由操作。控制部11所包含的模型控制部11a，对在增强现实空间(具体而言是虚拟空间)内存在的这些模型进行控制。例如通过在用一根手指触碰各模型的状态下使手指上下左右滑动，从而能够使各模型移动。另外，通过在用两根手指触碰各模型的状态下使手指上下左右滑动，从而能够改变各模型的朝向。另外，通过在用两根手指触碰各模型的状态下使两根手指的间隔扩宽(扩大(Pinch Out))，或者使两根手指的间隔变窄(缩小(Pinch In))，从而能够改变各模型的大小。除此之外，还有利用一根手指两次触碰各模型的操作或三次触碰各模型的操作等，模型控制部11能够对应于用户的各种的操作来控制在虚拟空间内的模型的动作或变化。
图4A示出通过多个模型同时出现在同一个增强现实空间中而执行特殊效果的例子。具体而言，在图4A中，示出动态模型的组合所涉及的特殊效果的例子。即，控制部11所包含的特殊效果执行部11b确认在同一个增强现实空间内同时出现的多个模型相关的信息，判断此模型的组合是否满足在特殊效果条件表(图3中的(b))中记录的特殊效果的执行条件。在特殊效果执行部11b判断模型的组合满足特殊效果的执行条件的情况下，执行与该模型的组合对应的特殊效果。例如，在图4A所示的例子中，人型的多个的模型(模型名：ModelA1、Model A2(备注：模型A1、模型A2))出现在增强现实空间中，参照图3中的(a)所示的模型表和图3中的(b)所示的表，判明此模型的组合满足特殊效果SE1的执行条件。该特殊效果SE1中，例如像图4A所示那样，包含有：执行两个模型握手这样的动作；执行使模型之间进行规定的会话且在模型的头上显示记载了台词的对话框的图像这样的演出。由此，在此例子中，可执行以下这样的特殊效果：特定的组合所涉及的两个模型一边握手一边进行会话。
图4B示出动态模型和静态模型的组合所涉及的特殊效果的例子。在图4B所示的例子中，人型的动态模型(模型名：Model A1)和树木型的静态模型(模型名：Model A4(模型A4))存在于同一个增强现实空间中。在此情况下，参照图3中的(a)所示的模型表和图3中的(b)所示的表，判明此模型的组合满足特殊效果SE2的执行条件。从而特殊效果执行部11b执行特殊效果SE2。该特殊效果SE2中，例如像图4B所示那样，包含有：执行当用户触碰树木型的模型时，苹果的模型从该树木型的模型落下这样的演出；执行人型的模型将所落下的苹果的模型捡起来这样的动作。像这样，通过动态模型和静态模型的组合也能够执行特殊效果。另外，特殊效果中也包含使特定的组合所涉及的模型以外的新的模型(例如苹果的模型)新出现在增强现实空间内的情况。
图4C示出所谓的场景模型的模型的组合所涉及的特殊效果的例子。多个轨道的静态模型(模型名：Model B4、Model B5Rail(备注：模型B4、模型B5轨道))显示在增强现实空间中，这些轨道能够在联接部(Joint Portion)连结。即，在各轨道的一端设定凸状的联接部，在另一端设定凹状的联接部，这些联接部被设定成能够连结。另外，轨道准备有例如像图4C所示的那样的直线状的轨道(Straight(备注：直线状))、曲线状的轨道(Gurve(备注：曲线状))或者其它的形状的轨道。另外，用户一边触碰轨道的模型一边使之在增强现实空间内自由移动，能够在联接部使轨道之间连结。像这样，用户通过将某个轨道模型和其它的轨道模型在增强现实空间进行连结，从而能够将轨道铺设成自由的形状，或者使轨道自由的延伸。
另外，在图4C所示的例子中，准备在轨道的模型之上行驶的列车的动态模型(Train(备注：列车))。该列车模型，详细情况如后所述那样，可以根据现实的列车的摄影图像来作成，也可以根据现实的列车的摄影图像而从存储部12或数据库22读取。另外，列车模型也可以是从存储部12或数据库22读取已有的模型而获得。列车模型通常执行以在增强现实空间内呈直线行驶的方式被编程的动作程序。因此，列车模型即使单独也能够在增强现实空间内行驶。而且，在增强现实空间中，在组合列车模型和多个轨道模型的情况下，被设定成执行列车模型在轨道模型之上行驶这样的特殊效果(参照图3中的(b)中的特殊效果SE7)。特殊效果执行部11b执行此特殊效果，使列车模型以沿着所连结的多个轨道模型行驶的方式动作。另外，此特殊效果中也可以包含在列车模型的上方显示蒸汽的图像这样的效果。由此，用户能够使得自己喜好的列车模型沿着自己作成的轨道的模型行驶。另外，虽然省略图示，但是能够在增强现实空间中登场的模型并不限于轨道和列车，只要适宜的准备车站、道口、大厦等建造物、树木或岩石、山等自然物等表现景观的场景模型的模型即可。
图5A以及图5B示出对应于模型组合条件和背景条件而执行特殊效果的例子。若具体进行说明，控制部11中所包含的图像分析部11c实时分析由拍摄部13获得的现实空间的背景图像，提取该背景图像中所包含的现实的物体的特征。例如，现实的物体的特征点预先规定了样式，图像分析部11c对在现实空间的背景图像中是否存在有与该样式一致的特征点进行分析。图像分析部11c在存在有与该样式一致的特征点的情况下，只要提取该特征点即可。在图5A所示的例子中，在现实空间的背景图像之中包含有桌子和椅子，图像分析部11c将该桌子的边缘部作为特征点(Edge)而提取。另外，在图5B所示的例子中，在现实空间的背景图像之中包含有马克杯，图像分析部11c将该马克杯整体作为特征点(Cup)而提取。像这样，图像分析部11c分析背景图像之中所包含的物体的形状和色彩等，从该图像之中提取与预先规定的样式一致的特征点。
接着，在通过图像分析部11c提取出特征点的情况下，特殊效果执行部11b参照特殊效果条件表(图3中的(b))，确认该特征点(背景条件)和多个模型的组合是否满足预先设定的特殊效果执行的条件。例如，在图3中的(b)所示的例子中，根据模型ID0001、0002的组合和边缘部的特征点(Edge)，满足特殊效果SE4的执行条件。优选该特殊效果SE4是与从背景图像提取的特征点相关联的特殊效果。例如像图5A所示的例子那样，在特殊效果SE4中包含有使各模型执行以下这样的动作：从作为特征点而提取的桌子的边缘部附近，一个模型跳跃而将另一个模型拉起。
另外，例如在图3中的(b)所示的例子中，根据模型ID0001、0002的组合和杯的特征点(Cup)，满足特殊效果SE5的执行条件。该特殊效果SE5也优选与从背景图像提取的特征点相关联。例如像图5B所示的那样，在特殊效果SE5中包含有：进行在作为特征点而提取的杯之中出现新的船的模型这样的演出；使一个模型执行搭乘该新出现的船这样的动作。另外，也可以使另一个模型执行悬挂在杯的边缘这样的动作。由此，利用背景图像中包含的物体，能够执行包含有虚拟模型的特定的动作和特定的演出的特殊效果。
接着，参照图6A、图6B，针对用户获取模型的方法的例子进行说明。图6A示出根据摄影图像中包含的现实的物体而生成二维或三维的虚拟的模型的方法。图6A的左图示出包含有例如手办或塑料制的组装模型等的现实的物体的摄影图像。现实的物体并不限于手办或组装模型，也可以是火车的轨道或车站、道口、大厦等的建造物或者树木或岩石、山等的自然物等。增强现实显示装置10获得包含有这样的现实的物体的摄影图像。摄影图像可以由拍摄部13摄影得到，也可以通过互联网等下载得到。图6A的左图示出物体的正面的摄影图像，在作成二维的模型的情况下，仅物体的正面的摄影图像就足够。另一方面，在作成三维的模型的情况下，优选获得对同一物体从不同的角度进行摄影而得到的多个图像。即，除了图6A的左图所示的物体的正面之外，还可以获得物体的背面、左侧面、右侧面、俯视、仰视、其它的立体图等多角度的摄影图像。
接着，模型生成部11d如图6A的右图所示，对一个或多个摄影图像进行分析，从该图像中包含的现实的物体生成二维或三维的模型。例如，在生成二维的模型的情况下，只要确定一张的摄影图像中包含的现实的物体的轮廓，沿着该轮廓形成平面的模型的外缘，并且以与该现实的物体的色彩和图案对应的方式设定模型的色彩和图案即可。另外，在生成三维的模型的情况下，只要根据对同一物体从不同的角度捕捉到的多个摄影图像而形成立体的模型的外缘，以与各个图像的色彩和图案对应的方式设定模型的色彩和图案即可。另外，从摄影图像生成二维或三维的模型的处理，并不限于在此记载的方式，可适当的采用公知的处理。
另外，模型生成部11d将上述这样生成的模型相关的信息登记在管理服务器20的数据库22中。具体而言，模型生成部11d对新生成的模型的形状和色彩等的特征进行分析，确定图3中的(a)的模型表所示的系列、性质、种属等的分类数据和模型名，根据需要确定动作程序。另外，模型ID被自动分配。例如，在新生成的模型是具有人型的特征的模型的情况下，在对应于形状和色彩而分类为适当的系列的基础上，将性质确定为动态模型(Dynamic)，将种属确定为人型(Human)，设定任意的模型名。另外，对应于被分类的系列、性质、种属，从预先准备的多个已有的动作程序之中分配适于该新的模型的动作程序。这样，模型生成部11d针对新的模型，设定与模型表的各字段对应的元数据。像这样，通过将各用户生成的模型利用管理服务器20而统一管理，从而也能够使得例如某个用户生成的模型可由另外的用户下载使用。在此情况下，也可以是在用户之间能够进行模型的交换或买卖。
另外，如前所述那样，多个模型的组合所涉及的特殊效果，通过特殊效果条件表(图3中的(b))来管理。因此，如上述那样，通过对新生成的模型分配系列、性质、种属等将模型分类的分类数据，从而自动设定与另外的模型的组合所涉及的特殊效果。因此，在本实施方式中，即使是针对新生成的用户独创的模型也能够简单的设定特殊效果。
图6B示出根据摄影图像中包含的现实的物体而读取预先存储在存储部12或数据库22中的已有的模型的方法。即，在图6B所示的例子中，不是新生成二维或三维的模型，而是以摄影图像中包含的现实的物体为触发，将与此对应的已有的模型从数据库22等中读取。具体而言，控制部11的模型获得部11e对图6B的左图所示的摄影图像进行分析，提取该图像中包含的现实的物体的特征点。作为特征点可列举出物体的轮廓、色彩、图案等。另外，在现实的物体上附有二维码(条形码)或三维码(QR码(注册商标))等编码的情况下，模型获得部11e也可以将该编码作为特征点而从摄影图像中提取，获得在编码中嵌入的信息。在此情况下，只要在编码中嵌入与现实的物体对应的模型的ID信息即可。
接着，模型获得部11e如图6B的右图所示，根据从摄影图像提取的特征点或编码(ID信息)，从增强现实显示装置10的存储部12或管理服务器20的数据库22读取与此对应的模型。根据这样的实施方式，例如在用户购入实物的手办或组装模型之后，对其使用智能手机(增强现实显示装置10)进行摄影，从而能够进行从管理服务器20下载与该手办等对应的二维或三维的模型这样的服务展开。另外，在本发明中，可以将模型在增强现实空间内自由组装或者与另外的模型进行换装，因此能够扩展实际购入的手办等的游戏方法。
另外，除此之外，用户也可以通过从已有的多个模型之中选择任意的模型，从而获取模型。例如，由用户选择的模型从管理服务器20的数据库22(或者增强现实显示装置10的存储部12)被读取，并出现在增强现实空间中。因此，即使是像图6A以及图6B所示的那样并不拥有实际的手办等物体，用户也能够获取虚拟的模型。
在本发明中，使用着增强现实(AR：Augmented Reality)这样的用词，但是根据本发明的实施例，有时也分类为虚拟现实(VR：Virtual Reality)或混合现实(MR：MixedReality)或者将它们总称的XR这样的技术。
以上，在本申请说明书中，为了表现本发明的内容，一边参照附图一边进行了本发明的实施方式的说明。但是，本发明并不限定于上述实施方式，包含根据本申请说明书中记载的事项本领域的技术人员显而易见的变更形态和改良形态。

Claims (8)

1.一种增强现实显示装置，具有：
拍摄部，其获得现实世界的背景图像；
特殊效果执行部，其在虚拟空间内存在有特定的组合所涉及的多个模型的情况下，执行与所述模型的组合对应的特殊效果；
显示部，其根据所述特殊效果，将所述模型与所述背景图像一起显示。
2.根据权利要求1所述的增强现实显示装置，其中，所述特殊效果包括使所述特定的组合所涉及的多个模型进行特定的行动，或者，在所述特定的组合所涉及的多个模型之外，输出特定的计算机图形或另外的模型。
3.根据权利要求1所述的增强现实显示装置，其中，所述模型中包含有在所述虚拟空间内移动的动态模型和停留在所述虚拟空间内的特定位置的静态模型，
所述特殊效果执行部对应于所述动态模型和所述静态模型的特定的组合而执行所述特殊效果。
4.根据权利要求1所述的增强现实显示装置，其中，还具有图像分析部，该图像分析部对包含有]现实的物体的图像进行分析，提取该图像中包含的现实的物体的特征，
所述特殊效果执行部执行与所述模型和所述现实的物体的特征的组合对应的特殊效果。
5.根据权利要求4所述的增强现实显示装置，其中，在所述显示部的显示空间内所述现实的物体接触于所述模型时，所述特殊效果执行部执行将该接触所带来的作用给予所述模型的特殊效果。
6.根据权利要求1所述的增强现实显示装置，其中，还具有模型生成部，该模型生成部对包含有现实的物体的图像进行分析，根据该图像中包含的现实的物体而生成二维或三维的模型，
所述模型生成部对所生成的所述模型设定与另外的模型的组合所涉及的特殊效果。
7.根据权利要求1所述的增强现实显示装置，其中，还具有模型获得部，该模型获得部对包含有现实的物体的图像进行分析，根据该图像中包含的现实的物体的信息，从存储部读取与该现实的物体对应的所述模型，或者通过通信线路而从服务器获得与该现实的物体对应的所述模型。
8.一种记录介质，记录有使便携式信息终端作为权利要求1所述的增强现实显示装置而发挥功能的程序。
CN202110230812.5A 2020-06-14 2021-03-02 增强现实显示装置以及记录介质 Pending CN113808280A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-102750 2020-06-14
JP2020102750A JP7369669B2 (ja) 2020-06-14 2020-06-14 拡張現実表示装置及びプログラム

Publications (1)

Publication Number Publication Date
CN113808280A true CN113808280A (zh) 2021-12-17

Family

ID=78825807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110230812.5A Pending CN113808280A (zh) 2020-06-14 2021-03-02 增强现实显示装置以及记录介质

Country Status (3)

Country Link
US (1) US11568608B2 (zh)
JP (1) JP7369669B2 (zh)
CN (1) CN113808280A (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7991220B2 (en) 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
JP5472056B2 (ja) 2010-11-19 2014-04-16 コニカミノルタ株式会社 表示システム、表示処理装置、表示方法、および表示プログラム
JP5988563B2 (ja) * 2011-10-25 2016-09-07 キヤノン株式会社 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム
JP5995304B2 (ja) 2011-12-12 2016-09-21 株式会社バンダイナムコエンターテインメント プログラム、情報記憶媒体、端末及びサーバ
JP2014071838A (ja) * 2012-10-01 2014-04-21 Dainippon Printing Co Ltd 画像処理装置およびカードゲーム具
CN107004290B (zh) 2015-01-06 2020-12-15 索尼公司 效果生成装置、效果生成方法以及程序
JP2016218974A (ja) 2015-05-26 2016-12-22 イ，ウン−ミ 拡張現実画像表示システムおよび拡張現実画像表示方法
JP2017010578A (ja) 2016-08-30 2017-01-12 株式会社バンダイ 携帯端末装置、端末プログラム、拡張現実感システム、および衣類
US9898871B1 (en) * 2016-10-05 2018-02-20 Disney Enterprises, Inc. Systems and methods for providing augmented reality experience based on a relative position of objects
JP6263252B1 (ja) * 2016-12-06 2018-01-17 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7355483B2 (ja) * 2016-12-15 2023-10-03 株式会社バンダイナムコエンターテインメント ゲームシステム及びプログラム
JP6918630B2 (ja) * 2017-08-16 2021-08-11 株式会社コロプラ 情報処理方法、プログラム及びコンピュータ
US11262838B2 (en) 2018-01-30 2022-03-01 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
US20210390785A1 (en) 2021-12-16
US11568608B2 (en) 2023-01-31
JP2021196855A (ja) 2021-12-27
JP7369669B2 (ja) 2023-10-26

Similar Documents

Publication Publication Date Title
US10565796B2 (en) Method and system for compositing an augmented reality scene
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US11600033B2 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
KR101671900B1 (ko) 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
CN104461318B (zh) 基于增强现实技术的点读方法及系统
KR102581453B1 (ko) 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리
JP6020446B2 (ja) 画像表示システム、画像表示装置、画像表示方法及びプログラム
JP2019528544A (ja) 動画を制作する方法及び装置
US11461950B2 (en) Object creation using body gestures
CN111640202B (zh) 一种ar场景特效生成的方法及装置
CN103258338A (zh) 利用真实数据来驱动仿真的虚拟环境的方法和系统
CN105474221A (zh) 实现数字内容获取的盒装体验
KR102068993B1 (ko) 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치
JP2022512525A (ja) Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
US11302088B2 (en) Augmented reality display device and program
CN113808280A (zh) 增强现实显示装置以及记录介质
KR102026172B1 (ko) 사물 의인화 및 사물 컨텍스트를 이용한 인공지능 대화 방법 및 시스템
KR20200052812A (ko) 가상 환경에 활동 캐릭터를 생성하기 위한 가상환경의 활동캐릭터 생성 방법
Ami-Williams et al. Digitizing traditional dances under extreme clothing: The case study of eyo
JP7001719B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
CN105749552A (zh) 一种进行ar卡游戏的方法
CN108416832A (zh) 媒体信息的显示方法、装置和存储介质
Ayad Using Augmented Reality in Enhancing Museum Experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination