CN112312110A - 非暂态计算机可读介质、图像处理装置及图像处理方法 - Google Patents

非暂态计算机可读介质、图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN112312110A
CN112312110A CN202010737232.0A CN202010737232A CN112312110A CN 112312110 A CN112312110 A CN 112312110A CN 202010737232 A CN202010737232 A CN 202010737232A CN 112312110 A CN112312110 A CN 112312110A
Authority
CN
China
Prior art keywords
display
display frame
dimensional virtual
virtual object
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010737232.0A
Other languages
English (en)
Inventor
林雅人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Square Enix Co Ltd
Original Assignee
Square Enix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Square Enix Co Ltd filed Critical Square Enix Co Ltd
Publication of CN112312110A publication Critical patent/CN112312110A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种包含有图像处理程序的非暂态计算机可读介质、图像处理装置以及图像处理方法。图像处理程序使终端装置进行以下动作：获取通过拍摄真实空间而获取的拍摄图像；在满足预定条件的情况下，在拍摄图像的显示区域中显示具有一个以上的显示区域的显示框；获取至少包含三维虚拟对象信息和位置关系信息的虚拟空间信息，三维虚拟对象信息是有关预先布置在虚拟空间中的一个以上的三维虚拟对象的信息；以及在从虚拟视点虚拟地拍摄虚拟空间中的显示框的情况下从虚拟视点拍摄显示框时对在显示区域的后面呈现的某个三维虚拟对象进行渲染，并且在显示框的显示区域中显示所述某个三维虚拟对象。

Description

非暂态计算机可读介质、图像处理装置及图像处理方法
技术领域
本发明的至少一个实施例涉及一种能够将具有复杂配置的三维虚拟对象转换为二维显示图像并显示转换后的二维显示图像的同时减轻处理负荷的包含有图像处理程序的非暂态计算机可读介质(Non-transitory Computer-Readable Medium)、图像处理装置及图像处理方法。
背景技术
近年来，经常发生通过使用三维虚拟对象来生成二维显示图像并加以利用的情况。例如，已经存在这样的示例，其中，获取通过利用虚拟相机从特定视点拍摄在虚拟空间中布置的三维虚拟对象的状况而获得的图像作为二维显示图像并将其用于漫画或动画中的任何一种。此外，还将通过利用三维虚拟对象而生成的二维显示图像叠加并显示在通过利用增强现实技术(AR技术)拍摄真实空间而获得的拍摄图像上。
例如，JP2011-198138A(以下称为“专利文献1”)公开了获取通过由虚拟相机从特定视点拍摄在虚拟空间中布置的三维虚拟对象的状况而获得的图像作为二维显示图像，并且所述图像用于漫画的制作。专利文献1公开了一种漫画制作支持装置，其支持包含帧的漫画的制作。漫画制作支持装置包括：当将通过由虚拟相机从特定视点拍摄在虚拟空间中布置的作为三维虚拟对象的角色的状况而获得的图像作为二维静止图像而用作漫画的帧时，确定拍摄图像中是否包括对象的头部的功能；以及仅呈现包含对象头部的图像作为帧图像的候选的功能。
上述专利文献1公开了将通过从多个视点方向拍摄布置在虚拟空间中的作为三维虚拟对象的角色而获得的多个图像分别用作漫画的帧来作为静止图像。然而，专利文献1没有公开将通过不断渲染虚拟空间而获得的图像用作帧的配置。它还可以配置成总是从多个视点方向对每个图像执行渲染处理，并且在帧中分别显示所述多个图像。然而，存在的问题是，以这种方式总是从多个视点方向渲染和显示虚拟空间的处理变成非常重的处理负荷。
为了减轻处理负荷，可以通过减少同时渲染的多个图像的视点方向的数量来减轻处理负荷，例如，仅选择一个视点方向。然而，如果简单地减少视点方向的数量，则可能发生要显示的图像变得单调并且可能导致其缺乏乐趣的问题。
发明内容
本发明的至少一个实施例的目的在于解决上述问题，并提供包含有图像处理程序的非暂态计算机可读介质、图像处理装置及图像处理方法，能够将具有复杂配置的三维虚拟对象转换为二维显示图像并显示转换后的二维显示图像，同时减轻处理负荷。
根据本发明的一个非限制性方面，提供了一种非暂态计算机可读介质，其包含有图像处理程序，用于使设置有拍摄单元和显示单元的终端装置实现使所述显示单元显示显示画面的功能。在这种情况下，所述显示画面通过将虚拟对象叠加并显示在拍摄图像上而获取。所述虚拟对象布置在虚拟空间中。所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取。
所述功能包括：拍摄图像获取功能，配置为获取拍摄图像，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取；
所述功能还包括：显示框显示功能，配置为在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一并且具有一个以上的显示区域。
所述功能还包括：虚拟空间信息获取功能，配置为获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是有关预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是有关一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息。
所述功能还包括：渲染功能，配置为在从虚拟视点虚拟地拍摄在所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点是基本相同的视点，所述渲染功能配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
根据本发明的另一个非限制性方面，提供了一种图像处理装置，其设置有拍摄单元和显示单元。
所述图像处理装置包括：拍摄图像获取单元，其配置为获取拍摄图像，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取。
所述图像处理装置还包括：显示框显示单元，其配置为在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一且具有一个以上的显示区域。
所述图像处理装置还包括：虚拟空间信息获取单元，其配置为获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是有关预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是有关一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息。
所述图像处理装置还包括：渲染单元，其配置为在从虚拟视点虚拟地拍摄所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点具有基本相同的视点，所述渲染单元配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
根据本发明的又一个非限制性方面，提供了一种图像处理方法，其使设置有拍摄单元和显示单元的终端装置通过所述显示单元显示显示画面。在这种情况下，所述显示画面通过将虚拟对象叠加并显示在拍摄图像上而获取。所述虚拟对象布置在虚拟空间中。所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取。
所述图像处理方法包括：拍摄图像获取处理，配置为获取拍摄图像，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取。
所述图像处理方法还包括：显示框显示处理，配置为在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一并且具有一个以上的显示区域。
所述图像处理方法还包括：虚拟空间信息获取处理，配置为获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是关于预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是关于一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息。
所述图像处理方法还包括：渲染处理，配置为在从虚拟视点虚拟地拍摄在所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域而在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点具有基本相同的视点，所述渲染处理配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
根据本申请的各实施例，解决了一个或两个以上的不足。
通过以下参照附图对本发明的优选实施例的详细说明，本发明的前述及其它目的、特征和优点将变得更清晰。
附图说明
图1是示出与本发明的至少一个实施例对应的图像处理装置所需的系统配置的示例的框图；
图2是示出与本发明的至少一个实施例对应的图像处理装置的配置的框图；
图3是示出与本发明的至少一个实施例对应的图像处理的示例的流程图；
图4是示出与本发明的至少一个实施例对应的在终端装置执行图像处理的情况下终端装置侧的动作的示例的流程图；
图5是示出与本发明的至少一个实施例对应的在服务器装置执行图像处理的情况下服务器装置侧的动作的示例的流程图；
图6是示出与本发明的至少一个实施例对应的图像处理装置的配置的框图；
图7是示出与本发明的至少一个实施例对应的在终端装置执行图像处理的情况下终端装置侧的动作的示例的流程图；
图8是示出与本发明的至少一个实施例对应的图像处理装置的配置的框图；
图9是示出与本发明的至少一个实施例对应的在终端装置执行图像处理的情况下终端装置侧的动作的示例的流程图；
图10是示出与本发明的至少一个实施例对应的图像处理装置的配置的框图；
图11是示出与本发明的至少一个实施例对应的在终端装置执行图像处理的情况下终端装置侧的动作的示例的流程图；
图12是示出与本发明的至少一个实施例对应的图像处理装置的配置的框图；
图13是示出与本发明的至少一个实施例对应的在终端装置执行图像处理的情况下终端装置侧的动作的示例的流程图；
图14是示出与本发明的至少一个实施例对应的在虚拟空间中布置显示框和三维虚拟对象的状态的说明图；
图15是与本发明的至少一个实施例对应的用于说明设定于显示区域的过滤器的功能的说明图；
图16是与本发明的至少一个实施例对应的用于说明设定于显示区域的临时删除设定的功能的说明图；
图17是与本发明的至少一个实施例对应的用于说明改变拍摄视点的状态的说明图；以及
图18A、图18B是示出与本发明的至少一个实施例对应的使终端装置显示的显示画面的示例的说明图。
具体实施方式
以下将参照附图说明根据本发明的实施例的示例。注意的是，以下说明的各实施例中的各种构成要素在无任何矛盾等的情况下可以适当地组合。另外，在某一实施例中已说明的内容可以在另一个实施例中省略。此外，可以省略与各实施例的特征部分无关的动作或处理的内容。此外，构成以下说明的各种流程的各种处理的顺序可以在处理内容没有任何矛盾等的情况下改变。
[第一实施例]
图1是示出与本发明的至少一个实施例对应的图像处理装置所需的系统配置的示例的框图。如图1所示，根据本实施例的整个的系统配置为包括服务器装置10和由用户分别使用的终端装置20、201～20n(“n”是大于1的任意整数)。图1示出服务器装置10和终端装置20、201～20n。然而，在本实施例中，假设终端装置20单独用作图像处理装置的情况以及服务器装置10和终端装置20分担并实现各种功能且结果是它们整体用作图像处理装置的情况(在这种情况下，可以说是包括多种配置的图像处理系统)。在这一点上，即使是在服务器装置10和终端装置20用作图像处理装置的情况下，用户使用的对象也是终端装置20。因此，终端装置20作为图像处理装置的主体而执行处理的情况的示例，以下可以通过使用附图标记“20”将终端装置20表示为“图像处理装置20”。在这一点上，其系统配置不限于此。例如，图像处理装置20可以配置为多个用户使用单个终端装置，或者可以配置为包括多个服务器装置。
服务器装置10和多个终端装置20、201～20n中的每一个连接于诸如英特网的通信网络30。在这一点上，尽管在图中未示出，但是多个终端装置20、201～20n通过利用无线通信线路与由通信运营商管理的基站执行数据通信来连接于通信网络30。系统包括服务器装置10和多个终端装置20、201～20n，从而实现用于响应用户操作执行各种处理的各种功能。
服务器装置10由系统的管理者管理，且具有向多个终端装置20、201～20n中的每一个提供关于各种处理的信息的各种功能。在本实施例中，服务器装置10由诸如WWW服务器的信息处理装置构成，且包括用于存储各种信息的存储介质。在这一点上，服务器装置10设置有像计算机一样的执行各种处理的一般配置，诸如控制单元或通信单元。然而，在此省略其说明。此外，优选地，从减轻多个终端装置20、201～20n中的每一个的处理负荷的观点看，各种信息由服务器装置10管理。然而，配置为存储各种信息的存储单元在服务器装置10能够访问存储区的状态下可以设置有存储区。例如，服务器装置10可以配置为包括在服务器装置10的外部的专用的存储区。
多个终端装置20、201～20n中的每一个由用户管理，并且例如由诸如手机终端、PDA(个人数字助理)或便携式游戏机的通信终端构成。此外，在本实施例中，终端装置20、201～20n中的每一个包括拍摄单元(Photographing Unit)和显示单元。例如，拍摄单元对应于拍摄装置(Camera Device)等。然而，拍摄单元可以是任何一种，只要它可以将用户周围的状况拍摄为运动图像或静止图像即可。例如，显示单元对应于显示装置。然而，显示单元可以是任何一种，只要它可以显示由拍摄单元拍摄的运动图像或静止图像即可。
此外，多个终端装置20、201～20n中的每一个连接于通信网络30，并且包括用于通过与服务器装置10通信而执行各种处理的硬件和软件。在这一点上，多个终端装置20、201～20n中的每一个可以配置为能够在不使用服务器装置10时彼此直接通信。
在由图像处理装置进行的各种处理期间，如果必要的话，服务器装置10适当地将处理阶段发送到多个终端装置20、201～20n中的每一个。多个终端装置20、201～20n中的每一个使显示单元显示包含接收到的处理阶段的内容的显示图像。显示图像的生成(或显示图像的一部分的生成)可以由服务器装置10执行或者可以由终端装置20执行。
图2是示出与本发明的至少一个实施例对应的图像处理装置的配置的框图。如图2所示，图像处理装置20A至少包括拍摄图像获取单元(Photographed Image ObtainingUnit)21、显示框(Display Frame)显示单元22、虚拟空间信息获取单元23、渲染单元24以及存储单元25。在图3至图5所示的示例中，执行图像处理(将在后面说明)的图像处理装置20A可以由服务器装置10或终端装置20中的至少一个配置。以下，图像处理装置20A也可以称为“终端装置20A”。
拍摄图像获取单元21具有获取由拍摄单元拍摄真实空间而获得的拍摄图像的功能。例如，拍摄图像获取单元21通过诸如用户拥有的智能手机的终端装置20的拍摄装置获取用户周围的状况的作为静止图像或运动图像的拍摄图像。
显示框显示单元22具有在满足预定条件的情况下在拍摄图像的显示区域中显示显示框的功能。显示框是虚拟对象的其中之一，且具有一个或多个显示区域。在此，虚拟对象是指布置在虚拟空间中的虚拟对象。此外，三维虚拟对象是指由三维结构表示的虚拟对象。作为三维虚拟对象的示例，例如，存在有由多边形的三维结构表示的对象。在这一点上，布置在虚拟空间中的对象不必一定是三维虚拟对象。布置在虚拟空间中的对象可以是具有通过绘制2D动画获取的平面形状的对象。即，在本实施例中，在将对象表现为三维虚拟对象的情况下，对象包括布置在三维虚拟空间中的二维虚拟对象。此外，显示框是虚拟对象的其中之一，并且是用于实现向用户显示布置在虚拟空间中的虚拟对象的功能的虚拟对象。此外，显示区域是指具有向用户显示布置在虚拟空间中的虚拟对象的功能的区域。可以适当地设定为显示框提供的显示区域的数量。例如，显示框由一个或多个显示区域和除显示区域以外的框架部分配置成。
此外，预定条件是开始显示显示框的条件。本实施例涉及所谓的增强现实(AR)，其中在通过拍摄真实空间而获取的拍摄图像上叠加并显示作为虚拟对象的显示框。因此，需要预先设定叠加和显示显示框时满足真实空间的拍摄图像的条件。预定条件可以是任何条件。然而，例如，考虑以下条件。即，条件包括由以下情况触发的条件：由诸如终端装置20的GPS信息的位置信息指示的位置到达预定位置的状况触发的条件；由终端装置20从拍摄图像指定存在于真实空间中的预定对象(AR标记、条形码、矩阵型二维码、独特的对象等)的情况触发的条件；由终端装置20从诸如信标的近距离无线通信装置接收到预定的无线信号的情况触发的条件。
虚拟空间信息获取单元23具有获取虚拟空间信息的功能。虚拟空间信息至少包含关于一个以上的三维虚拟对象的三维虚拟对象信息以及三维虚拟对象中的每一个与显示框之间的位置关系信息。在虚拟空间中预先布置一个以上的三维虚拟对象。三维虚拟对象信息是指指定三维虚拟对象所需的信息。例如，在三维虚拟对象由3D多边形形成的情况下，除了3D多边形的顶点和用于指定如何配置多边形的表面的信息之外，还包含每个表面的表面纹理(texture)信息作为三维虚拟对象信息。此外，在本实施例中，位置关系信息是指用于指定确定布置在虚拟空间中的显示框与布置在虚拟空间中的三维虚拟对象之间的位置关系的信息。在这一点上，显示框与三维虚拟对象之间的位置关系的内容不受特别限制。然而，为了通过渲染单元24(将在后面说明)在显示框的显示区域中渲染三维对象，需要在从虚拟视点拍摄显示框时成为渲染目标的位置关系。通过虚拟空间信息获取单元23获取至少包含三维虚拟对象信息和位置关系信息的虚拟空间信息。该虚拟空间信息可以配置为存储在终端装置20的存储单元25中，或者可以配置为将虚拟空间信息存储在服务器装置10的存储单元中并且终端装置20经由通信网络30从服务器装置10获取虚拟空间信息。
渲染单元24具有以下功能：在从与拍摄单元的拍摄视点基本相同的视点的虚拟视点虚拟地拍摄虚拟空间中的显示框的情况下，对从虚拟视点拍摄显示框时通过假设显示框的显示区域是透明区域(Transmission Area)而在显示区域背后呈现的三维虚拟对象进行渲染以及在显示框的显示区域中显示三维虚拟对象。渲染单元24配置为在显示区域中渲染将当从虚拟视点拍摄虚拟空间时在显示区域的背后呈现的三维虚拟对象。即，即使在虚拟空间中布置显示框和多个三维虚拟对象，也不会将它们全部叠加并显示在拍摄图像上，而是将渲染单元24配置为仅针对显示框的显示区域在虚拟空间中渲染一个或多个三维虚拟对象，将仅具有显示区域的显示框叠加和显示在拍摄图像上。因此，有必要将三维虚拟对象在虚拟空间中布置成使终端装置20想要向用户显示的三维虚拟对象投射在显示区域中。优选地，当执行渲染时，虚拟视点在虚拟空间中的位置与拍摄单元的拍摄视点相同。然而，位置不必与拍摄视点完全一致，并且即使它们略微偏离也没有问题，只要用户在该偏离中不会感到不适即可。
存储单元25具有存储图像处理装置20A中的各个单元的处理所需的信息的功能。此外，存储单元25还具有存储通过各个单元的处理生成的各种信息的功能。
图3是示出与本发明的至少一个实施例对应的图像处理的示例的流程图。以下，将以服务器装置10和终端装置20A执行图像处理的情况为例进行说明。
在终端装置20A获取拍摄图像的情况下开始图像处理(步骤S11)。终端装置20A首先确定是否满足用于显示显示框的预定条件(步骤S12)。在确定满足预定条件的情况下，终端装置20A向服务器装置10请求以将虚拟空间信息发送给终端装置20A(步骤S13)。在此，虚拟空间信息存储在服务器装置10中，以和与满足的预定条件对应的显示框相关联。服务器装置10将存储的以与显示框相关联的虚拟空间信息发送给终端装置20A(步骤S14)。终端装置20A基于获取的虚拟空间信息和与终端装置20A的拍摄视点对应的虚拟视点对显示框的显示区域执行渲染处理(步骤S15)。终端装置20A然后在已对显示区域执行渲染处理的状态下将显示框叠加并显示在拍摄图像上(步骤S16)，并结束图像处理。在这一点上，仅使用该流程图说明叠加和显示一个渲染结果的情况。然而，仅以最简单的配置为例进行说明。不言而喻，不断渲染虚拟空间并且针对像运动图像一样的每个帧输出渲染结果的情况下，需要针对每个帧执行渲染处理以及叠加和显示处理。这也适用于关于以下出现的其它流程图的说明。
图4是示出在终端装置20A执行图像处理的情况下终端装置侧的动作的示例的流程图。在此，将说明在终端装置20A执行图像处理的情况下的动作。
在终端装置20A获取拍摄图像的情况下开始图像处理(步骤S101)。终端装置20A首先确定是否满足用于显示显示框的预定条件(步骤S102)。在确定满足预定条件的情况下，终端装置20A获取存储在其中的与满足的预定条件对应的显示框相关联的虚拟空间信息(步骤S103)。终端装置20A基于获取的虚拟空间信息和与终端装置20A的拍摄视点对应的虚拟视点对显示框的显示区域执行渲染处理(步骤S104)。终端装置20A然后在已对显示区域执行渲染处理的状态下将显示框叠加并显示在拍摄图像上(步骤S105)，结束图像处理。
图5是示出在服务器装置10执行图像处理的情况下服务器装置侧的动作的示例的流程图。以下，将以服务器装置10主要执行图像处理的情况为例进行说明。在这一点上，服务器装置10配置为包括与终端装置20A的配置相同的功能，除了从终端装置20A接收到各种信息之外。由于这个原因，因此从避免重复说明的角度省略其说明。
在服务器装置10获取拍摄图像的情况下开始图像处理(步骤S201)。服务器装置10首先确定是否满足用于显示显示框的预定条件(步骤S202)。在确定满足预定条件的情况下，服务器装置10获取存储在其中的与满足的预定条件对应的显示框相关联的虚拟空间信息(步骤S203)。服务器装置10基于获取的虚拟空间信息和与终端装置20A的拍摄视点对应的虚拟视点对显示框的显示区域执行渲染处理(步骤S204)。服务器装置10然后在已对显示区域执行渲染处理的状态下将显示框叠加并显示在拍摄图像上(步骤S205)，并结束图像处理。最终的叠加图像将由终端装置20A的显示单元显示。
如上所述，作为第一实施例的一个方面，设置有拍摄单元和显示单元的图像处理装置20A包括拍摄图像获取单元21、显示框显示单元22、虚拟空间信息获取单元23、渲染单元24以及存储单元25。因此，拍摄图像获取单元21获取通过由拍摄单元拍摄真实空间而获取的拍摄图像；显示框显示单元22在满足预定条件的情况下在拍摄图像的显示区域显示显示框，显示框作为虚拟对象的其中之一且具有一个以上的显示区域；虚拟空间信息获取单元23获取虚拟空间信息，虚拟空间信息至少包含关于预先布置在虚拟空间中的一个以上的三维虚拟对象的三维虚拟对象信息以及三维虚拟对象中的每一个与显示框之间的位置关系信息；以及渲染单元24在从与拍摄单元的拍摄视点基本相同的视点的虚拟视点虚拟地拍摄虚拟空间中的显示框的情况下，对从虚拟视点拍摄显示框时通过假设显示框的显示区域是透明区域而在显示区域的背后呈现的三维虚拟对象进行渲染，并在显示框的显示区域中显示三维虚拟对象。因此，可以将具有复杂配置的三维虚拟对象转换为二维显示图像并显示转换后的二维显示图像，同时减轻处理负荷。
即，通过将用于渲染的虚拟视点的位置固定到与拍摄单元的拍摄视点基本相同的视点的位置，以从该视点拍摄显示框，可以具有简单的配置，在该配置中，当从用户的角度来看时，用户想要显示的三维虚拟对象预先布置在显示框的背后。通过以这种方式从单一的视点限制拍摄，与并行执行从多个视点的渲染处理的情况相比，可以减轻处理负荷。
[第二实施例]
图6是示出与本发明的至少一个实施例对应的图像处理装置的配置的框图。如图6所示，图像处理装置20B至少包括拍摄图像获取单元21、显示框显示单元22B、虚拟空间信息获取单元23、渲染单元24B以及存储单元25。在这一点上，服务器装置10和终端装置20可以配置为彼此协作执行图像处理。或者终端装置20可以配置单独执行图像处理。然而，在任何情况下，图像处理都是基于用户使用终端装置20的状况。由于这个原因，在图6所示的示例中，将以终端装置20用作图像处理装置20B的情况为例进行说明。以下，图像处理装置20B也可以称为“终端装置20B”。
显示框显示单元22B具有在满足预定条件的情况下在拍摄图像的显示区域中显示显示框的功能。显示框是虚拟对象的其中之一，且具有一个或多个显示区域。此外，在该第二实施例中，三维虚拟对象被登记以分别与识别ID相关联。可以为显示框的显示区域中的每一个设定能够与任何识别ID关联的过滤器(Filter)。在此，识别ID是指用于识别三维虚拟对象的ID。此外，过滤器是指用于通过给显示区域设定识别ID来设定绘制哪个三维虚拟对象或不绘制哪个三维虚拟对象的过滤器。有必要给过滤器预先登记识别ID。
渲染单元24B具有以下功能：在从与拍摄单元的拍摄视点基本相同的视点的虚拟视点虚拟地拍摄虚拟空间中的显示框的情况下，对从虚拟视点拍摄显示框时通过假设显示框的显示区域是透明区域而从显示区域的背后呈现的三维虚拟对象进行渲染以及在显示框的显示区域中显示三维虚拟对象。此外，渲染单元24B还具有基于给显示区域设定的过滤器来指定要显示的三维虚拟对象以及执行渲染以在显示区域中显示三维虚拟对象的功能。即，在渲染期间在没有过滤器的情况下即使三维虚拟对象布置在显示区域中的要绘制的位置处，过滤器也不允许绘制三维虚拟对象。或者，在渲染期间，从绘制目标中排除设定了禁止绘制的三维虚拟对象。
图7是示出在终端装置20B执行图像处理的情况下终端装置侧的动作的示例的流程图。在此，将对在终端装置20B执行图像处理的情况下的动作进行说明。
在终端装置20B获取拍摄图像的情况下开始图像处理(步骤S301)。终端装置20B确定是否满足用于显示显示框的预定条件(步骤S302)。在确定满足预定条件的情况下，终端装置20B获取存储在其中的与满足的预定条件对应的显示框相关联的虚拟空间信息(步骤S303)。接下来，终端装置20B获取设定给显示框的显示区域的过滤器的信息(步骤S304)。终端装置20B然后基于过滤器指定要显示的三维虚拟对象，并且基于获取的虚拟空间信息和与终端装置20B的拍摄视点对应的虚拟视点，对显示框的显示区域执行渲染处理(步骤S305)。最后，终端装置20B在对显示区域已执行渲染处理的状态下将显示框叠加并显示在拍摄图像上(步骤S306)，并结束图像处理。
如上所述，作为第二实施例的一个方面，设置有拍摄单元和显示单元的图像处理装置20B配置为包括拍摄图像获取单元21、显示框显示单元22B、虚拟空间信息获取单元23、渲染单元24B以及存储单元25。因此，识别ID分别与三维虚拟对象相关联，并且与任何识别ID能够关联的过滤器能够设定给每个显示区域；并且渲染单元24B基于设定给显示区域的过滤器来指定要显示的三维虚拟对象，并且执行渲染以在显示区域中显示三维虚拟对象。因此，通过过滤器来任意地将三维虚拟对象设定成显示在显示区域中成为可能。
即，发生这样的情况，即期望在特定显示区域中显示三维虚拟对象，而不期望在相邻的显示区域中显示该三维虚拟对象。在期望显示的显示框配置为仅依赖从虚拟视点观看时三维对象如何布置在显示区域的背后的情况下，则发生这样的问题：当布置大的三维虚拟对象时，大的三维虚拟对象也可能被绘制在不期望显示大的三维虚拟对象的显示区域中。因此，例如，通过将不期望显示的三维对象的识别ID设定给显示区域的过滤器，即使不期望显示的三维对象朝向显示区域的绘制范围突出，也可以在渲染期间通过过滤器从绘制目标中排除该三维对象。这能够提高在虚拟空间中布置三维虚拟对象的自由度。
[第三实施例]
图8是示出与本发明的至少一个实施例对应的图像处理装置的配置的框图。如图8所示，图像处理装置20C至少包括拍摄图像获取单元21、显示框显示单元22C、姿势信息获取单元26、初始位置信息存储单元27、虚拟空间信息获取单元23、渲染单元24C以及存储单元25。在这一点上，服务器装置10和终端装置20可以配置彼此协作执行图像处理。或者终端装置20可以配置为单独执行图像处理。然而，在任何情况下，图像处理是基于用户使用终端装置20的情况。由于这个原因，在图8所示的示例中，将以终端装置20用作图像处理装置20C的情况为例进行说明。以下，图像处理装置20C也可以称为“终端装置20C”。
姿势信息获取单元26具有获取姿势信息的功能，姿势信息包含拍摄方向、拍摄角度或者移动方向中的至少一个。这些数据基于通过终端装置20C所包括的各种传感器获取的信息来指定。在此，姿势信息是指用于指定终端装置20C的姿势状态的信息。除了拍摄方向、拍摄角度和移动方向之外，姿势信息可以包含各种姿势信息。任何类型的传感器可以采用，只要它是用于获取终端装置20C的姿势信息的传感器即可。例如，可以列举出方位传感器、陀螺仪传感器、GPS装置。作为姿势信息，可以获取通过终端装置20C转换的姿势信息，或者终端装置20C可以获取传感器信息以执行从传感器信息到姿势信息的转换处理。
初始位置信息存储单元27具有以下功能：至少将首次由显示框显示单元22C显示显示框时的终端装置20C的位置与假设显示框在真实空间中存在的情况下的终端装置20C的位置之间的相对位置关系作为初始位置来存储。确定首次显示的显示框的位置的方法有很多种，并且可以采用任何方法。例如，可以考虑的是，将显示显示框的位置预先登记为与诸如空间中的坐标位置或纬度/经度信息的位置信息相关联的方法，定义从满足预定条件时的终端装置20C的位置到显示显示框的位置相距预定距离的位置的方法。在显示框的显示位置被定义为与固定的位置信息相关联的情况下，可以通过获取终端装置20C的位置信息来指定初始位置。在显示框的显示位置未预先被定义的情况下，通过将终端装置20C和显示框中的每一个的初始位置在虚拟空间中标出来存储初始位置，或者通过存储与实际坐标位置相关联的初始位置来存储初始位置。此外，存储为初始位置的信息还包含显示框的显示方向的信息。
显示框显示单元22C具有在满足预定条件的情况下在拍摄图像的显示区域中显示显示框的功能。显示区域是虚拟对象的其中之一，且具有一个以上的显示区域。在此，在本实施例中，包括其显示方向的显示框固定于其初始位置处。因此，在终端装置20C的姿势信息改变且拍摄视点从而改变的情况下，虚拟空间中的虚拟视点相对显示框也改变。因此，在终端装置20C的姿势信息从其初始位置改变的情况下，通过从与改变后的拍摄视点基本相同的视点的虚拟视点拍摄位于初始位置处的显示框而获取的图像叠加并显示在拍摄图像上。
渲染单元24C具有以下功能：在从与拍摄单元的拍摄视点基本相同的视点的虚拟视点虚拟地拍摄虚拟空间中的显示框的情况下，对从虚拟视点拍摄显示框时通过假设显示框的显示区域是透明区域而在显示区域的背后呈现的三维虚拟对象进行渲染以及在显示框的显示区域中显示三维虚拟对象。在此，根据本实施例的包括其显示方向的显示框固定于其初始位置处。因此，在终端装置20C的姿势信息改变且拍摄视点从而改变的情况下，虚拟空间中的虚拟视点相对显示框也改变。因此，在终端装置20C的姿势信息从其初始位置改变的情况下，在从与改变后的拍摄视点基本相同的视点的虚拟视点拍摄位于其初始位置处的显示框的显示区域时，在显示区域中渲染在显示区域的背后的三维虚拟对象。
图9是示出在终端装置20C执行图像处理的情况下终端装置侧的动作的示例的流程图。在此，将对在终端装置20C执行图像处理情况下的动作进行说明。
在终端装置20C获取拍摄图像的情况下开始图像处理(步骤S401)。进一步地，终端装置20C获取终端装置20C和显示框的初始位置信息(步骤S402)。此外，终端装置20C还获取姿势信息(步骤S403)。接下来，终端装置20C确定是否满足用于显示显示框的预定条件(步骤S404)。在确定满足预定条件的情况下，终端装置20C获取存储的与满足的预定条件对应的显示框相关联的虚拟空间信息(步骤S405)。接下来，终端装置20C基于获取的初始位置信息和获取的姿势信息指定现在的拍摄视点方向(步骤S406)。然后，在现在的拍摄图像的拍摄范围中包括显示框的显示位置的情况下，终端装置20C基于现在的拍摄视点方向对显示区域执行渲染处理(步骤S407)。最后，终端装置20C在已对显示区域执行渲染处理的状态下将显示框叠加并显示在拍摄图像上(步骤S408)，并结束图像处理。
如上所述，作为第三实施例的一个方面，设置有拍摄单元和显示单元的图像处理装置20C配置为包括拍摄图像获取单元21、显示框显示单元22C、姿势信息获取单元26、初始位置信息存储单元27、虚拟空间信息获取单元23、渲染单元24C以及存储单元25。因此，初始位置信息存储单元27至少将首次由显示框显示单元22C显示显示框时的终端装置20C的位置与假设显示框在真实空间中存在的情况下的终端装置20C的位置之间的相对位置关系作为初始位置来存储；在通过改变终端装置的姿势状态来改变终端装置20C与显示框或拍摄视点之间的相对位置关系的情况下，显示框显示单元22C从改变后的拍摄视点显示位于初始位置处的显示框；.以及渲染单元24C基于与改变后的拍摄视点基本相同的视点的虚拟视点执行渲染。因此，可以在显示框的显示区域中显示与改变后的拍摄视点对应的三维虚拟对象。
即，显示框和虚拟空间中的三维虚拟对象之间的位置关系在位置关系预先被设定的状态下固定。然而，当终端装置20C和显示框或拍摄角度之间的位置关系改变时，从改变后的拍摄视点的角度观看时，通过渲染布置在显示区域的背后的三维虚拟对象来改变虚拟空间中的布置在显示框的背后的三维虚拟对象的外观。因此，当从用户角度观看时，在通过使用AR技术相对于显示框改变角度的同时观察到叠加并显示在终端装置20C的拍摄图像上的显示框的情况下，在显示框的显示区域中渲染的三维虚拟对象已改变。这使能够显示这样的图像，用户通过将显示区域用作窗框来观察设置在显示区域的背后的虚拟空间。此外，布置的自由度可以提高，并且这使能够例如通过将三维对象布置在仅当角度改变时三维对象才能被看到的位置处来执行引起用户兴趣的显示。
[第四实施例]
图10是示出与本发明的至少一个实施例对应的图像处理装置的配置的框图。如图10所示，图像处理装置20D至少包括拍摄图像获取单元21、显示框显示单元22、虚拟空间信息获取单元23、渲染单元24D以及存储单元25。在这一点上，服务器装置10和终端装置20可以配置为彼此协作执行图像处理。或者终端装置20可以配置为单独执行图像处理。然而，在任何情况下，图像处理是基于用户使用终端装置20的状况。由于这个原因，在图10所示的示例中，以终端装置20用作图像处理装置20D的情况为例进行说明。以下，图像处理装置20D也可以称为“终端装置20D”。
渲染单元24D具有以下功能：在从与拍摄单元的拍摄视点基本相同的视点的虚拟视点虚拟地拍摄虚拟空间中的显示框的情况下，对从虚拟视点拍摄显示框时通过假设显示框的显示区域是透明区域而在显示区域的背后看到的三维虚拟对象进行渲染以及在显示框的显示区域中显示该三维虚拟对象。此外，渲染单元24D还具有以下功能：临时删除由临时删除设定指定的三维虚拟对象，并执行渲染以在显示区域中显示三维虚拟对象。在该第四实施例中，渲染单元24D可以将临时删除设定设定为：登记三维虚拟对象以分别与识别ID相关联；在显示区域的渲染期间，从虚拟空间临时删除具有指定的识别ID的三维虚拟对象；以及然后执行渲染。在此，临时删除设定是指在显示区域的渲染期间用于从虚拟空间临时删除具有指定的识别ID的三维虚拟对象的设定。有必要预先将识别ID登记为临时删除设定。即，渲染单元24D配置为临时删除布置在虚拟空间中的三维虚拟对象。因此，当在显示区域中从拍摄视点观看时，可以显示布置在作为删除目标的该三维对象的背后的另一个三维虚拟对象。该临时删除设定可以是任何设定，只要可以在渲染期间从虚拟空间临时删除具有指定的识别ID的三维虚拟对象即可。然而，例如，可以对三维虚拟对象中的每一个执行临时删除设定，并且在触发开始针对显示框或显示区域进行渲染处理的条件满足的情况下，可以针对三维虚拟对象中的每一个的临时删除设定进行重写。即，渲染单元24D可以配置为：在不满足预定条件的情况下，执行不临时删除三维虚拟对象的处理，但是在满足预定条件的情况下，临时删除三维虚拟对象。
图11是示出在终端装置20D执行图像处理的情况下终端装置侧的动作的示例的流程图。在此，对在终端装置20D执行图像处理的情况下的动作进行说明。
在终端装置20D获取拍摄图像的情况下开始图像处理(步骤S501)。终端装置20D确定是否满足用于显示显示框的预定条件(步骤S502)。在确定满足预定条件的情况下，终端装置20D获取存储在其中的与满足的预定条件对应的显示框相关联的虚拟空间信息(步骤S503)。接下来，终端装置20D获取临时删除设定的信息(步骤S504)。终端装置20D然后基于临时删除设定的信息指定要显示的三维虚拟对象，从获取的虚拟空间信息临时删除通过临时删除设定指定的三维虚拟对象，并且基于临时删除后的虚拟空间信息和与终端装置20D的拍摄视点对应的虚拟视点，对显示框的显示区域执行渲染处理(步骤S505)。最后，终端装置20D在已对显示区域执行渲染处理的状态下将显示框叠加并显示在拍摄图像上(步骤S506)，且结束图像处理。
如上所述，作为第四实施例的一个方面，设置有拍摄单元和显示单元的图像处理装置20D配置为包括拍摄图像获取单元21、显示框显示单元22、虚拟空间信息获取单元23、渲染单元24D以及存储单元25。因此，识别ID分别与三维虚拟对象相关联；临时删除设定可以设定为在显示区域的渲染期间从虚拟空间临时删除具有指定识别ID的三维虚拟对象并且然后执行渲染；以及渲染单元24D从虚拟空间临时删除由临时删除设定指定的三维虚拟对象，且执行渲染以在显示区域中显示三维虚拟对象。因此，可以通过临时删除设定从虚拟空间临时删除在显示区域中显示的三维虚拟对象。
即，期望在特定显示区域中显示三维虚拟对象，而不期望在相邻的显示区域中显示该三维虚拟对象的情况下，在通过临时删除该三维虚拟对象而可以显示布置在该三维虚拟对象的背后的另一个三维虚拟对象的情况下，在对相邻显示区域执行渲染处理时，通过由临时删除设定将该三维虚拟对象临时删除，可显示布置在该三维虚拟对象的背后的这样的三维虚拟对象。
[第五实施例]
图12是示出与本发明的至少一个实施例对应的图像处理装置的配置的框图。如图12所示，图像处理装置20E至少包括拍摄图像获取单元21、显示框显示单元22E、姿势信息获取单元26、初始位置信息存储单元27、虚拟空间信息获取单元23、渲染单元24E以及存储单元25。在这一点上，服务器装置10和终端装置20可以配置为彼此协作执行图像处理。或者终端装置20可以配置为单独执行图像处理。然而，在任何情况下，图像处理都是基于用户使用终端装置20的情况。由于这个原因，在图12所示的示例中，将以终端装置20用作图像处理装置20E的情况为例进行说明。以下，图像处理装置20E也可以称为“终端装置20E”。
拍摄图像获取单元21具有获取通过由终端装置20E的拍摄单元拍摄真实空间而获取的拍摄图像的功能。例如，拍摄图像获取单元21通过诸如用户拥有的智能手机这样的终端装置20E的拍摄装置获取用户周围的状况的作为静止图像或运动图像的拍摄图像。
显示框显示单元22E具有在满足预定条件的情况下在拍摄图像的显示区域中显示显示框的功能。显示框是虚拟对象的其中之一，且具有一个或多个显示区域。此外，在该第五实施例中，分别登记识别ID以与三维虚拟对象相关联，并且能够与识别ID相关联的过滤器可以设定给显示框的显示区域中的每一个。在此，识别ID是指用于识别三维虚拟对象的ID。此外，过滤器是指用于通过将识别ID设定给显示区域来设定绘制哪个三维虚拟对象或不绘制哪个三维虚拟对象的过滤器。有必要给过滤器预先登记识别ID。
姿势信息获取单元26具有获取姿势信息的功能，姿势信息包含拍摄方向、拍摄角度或移动方向中的至少一个。这些数据基于通过终端装置20E所包括的各种传感器获取的信息来指定。在此，姿势信息是指用于指定终端装置20E的姿势状态的信息。除了拍摄方向、拍摄角度和移动方向之外，姿势信息可以包含各种姿势信息。任何类型的传感器可以采用，只要它是用于获取终端装置20E的姿势信息的传感器即可。例如，可以列举出方位传感器、陀螺仪传感器、GPS装置。作为姿势信息，可以获取通过终端装置20E转换的姿势信息，或者终端装置20E可以获取传感器信息以执行从传感器信息到姿势信息的转换处理。此外，终端装置20E可以从通过终端装置20E拍摄的拍摄图像获取姿势信息。例如，可以基于与固定的布置在真实空间中的对象的位置关系、观看对象的方式(例如，倾斜观看对象的方式)等来指定姿势信息。
初始位置信息存储单元27具有以下功能：至少将首次由显示框显示单元22E显示显示框时的终端装置20E的位置与假设显示框在真实空间中存在的情况下的终端装置20E的位置之间的相对位置关系作为初始位置来存储。确定首次显示的显示框的位置的方法有很多种，并且可以采用任何方法。例如，可以考虑的是，将显示显示框的位置预先登记为与诸如空间中的坐标位置或纬度/经度信息的位置信息相关联的方法，定义满足预定条件时的终端装置20E的位置到显示显示框的位置相距预定距离的位置的方法。在显示框的显示位置被定义为与固定的位置信息相关联的情况下，可以通过获取终端装置20E的位置信息来指定初始位置。在显示框的显示位置未预先被定义的情况下，通过将终端装置20E和显示框中的每一个的初始位置在虚拟空间中标出来存储初始位置，或者通过存储与实际坐标位置相关联的初始位置来存储初始位置。此外，存储为初始位置的信息还包含显示框的显示方向上的信息。
虚拟空间信息获取单元23具有获取虚拟空间信息的功能。虚拟空间信息至少包含关于一个以上的三维虚拟对象的三维虚拟对象信息以及三维虚拟对象中的每一个与显示框之间的位置关系信息。所述一个以上的三维虚拟对象在虚拟空间中预先布置。三维虚拟对象信息是指指定三维虚拟对象所需的信息。例如，在三维虚拟对象由3D多边形形成的情况下，除了3D多边形的顶点和用于指定如何配置多边形的表面的信息之外，还包含每个表面的表面纹理信息作为三维虚拟对象信息。此外，在本实施例中，位置关系信息是指用于指定确定布置在虚拟空间中的显示框与布置在虚拟空间中的三维虚拟对象之间的位置关系的信息。在这一点上，显示框与三维虚拟对象之间的位置关系的内容不受特别限制。然而，为了通过渲染单元24(将在后面说明)在显示框的显示区域中渲染三维对象，需要在从虚拟视点拍摄显示框时成为渲染目标的位置关系。通过虚拟空间信息获取单元23获取至少包含三维虚拟对象信息和位置关系信息的虚拟空间信息。该虚拟空间信息可以配置为存储在终端装置20E的存储单元25中，或者可以配置为将虚拟空间信息存储在服务器装置10的存储单元中并且终端装置20E经由通信网络30从服务器装置10获取虚拟空间信息。
渲染单元24E具有以下功能：在从与拍摄单元的拍摄视点基本相同的视点的虚拟视点虚拟地拍摄虚拟空间中的显示框的情况下，对从虚拟视点拍摄显示框时通过假设显示框的显示区域是透明区域而在显示区域的背后呈现的三维虚拟对象进行渲染以及在显示框的显示区域中显示三维虚拟对象。
此外，渲染单元24E还具有以下功能：基于给显示区域设定的过滤器来指定要显示的三维虚拟对象，并且执行渲染以在显示区域中显示三维虚拟对象。即，即使在渲染期间三维虚拟对象布置在显示区域中要绘制的位置处，过滤器也不允许绘制三维虚拟对象。或者，在渲染期间，从绘制目标中排除设定了禁止绘制的三维虚拟对象。
此外，渲染单元24E具有功能：临时删除在临时删除设定指定的三维虚拟对象，并执行渲染以在显示区域中显示三维虚拟对象。在该第五实施例中，临时删除设定可以设定为：在显示区域的渲染期间，临时删除具有指定识别ID的三维虚拟对象；然后执行渲染。在此，临时删除设定是指在显示区域的渲染期间用于从虚拟空间临时删除具有指定的识别ID的三维虚拟对象的设置。有必要预先将识别ID登记为临时删除设定。该临时删除设定可以是任何设定，只要可以在渲染期间从虚拟空间临时删除具有指定的识别ID的三维虚拟对象即可。然而，例如，可以对三维虚拟对象中的每一个执行临时删除设定，并且在触发开始针对显示框或显示区域进行渲染处理的条件满足的情况下，可以针对于三维虚拟对象中的每一个的临时删除设定进行重写。即，渲染单元24E可以配置为：在不满足预定条件的情况下，执行不临时删除三维虚拟对象的处理，但是在满足预定条件的情况下，临时删除三维虚拟对象。在这一点上，渲染单元24E可以配置为在仅对三维虚拟对象中的每一个进行临时删除设定的情况下不使用识别ID。
该临时删除设定配置为临时删除布置在虚拟空间中的三维虚拟对象。因此，当在显示区域中从拍摄视点观看时，可以显示布置在作为删除目标的该三维对象的背后的另一个三维虚拟对象。然而，在临时删除设定中，从虚拟空间删除指定的三维虚拟对象。因此，临时删除设定配置为从全部的显示区域删除该三维虚拟对象。因此，需要一种方法，即使通过临时删除设定从特定显示区域的虚拟空间中删除三维虚拟对象，这也不影响其它显示区域的显示。例如，可以在同时显示多个显示区域的状况下不开始渲染处理，但是在终端装置20E与显示区域之间的位置关系变得更近的情况下以及在发生仅一个显示区域占据大部分显示画面的状况下，可以首次开始渲染处理。或者，当拍摄视点方向聚焦在一个显示区域上并且在预定时间段内没有变化的情况下，可以确定该状态是用户聚焦在显示区域的聚焦状态。在确定聚焦状态的情况下可以首次开始渲染处理。通过以这种方式配置终端装置20E从而能够设定成为触发开始渲染处理的条件，即使通过临时删除设定删除三维虚拟对象，也可以防止对其它显示区域施加任何影响。在这一点上，在不满足成为触发开始渲染处理的条件的情况下，可以结束渲染处理，并且临时删除的三维虚拟对象可重新布置在虚拟空间中。这使能够在任何其它显示区域中显示三维虚拟对象而不会发生任何问题。
此外，可以设置显示确定单元，该显示确定单元配置为在显示画面上的显示框的显示区域改变的情况下确定一个以上的显示区域中的任一显示区域是否包含在显示画面中。渲染单元24E可以仅在显示确定单元确定显示画面所包括的显示区域中不存在设定为显示作为临时删除设定的删除目标的三维虚拟对象的显示区域的情况下，将临时删除设定设定为有效并执行渲染。
存储单元25具有在图像处理装置21E中存储各个单元的处理所需的信息的功能。此外，存储单元25还具有存储通过各个单元的处理而生成的各种信息的功能。
图13是示出在终端装置20E执行图像处理的情况下终端装置侧的动作的示例的流程图。在此，将对终端装置20E在终端装置20E执行图像处理的情况下的动作进行说明。
在终端装置20E获取拍摄图像的情况下开始图像处理(步骤S601)。进一步地，终端装置20E获取终端装置20E和显示框的初始位置信息(步骤S602)。此外，终端装置20E获取姿势信息(步骤S603)。接下来，终端装置20E确定是否满足用于显示显示框的预定条件(步骤S604)。在确定满足预定条件的情况下，终端装置20E获取存储在其中的与满足的预定条件对应的显示框相关联的虚拟空间信息(步骤S605)。接下来，终端装置20E从获取的初始位置信息和获取的姿势信息指定现在的拍摄视点方向(步骤S606)。终端装置20E然后在现在的拍摄图像的拍摄范围中包括显示框的显示位置的情况下，基于现在的拍摄视点方向对显示区域执行渲染处理(步骤S607)。此时，在关于过滤器的信息或关于临时删除设定的信息中的至少一个设定的情况下，终端装置20E通过使用所述信息来指定要显示的三维虚拟对象，并执行渲染处理。最后，终端装置20E在已对显示区域执行渲染处理的状态下将显示框叠加并显示在拍摄图像上(步骤S608)，并结束图像处理。
图14是示出在虚拟空间中布置显示框和三维虚拟对象的状态的说明图。如图14所示，在虚拟空间中布置设置有两个显示区域f1、f2的显示框F。此外，在虚拟空间中还布置三个三维虚拟对象A、B及C。通过虚拟相机拍摄这样的虚拟空间，并且对显示区域执行渲染。
图15是用于说明设定给显示区域的过滤器的功能的说明图。渲染处理是对从虚拟视点拍摄显示框时通过假设显示框的显示区域是透明区域而在显示区域的背后呈现的三维虚拟对象进行渲染以及在显示区域中显示该三维虚拟对象的处理。当从图14的虚拟视点拍摄显示框F时，存在于显示区域f1、f2中的每一个的背后的三维虚拟对象被进行渲染。在显示区域f1中渲染三维虚拟对象A。在此，仅允许绘制三维虚拟对象B的过滤器设定给显示区域f2。如图15所示，如果未设置过滤器，则三维虚拟对象A将成为显示区域f2的绘制目标。然而，在显示区域f2中不渲染三维虚拟对象A，而在显示区域f2中仅渲染三维虚拟对象B。在这一点上，该过滤器设定不具有从虚拟空间删除三维虚拟对象的功能。因此，即使通过过滤器的设定允许绘制三维虚拟对象C，也不会绘制三维虚拟对象C，因为三维虚拟对象C布置在三维虚拟对象A的背后并完全被三维虚拟对象A隐藏。
图16是用于说明临时删除设定的功能的说明图。当从图14中所示的虚拟视点拍摄显示框F时，存在于显示区域f1、f2中的每一个的背后的三维虚拟对象成为渲染目标。在此，临时删除设定设定为从虚拟空间临时删除三维虚拟对象A。在这种情况下，如图16所示，尽管在没有临时删除设定时绘制三维虚拟对象A，但是并不渲染三维虚拟对象A，而是渲染布置在三维虚拟对象A的背后的三维虚拟对象C。在这一点上，由于该临时删除设定是从虚拟空间临时删除三维虚拟对象的功能，所以这也影响除显示区域f2以外的显示区域。即，如图16所示，应该在显示区域f1中绘制三维虚拟对象A，但是由于通过临时删除设定从虚拟空间删除三维虚拟对象A的结果，显示框F变为在显示区域f1中没有要显示的三维虚拟对象的状态。为了防止这种情况的发生，优选地，例如诸如终端装置20E与显示区域之间的位置关系变得更近并且仅一个显示区域占据大部分显示画面的状况的条件或者成为拍摄视点方向聚焦在一个显示区域上且在预定时间段没有变化的状况(即聚焦状态)的条件的这些条件定义为触发开始渲染处理。
图17是用于说明改变拍摄视点的状态的说明图。在改变诸如终端装置20的拍摄方向、拍摄角度或移动方向的姿势信息并且终端装置20与显示框F之间的相对位置关系从其初始位置改变的情况下，通过将终端装置20的改变后的拍摄视点的方向用作虚拟视点的方向来执行渲染。图17示出虚拟视点随着终端装置20的拍摄视点的改变而改变的状态。如图17所示，在虚拟视点改变的情况下，从改变后的虚拟视点的位置渲染在初始位置处存在于显示框F的显示区域f1、f2的背后的三维虚拟对象。此时，由于显示框F与三维虚拟对象A、B及C之间的位置关系是固定的，因此通过改变相对于显示框F的显示区域f1、f2的虚拟视点，还可以改变渲染的内容。以这种方式适当地修改渲染内容，以追随改变的虚拟视点，并且显示三维虚拟对象。因此，通过改变相对于显示框F的角度的同时观看显示区域f1、f2，用户可以感觉到在显示区域f1、f2中更加现实地扩展的增强现实空间。
图18A、图18B是示出在终端装置上显示的显示画面的一个示例的说明图。图18A是示出在显示画面上显示拍摄图像的状态的说明图。在图18A中看到椅子。例如，设定用于显示显示框的预定条件，诸如在椅子上设置用于显示显示框的AR标记且终端装置20识别该AR标记的条件，或者从椅子本身的三维形状中指定椅子作为对象的条件。当满足这样的预定条件时，如图18B所示，通过将显示框F叠加并显示在拍摄图像中的椅子上而获取的图像显示在显示画面上。
如上所述，作为第五实施例的一个方面，设置有拍摄单元和显示单元的图像处理装置20E包括拍摄图像获取单元21、显示框显示单元22E、姿势信息获取单元26、初始位置信息存储单元27、虚拟空间信息获取单元23、渲染单元24E以及存储单元25。因此，初始位置信息存储单元27至少将首次显示显示框时的终端装置20E的位置与假设显示框在真实空间中存在的情况下的终端装置20E的位置之间的相对位置关系作为初始位置来存储；在通过改变终端装置的姿势状态来改变终端装置20E与显示框或拍摄视点之间的相对位置关系的情况下，显示框显示单元22E从改变后的拍摄视点显示位于初始位置处的显示框；渲染单元24E基于与改变后的拍摄视点基本相同的视点的虚拟视点执行渲染。因此，可以在显示框的显示区域中显示与改变后的拍摄视点对应的三维虚拟对象。此外，此时，通过使用设定给显示区域的过滤器和临时删除设定来调整作为渲染目标的三维虚拟对象，除了改变虚拟空间中的三维虚拟对象的布置条件之外，还可以改变显示内容。这可使三维虚拟对象在虚拟空间中布置的自由度提高。
即，虚拟空间中的显示框和三维虚拟对象之间的位置关系在位置关系预先设定的状态下是固定的。然而，当终端装置20E和显示框或拍摄角度之间的位置关系改变时，从改变后的拍摄视点的角度观看时，通过渲染布置在显示区域的背后的三维虚拟对象来改变在虚拟空间中布置在显示框的背后的三维虚拟对象的外观。因此，在从用户角度观看时在通过使用AR技术相对于显示框改变角度的同时观察到叠加并显示在终端装置20E的拍摄图像上的显示框的情况下，在显示框的显示区域中渲染的三维虚拟对象被改变。这使能够显示这样的图像，用户通过将显示区域用作窗框来观察设置在显示区域的背后的虚拟空间。此外，可以提高布置的自由度，并且这使例如通过将三维对象布置在仅当角度改变时才能看到三维对象的位置处来执行引起用户兴趣的显示成为可能。
在这一点上，已经在上述第一至第五实施例中的每一个说明的图像处理装置可以利用显示框，用于各种类型的显示的显示。例如，可以通过AR技术利用显示框来表达漫画。通过将显示框作为漫画的页面来处理并将显示区域作为漫画的各个帧来进行处理，可以将漫画的页面叠加并显示在通过拍摄真实空间而获取的拍摄图像上。根据本实施例，不是必须通过将通过渲染虚拟空间而获取的图像用作显示区域来表示构成漫画的页面的多个帧中的所有帧，并且也可以制作既包括显示由漫画绘制人员绘制的漫画的帧又包括作为通过渲染虚拟空间而获取的图像的显示区域的帧的漫画。此外，也可以将由漫画绘制人员绘制的图片布置在虚拟空间中作为板状三维虚拟对象。也可以通过将由漫画绘制人员绘制的图片布置在板状多边形的表面上而获取的背景来表示由3D多边形构成的角色布置在虚拟空间中作为三维虚拟对象。
即使在作为漫画的页面的显示框的处理期间在漫画的一个页面上提供多个显示区域，因为采用了基于一个虚拟视点一次渲染三维虚拟对象的方法，因此不管帧的数量是否增加，都可以防止处理负荷的增加。此外，通过利用过滤器或临时删除设定，不管基于一个虚拟视点一次渲染三维虚拟对象的方法如何，都可以显示显示区域中的每一个具有独立的三维虚拟空间。
在这一点上，在上述第一至第五实施例的每一个中，已经说明在通过拍摄真实空间而获取的拍摄图像上叠加并显示显示框的配置(即将其实现为AR技术的情况)为例进行说明。然而，本发明不限于AR技术。例如，可以使用头戴式显示器等将显示框布置在由虚拟现实(VR)技术提供的虚拟空间中，并且可以对显示框的显示区域中的每一个执行上述第一至第五实施例中的每一个说明的渲染处理。此外，在要在终端装置的显示器上显示的视频是表示三维虚拟空间的视频的情况下，可以在三维虚拟空间中布置显示框，并且可以对显示框的显示区域中的每一个执行上述第一至第五实施例中的每一个说明的渲染处理。
如上所述，根据本申请的实施例中的每一个能够解决一个或两个以上的不足。在这一点上，实施例中的每一个的效果是非限制性的效果或是非限制性的效果中的一个示例。
在这一点上，在上述的实施例中的每一个中，多个终端装置20、201～20n和服务器装置10中的每一个根据存储在相应终端或服务器所设置的存储装置中的各种控制程序(例如图像处理程序)执行上述的各种处理。
此外，图像处理系统的配置不限于已经作为上述实施例中的每一个的示例说明的配置。例如，图像处理系统可以配置为服务器装置10执行作为由多个终端装置20、201～20n中的每一个执行的处理而已经说明的处理的一部分或全部。或者，图像处理系统可以配置为多个终端装置20、201～20n中的任一个(例如终端装置20)执行作为由服务器装置10执行的处理而已经说明的处理的一部分或全部。此外，图像处理系统可以配置为服务器装置10所包括的存储单元的一部分或全部包括在多个终端装置20、201～20n中的任一个中。即，图像处理系统可以配置为根据系统的终端装置20和服务器装置10中的任一个的功能的一部分或全部功能包括在另一个中。
此外，系统100可以配置为程序使不包括任何通信网络的单个装置实现如上述各实施例的示例说明的功能的一部分或全部。
[附录]
已经描述了对上述的实施例的说明，以便至少能够由具有本发明所属领域的普通技术人员实现以下的发明。
(1)一种非暂态计算机可读介质，其包括图像处理程序，用于使设置有拍摄单元和显示单元的终端装置实现使所述显示单元显示显示画面的功能，所述显示画面通过将虚拟对象叠加并显示在拍摄图像上而获取，所述虚拟对象布置在虚拟空间中，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取，所述功能包括：
拍摄图像获取功能，获取拍摄图像，该拍摄图像通过利用所述拍摄单元拍摄真实空间而获取；
显示框显示功能，在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一并且具有一个以上的显示区域；
虚拟空间信息获取功能，获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是有关预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是有关一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息；以及
渲染功能，在从虚拟视点虚拟地拍摄在所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域而在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点是基本相同的视点，所述渲染功能配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
(2)根据(1)所述的非暂态计算机可读介质，其中，
所述三维虚拟对象分别关联有识别ID，
其中，对所述显示区域能够设定过滤器，所述识别ID中的任一个能够与所述过滤器相关联，
而且其中，所述渲染功能配置为基于对所述显示区域设定的过滤器来指定要显示的所述三维虚拟对象并执行渲染以在所述显示区域中显示所述三维虚拟对象。
(3)根据(1)或(2)所述的非暂态计算机可读介质，其中，
所述功能还包括：
姿势信息获取功能，获取姿势信息，所述姿势信息包含基于来自所述终端装置所包括的各种传感器的信息而指定的拍摄方向、拍摄角度或移动方向中的至少一个；以及
初始位置信息存储功能，至少将通过所述显示框显示功能而首次显示所述显示框时的所述终端装置的位置与假设所述显示框在所述真实空间中存在的情况下的所述终端装置的位置之间的相对位置关系作为初始位置来存储；
其中，所述显示框显示功能还配置为：在通过改变所述终端装置的姿势状态而改变所述终端装置与所述显示框或所述拍摄视点之间的相对位置关系的情况下，从改变后的所述拍摄视点显示位于所述初始位置处的所述显示框，
而且其中，所述渲染功能还配置为基于与改变后的所述拍摄视点基本相同的视点的所述虚拟视点渲染所述某个三维虚拟对象。
(4)根据(1)至(3)中任一项所述的非暂态计算机可读介质，其中，
所述三维虚拟对象分别关联有识别ID，
其中，对所述三维虚拟对象能够设定临时删除设定，所述临时删除设定用于设定临时删除具有指定的识别ID的三维虚拟对象以及然后执行渲染的状态，
而且其中，所述渲染功能还配置为删除由所述临时删除设定指定临时删除的三维虚拟对象，渲染所述某个三维虚拟对象并在所述显示区域中显示渲染的三维虚拟对象。
(5)根据(4)所述的非暂态计算机可读介质，其中，
所述功能还包括：
显示确定功能，在所述显示画面上的显示框的显示区域改变的情况下确定一个以上的显示区域中的任一显示区域是否包含在所述显示画面中，
而且其中，所述渲染功能还配置为：仅在所述显示确定功能确定显示画面所包含的显示区域中不存在设定为显示作为临时删除设定的删除目标的三维虚拟对象的显示区域的情况下，所述临时删除设定被设定为有效并执行渲染。
(6)一种非暂态计算机可读介质，包括有图像处理程序，该图像处理程序用于使服务器装置实现(1)至(5)中任一项所述的图像处理程序使终端装置实现的功能中的至少一个功能，服务器装置能够与终端装置通信。
(7)一种终端装置，安装有(1)至(6)中任一项所述的图像处理程序。
(8)一种非暂态计算机可读介质，包括有图像处理程序，该图像处理程序用于使服务器装置实现显示显示画面的功能，所述显示画面通过将虚拟对象叠加并显示在拍摄图像上而获取，虚拟对象布置在虚拟空间中，拍摄图像通过拍摄真实空间而获取，所述功能包括：
拍摄图像获取功能，配置为获取拍摄图像，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取；
显示框显示功能，配置为在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一并且具有一个以上的显示区域；
虚拟空间信息获取功能，配置为获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是关于预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是关于一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息；以及
渲染功能，配置为在从虚拟视点虚拟地拍摄在所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域而在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点是基本相同的视点，所述渲染功能配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
(9)一种非暂态计算机可读介质，包括有图像处理程序，该图像处理程序用于使终端装置实现(8)中所述的图像处理程序使服务器装置实现的功能中的至少一个功能，终端装置能够与服务器装置通信。
(10)一种服务器装置，安装有(8)或(9)所述的图像处理程序。
(11)一种图像处理系统，用于使终端装置实现显示显示画面，图像处理系统包括通信网络、服务器装置以及终端装置，显示画面通过将虚拟对象叠加并显示在拍摄图像上而获取，虚拟对象布置在虚拟空间中，拍摄图像通过拍摄真实空间而获取，图像处理系统包括：
拍摄图像获取单元，其配置为获取拍摄图像，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取；
显示框显示单元，其配置为在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一且具有一个以上的显示区域；
虚拟空间信息获取单元，其配置为获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是关于预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是关于一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息；以及
渲染单元，其配置为在从虚拟视点虚拟地拍摄所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域而在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点具有基本相同的视点，所述渲染单元配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
(12)一种图像处理装置，设置有拍摄单元和显示单元，图像处理装置包括：
拍摄图像获取单元，其配置为获取拍摄图像，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取；
显示框显示单元，其配置为在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一且具有一个以上的显示区域；
虚拟空间信息获取单元，其配置为获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是关于预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是关于一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息；以及
渲染单元，其配置为在从虚拟视点虚拟地拍摄所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域而在从所述虚拟视点拍摄所述显示框时从所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点具有基本相同的视点，所述渲染单元配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
(13)一种图像处理方法，使设置有拍摄单元和显示单元的终端装置通过所述显示单元显示显示画面，所述显示画面通过将虚拟对象叠加并显示在拍摄图像上而获取，所述虚拟对象布置在虚拟空间中，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取，所述图像处理方法包括：
拍摄图像获取处理，配置为获取拍摄图像，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取；
显示框显示处理，配置为在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一并且具有一个以上的显示区域；
虚拟空间信息获取处理，配置为获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是关于预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是关于一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息；以及
渲染处理，配置为在从虚拟视点虚拟地拍摄在所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域而在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点具有基本相同的视点，所述渲染处理配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
(14)一种图像处理方法，由图像处理系统执行而使显示单元显示显示画面，图像处理系统包括通信网络、服务器装置以及终端装置，显示画面通过将虚拟对象叠加并显示在拍摄图像上而获取，虚拟对象布置在虚拟空间中，拍摄图像通过拍摄真实空间而获取，图像处理方法包括：
拍摄图像获取处理，配置为获取拍摄图像，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取；
显示框显示处理，配置为在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一并且具有一个以上的显示区域；
虚拟空间信息获取处理，配置为获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是关于预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是关于一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息；以及
渲染处理，配置为在从虚拟视点虚拟地拍摄在所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域而在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点具有基本相同的视点，所述渲染处理配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
本申请涉及于2019年7月29日提交的日本专利申请号为2019-138813所包含的主题，该日本专利申请的公开内容通过援引其整体明确并入全文。

Claims (7)

1.一种非暂态计算机可读介质，其包括图像处理程序，用于使设置有拍摄单元和显示单元的终端装置实现使所述显示单元显示显示画面的功能，所述显示画面通过将虚拟对象叠加并显示在拍摄图像上而获取，所述虚拟对象布置在虚拟空间中，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取，所述功能包括：
拍摄图像获取功能，获取拍摄图像，该拍摄图像通过利用所述拍摄单元拍摄真实空间而获取；
显示框显示功能，在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一并且具有一个以上的显示区域；
虚拟空间信息获取功能，获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是有关预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是有关一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息；以及
渲染功能，在从虚拟视点虚拟地拍摄在所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域而在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点是基本相同的视点，所述渲染功能配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
2.根据权利要求1所述的非暂态计算机可读介质，其中，
所述三维虚拟对象分别关联有识别ID，
其中，对所述显示区域能够设定过滤器，所述识别ID中的任一个能够与所述过滤器相关联，
而且其中，所述渲染功能配置为基于对所述显示区域设定的过滤器来指定要显示的所述三维虚拟对象并执行渲染以在所述显示区域中显示所述三维虚拟对象。
3.根据权利要求1所述的非暂态计算机可读介质，其中，
所述功能还包括：
姿势信息获取功能，获取姿势信息，所述姿势信息包含基于来自所述终端装置所包括的各种传感器的信息而指定的拍摄方向、拍摄角度或移动方向中的至少一个；以及
初始位置信息存储功能，至少将通过所述显示框显示功能而首次显示所述显示框时的所述终端装置的位置与假设所述显示框在所述真实空间中存在的情况下的所述终端装置的位置之间的相对位置关系作为初始位置来存储；
其中，所述显示框显示功能还配置为：在通过改变所述终端装置的姿势状态而改变所述终端装置与所述显示框或所述拍摄视点之间的相对位置关系的情况下，从改变后的所述拍摄视点显示位于所述初始位置处的所述显示框，
而且其中，所述渲染功能还配置为基于与改变后的所述拍摄视点基本相同的视点的所述虚拟视点渲染所述某个三维虚拟对象。
4.根据权利要求1所述的非暂态计算机可读介质，其中，
所述三维虚拟对象分别关联有识别ID，
其中，对所述三维虚拟对象能够设定临时删除设定，所述临时删除设定用于设定临时删除具有指定的识别ID的三维虚拟对象以及然后执行渲染的状态，
而且其中，所述渲染功能还配置为删除由所述临时删除设定指定临时删除的三维虚拟对象，渲染所述某个三维虚拟对象并在所述显示区域中显示渲染的三维虚拟对象。
5.根据权利要求4所述的非暂态计算机可读介质，其中，
所述功能还包括：
显示确定功能，在所述显示画面上的显示框的显示区域改变的情况下确定一个以上的显示区域中的任一显示区域是否包含在所述显示画面中，
而且其中，所述渲染功能还配置为：仅在所述显示确定功能确定显示画面所包含的显示区域中不存在设定为显示作为临时删除设定的删除目标的三维虚拟对象的显示区域的情况下，所述临时删除设定被设定为有效并执行渲染。
6.一种图像处理装置，设置有拍摄单元和显示单元，所述图像处理装置包括：
拍摄图像获取单元，其获取拍摄图像，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取；
显示框显示单元，其在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一，且具有一个以上的显示区域；
虚拟空间信息获取单元，其获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是有关预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是有关一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息；以及
渲染单元，其在从虚拟视点虚拟地拍摄在所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域而在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点是基本相同的视点，所述渲染单元在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
7.一种图像处理方法，使设置有拍摄单元和显示单元的终端装置通过所述显示单元而显示显示画面，所述显示画面通过将虚拟对象叠加并显示在拍摄图像上而获取，所述虚拟对象布置在虚拟空间中，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取，所述图像处理方法包括：
拍摄图像获取处理，配置为获取拍摄图像，所述拍摄图像通过利用所述拍摄单元拍摄真实空间而获取；
显示框显示处理，配置为在满足预定条件的情况下在所述拍摄图像的显示区域中显示显示框，所述显示框是虚拟对象的其中之一并且具有一个以上的显示区域；
虚拟空间信息获取处理，配置为获取虚拟空间信息，所述虚拟空间信息至少包含三维虚拟对象信息和位置关系信息，所述三维虚拟对象信息是有关预先布置在虚拟空间中的一个以上的三维虚拟对象的信息，所述位置关系信息是有关一个以上的三维虚拟对象中的每一个与所述显示框之间的位置关系的信息；以及
渲染处理，配置为在从虚拟视点虚拟地拍摄在所述虚拟空间中的所述显示框的情况下渲染某个三维虚拟对象，所述某个三维虚拟对象是通过假设所述显示框的显示区域为透明区域而在从所述虚拟视点拍摄所述显示框时在所述显示区域的后面呈现，所述虚拟视点与所述拍摄单元的拍摄视点是基本相同的视点，所述渲染处理配置为在所述显示框的所述显示区域中显示所述某个三维虚拟对象。
CN202010737232.0A 2019-07-29 2020-07-28 非暂态计算机可读介质、图像处理装置及图像处理方法 Pending CN112312110A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-138813 2019-07-29
JP2019138813A JP6833925B2 (ja) 2019-07-29 2019-07-29 画像処理プログラム、画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
CN112312110A true CN112312110A (zh) 2021-02-02

Family

ID=74259323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010737232.0A Pending CN112312110A (zh) 2019-07-29 2020-07-28 非暂态计算机可读介质、图像处理装置及图像处理方法

Country Status (3)

Country Link
US (1) US11087526B2 (zh)
JP (1) JP6833925B2 (zh)
CN (1) CN112312110A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118687A (ja) * 2009-12-03 2011-06-16 Ntt Docomo Inc オブジェクト管理装置及びオブジェクト管理方法
CN107004303A (zh) * 2014-12-04 2017-08-01 微软技术许可有限责任公司 混合现实可视化和方法
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
CN109643465A (zh) * 2016-06-20 2019-04-16 Cy游戏公司 用于创建混合现实环境的系统等
CN109716398A (zh) * 2016-09-14 2019-05-03 佳能株式会社 图像处理设备、图像生成方法和程序
CN109840946A (zh) * 2017-09-19 2019-06-04 腾讯科技（深圳）有限公司 虚拟对象显示方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
JP2011198138A (ja) 2010-03-19 2011-10-06 Brother Industries Ltd 漫画作成支援装置、漫画作成支援方法およびプログラム
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US11272224B2 (en) * 2018-03-29 2022-03-08 Sony Corporation Information processing device and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118687A (ja) * 2009-12-03 2011-06-16 Ntt Docomo Inc オブジェクト管理装置及びオブジェクト管理方法
CN107004303A (zh) * 2014-12-04 2017-08-01 微软技术许可有限责任公司 混合现实可视化和方法
CN109643465A (zh) * 2016-06-20 2019-04-16 Cy游戏公司 用于创建混合现实环境的系统等
CN109716398A (zh) * 2016-09-14 2019-05-03 佳能株式会社 图像处理设备、图像生成方法和程序
CN109840946A (zh) * 2017-09-19 2019-06-04 腾讯科技（深圳）有限公司 虚拟对象显示方法及装置
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置

Also Published As

Publication number Publication date
US20210035351A1 (en) 2021-02-04
JP2021022207A (ja) 2021-02-18
JP6833925B2 (ja) 2021-02-24
US11087526B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
KR102497683B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
US10593014B2 (en) Image processing apparatus, image processing system, image capturing system, image processing method
CN108141511B (zh) 图像处理装置、摄像装置、图像处理方法以及有形介质
US8769437B2 (en) Method, apparatus and computer program product for displaying virtual media items in a visual media
JP6096634B2 (ja) 仮想現実を用いた３次元地図表示システム
CN109448050B (zh) 一种目标点的位置的确定方法及终端
JP2014010611A (ja) 送信装置、画像共有システム、送信方法、及びプログラム
JP2011233005A (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
JP2019179382A (ja) 情報処理プログラム、情報処理方法及び情報処理システム
KR102523493B1 (ko) 가상 카메라 머신을 이용한 콘텐츠 제공 시스템 및 방법
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
CN107851069B (zh) 图像管理系统、图像管理方法及程序
JP6635573B2 (ja) 画像処理システム、画像処理方法、及びプログラム
CN110349504A (zh) 一种基于ar的博物馆导览系统
JP2011060254A (ja) 拡張現実システム、拡張現実装置および仮想オブジェクト表示方法
JP2009015583A (ja) 画像処理装置及び画像処理方法
JP2014030104A (ja) 受信装置、画像共有システム、受信方法、及びプログラム
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
KR101132512B1 (ko) 사용자 참여향 3차원 모바일 증강현실 생성 시스템 및 방법
WO2022176720A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
CN112312110A (zh) 非暂态计算机可读介质、图像处理装置及图像处理方法
JP5942637B2 (ja) 付加情報管理システム、画像共有システム、付加情報管理方法、及びプログラム
JP2014174643A (ja) 画像処理システム、その制御方法、画像処理装置、及び画像処理方法
KR102231381B1 (ko) 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination