CN103871092A - 显示控制装置以及显示控制方法 - Google Patents

显示控制装置以及显示控制方法 Download PDF

Info

Publication number
CN103871092A
CN103871092A CN201310641766.3A CN201310641766A CN103871092A CN 103871092 A CN103871092 A CN 103871092A CN 201310641766 A CN201310641766 A CN 201310641766A CN 103871092 A CN103871092 A CN 103871092A
Authority
CN
China
Prior art keywords
image
display control
control unit
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310641766.3A
Other languages
English (en)
Inventor
花井裕也
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103871092A publication Critical patent/CN103871092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Abstract

本发明提供一种能够更适当地显示多个显示内容的显示控制装置以及显示控制方法。该显示控制装置包括：状态检测部，其检测观察图像的用户的状态；和显示控制部，其使显示器显示多个显示内容与拍摄图像重叠后的上述图像，根据上述用户的状态来控制上述各显示内容的举动。

Description

显示控制装置以及显示控制方法
技术领域
本发明涉及显示控制装置以及显示控制方法。
背景技术
近年来，在拍摄实际空间而获得的图像上重叠信息并呈现给用户的被称为增强现实（AR：Augmented Reality）的技术受到关注。在该技术中，例如如专利文献1所记载那样，配置在三维空间（AR的情况下为实际空间）的物体被显示为图像。另外，在专利文献1中提出了在信息在图像内混杂的状况下，更清楚地呈现信息的技术。
专利文献1：日本特开2012-58838号公报
然而，上述那样的技术被开发的时间不长，例如从如何将配置在空间的多个物体作为显示内容来加以显示是适当的等观点发出的技术，很难说已被充分提出。
发明内容
鉴于此，在本发明中提出了能够更适当地显示多个显示内容的、新的且被改良了的显示控制装置、显示控制方法以及程序。
根据本发明，提供一种显示控制装置，该显示控制装置包括：状态检测部，其检测观察图像的用户的状态；显示控制部，其使显示器显示拍摄图像与多个显示内容重叠后的上述图像，根据上述用户的状态来控制各个上述显示内容的举动。
另外，根据本发明，提供一种显示控制方法，该显示控制方法包括：使显示器显示拍摄图像与多个显示内容重叠后的图像；检测观察上述图像的用户的状态；以及根据上述用户的状态来控制各个上述显示内容的举动。
另外，根据本发明，提供一种程序，该程序用于使计算机实现如下功能：使显示器显示拍摄图像与多个显示内容重叠后的图像的功能；对观察上述图像的用户的状态进行检测的功能；以及根据上述用户的状态来控制上述各显示内容的举动的功能。
根据观察多个显示内容的用户的状态来对这些显示内容的举动进行控制，由此能够更适当地显示多个显示内容。
如以上说明了的那样，根据本发明，能够更适当地显示多个显示内容。
附图说明
图1是用于对本发明的一个实施方式所涉及的图像显示的概要进行说明的图。
图2是表示在图1的例子中从左侧观察图像时的图。
图3是表示在图1的例子中从右侧观察图像时的图。
图4是表示在图1的例子中靠近图像时的图。
图5是用于对图2～图4所示的例子概括性地进行说明的图。
图6是表示本发明的一个实施方式中用于减少负荷的处理的第1例的流程图。
图7是表示本发明的一个实施方式中用于减少负荷的处理的第2例的流程图。
图8是用于对本发明的一个实施方式中的注视区域进行说明的图。
图9是表示本发明的一个实施方式中用于减少负荷的处理的第3例的流程图。
图10是表示本发明的一个实施方式中物体图像的初始显示大小的例子的图。
图11是表示本发明的一个实施方式中物体图像的初始显示大小的例子的图。
图12是表示本发明的一个实施方式中物体图像的显示大小的设定例的曲线图。
图13是表示在本发明的一个实施方式中根据用户的视线而显示的物体图像的例子的图。
图14是表示在本发明的一个实施方式中根据用户的视线而显示的物体图像的例子的图。
图15是表示本发明的一个实施方式中图像显示处理的例子的流程图。
图16是表示本发明的一个实施方式中声音输出处理的例子的流程图。
图17是表示在本发明的一个实施方式中利用SLAM（即时定位与地图构建：Simultaneous Localization and Mapping）来显示物体的影子的例子的图。
图18是表示在本发明的一个实施方式中利用SLAM来显示物体的影子的例子的图。
图19是表示在本发明的一个实施方式中利用SLAM来显示物体的影子的例子的图。
图20是表示在本发明的一个实施方式中利用SLAM了显示物体的影子的处理的例子的流程图。
图21是表示在本发明的一个实施方式中以地面为基准来显示物体的例子的图。
图22是表示本发明的一个实施方式中注释显示的例子的图。
图23是表示本发明的一个实施方式中注释显示的例子的图。
图24是表示本发明的一个实施方式中注释显示的例子的图。
图25是表示本发明的一个实施方式中赠券显示的例子的图。
图26是表示在本发明的一个实施方式中在与其他用户之间共享图像显示时的显示例的图。
图27是表示在本发明的一个实施方式中在与其他用户之间共享图像显示时的第1系统结构例的图。
图28是表示在本发明的一个实施方式中在与其他用户之间共享图像显示时的第2系统结构例的图。
图29是表示在本发明的一个实施方式中在与其他用户之间共享图像显示时的第3系统结构例的图。
图30是表示本发明的一个实施方式所涉及的用于图像显示的第1功能结构例的图。
图31是表示本发明的一个实施方式所涉及的用于图像显示的第2功能结构例的图。
图32是表示本发明的一个实施方式所涉及的用于图像显示的第3功能结构例的图。
图33是在本发明的一个实施方式中对所显示图像进行录像时的结构例。
图34是用于说明显示控制装置的硬件结构的框图。
附图标记说明：10…海报；11…标记；12…物体图像；21…注视区域；31…注释字符串；32…气泡；41…赠券图像；100…终端装置；110…显示器；120…扬声器；130…拍摄装置；140…视点位置检测部；142…视点位置/用户动作检测部；144…输入部；146…注视区域检测部；150…显示控制部；160…声音控制部；182…记录用图像提取部；184…图像合成部。
具体实施方式
下面，边参照说明书附图边对本发明的优选实施方式进行详细说明。其中，在本说明书和附图中，对于实质上具有相同功能结构的构成元素，通过赋予相同的附图标记来省略重复说明。
其中，按以下的顺序进行说明。
1.概要
2.物体图像的配置
3.用于减少处理负荷的处理
4.比例的设定和图像的选择
5.声音的处理
6.利用了SLAM的显示
7.用户的注视区域信息的利用
8.用户的视点位置信息的利用
9.功能结构例
10.硬件结构
11.补充
（1.概要）
首先，参照图1，对本发明的一个实施方式所涉及的图像显示的概要进行说明。
图1是用于对本发明的一个实施方式所涉及的图像显示的概要进行说明的图。参照图1可知，终端装置100（例如智能手机、PC（个人计算机：Personal Computer）、便携式游戏机等）利用内置的拍摄装置来拍摄包括海报10在内的实际空间。这里，在海报10中包含有标记11。终端装置100使拍摄而得到的图像在显示器110中显示为直录（through）图像，并且识别图像所包含的标记11，利用由标记11表示的信息从服务器取得物体图像12，并与直录图像重叠地显示于显示器110。
在图示的例子中，显示有物体图像12a～12e。物体图像12a是显示被配置在海报10的跟前侧空间的舞台的图像，物体图像12b～12e是显示在舞台上演奏的乐队成员的图像。这样，显示在终端装置100的显示器110的图像是包括对在空间（实际空间）中显示位置被定义的多个物体（舞台和乐队成员）进行显示的多个显示内容（物体图像12a～12e）的图像。
（2.物体图像的配置）
接下来，参照图2～图5对本发明的一个实施方式中的物体图像的配置进行说明。在如上述那样的图像显示中，用户从各种角度用终端装置100拍摄海报10，且使物体图像12显示。另外，因为终端装置100能够容易地移动，所以在物体图像12被显示的状态下，终端装置100的姿态或终端装置100与海报10之间的位置关系往往会发生变化。
在这样的情况下，例如若与终端装置100的姿态或者终端装置100与海报10之间的位置关系无关地显示相同的物体图像12，则例如在注目于物体图像12中的特定部分且终端装置100的拍摄装置靠近该部分的情况下，显示也不会发生变化，从而削弱了真实感。
例如，还考虑将物体图像12整体作为1个多视点图像，并根据终端装置100与海报10之间的位置关系将待显示的图像切换至不同的视点图像，但因为多数情况下显示物体图像12的终端装置100处理能力不高，所以不太现实。在本实施方式中，以更现实的方法，使具有真实感的物体图像12的显示成为可能。
图2是表示在图1的例子中从左侧观察图像时的图。在本实施方式中，关于各个物体，定义实际空间中以标记11为基准的相对显示位置，各个物体图像12被重叠显示为与各个物体的显示位置相对应地配置的层图像。因此，在用户从海报10的左侧观察图像的情况下，显示舞台的左侧即从终端装置100观察在跟前处站立的成员的物体图像12b被较大地显示在跟前。另一方面，显示舞台的右侧即从终端装置100观察立于里面的成员的物体图像12e被较小地显示在里面。
图3是表示在图1的例子中从右侧观察图像时的图。与图2的例子相反，在用户从海报10的右侧观察图像的情况下，显示舞台的右侧即从终端装置100观察立于跟前的成员的物体图像12e被较大地显示在跟前。另一方面，显示舞台的左侧即从终端装置100观察立于里面的成员的物体图像12b被较小地显示在里面。另外，显示中央的成员（吉他）的物体图像12d与显示里面的成员（鼓）的物体图像12c的左右位置关系与图2的例子相反。
图4是表示在图1的例子中靠近图像时的图。若用户靠近图像，则各物体的显示位置与终端装置100的距离变近。在本实施方式中，在该情况下，与靠近实际物体的情况相同，物体被放大显示。在图示的例子中，显示在物体图像12的中央附近所显示的2个成员的物体图像12c、12d被放大显示。另一方面，因距离变近从而图像的显示范围变窄，显示其他的2个成员的物体图像12b、12e在显示范围之外。
图5是用于对图2～图4所示的例子概括性地进行说明的图。如上所述，在本实施方式中，关于各物体，定义在以海报10为基准的实际空间中的显示位置。在图5中，通过以左右方向为x轴、上下方向为y轴、净深方向为z轴的坐标系来表现对各物体定义的位置，但物体的位置的定义并不局限于该例子，能够使用任意的坐标系。
在本实施方式中，物体图像12作为设定有阿尔法通道的二维图像来显示。即，在本实施方式中，物体图像12是在显示物体的部分以外为透明且使位于后方的其他物体图像透过显示的层图像。其中，各物体图像12的透过部分未图示。
另外，物体图像12根据用户视点位置的移动，以相对应的物体的显示位置为基准而旋转显示（在图示的例子中为绕y轴旋转）。由此，与视点位置的移动无关，由各物体图像12显示的物体正对视点位置（终端装置100的位置）。在图中，物体图像12朝向终端装置100R而正对的状态用实线表示，朝向终端装置100L而正对的状态用虚线表示。从图可知，在对终端装置100R的显示和对终端装置100L的显示之间，物体图像12的层重叠的顺序不同。
并且，在图中，图2的例子中终端装置100作为终端装置100L、图3的例子中终端装置100作为终端装置100R、图4的例子中终端装置100作为终端装置100C而分别图示。当显示本实施方式中的图像时，这些终端装置100的位置（用户的视点位置）也例如与物体图像12的位置同样地被定义。视点位置例如能够通过基于描绘在用拍摄装置拍摄得到的图像上的标记11的大小或形状，计算出从终端装置100至海报10的距离或终端装置100相对于海报10的角度（水平方向/上下方向），由此来确定。其中，终端装置100的角度也可以基于终端装置100所具有的加速度传感器或地磁传感器等传感器的检查结果和预先登记的海报10的位置信息来确定。
像这样，通过各物体图像12具有三维位置，并且根据视点位置保持相互位置关系不变而视觉发生变化，由此对于作为物体图像12而表示的图像，能够使用户感觉到正看着实物那样的真实感。
另外，图5所示的例子为一个例子，为了实现图2～图4所示那样的显示也可以是其他的结构。例如，物体图像12也可以是根据与终端装置100的相对角度而显示发生变化的多个视点图像。另外，如后述那样，例如也可以根据规定条件来切换二维图像的正对显示和多个视点图像的显示。
（3.用于减少处理负荷的处理）
接下来，参照图6～9对本发明的一个实施方式中用于减少处理负荷的处理进行说明。由于大多数情况下本发明的一个实施方式所涉及的执行图像显示的处理的终端装置100处理能力不高，所以当图像显示时要求减少处理负荷。
（3-1.第1例）
图6是表示本发明的一个实施方式中用于减少负荷的处理的第1例的流程图。在该第1例中，例如如图4所示的情况那样，在因为用户的视点位置的移动而一部分物体不包含在显示范围内的情况下，通过不描绘显示那样的物体的图像来减少处理负荷。
在处理中，首先在终端装置100中执行各个物体图像的判断处理（步骤S101）。在这里判断各物体图像所显示的物体是否包含在显示范围内（步骤S103）。物体是否包含在显示范围内例如能够基于根据拍摄图像所含的标记11的形状而被确定的终端装置100的拍摄装置的位置（视点位置）的信息来加以判断。
在上述的步骤S103的判断中，当判断为物体包含在显示范围内时（是），将显示该物体的物体图像设定成描绘对象（步骤S105）。另一方面，当判断为物体不包含在显示范围内时（否），物体图像不被设定成描绘对象。
在上述那样的各个物体图像的判断处理之后，对被设定成描绘对象的物体图像执行描绘处理（步骤S107）。这里的描绘处理因为将物体被包含在显示范围内的物体图像设为对象，所以在例如如图4所示情况那样一部分的物体不包含在显示范围内的情况下，与将所有的物体图像设为目标的描绘处理相比处理负荷低。其中，本说明书中的“描绘处理”能够包括译码（decode）处理。
（3-2.第2例）
在该第2例中，在例如如图2～图4所示情况那样用户的视点位置与物体的显示位置的关系发生变化的情况下，显示距视点位置具有较近的显示位置的物体的物体图像12的品质较高。具有距视点位置较近的显示位置的物体由于对用户而言较显眼、或者被推定为存在用户正注视着的可能性的物体，所以通过以高品质显示这样的物体，能够高效地提升用户感觉到的图像整体的品质。
作为提升物体图像的品质的方法的例子，也可以使物体图像所对应的视点数增加。更具体而言，例如也可以在如图5说明那样的正对显示的二维图像和多个视点图像之间切换作为物体图像而被显示的图像。在二维图像（单一视点图像）中与视点位置无关地使用从单一视点观察物体时的图像，与此相对，在多个视点图像中准备分别从多个视点观察物体时的图像，并且根据从视点位置观察物体的视线的角度来选择性地使用。
因此，例如在图5的例子中显示多个视点图像作为物体图像12的情况下，当视点位置位于左斜前方时（终端装置100L的情况）和当视点位置位于右斜前方时（终端装置100R的情况），显示的物体图像12可能不同。像这样，因为如果显示多个视点图像作为物体图像，则根据用户的位置来改变物体的朝向并显示，所以用户能够根据图像感觉到真实感。然而，在显示多个视点图像作为物体图像的情况下，图像的译码、描绘的处理负荷也变得比显示二维图像时更大。
因此，例如如果根据用户的视点位置和物体的显示位置的关系，对于对用户而言较显眼或者存在用户正注视着的可能性的物体，以多个视点图像来显示物体图像，对于这之外的物体以二维图像来显示物体图像，则能够抑制处理负荷。
其中，切换前后的物体图像并不如上述例子那样限定于二维图像（单一视点图像）和多个视点图像。作为其他的例子，也可以在多个视点图像彼此（与较少的视点相对应的图像和与较多的视点相对应的图像）间实施切换。
另外，作为提高物体图像品质的方法的其他的例子，也可以提高物体图像的分辨率。若提高物体图像的分辨率，则物体被更详细地显示，但图像的译码、描绘的处理负荷变得较大。因此，例如如果根据用户的视点位置和物体的显示位置的关系，对于对用户而言较显眼或者存在用户正注视着的可能性的物体，提高物体图像的分辨率，对于这之外的物体较低地抑制物体图像的分辨率，则能够抑制处理负荷。
其中，当变更物体图像的分辨率时，如果准备有以不同分辨率显示相同物体的多个物体图像，则切换在这些图像之中选择哪个图像即可。或者，通过描绘处理时的环路滤波器（Loop filter）的开/关（ON/OFF）、去块效应滤波器（Deblocking filter）或USM锐化（Unsharp mask）等后处理的开/关（ON/OFF）、描绘的纹理（Texture）的子样本等来变更实质的分辨率也能够包含在“分辨率的变更”中。
图7是表示本发明的一个实施方式中用于减少负荷的处理的第2例的流程图。在处理中，首先在终端装置100中执行各个物体图像的判断处理（步骤S201）。在这里判断各物体图像所显示的物体的显示位置是否靠近视点位置（步骤S203）。这里的判断所使用的显示位置和视点位置能够是例如如图5所示例子那样被定义的位置。位置彼此是否靠近能够根据例如算出的距离是否比规定的阈值小来判断。
在上述的步骤S203的判断中，当判断为显示位置靠近视点位置时（是），作为显示该物体的物体图像，选择视点多/分辨率高的图像（步骤S205）。另一方面，当判断为显示位置不靠近视点位置时（否），作为显示该物体的物体图像，选择视点少/分辨率低的图像（步骤S207）。
在上述那样的各个物体图像的判断处理之后，对各物体图像执行描绘处理（步骤S209）。对于这里的描绘处理而言，尽管对于显示位置靠近视点位置的物体图像由于以多的视点/高的分辨率来描绘从而处理负荷高，但对于这以外的物体图像由于以少的视点/低的分辨率来描绘所以能够抑制处理负荷。
其中，在该第2例中，物体图像的视点数的变更和物体图像的分辨率的变更既可以实施其中的任意一个，也可以两个都实施。即，显示具有靠近视点位置的显示位置的物体的物体图像能够以多的视点且高的分辨率的图像来描绘。另外，视点数和分辨率中的任何一个都能够不是像图示那样以2等级（显示位置是否靠近视点位置），而是能够以3等级以上（例如显示位置何种程度地靠近视点位置）来进行切换。
另外，上述的第2例也可以与第1例组合。该情况下，例如在如第1例所示那样的、根据物体是否包含在显示范围内来判断是否将物体图像设定成描绘对象之后，对于被设定成描绘对象的物体图像，能够根据物体的显示位置和用户的视点位置的关系来设定视点数或分辨率。
（3-3.第3例）
图8是用于对本发明的一个实施方式中的注视区域进行说明的图。在本实施方式中，除了例如第1例所示的显示范围、第2例所示的物体和用户的位置关系之外，图像中的用户的注视区域能够被使用在用于减少负荷的处理中。
在图示的例子中，注视区域21设定在显示器110所显示的图像的中央附近。在本实施方式中，因为用户通过使终端装置100移动就能够从任意的角度观察物体图像12，所以像那样的移动的结果，位于显示器110中心的区域被推定为用户正注视着的区域。该情况下，注视区域21包括物体图像12c、12d。因此，推定用户正注视着物体图像12c、12d。
作为其他的例子，例如在作为终端装置100是头盔显示器（HeadMounted Display）那样的情况下，也可以由用户的视线检测来确定注视区域。另外，如后述的例子那样，在相对于显示器110所显示的图像中的特定位置用户有可能进行某些动作的情况下，也可以将包括成为该动作的对象的位置的区域确定为注视区域。
图9是表示本发明的一个实施方式中用于减少负荷的处理的第3例的流程图。在该第3例中，将上述的用户注视区域作为基准来使用，进一步提高被推定为用户正注视着的物体图像的品质。由此，能够使用户所感觉的图像整体的品质高效地提高。其中，作为用于进一步提高物体图像的品质的具体的方法，能够使用例如在上述第2例所使用的视点数的变更或分辨率的切换。
在处理中，首先在终端装置100中执行各个物体图像的判断处理（步骤S301）。在这里判断各物体图像是否包含在注视区域内（步骤S303）。这里的判断所使用的注视区域能够是例如如图8所示的例子那样作为显示部的中央附近等规定的区域而被设定的区域。
在上述的步骤S303的判断中，当判断为物体图像包含在注视区域内时（是），选择视点多/分辨率高的图像作为物体图像（步骤S305）。另一方面，当判断为物体图像不包含在注视区域内时（否），选择视点少/分辨率低的图像作为物体图像（步骤S307）。
在上述那样的各个物体图像的判断处理之后，对各物体图像执行描绘处理（步骤S309）。对于这里的描绘处理而言，尽管对于被推定为用户正注视着的物体图像因为以多的视点/高的分辨率来描绘所以处理负荷高，但对于这之外的物体图像，因为以少的视点/低的分辨率来描绘，所以能够抑制处理负荷。
其中，在该第3例中，物体图像的视点数的切换和物体图像的分辨率的切换也是既可以实施其中的任意一个，也可以两个都实施。即，注视区域内所包含的物体图像能够以多的视点且高的分辨率来描绘。另外，视点数和分辨率中的任何一个都能够不是像图示那样以2等级（物体图像是否包含在注视区域内），而是能够以3等级以上（例如物体图像的哪些部分包含在注视区域）来进行切换。
另外，上述的第3例还可以与第1例和/或第2例组合。该情况下，例如在如第1例所示那样的、根据物体是否包含在显示范围内来判断是否将物体图像设定成描绘对象之后，对于被设定成描绘对象的物体图像，能够根据与注视区域的关系来设定视点数或分辨率。或者也可以根据使用了基于物体的显示位置和用户的视点位置的关系以及物体图像和注视区域的关系这两方面而算出的指标值的判断来设定视点数或分辨率。
在例如利用上述的第1例来限定成为描绘对象的物体图像的情况下，根据被设定成描绘对象的物体图像的数量，能够决定各物体图像的分辨率或视点数。这也称为按被设定成描绘对象的物体图像来分配可用于图像描绘的资源的处理。因此，若被设定成描绘对象的物体图像多则分辨率变低、视点数变少。另一方面，若被设定成描绘对象的物体图像少则分辨率变高、视点数变多。该情况下，还可以在被设定成描绘对象的物体图像之间实施第2例或第3例那样的判断，对用户正注视着的物体图像优先分配资源。
（4.比例的设定和图像的选择）
接下来，参照图10～图15，对本发明的一个实施方式中的比例的设定和图像的选择进行说明。
当显示例如图1例示的那样的图像时，成为物体图像12的显示位置的基准的海报10和用户观察包含物体图像12的图像而使用的终端装置100的位置关系可能以各种方式变化。例如，海报10被贴于公共场所，根据路过的用户面向终端装置100的拍摄装置来在显示器110上显示物体图像12。
在这样的情况下，海报10和终端装置100之间的距离或终端装置100相对于海报10的角度因海报10的粘贴场所或用户从何处观察海报10而不同。
（4-1.比例的设定）
例如，当用户从极近距离观察贴在布告栏的海报10时和隔着道路等从远处位置观察贴在布告栏的海报10时，海报10和终端装置100之间的距离大不相同，由终端装置100的拍摄装置得到的拍摄图像中所包含的标记11的大小也较大变化。这里，例如若使物体图像12的显示大小与拍摄图像中所包含的标记11的大小成比例，则存在物体图像12过大或过小从而确认困难的情况。而另一方面，若不论拍摄图像所包含的标记11的大小而使物体图像12的显示大小一定，则用户靠近或远离标记11，物体图像12的显示大小都不变化，从而削弱了真实感。
因此，在本发明的一个实施方式中，作为物体图像12的显示大小的设定步骤，根据在最初在终端装置100中显示物体图像12时、更具体而言例如在使物体图像12显示的应用程序被启动时从终端装置100（视点位置）至标记11的距离，来决定物体图像12所显示的各物体的显示位置配置的比例和物体图像12的初始显示大小。这之后，以初始显示大小为基准并根据拍摄图像所包含的标记11的大小的变化来使物体图像12的显示大小变化。决定初始显示大小之后的拍摄图像所包含的标记11的大小的变化和物体图像12的大小变化的比例也可以不论初始显示大小而相同。
图10和图11是表示本发明的一个实施方式中的物体图像的初始显示大小的例子的图。图10表示在拍摄图像中所包含的海报10s比较小因而标记11s也比较小的情况下所显示的物体图像12s，图11表示在拍摄图像中所包含的海报10b比较大因而标记11b也比较大的情况下所显示的物体图像12b。这时，与物体图像12的显示大小的变化相配合，各物体的显示位置配置的比例也变化。更具体而言，与物体图像12s相比物体图像12b以较大的间隔配置各物体的显示位置。
如图示，拍摄图像中所包含的标记11b的大小是标记11s的2倍左右，但物体图像12b的大小比物体图像12s略大且基本不变。像这样，在本实施方式中，以不会发生由拍摄图像中所包含的标记11的大小引起的物体图像12的大小的变动过大从而物体图像12的可视性低下的情况的方式来决定物体图像12的初始显示大小。
图12是表示本发明的一个实施方式中的物体图像的显示大小的设定例的曲线图。实线的曲线图表示针对拍摄图像中的标记11的大小决定的物体图像12的初始显示大小。虚线的曲线图表示在决定物体图像12的初始显示大小之后根据由终端装置100的移动等而造成的拍摄图像中的标记11的大小的变化来设定的物体图像12的显示大小的变化。其中，图中的点Ps与图10的例子相对应，点Pb与图11的例子相对应。
在图示的例子中，在上述的图10和图11所说明那样的物体图像12的初始显示大小的设定在拍摄图像中的标记11的大小较大的情况（曲线图的左侧）和较小的情况（曲线图的右侧）下，通过抑制初始显示大小相对于标记11的大小的变化来实现。该情况下，当拍摄图像中的标记11较小时和较大时，虽然物体图像12的大小多少有点变化，但不大幅地发生变化。
其中，这样的曲线图的形状仅为一个例子，只要能够防止因物体图像12的大小变得过大或变得过小而造成的可视性的降低即可，也可以是其他各种各样的设定。例如，也可以与拍摄图像中的标记11的大小无关地将物体图像12的初始显示大小设为定值。另外，也可以代替图示的曲线，而设定为斜率平缓的直线。
另一方面，在决定物体图像12的初始显示大小之后的显示大小与上述的初始大小的决定不同，能够较大地依赖于拍摄图像中的标记11的大小的变化而变化。在图示的例子中，以设定的初始显示大小（例如由点Ps和点Pb表示的大小）为基准，在拍摄图像中的标记11的大小变大的情况下物体图像12的大小变得更大，与此相反在标记11的大小变小的情况下物体图像的大小变得更小。
该情况下的表示物体图像12的显示大小的变化的曲线图（以虚线表示）能够是具有比表示初始显示大小的变化的曲线图（以实线表示）陡峭很多的形状的图形。这是因为，首先在用户试图想要扩大/缩小物体图像12的显示的情况下，用户能够移动终端装置100的范围是有限的。例如，在拍摄处于隔着道路的位置的海报10时，为了想要扩大所显示的物体图像12而特意穿过道路靠近海报10的用户较少。在本实施方式中，通过在物体图像12的初始显示大小被决定之后，根据拍摄图像中所包含的标记11的大小的变化使物体图像12的大小较大地变化，来保持“靠近物体的话变大，远离的话变小”的真实感。
（4-2.图像的选择）
另外，作为其他的例子，在从大致相同的高度观察贴在布告栏的海报10的情况下和在从地上观察贴在建筑物外墙的较高位置的海报10的情况下，终端装置100（和共享视点的用户）观察海报10时的仰角变得大不相同。在到此为止的例子中说明的物体图像12任何一个都是从正面即从大致相同的高度观察到的图像，但若在仰角大的情况、即用户仰视处于较高位置的海报10的情况下也显示这样的图像，则无论是否仰视都显示来自正面的图像，就会存在作为AR的显示产生不协调感的情况。
因此，在本发明的一个实施方式中，根据在最初在终端装置100中显示物体图像12时、更具体而言例如在使物体图像12显示的应用程序被启动时的、标记11相对于终端装置100（视点位置）的仰角（仰视时）或俯角（俯视时），来决定作为物体图像12而被显示的各物体的上下方向的朝向。这之后，基本上继续显示在初期选择的物体图像12，但也可以在产生用户确认海报10的角度的变化的情况下切换要显示的物体图像12。
这里，标记11相对于视点位置的仰角或俯角例如能够基于拍摄图像中所包含的标记11的形状来算出。并且，也可以并用终端装置100所具有的加速度传感器等传感器的检测结果来提升检测角度的精度。
图13和图14是表示在本发明的一个实施方式中与用户的视线相对应而显示的物体图像的例子的图。图13是表示基于处于与终端装置100大致相同的高度的海报10m来显示物体图像12m的情况，图14是表示基于处于比终端装置100高的位置的海报10h来显示物体图像12h的情况。
如图示，在用户经由终端装置100观察海报10m的情况下，根据拍摄图像中所包含的标记11m的形状来判断为标记相对于视点位置的仰角接近于0（即俯角也接近于0），并且显示从正面观察的状态的物体图像12m。在本实施方式的例子中，因为物体图像12是显示在舞台上演奏的乐队的成员的图像，所以从正面观察的状态的物体图像12m也可以认为是例如正从舞台较远的观众席欣赏乐队演奏那样的图像。
另一方面，在用户经由终端装置100观察海报10h的情况下，根据拍摄图像中所包含的标记11h的形状来判断为标记相对于视点位置11的仰角比较大，并且显示从下仰视的状态的物体图像12h。该物体图像12h也可以认为是例如正从舞台的跟前欣赏乐队演奏那样的图像。像这样，通过由物体图像12所显示的物体的上下方向的朝向发生变化，并且根据用户的视线来显示从正面观察或仰视或俯视的图像，由此进一步提高真实感。
（4-3.处理流程）
图15是表示本发明的一个实施方式中的图像显示处理的例子的流程图。在图15所示的例子中包括反映了上述比例的设定和用户视线的关系的图像的选择的处理。
首先，将表示终端装置100的拍摄装置的位置（视点位置）的信息作为视点位置矩阵而取得（步骤S301）。视点位置矩阵例如以时间序列通过多次取得，表示终端装置100的拍摄装置的位置的变化。然后，判断视点位置矩阵的取得是否为2次以上（步骤S303），如果不为2次以上（否，即为1次时），则实施与上述那样的比例的计算和/或视线的角度相对应的物体图像的选择（步骤S305）。这相当于上述的说明所说的“最初显示物体图像12时”的处理。另一方面，当为2次以上时（是），不执行步骤S305的处理。
接下来，执行与描绘相关的设定处理（步骤S307）。这里的处理包括例如在上述参照图6～图9进行说明的那样的、为了减少处理负荷而限定描绘对象或变更描绘时的设定的处理。根据这里的设定来译码图像（步骤S309），并与拍摄图像重叠地进行描绘并输出（步骤S311）。到满足结束条件为止反复执行以上的处理（步骤S313）。
（5.声音的处理）
接下来，参照图16，对本发明的一个实施方式中的声音处理的例子进行说明。
目前为止，对根据观察图像的用户的状态来控制图像显示的例子进行了说明。相同的控制也可以对声音进行。在声音的情况下也是例如若与终端装置100的姿态或终端装置100和海报10的位置关系无关地再生相同的声音，则例如在关注物体图像12中的特定部分、将终端装置100靠近该部分那样的情况下，声音也不变化，从而削弱了真实感。这样的状况例如如显示演奏的乐队成员的物体图像12那样，特别适合假定由与各个物体相对应的声音（例如，各成员演奏的乐器的声音或者从舞台上的扬声器输出其的声音）形成声场的情况。
图16是表示本发明的一个实施方式中的声音输出的处理的例子的流程图。在处理中，首先将表示终端装置100的拍摄装置的位置（视点位置）的信息作为视点位置矩阵而取得（步骤S401）。视点位置矩阵例如按规定的间隔连续取得，表示终端装置100的拍摄装置的位置的变化。然后，判断视点位置矩阵的取得是否为2次以上（步骤S403），如果不为2次以上（否，即为1次时），则作为对于图像的处理执行上述比例的计算。
其中，在步骤S405的处理中，由于物体是声音，所以计算出的不是物体图像12的初始显示大小而有可能是声音的初始音量。对于声音也是因为在现实世界中越靠近声源音量变得越大，越远离音量变得越小，所以随着终端装置100和海报10的距离变大，使与物体图像12一起被输出的声音的音量变小即可。但是，与对图像的比例进行说明了的相同，声音过大或过小对用户而言都不是好事。因此，在该例中，对于声音也与图像的情况相同，根据最初在终端装置100中输出伴随物体图像12的声音时的拍摄图像中所包含的标记11的大小来决定声音的初始音量。
然后，执行声源距离计算（步骤S407）。在这里，例如基于如图5所示的例子那样被定义的物体和用户的位置，来计算出用户和声源的距离。为了根据终端装置100的姿态、终端装置100和海报10的位置关系来使再生的声音变化，例如与物体和用户的位置相关联地设定声源位置。其中，该情况下，再生的声音被按声源分开提供，并且能够根据用户和声源的位置关系以不同的比例混合。
例如如图1所示的例子的情况，可以分别将再生立体声设备的左声道和右声道的声源的位置设定在舞台上的左侧和右侧。该情况下，通过计算出从用户的位置至左右声源的位置的距离（声源距离），能够例如按照用户若从左侧观察物体图像12则左声道的声音能够较大地听见，若从右侧观察则右声道的声音能够较大地听见的方式来混合声音。或者，也可以将再生各个成员的声音或演奏的乐器的声音的声源的位置设定在舞台上的各成员的位置。该情况下，通过计算出从用户的位置至显示各成员的物体的距离（声源距离），能够例如按照用户若靠近显示演奏鼓的成员的物体图像12c则鼓的声音能够较大地听见，若靠近显示演奏吉他的成员的物体图像12d则吉他的声音能够较大地听见的方式来混合声音。
接下来，利用步骤S405中的初始音量的计算和步骤S407中的声源距离计算的结果，执行输出音量的计算（步骤S409）。然后，基于该计算的结果来译码声音（步骤S411）。
这里，作为附加的结构，也可以在终端装置100中，使用振动器，在声音输出时实施向表现重低音的触觉的反馈。该情况下，判断反馈的功能是否有效（步骤S413），在有效的情况下（是），设定振动（步骤S415）。另一方面，即使安装有反馈的功能，但在无效的情况下（否），不设定振动。
然后，经由终端装置100的扬声器等输出装置输出声音（步骤S417）。在上述步骤S415中振动被设定的情况下，终端装置100的振动器根据设定而驱动。到满足结束条件为止反复执行以上的处理（步骤S419）。
根据以上那样的处理，对于声音也能够与图像的情况相同，不受用户经由终端装置100观察海报10时的状况的影响，来实现具有真实感的声音输出。
（6.利用了SLAM的显示）
接下来，参照图17～图21，对本发明的一个实施方式中利用了SLAM（Simultaneous Localization and Mapping）的图像的显示的例子进行说明。
SLAM是基于感测周边环境的结果，在周边环境中定位（Localize）自己的同时制作周边的地形模型（Map）的技术。因该技术本身已公知所以省略详细的说明，但通过将该技术应用于本实施方式中的终端装置100，根据地形模型来控制各物体图像的显示，使适应周边环境的更合适的物体图像的显示成为可能。
（6-1.影子的显示）
图17～图19是表示在本发明的一个实施方式中，利用SLAM来显示物体的影子的例子的图。在图示的例子中，物体obj和其影子Shadow的任何一个都由物体图像显示。图17是表示通常情况下的物体obj的影子Shadow_n的显示的例子。图18是表示在背后有墙壁的情况下的物体obj的影子Shadow_w的显示的例子。在该情况下，影子Shadow_w沿墙壁站立地显示。图19是表示在背后是悬崖的情况下的物体obj的影子Shadow_c的显示的例子。在该情况下，影子Shadow_c被悬崖的边缘偏斜地显示。
这样的显示例如能够通过利用SLAM从终端装置100的拍摄图像中检测由特征点构成的陆标，并且利用立方体等来近似检测出的陆标且地形模型化来实现。例如如果是图18的例子，检测出在物体obj的背后有表示倾斜的变化的特征点，基于此生成构成墙面的立方体的地形模型，根据该地形模型补正影子的显示，其结果，站立地显示。对于哪个平面是地面哪个平面是墙壁，例如能够利用终端装置100所具有的加速度传感器，通过检测拍摄图像的斜率来确定。
图20是表示在本发明的一个实施方式中，利用SLAM来显示物体的影子的处理的例子的流程图。首先，例如利用GPS（全球定位系统：Global Positioning System）等来确定终端装置100的位置（步骤S501）。然后，基于确定出的位置，判断终端装置100在屋外还是在屋内（步骤S503）。这里，当判断为终端装置100在屋外时（是），基于在步骤S501所取得的位置信息和时刻信息，计算终端装置100的位置中太阳的位置（步骤S505）。该情况下，物体的影子的朝向基于太阳的位置来决定。另一方面，在步骤S503中当判断为终端装置100不在屋外（即在屋内）时，不计算太阳的位置，代替此假定在规定的位置配置有屋内的光源（例如，在上方配置有多个点光源），并决定影子的朝向。
然后，将终端装置100的拍摄图像用作输入并利用SLAM取得拍摄图像中所包含的陆标（SLAM陆标）（步骤S507）。基于将该陆标立方体模型化后（步骤S509）的结果，使物体图像与影子重叠显示（步骤S511）。这里重叠的影子的朝向是在上述步骤S501～S505被决定的朝向。以上的步骤S507～S511的处理（从SLAM陆标的取得至影子的重叠显示），到满足结束条件为止被反复执行（步骤S513）。
（6-2.地面基准显示）
图21是表示在本发明的一个实施方式中，以地面为基准来显示物体的例子的图。例如在上述图1的例子中，以海报10所包含的标记11为基准显示了物体图像12。该情况下，由于显示物体图像12的位置被以标记11为基准而设定，所以例如在使显示舞台的物体图像12a与地面一致地显示的情况下，需要预先调整海报10和地面的位置关系。
上述情况下，例如如图21的左侧所示那样，若海报10t被错误地倾斜粘贴，则物体obj_t也倾斜显示。如图示的例子那样，在想要得到看起来如物体直接立于地面那样的显示的情况下，这样的显示会造成特别大的不协调感。另一方面，与对上述的影子的显示进行说明的相同，如果利用SLAM来确定地面的区域，如图21的右侧所示那样，能够使物体obj以地面为基准来显示，并且即使在海报10t倾斜的情况下也能够使物体obj正确地显示。
（7.用户的注视区域信息的利用）
接下来，参照图22～24，对本发明的一个实施方式中的用户的注视区域信息的利用的例子进行说明。
在本实施方式的图像的显示中，例如如在图6～图9的例子中所说明的那样，基于图像的显示范围（例如参照图8的例子）或用户的视点位置（例如参照图5的例子）等，能够确定在图像中用户有可能正在特别注视着的区域（注视区域）。该区域的信息不仅能够用于上述例子中的显示处理负荷的减少，还有其他各种各样的利用。
（7-1.注释的显示）
图22～图24是表示本发明的一个实施方式中的注释的显示的例子的图。
图22是表示在多个用户分别注视着的区域显示各用户输入的注释的例子。显示在显示器110的与物体图像12重叠显示的注释字符串31被追加至输入各注释的用户的注视区域所包含的物体图像。例如显示正在注视着包含物体图像12b的区域的用户所输入的注释的注释字符串31被追加至物体图像12b。另一方面，例如显示正在注视着包含物体图像12e的区域的用户所输入的注释的注释字符串31被追加至物体图像12e。
其中，显示的注释例如可以在那儿停留显示不久之后消失，也可以以被显示的位置为起点来滚动显示。另外，注释的字符的大小例如也可以根据用户的注视区域（例如参照图5的例子）和用户的视点位置的距离来设定。终端装置100中的注释的输入方法并不限定于使用键盘的输入，也可以是利用了声音识别的输入。
图23是图22的例子的变形例，表示将显示器110横置来观察物体图像12的用户所输入的注释被作为横向的注释字符串31h来显示，将显示器110纵置来观察物体图像12的用户所输入的注释被作为纵向的注释字符串31v来显示的例子。由此，看注释的其他用户也能知道例如对于输入注释的用户正以怎样的状态观察物体图像12。
图24是图22的例子的其他的变形例，表示注释字符串31被显示于气泡32中的例子。由此，由于物体图像12和注释字符串31不直接重叠，所以图像的可视性提高。另外，气泡32也可以最初不包括注释字符串31而以小的大小显示，并且在通过用户对所显示的图像的操作而被选择出的情况下，气泡32被扩大并显示注释字符串31。该情况下，即使在注释字符串31较多而无法被全部显示的情况下，也能够通过表示存在注释就知道注视物体图像12的哪个部分的用户较多。
作为上述例子的另外其他的变形例，也可以根据用户对注视区域的规定动作而仅显示气泡32。规定动作例如可以是显示器110的轻敲等。该动作可以用作直接表示用户注视区域的信息。例如，可以在作为物体图像12而显示乐队全部成员的状态下，当用户在显示器110轻敲显示物体图像12b的区域时，判断该轻敲的位置为注视区域，在该区域显示气泡32。或者，也可以将轻敲作为不指定区域的动作而取得，与轻敲的位置无关地在基于图像的显示范围或用户的视点位置等而确定的区域显示气泡32。
虽未图示，但用户的注视区域信息的利用例还有其他很多。例如，能够通过确定用户的注视区域所包含的物体，来确定成为用户感兴趣的物体的乐队或团队成员等。其结果，例如能够用于与该成员相关的内容的推荐或成员的人气测量等。
另外，还能够根据用户的注视区域所包含的物体等，来使图像的显示或声音的输出变化。例如，也可以将注视区域所包含的物体图像作为多视点图像来显示或以高分辨率显示。另外，在取得用户对注视区域的规定动作的情况下，也可以用物体做出对用户动作的反应动作的特别的物体图像来替换注视区域所包含的物体图像。另外，还将可以与注视区域所包含的物体相对应的声音强调输出。
（8.用户的视点位置信息的利用）
接下来，参照图25～图29，对本发明的一个实施方式中的用户的视点位置信息的利用的例子进行说明。
在本实施方式的图像的显示中，例如如在图5的例子中所说明的那样，能够确定观察图像的用户的视点位置。关于该视点位置的信息，也与注视区域的信息相同，能够有各种各样的利用。
（8-1.赠券（coupon）的显示）
图25是表示本发明的一个实施方式中的赠券的显示的例子的图。在图示的例子中，赠券图像41从在显示器110显示的物体图像12放出，并朝向用户飞去。因为终端装置100的位置能够被确定为用户的视点位置，并且能够指定终端装置100的位置作为被显示的赠券图像41的移动目的地，所以这样的显示成为可能。若随机设定赠券图像41的移动目的地，则朝向用户飞去的赠券图像41和不这样的赠券图像41被显示，从而能够使赠券图像41的显示具有游戏性。赠券图像41例如也可以是显示签名球（Signed ball）的图像。
其中，由于用户的视点位置例如基于终端装置100和标记11的位置关系来确定，所以如果在终端装置100的拍摄图像中不映现标记11（丢失标记11）则使赠券图像41按照朝向用户飞去的方式来显示是很困难的。但是，例如通过利用参照图17～图21进行说明的SLAM和加速度传感器的组合，当终端装置100的拍摄装置朝上时能够显示飞过上空的赠券图像41。
（8-2.与其他用户的图像共享）
图26是表示在本发明的一个实施方式中，在与其他的用户之间共享图像的显示时的显示例子的图。在图示的例子中，在显示器中，除了用户本人正观察的图像110a之外，还显示其他的用户正观察的图像110b～110d。并且，在图像110a中，表示其他用户的视点位置的图标51b～51d被显示。
通过这样的显示，用户能够知道其他用户正从怎样的视点位置观察怎样的图像。例如，用户如果喜欢在其他的用户（Brian）正观察的图像110b中所映现的物体图像12e，则参照图像110a中所显示的视点位置图标51b（Brian的视点）且移动至相同的视点位置，就能够与Brian相同共享物体图像12e的显示。
（系统结构例）
图27是表示在本发明的一个实施方式中，在与其他的用户之间共享图像的显示时的第1系统结构例的图。在图示的例子中，客户端（终端装置）100a～100d分别与内容服务器210和视点位置信息交换服务器220连接。内容服务器210是向各客户端传送物体图像12的服务器。视点位置信息交换服务器220是用于在各客户端之间交换视点位置信息的服务器。
如上述那样，各用户的视点位置例如被作为视点位置矩阵那样的数值信息来给予，数据量小。因此，在各客户端之间交换视点位置信息的上述例子适合于在通信频带或处理能力上有限制的情况。在各客户端，基于从其他客户端接收到的视点位置信息，在各个客户端显示的物体图像12被显示。但是，该情况下，在各个客户端与物体图像12一起显示的实际空间的图像（直录图像）在其他的客户端不显示。因此，例如能够在图26的例子中的图像110b～110d的背景中显示预先准备的虚拟的图像等。
图28是表示在本发明的一个实施方式中，在与其他的用户之间共享图像的显示时的第2系统结构例的图。在图示的例子中，客户端（终端装置）100a～100d分别与内容服务器210、视点位置信息交换服务器220、直录图像交换服务器230连接。直录图像交换服务器230是用于交换各客户端作为拍摄图像而取得的直录图像的服务器。
在该例中，能够将在其他的客户端所显示的物体图像12，与在各个客户端与物体图像12一起显示的实际空间的图像（直录图像）同时显示。因此，例如若为图26的例子，能够在图像110c中显示Roger观察物体图像12时背后所映现的实际空间的图像。
在各客户端的直录图像与视点位置信息相比数据量大。因此，在该例中，需要一定程度的通信频带或处理能力。但是，例如在对于一部分的客户端通信频带较狭那样的情况下，通过对于该客户端不交换直录图像，能够与上述图27的例子相同地共享限定于物体图像12的图像。另外，在用户通过明确的操作使直录图像的共享无效的情况下，也不从该用户的客户端发送直录图像（有可能其他的用户的直录图像被发送至该客户端）。像这样，在上述的例子中，存在能够根据需要来开/关（ON/OFF）直录图像的交换的优点。
作为上述例子的变形例，也可以不设置视点位置信息交换服务器220，而使用直录图像交换服务器230来交换各客户端的直录图像。该情况下，例如如果在直录图像中映现标记11，能够基于标记11的形状来确定在各个客户端的视点位置。因此，如果在各客户端中标记11没有丢失，则不交换视点位置信息也能如图26所示那样共享并显示图像。
图29是表示在本发明的一个实施方式中，在与其他的用户之间共享图像的显示时的第3系统结构例的图。在图示的例子中，客户端（终端装置）100a～100d分别与内容服务器210和图像交换服务器240连接。图像交换服务器240是用于交换各客户端将直录图像与物体图像12重叠后的合成完毕图像的服务器。
在该例中，由于在各客户端之间交换物体图像12已经被重叠了的图像，所以在接收侧的客户端的处理变简单。但是，由于合成完毕图像的数据量大，所以所需要的通信频带也大。另外，由于不能独立设定直录图像和物体图像12的分辨率等，所以在因通信频带或/用户动作的制约而需要降低图像分辨率的情况下，直录图像和物体图像12一起分辨率降低。另一方面，在上述图28的例子中，因为在其他的客户端显示的物体图像12也在接收侧的客户端被描绘，所以能够一边降低直录图像的分辨率一边维持物体图像12的分辨率等。
（9.功能结构例）
接下来，参照图30～图33，对本发明的一个实施方式所涉及的用于图像显示的功能结构的例子进行说明。并且，也对录像被显示图像时的结构例进行说明。
图30是表示本发明的一个实施方式所涉及的用于图像显示的第1功能结构例的图。第1功能结构例包括显示器110、扬声器120、拍摄装置130、视点位置检测部140、显示控制部150和声音控制部160。
这些功能结构例如包含在终端装置100那样的客户端中。视点位置检测部140、显示控制部150以及声音控制部160的功能例如能够通过CPU（中央处理单元：Central Processing Unit）执行存储在RAM（随机存取存储器：Random Access Memory）或ROM（只读存储器：Read OnlyMemory）中的程序指令来实现。
视点位置检测部140是对观察图像的用户的状态进行检测的状态检测部的一个例子。视点位置检测部140识别由拍摄装置130取得的实际空间的拍摄图像中所包含的标记11。标记11的特征能够被预先登记在视点位置检测部140。视点位置检测部140还基于检测出的标记11的形状，来检测以标记11为基准的终端装置100的位置、即视点位置。例如，视点位置检测部140根据拍摄图像中所包含的标记11的大小来检测从标记11至终端装置100的距离。另外，例如视点位置检测部140根据拍摄图像中所包含的标记11的形变来检测终端装置100相对于标记11的角度。
作为其他的例子，视点位置检测部140也可以不依靠标记11来检测用户的视点位置。例如，如果利用上述的SLAM检测地面等或者利用加速度传感器等传感器的检测结果来检测终端装置的斜率，能够不依靠标记就检测出用户的视点位置。该情况下，物体图像例如能够是以地面为基准而显示、且根据终端装置的斜率或上下方向的移动而显示发生变化的图像。作为物体配置的基准，例如可以设定在物体图像的显示开始时映现在拍摄图像中的任意的实际空间物体。
显示控制部150基于内容数据170和从拍摄装置130取得的实际空间的图像，执行译码、合成、描绘等处理，使AR图像显示于显示器110。显示控制部150例如基于由视点位置检测部140检测出的视点位置，来确定物体图像12的视点，参照内容数据170生成从该视点观察的物体图像12。并且，显示控制部150生成使物体图像12重叠在从拍摄装置130取得的实际空间的图像之后的图像，使该图像显示于显示器110。
其中，显示控制部150是实现从内容数据170的接收到向显示器110的显示之间的各功能的功能部分，所以例如上述的用于减少负荷的处理、比例的设定、图像的选择、利用了SLAM的显示（基于SLAM的地形模型的检测本身能够在视点位置检测部140被执行）等能够由显示控制部150来实现。
在上述几个例子中，可以说显示控制部150是使多个显示内容（物体图像）作为图像显示在显示器110，且根据观察该图像的用户的状态（例如由视点位置检测部140等检测出）来控制各显示内容（物体图像）的举动的控制部。
另外，显示控制部150还可以与内容数据170一起取得例如同时显示物体图像12和其他用户的注释时的注释（包括表示显示位置的信息）、赠券图像41、其他用户正观察着的图像110b～110d、表示其他用户的视点位置的图标51b～51d等信息。内容数据170既可以存储在服务器，也可以存储在客户端的内部。
声音控制部160基于内容数据170，执行译码、合成等处理，且使与AR图像相对应的声音从扬声器120输出。声音控制部160能够实现例如在上述作为声音处理的例子而说明了的根据视点位置那样的用户状态来使声音混合等设定变化的功能。
图31是表示本发明的一个实施方式所涉及的用于图像显示的第2功能结构例的图。第2功能结构例包括显示器110、扬声器120、拍摄装置130、视点位置/用户动作检测部142、输入部144、显示控制部150和声音控制部160。
与上述第1功能结构例相同，这些功能结构例如包含在终端装置100那样的客户端中。视点位置/用户动作检测部142、显示控制部150以及声音控制部160的功能例如能够通过CPU执行存储于RAM或ROM的程序指令来实现。
视点位置/用户动作检测部142同时具有对观察图像的用户的状态进行检测的状态检测部的功能和对用户的动作进行检测的动作检测部的功能。视点位置/用户动作检测部142除了与上述第1功能结构例中的视点位置检测部140相同地检测视点位置之外，还检测用户的动作。用户的动作例如能够经由输入部144来检测出。输入部144例如是触摸板、键盘、麦克风等各种输入装置，通过轻敲、字符输入、声音输入等来接受用户的操作输入。视点位置/用户动作检测部142将这样的操作输入作为用户的动作来检测。视点位置/用户动作检测部142将视点位置的信息和与所取得的用户的动作相关的信息一起提供至显示控制部150。并且，视点位置/用户动作检测部142还可以将这些信息提供至声音控制部160。
在该第2功能结构例中，显示控制部150能够从视点位置/用户动作检测部142取得例如上述的注释（也包括不显示注释的气泡）的显示中的注释内容及显示位置、由用户的明确操作而指定的注视区域的信息等。
图32是表示本发明的一个实施方式所涉及的用于图像显示的第3功能结构例的图。第3功能结构例包括显示器110、扬声器120、注视区域检测部146、显示控制部150和声音控制部160。另外，功能结构还能够附加包括拍摄装置130、输入部144以及视点位置/用户动作检测部142（或视点位置检测部140）的一部分或全部。
与上述第1功能结构例相同，这些功能结构例如包含在终端装置100那样的客户端中。注视区域检测部146、显示控制部150以及声音控制部160的功能例如能够通过CPU执行存储于RAM或ROM的程序指令来实现。
注视区域检测部146是对观察图像的用户的状态（正注视着图像的状态）进行检测的状态检测部的一个例子。注视区域检测部146例如如上述图8所示例子那样，对作为显示器110中所显示的图像的规定位置而被设定的注视区域进行检测。因此，注视区域检测部146从显示控制部150取得显示器110所显示的图像的信息。
如图示那样，在该第3功能结构例中，能够不包括拍摄装置130等的功能结构。即，物体图像12也可以不一定是与实际空间的拍摄图像重叠显示的AR图像。该情况下，用户的假想视点位置例如能够通过对显示器110所显示的图像的缩放或平移等用户操作来设定。其中，由用户操作造成的视点位置的变更能够对AR图像也有效。该情况下，例如由视点位置/用户动作检测部142检测出的视点位置能够由用户操作强制变更。
如上述那样，在该第3功能结构例中，也可以设置输入部144和视点位置/用户动作检测部142。该情况下，注视区域检测部146也可以利用视点位置/用户动作检测部142基于用户动作的检测结果来取得用户明确指定的注视区域。
（录像时的结构例）
图33是在本发明的一个实施方式中，录像所显示的图像时的结构例。如上述那样，本实施方式所涉及的图像显示的处理大多数情况下在作为移动装置的终端装置100被执行，所以可利用的资源有限。因此，所显示的图像可能例如不是多视点图像而是二维图像或分辨率低等那样品质受到抑制的图像。若就这样录像该图像，则当然品质也较低。
在本实施方式中，关注录像时不需要实时处理图像而在图像显示时记录所需要最小限度的数据，之后通过再次合成从高品质的内容数据提取出的物体图像，使记录较高品质的图像成为可能。
在图示的例子中，作为客户端的功能结构，显示有显示器110、拍摄装置130、视点位置检测部140和显示控制部150。虽省略图示与声音相关的功能结构，但也可以与上述图31～图32的例子相同地进行设置。为了录像所显示的图像，拍摄装置130将拍摄图像提供至显示控制部150，并且在存储装置等作为拍摄图像数据184来记录。另一方面，视点位置检测部140也检测视点位置并提供至显示控制部150，并且在存储装置等作为视点位置数据180来记录。
所记录的视点位置数据180被提供至记录用图像提取部182。记录用图像提取部182参照视点位置数据180，从高品质内容数据172提取记录用的物体图像。这里，高品质内容数据172是用于将内容数据170的一部分或全部例如作为多视点图像或高分辨率图像等较高品质的物体图像来显示的数据。若假设显示控制部150试图从高品质内容数据172生成物体图像，则因通信频带或处理能力的制约而不现实的情况较多。但是，在事后在记录用图像提取部182提取记录用图像的情况下，例如因为没有时间的制约所以能够充分实现。
另一方面，所记录的拍摄图像数据184被提供至图像合成部186。图像合成部186将从拍摄图像数据184取得的拍摄图像与由记录用图像提取部182提取的物体图像重叠，在录像执行时生成与在显示器110所显示的相同的图像。但是，物体图像被替换为基于高品质内容数据172的高品质的图像。像这样生成的图像被作为记录用图像188提供至客户端。
从上述说明可知，记录用图像提取部182和图像合成部186可以认为是使用高品质内容数据172来执行与显示控制部150相同的处理的结构。记录用图像提取部182由于要求高的处理能力所以优选在服务器实现该功能，但也可以在客户端实现该功能。图像合成部186既可以在服务器实现，也可以在客户端实现。这些功能例如能够通过CPU执行存储在RAM或ROM的程序指令来实现。
根据以上那样的结构，在客户端中，能够记录比实时显示的图像更高品质的物体图像所显示的图像。
（10.硬件结构）
接下来，参照图34，对本发明的实施方式所涉及的显示控制装置的硬件结构进行说明。图34是用于对显示控制装置的硬件结构进行说明的框图。图示的显示控制装置900例如能够实现上述实施方式中的客户端（终端装置）和服务器。
显示控制装置900包括CPU（Central Processing unit）901、ROM（Read Only Memory）903和RAM（Random Access Memory）905。另外，显示控制装置900可以包括主机总线907、电桥909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。并且，显示控制装置900根据需要还可以包括拍摄装置933和传感器935。显示控制装置900也可以代替CPU901、或者与此同时而具有DSP（数字信号处理器：Digital SignalProcessor）等处理电路。
CPU901作为计算处理装置和控制装置而发挥作用，并且根据记录于ROM903、RAM905、存储装置919或可移动记录介质927的各种程序，控制显示控制装置900内的全部动作或其中的一部分。ROM903存储CPU901所使用的程序或计算参数等。RAM905暂时存储在CPU901的执行中所使用的程序或在该执行中适当变化的参数等。CPU901、ROM903和RAM905通过由CPU总线等内部总线构成的主机总线907相互连接。并且，主机总线907经由电桥909与PCI（外围组件互连/接口：Peripheral Component Interconnect/Interface）总线等外部总线911连接。
输入装置915是例如鼠标、键盘、触摸板、按钮、开关和控制杆等由用户操作的装置。输入装置915既可以是例如利用了红外线或其他电波的远程控制装置，也可以是与显示控制装置900的操作相对应的手机等外部连接设备929。输入装置915包括基于用户输入的信息来生成输入信号且向CPU901输出的输入控制电路。用户通过操作该输入装置915，来对显示控制装置900输入各种数据或指示处理动作。
输出装置917由能够将取得的信息在视觉上或听觉上向用户通知的装置构成。输出装置917可以是例如LCD（液晶显示器：Liquid CrystalDisplay）、PDP（等离子显示面板：Plasma Display Panel）、有机EL（电致发光：Electro-Luminescence）显示器等显示装置、扬声器和耳机等声音输出装置以及打印机等。输出装置917将通过显示控制装置900的处理而得到的结果作为文本或图像等影像来输出、或者作为声音或声响等声音来输出。
存储装置919是作为显示控制装置900的存储部的一个例子而构成的数据存储用的装置。存储装置919例如由HDD（硬盘驱动器：HardDisk Drive）等磁性存储部设备、半导体存储设备、光存储设备或者磁光存储设备等构成。该存储装置919存储CPU901执行的程序或各种数据、或者从外部取得的各种数据等。
驱动器921是用于磁盘、光盘、磁光盘或半导体存储器等可移动记录介质927的读写器，并且内装或外附于显示控制装置900。驱动器921读出在所安装的可移动记录介质927中记录的信息，向RAM905输出。另外，驱动器921向在所安装的可移动记录介质927中写入记录。
连接端口923是用于将设备和显示控制装置900直接连接的端口。连接端口923例如可以是USB（通用串行总线：Universal Serial Bus）端口、IEEE1394端口、SCSI（小型计算机系统接口：Small Computer SystemInterface）端口等。另外，连接端口923也可以是RS-232C端口、光纤音频终端、HDMI（高清晰多媒体接口：High-Definition Multimedia Interface）端口等。通过将连接端口923与外部连接设备929连接，能够在显示控制装置900和外部连接设备929之间交换各种数据。
通信装置925例如是由用于连接通信网络931的通信设备等构成的通信接口。通信装置925例如可以是有线或无线LAN（局域网：Local AreaNetwork）、Bluetooth（蓝牙）（注册商标）、或者WUSB（无线通用串行总线：Wireless USB）用的通信卡等。另外，通信装置925也可以是光通信用的路由器、ADSL（不对称数字用户线：Asymmetric Digital SubscriberLine）用的路由器或者各种通信用的调制解调器等。通信装置925例如在与因特网或其他通信设备之间利用TCP/IP等规定的协议来接收发送信号等。另外，与通信装置925连接的通信网络931是通过有线或无线连接的网络，例如是因特网、家庭内LAN、红外线通信、无线电波通信或卫星通信等。
拍摄装置933例如是利用CCD（电荷耦合装置：Charge CoupledDevice）或CMOS（互补金属氧化物半导体：Complementary MetalOxide Semiconductor）等拍摄元件、以及用于控制被摄物体像向拍摄元件的成像的透镜等各种部件来拍摄实际空间并生成拍摄图像的装置。拍摄装置933既可以是拍摄静止图像的装置，也可以是拍摄视频的装置。
传感器935是例如加速度传感器、陀螺仪传感器、地磁传感器、光传感器、声音传感器等各种传感器。传感器935取得例如显示控制装置900的框体姿态等与显示控制装置900自身的状态相关的信息、或显示控制装置900周边的亮度或噪音等与显示控制装置900的周边环境相关的信息。另外，传感器935也可以包括接收GPS（全球定位系统：Global Positioning System）信号来测定装置的纬度、经度和高度的GPS传感器。
以上显示了显示控制装置900的硬件结构的一个例子。上述的各构成元素既可以使用通用的部件来构成，也可以由专业化了各构成元素的功能的硬件构成。此结构可以根据实施时的技术水平来适当地改变。
（11.补充）
本发明的实施方式例如能够包括用于使由在上述说明了那样的显示控制装置、系统、显示控制装置或系统所执行的显示控制方法、显示控制装置发挥作用的程序以及记录有程序的非暂时性的有形介质。
以上，边参照添加附图边对本发明的优选实施方式进行了详细说明，但本发明的技术范围并不限定于这些例子。只要是具有本发明的技术领域中的通常知识的技术人员，显而易见在技术方案所记载的技术的思想范畴内，能够想到各种变更例或修正例，并且对于这些当然也被认为是属于本发明的技术范围的。
另外，以下那样的结构也属于本发明的技术的范围。
（1）一种显示控制装置，具备：状态检测部，其检测观察图像的用户的状态；显示控制部，其使多个显示内容与拍摄图像重叠后的上述图像显示在显示器上，并且根据上述用户的状态来控制上述各显示内容的举动。
（2）根据上述（1）所记载的显示控制装置，上述状态检测部检测在上述图像中用户正注视着的注视区域，上述显示控制部使上述注视区域所包含的显示内容的举动发生变化。
（3）根据上述（2）所记载的显示控制装置，上述显示控制部提高上述注视区域所包含的显示内容的品质。
（4）根据上述（3）所记载的显示控制装置，上述显示控制部提高上述注视区域所包含的显示内容的分辨率。
（5）根据上述（3）或（4）所记载的显示控制装置，上述显示控制部使上述注视区域所包含的显示内容所对应的视点数增加。
（6）根据上述（2）～（5）中任意一项所记载的显示控制装置，还具备检测上述用户的动作的动作检测部，上述显示控制部向上述注视区域所包含的显示内容追加与上述用户的动作相对应的显示。
（7）根据上述（6）所记载的显示控制装置，上述用户的动作是注释的输入，与上述用户的动作相对应的显示是显示上述注释的字符串。
（8）根据上述（6）或（7）所记载的显示控制装置，上述状态检测部基于上述用户的动作来检测上述注视区域。
（9）根据上述（2）～（7）中任意一项所记载的显示控制装置，上述状态检测部检测上述注视区域作为上述显示器所显示的图像中的规定的区域。
（10）根据上述（1）～（9）中任意一项所记载的显示控制装置，上述状态检测部检测在空间中被定义的上述用户的视点位置，上述显示控制部通过上述各显示内容来显示在上述空间中显示位置被定义的多个物体，并且基于上述视点位置和上述显示位置的关系使上述各显示内容的举动发生变化。
（11）根据上述（10）所记载的显示控制装置，上述显示控制部提高显示具有距上述视点位置较近的显示位置的物体的显示内容的品质。
（12）根据上述（10）或（11）所记载的显示控制装置，上述显示控制部基于上述视点位置和上述显示位置来判断上述各物体是否被显示在上述图像中，并且将显示不被显示的物体的显示内容从描绘对象排除。
（13）根据上述（10）～（12）中任意一项所记载的显示控制装置，上述显示控制部使上述各显示内容作为层图像而重叠显示，并且通过根据上述视点位置的移动来使上述层图像以上述显示位置为基准旋转，从而使上述各物体正对上述视点位置。
（14）根据上述（1）～（13）中任意一项所记载的显示控制装置，上述状态检测部以被配置在实际空间的标记为基准来检测上述用户的视点位置，上述显示控制部在通过上述各显示内容来显示在上述实际空间中显示位置被以上述标记为基准而假想地定义的多个物体时，根据从上述标记至上述视点位置的距离来决定上述显示位置配置的比例和上述物体的初始显示大小。
（15）根据上述（1）～（14）中任意一项所记载的显示控制装置，上述状态检测部以被配置在实际空间的标记为基准检测上述用户的视点位置，上述显示控制部在通过上述各显示内容来显示在上述实际空间显示位置被以上述标记为基准而假想地定义的多个物体时，根据上述标记相对于上述视点位置的仰角或俯角来决定由上述各显示内容所显示的上述各物体的上下方向的朝向。
（16）根据上述（1）～（15）中任意一项所记载的显示控制装置，上述状态检测部检测上述用户所观察的实际空间的地形模型，上述显示控制部在通过上述各显示内容来显示在上述实际空间中显示位置被假想地设定的多个物体时，根据上述地形模型来控制上述各显示内容的举动。
（17）根据上述（16）所记载的显示控制装置，上述显示控制部在通过上述各显示内容来显示第1物体和该第1物体的影子作为上述多个物体时，根据上述地形模型来补正上述影子的显示。
（18）根据上述（1）～（17）中任意一项所记载的显示控制装置，还具备控制与上述图像相对应的声音的输出，并且根据上述用户的状态来控制上述声音的设定的声音控制部。
（19）一种显示控制方法，其包括：使多个显示内容与拍摄图像重叠后的图像在显示器中显示；检测观察上述图像的用户的状态；根据上述用户的状态控制上述各显示内容的举动。
（20）一种程序，用于使计算机实现如下如下功能：使多个显示内容与拍摄图像重叠后的图像在显示器中显示的功能；检测观察上述图像的用户的状态的功能；根据上述用户的状态控制上述各显示内容的举动的功能。

Claims (19)

1.一种显示控制装置，其中，具备：
状态检测部，其检测观察图像的用户的状态；以及
显示控制部，其使显示器显示拍摄图像与多个显示内容重叠后的所述图像，根据所述用户的状态来控制各个所述显示内容的举动。
2.根据权利要求1所述的显示控制装置，其中，
所述状态检测部检测在所述图像中用户正在注视的注视区域，
所述显示控制部使所述注视区域所包含的显示内容的举动发生变化。
3.根据权利要求2所述的显示控制装置，其中，
所述显示控制部进一步地提高所述注视区域所包含的显示内容的品质。
4.根据权利要求3所述的显示控制装置，其中，
所述显示控制部提高所述注视区域所包含的显示内容的分辨率。
5.根据权利要求3所述的显示控制装置，其中，
所述显示控制部使所述注视区域所包含的显示内容所对应的视点数增加。
6.根据权利要求2所述的显示控制装置，其中，
还具备动作检测部，该动作检测部检测所述用户的动作，
所述显示控制部向所述注视区域所包含的显示内容追加与所述用户的动作相对应的显示。
7.根据权利要求6所述的显示控制装置，其中，
所述用户的动作是注释的输入，
与所述用户的动作相对应的显示是显示所述注释的字符串。
8.根据权利要求6所述的显示控制装置，其中，
所述状态检测部基于所述用户的动作来检测所述注视区域。
9.根据权利要求2所述的显示控制装置，其中，
所述状态检测部检测所述注视区域作为所述显示器所显示的图像中的规定区域。
10.根据权利要求1所述的显示控制装置，其中，
所述状态检测部检测在空间被定义的所述用户的视点位置，
所述显示控制部使在所述空间中显示位置被定义的多个物体通过各个所述显示内容显示，并且基于所述视点位置和所述显示位置之间的关系来使各个所述显示内容的举动发生变化。
11.根据权利要求10所述的显示控制装置，其中，
所述显示控制部进一步地提高显示具有距所述视点位置较近的显示位置的物体的显示内容的品质。
12.根据权利要求10所述的显示控制装置，其中，
所述显示控制部基于所述视点位置和所述显示位置来判断各个所述物体是否被显示于所述图像，并且将显示未被显示的物体的显示内容从描绘对象排除。
13.根据权利要求10所述的显示控制装置，其中，
所述显示控制部使各个所述显示内容作为层图像而重叠显示，并且根据所述视点位置的移动来使所述层图像以所述显示位置为基准旋转，从而使各个所述物体正对所述视点位置。
14.根据权利要求1所述的显示控制装置，其中，
所述状态检测部以配置在实际空间中的标记为基准来检测所述用户的视点位置，
所述显示控制部在使在所述实际空间中显示位置以所述标记为基准而假想地被定义的多个物体通过各个所述显示内容来显示时，根据从所述标记至所述视点位置的距离来决定所述显示位置配置的比例和所述物体的初始显示大小。
15.根据权利要求1所述的显示控制装置，其中，
所述状态检测部以配置在实际空间中的标记为基准来检测所述用户的视点位置，
所述显示控制部在使在所述实际空间显示位置以所述标记为基准而假想地被定义的多个物体通过各个所述显示内容来显示时，根据所述标记相对于所述视点位置的仰角或俯角来决定由各个所述显示内容显示的各个所述物体在上下方向的朝向。
16.根据权利要求1所述的显示控制装置，其中，
所述状态检测部检测所述用户所观察的实际空间的地形模型，
所述显示控制部在使在所述实际空间显示位置假想地被设定的多个物体通过各个所述显示内容来显示时，根据所述地形模型来控制各个所述显示内容的举动。
17.根据权利要求16所述的显示控制装置，其中，
所述显示控制部在使第1物体和所述第1物体的影子通过各个所述显示内容显示为所述多个物体时，根据所述地形模型来补正所述影子的显示。
18.根据权利要求1所述的显示控制装置，其中，
还具备声音控制部，该声音控制部控制与所述图像相对应的声音的输出，并且根据所述用户的状态来控制所述声音的设定。
19.一种显示控制方法，其中，包括：
使显示器显示拍摄图像与多个显示内容重叠后的图像；
检测观察所述图像的用户的状态；以及
根据所述用户的状态控制各个所述显示内容的举动。
CN201310641766.3A 2012-12-10 2013-12-03 显示控制装置以及显示控制方法 Pending CN103871092A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012269191 2012-12-10
JP2012-269191 2012-12-10

Publications (1)

Publication Number Publication Date
CN103871092A true CN103871092A (zh) 2014-06-18

Family

ID=50909597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310641766.3A Pending CN103871092A (zh) 2012-12-10 2013-12-03 显示控制装置以及显示控制方法

Country Status (5)

Country Link
US (5) US9613461B2 (zh)
EP (2) EP2930693B1 (zh)
JP (1) JP6102944B2 (zh)
CN (1) CN103871092A (zh)
WO (1) WO2014091824A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354756A (zh) * 2016-08-17 2017-01-25 深圳市彬讯科技有限公司 一种基于增强现实云识别的多户型识别方法及系统
CN108508600A (zh) * 2017-02-28 2018-09-07 精工爱普生株式会社 头部佩戴型显示装置以及图像形成光学系统

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934614B2 (en) * 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
JP6299234B2 (ja) * 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
JP6070676B2 (ja) * 2014-02-14 2017-02-01 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
GB2523353B (en) * 2014-02-21 2017-03-01 Jaguar Land Rover Ltd System for use in a vehicle
KR20150135895A (ko) * 2014-05-26 2015-12-04 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
JP6344125B2 (ja) * 2014-07-31 2018-06-20 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP6451139B2 (ja) * 2014-08-11 2019-01-16 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム
EP3059669A1 (en) * 2015-02-19 2016-08-24 Nokia Technologies OY Controlling display of video content
JP2016167656A (ja) * 2015-03-09 2016-09-15 株式会社リコー 伝送管理システム、伝送システム、伝送管理方法、及びプログラム
JP6611501B2 (ja) * 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
DE102015115394A1 (de) 2015-09-11 2017-03-16 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit einem virtuellen Bild und mobiles Gerät
JP5899364B1 (ja) * 2015-09-17 2016-04-06 株式会社Ｃｙｇａｍｅｓ プレイヤの意図を予測してレンダリングするためのリソース配分を決定するプログラム、電子装置、システム及び方法
EP3497600B1 (en) * 2016-08-12 2021-11-17 Boston Scientific Scimed Inc. Distributed interactive medical visualization system with user interface features
DE102016121281A1 (de) 2016-11-08 2018-05-09 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit virtuellen Bild- und Audiodaten und ein mobiles Gerät
WO2018123022A1 (ja) * 2016-12-28 2018-07-05 株式会社メガハウス コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ
US10567737B2 (en) * 2017-04-10 2020-02-18 Eys3D Microelectronics, Co. Depth information processing device capable of increasing accuracy of depth information in specific regions
JP2018195254A (ja) * 2017-05-22 2018-12-06 富士通株式会社 表示制御プログラム、表示制御装置及び表示制御方法
US10607403B2 (en) * 2017-10-04 2020-03-31 Google Llc Shadows for inserted content
JP6916896B2 (ja) * 2017-11-16 2021-08-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP2019125278A (ja) * 2018-01-19 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP6783264B2 (ja) * 2018-04-09 2020-11-11 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置、及び表示制御方法
JP6931138B1 (ja) 2018-06-27 2021-09-01 ナイアンティック， インコーポレイテッドＮｉａｎｔｉｃ，Ｉｎｃ． デバイスローカリゼーションのためのマルチシンクアンサンブルモデル
JP6732984B1 (ja) * 2019-03-20 2020-07-29 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法、配信装置、および制御サーバ
US11328491B2 (en) * 2019-11-11 2022-05-10 Aveva Software, Llc Computerized system and method for an extended reality (XR) progressive visualization interface
EP3846453B1 (en) * 2019-12-31 2023-06-14 Nokia Technologies Oy An apparatus, method and computer program for recording audio content and image content
WO2021166747A1 (ja) * 2020-02-18 2021-08-26 株式会社Ｎｔｔドコモ 情報処理システム
WO2022230253A1 (ja) * 2021-04-28 2022-11-03 ソニーグループ株式会社 情報処理装置及び情報処理方法

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276613A (ja) 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
US7019742B2 (en) * 2003-11-20 2006-03-28 Microsoft Corporation Dynamic 2D imposters of 3D graphic objects
US8751156B2 (en) * 2004-06-30 2014-06-10 HERE North America LLC Method of operating a navigation system using images
EP1814101A1 (en) * 2004-11-19 2007-08-01 Daem Interactive, Sl Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method
JP4061379B2 (ja) * 2004-11-29 2008-03-19 国立大学法人広島大学 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
US8689134B2 (en) * 2006-02-24 2014-04-01 Dana W. Paxson Apparatus and method for display navigation
JP4177381B2 (ja) * 2006-03-01 2008-11-05 株式会社スクウェア・エニックス 画像生成方法、画像生成装置、および画像生成プログラム
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
JP4774346B2 (ja) 2006-08-14 2011-09-14 日本電信電話株式会社 画像処理方法、画像処理装置およびプログラム
EP2340648B1 (en) * 2008-10-28 2019-12-11 Koninklijke Philips N.V. A three dimensional display system
JP5328810B2 (ja) * 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
JP5244012B2 (ja) * 2009-03-31 2013-07-24 株式会社エヌ・ティ・ティ・ドコモ 端末装置、拡張現実感システム及び端末画面表示方法
US20100257252A1 (en) * 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
JP5290864B2 (ja) * 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定装置及び方法
JP5340900B2 (ja) * 2009-12-03 2013-11-13 株式会社エヌ・ティ・ティ・ドコモ オブジェクト管理装置及びオブジェクト管理方法
JP2011203823A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
JP4757948B1 (ja) * 2010-06-11 2011-08-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US8411092B2 (en) * 2010-06-14 2013-04-02 Nintendo Co., Ltd. 2D imposters for simplifying processing of plural animation objects in computer graphics generation
WO2012015460A1 (en) * 2010-07-26 2012-02-02 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
JP2012058838A (ja) 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US8487252B2 (en) * 2010-09-29 2013-07-16 Carl Zeiss Nts Gmbh Particle beam microscope and method for operating the particle beam microscope
US8767968B2 (en) * 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
JP2012104871A (ja) * 2010-11-05 2012-05-31 Sony Corp 音響制御装置及び音響制御方法
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120120113A1 (en) * 2010-11-15 2012-05-17 Eduardo Hueso Method and apparatus for visualizing 2D product images integrated in a real-world environment
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US9092061B2 (en) * 2011-01-06 2015-07-28 David ELMEKIES Augmented reality system
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP5704962B2 (ja) * 2011-02-25 2015-04-22 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8872852B2 (en) * 2011-06-30 2014-10-28 International Business Machines Corporation Positional context determination with multi marker confidence ranking
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치
JP5718197B2 (ja) * 2011-09-14 2015-05-13 株式会社バンダイナムコゲームス プログラム及びゲーム装置
US9639857B2 (en) * 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
US9007364B2 (en) * 2011-10-12 2015-04-14 Salesforce.Com, Inc. Augmented reality display apparatus and related methods using database record data
US9361283B2 (en) * 2011-11-30 2016-06-07 Google Inc. Method and system for projecting text onto surfaces in geographic imagery
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US8726189B2 (en) * 2011-12-07 2014-05-13 Google Inc. Multiple tab stack user interface
CN103959344B (zh) * 2011-12-20 2017-03-01 英特尔公司 跨越多个设备的增强现实表示
US9165381B2 (en) * 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9214137B2 (en) * 2012-06-18 2015-12-15 Xerox Corporation Methods and systems for realistic rendering of digital objects in augmented reality
US9092897B2 (en) * 2012-08-10 2015-07-28 Here Global B.V. Method and apparatus for displaying interface elements
US9870642B2 (en) * 2012-08-10 2018-01-16 Here Global B.V. Method and apparatus for layout for augmented reality view
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US20140192033A1 (en) * 2013-01-07 2014-07-10 Htc Corporation 3d image apparatus and method for displaying images
US20140347363A1 (en) * 2013-05-22 2014-11-27 Nikos Kaburlasos Localized Graphics Processing Based on User Interest
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354756A (zh) * 2016-08-17 2017-01-25 深圳市彬讯科技有限公司 一种基于增强现实云识别的多户型识别方法及系统
CN108508600A (zh) * 2017-02-28 2018-09-07 精工爱普生株式会社 头部佩戴型显示装置以及图像形成光学系统
CN108508600B (zh) * 2017-02-28 2022-08-05 精工爱普生株式会社 头部佩戴型显示装置以及图像形成光学系统

Also Published As

Publication number Publication date
US20150279105A1 (en) 2015-10-01
JPWO2014091824A1 (ja) 2017-01-05
US10181221B2 (en) 2019-01-15
JP6102944B2 (ja) 2017-03-29
US11321921B2 (en) 2022-05-03
EP2930693A4 (en) 2016-10-19
EP2930693B1 (en) 2020-06-24
US20220222905A1 (en) 2022-07-14
US20240096039A1 (en) 2024-03-21
US20170186239A1 (en) 2017-06-29
EP2930693A1 (en) 2015-10-14
US20190088028A1 (en) 2019-03-21
WO2014091824A1 (ja) 2014-06-19
US9613461B2 (en) 2017-04-04
EP3734555A1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN103871092A (zh) 显示控制装置以及显示控制方法
CN106383587B (zh) 一种增强现实场景生成方法、装置及设备
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
US11024083B2 (en) Server, user terminal device, and control method therefor
CN109600678B (zh) 信息展示方法、装置及系统、服务器、终端、存储介质
US20170287215A1 (en) Pass-through camera user interface elements for virtual reality
US20180321798A1 (en) Information processing apparatus and operation reception method
CN114236837A (zh) 用于显示交互式增强现实展示的系统、方法和介质
WO2010027193A2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
JPWO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20200342671A1 (en) Information processing apparatus, information processing method, and program
JP7247260B2 (ja) データ処理プログラム、データ処理方法、および、データ処理装置
US20190244431A1 (en) Methods, devices, and systems for producing augmented reality
CN109314800B (zh) 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
JP2021535806A (ja) 仮想環境の観察方法、デバイス及び記憶媒体
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
CN112616048A (zh) Ar眼镜及其显示方法和系统、图像处理方法及设备
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
EP4064691A1 (en) Communication management device, image communication system, communication management method, and carrier means
CN114207557A (zh) 虚拟和物理相机的位置同步
JP2022507502A (ja) 拡張現実（ａｒ）のインプリント方法とシステム
CN112788443B (zh) 基于光通信装置的交互方法和系统
KR102261739B1 (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140618