CN104932675A - 显示装置、图像显示系统以及信息处理方法 - Google Patents

Abstract

本发明提供用户的便利性和操作性都优异的显示装置、图像显示系统以及信息处理方法。实施形态的显示装置具备投射部、光学构件以及第1获取部。投射部投射包含投射用图像的信息的光。光学构件使来自信息处理装置的光透过，另一方面使入射的包含投射用图像的信息的光反射，该信息处理装置具备能够检测对显示面进行的触摸操作的第1检测部以及根据检测到的触摸操作将显示用图像中的至少一部分的第1图像加以显示的显示部。第1获取部对于包含显示用图像中与第1图像的至少一部分不重叠的非重叠区域的第2图像，获取通过实施基于显示部的位置的变换得到的投射用图像，以根据透过光学构件的来自信息处理装置的光和由光学构件反射的包含投射用图像的信息的光，观察在显示部周围配置非重叠区域的状态。

Description

显示装置、图像显示系统以及信息处理方法

技术领域

本发明的实施形态涉及显示装置、图像显示系统以及信息处理方法。

背景技术

近年来，手表型终端、眼镜型终端等可穿戴装置引人注目。能够佩戴于用户头部、且能够通过将小型显示器上显示的图像投射于用户眼前的光学系统向用户提示该图像的眼镜型终端，分为非透射型和透射型两种。非透射型适合使用于笼罩穿戴者的全部视野，显示临场感好的视像的用途。现有已知的头戴式显示器(Head Mounted Display；HMD)多数分属非透射型。另一方面，透射型则适用于不遮住穿戴者的视野地显示辅助信息的用途，与非透射型相比，较小而且较轻。

这样的可穿戴装置有即时性和可搬动的优点，穿戴者在任何时间任何地方都可以免提就看到信息。但是，由于是免提(ハンズフリー)，就有难于操作的问题。虽然用语音指令进行操作的技术、以触摸方式操作装入眼镜型终端的脚丝(temple；镜腿)的触摸面板的技术已经实用化，但是别人看来不自然，公共场合难于使用。

为了解决这个问题，提出了通过便携式电话、智能手机、平板电脑等便携式终端对可穿戴装置(典型的例如眼镜型终端)进行操作的技术。例如，作为已有技术，已知有利用组装于眼镜型终端的摄像机对便携式终端的画面进行摄影，以覆盖拍摄到图像中的便携式终端的画面的周围的方式，将在便携式终端的画面没有显示完的外侧区域的图像合成，相互连接构成一个大画面，用眼镜型终端显示的技术。这种技术中，用户通过触摸便携式终端的画面，能够指示眼镜型终端所提示的大画面中显示便携式终端的画面的区域的特定处所。而且根据用户的触摸操作，能够控制眼镜型终端显示的图像。

现有技术文献

非专利文献1：N.Sakata et al:A Tablet interface for laying out AR objects-Outlook ofrelationship with smart phone and AR-,IDW13,INP2/DES2-2.

发明内容

发明要解决的课题

但是，上述现有技术以非透射型的眼镜型终端为前提，不能够用佩带者自己的眼睛把握周围的状况。虽然能够通过装入眼镜型终端的摄像机拍摄的图像把握周围的状况，但是考虑到电池用完或发生故障时什么也看不见，从安全考虑，在室外使用是不合适的。从而，现有的技术其使用环境受到限制，存在用户使用不太方便的问题。

本发明想要解决的课题是提供用户使用方便、操作性能优异的显示装置、图像显示系统以及信息处理方法。

解决课题用的手段

实施形态的显示装置具备投射部、光学构件、以及第1获取部。投射部投射包含投射用图像的信息的光。光学构件使来自信息处理装置的光透过，另一方面使入射的包含投射用图像的信息的光反射，所述信息处理装置具备能够检测出对显示面的触摸操作的第1检测部、以及根据检测到的触摸操作，将显示用图像中的至少一部分的第1图像加以显示的显示部。第1获取部对于包含显示用图像中与第1图像的至少一部分不重叠的非重叠区域的第2图像，获取通过实施基于显示部的位置的变换而得到的投射用图像，以根据透过光学构件的来自信息处理装置的光和由光学构件反射的包含投射用图像的信息的光，观察在显示部的周围配置非重叠区域的状态。

附图说明

图1是表示实施形态的图像显示系统的结构例的图。

图2是表示第1实施形态的图像显示系统的功能结构之一例的图。

图3是表示第1实施形态的第1图像与第2图像之一例的图。

图4是表示第1实施形态的眼镜型终端的各构成要素的配置之一例的图。

图5是第1实施形态的检测部的检测方法的说明图。

图6是表示通过第1实施形态的光学构件观察到的外侧区域的反射像的图。

图7是表示第1实施形态的便携式终端的硬件结构之一例的图。

图8是表示第1实施形态的便携式终端的动作例的流程图。

图9是表示第1实施形态的眼镜型终端的动作例的流程图。

图10是表示变形例的图像显示系统的功能结构之一例的图。

图11是表示变形例的图像显示系统的功能结构之一例的图。

图12是表示变形例的图像显示系统的功能结构之一例的图。

图13是表示变形例的图像显示系统的功能结构之一例的图。

图14是表示变形例的图像显示系统的功能结构之一例的图。

图15是表示第2实施形态的图像显示系统的功能结构之一例的图。

图16是表示变形例的图像显示系统的功能结构之一例的图。

图17是表示第3实施形态的图像显示系统的功能结构之一例的图。

图18是表示第3实施形态的边饰区域之一例的图。

图19是表示变形例的图像显示系统的功能结构之一例的图。

图20是表示第4实施形态的图像显示系统的功能结构之一例的图。

图21是表示变形例的图像显示系统的功能结构之一例的图。

图22是表示第5实施形态的图像显示系统的功能结构之一例的图。

图23是表示变形例的图像显示系统的功能结构之一例的图。

具体实施方式

以下参照附图对本发明的显示装置、图像显示系统以及信息处理方法的实施形态进行详细说明。

第1实施形态

图1是表示本实施形态的图像显示系统1的大概结构例的方框图。如图1所示，图像显示系统1具备便携式终端2、以及眼镜型终端3。便携式终端2与眼镜型终端3能够以有线或无线方式，直接或间接地相互通信。便携式终端2与眼镜型终端3之间的通信方法是任意的，用任意一种通信方法都可以。

便携式终端2是至少具有能够实施触摸操作的下述触摸面板4的终端，可由例如便携式电话、智能手机、平板电脑等移动装置、手表型终端、项链型终端等可穿戴装置等用户可携带的终端构成。在这个例子中，便携式终端2可以认为是与权利要求中的“信息处理装置”对应的。

眼镜型终端3是佩戴于用户头部、且能够通过将小型显示器上显示的图像投射于用户眼前的光学系统来将该图像提示给用户的显示装置。眼镜型终端3大致分为非透射型和透射型两种，在这里，限定于后者即透射型。透射型大多为小型，但是也可以是大型的。又，眼镜型终端3有只对一眼显示信息的单眼型和对两眼显示信息的两眼型，在这里，使用哪一种都没关系。在这个例子中，可以认为眼镜型终端3对应于权利要求中的“显示装置”。

图2是表示便携式终端2以及眼镜型终端3各自的功能结构之一例的图。如图2所示，便携式终端2具备触摸面板4、生成部22、以及变换部23。

触摸面板4具备第1检测部50、以及显示部60。第1检测部50能够检测对显示面(触摸面板4(显示部60)所具有的、显示图像的面)的触摸操作。在这个例子中，第1检测部50对应于权利要求中的“第1检测部”或“检测部”。显示部60根据第1检测部50检测到的触摸操作，显示显示用图像中的至少一部分的第1图像。显示部60的显示方式是任意的，例如显示部60不仅可以是液晶、有机EL等直视型显示装置，也可以是投影机等投射型的显示装置。又，触摸操作的检测方法可以是任意方法，不限于电容方式、电阻膜方式(感压式)，也可以采用利用其他检测方法的检测装置。触摸面板4(第1检测部50)在检测出用户的触摸操作的情况下，将表示该检测到的触摸操作的操作信息提供给生成部22。

还有，本说明书中的“触摸操作”不仅包含用户用自己的指头接触显示面的操作，也可包含用笔等输入器件接触显示面的操作。

生成部22基于从第1检测部50接收到操作信息以及预先准备的显示用图像，生成第1图像及包含显示用图像中不与第1图像的至少一部分重叠的非重叠区域的第2图像。在本实施形态中，所谓非重叠区域，是显示用图像中第1图像外侧的区域(显示用图像中第1图像以外的区域，在以下的说明中，有时候称为“外侧区域”)。生成部22生成的第1图像被提供给触摸面板4(显示部60)。然后，显示部60将生成部22生成的第1图像加以显示。

还有，在这个例子中，以显示用图像是显示部60显示不完的尺寸的图像为前提进行说明。生成部22获取显示用图像的方法是任意的，例如生成部22可以从服务器装置等外部装置获取显示用图像，也可以访问预先存储有显示用图像的未图示的存储器获取显示用图像。

例如，在第1检测部50检测出的触摸操作表示为使显示部60显示不完的部分显示于显示部60而使显示用图像向上下左右某一方向移动的滚动的情况下，生成部22根据该操作信息使显示用图像滚动，生成应该显示于显示部60的图像(第1图像)。又，例如第1检测部50检测出的触摸操作表示当前在显示部60显示的图像的放大、缩小的情况下，生成部22根据检测出的触摸操作，将当前显示部60显示的图像放大或缩小，生成应该在显示部60显示的图像(第1图像)。而在例如第1检测部50检测出的触摸操作表示用于向可阅览规定的信息的网页移动的URL链接的选择的情况下，生成部22将链接目的地的网页的图像作为应该显示于显示部60的图像(第1图像)生成。

在下面的说明中，作为一个例子，设想提供表示图3的(a)所示的文本的显示用图像(内容)的情况。生成部22将图3的(b)所示的图像生成为第1图像。而生成部22生成如图3的(c)所示的、包含显示用图像中第1图像的外侧区域(显示部60没有显示完的区域，相当于非重叠区域)的第2图像。在这个例子中，第2图像是显示用图像中与第1图像对应的区域的辉度值(像素值)被设定为小于等于预定的阈值(在这个例子中，相当于“黑”的辉度值)的图像。

下面在对便携式终端2的变换部23进行说明之前，对眼镜型终端3的结构进行说明。如图2所示，眼镜型终端3具备第2检测部31、光学构件32、以及投射部33。又，图4是表示眼镜型终端3中包含的各要素的配置之一例的示意图。如图4所示，眼镜型终端3还具备用于保持检测部31、光学构件32、以及投射部33的支持构件40。

第2检测部31检测便携式终端2(显示部60)的位置。在本实施形态中，第2检测部31由红外线摄像机构成。第2检测部31向着与用户的视线相同的方向，能够对与用户的视野大致一致的范围进行摄影。又，在本实施形态中，如图5的(a)所示，在显示部60(触摸面板4)的周围，至少配置3个发出比可见光波长更长的红外线的红外线LED标识器28，在用户的视野中存在显示部60的情况下，借助于第2检测部31的摄影，能够得到有在显示部60的周围配置的红外线LED标识器28映入的图像。

例如在用户的视野中，如图5的(b)所示，配置便携式终端2的情况下，借助于第2检测部31的摄影，能够得到表示图5的(c)所示的3个红外线LED标识器28的配置的图像。通过例如改变3个红外线LED标识器28各自闪烁的模式，或改变点亮的光的频率，这样就能够识别(检测)3个红外线LED标识器28的各个映照在图5的(c)所示的图像上的哪个位置上。第2检测部31生成表示3个红外线LED标识器28各自的位置的位置信息(在这个例子中，是通过摄影得到的图像内的坐标值)，将生成的位置信息发送到便携式终端2。

下面继续说明眼镜型终端3的结构。图2和图4所示的投射部33从便携式终端2的变换部23获取投射用图像，将包含该获取的投射用图像的信息的光，投射到用户眼前配置的光学构件32。投射用图像的具体内容将在后面叙述。例如，投射部33包含显示投射用图像用的显示装置(未图示)、以及将从显示装置射出的光引导到光学构件32用的透镜等光学系统(未图示)。显示投射用图像用的显示装置的方式是任意方式，例如可以是液晶透射型显示装置，也可以是有机EL型显示装置。而且不限于此，例如投射部33也可以用DMD(数字微镜器件)面板构成。

又，如图4所示，光学构件32使从表示夹着光学构件32与用户的眼镜处于相反侧的区域的外界来的光透过，另一方面，反射包含所入射的投射用图像(投射部33投射的投射用图像)的信息的光。投射用图像的具体内容将在下面叙述。便携式终端2存在于佩戴眼镜型终端3的用户的视野的情况下，光学构件32使来自便携式终端2的光(形成便携式终端2的实像的光)透过，另一方面，反射包含所入射的投射用图像的信息的光。来自便携式终端2的光与包含投射用图像的信息的光，向光学构件32的不同的面入射，透过光学构件32的来自便携式终端2的光以及光学构件32反射的包含投射用图像的信息的光，分别被导入用户的眼睛。在这个例子中，光学构件32由半透半反镜(ハーフミラー)构成，但不限于此。还有，光学构件32的透射率(使来自外界的光线透过的比例)及反射率(反射投射用图像的光的比例)均不限定于50％，可以按照显示部60和投射部33的性能任意设定。

下面返回图2，对便携式终端2的变换部23进行说明。变换部23对于上述第2图像，通过实施基于显示部60的位置的变换，生成投射用图像，以根据透过光学构件32的来自便携式终端2的光和由光学构件32反射的包含投射用图像的信息的光，观察在显示部60周围配置上述外侧区域(相当于显示用图像中与第1图像的至少一部分不重叠的非重叠区域)的状态。上述变换是包含仿射变换的几何变换。下面将更具体地加以叙述。

在本实施形态中，变换部23从眼镜型终端3的第2检测部31获取上述位置信息，根据该获取的位置信息计算显示部60相对于眼镜型终端3的相对位置和姿势。而且不限于此，例如也可以是眼镜型终端3的第2检测部31根据表示3个红外线LED标识器28的各自的位置的位置信息，计算显示部60相对于眼镜型终端3的相对位置和姿势，将其计算结果发送到变换部23的形态。

由变换部23计算出的、显示部60相对于眼镜型终端3的相对位置和姿势，可以表示为用于进行仿射变换的变换矩阵，所述仿射变换是使通过光学构件32观察的外侧区域的反射像从图6的(a)所示的初始状态符合图6的(b)所示的标识器配置(相对于初始状态稍微倾斜的状态的显示部60的标识器配置)。变换矩阵可以利用例如ARTool Kit等已有的软件进行计算。变换部23利用计算出的变换矩阵，对生成部22生成的第2图像进行仿射变换，以生成投射用图像。然后，将生成的投射用图像发送到眼镜型终端3。

眼镜型终端3的投射部33将包含如上所述生成的投射用图像的信息的光向光学构件32投射，借助于此，如图6的(c)所示，可以将通过光学构件32观察的显示部60的透射像(在这个例子中，是相对于初始状态稍微倾斜的状态的显示部60的透射像)和通过光学构件32观察的外侧区域的反射像连接构成一个大画面供用户观看。

还有，投射部33将与图6的(b)对应的投射用图像向光学构件32投射的情况下，投射用图像中，由于不从与图6的(b)中涂黑的区域(表示第1图像的区域)对应的区域投射光，所以没有形成反射像，因此对于图6的(b)中涂黑的区域，用户观察的是通过透过光学构件32的来自外界的光形成的透射像(在这个例子中是显示部60的透射像)。另一方面，投射用图像中，从与图6的(b)中涂黑的区域外侧的区域对应的区域投射光而形成有反射像，因此对于图6的(b)中涂黑的区域的外侧的区域，用户能够观察通过由光学构件32反射的包含投射用图像的信息的光形成的反射像。由此，用户能够看见显示部60的透射像与显示用图像中显示部60未能显示完的外侧区域的反射像连接构成一个大画面。

如上所述，在本实施形态中，眼镜型终端3的投射部33具有获取变换部23生成的投射用图像，将包含该获取的投射用图像的信息的光向光学构件32投射的功能。在这个例子中，可以认为投射部33具有与权利要求的“第1获取部”对应的功能、以及与权利要求的“投射部”对应的功能，但是不限于此。例如也可以是在投射部33之外，另外设置与权项的“第1获取部”对应的功能的形态。

又，图7表示便携式终端2的硬件结构之一例。如图7所示，便携式终端2具备CPU201、ROM202、RAM203、与眼镜型终端3通信用的通信I/F204、以及触摸面板4。上述便携式终端2的生成部22以及变换部23各自的功能，由CPU201将存储于ROM202等的程序读出到RAM203上加以执行来实现。还不限于此，例如也可以是上述便携式终端2的生成部22以及变换部23各自的功能中的至少一部分由专用的硬件电路(例如半导体集成电路等)实现的形态。

还可以将便携式终端2执行的程序，存储于与互联网等网络连接的计算机中，经网络下载来提供。又可以将便携式终端2执行的程序，经互联网等网络提供或分发。而且也可以将便携式终端2执行的程序预先组装于ROM等非易失性记录媒体来提供。

下面对本实施形态的图像显示系统1的动作例进行说明。首先，用图8对便携式终端2一侧的动作例进行说明。如图8所示，首先，第1检测部50对触摸操作进行检测(步骤S100)。接着，生成部22根据步骤S100检测出的触摸操作，生成上述第1图像(步骤S101)。接着，生成部22根据步骤S100检测出的触摸操作，生成上述第2图像(步骤S102)。接着，变换部23从便携式终端2获取上述位置信息(步骤S103)。在本实施形态中，在上述步骤S100检测出触摸操作的触摸面板4对眼镜型终端3(第2检测部31)请求发送位置信息。然后，在上述步骤S103，变换部23能够从眼镜型终端3(第2检测部31)获取作为对来自触摸面板4的请求的应答的位置信息。还不限于此，例如也可以是眼镜型终端3的第2检测部31进行的检测每隔规定的时间进行，在每次进行第2检测部31的检测时，将表示那时的检测结果的位置信息发送到便携式终端2，依序存储于未图示的存储器的形态。在这一形态中，在上述步骤S103，变换部23可以获取存储于未图示的存储器中的最新位置信息。

接着，变换部23根据上述步骤S103获取的位置信息，对步骤S102生成的第2图像实施仿射变换，生成投射用图像(步骤S104)。在这个例子中，变换部23对于上述步骤S102生成的第2图像，通过实施基于上述步骤S103取得的位置信息的仿射变换，生成投射用图像，以根据透过光学构件32的来自便携式终端2的光和由光学构件32反射的包含投射用图像的信息的光，观察在显示部60周围配置上述外侧区域的状态。接着，变换部23将上述步骤S104生成的投射用图像发送到眼镜型终端3(步骤S105)。

在这个例子中，也可以认为是便携式终端2进行控制，以获取显示部60的位置，且对于上述第2图像，通过实施基于显示部60的位置的变换而生成投射用图像，并将所生成的投射用图像投射于眼镜型终端3，以根据透过光学构件32的来自便携式终端2的光和由光学构件32反射的包含投射用图像的信息的光，观察在显示部60周围配置外侧区域的状态。

下面用图9对眼镜型终端3一侧的动作例进行说明。在这个例子中，对便携式终端2请求发送位置信息后的眼镜型终端3的动作例进行说明。首先，第2检测部31对显示部60的位置进行检测(步骤S110)。如上所述，第2检测部31对与用户的视野大致一致的范围进行摄影，检测配置于显示部60周围的3个红外线LED标识器28分别映照在该通过摄影得到的图像上的哪个位置上。然后，第2检测部31将表示步骤S110的检测结果的位置信息发送到便携式终端2(步骤S111)。其后，投射部33获取由便携式终端2生成的投射用图像(步骤S112)。接着，投射部33将步骤S112获取的包含投射用图像的信息的光投射到光学构件32(步骤S113)。

如上所述，本实施形态的眼镜型终端3为透射型，眼镜型终端3的光学构件32使来自便携式终端2的光(外界来的光)透过，将其引向用户的眼中，另一方面，反射包含投射用图像的信息的光，将其导入用户的眼中。然后，眼镜型终端3的投射部33，对于包含显示用图像中第1图像外侧的区域的第2图像，通过实施基于显示部60的位置的变换，获取变换得到的投射用图像，将包含该获取的图像的信息的光投射于光学构件32，以根据透过光学构件32的来便携式终端2的光和由光学构件32反射的包含投射用图像的信息的光，观察在显示部60周围配置上述外侧区域的状态。借助于此，佩戴眼镜型终端3的用户可以看到显示部60的透射像与显示用图像中没有在显示部60显示完的外侧区域的反射像连接在一起构成一个大画面。

又，根据本实施形态，则用户能够通过上述光学构件32，把握周围状况(外界的状况)，因此眼镜型终端3的使用环境不仅限制于屋内，与现有技术相比，能够使用户更加便利。又，根据本实施形态，用户能够对触摸面板4的显示面(也可以认为是显示部60的显示面)进行触摸操作，以使例如显示用图像向上下左右某一方向移动(使其滚动)，一边切换显示部60显示的图像(第1图像)，一边直接指示显示用图像的任意位置。也就是说，根据本实施形态，则能够提供安全性能和操作性能优异的眼镜型终端3。

而且，根据本实施形态，用户能够一边通过光学构件32观看显示部60的透射像一边对显示面进行触摸操作，因此与像现有技术那样一边用非透射型眼镜型终端观看用可见光摄像机对具有触摸面板的便携式终端拍摄到的图像，一边对触摸面板进行触摸操作的结构相比，能够实现不舒适感小的操作。从而，与现有技术相比，能够进一步提高用户操作性能。又，如上所述，本实施形态的眼镜型终端3由于以非透射型结构构成，不必像现有技术那样用可见光摄像机对显示部60(触摸面板4)进行摄影。从而，不需要可见光摄像机，因此即使是可见光摄像机的使用有困难的状况(例如公共场所等)，眼镜型终端3的使用不会受到限制，因此能够使用户使用更方便。

第1实施形态的变形例1

上述第1图像与上述第2图像，不必一定是具有同等信息量的图像(同等详细程度的图像)。例如，与通过光学构件32能够看见的反射像的显示能力相比，显示部60的显示能力更高的情况下，也可以将信息量更多(详细程度更高)的图像显示于显示部60。例如，被提供表示地图的内容的情况下，将表示以小字体详细记载地名和门牌号等的信息量大(详细程度大)的地图的图像作为第1图像显示于显示部60，将表示以大字体只记载主要地名的信息量小(详细程度低的)的地图的图像作为第2图像投射，用户能够同时掌握总体像和细节。还有，地图只是一个例子，显示的内容也可以是其他内容。

也就是说，上述生成部22也能够基于显示用图像，生成比第2图像信息量多(详细程度高)的第1图像和第2图像。

第1实施形态的变形例2

第1实施形态采用的方法是，利用红外线摄像机作为第2检测部31，对映入红外线摄像机拍摄得到的图像中的红外线标识器28的配置、大小、畸变等进行分析，以检测显示部60相对于眼镜型终端3的相对位置和姿势，但是不限于此。例如，也可以利用对进深信息进行测量，将其图像化的摄像机(深度传感器)作为第2检测部31。

又，例如也可以采用可见光摄像机作为第2检测部31。在这种情况下，在显示部60周围，不配置红外线LED标识器28，而代之以配置预定的固定图案，在用户的视野中存在显示部60的情况下，利用可见光摄像机进行摄影，可以得到在显示部60周围配置的固定图案映入其中的图像。然后，通过分析映入该图像中的固定图案的配置、大小、畸变等，也能够检测显示部60相对于眼镜型终端3的相对位置和姿势。

但是，在采用可见光摄像机的情况下，也设想由于隐私等问题在公共场合难于使用的情况，因此第2检测部31最好采用可见光摄像机以外的传感器。由于第2检测部31用可见光摄像机以外的传感器构成，即使是公共场合也能够使用眼镜型终端3，因此能够进一步缓和眼镜型终端3在使用环境上受到的限制。从而，用户在使用上能够更方便。又，即使是采用例如可见光摄像机的情况下，也不是将拍摄的图像本身输出或保存的结构，而可以是只将从拍摄的图像求得的有关相对位置关系的信息输出的结构。

又，不配置例如上述红外线LED标识器28或固定图案等，而利用第2检测部31拍摄得到的图像的特征量，也能够检测出显示部60相对于眼镜型终端3的相对位置和姿势。

第1实施形态的变形例3

例如，如图10所示，也可以是上述第2检测部31搭载于便携式终端2一侧的形态。在这个例子中，第2检测部31检测出眼镜型终端3相对于显示部60的相对位置和姿势，生成表示眼镜型终端3相对于显示部60的相对位置和姿势的第2位置信息(如果换一种看法，也可以认为是表示显示部60的位置的信息)。还有，对检测方法不加以限定，也可以采用利用组装于便携式终端2的可见光摄像机拍摄装于眼镜型终端3的固定图案，分析得到的图像的方法，也可以采用利用组装于便携式终端2的红外线摄像机拍摄装于眼镜型终端3的红外线LED标识器，分析得到的图像的方法。

与第1实施形态一样，变换部23对于生成部22生成的第2图像，通过实施基于第2检测部31所生成的第2位置信息的仿射变换，生成投射用图像，以便能够根据透过光学构件32的来自便携式终端2的光和由光学构件32反射的包含投射用图像的信息的光，观察在显示部60周围配置上述外侧区域的状态。然后，向眼镜型终端3发送生成的投射用图像。眼镜型终端3的构成除了不设置第2检测部31外，结构与第1实施形态相同。

第1实施形态的变形例4

例如如图11所示，也可以是上述变换部23搭载于眼镜型终端3一侧的形态。其他结构与第1实施形态相同。在这个例子中，可以认为设置于眼镜型终端3的变换部23具有与权利要求的“第1获取部”对应的功能。

第1实施形态的变形例5

作为上述变形例4的进一步变形的变形例，也可以采取将生成第1图像的功能搭载于便携式终端2一侧，生成第2图像的功能搭载于眼镜型终端3一侧的形态。图12是表示本变形例的便携式终端2以及眼镜型终端3各自的功能结构之一例的方框图。如图12所示，便携式终端2具备触摸面板4、第1图像生成部24、以及显示用图像发送部25。触摸面板4(第1检测部50)在检测出触摸操作的情况下，将表示该检测出的触摸操作的操作信息分别提供给第1图像生成部24和眼镜型终端3，这一点与第1实施形态相同。

第1图像生成部24基于从触摸面板4(第1检测部50)接收到的操作信息和显示用图像，生成第1图像，将生成的第1图像提供给触摸面板4(显示部60)。显示用图像发送部25将显示用图像发送到眼镜型终端3。

又，如图12所示，眼镜型终端3除了具备上述第2检测部31、变换部23、光学构件32、以及投射部33外，还具备第2获取部34、第3获取部35、第2图像生成部36，这一点与图11的结构不相同的。

第2获取部34具有获取显示用图像的功能。在这个例子中，第2获取部34具有获取(接收)便携式终端2的显示用图像发送部25发送来的显示用图像的功能，但不限于此，例如也可以是从外部装置直接获取显示用图像的形态。如果采用这种形态，可以省略显示用图像发送部25。

第3获取部35从触摸面板4(第1检测部50)获取上述操作信息。第2图像生成部36基于第2获取部34取得的显示用图像和第3获取部35取得的操作信息，生成第2图像。例如，操作信息表示的触摸操作表示为了将显示部60未能显示完的部分显示于显示部60而使显示用图像向上下左右某一方移动的滚动的情况下，第2图像生成部36根据该操作信息使显示用图像滚动，将与显示用图像中应该显示于显示部60的图像(第1图像)对应的区域的辉度值(像素值)设定为小于等于阈值(在这个例子中相当于“黑”的辉度值)，生成第2图像。第2图像生成部36生成的第2图像被提供给变换部23。其他结构与图11的结构相同。

在本变形例中，将显示用图像预先从便携式终端2向眼镜型终端3传送，以后，将表示第1检测部50检测出的触摸操作的操作信息传送到眼镜型终端3即可，因此，与每次利用第1检测部50对触摸操作进行检测，相应于检测出的触摸操作生成的投射用图像输送到眼镜型终端3的形态相比，能够大大减少通信量。这样，与根据触摸操作更新显示部60的透射像的时刻相比，根据该触摸操作更新投射用图像的反射像的时刻被延迟的情况大大减少。

还有，在这个例子中，可以认为设置于眼镜型终端3的变换部23具有与权利要求的“第1获取部”对应的功能。

第1实施形态的变形例6

作为上述变形例4的进一步变形的变形例，例如，如图13所示，也可以是上述第2检测部31搭载于便携式终端2一侧的形态。本变形例的第2检测部31的功能和动作等与上述变形例3相同。又，本变形例的变换部23的功能和动作等与上述变形例4相同。

第1实施形态的变形例7

上述变形例5的进一步变形的变形例，例如，如图14所示，也可以是上述第2检测部31搭载于便携式终端2一侧的形态。本变形例中的第2检测部31的功能和动作与上述变形例3相同。其他结构与上述变形例5相同。

第2实施形态

下面对第2实施形态进行说明。第2实施形态的图像显示系统1，还具备在眼镜型终端3与显示部60的位置关系不满足特定的基准的情况下，实施不投射上述投射用图像的控制的判定部。以下对具体内容进行说明。还有，对与上述第1实施形态相同的部分，适当省略其说明。

图15是表示第2实施形态的便携式终端2以及眼镜型终端3各自的功能结构之一例的图。如图15所示，便携式终端2还具有判定部240，这一点与上述第1实施形态不同。判定部240在生成投射用图像用的上述仿射变换所使用的仿射变换矩阵的平移量小于预先设定的阈值的情况下，判定显示部60(便携式终端2)存在于视野内，判定满足上述特定基准。另一方面，判定部240在上述仿射变换矩阵的平移量大于等于预定的阈值的情况下，判定为显示部60不存在于视野内，判定未满足上述特定基准。

又，判定部240在上述仿射变换矩阵的旋转量小于预先设定的阈值的情况下，判定为用户与显示部60相互正面相对(正对着)，判定满足上述特定基准。另一方面，判定部240在上述仿射变换矩阵的旋转量大于等于预定的阈值的情况下，判定为用户与显示部60相互并非正面相对(并非正对)，判定为不满足上述特定基准。

在判定部240判定为满足上述特定基准的情况下，便携式终端2及眼镜型终端3分别进行与上述第1实施形态一样的动作。另一方面，在判定部240判定为不满足上述特定基准的情况下，解释为用户没有看到显示部60，进行不投射上述投射用图像的控制。例如，判定部240能够指示生成部22停止生成第2图像，且能够指示停止向变换部23提供第2图像。又，例如，判定部240也能够进行使变换部23及眼镜型终端3的投射部33的动作停止的控制。又，例如判定部240也可以指示生成部22，生成将显示用图像的全部区域的辉度值设定为小于等于阈值(在这个例子中相当于“黑”的辉度值)的图像作为第2图像。总而言之，只要是判定部240具备在眼镜型终端3与显示部60的位置关系不满足上述特定基准的情况下，进行不投射上述投射用图像的控制的功能的形态即可。

还有，本实施形态也可以是，判定部240兼备判断眼镜型终端3与显示部60的位置关系是否满足上述特定基准的功能和实施不投射上述投射用图像的控制的功能，但也可以是这些功能分别(独立)设置的形态。

根据本实施形态，在用户视野内存在便携式终端2，该用户从正面看着便携式终端2的显示部60的情况下，对该用户提示外侧区域的反射像，因此例如该用户的视线向着显示部60以外时，该用户的视野被反射像不经意遮蔽的危险减少。借助于此，能够进一步提高用户的安全性。又能够减少图像显示系统1(特别是眼镜型终端3)的电力消耗。

第2实施形态的变形例1

例如判定部240能够从变换部23接收表示显示部60相对于眼镜型终端3的相对位置与姿势的信息(也可以领会为表示显示部60的位置的信息)，基于该信息计算表示佩戴了眼镜型终端3的用户的观察方向的假想直线(预先设定的直线)与显示部60的法线形成的角度。然后，在上述角度小于预定的阈值的情况下，可以判定为用户与显示部60正面相对，判定为满足上述特定基准。另一方面，判定部240在上述角度大于等于预定的阈值的情况下，也可以判定为用户与显示部60不是正面相对，判定为没有满足上述特定基准。

第2实施形态的变形例2

也可以是例如判定部240搭载于眼镜型终端3一侧的形态。例如通过对图11所示的结构使用第2实施形态，也能够实现图16所示的结构。同样，通过对其他实施形态及变形例各自表示的结构使用第2实施形态，也可以形成眼镜型终端3具备判定部240的结构。总而言之，也可以形成眼镜型终端3具备判定部240的形态。

第3实施形态

下面对第3实施形态进行说明。如上所述，第2图像是显示用图像中与第1图像对应的区域的辉度值设定为小于等于预定的阈值的图像。第3实施形态的图像显示系统1还具备将第2图像中与第1图像对应的区域的周边部分的辉度值设定为比上述阈值大的值的边界处理部。以下对具体内容进行说明。还有，对与上述第1实施形态相同的部分，其说明适当省略。

图17是表示第3实施形态的便携式终端2以及眼镜型终端3各自的功能结构之一例的图。如图17所示，便携式终端2还具有边界处理部250，在这一点上与上述第1实施形态不同。边界处理部250接受生成部22生成的第2图像，对第2图像中与第1图像对应的区域(在这个例子中，是第2图像中涂黑的区域区域)的上端、下端、左端和右端分别追加提高了辉度值的边饰区域。对例如图3的(c)所示的第2图像，可以追加设定如图18所示的、相当于灰色(图8中用点的集合表示)的辉度值(比表示相当于“黑”的辉度值的阈值高的辉度值之一例)的边饰区域。然后，边界处理部250将追加了边饰区域的第2图像提供给变换部23。其他内容与上述第1实施形态相同。

如上所述，在本实施形态中，边界处理部250通过进行对第2图像追加边饰区域的处理，能够使显示部60的透射像的周边部分(与反射像的边界部分)为半透明状态，并让用户看见。这样，即使是因第2检测部31的检测误差、变换部23的计算误差等原因造成透射像与反射像的接缝有偏差，也能够使该偏差不容易被用户看出。

第3实施形态的变形例

也可以是例如边界处理部250搭载于眼镜型终端3一侧的形态。通过对例如图11所示的结构使用第3实施形态，也能够形成图19所示的结构。同样，通过对其他实施形态以及变形例各自表示的结构使用第3实施形态，也能够形成眼镜型终端3具备边界处理部250的结构。总而言之，也可以采用眼镜型终端3具备边界处理部250的形态。

第4实施形态

下面对第4实施形态进行说明。第4实施形态的图像显示系统1还具备颜色控制部，该颜色控制部对眼镜型终端3及便携式终端2中的至少一方的光源的辉度(亮度)、或第1图像及第2图像中的至少一方的灰度进行控制，以使显示部60的透射像的视觉表现(見え方)(表示图像的外表的图像质量)与投射用图像的反射像的视觉表现一致。以下对具体内容进行说明。还有，对与上述第1实施形态相同的部分的说明适当省略。

图20是表示第4实施形态的便携式终端2以及眼镜型终端3各自的功能结构之一例的图。如图20所示，便携式终端2还具有颜色控制部260，这一点不同于上述第1实施形态。颜色控制部260对周围环境的辉度(亮度)进行检测，基于其辉度，对显示部60或投射部33的光源(可以认为，例如在液晶显示器的情况下，背光灯就是光源，有机EL显示器的情况下，显示面板本身就是光源)的辉度(亮度)进行调整，能够使透射像的辉度与反射像的辉度接近。或者，为了使显示部60的透射像的色调与投射用图像的反射像的色调一致，颜色控制部260也可以指示生成部22调整第1图像的灰度或第2图像的灰度。或者，颜色控制部260为了使显示部60的透射像的色调(色味)和辉度与投射用图像的反射像的色调和辉度一致，也可以指示生成部22基于周围环境的辉度，对显示部60或投射部33的光源的辉度进行调整，同时调整第1图像的灰度或第2图像的灰度。

总而言之，颜色控制部260只要是对眼镜型终端3和便携式终端2中的至少一方的光源的辉度、或第1图像和第2图像中的至少一方的灰度进行控制，使显示部60的透射像的视觉表现与投射用图像的反射像的视觉表现一致的形态即可。根据本实施形态，能够减小透射像的视觉表现与反射像的视觉表现的背离，因此能够向佩戴了眼镜型终端3的用户提示透射像与反射像以更自然的形态连接的画面。

还不限于此，也可以是使例如显示部60的透射像的视觉表现与投射用图像的反射像的视觉表现不同的形态。也可以是例如为了使眼镜型终端3一侧节省电力，将使构成第2图像的多个像素各自的灰度反转(所谓负正变换)的图像作为投射用图像投射的形态。

第4实施形态的变形例

也可以是例如颜色控制部260搭载于眼镜型终端3一侧的形态。通过对例如图2所示的结构使用第4实施形态，也能够形成图21所示的结构。同样，也可以对其他实施形态及变形例各自表示的结构使用第4实施形态，形成眼镜型终端3具备颜色控制部260的结构。总而言之，也可以采用眼镜型终端3具备颜色控制部260的形态。

第5实施形态

下面对第5实施形态进行说明。第5实施形态的图像显示系统1还具备更新控制部，该更新控制部对更新第1图像的时刻或更新第2图像的时刻进行控制，以使根据触摸操作更新显示部60的透射像的时刻与更新投射用图像的反射像的时刻一致。以下对具体内容进行说明。还有，对与上述第1实施形态相同的部分适当省略其说明。

图22是表示第5实施形态的便携式终端2以及眼镜型终端3各自的功能结构之一例的图。如图22所示，便携式终端2还具有更新控制部270，在这一点上与上述第1实施形态不同。更新控制部270指示生成部22，使根据触摸操作更新第1图像的时刻与根据该触摸操作更新第2图像的时刻产生偏差。例如，由于从便携式终端2送往眼镜型终端3的图像通信(投射用图像的输送)产生的延迟，更新投射用图像的反射像的时刻比更新显示部60的透射像的时刻延迟的情况下，更新控制部270指示生成部22使更新第1图像的时刻延迟，或者更新控制部270也可以根据在第1检测部50检测出的触摸操作的时序数据，用卡尔曼滤波器等预测下一次用户的动作，根据该预测结果，指示生成部22提早更新第2图像的时刻。

总而言之，更新控制部270只要是对更新第1图像的时刻或更新第2图像的时刻进行控制，以使根据触摸操作更新显示部60的透射像的时刻与更新投射用图像的反射像的时刻一致的形态即可。根据本实施形态，可以减小根据触摸操作更新透射像的时刻与根据该触摸操作更新反射像的时刻的偏差，因此可以使用户不容易看出透射像与反射像的接缝。

第5实施形态的变形例

也可以是例如更新控制部270搭载于眼镜型终端3一侧的形态。通过对例如图2所示的结构使用第5实施形态，也可以形成图23所示的结构。同样，通过对其他实施形态及变形例各自所示的结构使用第5实施形态，也能够形成眼镜型终端3具备更新控制部270的结构。总而言之，也可以采用眼镜终端3具备更新控制部270的形态。

以上对本发明的实施形态进行了说明，但是上述实施形态只是作为例子提示，无意限定发明范围。这些新的实施形态可用其他各种各样的形态实施，在不脱离发明的要旨的范围内，可以有各种省略、置换、变更。这些新的实施形态及其变形包含于发明的范围和要旨中，同时包含于权利要求书记载的发明以及其同等的范围内。

还有，以上的各实施形态及各变形例可以任意组合。

符号说明

1   图像显示系统

2   便携式终端

3   眼镜型终端

4   触摸面板

22  生成部

23  变换部

31  第2检测部

32  光学构件

33  投射部

50  第1检测部

60  显示部

240 判定部

250  边界处理部

260  颜色控制部

270  更新控制部。

Claims (14)

1.一种显示装置，其特征在于，具备：

投射部，其投射包含投射用图像的信息的光；

光学构件，其使来自信息处理装置的光透过，另一方面，使入射的包含所述投射用图像的信息的光反射，所述信息处理装置具有能够检测对显示面的触摸操作的第1检测部和根据检测出的所述触摸操作对显示用图像中的至少一部分的第1图像进行的显示部；以及

第1获取部，其对于包含所述显示用图像中与所述第1图像的至少一部分不重叠的非重叠区域的第2图像，获取通过实施基于显示部的位置的变换得到的所述投射用图像，以根据透过所述光学构件的来自所述信息处理装置的光和由所述光学构件反射的包含所述投射用图像的信息的光，观察在所述显示部周围配置所述非重叠区域的状态。

2.根据权利要求1所述的显示装置，其特征在于，所述非重叠区域是所述显示用图像中所述第1图像的外侧的区域。

3.根据权利要求1所述的显示装置，其特征在于，还具备判定部，所述判定部在所述显示装置与所述显示部的位置关系不满足特定的基准的情况下，进行不投射所述投射用图像的控制。

4.根据权利要求3所述的显示装置，其特征在于，

所述变换是仿射变换，

在用于所述仿射变换的仿射变换矩阵的平移量大于等于预先设定的阈值的情况下，所述判定部判定为不满足所述特定的基准。

5.根据权利要求3所述的显示装置，其特征在于，

所述变换是仿射变换，

在用于所述仿射变换的仿射变换矩阵的旋转量大于等于预先设定的阈值的情况下，所述判定部判定为不满足所述特定的基准。

6.根据权利要求3所述的显示装置，其特征在于，

所述判定部根据所述显示部的位置，求出表示用户的观察方向的假想直线与所述显示部的法线构成的角度，在所述角度大于等于预先设定的阈值的情况下，判定为不满足特定的基准。

7.根据权利要求2所述的显示装置，其特征在于，

所述第2图像是所述显示用图像中与所述第1图像对应的区域的辉度值被设定为小于等于预先设定的阈值的图像，

所述显示装置还具备边界处理部，所述边界处理部将所述第2图像中与所述第1图像对应的区域的周边部分的辉度值设定成比所述阈值大的值。

8.根据权利要求1所述的显示装置，其特征在于，还具备颜色控制部，所述颜色控制部对所述显示装置和所述信息处理装置中的至少一方的光源的辉度，或所述第1图像及所述第2图像中至少一方的灰度进行控制，以使所述显示部的透射像的视觉表现与所述投射用图像的反射像的视觉表现一致。

9.根据权利要求1所述的显示装置，其特征在于，还具备更新控制部，所述更新控制部对更新所述第1图像的时刻或更新所述第2图像的时刻进行控制，以使根据所述触摸操作更新所述显示部的透射像的时刻与更新所述投射用图像的反射像的时刻一致。

10.根据权利要求1所述的显示装置，其特征在于，

还具备检测所述显示部的位置用的第2检测部，

所述检测部由可见光摄像机以外的传感器构成。

11.根据权利要求1所述的显示装置，其特征在于，还具备：

第2获取部，其获取所述显示用图像；

第3获取部，其获取表示所述第1检测部所检测出的所述触摸操作的操作信息；以及

第2图像生成部，其基于所述显示用图像和所述操作信息生成所述第2图像，

所述第1获取部通过对所述第2图像实施所述变换，生成所述投射用图像。

12.根据权利要求1所述的显示装置，其特征在于，所述第1图像是信息量比所述第2图像多的图像。

13.一种图像显示系统，其具备信息处理装置以及显示装置，所述信息处理装置具有能够检测对显示面的触摸操作的检测部，和根据检测出的所述触摸操作将显示用图像中的至少一部分的第1图像加以显示的显示部，所述图像显示系统的特征在于，具备：

投射部，其投射包含投射用图像的信息的光；

光学构件，其使来自所述信息处理装置的光透过，另一方面使包含投射用图像的信息的光反射；以及

变换部，其对于包含所述显示用图像中与所述第1图像的至少一部分不重叠的非重叠区域的第2图像，通过实施基于所述显示部的位置的变换，生成所述投射用图像，以根据透过所述光学构件的来自所述信息处理装置的光和由所述光学构件反射的包含所述投射用图像的信息的光，观察在所述显示部周围配置所述非重叠区域的状态。

14.一种信息处理方法，其特征在于，包含下述步骤：

检测步骤，检测对显示面的触摸操作；

获取步骤，根据检测出的所述触摸操作，获取将显示用图像中的至少一部分的第1图像加以显示的显示部的位置；

生成步骤，对于包含所述显示用图像中与所述第1图像的至少一部分不重叠的非重叠区域的第2图像，通过实施基于所述显示部的位置的变换，生成所述投射用图像，以根据透过光学构件的来自所述信息处理装置的光，和由所述光学构件反射的包含所述投射用图像的信息的光，观察在所述显示部周围配置所述非重叠区域的状态，其中，所述光学构件是使来自具有所述显示部的信息处理装置的光透过，另一方面使包含所述投射用图像的信息的光反射的光学构件；以及

控制步骤，进行将所述投射用图像投射到具有所述光学构件的显示装置的控制。