CN110199324A - 显示装置及其控制方法 - Google Patents

显示装置及其控制方法 Download PDF

Info

Publication number
CN110199324A
CN110199324A CN201780075508.XA CN201780075508A CN110199324A CN 110199324 A CN110199324 A CN 110199324A CN 201780075508 A CN201780075508 A CN 201780075508A CN 110199324 A CN110199324 A CN 110199324A
Authority
CN
China
Prior art keywords
display unit
mode
display
display device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780075508.XA
Other languages
English (en)
Other versions
CN110199324B (zh
Inventor
山田正彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of CN110199324A publication Critical patent/CN110199324A/zh
Application granted granted Critical
Publication of CN110199324B publication Critical patent/CN110199324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

容易地变更表示增强现实的显示部上的虚拟图像的显示形态。本发明的显示装置(1)的特征在于，具备：透明性的显示部(2)；第一检测部(5)，检测显示部(2)上的指示体的指示位置；第二检测部(6)，检测显示(2)的位置信息及朝向；及控制部(9)，使与由第二检测部(6)检测到的位置信息及朝向对应的虚拟图像显示于显示部(2)，根据由第一检测部(5)检测到的指示位置来变更虚拟图像的显示形态。

Description

显示装置及其控制方法
技术领域
本发明涉及用于通过使虚拟图像显示于显示部来提供增强现实的技术。
背景技术
开发出了通过对现实世界附加信息来增强现实世界的增强现实(AR：AugmentedReality)。例如，存在使虚拟图像显示于透明的显示部的技术(例如，参照专利文献1、2)。
现有技术文献
专利文献
专利文献1：美国专利第8941683号说明书
专利文献2：日本专利第5649842号公报
发明内容
发明所要解决的课题
然而，在以往的技术中，存在难以变更虚拟图像的显示形态这一技术课题。
本发明鉴于这样的技术课题而完成，其目的在于提供一种用于有效地变更虚拟图像的显示形态的技术。
用于解决课题的方案
本发明的一实施方式的显示装置具备：透明性的显示部；第一检测部，检测所述显示部上的指示位置；第二检测部，检测所述显示部的位置信息及朝向；及显示控制部，使与所述位置信息及所述朝向对应的虚拟图像显示于所述显示部，根据所述指示位置来变更所述虚拟图像的显示形态。
本发明的另一实施方式的显示装置的控制方法是具有透明性的显示部的显示装置的控制方法，其中，包括：第一检测工序，检测所述显示部上的指示体的指示位置；第二检测工序，检测所述显示部的位置信息及朝向；显示工序，使与所述位置信息及所述朝向对应的虚拟图像显示于所述显示部；及控制工序，根据所述指示位置来变更所述虚拟图像的显示形态。
发明效果
根据本发明，起到能够有效地变更虚拟图像的显示形态这一效果。
附图说明
图1是示出本发明的第一实施方式的显示装置1的外观的图。
图2是示出图1所示的显示装置1的功能框的大致框图。
图3的(a)是示出AR1模式下的显示例的图，(b)是示出非AR模式下的显示例的图。
图4是示出AR1模式、AR2模式及非AR模式的切换的例子的图。
图5是示出图2所示的控制部9的动作的整体的处理流程图。
图6是示出图2所示的控制部9的非AR模式下的动作的处理流程图。
图7是示出图2所示的控制部9的AR1模式下的动作的处理流程图。
图8是示出图2所示的控制部9的AR2模式下的动作的处理流程图。
图9是示出显示装置1和配备有相机20的赤道仪21的图。
图10是示出本发明的第二实施方式的显示装置1的使用状态的图。
图11是示出本发明的第三实施方式的显示装置1的使用状态的图。
图12是示出本发明的第四实施方式的显示装置1的使用状态的图。
图13是示出本发明的第四实施方式的变形例的显示装置1的使用状态的图。
图14是示出本发明的第五实施方式的显示装置1的使用状态的图。
图15是示出本发明的第六实施方式的显示装置1的使用状态的图。
图16是示出本发明的第六实施方式的显示装置1的控制部9的动作的处理流程图。
图17是示出本发明的第六实施方式的变形例的显示装置1的使用状态的图。
图18是示出本发明的第七实施方式的显示装置1的使用状态的图。
图19是示出本发明的第七实施方式的显示装置1的控制部9的动作的处理流程图。
图20是示出本发明的第八实施方式的显示装置1的使用状态的图。
具体实施方式
以下，一边参照附图一边对本发明的实施方式的显示装置进行说明。
图1是示出本发明的第一实施方式的显示装置1的外观的图，图1(a)示出了从表侧观察到的显示装置1，图1(b)示出了从里侧观察到的显示装置1。如该图所示，显示装置1是圆形的装置，构成为在其中央具有圆形的显示部2。在显示部2的周围设置有在背面具有拍摄部4(内置相机)的甜甜圈型的壳体3。需要说明的是，详情后述，也可以使用与显示装置1分体的外部相机(包括连接于望远透镜或望远镜等的相机)作为拍摄部4，在显示装置1与该外部相机之间进行通信。在用户使用该显示装置1的情况下，用手把持壳体3，以眺望显示部2的状态使用。
另外，图2是示出显示装置1的功能框的大致框图。如该图所示，显示装置1构成为在功能上除了在图1中也示出的显示部2及拍摄部4之外，还具备第一检测部5、第二检测部6、通信部7、存储部8及控制部9。另外，显示装置1构成为能够与作为指示体的电子笔10一起使用。
显示部2是透明性的液晶显示器(LCD：Liquid Crystal Display)面板，构成为能够通过从控制部9施加的电压的值来变更透过率。该透过率的变更例如通过在透明的LCD面板的背面贴附根据从控制部9施加的电压的值而取向方向变化的液晶膜(电子快门)来实现。在显示部2的透过率是比0％大的值的情况下，处于显示装置1的对面侧的现实世界的物体的影像通过显示部2而进入用户的眼睛。因此，在显示部2上显示有虚拟图像的情况下，用户能够重叠地看见现实世界的物体和显示于显示部2的虚拟图像，由此实现增强现实(AR：AugmentedReality)(后述的AR1模式)。
拍摄部4是内置于显示装置1的相机，构成为能够将拍摄到的影像实时地向控制部9输出。控制部9将从拍摄部4输入的影像实时地向显示部2输出。在拍摄部4的输出影像显示于显示部2上的情况下，由拍摄部4拍摄到的现实世界的物体的影像进入用户的眼睛。因此，在与拍摄部4的输出影像重叠地显示了虚拟图像的情况下，用户能够重叠地看见现实世界的物体和显示于显示部2的虚拟图像，由此实现增强现实(AR：Augmented Reality)(后述的AR2模式)。
第一检测部5是配置于显示部2的背面的透明传感器，起到检测显示部2上的指示体的指示位置的作用。作为由第一检测部5对指示位置的具体的检测方式，能够使用主动静电耦合方式、静电容量方式、电磁感应方式、感压方式等各种方式，但在显示装置1中，优选使用能够应对电子笔10的触摸和手指的触摸双方的主动静电耦合方式。以下，以主动静电耦合方式的使用为前提来继续说明。
第一检测部5例如具有分别在X方向上延伸的多个第一线状导体(未图示)和分别在与X方向在面板面内正交的Y方向上延伸的多个第二线状导体(未图示)，构成为使用它们来检测电子笔10或手指的指示位置。
若首先对检测电子笔10的指示位置的情况进行说明，则首先主动静电耦合方式的电子笔10一般构成为具有朝向显示装置1发送位置检测用信号的功能。第一检测部5在各多个第一及第二线状导体中分别进行该位置检测用信号的检测，判定各线状导体中的位置检测用信号的接收强度。线状导体与电子笔10的距离越近则该接收强度越强，因此，第一检测部5能够根据该接收强度来检测电子笔10的指示位置。第一检测部5将检测到的指示位置以由二维的XY坐标值构成的坐标数据的形式向控制部9输出。
若接着对检测手指的指示位置的情况进行说明，则第一检测部5构成为向多个第一线状导体分别依次供给信号，并将该信号在多个第二线状导体各自中依次接收。并且，构成为针对第一及第二线状导体的各组合来判定这样接收的信号的接收强度。当手指接近了某第一及第二线状导体的交点时，从第一线状导体向第二线状导体流动的电流的一部分会被人体吸收，因此第二线状导体中的接收信号的强度变弱。因此，第一检测部5通过如上述这样判定信号的接收强度，能够判定手指接近的交点即手指的指示位置。与电子笔10的情况同样，第一检测部5将检测到的指示位置以由二维的XY坐标值构成的坐标数据的形式向控制部9输出。
电子笔10构成为除了位置检测用信号之外，还能够发送表示向笔尖施加的压力(笔压值)的笔压信息、表示设置于侧面的侧开关的接通断开的侧开关信息、预先存储的固有ID等各种信息。第一检测部5构成为，在从电子笔10接收到这些信息的情况下，与表示电子笔10的指示位置的坐标数据进行组合，作为一对信息而向控制部9送出。
第二检测部6是具有检测显示装置1的位置信息(例如，纬度和经度)及朝向的功能的功能部。第二检测部6的功能中的位置信息的检测功能例如使用GPS接收机来实现，朝向的检测功能例如使用能够检测加速度、磁、角速度等的传感器来实现。第二检测部6构成为将检测到的位置信息及朝向向控制部9送出。
通信部7是具有与电子笔10及任意的信息终端(未图示)之间进行数据通信的功能的通信装置。需要说明的是，通信部7进行的通信与在电子笔10与第一检测部5之间进行的通信不同。通信部7可以通过无线通信来与电子笔10或任意的信息终端进行通信，也可以通过有线通信来与电子笔10或任意的信息终端进行通信。在一例中，通信部7与电子笔10之间的通信通过蓝牙(注册商标)来进行，通信部7与信息终端之间的通信通过无线LAN来进行。
存储部8是保存计算机程序和数据的功能部。存储部8例如通过DRAM(DynamicRandom Access Memory：动态随机存取存储器)、快闪存储器、硬盘等存储装置或它们的组合来实现。
控制部9是通过将存储于存储部8的程序读入并执行来执行在本实施方式中说明的显示装置1的各动作的处理器，通过未图示的总线等而与图2所示的各部分连接。
控制部9进行的动作包括如下动作：使与由第二检测部6检测到的位置信息及朝向对应的虚拟图像显示于显示部2，根据由第一检测部5检测到的指示位置来变更该虚拟图像的显示形态。具体而言，该动作通过控制部9一边在AR1模式、AR2模式及非AR模式这3个模式之间切换自身的模式一边动作来实现。
AR1模式是通过在通过透明的显示部2能够看见的现实世界的物体上重叠显示虚拟图像来实现增强现实的模式。处于该模式的控制部9构成为，将显示部2的透过率设为第一值(比0％大的值。例如，透过率的最大值(优选是100％))之后，形成与由第二检测部6检测到的位置信息及朝向对应的虚拟图像并向显示部2输出。
图3(a)是示出AR1模式下的显示例的图。在该图中示出了在现实的物体即富士山R1处于显示部2的对面侧的状态下由用户把持着显示装置1的例子。当在该情况下控制部9进入了AR1模式时，在显示有虚拟图像即人图像V2的区域以外，显示部2成为透明，因此用户通过显示部2能够看见处于其对面侧的富士山R1。其结果，看起来像是人图像V2重叠于富士山R1，因此用户体验增强现实。
AR2模式是通过使虚拟图像重叠于拍摄部4的输出影像进行显示来实现增强现实的模式。该情况下的控制部9将显示部2的透过率设为比第一值小的第三值(例如，透过率的最小值(优选是0％))，并且使拍摄部4开始拍摄。并且，构成为将从拍摄部4实时供给的影像向显示部2逐次输出，并且形成与由第二检测部6检测到的位置信息及朝向对应的虚拟图像并向显示部2输出。由于通过拍摄部4而显示的现实的物体在显示部2上与虚拟图像重叠地显示，所以进行与图3(a)所示的AR1模式同样的显示，用户体验增强现实。
非AR模式是仅使虚拟图像显示于显示部2的模式。处于该模式的控制部9构成为将显示部2的透过率设为比第一值小的第二值(例如，透过率的最小值(优选是0％))之后，形成与由第二检测部6检测到的位置信息及朝向对应的虚拟图像并向显示部2输出。
图3(b)是示出非AR模式下的显示例的图。在该图中示出了在图3(a)的状态下将控制部9切换为非AR模式的情况下的例子。当控制部9进入非AR模式后，显示部2变得不透明，因此用户至少在显示部2上不再能够观看处于显示部2的对方侧的富士山R1。其结果，成为在用户的眼睛中出现虚拟图像即人图像V2的状态。
除此之外，控制部9进行的动作也包括基于由第一检测部5检测到的一系列指示位置来生成笔划数据，保存于存储部8并且显示于显示部2的处理等。
以下，关于由控制部9进行的虚拟图像的显示形态的变更，一边参照将显示装置1用于天体观测的例子一边进行具体说明。
图4是示出AR1模式、AR2模式及非AR模式的切换的例子的图。图4(a)示出了在显示部2上显示有活动星图的状态(非AR模式)，图4(b)示出了通过显示部2能够目视确认处于实际的星空的天体的状态(AR1模式)，图4(c)示出了由拍摄部4拍摄到的天体的图像显示于显示部2的状态(AR2模式)。
首先着眼于图4(a)，控制部9具有将在天文观测中广泛利用的活动星图(虚拟图像)显示于显示部2上的功能。显示活动星图的情况下的控制部9的模式是非AR模式，在显示部2上显示虚拟图像。
在此对活动星图的结构进行简单说明，活动星图具有在星座图上配置有掩盖部的结构。在掩盖部设置有用于显示在实际的星空中处于地平线之上的天体的楕圆形的开口部。
在图4(a)的例子中显示于显示部2的活动星图的结构基本上与上述的活动星图同样，包括相当于开口部的天体显示区域VA和相当于掩盖部(开口部以外的部分)的掩盖区域VM。
显示活动星图的情况下的控制部9首先进入非AR模式。然后，从未图示的内置日历及内置时钟取得当前日期时刻，并且从由第二检测部6检测到的位置信息取得当前的纬度及经度，将与取得的当前日期时刻以及取得的当前的纬度及经度对应的全天空图像与赤经及赤纬等附加信息一起显示于天体显示区域VA内。由此，用户能够在天体显示区域VA内确认当前位置及当前日期时刻下的全天空的星空。在掩盖区域VM内设置有纬度经度显示部V4及日期时刻显示部V5，控制部9将取得的当前日期时刻显示于日期时刻显示部V5，并且将取得的当前的纬度及经度显示于纬度经度显示部V4。
另外，控制部9构成为将表示由第二检测部6检测到的朝向的标记V6显示于天体显示区域VA内。标记V6例如是双重圆的图像，控制部9以使双重圆的中心与由第二检测部6检测到的朝向一致的方式调整标记V6的显示位置。通过标记V6的显示，用户能够全局地掌握自身朝向星空的哪一片。
若使用图4(a)所示的活动星图，则用户能够在实际的星空中简单地发现星座。举出一例，例如想要观察猎户座的用户以在天体显示区域VA内使标记V6接近猎户座图像V7的方式改变显示装置1的朝向(利用箭头A来显示该动作)。这样改变朝向后的显示装置1朝向实际的星空中的猎户座的方向，因此若躲开显示装置1，则实际的猎户座会出现在用户的眼前。
当在显示部2显示有活动星图的状态下用户触摸了天体显示区域VA内的任意的位置时，控制部9通过根据该触摸变更自身的模式来变更显示部2的显示状态。由控制部9进行该模式变更根据用户的触摸操作的内容而存在切换为AR1模式的情况和切换为AR2模式的情况。以下，分别进行说明。
首先，触摸操作的内容例如是所谓的单次触碰操作的情况下的控制部9进入AR1模式，通过控制向显示部2施加的电压来将显示部2的透过率设定为第一值。另外，从显示部2擦除活动星图，取而代之，将在天体显示区域VA内显示于标记V6附近的星星的信息(星座的形状、天体的名称等)设为虚拟图像，显示于显示部2。由此，用户能够在实际的星空上例如确认星座的形状。
在图4(b)中示出了在用户触摸了图4(a)的天体显示区域VA内的任意的位置的时间点下在天体显示区域VA内标记V6位于猎户座图像V7的附近的情况(即，显示装置1朝向猎户座的方向的情况)。该情况下的用户通过变得透明的显示部2而看见现实的猎户座。另外，如图4(b)所示，控制部9将表示以猎户座为中心的规定范围内的星座的星座图像V8显示于显示部2。由此，在显示部2上创造出将星座图像V8与实际的星空重叠显示的状态。需要说明的是，作为这样显示的虚拟图像，除了图4(b)所示的星座图像V8之外，也可以使用表示星星、星团、星云、行星、彗星等的名字(也包括messier、NGC等)、人工卫星、赤道(也包括赤经、赤纬等)、黄道等的虚拟图像。
接着，触摸操作的内容例如是所谓的两次触碰操作的情况下的控制部9进入AR2模式，通过控制向显示部2施加的电压来将显示部2的透过率设定为第三值。另外，从显示部2擦除活动星图并且起动拍摄部4，将从拍摄部4实时供给的影像逐次向显示部2输出。由此，拍摄部4的输出影像显示于显示部2。此时，也可以在同时在显示部2上显示与AR1模式的情况同样的虚拟图像。由此，用户能够与AR1模式的情况同样，在实际的星空上确认例如星座的形状。
在图4(c)中示出了在天体显示区域VA内猎户大星云(处于猎户座图像V7的中央附近的星云)被触摸了的情况。控制部9将拍摄部4的输出影像显示于显示部2。通过这样，用户能够在显示部2上也确认凭借肉眼难以确认(即，在图4(b)的显示状态下难以确认)的天体。
另外，控制部9构成为在进行图4(b)的显示的情况及进行图4(c)的显示的情况下都是，作为虚拟图像之一，显示表示返回活动星图的返回按钮V9。在用户触摸了该返回按钮V9的情况下，控制部9将自身的模式恢复为非AR模式，将图4(a)所示的活动星图再次显示于显示部2。由此，用户能够再次确认活动星图。
而且，控制部9在进行图4(b)的显示的期间用户触摸了返回按钮V9以外的部分的情况下，将自身的模式设为AR2模式，进行图4(c)的显示。在该情况下，显示于显示部2的整体的区域优选设为与用户的触摸位置对应的区域。由此，用户能够确认处于触摸位置的天体的影像。另外，控制部9在进行图4(c)的显示的期间用户触摸了返回按钮V9以外的部分的情况下，将自身的模式设为AR1模式，进行图4(b)的显示。由此，用户能够在更大的范围内确认天体。
需要说明的是，控制部9也可以通过触摸以外的契机来变更显示部2的显示状态。例如，也可以根据在活动星图的显示中标记V6接近了规定的星座(例如，猎户座图像V7)而切换成图4(b)所示的显示。另外，也可以根据在图4(b)所例示的图像的显示中显示部2的朝向离开了显示中的星座(例如，猎户座图像V7)而切换成活动星图的显示。
接着，一边参照控制部9的处理流程，一边对控制部9的动作进行更详细的说明。在该说明中也是，以将显示装置1用于天体观测用的情况(参照图4)为例来说明。
图5～图8是示出控制部9的动作的处理流程图。如图5所示，控制部9首先以非AR模式开始动作(步骤S1)。
在图6中示出了非AR模式下的控制部9的动作。如该图所示，处于非AR模式的控制部9首先将显示部2的透过率设定为第二值(步骤S10)。需要说明的是，将步骤S10用虚线描绘出是因为在显示部的透过率已经为第二值的情况下无需进行步骤S10。
接着，控制部9将图4(a)所示的活动星图显示于显示部2后(步骤S11)，从未图示的内置时钟取得当前日期时刻，显示于图4(a)所示的日期时刻显示部V5(步骤S12)，并且从第二检测部6取得显示装置1的位置信息，显示于图4(a)所示的纬度经度显示部V4(步骤S13)。而且，控制部9取得与取得的当前时刻及位置信息对应的全天空图像(虚拟图像)，显示于图4(a)所示的天体显示区域VA内(步骤S14)。另外，控制部9从第二检测部6取得显示装置1的朝向，在与取得的朝向对应的天体显示区域VA内的位置显示图4(a)所示的标记V6(步骤S15)。
返回图5。执行了步骤S1的控制部9通过参照第一检测部5的输出数据来判定天体显示区域VA内是否被触摸了(步骤S2)。在此判定为未被触摸的情况下，反复进行步骤S1的动作。另一方面，在判定为被触摸了的情况下，通过进一步参照第一检测部5的输出数据来判定触摸操作的内容(步骤S3)。并且，在判定为触摸操作的内容是第一操作(例如单次触碰)的情况下，控制部9开始AR1模式下的动作(步骤S4)。另一方面，在判定为触摸操作的内容是第二操作(例如两次触碰)的情况下，控制部9开始AR2模式下的动作(步骤S7)。
在图7中示出了AR1模式(步骤S4)下的控制部9的动作。如该图所示，进入了AR1模式的控制部9首先将显示部2的透过率设定为第一值(步骤S20)。在该时间点下，在非AR模式下显示的活动星图被擦除。需要说明的是，将步骤S20用虚线描绘出是因为在显示部2的透过率已经为第一值的情况下无需进行步骤S20。
接着，控制部9与非AR模式的情况同样地取得当前日期时刻、位置信息及朝向(步骤S21)，将与取得的当前日期时刻、位置信息及朝向对应的虚拟图像显示于显示部2(步骤S22)。
在图8中示出了AR2模式(步骤S7)下的控制部9的动作。如该图所示，进入了AR1模式的控制部9首先将显示部2的透过率设定为第三值(步骤S30)。需要说明的是，将步骤S30用虚线描绘出是因为在显示部2的透过率已经为第三值的情况下无需进行步骤S30。
接着，控制部9基于被触摸了的位置而使拍摄部4的输出影像显示于显示部2(步骤S31)。在该时间点下，在非AR模式下显示的活动星图被擦除。
接着，控制部9与非AR模式的情况同样地取得当前日期时刻、位置信息及朝向(步骤S32)，根据取得的当前日期时刻、位置信息及朝向来推定在显示部2上出现的现实世界的位置范围(步骤S33)。然后，将与推定出的位置范围对应的虚拟图像显示于显示部2(步骤S34)。通过这样，能够显示与实际在显示部2上出现的天体对应的虚拟图像。
返回图5。执行了步骤S4的控制部9通过参照第一检测部5的输出数据来判定显示部2是否被用户触摸了(步骤S6)。在此判定为未被触摸的情况下，反复进行步骤S6的动作。另一方面，在判定为被触摸了的情况下，通过进一步参照第一检测部5的输出数据来判定被触摸了的区域(步骤S6)。并且，在判定为被触摸了的区域是规定区域(例如，图4(b)所示的返回按钮V9)内的情况下，控制部9开始非AR模式下的动作(步骤S1)。另一方面，在判定为被触摸了的区域是其他区域的情况下，控制部9开始AR2模式下的动作(步骤S7)。
另外，执行了步骤S7的控制部9通过参照第一检测部5的输出数据来判定显示部2是否被用户触摸了(步骤S8)。在此判定为未被触摸的情况下，反复进行步骤S7的动作。另一方面，在判定为被触摸了的情况下，通过进一步参照第一检测部5的输出数据来判定被触摸了的区域(步骤S9)。并且，在判定为被触摸了的区域是规定区域(例如，图4(c)所示的返回按钮V9)内的情况下，控制部9开始非AR模式下的动作(步骤S1)。另一方面，在判定为被触摸了的区域是其他区域的情况下，控制部9开始AR1模式下的动作(步骤S6)。
如以上说明这样，根据本实施方式的显示装置1，能够根据用户的触摸操作而有效地变更表示增强现实的显示部2上的虚拟图像的显示形态。
需要说明的是，也可以在拍摄部4配备赤道仪，作为该赤道仪的控制器而使用显示装置1。以下，参照附图来详细说明。
图9是示出显示装置1和配备有作为拍摄部4的相机20的赤道仪21的图。相机20及赤道仪21分别构成为能够通过经由通信部7的无线通信而与控制部9通信。在相机20优选安装有望远透镜，这样做在想要以图4(c)那样的倍率观测天体时是便利的。另外，可以将由相机20拍摄到的天体的图像实时地显示于显示装置1，也可以显示预先拍摄并存储的图像，也可以从此以规定的曝光时间进行拍摄，显示其结果。
首先，作为准备，用户进行赤道仪的极轴对准。接着，控制部9使图4(a)所示的活动星图显示于显示装置1的显示部2。然后，当用户触摸了天体显示区域VA内的任意的位置时，控制部9以使相机20始终朝向与该位置对应的天体(以下，称作“跟踪对象天体”)的方向的方式设定赤道仪21的自动跟踪功能，并且将自身的模式设为AR2模式。在该AR2模式下显示于显示部2的是由相机20拍摄到的影像。由此，即使经过时间也能够维持在显示部2内导入有跟踪对象天体的状态，因此用户能够在显示部2中始终确认跟踪对象天体和重叠于该跟踪对象天体的虚拟图像。
接着，对本发明的第二实施方式进行说明。本实施方式的显示装置1构成为，除了在第一实施方式中说明的功能之外，还能够通过与其他的显示装置1进行合作来在显示部2上观看由他人的相机拍摄到的影像。
图10是示出本实施方式的显示装置1的使用状态的图。该图所示的显示装置1a、1b分别是本实施方式的显示装置1。显示装置1a示出了正在东京观察星空的情况，显示装置1b示出了正在北京观察星空的情况。该图的例子的显示装置1a、1b分别将来自外部的相机20a、20b的影像以AR2模式显示(参照图4(c))。另外，标记Va表示显示装置1a的朝向，标记Vb表示显示装置1的朝向。
显示装置1a、1b构成为能够经由网络30而互相通信。具体而言，该通信使用图2所示的通信部7来执行。在此，对本实施方式的显示装置1预先分配有确定各自的识别编号，该识别编号预先保存于存储部8。显示装置1b的控制部9在开始与显示装置1a的通信时，首先发送保存于存储部8的识别编号。显示装置1a的控制部9通过进行基于该识别编号的认证来判定是否能够开始与显示装置1b的通信，仅在判定为能够开始的情况下开始与显示装置1b的通信。
在开始了与显示装置1b的通信后，显示装置1a的控制部9在显示装置1a的显示部2上不仅显示表示显示装置1a的朝向的标记Va，也显示表示显示装置1b的朝向的标记Vb。标记Va和标记Vb在形状、色彩等外观上不同。同样，显示装置1b的控制部9在显示装置1b的显示部2上不仅显示表示显示装置1b的朝向的标记Vb，也显示表示显示装置1a的朝向的标记Va。当在显示装置1a中天体显示区域VA内的标记Vb被触摸了时，显示装置1b的控制部9对显示装置1a进行从外部的相机20b取得的影像的发布(例如，流发布)。由此，在显示装置1a中能够显示在显示装置1b中看到的相机20b的影像。同样，当在显示装置1b中天体显示区域VA内的标记Va被触摸了时，显示装置1a的控制部9对显示装置1b进行从外部的相机20a取得的影像的发布。由此，在显示装置1b中能够显示在显示装置1a中看到的相机20a的影像。
需要说明的是，在本实施方式中，发布侧的显示装置1只要能够进行来自相机20的影像的取得和向其他的显示装置1的发布就足够了，也可以是其他种类的装置。例如，也可以取代显示装置1而设置将由相机20拍摄到的影像对世界中的显示装置1进行流发布的发布服务器。该例子在发布由在例如哈勃望远镜或设置于各地的天文台的天体望远镜等许多用户祈祷想要观看其影像的大型望远镜上附属的相机拍摄到的影像的情况等下尤其有效。
接着，对本发明的第三实施方式进行说明。本实施方式的显示装置1除了在第一实施方式中说明的功能之外，还具有利用来自外部的光源的光而将虚拟图像在屏幕等上放大显示的功能(以下，称作“天象仪功能”)。
图11是示出本实施方式的显示装置1的使用状态的图。本实施方式的控制部9在执行天象仪功能的情况下，进入AR1模式，并且将成为投影对象的虚拟天体图像V10显示于显示部2。该虚拟天体图像V10是表示星空的图像，更具体而言，是存在天体的地方被设为不透明而其他部分透明的负图像。
当在控制部9如上述那样将虚拟天体图像V10显示于显示部2的状态下将来自外部的光源31的光向显示装置1的一方表面照射时，在隔着显示装置1而处于光源31的反对侧的屏幕32上投影虚拟天体图像V10。由此，用户能够享受在屏幕上放大显示的虚拟天体图像V10。需要说明的是，作为屏幕32，具体而言，例如优选利用房间的墙壁。
接着，对本发明的第四实施方式进行说明。本实施方式的显示装置1构成为，除了在第一实施方式中说明的功能之外，还能够如描图纸那样利用。
图12是示出本实施方式的显示装置1的使用状态的图。在将显示装置1如描图纸那样使用的情况下，如图12(a)所示，控制部9将自身的模式设为AR1模式，将显示部2的透过率设定为第一值，并且在显示部2上显示切换按钮V11(第一图像)。
由于显示部2的透过率为第一值，所以在显示部2内导入有处于显示装置1的对面侧的现实世界的物体(在图13中是富士山)。用户通过以临摹该现实世界的物体的方式进行基于电子笔10的线图像V12的输入，线图像V12显示于显示部2，能够描摹现实世界的物体。
在用户触摸了切换按钮V11的情况下(在由第一检测部5检测到的指示位置是切换按钮V11上的位置的情况下)，控制部9将自身的模式变更为非AR模式，将显示部2的透过率设定为第二值。由此，如图12(b)所示，用户能够在显示部2上确认线图像V12。
需要说明的是，也可以取代切换按钮V11而使用滑条。在图13中示出了取代切换按钮V11而将滑条V13(第二图像)显示于显示部2上的例子。控制部9构成为，基于由第一检测部5检测到的指示位置在滑条V13上的位置来控制显示部2的透过率。若举出具体的例子，则控制部9在滑条V13处于一端的情况下将显示部2的透过率设为第一值，在处于另一端的情况下将显示部2的透过率设为第二值或第三值。另外，在滑条V13处于中间的情况下，将显示部2的透过率设为第一值与第二值或第三值之间的中间值。根据该例子，由于能够设定中间的透过率，所以如图13(b)所示，能够使透过率为一半左右而相对地使线图像V12显眼。
接着，对本发明的第五实施方式进行说明。本实施方式的显示装置1构成为除了在第四实施方式中说明的功能之外，还能够在显示装置1内构成3D图像。
图14是示出本实施方式的显示装置1的使用状态的图。该图的例子中的用户使用在第四实施方式中说明的功能来从方向D1～D3这3个方向进行建造物33的描摹，使关于各方向生成的虚拟图像存储于存储部8。此时，控制部9将在描摹的过程中由第二检测部6检测到的显示装置1的朝向与由用户生成的虚拟图像建立对应并存储。并且，控制部9在所有虚拟图像的存储完成后，通过将存储于存储部8的多个虚拟图像基于与各自建立了对应的显示装置1的朝向进行组合来生成3D图像。由此，用户能够通过从多个方向进行建造物33的描摹这一简单的操作来得到建造物33的3D图像。
接着，对本发明的第六实施方式进行说明。本实施方式的显示装置1构成为除了在第一实施方式中说明的功能之外，还具有游戏功能。该游戏是在现实世界中发现由虚拟图像构成的怪兽。
图15是示出本实施方式的显示装置1的使用状态的图。本实施方式的控制部9在图15(a)所示的初始状态下为AR1模式，显示装置1的对面侧的现实世界的风景通过显示部2而进入到用户的眼睛。本实施方式的控制部9构成为在该状态下在显示部2上显示作为虚拟图像的怪兽图像V14。为了该显示，本实施方式的存储部8预先将多个怪兽图像分别与位置信息建立对应并存储。
图16是示出本实施方式的显示装置1的控制部9的动作的处理流程图。以下，顺着该流程图来说明本实施方式的控制部9的动作。
控制部9首先进入AR1模式(步骤S40)，将显示部2的透过率设为第一值。然后，根据由第二检测部6检测的位置信息及朝向来推定进入到显示部2内的现实世界的位置范围(步骤S41)，在关于包含于该推定出的位置范围的位置存储部8存储有怪兽图像的情况下，将该怪兽图像如图15(a)所示那样与现实世界的风景重叠地显示于显示部2(步骤S42)。
在步骤S42中，控制部9针对各怪兽图像，基于对应地存储于存储部8的位置信息和显示装置1的当前位置之间的距离来控制其放大率。由此，能够提供越是处于远处的怪兽则看起来越小这一用户体验。不过，若实施这样的放大率的控制，则会产生虽然远处好像存在怪兽但看不清楚这一事态。在这样的情况下，用户的心情是想要放大来看。步骤S43以后的动作为了满足该心情而执行。
控制部9判定显示中的怪兽图像是否被触摸了(步骤S43)。在此判定为未被触摸的情况下，返回步骤S41而继续处理。另一方面，判定为被触摸了的情况下的控制部9进入AR2模式(步骤S44)，并且基于被触摸了的怪兽图像的位置来决定拍摄部4的输出影像的切取范围(位置、大小)(步骤S45)。切取范围的位置以在切取范围内包含怪兽图像的方式决定。另外，切取范围的大小优选与怪兽的距离(对应地存储于存储部8的位置信息和显示装置1的当前位置之间的距离)越远则设为越小，但也可以由用户预先设定。
另外，控制部9根据在步骤S45中决定的切取范围的大小来变更怪兽图像的放大率(步骤S46)。例如，在切取范围的大小相当于拍摄部4的输出影像的面积的1/4的情况下，将怪兽图像的放大率以面积比设定为4倍。
接着，控制部9按照在步骤S45中决定的切取范围来切取拍摄部4的输出影像，如图15(b)所示，在显示部2的整体上放大显示(步骤S47)。然后，根据由第二检测部6检测的位置信息及朝向来推定在显示部2上出现的现实世界的位置范围(步骤S48)，判定与被触摸了的怪兽图像对应的位置是否包含于其中(步骤S49)。在此判定为不包含的情况下，返回步骤S40的AR1模式下的处理。另一方面，在判定为包含的情况下，如图15(b)所示，将被触摸了的怪兽图像以在步骤S46中决定的放大率显示(步骤S50)。然后，返回步骤S47，继续AR2模式下的处理。
在此，进行步骤S49的判定是因为，通过用户移动显示装置1，有时怪兽可能会移动到显示于显示部2的现实世界的范围外。通过在步骤S49的判定结果为否定的情况下返回AR1模式，在怪兽图像不再出现在显示部2内的情况下，能够将控制部9迅速地恢复为AR1模式。
根据本实施方式，用户通过触摸怪兽图像，能够将处于远处的怪兽放大来确认。而且，由于周围的现实世界的影像也被同时放大，因此用户能够无违和感地确认怪兽图像的放大图像。
图17是示出本实施方式的变形例的显示装置1的使用状态的图。本变形例的显示装置1在将拍摄部4的输出影像缩小显示而非放大显示这一点上与本实施方式的显示装置1不同。
在图17(a)所示的初始状态下控制部9为AR1模式，这与图15(a)是同样的。不过，本变形例的显示装置1的控制部9在显示部2上显示切换按钮V15。在用户触摸了该切换按钮V15的情况下，控制部9将自身的模式切换为AR2模式，将拍摄部4的倍率设定为比1小的规定值之后，将显示部2的显示切换为相机即拍摄部4的输出影像(的整体)。另外，关于怪兽图像也是，以与拍摄部4的倍率相等的放大率(所小率)在显示部2上显示。通过这样，在显示部2上，如图17(b)所示，更大范围的影像与怪兽图像一起出现。
由于用户本来不知道怪兽所在的位置(作为怪兽图像的位置而存储于存储部8的位置信息)，所以如图17(a)所示，有时在显示部2内无法很好地找到怪兽图像。即使在这样的情况下，由于能够通过按下切换按钮V15来确认更大的范围，所以用户也能够更简便地进行怪兽的搜索。
接着，对本发明的第七实施方式进行说明。本实施方式的显示装置1构成为除了在第一实施方式中说明的功能之外，还具有医用图像的显示功能。具体而言，构成为在AR1模式下显示X线图像等透视图像，在非AR模式下显示根据CT、MRI等的体数据生成的任意截面的截面图像。
图18是示出本实施方式的显示装置1的使用状态的图。本实施方式的存储部8基于患者信息(ID)而将上述的透视图像和体数据建立关联并存储。
图19是示出本实施方式的显示装置1的控制部9的动作的处理流程图。以下，顺着该流程图来说明本实施方式的控制部9的动作。
控制部9首先为了决定初始位置而指示用户例如将显示装置1的显示部2以朝上的状态放置于用户的头的上方(例如，在显示部2上显示该指示信息)。当初始位置的设定结束后，利用第二检测部6的各种传感器来检测从该位置起的移动。控制部9进入AR1模式(步骤S60)，将显示部2的透过率设为第一值。然后，如图18(a)所示，根据由第二检测部6检测到的信息，将与从正面观察到的患者的位置对应的透视图像V16显示于显示部2(步骤S61)。此时，控制部9也将切换按钮V17显示于显示部2。在显示透视图像V16时，控制部9将相当于人体的外侧的部分加工成透明。其结果，在透视图像V16的周围，如图18(a)所示，设置显示装置1的对面侧能够透视的区域A1。
在此，在图18(a)中，将正在显示腹部的透视图像即透视图像V16的显示装置1挂在患者的腹部前。通过这样，显示装置1的用户能够以宛如能够透视患者的腹部内这样的感觉来处理透视图像。
在步骤S61中显示了透视图像V16的控制部9判定切换按钮V17是否被用户触摸了(步骤S62)。在判定为未被触摸的情况下，继续透视图像V16的显示。另一方面，在判定为被触摸了的情况下，控制部9首先从第二检测部6取得表示当前的显示装置1的朝向的矢量，存储于存储部8(步骤S63)。然后，进入非AR模式(步骤S64)，将显示部2的透过率设为最小值。然后，将与和在步骤S61中显示的透视图像V16相同的角度建立对应并存储于存储部8的截面图像显示于显示部2(步骤S65)。在图18的例子中，由于透视图像V16是从正面拍摄的，所以在步骤S65中显示图18(b)所示的冠状图像V20。由此，能够实现对于用户来说自然的图像的切换。
接着，控制部9从第二检测部6再次取得表示当前的显示装置1的朝向的矢量，算出与在步骤S63中存储的矢量所成的角度(旋转矩阵)(步骤S66)。然后，通过与算出的角度对应的截面图像来更新显示部2的显示(步骤S67)。例如，若算出的角度表示90°朝上的旋转，则通过图18(c)所示的轴位图像V21来更新显示部2的显示，若算出的角度表示90°朝右的旋转，则通过图18(d)所示的矢状图像V22来更新显示部2的显示。
在步骤S67之后，控制部9再次判定切换按钮V17是否被用户触摸了(步骤S68)。在判定为未被触摸的情况下返回步骤S66，继续非AR模式下的截面图像显示处理。另一方面，判定为被触摸了的情况下的控制部9返回步骤S60，转向AR1模式下的透视图像显示处理。需要说明的是，虽然在该图中未示出，但在之后的步骤S61中，也可以显示与最后算出的角度对应的透视图像。
如以上说明这样，根据本实施方式，能够在AR1模式下显示透视图像，在非AR模式下显示截面图像。而且，在从AR1模式向非AR模式的切换时，能够显示以与正在显示的透视图像的拍摄平面相同的平面拍摄到的截面图像，因此能够实现对于用户来说自然的图像的切换。另外，在非AR模式下显示截面图像的期间，能够与显示装置1的倾斜相应地根据体数据来生成截面图像，因此关于截面图像间的切换，也能够实现对于用户来说自然的切换。
需要说明的是，在本实施方式中正在显示透视图像、截面图像时用户利用电子笔10对显示部2进行了输入的情况下，也可以将作为其结果而得到的笔划数据与显示中的图像建立对应并存储于存储部8。通过这样，能够之后再次确认写入内容。
接着，对本发明的第八实施方式进行说明。本实施方式的显示装置1构成为除了在第一实施方式中说明的功能之外，还具有对考试问题追加显示正确答案等附加信息的功能。
图20是示出本实施方式的显示装置1的使用状态的图。本实施方式的控制部9在起动附加信息追加显示功能的情况下，例如进行基于ID/密码的用户认证。由此，仅知道ID/密码的人(例如考官)能够起动附加信息追加显示功能。
另外，本实施方式的存储部8预先存储有成为附加信息追加显示功能的对象的考试问题纸张的结构(包括1个以上的回答栏各自的位置)和各回答栏的正确答案。图20(a)所示的考试问题纸张34是其一例，具有1个以上的回答栏34a。
起动了附加信息追加显示功能的控制部9进入AR1模式或AR2模式后，开始拍摄部4的拍摄。并且，持续拍摄直到在从拍摄部4输出的影像中出现由存储部8存储的考试问题纸张为止，在出现了由存储部8存储的考试问题纸张的情况下，基于影像中的考试问题纸张的位置来决定其中包含的1个以上的回答栏各自的位置。由于显示装置1的位置通常不确定为一处，所以该位置决定以规定周期持续地执行。
在每当进行了各回答栏的位置决定时，控制部9判定所决定的位置是否包含于显示部2内，关于判定为包含于显示部2内的回答栏，在显示部2内的对应的位置显示其正确答案。在此成为显示对象的正确答案与各回答栏建立对应并存储于存储部8。由此，用户能够在显示部2上确认各答题栏的正确答案。
需要说明的是，成为本实施方式的对象的纸张不限于考试问题，关于教科书、参考书、问题集等，显示装置1也能够与上述同样地在分别设置的回答栏上显示正确答案。
另外，在用户触摸了与回答栏对应的显示部2内的区域的情况下，控制部9也可以显示与该回答栏相关的进一步的附加信息(例如，解说等)。在该情况下，该附加信息与各回答栏建立对应并预先存储于存储部8。在显示附加信息时，控制部9也可以进入非AR模式，利用显示部2的整体来显示附加信息。另外，也可以在显示附加信息时同时显示切换按钮，在用户触摸了该切换按钮的情况下，恢复为在回答栏上显示正确答案的状态。
以上，虽然对本发明的优选的实施方式进行了说明，但本发明完全不限定于这样的实施方式，本发明当然能够在不脱离其要旨的范围内以各种方式实施。
例如，在上述各实施方式中，以显示装置1应对非AR模式、AR1模式、AR2模式这3个模式为前提来说明，但本发明的至少一部分也能够通过仅应对AR1模式及AR2模式中的一方的显示装置1来实现。例如以图4的例子来说，即使显示装置1假设未应对AR2模式，也能够在图4(a)的非AR模式与图4(b)的AR1模式之间变更虚拟图像的显示形态。另外，即使显示装置1假设未应对AR1模式，也能够在图4(a)的非AR模式与图4(c)的AR2模式之间变更虚拟图像的显示形态。
另外，在上述各实施方式中，显示装置1的形状是圆形，但当然也可以将显示装置1的形状设为四边形等其他形状。
标号说明
1、1a、1b 显示装置
2 显示部
3 壳体
4 拍摄部
5 第一检测部
6 第二检测部
7 通信部
8 存储部
9 控制部
10 电子笔
20 相机
21 赤道仪
30 网络
31 光源
32 屏幕
33 建造物
34 考试问题纸张
34a 回答栏
V2 人图像
V4 纬度经度显示部
V5 日期时刻显示部
V6 标记
V7 猎户座图像
V8 星座图像
V9 返回按钮
V10 虚拟天体图像
V11、V15、V17 切换按钮
V12 线图像
V13 滑条
V14 怪兽图像
V16 透视图像
V20 冠状图像
V21 轴位图像
V22 矢状图像
V23 倾斜图像
VA 天体显示区域
VM 掩盖区域。

Claims (14)

1.一种显示装置，其特征在于，具备：
透明性的显示部；
第一检测部，检测所述显示部上的指示体的指示位置；
第二检测部，检测所述显示部的位置信息及朝向；及
控制部，使与所述位置信息及所述朝向对应的虚拟图像显示于所述显示部，根据所述指示位置来变更所述虚拟图像的显示形态。
2.根据权利要求1所述的显示装置，其特征在于，
所述控制部变更所述显示部的透过率。
3.根据权利要求1或2所述的显示装置，其特征在于，
所述显示部构成为能够变更透过率，
所述控制部构成为能够以至少包括AR1模式和非AR模式的多个模式中的任一模式进行动作，所述AR1模式是将所述显示部的透过率设为第一值的模式，所述非AR模式是通过将所述显示部的透过率设为比所述第一值小的第二值来使所述虚拟图像显示于所述显示部的模式，
所述控制部还构成为在所述AR1模式下的动作中使第一图像显示于所述显示部，在所述指示位置是所述第一图像上的位置的情况下，通过将自身的模式切换为所述非AR模式来变更所述虚拟图像的显示形态。
4.根据权利要求3所述的显示装置，其特征在于，
所述多个模式包括AR2模式，该AR2模式是通过将所述显示部的透过率设为比所述第一值小的第三值且将所述虚拟图像与拍摄部的输出影像重叠地显示于所述显示部来使所述虚拟图像显示于所述显示部的模式。
5.根据权利要求1所述的显示装置，其特征在于，
所述显示部构成为能够变更透过率，
所述控制部还构成为使第二图像显示于所述显示部，基于所述指示位置在所述第二图像上的位置来控制所述显示部的透过率。
6.根据权利要求1～5中任一项所述的显示装置，其特征在于，
所述控制部基于所述指示位置来生成笔划数据，并使该笔划数据显示于所述显示部。
7.根据权利要求1～6中任一项所述的显示装置，其特征在于，
所述控制部变更所述虚拟图像的放大率。
8.一种显示装置的控制方法，是具有透明性的显示部的显示装置的控制方法，其特征在于，包括：
第一检测工序，检测所述显示部上的指示体的指示位置；
第二检测工序，检测所述显示部的位置信息及朝向；
显示工序，使与所述位置信息及所述朝向对应的虚拟图像显示于所述显示部；及
控制工序，根据所述指示位置来变更所述虚拟图像的显示形态。
9.根据权利要求8所述的显示装置的控制方法，其特征在于，
所述控制工序变更所述显示部的透过率。
10.根据权利要求8或9所述的显示装置的控制方法，其特征在于，
所述显示部构成为能够变更透过率，
所述显示装置构成为能够以至少包括AR1模式和非AR模式的多个模式中的任一模式进行动作，所述AR1模式是将所述显示部的透过率设为第一值的模式，所述非AR模式是通过将所述显示部的透过率设为比所述第一值小的第二值来使所述虚拟图像显示于所述显示部的模式，
所述显示工序中，还在所述AR1模式下的所述显示装置的动作中使第一图像显示于所述显示部，
所述控制工序还在所述指示位置是所述第一图像上的位置的情况下通过将所述显示装置的模式切换为所述非AR模式来变更所述虚拟图像的显示形态。
11.根据权利要求10所述的显示装置的控制方法，其特征在于，
所述多个模式包括AR2模式，该AR2模式是通过将所述显示部的透过率设为比所述第一值小的第三值且使所述虚拟图像重叠于拍摄部的输出影像进行显示来使所述虚拟图像显示于所述显示部的模式。
12.根据权利要求8所述的显示装置的控制方法，其特征在于，
所述显示部构成为能够变更透过率，
所述显示工序中，还使第二图像显示于所述显示部，
所述控制工序中，还基于所述指示位置在所述第二图像上的位置来控制所述显示部的透过率。
13.根据权利要求8～12中任一项所述的显示装置的控制方法，其特征在于，
所述控制工序中，基于所述指示位置来生成笔划数据，并使该笔划数据显示于所述显示部。
14.根据权利要求8～13中任一项所述的显示装置的控制方法，其特征在于，
所述控制工序变更所述虚拟图像的放大率。
CN201780075508.XA 2017-01-31 2017-10-16 显示装置及其控制方法 Active CN110199324B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-014995 2017-01-31
JP2017014995 2017-01-31
PCT/JP2017/037315 WO2018142679A1 (ja) 2017-01-31 2017-10-16 表示装置及びその制御方法

Publications (2)

Publication Number Publication Date
CN110199324A true CN110199324A (zh) 2019-09-03
CN110199324B CN110199324B (zh) 2023-12-29

Family

ID=63039494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075508.XA Active CN110199324B (zh) 2017-01-31 2017-10-16 显示装置及其控制方法

Country Status (4)

Country Link
US (1) US11183141B2 (zh)
CN (1) CN110199324B (zh)
TW (1) TWI753960B (zh)
WO (1) WO2018142679A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11000270B2 (en) 2018-07-16 2021-05-11 Ethicon Llc Surgical visualization platform
US20200211295A1 (en) * 2018-11-09 2020-07-02 Edx Technologies, Inc. Methods and devices for transitioning among realities mediated by augmented and/or virtual reality devices
CN110047115B (zh) * 2019-03-26 2021-11-16 珠海格力电器股份有限公司 星辰图像拍摄方法、装置、计算机设备和存储介质
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
WO2006118057A1 (ja) * 2005-04-26 2006-11-09 National University Corporation NARA Institute of Science and Technology 画像表示装置
CN102667881A (zh) * 2010-03-30 2012-09-12 新日铁系统集成株式会社 信息处理装置、信息处理方法以及程序
US20120242865A1 (en) * 2011-03-21 2012-09-27 Harry Vartanian Apparatus and method for providing augmented reality based on other user or third party profile information
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
JP2014203131A (ja) * 2013-04-01 2014-10-27 キヤノン株式会社 入力装置、入力処理方法及びプログラム
CN104660859A (zh) * 2013-11-21 2015-05-27 柯尼卡美能达株式会社 Ar显示装置、处理内容设定装置以及处理内容设定方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907797B2 (en) 2004-08-04 2011-03-15 Hitachi, Ltd. Image processing apparatus
JP5649842B2 (ja) 2010-03-30 2015-01-07 新日鉄住金ソリューションズ株式会社 情報提供装置、情報提供方法、及びプログラム
US8941683B2 (en) 2010-11-01 2015-01-27 Microsoft Corporation Transparent display interaction
JP5732988B2 (ja) * 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、表示制御方法及びプログラム
JP5783629B2 (ja) * 2011-07-08 2015-09-24 株式会社ドワンゴ 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム
TW201333753A (zh) * 2012-02-15 2013-08-16 Top Victory Invest Ltd 具有實景導覽功能之透明顯示器
US11068049B2 (en) * 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
CN104204994B (zh) * 2012-04-26 2018-06-05 英特尔公司 增强现实计算装置、设备和系统
JP5284524B1 (ja) * 2012-09-07 2013-09-11 株式会社東芝 電子機器および手書き文書処理方法
WO2015038127A1 (en) * 2013-09-12 2015-03-19 Intel Corporation Techniques for providing an augmented reality view
US9746739B2 (en) * 2014-06-05 2017-08-29 Microsoft Technology Licensing, Llc See-through dimming panel

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
WO2006118057A1 (ja) * 2005-04-26 2006-11-09 National University Corporation NARA Institute of Science and Technology 画像表示装置
CN102667881A (zh) * 2010-03-30 2012-09-12 新日铁系统集成株式会社 信息处理装置、信息处理方法以及程序
US20120242865A1 (en) * 2011-03-21 2012-09-27 Harry Vartanian Apparatus and method for providing augmented reality based on other user or third party profile information
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
JP2014203131A (ja) * 2013-04-01 2014-10-27 キヤノン株式会社 入力装置、入力処理方法及びプログラム
CN104660859A (zh) * 2013-11-21 2015-05-27 柯尼卡美能达株式会社 Ar显示装置、处理内容设定装置以及处理内容设定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁海洋: "基于计算机视觉的增强现实演示系统", 《北京印刷学院学报》 *
周忠等: "虚拟现实增强技术综述", 《中国科学:信息科学》 *

Also Published As

Publication number Publication date
CN110199324B (zh) 2023-12-29
TW201830205A (zh) 2018-08-16
TWI753960B (zh) 2022-02-01
WO2018142679A1 (ja) 2018-08-09
US20190295495A1 (en) 2019-09-26
US11183141B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
CN110199324A (zh) 显示装置及其控制方法
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US10893219B2 (en) System and method for acquiring virtual and augmented reality scenes by a user
CN106471420B (zh) 头戴式显示器中的菜单导航
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
CN102812416B (zh) 指示输入装置、指示输入方法、程序、记录介质以及集成电路
US11880956B2 (en) Image processing method and apparatus, and computer storage medium
US8648924B2 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for generating a combination image on a display of the capturing apparatus
US8860847B2 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for creating an image
EP3149698A1 (en) Method and system for image georegistration
CN102274633A (zh) 图像显示系统、装置以及方法
CN105659295A (zh) 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
US20120072857A1 (en) Computer-readable storage medium, display control apparatus, display control method and display control system
CN111353930A (zh) 数据处理方法及装置、电子设备及存储介质
CN109947253A (zh) 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
CN103246447A (zh) 信息处理装置、信息处理方法以及程序
WO2024022070A1 (zh) 画面显示方法、装置、设备及介质
Buchmann Road Stakeout in Wearable Outdoor Augmented Reality
CN102012620B (zh) 电子化妆品盒
JP5377071B2 (ja) 天体案内装置、天体案内方法及びプログラム
CN112907702A (zh) 图像处理方法、装置、计算机设备及存储介质
JP6849331B2 (ja) デバイス及びコンピュータプログラム
Blanco Pons Analysis and development of augmented reality applications for the dissemination of cultural heritage
JP2024047008A (ja) 情報処理システム
Boj et al. The Hybrid City: augmented reality for interactive artworks in the public space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant