CN103891269B - 头戴式显示装置、信息终端、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法 - Google Patents

头戴式显示装置、信息终端、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法 Download PDF

Info

Publication number
CN103891269B
CN103891269B CN201280052059.4A CN201280052059A CN103891269B CN 103891269 B CN103891269 B CN 103891269B CN 201280052059 A CN201280052059 A CN 201280052059A CN 103891269 B CN103891269 B CN 103891269B
Authority
CN
China
Prior art keywords
information
head
image
pattern
information terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280052059.4A
Other languages
English (en)
Other versions
CN103891269A (zh
Inventor
藤垣勇人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103891269A publication Critical patent/CN103891269A/zh
Application granted granted Critical
Publication of CN103891269B publication Critical patent/CN103891269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0259—Targeted advertisements based on store location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Ecology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供头戴式显示装置、信息终端、图像处理系统等，能够按照所设定的控制模式进行用于确定头戴式显示装置中显示的图像的处理。头戴式显示装置(100)包含：与信息终端(200)进行通信的通信部(110)；将经由通信部(110)从信息终端(200)接收到的图像数据存储到图像存储区域中的显示缓冲器(120)；取得头部姿势信息的信息取得部(150)；在显示缓冲器(120)的图像存储区域中设定显示区域的处理部(130)；以及显示所设定的显示区域的图像作为显示图像的显示部(140)。在控制模式被设定为第1模式的情况下，通信部(110)将头部姿势信息发送到信息终端(200)。在控制模式被设定为第2模式的情况下，处理部(130)根据头部姿势信息在显示缓冲器(120)的图像存储区域中设定显示区域。

Description

头戴式显示装置、信息终端、图像处理系统、头戴式显示装置 的控制方法及信息终端的控制方法
技术领域
本发明涉及头戴式显示装置、信息终端、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法等。
背景技术
近年来，使用移动电话或PDA(Personal Digital Assistant：个人数字助理)等便携电子设备，展开了提供城镇信息/地图信息的服务。具体而言，可列举导航服务和店铺信息的提供服务等。例如在店铺信息提供服务中，使用GPS等手段取得用户的当前位置，并且在由用户输入了检索对象位置后，在便携电子设备的画面所显示的地图上显示餐厅等设施的位置。
但是，有些用户不擅长读取地图，仅在地图上显示设施位置的信息提供服务存在根据情况而难以理解的问题。
并且，在以往的信息提供服务中，存在使用时用户的注视点(视线方向)频繁地上下的问题。例如为了参照这样的信息提供服务的画面，需要朝下看用手握持的便携电子设备。因此，在要在移动中使用该服务的情况(例如在参照显示画面的同时、实际移动到所显示的设施那样的情况)下，用户必须在进行道路的安全确认等的同时，使视线朝向便携电子设备。这对于用户而言非常繁杂。
本来考虑到用户的便利性，在信息提供服务的使用中也期望视线方向不变，如果在步行中(这里假定了面向步行者的服务)，则优选使视线朝向行进方向。这里，作为在不改变用户的注视点的情况下提供信息的方法，存在使用佩戴于用户的头部进行使用的图像显示装置即HMD(Head Mounted Display：头戴式显示器)在用户的视场内重叠显示画面的方法。在专利文献1中公开了根据用户的头部移动控制在HMD内显示的图像的方法。
现有技术文献
专利文献
专利文献1：日本特开平10-341387号公报
发明内容
发明所要解决的课题
在信息终端与HMD之间不维持通信状态而由HMD单体进行信息提供服务的情况下，HMD的显示缓冲器和存储部能够存储的数据量存在上限，因此存在能够进行信息提供服务的地域受到限制、无法向用户提供店铺等的详细信息的问题。
另一方面，在信息终端与HMD之间维持通信状态的同时，使用信息终端和HMD两者进行信息提供服务的情况下，存在以下问题。
第一，需要在HMD与信息终端之间始终用无线收发传感器数据，因此功耗增高。
第二，在实现上述信息提供服务的系统中，从HMD接收到传感器数据的信息终端将显示控制的信号发送到HMD。即，需要在HMD与信息终端之间进行双向通信。因此，在结合头的移动滚动画面的情况下有时会损害实时性。
根据本发明的几个方式，能够提供一种可依照所设定的控制模式进行用于确定头戴式显示装置所显示的图像的处理的头戴式显示装置、信息终端、图像处理系统、头戴式显示装置的控制方法以及信息终端的控制方法等。
此外，根据本发明的几个方式，能够提供一种可依照所设定的控制模式进行用于确定头戴式显示装置所显示的图像的处理，并抑制系统整体的功耗，满足所要求的实时性的头戴式显示装置、信息终端、图像处理系统、头戴式显示装置的控制方法以及信息终端的控制方法等。
用于解决课题的手段
本发明的一个方式涉及头戴式显示装置，其包含：通信部，其与信息终端进行通信；显示缓冲器，其将经由所述通信部从所述信息终端接收到的图像数据存储到图像存储区域中；信息取得部，其取得头部姿势信息；处理部，其在所述显示缓冲器的所述图像存储区域中设定显示区域；以及显示部，其显示所设定的所述显示区域的图像作为显示图像，在控制模式被设定为第1模式的情况下，所述通信部将所述头部姿势信息发送到所述信息终端，在所述控制模式被设定为第2模式的情况下，所述通信部不将所述头部姿势信息发送到所述信息终端，所述处理部根据所述头部姿势信息，在所述显示缓冲器的所述图像存储区域中设定所述显示区域。
由此，能够依照所设定的控制模式进行用于确定头戴式显示装置所显示的图像的处理。
此外，在本发明的一个方式中，所述通信部可以在所述控制模式被设定为所述第2模式的情况下，从所述信息终端接收显示布局数据和所述图像数据，所述显示缓冲器在通过所述显示布局数据设定的所述图像存储区域中存储所述图像数据，所述处理部根据所述头部姿势信息，在所述图像存储区域中设定所述显示区域。
由此，在控制模式被设定为第2模式的情况下，能够以从信息终端接收到的显示布局数据所表示的显示布局将图像数据存储到显示缓冲器中，能够在头戴式显示装置的显示部上显示图像等。
此外，还能够通过从信息终端接收的显示布局数据变更显示缓冲器的显示布局等。
此外，在本发明的一个方式中，所述处理部可以在由所述头部姿势信息表示的头部姿势是第1头部姿势的情况下，在所述图像存储区域中设定第1显示区域，在所述头部姿势是第2头部姿势的情况下，在所述图像存储区域中设定第2显示区域，在设定了所述第1显示区域的情况下，所述显示部显示所述第1显示区域的图像作为所述显示图像，在设定了所述第2显示区域的情况下，所述显示部显示所述第2显示区域的图像作为所述显示图像，
由此，能够根据头部姿势信息，在图像存储区域上的不同区域设定显示区域等。即，能够根据用户头部的上下左右的移动，在图像存储区域上滚动显示区域等。
此外，在本发明的一个方式中，所述处理部可以根据所取得的所述头部姿势信息求出姿势变化量，在判断为所述姿势变化量大于等于预定阈值的情况下，使所述显示区域从所述第1显示区域移动到所述第2显示区域。
由此，能够通过对姿势变化量和预定阈值进行比较，判定是否移动显示区域等。
此外，在本发明的一个方式中，所述通信部可以在所述控制模式被设定为所述第2模式的情况下，将所述头部姿势信息发送到所述信息终端，并从所述信息终端接收与所发送的所述头部姿势信息以及位置信息对应的多个图像数据，所述显示缓冲器在通过所述显示布局数据设定的所述图像存储区域中存储所述多个图像数据。
由此，例如将表示与设施等相关的信息的多个图像存储到头戴式显示装置的显示缓冲器的图像存储区域中，头戴式显示装置能够在不与信息终端进行通信的情况下，根据用户的头部姿势改变显示图像等。
此外，在本发明的一个方式中，所述通信部可以接收所述图像数据以及与所述图像数据相关联的内容ID，所述显示缓冲器将与各所述内容ID相关联的所述图像数据存储到与所述内容ID对应的所述图像存储区域的各区域中。
由此，如果对表示相同种类内容的图像分配同一内容ID，则能够将相同种类的图像数据存储到图像存储区域的相同位置等。
此外，在本发明的其他方式中，涉及一种信息终端，其包含：通信部，其与头戴式显示装置进行通信；存储部，其存储图像数据；处理部，其进行控制模式的设定处理；以及位置检测部，其检测位置信息，所述存储部存储以下信息：将类别ID和所述图像数据关联起来的第1数据库的信息；以及对从所述头戴式显示装置接收到的头部姿势信息和所述位置信息的组合关联了所述类别ID的第2数据库的信息，所述通信部将所述第1数据库的信息发送到所述头戴式显示装置，所述处理部在将所述控制模式设定为第1模式的情况下，从所述第2数据库取得与所述头部姿势信息和所述位置信息的组合相关联的所述类别ID，所述通信部将所取得的所述类别ID发送到所述头戴式显示装置。
由此，头戴式显示装置的处理部能够根据第1数据库确定与所取得的类别ID对应的图像数据，并在显示缓冲器的图像存储区域中，将存储有所确定的图像数据的区域设定为显示区域等。
此外，在本发明的其他方式中，在所述控制模式被设定为所述第1模式时，在所述第2数据库中不存在所述头部姿势信息和所述位置信息的组合的情况下，所述通信部可以将空白ID作为所述类别ID发送到所述头戴式显示装置。
由此，头戴式显示装置的处理部在取得了空白ID的情况下，能够不在图像存储区域中设定显示区域等。
此外，在本发明的其他方式中，所述存储部可以存储对所述头部姿势信息和所述位置信息的组合关联了多个图像数据的第3数据库，所述处理部在将所述控制模式设定为第2模式的情况下，从所述第3数据库取得与所述头部姿势信息和所述位置信息的组合相关联的所述多个图像数据，所述通信部将所取得的所述多个图像数据发送到所述头戴式显示装置。
由此，头戴式显示装置的显示缓冲器能够在通过显示布局数据设定的图像存储区域中存储多个图像数据等。
此外，在本发明的其他方式中，所述处理部可以根据从所述头戴式显示装置经由所述通信部接收到的用户输入信息，将所述控制模式从所述第1模式切换为第2模式，或从所述第2模式切换为所述第1模式。
由此，例如在认为用户想参照设施等详细信息的情况下，能够通过用户输入将控制模式变更为第2模式，在认为由于用户重新开始了移动而想参照周边设施的概要信息的情况下，能够通过用户输入变更为第1模式等。
此外，在本发明的其他方式中，涉及一种图像处理系统，其包含：头戴式显示装置，其取得头部姿势信息，在存储图像数据的图像存储区域中设定显示区域，并显示所设定的所述显示区域的图像；以及信息终端，其进行位置信息的检测处理和控制模式的设定处理，与所述头戴式显示装置进行通信，所述信息终端存储将类别ID和图像数据关联起来的第1数据库的信息、以及对所述头部姿势信息和所述位置信息的组合关联了所述类别ID的第2数据库的信息，并将所述第1数据库的信息发送到所述头戴式显示装置，在所述信息终端将所述控制模式设定为第1模式的情况下，所述头戴式显示装置将所述头部姿势信息发送到所述信息终端，所述信息终端从所述第2数据库取得与接收到的所述头部姿势信息和所述位置信息的组合相关联的所述类别ID，并将所取得的所述类别ID发送到所述头戴式显示装置，所述头戴式显示装置从所述第1数据库中确定与接收到的所述类别ID相关联的所述图像数据，并在所述图像存储区域中，设定存储有所确定的所述图像数据的区域，作为所述显示区域，在所述信息终端将所述控制模式设定为第2模式的情况下，所述头戴式显示装置不将所述头部姿势信息发送到所述信息终端，而根据所述头部姿势信息，在所述图像存储区域中设定所述显示区域。
此外，在本发明的其他方式中，涉及一种头戴式显示装置的控制方法，其中，从信息终端接收图像数据，将接收到的所述图像数据存储到显示缓冲器的图像存储区域中，取得用户的头部姿势信息，在所述显示缓冲器的所述图像存储区域中设定显示区域，显示所设定的所述显示区域的图像作为显示图像，在控制模式被设定为第1模式的情况下，将所述头部姿势信息发送到所述信息终端，在所述控制模式被设定为第2模式的情况下，不将所述头部姿势信息发送到所述信息终端，而根据所述头部姿势信息，在所述显示缓冲器的所述图像存储区域中设定所述显示区域。
此外，在本发明的其他方式中，涉及一种信息终端的控制方法，其中，从头戴式显示装置接收用户的头部姿势信息，检测所述用户的位置信息，存储图像数据，并且存储将类别ID和所述图像数据关联起来的第1数据库的信息、以及对所述头部姿势信息和所述位置信息的组合关联了所述类别ID的第2数据库的信息，将所述第1数据库的信息发送到所述头戴式显示装置，进行控制模式的设定处理，在将所述控制模式设定为第1模式的情况下，从所述第2数据库取得与接收到的所述头部姿势信息和检测到的所述位置信息的组合相关联的所述类别ID，将所取得的所述类别ID发送到所述头戴式显示装置。
附图说明
图1(A)、图1(B)是本实施方式的系统结构图。
图2(A)、图2(B)是控制模式的说明图。
图3是说明第1模式设定时的处理流程的序列图。
图4(A)～图4(C)是图标图像的显示例。
图5是说明第2模式设定时的处理流程的序列图。
图6(A)～图6(C)是显示布局例。
图7是说明根据姿势变化量移动显示区域的一例的流程图。
图8(A)～图8(C)是表示详细信息的图像的显示例。
图9(A)、图9(B)是根据内容ID配置设定图像的例子。
图10(A)～图10(C)是数据库的一例。
具体实施方式
下面对实施方式进行说明。首先，说明本实施方式的概要，接着对本实施方式的系统结构例进行说明。然后，关于本实施方式的处理的详细情况，使用序列图和具体例进行详细说明，最后说明本实施方式的方法。另外，以下说明的本实施方式并不对权利要求书中记载的本发明的内容进行不恰当的限定。此外，本实施方式所说明的所有结构并非都是本发明所必需的构成要件。
1.概要
近年来，使用移动电话或PDA(Personal Digital Assistant：个人数字助理)等便携电子设备，展开了提供城镇信息/地图信息的服务。具体而言，可列举导航服务和店铺信息的提供服务等。例如在店铺信息提供服务中，使用GPS等手段取得用户的当前位置，并且在由用户输入了检索对象位置后，在便携电子设备的画面所显示的地图上显示餐厅等设施的位置。
但是，有些用户不擅长读取地图，仅在地图上显示设施位置的信息提供服务存在根据情况而难以理解的问题。
并且，在以往的信息提供服务中，存在使用时用户的注视点(视线方向)频繁地上下的问题。例如为了参照这样的信息提供服务的画面，需要朝下看用手握持的便携电子设备。因此，在要在移动中使用该服务的情况(例如在参照显示画面的同时、实际移动到所显示的设施那样的情况)下，用户必须在进行道路的安全确认等的同时，使视线朝向便携电子设备。这对于用户而言非常繁杂。
本来考虑到用户的便利性，在信息提供服务的使用中也期望视线方向不变，如果在步行中(这里假定了面向步行者的服务)，则优选使视线朝向行进方向。这里，作为在不改变用户的注视点的情况下提供信息的方法，存在使用佩戴于用户的头部进行使用的图像显示装置即HMD(Head Mounted Display：头戴式显示器)在用户的视场内重叠显示画面的方法。在专利文献1中公开了根据用户的头部移动控制在HMD内显示的图像的方法。
作为其一个方法，有在信息终端与HMD之间不维持通信状态而由HMD单体进行信息提供服务的方法。但是，该情况下，HMD的显示缓冲器和存储部能够存储的数据量存在上限，因此存在能够进行信息提供服务的地域受到限制、无法向用户提供店铺等的详细信息的问题。
另一方面，在信息终端与HMD之间维持通信状态的同时，使用信息终端和HMD两者进行信息提供服务的情况下，存在以下问题。
第一，需要在HMD与信息终端之间始终用无线收发传感器数据，因此功耗增高。
第二，在实现上述信息提供服务的系统中，从HMD接收到传感器数据的信息终端将显示控制的信号发送到HMD。即，需要在HMD与信息终端之间进行双向通信。因此，在结合头的移动滚动画面的情况下有时会损害实时性。
因此，本实施方式的头戴式显示装置(HMD)和信息终端等依照所设定的控制模式进行用于确定头戴式显示装置所显示的图像的处理。
2.系统结构例
首先，图1(A)中示出用户10使用本实施方式的头戴式显示装置(HMD)和信息终端的情形。在图1(A)中，用户10将HMD 100佩戴到头部，并持有信息终端200。并且在身上带有各种传感器作为可佩戴传感器。具体而言，加速度传感器551和方位传感器560设置于HMD100，GPS传感器550设置于信息终端200。
GPS传感器550是检测用户位置(场所)的传感器。另外，也可以不使用GPS传感器550而使用移动电话的位置信息服务和处于周边的无线LAN的位置信息。
方位传感器560例如为地磁传感器等，用角度(0°～360°)计测传感器朝向的方位。地磁传感器例如由电阻值和阻抗值根据磁场强度进行增减的元件等构成，检测三轴的地磁信息。
加速度传感器551例如由电阻值根据外力进行增减的元件等构成，检测三轴的加速度信息。
此外，也可以使用一并具有地磁传感器、加速度传感器和陀螺仪传感器的功能的传感器。并且，还可以使用根据地磁信息和加速度信息计算将磁北作为基准的幅角并输出的传感器。
继而，图1(B)示出本实施方式的头戴式显示装置(HMD)、信息终端以及包含它们的图像处理系统的结构例。
头戴式显示装置100包含通信部110、显示缓冲器120、处理部130、显示部140、信息取得部150和操作部160。
此外，信息终端200包含通信部210、存储部220、处理部230和位置检测部240。信息终端200例如为PDA、笔记本型PC等便携信息终端(移动式计算机)。另外，信息终端200也可以是兼用作移动电话、手表或便携式音响等的设备。
本实施方式的HMD和图像处理系统不限于图1(B)的结构，可实施省略这些结构要素的部分结构要素或追加其他结构要素等各种变形。另外，本实施方式的图像处理系统的部分功能通过信息终端200实现，但例如也可以通过与信息终端200不同的电子设备实现。例如，本实施方式的图像处理系统的部分功能可以通过利用通信与信息终端200或HMD 100连接的服务器实现。
接着说明各部件的连接。HMD的通信部110与信息终端的通信部210例如按照Wifi或Bluetooth(注册商标)等通信标准相互收发信息。另外，通信部110和通信部210可以通过有线进行通信，也可以通过无线进行通信。
并且，HMD的通信部110与处理部130连接。处理部130与显示缓冲器120、信息取得部150以及操作部160连接。显示缓冲器120与显示部140连接。信息取得部150与处理部130连接。
并且，信息终端的通信部210与处理部230连接。处理部230与通信部210、存储部220以及位置检测部240连接。存储部220与处理部230连接。位置检测部240与处理部230连接。
接着说明由各部件进行的处理。
显示缓冲器120具有图像存储区域，该图像存储区域能够存储具有大于等于可在显示部140上显示的图像的分辨率的2倍(包含该值)的分辨率的图像。显示缓冲器120的图像存储区域能够通过RAM等存储器或HDD(硬盘驱动器)等实现。
处理部130控制HMD的各部件。具体而言，处理部130进行后述的显示区域的设定处理，并且根据用户输入信息向信息取得部指示传感器信息取得的开始/停止。
显示部140显示存储在显示缓冲器120的图像存储区域中的图像。显示部140例如作为所谓的透视查看器的显示部发挥功能，所述透视查看器被佩戴于用户的头部附近，并且大小被设定为比瞳孔大小要小。
信息取得部150取得传感器信息并通知给处理部130。信息取得部150可以是传感器自身，也可以是从传感器取得传感器信息的功能部。
操作部160取得来自用户的输入信息，并通知给处理部130。操作部160例如是设置于HMD 100的按钮或开关等。另外，操作部160也可以设置于信息终端200。
存储部220存储HMD的显示部140所显示的图像、以及数据库，并且成为处理部230等的工作区域，其功能可通过RAM等存储器或HDD等实现。
处理部230控制信息终端的各部件。此外，处理部230进行控制模式的设定处理。另外，处理部130和处理部230的功能可通过各种处理器(CPU等)、ASIC(门阵列等)等硬件，或者程序等实现。
位置检测部240取得用户的位置信息并通知给处理部230。位置检测部240可以是GPS传感器550等传感器自身，也可以是从传感器取得传感器信息的功能部。
3.处理的详细情况
3.1控制模式的概要
开始，使用图2(A)和图2(B)说明控制模式的概要。首先，本实施方式的控制模式有第1模式和第2模式这两种。
图2(A)示出控制模式被设定为第1模式的情况下的处理情形。该情况下，头戴式显示装置(以下为HMD)向信息终端发送头部姿势信息等，信息终端根据接收到的头部姿势信息确定显示图像信息。并且，信息终端将所确定的显示图像信息发送到HMD。即，HMD与信息终端在相互进行通信的同时，确定显示图像。另外，显示图像信息可以是显示图像自身，也可以是为了在本实施方式中使用而指示特定图像的信息。之后将叙述该显示图像信息。
另一方面，图2(B)示出控制模式被设定为第2模式的情况下的处理情形。该情况下，HMD与信息终端在处理开始时相互进行通信，但之后切断通信。然后，HMD单独地根据头部姿势信息确定显示图像。
以下具体说明第1模式设定时和第2模式设定时的处理。
3.2第1模式设定时的处理的详细情况
这里，使用图3的序列图说明第1模式设定时的处理的详细情况。此外，图4(A)示出使用本实施方式的图像处理系统的情形。并且，在图4(A)中控制模式被设定为第1模式的情况下，图4(B)示出HMD所显示的图标图像的一例，图4(C)示出HMD的显示缓冲器的图像存储区域的一例。
首先，在图4(A)所示的例子中，用户US的头部方向是DR的方向，在头部方向DR的前方有邮局。并且，在用户US的周边还另外存在道口、餐厅、卫生间等。在这样的情况下设为用户US使用本实施方式的HMD和信息终端开始使用信息提供服务。
于是，首先信息终端的处理部从存储部中读出图标图像(图像数据或第1模式用图标图像组)、和与图标图像相关联的类别ID(S30)。
这里，作为图标图像的具体例子，有图4(B)的图像IIM、或存储在图4(C)的图像存储区域IB内的各图像等。
此外，作为将图标图像和类别ID关联起来的数据的具体例子，存在图10(A)所示的第1数据库DB1。图10(A)的第1数据库DB1例如按照卫生间、邮局、餐厅、车站等设施种类，关联了固有的类别ID。并且，第1数据库DB1对该类别ID和图标图像的文件名关联起来，如果指定类别ID，则能够确定对应的图标图像。例如，在将类别ID指定为2的情况下，确定与“餐厅”相关的图标文件(restautrant.jpg)所表示的图标图像。
接着，信息终端的处理部经由通信部将这些图标图像和类别ID(以下设为第1数据库DB1)发送到HMD的处理部(S31)。然后，HMD的处理部接收第1数据库DB1并对其进行存储(S32)。另外，在步骤S32之前，本实施方式的信息终端可以发送全部的第1数据库，但也可以仅发送第1数据库的一部分，HMD可以预先存储第1数据库。
当以上的一系列处理完成后，信息终端的处理部将第1模式用的循环处理的开始指示发送到HMD的处理部(S34)，从而开始第1模式用的循环处理(S36)。
另一方面，接收到了第1模式用的循环处理的开始指示的HMD的处理部向信息取得部进行头部姿势信息(方向)取得开始指示(S35)，从信息取得部取得方位或仰角等头部姿势信息(S37)。例如在图4(A)中，头部姿势信息中的方位信息是表示DR方向的信息。
此外，信息终端的处理部从HMD接收头部姿势信息，并且从设置于信息终端的位置检测部取得用户的位置信息(S38)。位置信息是表示用户的当前位置的纬度和经度等的信息。
另外，信息终端的存储部预先存储例如图10(B)所示的第2数据库。如图10(B)所示，第2数据库是对位置信息(这里为纬度和经度)和头部姿势信息(这里为方位和仰角)的各组合关联了类别ID的数据(记录)的集合。
进而，信息终端的处理部判定在第2数据库内，是否存在与接收到的头部姿势信息以及所取得的位置信息对应的数据(记录)(S39)，在判定为存在对应的数据的情况下，读出该数据的类别ID，并通知给HMD的处理部(S40)。
例如在图4(A)的情况下，当用户US的当前位置的纬度为35.7247413801、经度为139.367346525，用户US的头部姿势的方位为124，且仰角也为127的情况下，能够根据图10(B)所示的第2数据库DB2确定类别ID为0，信息终端将所确定的类别ID＝0发送到HMD的处理部。
另一方面，HMD的处理部使用第1数据库确定与接收到的类别ID对应的图标图像。然后，在图像存储区域中，将存储有所确定的图标图像的区域设定为显示区域，并在显示部上显示图标图像(S41)。
例如在上述例子中，HMD的处理部接收到了类别ID＝0的情况下，从图10(A)所示的第1数据库DB1中检索类别ID＝0的数据(记录)，并根据检索到的数据确定表示“邮局”的图标文件。并且，在图4(C)所示的图像存储区域IB中，将存储有所确定的图标文件的区域设定为显示区域，并如图4(B)所示那样在显示部上显示图标图像IIM。
此外，信息终端的处理部在判定为第2数据库内不存在与接收到的头部姿势信息以及所取得的位置信息的组合对应的数据的情况下，将空白ID(空的类别ID)通知给HMD的处理部(S42)。空白ID使用在第1数据库中没有与图标文件(图标图像)关联的任意符号或数字即可。例如在图10(A)的例子中，使用“255”等作为空白ID。
进而，HMD的处理部在接收到空白ID的情况下，不在图像存储区域中设定显示区域，而在显示部上显示空白图像(S43)。或者不在显示部上显示图像。
这里，在用户经由操作部进行了详细信息显示请求的情况下(S44)，HMD的处理部将第1模式的循环处理结束请求(或向第2模式的转变请求)发送到信息终端的处理部(S45)。
接收到了第1模式的循环处理结束请求的信息终端的处理部结束循环处理，并将控制模式设定为第2模式(S46)。
3.3第2模式设定时的处理的详细情况
这里，使用图5的序列图说明第2模式设定时的处理的详细情况。
作为前提，信息终端的存储部预先存储例如图10(C)所示的第3数据库。如图10(C)所示，第3数据库是对位置信息(这里为纬度和经度)和头部姿势信息(这里为方位和仰角)的各组合关联了多个图像文件名(详细信息图像文件)的数据(记录)的集合。
首先，信息终端的处理部从第3数据库DB3读入与紧接着将控制模式切换为第2模式之前的用户的头部姿势信息、和位置信息的组合对应的图像数据(详细信息图像)(S50)。另外，之后将叙述详细信息图像的实例。
接着，信息终端的处理部指定显示布局数据，并与图像数据(详细信息图像)一起发送到HMD(S51)。并且，HMD的处理部将接收到的图像数据存储到接收到的显示布局信息所表示的显示布局的图像存储区域中。然后，HMD的处理部在图像存储区域中设定显示区域，从而显示部显示图像(S52)。
这里，如后所述，显示布局数据是指示显示布局的数据。
例如，使用图6(A)～图6(C)说明在通过显示布局数据指定了3行×3列的长方形的显示布局的情况下的例子。图6(A)中示出佩戴着HMD的用户US摆动头部的情形，图6(B)中示出显示部所显示的图像IIM的一例，图6(C)中示出显示缓冲器的图像存储区域IB和所存储的图像。
如上所述，显示缓冲器的图像存储区域IB具有大于等于显示部可显示的图像的2倍(包含该值)的区域(在本例中为9画面)，在通过接收到的显示布局数据设定的图像存储区域IB中存储从信息终端接收到的图像数据(图6(C))。并且，在显示部上显示所存储的图像的一部分(图6(B)的IIM)。
此外，作为显示布局，除此以外还能够指定1行×9列的横长的长方形、或9行×1列的纵长的长方形等。另外，这里示出了3个例子作为显示布局的例子，但是显示布局上的图像配置、和显示缓冲器的大小是任意的，不限于这些例子。
接着，信息终端的处理部发送开始第2模式的处理的指示(S53)，当HMD的处理部开始第2模式的处理时(S54)，从HMD的信息取得部向HMD的处理部发送方位和仰角等头部姿势信息(S55)。
然后，HMD的处理部根据所取得的头部姿势信息进行画面转变判定处理(S56)。在画面转变判定处理的结果是判定为滚动要显示的图像的情况下，显示部滚动显示图像(S57)。
例如说明如下情况，即在图6(C)的中央的图像如图6(B)那样被设为了显示图像IIM时，用户US在图6(A)的DR1方向上移动头部。
首先，该情况下，将图像存储区域IB的中央区域设定为显示区域，在显示部上对显示区域的图像进行显示。该状态下，当用户US在DR1方向上移动头部的情况下，在满足后述的画面转变条件时，在图像存储区域IB中使显示区域在DR1方向上移动。其结果，能够从在显示部上显示有图像存储区域IB的中央图像的状态起，在DR1方向上滚动显示图像。在用户US在DR2方向、DR3方向或者DR4方向上移动了头部的情况、或者使用其他显示布局的情况下也同样如此。
这里，使用图7所示的流程图说明画面转变判定处理的详细情况。
在本实施方式中，在HMD的信息取得部取得的传感器信息中包含表示0°～360°的值的方位d、和表示0°至255°的值的仰角a。另外，对于方位d，0°和360°是北的周期边界条件，对于仰角a，在a＝0°时表示正下方，在a＝127°时表示水平，在a＝255°时表示正上方。并且，设初始方位为di、初始仰角为ai、初始方位di与当前方位d的差分进行比较的阈值为Δd、初始仰角ai与当前仰角a的差分进行比较的阈值为Δa。
首先，HMD的处理部判定此次的画面转变判定处理是初次的处理还是后述的初始化中断时的处理(S1)。
在判定为画面转变判定处理是初次的处理或后述的初始化中断时的处理的情况下，在当前的方位d中代入初始方位di，在当前的仰角a中代入初始仰角ai(S2)。
另一方面，在判定为画面转变判定处理不是初次的处理或后述的初始化中断时的处理的情况下，判定显示布局是否为正方形(S3)。另外，如图6(C)所示，正方形的显示布局是指行和列的数量相同的显示布局。
在判定为显示布局是正方形的情况下，当判定为(ai－a)＞Δa时(S4)向上方滚动(S5)，当判定为不是(ai－a)＞Δa而是(ai－a)＜－Δa时(S6)向下方滚动(S7)。
并且，在判定为也不是(ai－a)＜－Δa的情况下，当判断为(di－d)＞Δd时(S8)向右方滚动(S9)，当判断为(di－d)＜－Δd时(S10)向左方滚动(S11)。在判定为也不是(di－d)＜－Δd的情况下，结束画面转变判定处理。
另一方面，在判定为显示布局不是正方形的情况下，判定显示布局是否垂直(S12)。另外，垂直的显示布局是指多行和1列的显示布局。
在判定为显示布局垂直的情况下，当判定为(ai－a)＞Δa时(S13)向上方滚动(S14)，当判定为不是(ai－a)＞Δa而是(ai－a)＜－Δa时(S15)向下方滚动(S16)。在判定为也不是(ai－a)＜－Δa的情况下，结束画面转变判定处理。
并且，在判定为显示布局不垂直的情况下，判定为显示布局水平。另外，水平的显示布局是指1行和多列的显示布局。
在判定为显示布局水平的情况下，当判定为(di－d)＞Δd时(S17)向右方滚动(S18)，当判定为不是(di－d)＞Δd而是(di－d)＜－Δd时(S19)向左方滚动(S20)。在判定为也不是(di－d)＜－Δd的情况下，结束画面转变判定处理。
由此，能够根据头部的上下左右的移动，在图像存储区域上滚动显示区域。
这里，例如存在用户想对比显示部所显示的表示设施详细信息的图像和手头资料的情况等，用户在移动头部的同时，想持续特定的显示图像的显示的情况。但是，在使用上述方法的情况下，与用户的头部姿势联动地切换显示图像。
因此，在本实施方式中，能够通过操作部的中断，暂时停止和重新开始第2模式设定时的显示处理循环(S54～S57)和信息取得部(S58)。例如在图6(A)～图6(C)的状态下暂时停止了显示处理循环的情况下，在HMD的显示部上显示图6(C)的图像存储区域IB中央的图像，即使用户朝向了DR4方向，显示部所显示的图像也不变(DR1～DR3方向的情况也同样如此)。
这里，在上述画面转变判定处理中，保存开始时的方位和仰角，通过判定与下次之后的方位以及仰角的差分是否超过阈值，判定是否进行滚动，因此在用户不直立、而头部不与地面水平/垂直的状态下开始了显示处理循环的情况下，有在头的移动时出现不可滚动的区域的问题。
因此，在本实施方式中，由HMD的操作部对显示处理循环进行中断，并使用该中断发生时刻的方位和仰角作为初始值(S59)。
并且，在用户经由操作部输入第2模式的结束请求(向第1模式的转变请求)之前，HMD的处理部持续第2模式设定时的显示处理循环。在输入了第2模式的结束请求的情况下(S60)，HMD的处理部结束显示处理循环(S61)。然后，向信息终端通知将控制模式变更为第1模式的情况(S62)。
接着，使用图8(A)～图8(C)说明详细信息图像的实例。
首先，详细信息图像是指表示与独立设施等相关的信息的图像。具体而言，作为与餐厅相关的详细信息图像，有表示外观相片的图像、表示路径信息的图像、地图图像以及表示评论信息的图像等，从图10(C)那样的第3数据库读出这些图像，并如图8(C)所示那样存储到HMD的显示缓冲器的图像存储区域IB中。
并且，例如图8(A)的用户US朝向正面，设为存储在图8(C)的图像存储区域IB中的详细信息图像DIM2(表示路径信息的图像)为显示图像IIM。此时，如上所述，在用户US将头部姿势从朝向正面的状态变更为朝向下方(DR1方向)的状态时，使在图8(C)的图像存储区域上设定的显示区域也移动，在显示区域中设定存储有详细信息图像DIM3(地图图像)的区域，从而能够显示地图图像DIM3。
此外，如上述例子那样，在用户摆动头部从而变更显示图像的情况下，在显示缓冲器的图像存储区域的相同位置存储表示相同种类信息的图像较好。
例如在显示缓冲器的图像存储区域的第1级存储设施等的外观相片的图像，在第2级存储表示路径信息的图像，在第3级存储地图图像，在第4级存储表示评论信息的图像。由此，即使在作为详细信息图像的对象的设施不同的情况(例如餐厅A和餐厅B、或餐厅A和超市A等)下，也容易知晓为了显示想参照的详细信息图像而朝哪个方向摆动头部即可。
因此，在本实施方式中，如图9(A)所示，使用具有对各区域AR1～AR4关联了内容ID的图像存储区域IB的显示缓冲器。并且，如图9(B)所示，按照详细信息图像的每个种类关联不同的内容ID。例如在设施等的外观相片的图像中关联内容ID＝001，在表示路径信息的图像中关联内容ID＝002，在地图图像中关联内容ID＝003，在表示评论信息的图像中关联内容ID＝004。并且，将详细信息图像存储到关联了该详细信息图像的内容ID的图像存储区域中。
由此，在图9(B)所示的详细信息图像中，图像IM1和IM6能够存储到第1图像存储区域AR1中，图像IM4和IM8能够存储到第1图像存储区域AR2中，图像IM3和IM5能够存储到第1图像存储区域AR3中，图像IM2和IM7能够存储到第1图像存储区域AR4中。
4.本实施方式的方法
4.1头戴式显示装置
以上的本实施方式的头戴式显示装置100包含：与信息终端200进行通信的通信部110；将经由通信部110从信息终端200接收到的图像数据存储到图像存储区域中的显示缓冲器120；取得头部姿势信息的信息取得部150；在显示缓冲器120的图像存储区域中设定显示区域的处理部130；以及显示所设定的显示区域的图像作为显示图像的显示部140。在控制模式被设定为第1模式的情况下，通信部110将头部姿势信息发送到信息终端200。另一方面，在控制模式被设定为第2模式的情况下，通信部110不将头部姿势信息发送到信息终端200，而处理部130根据头部姿势信息在显示缓冲器120的图像存储区域中设定显示区域。
这里，显示区域是指如下区域，该区域在图像存储区域中，被确定为存储显示部140所显示的图像的区域。显示区域利用图像存储区域的地址确定。
并且，头部姿势信息是表示用户的头部姿势的信息。例如，头部姿势信息是通过设置于用户头部的传感器取得的仰角和方位等的值。
此外，这里控制模式是指确定头戴式显示装置和信息终端进行的一系列处理内容的模式，本实施方式的控制模式中存在第1模式和第2模式。但是，控制模式中也可以存在第1模式和第2模式以外的模式。
控制模式中的第1模式(同步模式)是指在头戴式显示装置与信息终端相互进行通信的同时，在图像存储区域中设定显示区域的模式等。例如，图2(A)示出其一例。
另一方面，第2模式(非同步模式)是指如下模式等，即头戴式显示装置与信息终端在处理开始时相互进行通信，但之后头戴式显示装置单独根据头部姿势信息在图像存储区域中设定显示区域。例如，图2(B)示出其一例。
由此，能够依照所设定的控制模式进行用于确定头戴式显示装置所显示的图像的处理。
此外，通信部110在控制模式被设定为第2模式的情况下，可以从信息终端200接收显示布局数据和图像数据。并且，显示缓冲器120可以在通过显示布局数据设定的图像存储区域中存储图像数据，处理部130根据头部姿势信息在图像存储区域中设定显示区域。
这里，显示布局数据是指示显示布局的数据。此外，显示布局是指在显示部140上显示存储在显示缓冲器的图像存储区域中的图像时的、表示各图像的位置关系的信息。此外，显示布局也可以是在图像存储区域中，用与HMD的显示部140相同的分辨率划分的各区域的顺序信息。例如，显示布局有图6(C)所示的3行×3列的正方形(其中，根据图像的尺寸而成为长方形)、1行×9列的横长的长方形、以及9行×1列的纵长的长方形等。但是不限于这些形状。
由此，在控制模式被设定为第2模式的情况下，能够以从信息终端200接收到的显示布局数据所表示的显示布局将图像数据存储到显示缓冲器120中，能够在头戴式显示装置100的显示部140上显示图像。
此外，还能够通过从信息终端200接收的显示布局数据变更显示缓冲器120的显示布局。
并且，头戴式显示装置100能够根据用户的头部姿势信息，在显示缓冲器120的图像存储区域中设定显示区域。
而且，与将头部姿势信息一次发送到信息终端200，且信息终端200根据所通知的头部姿势信息确定显示部140所显示的图像的方法相比，能够减少头戴式显示装置100与信息终端200之间的通信机会，从而能够实现响应速度的提高。即，在不与信息终端200进行通信的情况下，在头戴式显示装置100内部进行显示控制，因此滚动的实时性提高。
此外，处理部130可以在由头部姿势信息表示的头部姿势是第1头部姿势的情况下，在图像存储区域中设定第1显示区域，在头部姿势是第2头部姿势的情况下，在图像存储区域中设定第2显示区域。并且，显示部140可以在设定了第1显示区域的情况下，显示第1显示区域的图像作为显示图像，在设定了第2显示区域的情况下，显示第2显示区域的图像作为显示图像。
这里，第1显示区域和第2显示区域是指图像存储区域内的区域中的、相互不同的区域。在本例中，第1显示区域和第2显示区域期望在显示布局上相邻，但是不限于此。例如在图8(B)中，图像存储区域IB中的、存储图像DIM2的区域是第1显示区域，存储图像DIM1的区域是第2显示区域。
此外，第1头部姿势是指与第2头部姿势不同的头部姿势。例如在图8(A)中，用户US朝向正面的状态是第1头部姿势，用户US朝向下方(DR1方向)的状态是第2头部姿势。
由此，能够根据头部姿势信息，在图像存储区域上的不同区域设定显示区域等。即，能够根据用户头部的上下左右的移动，在图像存储区域上滚动显示区域等。
此外，处理部130可以根据所取得的头部姿势信息求出姿势变化量，在判断为姿势变化量大于等于预定阈值的情况下，使显示区域从第1显示区域移动到第2显示区域。
这里，姿势变化量是基准头部姿势与当前头部姿势之差。基准头部姿势也可以是初始姿势。例如是指图7的初始方位d和初始仰角a。
由此，能够通过对姿势变化量和预定阈值进行比较，判定是否移动显示区域等。
此外，通信部110在控制模式被设定为第2模式的情况下，可以将头部姿势信息发送到信息终端200，并从信息终端200接收与所发送的头部姿势信息以及位置信息对应的多个图像数据。并且，显示缓冲器120可以在通过显示布局数据设定的图像存储区域中存储多个图像数据。
这里，位置信息是表示用户位置的信息，例如是指用户当前位置的纬度和经度等信息。
由此，例如将表示与设施等相关的信息的多个图像存储到头戴式显示装置的显示缓冲器120的图像存储区域中，头戴式显示装置能够在不与信息终端进行通信的情况下，根据用户的头部姿势改变显示图像等。
此外，例如在用户止步于某个地点，确认设施等详细信息的期间，不一定需要与信息终端进行通信，因此在这样的情况下能够抑制通信处理的功耗等。
此外，通信部110可以接收图像数据以及与图像数据相关联的内容ID。并且，显示缓冲器120可以将与各内容ID相关联的图像数据存储到与内容ID对应的图像存储区域的各区域中。
这里，内容ID是指用于判别图像所表示的信息种类的数字或符号等。图9(A)和(B)示出具体例子。
由此，如果对表示相同种类内容的图像分配同一内容ID，则能够将相同种类的图像数据存储到图像存储区域的相同位置等。因此，例如即使在作为从信息终端接收到的多个图像数据的显示对象的设施不同的情况下，也能够容易知晓为了显示想参照的详细信息图像而朝哪个方向摆动头部即可等。
4.2信息终端
此外，本实施方式的信息终端200包含：与头戴式显示装置100进行通信的通信部210；存储图像数据的存储部220；进行控制模式的设定处理的处理部230；以及检测位置信息的位置检测部240。存储部220对以下信息进行存储：将类别ID和图像数据关联起来的第1数据库的信息；以及对从头戴式显示装置100接收到的头部姿势信息和位置信息的组合关联了类别ID的第2数据库的信息。并且，通信部210将第1数据库的信息发送到头戴式显示装置100。进而，处理部230在将控制模式设定为第1模式的情况下，从第2数据库取得与头部姿势信息和位置信息的组合相关联的类别ID。然后，通信部210将所取得的类别ID发送到头戴式显示装置100。
由此，头戴式显示装置的处理部能够根据第1数据库确定与所取得的类别ID对应的图像数据，并在显示缓冲器120的图像存储区域中，将存储有所确定的图像数据的区域设定为显示区域等。
这里，类别ID例如是指按照卫生间、邮局、餐厅、车站等设施种类分配的固有的数字和符号。例如存在图10(A)所示的类别ID。
此外，第1数据库是指将类别ID和图像数据信息关联起来的数据(记录)的集合(数据库)。此外，与类别ID关联的图像数据信息可以是图像数据自身，并且只要是图像数据的文件名等能够确定图像数据的信息即可。例如是图10(A)所示的DB1。
并且，第2数据库是指对位置信息和头部姿势信息的各组合关联了类别ID的数据(记录)的集合(数据库)。例如是图10(B)所示的DB2。
因此，例如在用户正在移动的情况下，能够显示与用户的当前位置以及头部姿势对应的图像等。头戴式显示装置仅存储上述第1数据库即可，因此头戴式显示装置的存储容量不成问题。此外，在头戴式显示装置接收到一次第1数据库后，在头戴式显示装置与信息终端之间仅收发头部姿势信息和类别ID即可，因此还能够抑制通信成本等，容易满足所要求的实时性。
此外，通信部210在控制模式被设定为第1模式时，在第2数据库中不存在头部姿势信息和位置信息的组合的情况下，可以将空白ID作为类别ID发送到头戴式显示装置100。
这里，空白ID是指在第2数据库内，不存在与预定头部姿势信息和预定位置信息的组合对应的数据的情况下使用的类别ID。此外，空白ID使用在第1数据库中不与图标文件(图标图像)关联的任意符号或数字即可。例如在图10(A)的例子中，使用“255”等作为空白ID。
由此，头戴式显示装置的处理部在取得了空白ID的情况下，能够不在图像存储区域中设定显示区域等。
此外，存储部220可以存储对头部姿势信息和位置信息的组合关联了多个图像数据的第3数据库。并且，处理部230在将控制模式设定为第2模式的情况下，可以从第3数据库取得与头部姿势信息和位置信息的组合相关联的多个图像数据。进而，通信部210可以将所取得的多个图像数据发送到头戴式显示装置100。
这里，第3数据库是指对位置信息和头部姿势信息的各组合关联了多个图像数据信息的数据(记录)的集合(数据库)。此外，与类别ID关联的多个图像数据信息可以是图像数据自身，并且只要是图像数据的文件名等能够确定图像数据的信息即可。例如是图10(C)所示的DB3。此外，可以与上述第2数据库集合公共项而设为一个数据库。
由此，头戴式显示装置的显示缓冲器能够在通过显示布局数据设定的图像存储区域中存储多个图像数据等。并且，例如头戴式显示装置能够在不与信息终端进行通信的情况下，根据用户的头部姿势改变显示图像等。
此外，处理部230可以根据从头戴式显示装置100经由通信部210接收到的用户输入信息，将控制模式从第1模式切换为第2模式，或从第2模式切换为第1模式。
这里，用户输入信息是指由用户经由操作部160输入的信息。
由此，例如在认为用户想参照设施等详细信息的情况下，能够通过用户输入将控制模式变更为第2模式，在认为由于用户重新开始了移动而想参照周边设施的概要信息的情况下，能够通过用户输入变更为第1模式等。
虽然如以上那样对本实施方式进行了详细说明，但本领域技术人员能够容易地理解到，可以进行实质上未脱离本发明的新颖事项以及效果的多种变形。因而，这种变形例全部包含在本发明的范围内。例如，在说明书或附图中，对于至少一次地与更广义或同义的不同术语一起记载的术语，在说明书或附图的任何位置处，都可以将其置换为该不同的术语。此外，头戴式显示装置、信息终端、以及图像处理系统的结构、动作也不限于本实施方式中说明的结构和动作，能够实施各种变形。
标号说明
100：头戴式显示装置；110：通信部；120：显示缓冲器；130：处理部；140：显示部；150：信息取得部；160：操作部；200：信息终端；210：通信部；220：存储部；230：处理部；240：位置检测部；550：GPS传感器；551：加速度传感器；560：方位传感器。

Claims (14)

1.一种头戴式显示装置，其特征在于，包含：
通信部，其与信息终端进行通信；
显示缓冲器，其将经由所述通信部从所述信息终端接收到的图像数据存储到图像存储区域中；
信息取得部，其取得头部姿势信息；
处理部，其在所述显示缓冲器的所述图像存储区域中设定显示区域；以及
显示部，其显示所设定的所述显示区域的图像作为显示图像，
在控制模式被设定为第1模式的情况下，
所述通信部将所述头部姿势信息发送到所述信息终端，
在所述控制模式被设定为第2模式的情况下，
所述通信部在所述第2模式的处理开始后，不将所述头部姿势信息发送到所述信息终端，
所述处理部根据所述头部姿势信息，在所述显示缓冲器的所述图像存储区域中设定所述显示区域，
所述通信部在所述控制模式被设定为所述第2模式的情况下，在所述第2模式的处理开始前，从所述信息终端接收显示布局数据和所述图像数据，
所述显示缓冲器在通过所述显示布局数据设定的所述图像存储区域中存储所述图像数据，
所述处理部根据所述头部姿势信息，在所述图像存储区域中设定所述显示区域。
2.根据权利要求1所述的头戴式显示装置，其特征在于，
所述处理部在由所述头部姿势信息表示的头部姿势是第1头部姿势的情况下，在所述图像存储区域中设定第1显示区域，
所述处理部在所述头部姿势是第2头部姿势的情况下，在所述图像存储区域中设定第2显示区域，
在设定了所述第1显示区域的情况下，所述显示部显示所述第1显示区域的图像作为所述显示图像，
在设定了所述第2显示区域的情况下，所述显示部显示所述第2显示区域的图像作为所述显示图像。
3.根据权利要求2所述的头戴式显示装置，其特征在于，
所述处理部根据所取得的所述头部姿势信息求出姿势变化量，在判断为所述姿势变化量大于等于预定阈值的情况下，使所述显示区域从所述第1显示区域移动到所述第2显示区域。
4.根据权利要求1～3中的任意一项所述的头戴式显示装置，其特征在于，
所述通信部在所述控制模式被设定为所述第2模式的情况下，在所述第2模式的处理开始前，将所述头部姿势信息发送到所述信息终端，并从所述信息终端接收与所发送的所述头部姿势信息以及位置信息对应的多个图像数据，
所述显示缓冲器在通过所述显示布局数据设定的所述图像存储区域中存储所述多个图像数据。
5.根据权利要求1～3中的任意一项所述的头戴式显示装置，其特征在于，
所述通信部接收所述图像数据以及与所述图像数据相关联的内容ID，
所述显示缓冲器将与各所述内容ID相关联的所述图像数据存储到与所述内容ID对应的所述图像存储区域的各区域中。
6.根据权利要求1～3中的任意一项所述的头戴式显示装置，其特征在于，
在所述控制模式被设定为所述第1模式的情况下，
所述通信部接收将类别ID和所述图像数据关联起来的第1数据库的信息，将所述头部姿势信息发送到所述信息终端，并接收由所述信息终端根据所述头部姿势信息确定的类别ID，
所述处理部从所述第1数据库中确定与由所述信息终端确定的所述类别ID相关联的所述图像数据，将所述图像存储区域中的存储有所确定的所述图像数据的区域设定为所述显示区域。
7.根据权利要求1～3中的任意一项所述的头戴式显示装置，其特征在于，
所述头戴式显示装置具有操作部，
所述处理部根据经由所述操作部输入的详细信息显示请求，向所述信息终端发送所述第1模式的循环处理结束请求或向所述第2模式的转变请求。
8.一种信息终端，其特征在于，包含：
通信部，其与头戴式显示装置进行通信；
存储部，其存储图像数据；
处理部，其进行控制模式的设定处理；以及
位置检测部，其检测位置信息，
所述存储部存储以下信息：
将类别ID和所述图像数据关联起来的第1数据库的信息；以及
对从所述头戴式显示装置接收到的头部姿势信息和所述位置信息的组合关联了所述类别ID的第2数据库的信息，
所述通信部将所述第1数据库的信息发送到所述头戴式显示装置，
所述处理部在将所述控制模式设定为第1模式的情况下，从所述第2数据库取得与所述头部姿势信息和所述位置信息的组合相关联的所述类别ID，
所述通信部将所取得的所述类别ID发送到所述头戴式显示装置。
9.根据权利要求8所述的信息终端，其特征在于，
在所述控制模式被设定为所述第1模式时，在所述第2数据库中不存在所述头部姿势信息和所述位置信息的组合的情况下，所述通信部将空白ID作为所述类别ID发送到所述头戴式显示装置。
10.根据权利要求8或9所述的信息终端，其特征在于，
所述存储部存储对所述头部姿势信息和所述位置信息的组合关联了多个图像数据的第3数据库，
所述处理部在所述控制模式被设定为第2模式的情况下，在所述第2模式的处理开始前，从所述第3数据库取得与所述头部姿势信息和所述位置信息的组合相关联的所述多个图像数据，
所述通信部将所取得的所述多个图像数据发送到所述头戴式显示装置。
11.根据权利要求8或9所述的信息终端，其特征在于，
所述处理部根据从所述头戴式显示装置经由所述通信部接收到的用户输入信息，将所述控制模式从所述第1模式切换为第2模式，或从所述第2模式切换为所述第1模式。
12.一种图像处理系统，其特征在于，包含：
头戴式显示装置，其取得头部姿势信息，在存储图像数据的图像存储区域中设定显示区域，并显示所设定的所述显示区域的图像；以及
信息终端，其进行位置信息的检测处理和控制模式的设定处理，与所述头戴式显示装置进行通信，
所述信息终端存储将类别ID和图像数据关联起来的第1数据库的信息、以及对所述头部姿势信息和所述位置信息的组合关联了所述类别ID的第2数据库的信息，并将所述第1数据库的信息发送到所述头戴式显示装置，
在所述信息终端将所述控制模式设定为第1模式的情况下，
所述头戴式显示装置将所述头部姿势信息发送到所述信息终端，
所述信息终端从所述第2数据库取得与接收到的所述头部姿势信息和所述位置信息的组合相关联的所述类别ID，并将所取得的所述类别ID发送到所述头戴式显示装置，
所述头戴式显示装置从所述第1数据库中确定与接收到的所述类别ID相关联的所述图像数据，并设定所述图像存储区域中的存储有所确定的所述图像数据的区域，作为所述显示区域，
在所述信息终端将所述控制模式设定为第2模式的情况下，
所述头戴式显示装置不将所述头部姿势信息发送到所述信息终端，而根据所述头部姿势信息，在所述图像存储区域中设定所述显示区域。
13.一种头戴式显示装置的控制方法，其特征在于，
从信息终端接收图像数据，
将接收到的所述图像数据存储到显示缓冲器的图像存储区域中，
取得用户的头部姿势信息，
在所述显示缓冲器的所述图像存储区域中设定显示区域，
显示所设定的所述显示区域的图像作为显示图像，
在控制模式被设定为第1模式的情况下，将所述头部姿势信息发送到所述信息终端，
在所述控制模式被设定为第2模式的情况下，在所述第2模式的处理开始后，不将所述头部姿势信息发送到所述信息终端，而根据所述头部姿势信息，在所述显示缓冲器的所述图像存储区域中设定所述显示区域，
在所述控制模式被设定为所述第2模式的情况下，在所述第2模式的处理开始前，从所述信息终端接收显示布局数据和所述图像数据，
在通过所述显示布局数据设定的所述图像存储区域中存储所述图像数据，
根据所述头部姿势信息，在所述图像存储区域中设定所述显示区域。
14.一种信息终端的控制方法，其特征在于，
从头戴式显示装置接收用户的头部姿势信息，
检测所述用户的位置信息，
存储图像数据，并且存储将类别ID和所述图像数据关联起来的第1数据库的信息、以及对所述头部姿势信息和所述位置信息的组合关联了所述类别ID的第2数据库的信息，
将所述第1数据库的信息发送到所述头戴式显示装置，
进行控制模式的设定处理，
在将所述控制模式设定为第1模式的情况下，从所述第2数据库取得与接收到的所述头部姿势信息和检测到的所述位置信息的组合相关联的所述类别ID，
将所取得的所述类别ID发送到所述头戴式显示装置。
CN201280052059.4A 2011-10-25 2012-10-23 头戴式显示装置、信息终端、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法 Active CN103891269B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-233915 2011-10-25
JP2011233915A JP5993127B2 (ja) 2011-10-25 2011-10-25 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
PCT/JP2012/077283 WO2013061940A1 (ja) 2011-10-25 2012-10-23 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法

Publications (2)

Publication Number Publication Date
CN103891269A CN103891269A (zh) 2014-06-25
CN103891269B true CN103891269B (zh) 2017-08-25

Family

ID=48167770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280052059.4A Active CN103891269B (zh) 2011-10-25 2012-10-23 头戴式显示装置、信息终端、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法

Country Status (4)

Country Link
US (1) US9746671B2 (zh)
JP (1) JP5993127B2 (zh)
CN (1) CN103891269B (zh)
WO (1) WO2013061940A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585478B2 (en) * 2013-09-13 2020-03-10 Nod, Inc. Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices
KR102227087B1 (ko) 2014-07-08 2021-03-12 엘지전자 주식회사 글래스 타입 단말기 및 그것의 제어방법
JP6642432B2 (ja) * 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
CN104267805A (zh) * 2014-09-15 2015-01-07 联想(北京)有限公司 一种信息处理方法及头戴式电子设备
KR101839441B1 (ko) * 2014-09-17 2018-03-16 (주)에프엑스기어 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR20160033376A (ko) 2014-09-18 2016-03-28 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
CN105572868B (zh) * 2014-10-13 2018-01-23 联想(北京)有限公司 显示设备和显示方法
JP6476781B2 (ja) * 2014-11-17 2019-03-06 セイコーエプソン株式会社 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム
JP6540004B2 (ja) * 2014-12-08 2019-07-10 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
KR102144515B1 (ko) 2015-01-07 2020-08-14 삼성전자주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
JP6424100B2 (ja) * 2015-01-29 2018-11-14 株式会社ゼンリンデータコム ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
US9734779B2 (en) * 2015-02-12 2017-08-15 Qualcomm Incorporated Efficient operation of wearable displays
US9747015B2 (en) 2015-02-12 2017-08-29 Qualcomm Incorporated Efficient display of content on wearable displays
US9965029B2 (en) * 2015-03-30 2018-05-08 Sony Corporation Information processing apparatus, information processing method, and program
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
JP6439935B2 (ja) * 2015-05-07 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
JP6596989B2 (ja) * 2015-07-02 2019-10-30 富士通株式会社 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ
KR102413074B1 (ko) * 2015-09-21 2022-06-24 삼성전자주식회사 사용자 단말, 전자 장치 및 이들의 제어 방법
KR102478018B1 (ko) 2016-01-13 2022-12-16 삼성전자주식회사 콘텐트 표시 방법 및 이를 수행하는 전자 장치
JP6711033B2 (ja) * 2016-03-08 2020-06-17 富士通株式会社 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
US10134190B2 (en) 2016-06-14 2018-11-20 Microsoft Technology Licensing, Llc User-height-based rendering system for augmented reality objects
JP2018036993A (ja) * 2016-09-02 2018-03-08 オリンパス株式会社 表示システム、携帯情報機器、ウエラブル型端末、情報表示方法およびプログラム
JP6737126B2 (ja) * 2016-10-21 2020-08-05 コニカミノルタ株式会社 連携システム、情報処理装置、連携方法および連携プログラム
TWI633338B (zh) * 2017-10-06 2018-08-21 宏碁股份有限公司 頭戴式顯示裝置、電子系統以及相關控制方法
US11378805B2 (en) * 2018-06-25 2022-07-05 Maxell, Ltd. Head-mounted display, head-mounted display linking system, and method for same
US11544865B1 (en) 2019-02-15 2023-01-03 Apple Inc. Posture detection and correction
KR20240009999A (ko) * 2021-05-19 2024-01-23 스냅 인코포레이티드 웨어러블 디바이스들에 대한 로컬라이제이션 및 콘텐츠 전달을 위한 비컨들
CN115291729A (zh) * 2022-08-10 2022-11-04 立讯精密科技(南京)有限公司 头戴式设备的提醒方法及头戴式设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725829A (zh) * 2004-07-20 2006-01-25 奥林巴斯株式会社 信息显示系统
JP2008078758A (ja) * 2006-09-19 2008-04-03 Nikon Corp 携帯型コンテンツデータ再生装置
CN101378431A (zh) * 2007-08-31 2009-03-04 鹏智科技(深圳)有限公司 图片显示装置及方法
JP2010200079A (ja) * 2009-02-26 2010-09-09 Yamaha Corp 撮影制御装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
JPH10341387A (ja) 1997-06-10 1998-12-22 Canon Inc 表示装置
JPH1118063A (ja) * 1997-06-19 1999-01-22 Toshiba Corp デジタル放送受信装置
JP2000029617A (ja) * 1998-07-08 2000-01-28 Olympus Optical Co Ltd 映像表示装置
JP2004102835A (ja) * 2002-09-11 2004-04-02 Univ Waseda 情報提供方法およびそのシステム、携帯型端末装置、頭部装着装置、並びにプログラム
JP4847192B2 (ja) * 2006-04-14 2011-12-28 キヤノン株式会社 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
US20160154239A9 (en) * 2010-02-03 2016-06-02 Hoyt Mac Layson, JR. Head Mounted Portable Wireless Display Device For Location Derived Messaging
JP5704833B2 (ja) * 2010-05-10 2015-04-22 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9170648B2 (en) * 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
JP6186689B2 (ja) * 2012-09-26 2017-08-30 セイコーエプソン株式会社 映像表示システム
US8860634B2 (en) * 2012-10-11 2014-10-14 Sony Computer Entertainment Europe Limited Head mountable display
US20140268360A1 (en) * 2013-03-14 2014-09-18 Valve Corporation Head-mounted display
US9483117B2 (en) * 2013-04-08 2016-11-01 Nokia Technologies Oy Apparatus, method and computer program for controlling a near-eye display
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9230473B2 (en) * 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
US9563331B2 (en) * 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
KR20150034558A (ko) * 2013-09-26 2015-04-03 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US10761566B2 (en) * 2013-09-27 2020-09-01 Beijing Lenovo Software Ltd. Electronic apparatus and method for processing information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725829A (zh) * 2004-07-20 2006-01-25 奥林巴斯株式会社 信息显示系统
JP2008078758A (ja) * 2006-09-19 2008-04-03 Nikon Corp 携帯型コンテンツデータ再生装置
CN101378431A (zh) * 2007-08-31 2009-03-04 鹏智科技(深圳)有限公司 图片显示装置及方法
JP2010200079A (ja) * 2009-02-26 2010-09-09 Yamaha Corp 撮影制御装置

Also Published As

Publication number Publication date
WO2013061940A1 (ja) 2013-05-02
US20140232620A1 (en) 2014-08-21
US9746671B2 (en) 2017-08-29
JP2013093706A (ja) 2013-05-16
JP5993127B2 (ja) 2016-09-14
CN103891269A (zh) 2014-06-25

Similar Documents

Publication Publication Date Title
CN103891269B (zh) 头戴式显示装置、信息终端、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法
CN108984604B (zh) 场地地图应用和系统
US9520100B2 (en) Arm-wearable terminal, network service system cooperating with the terminal, display method, and computer-readable storage medium
US20230076281A1 (en) Generating collectible items based on location information
US9104293B1 (en) User interface points of interest approaches for mapping applications
US20180301111A1 (en) Electronic device and method for displaying electronic map in electronic device
CN107850443A (zh) 信息处理装置、信息处理方法以及程序
JP6254577B2 (ja) 情報処理装置、システム、情報処理方法およびプログラム
CN107437393A (zh) 自助导游的方法及装置
JP6443340B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN108595275A (zh) 一种提示信息推送的方法及终端
CN109917995A (zh) 一种对象处理方法及终端设备
US11022459B2 (en) System for providing personalized information and method of providing the personalized information
US9886698B2 (en) Augmented reality product brochure application
CN110489045A (zh) 一种对象显示方法及终端设备
CN108804546A (zh) 一种服饰搭配推荐方法及终端
JP7067553B2 (ja) 情報処理装置および情報処理方法
JP5979771B1 (ja) 経路検索システム、経路検索装置、経路検索方法、プログラム、及び情報記憶媒体
CN110489031A (zh) 内容显示方法及终端设备
JP2010039256A (ja) 表示システム、表示方法，及び移動体
KR20140046324A (ko) 사용자 단말 장치, 미션 제공 서버 및 그들의 미션 제공 방법
KR101962635B1 (ko) 위치기반 추억데이터 기록 및 회상 서비스를 제공하는 이동통신 단말기의 제어방법
CN105308582B (zh) 信息处理装置、信息处理方法以及计算机可读介质
JP2017059038A (ja) 認知機能支援システム、認知機能支援装置、プログラム
CN109460200A (zh) 一种信息标记方法及终端设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant