CN104335155B - 头戴式显示系统、头戴式显示器以及头戴式显示器的控制程序 - Google Patents

头戴式显示系统、头戴式显示器以及头戴式显示器的控制程序 Download PDF

Info

Publication number
CN104335155B
CN104335155B CN201480001299.0A CN201480001299A CN104335155B CN 104335155 B CN104335155 B CN 104335155B CN 201480001299 A CN201480001299 A CN 201480001299A CN 104335155 B CN104335155 B CN 104335155B
Authority
CN
China
Prior art keywords
area
display
coordinate system
cylindrical
wear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480001299.0A
Other languages
English (en)
Other versions
CN104335155A (zh
Inventor
岩津健
石川博隆
铃木谦治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201811185267.7A priority Critical patent/CN109656354B/zh
Publication of CN104335155A publication Critical patent/CN104335155A/zh
Application granted granted Critical
Publication of CN104335155B publication Critical patent/CN104335155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Abstract

这种HMD系统设置有坐标系设置单元、区选择单元以及图像生成单元。所述坐标系设置单元在真实空间内设立圆柱坐标系，所述圆柱坐标系被划分成多个区。根据显示器的方向，所述区选择单元将所述圆柱坐标系的一个区设为选择待机状态。在确认所述区的选择时，根据确认的区，所述图像生成单元生成要在所述显示器上显示的显示图像。

Description

头戴式显示系统、头戴式显示器以及头戴式显示器的控制 程序
技术领域
本技术涉及头戴式显示器的操作。
背景技术
近年来，流行支撑在用户的头上并且能够在用户眼前显示图像的头戴式显示器(在后文中称为HMD)。虽然HMD通常用于看电影等，但是研制了透视型HMD等，通过该透视型HMD，可以看到外部世界以及显示器。该透视型HMD预期应用于帮助用户执行任务的领域。
例如，专利文档1公开了涉及操作HMD的技术。在该技术中，检测用户的头部运动，根据该运动控制计算机设备，并且将运动反馈给HMD的显示器。将用户的头部运动作为关于计算机设备的操作输入处理。
专利文档1：日本专利申请公开号2010-231290
发明内容
本发明要解决的问题
然而，在专利文档1中描述的技术中，而且，如果用户移动头部，而非旨在操作HMD，那么人们担心该运动被视为操作输入。这不适合于在观看外部世界的同时控制HMD。操作设备(例如，用户用手握住的控制箱，用于执行操作输入)通常用于控制HMD。然而，在这种情况下，不能在观看外部世界的同时执行免提操作。
鉴于上述情况，本技术的一个目标在于提供一种头戴式显示系统、头戴式显示器以及头戴式显示器控制程序，其能够实现良好的可操作性，无需操作设备来操作HMD。
解决问题的方式
为了实现上述目标，根据本技术的一个实施方式的头戴式显示系统包括坐标系设置单元、区选择单元以及图像生成单元。
坐标系设置单元在真实空间内设置被划分成多个区的圆柱坐标系；
区选择单元根据显示器的方向，在所述圆柱坐标系内，使所述多个区中的任一个进入选择待机状态。
图像生成单元在确定选择保持在所述选择待机状态内的区时，生成要显示在所述显示器上的与所确定的区对应的显示图像。
通过这种配置，在佩戴头戴式显示器的用户移动头部并且改变显示器的方向时，根据显示器的方向，使在圆柱坐标系内的区进入选择待机状态。在确定在选择待机状态中的区的选择时，在显示器上显示与该区对应的显示图像。即，无需使用操作设备，用户可使用显示器的方向操作头戴式显示器。
所述区选择单元可根据显示器的方向，在圆柱坐标系中获得由显示器的视角占据的视角范围，并且使在视角范围内具有最大面积的所述多个区的一个区进入选择待机状态。
通过这种配置，使在圆柱坐标系中位于显示器的方向的区进入选择待机状态。即，通过将显示器引向在圆柱坐标系中的特定区中，用户可使该区进入选择待机状态。
所述区选择单元可根据显示器的方向，在圆柱坐标系中获得位于显示器的方向的坐标，并且使包括所述坐标的所述多个区的一个区进入选择待机状态。
通过这种配置，使在圆柱坐标系中位于显示器的方向的区进入选择待机状态。即，通过将显示器引向在圆柱坐标系中的特定区中，用户可使该区进入选择待机状态。
所述区选择单元可接收第一触发输入并且确定选择保持在选择待机状态中的区。
该配置允许用户在特定区保持在选择待机状态中时，执行第一触发输入，并且确定该区的选择。这样做，生成并且可由用户查看与由图像生成单元确定的区对应的显示图像。
所述圆柱坐标系可将垂直方向设为高度方向，并且将水平方向设为圆周方向。
通过这种配置，在使用显示器的方向选择该区时，用户可以水平方向作为参考进行选择。
所述坐标系设置单元可接收第二触发输入并且在所述圆柱坐标系的高度方向移动所述圆柱坐标系。
通过这种配置，用户可调整要使用的圆柱坐标系的高度。
所述坐标系设置单元可在所述圆柱坐标系的高度方向和圆周方向分割所述圆柱坐标系，从而将所述圆柱坐标系被划分成所述多个区。
通过这种配置，将圆柱坐标系划分成矩形区。
所述坐标系设置单元可在与所述圆柱坐标系的高度方向和圆周方向倾斜的方向分割所述圆柱坐标系，从而将所述圆柱坐标系被划分成所述多个区。
通过这种配置，将圆柱坐标系划分成菱形区。
头戴式显示系统可进一步包括对象布置单元，其在所述多个区的每个中布置对象，其中，所述图像生成单元对应于在所述圆柱坐标系中的视角范围生成对象的图像作为显示图像。
通过这种配置，在参照对象的图像时，用户可使期望的对象所在的区进入选择待机状态，并且可使用与该对象对应的应用程序等。
所述区选择单元可被配置为不使其中未布置对象的区进入选择待机状态。
通过这种配置，能够防止确定未设置任何对象的区的选择。
所述对象布置单元可被配置为不在存在于真实空间内的显示器的正面方向中的所述多个区的一个区中布置对象。
通过这种配置，在正面方向引导显示器时，在显示器上不显示该对象的图像，因此，用户可观看外部世界，而不被阻挡视野。
所述对象可为应用程序的图标，并且在确定其中布置了特定图标的区的选择时，所述图像生成单元可根据与所述图标对应的应用程序的输出生成显示图像。
通过这种配置，用户可使用显示器的方向选择任意应用程序，并且在显示器上显示输出。
所述对象可为由预定的应用程序生成的小工具，并且在确定其中布置了特定小工具的区的选择时，所述图像生成单元可根据与所述小工具对应的应用程序的输出生成显示图像。
通过这种配置，用户可使用显示器的方向查看小工具，并且必要时，使显示器显示与小工具对应的应用程序的输出。
所述对象可为应用程序启动器，并且在确定其中布置了应用程序启动器的区的选择时，所述图像生成单元可生成包括应用程序选择菜单的图像作为显示图像。
通过这种配置，用户可使用显示器的方向选择应用程序启动器，并且选择任意的应用程序。
所述对象可为由预定的应用程序生成的通知，并且在确定其中布置了特定通知的区的选择时，所述图像生成单元可根据生成通知的应用程序的输出生成显示图像。
通过这种配置，用户可使用显示器的方向查看通知，并且必要时，使显示器显示生成通知的应用程序的输出。
所述显示器可为透视型显示器。
通过这种配置，用户可通过透视型显示器观看外部世界。因此，用户可在通过透视型显示器观看外部世界的同时执行任务，必要时改变显示器的方向，并且参考在透视型显示器上显示的显示图像。
为了实现上述目标，根据本技术的一个实施方式的头戴式显示器包括坐标系设置单元、区选择单元以及图像生成单元。
坐标系设置单元在真实空间内设置被划分成多个区的圆柱坐标系；
区选择单元根据显示器的方向，在所述圆柱坐标系内，使所述多个区中的任一个进入选择待机状态。
图像生成单元在确定选择保持在所述选择待机状态内的区时，生成要在所述显示器上显示的对应于所确定的区的显示图像。
为了实现上述目标，根据本技术的一个实施方式的头戴式显示器控制程序使计算机用作坐标系设置单元、区选择单元以及图像生成单元。
坐标系设置单元在真实空间内设置被划分成多个区的圆柱坐标系；
区选择单元根据显示器的方向，在所述圆柱坐标系内，使任意所述多个区进入选择待机状态。
图像生成单元在确定选择保持在所述选择待机状态内的区时，生成要在所述显示器上显示的对应于所确定的区的显示图像。
本发明的效果
如上所述，根据本技术，能够提供一种头戴式显示系统、头戴式显示器以及头戴式显示器控制程序，其能够实现良好的可操作性，无需操作设备来操作HMD。
附图说明
图1为示出根据本技术的一个实施方式的头戴式显示系统的外观的示意图；
图2为示出头戴式显示系统的配置的方框图；
图3为示出头戴式显示系统的功能配置的示意图；
图4为示出在头戴式显示系统中的显示器坐标系的示意图；
图5为示出根据头戴式显示系统的圆柱坐标系的示意图；
图6为示出根据头戴式显示系统的圆柱坐标系的区的示意图；
图7为示出根据头戴式显示系统的圆柱坐标系的区的示意图；
图8为示出在高度方向根据头戴式显示系统的圆柱坐标系的运动的示意图；
图9为示出在根据头戴式显示系统的圆柱坐标系的每个区中设置的对象的示意图；
图10为示出在头戴式显示系统中的圆柱坐标系中的视角范围的示意图；
图11为示出头戴式显示系统的区选择单元的区的选择的示意图；
图12为示出其中未布置对象的根据头戴式显示系统的圆柱坐标系的区的示意图；
图13为示出在头戴式显示系统中的圆柱坐标系中的视角范围的示意图；
图14为示出在头戴式显示系统中的圆柱坐标系中的视角范围的示意图；
图15为示出由头戴式显示系统的图像生成单元生成的显示图像的示意图；
图16为示出由头戴式显示系统的图像生成单元生成的显示图像的示意图；
图17为示出在头戴式显示系统中的圆柱坐标系中的视角范围的示意图；
图18为示出由头戴式显示系统的图像生成单元生成的显示图像的示意图；
图19为示出头戴式显示系统的坐标系设置单元的圆柱坐标系的运动的示意图；
图20为示出头戴式显示系统的区选择单元的区的选择的示意图；
图21为示出头戴式显示系统的应用程序的一个使用实例的示意图；
图22为示出头戴式显示系统的小工具的一个使用实例的示意图；
图23为示出头戴式显示系统的应用程序启动器的一个使用实例的示意图；
图24为示出头戴式显示系统的通知的一个使用实例的示意图。
具体实施方式
【头戴式显示系统的配置】
图1为示出根据该实施方式的头戴式显示系统100(在后文中称为HMD系统100)的外观的示意图。图2为示出HMD系统100的配置的方框图。如在这两个示图中所示，HMD系统100可由头戴式显示器200(在后文中称为HMD 200)和信息处理装置300构成。
如图1和图2中所示，HMD 200包括框架201、显示器202(右显示器202R和左显示器202L)、输入设备203、CPU 204、通信设备205、内存206以及方向传感器207。
框架201将HMD 200支持在用户头上，并且将显示器202放在的用户的眼前。不特别限制框架201的形状，并且该形状可为除了在图1中所示的眼镜形状以外的头饰形状等。
显示器202(右显示器202R和左显示器202L)显示显示图像。右显示器202R放在用户的右眼前，并且左显示器202L放在用户的左眼前。要注意的是，可提供右显示器202R和左显示器202L中的任一个。显示器202可为透视型显示器或非透视型显示器。在该实施方式中，透视型显示器有利。
输入设备203接收用户进行的操作输入。对于输入设备203，可使用能够检测操作部件(用户手指等)的接近或接触的那些输入设备，例如，操作按钮、触控传感器、接近传感器或照明传感器。不特别限制输入设备203的位置和输入设备203的数量。
中央处理单元(CPU)204执行各种算术处理。CPU 204处理输入设备203的输入以及通信设备205的通信，生成显示器202的显示图像等。根据各种通信标准，例如，通用串行总线(USB)、蓝牙(注册商标)以及Wi-Fi(注册商标)，通信设备205与信息处理装置300的通信设备303(后面要进行描述)进行通信。内存206储存关于CPU 204的算术处理的结果等、显示图像等的各种信息。
方向传感器207检测显示器202的方向。方向传感器207可由磁场传感器、角速度传感器、加速度传感器等构成。另外，可使用能够检测显示器202的方向的传感器。
如图1和图2中所示，信息处理装置300包括输入设备301、CPU 302、通信设备303、内存304、显示器305以及储存器306。信息处理装置300可为各种信息处理装置，例如，智能电话、平板电脑以及膝上型电脑。可与HMD 200共同携带的那些信息处理装置有利地用作信息处理装置300。
输入设备301接收由用户进行的操作输入。输入设备301可为触控面板、操作按钮等。CPU 302处理输入设备301的输入以及通信设备303的通信，执行应用程序等。根据各种通信标准，通信设备303与HMD 200的通信设备205进行通信。内存307储存CPU 302的算术处理的结果等。储存器306储存应用程序和图像信息。
HMD 200和信息处理装置300的配置不限于在本文中描述的那些配置，并且仅仅需要能够实现稍后要描述的功能配置。
【头戴式显示系统的功能配置】
描述了如上所述由硬件配置实现的HMD系统100的功能配置。图3为示出HMD系统100的功能配置的示意图。
如图中所示，HMD系统100包括图像生成单元101、坐标系设置单元102、对象布置单元103以及区选择单元104。要注意的是，这些功能配置可由HMD 200和信息处理装置300中的任一个实现或者可由这两者共同实现。而且，可在计算机网络中实现一些或所有功能配置。
图像生成单元101生成要在显示器202上显示的显示图像。此时，图像生成单元101使用在显示器202中的坐标系(在后文中称为显示器坐标系)生成显示图像。图4为示出显示器坐标系D的示意图。如图中所示，在显示器坐标系D中，显示器的左上区设为原点Og，在显示器上的右边方向设为x轴，并且在显示器上的下区设为y轴。在x轴方向的宽度Wg乘以在y轴方向的高度Hg等于显示图像的尺寸。稍后描述由图像生成单元101生成显示图像。
坐标系设置单元102在真实空间内设置圆柱坐标系。具体而言，例如，在接通HMD200时或者在HMD 200上执行预定的操作输入时，坐标系设置单元102设置显示器202的方向为正面方向。坐标系设置单元102能够从方向传感器207中获得显示器202的方向。
坐标系设置单元102能够设置与显示器202的正面方向垂直的方向作为轴方向，并且能够设置具有穿过HMD 200的位置(用户的原点)的中心轴的圆柱坐标系，作为圆柱坐标系。这样做，形成圆柱坐标系，中心轴的轴方向是高度方向，并且与轴方向垂直的方向是圆周方向。或者，不考虑显示器202的正面方向，坐标系设置单元102可设置圆柱坐标系的中心轴为垂直方向。在这种情况下，形成圆柱坐标系，垂直方向是高度方向，并且水平方向是圆周方向。
图5为示出圆柱坐标系C的示意图。如图中所示，圆柱坐标系系统具有在圆周方向的x轴(具有从用户原点Oh到显示器坐标系原点Or的半径)、在径向上的z轴以及在与x轴和z轴垂直的方向的y轴。假设圆柱坐标系的高度(y方向)是Hg，在用户周围形成具有高度Hg的圆柱体(HMD200)。
坐标系设置单元102设置被划分成多个区的圆柱坐标系。图6为示出在圆柱坐标系中的区的示意图。图6的(a)表示圆柱坐标系C的透视图，并且图6的(b)表示圆柱坐标系C的开发视图。如图6的(a)和(b)中所示，坐标系设置单元102设置被划分成多个区S的圆柱坐标系C。在此处，坐标系设置单元102能够在高度方向(y方向)和圆周方向(xz方向)分割圆柱坐标系C，并且将其被划分成矩形区S。每个区S的高度(y方向)设为hg，并且宽度(xz方向)设为wg。
要注意的是，虽然在图6中，圆柱坐标系在高度方向和圆周方向分成三个并且被划分成矩形区，但是不限于分成三个。而且，每个区的形状不限于矩形。如图7中所示，坐标系设置单元102还能够在与高度方向(y方向)和圆周方向(xz方向)倾斜的方向分割圆柱坐标系C，并且将其被划分成菱形区。在后文中，举例而言，使用矩形区，进行描述。
坐标系设置单元102能够将在圆柱坐标系的高度方向和圆周方向位于中心的多个区中的一个区设为处于显示器202的正面方向。在后文中，位于中心的区称为中心区。要注意的是，坐标系设置单元102可设置圆柱坐标系，以便除了中心区以外的区处于显示器202的正面方向。
在接收预定的触发输入(第二触发输入)时，坐标系设置单元102可被配置为在其高度方向移动圆柱坐标系。图8为示出在圆柱坐标系的高度方向由坐标系设置单元102移动的圆柱坐标系C的示意图。原点Oru是在圆柱坐标系在高度方向向上移动时的原点，并且原点Orl是在圆柱坐标系在高度方向向下移动时的原点。根据用户进行的操作输入，可确定圆柱坐标系的运动方向和运动量。
对象布置单元103在每个区中布置对象。图9为示出在每个区S中设置的对象A的示意图。如图中所示，对象布置单元103可被配置为在每个区S中布置对象A。虽然对象A可为应用程序的图标或小工具、应用程序启动器或通知，但是稍后描述细节。如图9中所示，对象布置单元103可被配置为不在中心区Sc中布置对象A。
根据显示器202的方向，区选择单元104使多个区中的任一个进入选择待机状态。具体而言，区选择单元104可使用“视角范围”来选择该区。图10为视角范围的一个实例并且显示了在圆柱坐标系C中的视角范围H。根据显示器202的方向和圆柱坐标系的半径，区选择单元104在圆柱坐标系C中获得由显示器202的视角占据的范围，作为视角范围。在真实空间中的显示器202的方向改变时，由于该变化，所以在圆柱坐标系C中的视角范围H移动。
区选择单元104可使用视角范围来从多个区中选择一个区。图11为示出头戴式显示系统104的区的选择的示意图。如图中所示，区选择单元104使在视角范围H内具有最大面积的多个区S中的区S(在图中的斜线)进入选择待机状态。
在选择待机状态中包括特定的区的同时，接收预定的触发输入(称为第一触发输入)时，区选择单元104在选择待机状态中确定区的选择。第一触发输入可为由用户或超时(经过设定时间)进行的触摸输入。在确定区的选择时，区选择单元104通知图像生成单元101所确定的区。
另外，在显示器202的方向改变时，并且在特定区保持在选择待机状态中的同时，在视角范围内具有最大面积的区变成另一个区时，区选择单元104释放该区的选择待机状态。
区选择单元104可被配置为不使未设置任何对象的区进入选择待机状态。图12为示出其中未布置对象A的区S的示意图。如图中所示，在视角范围H内具有最大面积的区S是其中未布置对象A的区S的情况下，区选择单元104可被配置为不使该区S进入选择待机状态。要注意的是，其中未布置对象A的区S可为上述中心区或者可为另一个区。
图像生成单元101根据显示器坐标系生成显示图像并且将该显示图像提供给显示器202。在区选择单元104确定特定区的选择时，图像生成单元101生成包括与该区对应的显示器的显示图像。例如，与该区对应的显示器可为根据与在该区中设置的对象对应的应用程序的输出的显示器。
而且，图像生成单元101可被配置为根据在圆柱坐标系中的视角范围生成对象的图像作为显示图像。在视角范围包括该对象的情况下，图像生成单元101可被配置为对应于在视角范围中的对象的位置，在显示器坐标系中布置对象的图像，并且生成该图像，作为显示图像。稍后描述细节。
【头戴式显示系统的操作】
描述HMD系统100的操作。在用户佩戴HMD 200并且通过操作输入设备203或信息处理装置300来执行预定的操作输入时，坐标系设置单元102此时识别显示器202的方向，作为显示器202的正面方向。
坐标系设置单元102在真实空间中设置上述圆柱坐标系。此时，坐标系设置单元102可设置圆柱坐标系，以便中心区位于显示器202的正面方向。要注意的是，坐标系设置单元102可将除了中心区以外的区放在显示器202的正面方向。如图9中所示，对象布置单元103在每个区S中布置对象A。
区选择单元104在圆柱坐标系中获得显示器202的视角范围。虽然用户不从正面方向移动头部(显示器202的方向)，但是如图13中所示，视角范围包括中心区，并且在中心区中不设置任何对象，因此，图像生成单元101不生成显示图像。在该状态中，在通过不显示任何物体的显示器202观看外部世界的同时，用户可执行任务等。
在用户移动头部的方向(显示器202的方向)时，区选择单元104根据显示器202的方向移动视角范围。图14为示出移动的视角范围H的示意图。如图中所示，在视角范围H包括对象A时，图像生成单元101生成对象的图像(在后文中称为对象图像)，作为显示图像。图15为示出此时的显示图像G的示意图。
图像生成单元101可被配置为对应于在视角范围中的对象的位置，在显示坐标系中布置对象图像。即，在将头部从正面方向引向任何方向时，用户可查看在该方向设置在该区中的对象图像，并且例如，能够搜索期望应用程序的图标。
同时，如图11中所示，区选择单元104在视角范围H内检测每个区S的区域，并且使在视角范围H内具有最大面积的区S进入选择待机状态。此时，图像生成单元101可表示，例如，通过反射或放大设置在保持在选择待机状态中的区中的对象的该对象图像，对于用户，设置该对象的区保持在选择待机状态中。
如图16中所示，用户查看在显示器202的中心附近的期望对象的对象图像时，设置在该对象中的区是在视角范围内具有最大面积的区。图17为示出此时的视角范围H的示意图。区选择单元104使该区进入选择待机状态。
在用户执行在该状态中的第一触发输入时，确定选择保持在选择待机状态中的区。图像生成单元101生成显示图像，包括与该区对应的显示器，代替对象图像。例如，在对象是应用程序的图标的情况下，如图18中所示，图像生成单元101生成由该应用程序生成的图像作为显示图像。即，用户能够查看由期望应用程序生成的图像。
要注意的是，如图12中所示，在视角范围H内具有最大面积的区S中未设置任何对象A，区选择单元104可被配置为不使该区S进入选择待机状态。这样做，防止确定未设置任何对象的区的选择，并且加强方便性。
在从用户中接收预定的输入时，图像生成单元101可被配置为终止显示图像，包括与该区对应的显示器，并且根据在图15和16中所示的显示器202的视角范围生成显示图像(图标图像等)。
如上所述，在用户面对正面方向时，在通过不显示任何物体的显示器202观看外部世界的同时，用户可执行任务等。必要时，在用户移动头部(显示器202)的方向以便搜索期望的对象并且执行第一触发输入时，用户可观看与对象对应的显示器。即，无需使用控制箱等操作设备，用户可选择一个任意对象，并且HMD系统100提供良好的可操作性。
【关于圆柱坐标系的运动】
虽然如上所述，坐标系设置单元102设置圆柱坐标系，但是圆柱坐标系可在其高度方向(向上或向下)移动。图19为示出坐标系设置单元102的圆柱坐标系C的运动的示意图。如图19的(a)中所示，在用户规定显示器202的正面方向时，圆柱坐标系C被设为处于与显示器202相同的高度，并且用户可使用该圆柱坐标系，如上所述。
在接收由用户进行的第二触发输入时，坐标系设置单元102在其高度方向(在图中向上)移动圆柱坐标系，如图19的(b)中所示。例如，第二触发输入可为通过用户触摸输入设备203并且移动显示器202的方向来进行的输入。坐标系设置单元102可被配置为根据显示器202的方向(相对于正面方向的角度)移动圆柱坐标系C。
这样做，如图19的(b)中所示，圆柱坐标系C不再处于与显示器202相同的高度，因此，即使用户从正面方向中略微改变显示器202的方向，也不使该区进入选择待机状态，并且不显示对象图像。
因此，在广泛的范围内查看外部世界的同时，用户可执行任务等。另一方面，圆柱坐标系被设为高于或低于显示器202，因此，如图19的(c)中所示，用户能够将显示器202引入上部或下部圆柱坐标系C，并且使用圆柱坐标系C。
通过在圆柱坐标系C在高度方向移动的状态中再次执行第二触发输入，如图19的(a)中所示，用户可将圆柱坐标系C移动到与显示器202相同的高度，并且使用该圆柱坐标系。
通过这种方式，由于坐标系设置单元102在高度方向移动圆柱坐标系，所以用户可在广视角中执行任务等，并且可根据需要使用圆柱坐标系。
【修改实例】
代替上述“视角范围”，区选择单元104可使用在圆柱坐标系(在后文中称为显示方向坐标)中位于显示器202的方向的坐标，来选择该区。区选择单元104根据显示器202的方向，在圆柱坐标系C中获得显示方向坐标P。在显示器202的方向在真实空间内改变时，在圆柱坐标系C内的显示方向坐标P与该变化一起移动。
区选择单元104可使用该显示方向坐标来从多个区中选择一个区。图20为区选择单元104的区的选择的示意图。如图所示，区选择单元104使包括显示区坐标P的多个区S中的一个区S(在图中的斜线)进入选择待机状态。
在特定的区保持在选择待机状态中的同时，接收预定的触发输入(称为第一触发输入)时，区选择单元104确定选择保持在选择待机状态中的区。第一触发输入可为由用户或超时(经过设定时间)进行的触摸输入。在确定区的选择时，区选择单元104通知图像生成单元101所确定的区。
另外，在显示器202的方向改变时，并且在特定区保持在选择待机状态中的同时，在包括显示方向坐标的区变成另一个区时，区选择单元104释放该区的选择待机状态。
而且，在区选择单元104使用显示方向坐标来通过这种方式选择该区的情况下，用户可选择任意对象，而不与在使用视角范围的情况下一样使用操作设备(例如，控制箱)。
而且，如果包括显示方向坐标的区是未设置任何对象的区，那么区选择单元104可被配置为不使区S进入选择待机状态。这样做，防止确定未设置任何对象的区的选择，并且加强方便性。
【头戴式显示系统的使用实例】
描述HMD系统100的特定使用实例。
(应用程序)
如图21中所示，对象布置单元103能够在每个区中设置应用程序的图标，作为对象。用户改变显示器202的方向，以便选择任意图标，并且执行第一触发输入。这样做，区选择单元104确定设置该图标的区的选择，并且通知图像生成单元101该选择。
根据与该图标对应的应用程序的输出，图像生成单元101生成显示图像，并且将该图像提供给显示器202。这样做，用户能够根据该应用程序的输出来查看图像。在接收用户进行的另一个触发输入(例如，表示在下部方向引导显示器202的输入)时，图像生成单元101根据应用程序的输出去除图像并且生成先前的图标选择图像。因此，通过使用HMD系统100，用户能够容易地使用该应用程序。
(小工具)
如图22中所示，对象布置单元103能够在一个或多个区中设置由特定的应用程序生成的小工具，作为对象。通过改变显示器202的方向，用户可查看小工具，并且可容易地获得信息。此外，在用户希望查看小工具的细节的情况下，用户在用户查看小工具的状态中执行第一触发输入。这样做，区选择单元104确定设置该小工具的区的选择，并且通知图像生成单元101该选择。
根据生成该小工具的应用程序的输出，图像生成单元101生成显示图像，并且将该图像提供给显示器202。这样做，用户能够根据该应用程序的输出来查看图像。在接收用户进行的另一个触发输入时，图像生成单元101根据应用程序的输出隐藏图像，并且生成先前的图标选择图像。通过这种方式，通过使用HMD系统100，用户能够容易地从小工具中获得简单信息，并且根据需要获得详细信息。
(应用程序启动器)
如图23中所示，对象布置单元103能够在一个或多个区中设置应用程序启动器(在后文中称为启动器)，作为对象。通过改变显示器202的方向，用户可查看启动器。在查看启动器时，用户执行第一触发输入。这样做，区选择单元104确定设置该启动器的区的选择，并且通知图像生成单元101该选择。
图像生成单元101生成包括应用程序选择菜单的图像作为显示图像，并且将该图像提供给显示器202。使用操作输入或显示器202的方向，用户操作选择菜单，来选择任意应用程序。图像生成单元101根据所选择的应用程序的输出，生成图像，作为显示图像。这允许用户根据应用程序的输出来查看图像。
在接收用户进行的另一个触发输入时，图像生成单元101根据应用程序的输出隐藏图像，并且生成先前的图标选择图像。通过使用启动器，即使在各个区中不能设置所有应用程序，例如，用户也能够选择任意应用程序。
(通知)
如图24中所示，对象布置单元103能够在一个或多个区中设置由一个特定的应用程序生成的通知，作为对象。通知的实例包括进入邮件、社会网络服务(SNS)的公告以及计划表通知。通过改变显示器202的方向，用户可查看通知。此外，在用户查看通知的状态中，在用户执行第一触发输入时，区选择单元104确定设置该通知的区的选择，并且通知图像生成单元101该选择。
根据由该通知生成的应用程序的输出，图像生成单元101生成显示图像，并且将该图像提供给显示器202。这就能够允许用户根据应用程序的输出查看图像。在接收用户进行的另一个触发输入时，图像生成单元101根据应用程序的输出隐藏图像，并且生成先前的图标选择图像。通过这种方式，必要时，通过使用HMD系统100并且使用生成了通知的应用程序，用户能够查看通知。
本技术不仅仅限于每个上述实施方式，并且在不背离本技术的主旨的情况下，可改变。
要注意的是，本技术还可采用以下配置。
(1)一种头戴式显示系统，包括：
坐标系设置单元，在真实空间内设置被划分成多个区的圆柱坐标系；
区选择单元，根据显示器的方向，在所述圆柱坐标系内，使所述多个区中的任一个进入选择待机状态；以及
图像生成单元，在确定选择保持在所述选择待机状态内的区时，生成要在所述显示器上显示的与所确定的区对应的显示图像。
(2)根据(1)所述的头戴式显示系统，其中，
所述区选择单元根据显示器的方向，在圆柱坐标系中获得由显示器的视角占据的视角范围，并且使所述多个区中在视角范围内具有最大面积的一个区进入选择待机状态。
(3)根据(1)或(2)所述的头戴式显示系统，其中，
所述区选择单元根据显示器的方向，在圆柱坐标系中获得位于显示器的方向的坐标，并且使所述多个区中包括所述坐标的一个区进入选择待机状态。
(4)根据(1)到(3)中任一项所述的头戴式显示系统，其中，
所述区选择单元接收第一触发输入并且确定选择保持在选择待机状态中的区。
(5)根据(1)到(4)中任一项所述的头戴式显示系统，其中，
所述圆柱坐标系将垂直方向设为高度方向，并且将水平方向设为圆周方向。
(6)根据(1)到(5)中任一项所述的头戴式显示系统，其中，
所述坐标系设置单元接收第二触发输入并且在所述圆柱坐标系的高度方向移动所述圆柱坐标系。
(7)根据(1)到(6)中任一项所述的头戴式显示系统，其中，
所述坐标系设置单元在所述圆柱坐标系的高度方向和圆周方向分割所述圆柱坐标系，从而将所述圆柱坐标系被划分成所述多个区。
(8)根据(1)到(7)中任一项所述的头戴式显示系统，其中，
所述坐标系设置单元在与所述圆柱坐标系的高度方向和圆周方向倾斜的方向分割所述圆柱坐标系，从而将所述圆柱坐标系被划分成所述多个区。
(9)根据(1)到(8)中任一项所述的头戴式显示系统，进一步包括：
对象布置单元，其在所述多个区的每个中布置对象，其中，
所述图像生成单元对应于所述圆柱坐标系中的视角范围生成对象的图像作为显示图像。
(10)根据(1)到(9)中任一项所述的头戴式显示系统，其中，
所述区选择单元不使其中未布置对象的区进入选择待机状态。
(11)根据(1)到(10)中任一项所述的头戴式显示系统，其中，
所述对象布置单元不在所述多个区中存在于真实空间内的显示器的正面方向上的一个区中布置对象。
(12)根据(1)到(11)中任一项所述的头戴式显示系统，其中，
所述对象是应用程序的图标，以及
在确定选择其中布置了特定图标的区时，所述图像生成单元根据与所述图标对应的应用程序的输出生成显示图像。
(13)根据(1)到(12)中任一项所述的头戴式显示系统，其中，
所述对象是由预定的应用程序生成的小工具，以及
在确定选择其中布置了特定小工具的区时，所述图像生成单元根据与所述小工具对应的应用程序的输出生成显示图像。
(14)根据(1)到(13)中任一项所述的头戴式显示系统，其中，
所述对象是应用程序启动器，以及
在确定其中布置了应用程序启动器的区的选择时，所述图像生成单元生成包括应用程序选择菜单的图像作为显示图像。
(15)根据(1)到(14)中任一项所述的头戴式显示系统，其中，
所述对象是由预定的应用程序生成的通知，以及
在确定选择其中布置了特定通知的区时，所述图像生成单元根据生成通知的应用程序的输出生成显示图像。
(16)根据(1)到(15)中任一项所述的头戴式显示系统，其中，
所述显示器是透视型显示器。
(17)一种头戴式显示器，包括：
坐标系设置单元，在真实空间内设置被划分成多个区的圆柱坐标系；
区选择单元，根据显示器的方向，在所述圆柱坐标系内使所述多个区中的任一个进入选择待机状态；以及
图像生成单元，在确定选择保持在所述选择待机状态内的区时，生成要在所述显示器上显示的与所确定的区对应的显示图像。
(18)一种头戴式显示器控制程序，使计算机用作：
坐标系设置单元，在真实空间内设置被划分成多个区的圆柱坐标系；
区选择单元，根据显示器的方向，在所述圆柱坐标系内使所述多个区中的任一个进入选择待机状态；以及
图像生成单元，在确定选择保持在所述选择待机状态内的区时，生成要在所述显示器上显示的与所确定的区对应的显示图像。
参考数字的描述
100、头戴式显示系统
101、图像生成单元
102、坐标系设置单元
103、对象布置单元
104、区选择单元
200、头戴式显示器
300、信息处理装置

Claims (18)

1.一种头戴式显示系统，包括：
坐标系设置单元，在真实空间内设置被划分成多个区的圆柱坐标系；
区选择单元，根据显示器的方向，在所述圆柱坐标系内使所述多个区中的任一个进入选择待机状态；以及
图像生成单元，在确定选择保持在所述选择待机状态中的区时，生成要显示在所述显示器上的与所确定的区对应的显示图像，其中，
所述区选择单元根据所述显示器的方向，在所述圆柱坐标系中获得由所述显示器的视角占据的视角范围，并且使所述多个区中在所述视角范围内具有最大面积的区中的一个区进入所述选择待机状态。
2.根据权利要求1所述的头戴式显示系统，其中，
所述区选择单元根据所述显示器的方向，在所述圆柱坐标系中获得位于所述显示器的方向的坐标，并且使所述多个区中包括所述坐标的区中的一个区进入所述选择待机状态。
3.根据权利要求1所述的头戴式显示系统，其中，
所述区选择单元接收第一触发输入并且确定选择保持在所述选择待机状态中的所述区。
4.根据权利要求1所述的头戴式显示系统，其中，
所述圆柱坐标系将垂直方向设为高度方向，并且将水平方向设为圆周方向。
5.根据权利要求1所述的头戴式显示系统，其中，
所述坐标系设置单元接收第二触发输入并且在所述圆柱坐标系的高度方向移动所述圆柱坐标系。
6.根据权利要求1所述的头戴式显示系统，其中，
所述坐标系设置单元在所述圆柱坐标系的高度方向和圆周方向分割所述圆柱坐标系，从而将所述圆柱坐标系划分成所述多个区。
7.根据权利要求1所述的头戴式显示系统，其中，
所述坐标系设置单元在与所述圆柱坐标系的高度方向和圆周方向倾斜的方向分割所述圆柱坐标系，从而将所述圆柱坐标系划分成所述多个区。
8.根据权利要求1所述的头戴式显示系统，进一步包括：
对象布置单元，在所述多个区的每个中布置对象，其中，
所述图像生成单元对应于所述圆柱坐标系中的所述视角范围生成所述对象的图像作为所述显示图像。
9.根据权利要求8所述的头戴式显示系统，其中，
所述区选择单元不使未布置所述对象的区进入所述选择待机状态。
10.根据权利要求8所述的头戴式显示系统，其中，
所述对象布置单元不在所述多个区中存在于所述真实空间内的所述显示器的正面方向上的区中的一个区中布置所述对象。
11.根据权利要求8所述的头戴式显示系统，其中，
所述对象是应用程序的图标，以及
在确定选择其中布置了特定图标的区时，所述图像生成单元根据与所述图标对应的应用程序的输出生成所述显示图像。
12.根据权利要求8所述的头戴式显示系统，其中，
所述对象是由预定的应用程序生成的小工具，以及
在确定选择其中布置了特定小工具的区时，所述图像生成单元根据与所述小工具对应的应用程序的输出生成所述显示图像。
13.根据权利要求8所述的头戴式显示系统，其中，
所述对象是应用程序启动器，以及
在确定选择其中布置了应用程序启动器的区时，所述图像生成单元生成包括应用程序选择菜单的图像作为所述显示图像。
14.根据权利要求8所述的头戴式显示系统，其中，
所述对象是由预定的应用程序生成的通知，以及
在确定选择其中布置了特定通知的区时，所述图像生成单元根据生成所述通知的所述应用程序的输出生成所述显示图像。
15.根据权利要求14所述的头戴式显示系统，其中
所述图像生成单元能够根据所述应用程序的输出隐藏所述显示图像。
16.根据权利要求1所述的头戴式显示系统，其中，
所述显示器是透视型显示器。
17.一种头戴式显示器，包括：
坐标系设置单元，在真实空间内设置被划分成多个区的圆柱坐标系；
区选择单元，根据所述显示器的方向，在所述圆柱坐标系内使所述多个区中的任一个进入选择待机状态；以及
图像生成单元，在确定选择保持在所述选择待机状态中的区时，生成要显示在所述显示器上的与所确定的区对应的显示图像，其中，
所述区选择单元根据所述显示器的方向，在所述圆柱坐标系中获得由所述显示器的视角占据的视角范围，并且使所述多个区中在所述视角范围内具有最大面积的区中的一个区进入所述选择待机状态。
18.一种存储介质，包括头戴式显示器控制程序，使计算机用作：
坐标系设置单元，在真实空间内设置被划分成多个区的圆柱坐标系；
区选择单元，根据显示器的方向，在所述圆柱坐标系内使所述多个区中的任一个进入选择待机状态；以及
图像生成单元，在确定选择保持在所述选择待机状态中的区时，生成要显示在所述显示器上的与所确定的区对应的显示图像，其中，
所述区选择单元根据所述显示器的方向，在所述圆柱坐标系中获得由所述显示器的视角占据的视角范围，并且使所述多个区中在所述视角范围内具有最大面积的区中的一个区进入所述选择待机状态。
CN201480001299.0A 2013-02-22 2014-01-15 头戴式显示系统、头戴式显示器以及头戴式显示器的控制程序 Active CN104335155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811185267.7A CN109656354B (zh) 2013-02-22 2014-01-15 信息处理装置和信息处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-033077 2013-02-22
JP2013033077 2013-02-22
PCT/JP2014/000140 WO2014129105A1 (ja) 2013-02-22 2014-01-15 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811185267.7A Division CN109656354B (zh) 2013-02-22 2014-01-15 信息处理装置和信息处理方法

Publications (2)

Publication Number Publication Date
CN104335155A CN104335155A (zh) 2015-02-04
CN104335155B true CN104335155B (zh) 2018-11-09

Family

ID=51390915

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480001299.0A Active CN104335155B (zh) 2013-02-22 2014-01-15 头戴式显示系统、头戴式显示器以及头戴式显示器的控制程序
CN201811185267.7A Active CN109656354B (zh) 2013-02-22 2014-01-15 信息处理装置和信息处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811185267.7A Active CN109656354B (zh) 2013-02-22 2014-01-15 信息处理装置和信息处理方法

Country Status (4)

Country Link
US (2) US9829997B2 (zh)
JP (3) JP6260613B2 (zh)
CN (2) CN104335155B (zh)
WO (1) WO2014129105A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014129105A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム
JP6209906B2 (ja) * 2013-09-05 2017-10-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
US20150362990A1 (en) * 2014-06-11 2015-12-17 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
JP6380091B2 (ja) 2014-12-26 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN104615241B (zh) * 2015-01-04 2017-08-25 谭希韬 基于头转动的穿戴式眼镜控制方法和系统
JP6433850B2 (ja) * 2015-05-13 2018-12-05 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
US9959677B2 (en) * 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
JP6585929B2 (ja) * 2015-06-02 2019-10-02 キヤノン株式会社 システム、システムの制御方法
CN108170279B (zh) * 2015-06-03 2021-07-30 塔普翊海（上海）智能科技有限公司 头显设备的眼动和头动交互方法
JP6831840B2 (ja) * 2015-10-20 2021-02-17 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元空間内の仮想オブジェクトの選択
CN105955454A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种用于虚拟现实系统的防眩晕方法和装置
CN105955457A (zh) * 2016-04-19 2016-09-21 北京小鸟看看科技有限公司 一种头戴显示设备的用户界面布局方法和头戴显示设备
KR20170129509A (ko) 2016-05-17 2017-11-27 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
JP6549066B2 (ja) * 2016-07-13 2019-07-24 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
WO2019013409A1 (en) 2017-07-10 2019-01-17 Samsung Electronics Co., Ltd. INCREASED REALITY VISIOCASTIC DEVICE FOR DISPLAYING TELEPHONE CONTENT AND HEALTH MONITORING
US11048325B2 (en) 2017-07-10 2021-06-29 Samsung Electronics Co., Ltd. Wearable augmented reality head mounted display device for phone content display and health monitoring
US10671237B2 (en) * 2017-10-16 2020-06-02 Microsoft Technology Licensing, Llc Human-machine interface for presenting a user interface on a virtual curved visual surface
US10460259B2 (en) 2017-12-04 2019-10-29 Bank Of America Corporation Dynamic progress recognition and recommendations based on machine learning
CN108008820B (zh) * 2017-12-14 2021-09-21 深圳位形空间科技有限公司 重定向行走方法、重定向行走服务器及重定向行走系统
WO2020157955A1 (ja) * 2019-02-01 2020-08-06 マクセル株式会社 仮想オブジェクト表示装置及び仮想オブジェクト表示方法
TWI719483B (zh) * 2019-05-17 2021-02-21 雅得近顯股份有限公司 便利備忘操作系統
JP6994005B2 (ja) * 2019-06-05 2022-01-14 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
US11178384B2 (en) * 2019-07-10 2021-11-16 Nintendo Co., Ltd. Information processing system, storage medium, information processing apparatus and information processing method
US11204649B2 (en) * 2020-01-30 2021-12-21 SA Photonics, Inc. Head-mounted display with user-operated control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
JP2004233909A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
CN102346544A (zh) * 2010-07-30 2012-02-08 鸿富锦精密工业（深圳）有限公司 具有互动功能的头戴式显示系统及显示方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US246967A (en) * 1881-09-13 Portable fountains with aerated
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
JPH0778054A (ja) * 1993-06-24 1995-03-20 Casio Comput Co Ltd データ処理装置
DE69434851T2 (de) * 1993-08-12 2007-04-19 Seiko Epson Corp. Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungsgerät
US6351261B1 (en) * 1993-08-31 2002-02-26 Sun Microsystems, Inc. System and method for a virtual reality system having a frame buffer that stores a plurality of view points that can be selected and viewed by the user
JPH07271546A (ja) * 1994-03-31 1995-10-20 Olympus Optical Co Ltd 画像表示制御方法
US6181371B1 (en) * 1995-05-30 2001-01-30 Francis J Maguire, Jr. Apparatus for inducing attitudinal head movements for passive virtual reality
JP3786294B2 (ja) * 1995-10-02 2006-06-14 ソニー株式会社 画像制御装置および方法
WO1999001838A2 (en) * 1997-07-03 1999-01-14 Koninklijke Philips Electronics N.V. Apparatus and method for creating and controlling a virtual workspace of a windowing system
JP4009433B2 (ja) * 2001-03-29 2007-11-14 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲームプログラム及びゲームシステム
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
JP2004199496A (ja) * 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP4389161B2 (ja) * 2004-04-12 2009-12-24 ソニー株式会社 表示装置及び表示方法
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
JP4519883B2 (ja) * 2007-06-01 2010-08-04 株式会社コナミデジタルエンタテインメント キャラクター表示装置、キャラクター表示方法、ならびに、プログラム
JP5272827B2 (ja) * 2009-03-18 2013-08-28 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010231290A (ja) 2009-03-26 2010-10-14 National Institute Of Advanced Industrial Science & Technology 頭部運動による入力装置及び方法
CN102023700B (zh) * 2009-09-23 2012-06-06 吴健康 一种三维人机交互系统
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
US8477425B2 (en) * 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
JP4858626B2 (ja) * 2010-04-16 2012-01-18 カシオ計算機株式会社 情報表示装置及びプログラム
JP5557316B2 (ja) * 2010-05-07 2014-07-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置、情報生成方法及びプログラム
JP5211120B2 (ja) * 2010-07-30 2013-06-12 株式会社東芝 情報表示装置及び情報表示方法
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US8643951B1 (en) * 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
WO2014128810A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイ及び画像表示装置
WO2014129105A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
JP2004233909A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
CN102346544A (zh) * 2010-07-30 2012-02-08 鸿富锦精密工业（深圳）有限公司 具有互动功能的头戴式显示系统及显示方法

Also Published As

Publication number Publication date
CN104335155A (zh) 2015-02-04
US20150138081A1 (en) 2015-05-21
JP2018097364A (ja) 2018-06-21
JPWO2014129105A1 (ja) 2017-02-02
JP2019212324A (ja) 2019-12-12
JP6260613B2 (ja) 2018-01-17
WO2014129105A1 (ja) 2014-08-28
US9829997B2 (en) 2017-11-28
CN109656354B (zh) 2022-05-31
US20180101248A1 (en) 2018-04-12
CN109656354A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN104335155B (zh) 头戴式显示系统、头戴式显示器以及头戴式显示器的控制程序
US11231845B2 (en) Display adaptation method and apparatus for application, and storage medium
US9323343B2 (en) Information processing method and information processing apparatus
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
JP5333397B2 (ja) 情報処理端末およびその制御方法
US20170153712A1 (en) Input system and input method
EP1667471B1 (en) Portable communication device with three dimensional display
JP6547741B2 (ja) 情報処理システムおよび情報処理方法
US20180314326A1 (en) Virtual space position designation method, system for executing the method and non-transitory computer readable medium
JP6236691B1 (ja) 端末装置、及びプログラム
US20220232191A1 (en) Content distribution device, content distribution program, content distribution method, content display device, content display program, and content display method
JP2021114343A (ja) 表示システム、及び表示システムの表示制御方法
KR20200051937A (ko) 가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템
US20160026244A1 (en) Gui device
JP6549066B2 (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
US11393161B2 (en) Heat map presentation device and heat map presentation program
US9591296B2 (en) Image processing device, image processing method, and image processing program that links three-dimensional protrusion intensity setting value and user interface spatial recognition sensitivity setting value
JP2018032383A (ja) 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
US20200293118A1 (en) Character input device, character input method, and character input program
JP6444345B2 (ja) 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
KR20160062971A (ko) 핸즈프리 유저인터페이스를 갖는 스마트 안경
JP2018142251A (ja) 仮想現実を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN108140357A (zh) 信息处理装置
JP6631299B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2023127116A (ja) 情報処理システム、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant