CN114556187A - 头部佩戴型显示装置和显示内容控制方法 - Google Patents

头部佩戴型显示装置和显示内容控制方法 Download PDF

Info

Publication number
CN114556187A
CN114556187A CN202080070691.6A CN202080070691A CN114556187A CN 114556187 A CN114556187 A CN 114556187A CN 202080070691 A CN202080070691 A CN 202080070691A CN 114556187 A CN114556187 A CN 114556187A
Authority
CN
China
Prior art keywords
head
content
wearing state
display device
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080070691.6A
Other languages
English (en)
Other versions
CN114556187B (zh
Inventor
中道拓也
山本将史
山崎航史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN114556187A publication Critical patent/CN114556187A/zh
Application granted granted Critical
Publication of CN114556187B publication Critical patent/CN114556187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明的头部佩戴型显示装置(1)包括:佩戴状态传感器(例如传感器(12)),其传感器值与佩戴状态相应地变化;基于佩戴状态传感器的输出判断佩戴状态的佩戴状态判断部(101);保存要显示的内容的存储部(106);变更存储部(106)中保存的内容的内容控制部(108);和显示存储部(106)中保存的内容的显示部(11),内容控制部(108)与佩戴状态判断部输出的佩戴状态相应地变更内容。

Description

头部佩戴型显示装置和显示内容控制方法
技术领域
本发明涉及头部佩戴型显示装置和显示内容控制方法。
背景技术
近年来,佩戴在用户的头部的、在现实空间上叠加显示虚拟空间的图像的透视型头部佩戴型显示装置(也称为头戴式显示器)正在受到关注。在工厂等中,存在一边观看作业工序等内容一边进行作业的用例,但存在难以在作业对象附近配置显示器等信息显示装置的情况。这样时,如果使用透视型头部佩戴型显示装置,则作业者不需要手持信息显示装置或前去观看远处的信息显示装置,能够改善作业效率。
关于头部佩戴型显示装置中的显示控制,通过采用与头部佩戴型显示装置和用户状态相应地切换显示图像的结构能够使其易于使用。例如,专利文献1中记载的头戴式显示器中,与头戴式显示器的佩戴位置相应地,在以脸部为中心的外侧显示视觉刺激影像,由此抑制双眼竞争,使显示图像易于观看。
另外,专利文献2中记载的头戴式显示器中,用摄像机检测用户的眼的信息(形状、尺寸、位置、倾斜、虹膜图案),使图像显示机构的至少一部分移动。
现有技术文献
专利文献
专利文献1:日本特开2019-132900号公报
专利文献2:日本特开2019-74582号公报
发明内容
发明要解决的技术问题
在作业者一边观看作业工序等内容一边进行作业的情况下,重要的在于以没有不自然感和疲劳的方式显示内容。例如,用户佩戴在单侧眼前固定的单眼型的头部佩戴型显示装置的情况下,在以脸部为中心佩戴头部佩戴型显示装置的眼的相反一侧配置内容时,向右转脸寻找内容的情况下难以观看。另外,用户佩戴在双眼前固定的双眼型的头部佩戴型显示装置的情况下,也取决于内容的配置和惯用眼的关系,而存在难以观看内容、无论如何都会妨碍作业的情况。
专利文献1中记载的方法中,在以脸部为中心的外侧显示视觉刺激影像,但对于显示图像的位置并没有变更。另外,专利文献2中记载的方法中,根据用户的眼的运动来控制显示机构,但并不使内容变得易于观看。进而,因为具有显示机构,所以头部佩戴型显示装置的大小和重量增加,存在妨碍作业的情况。
本发明是为了解决上述课题而得出的,目的在于提供一种头部佩戴型显示装置和显示内容控制方法,其通过与头部佩戴型显示装置的佩戴状态和用户的性质(使用程度、内容浏览次数等)、或其双方相应地最优地配置内容,而使内容变得易于观看。
用于解决技术问题的技术方案
为了达成上述目的,本发明的头部佩戴型显示装置特征在于,包括:佩戴状态传感器(例如传感器12),其传感器值与佩戴状态相应地变化;基于佩戴状态传感器的输出判断佩戴状态的佩戴状态判断部;保存要显示的内容的存储部;变更存储部中保存的内容的内容控制部;和显示存储部中保存的内容的显示部,内容控制部与佩戴状态判断部输出的佩戴状态相应地变更内容。关于本发明的其他方式,在后述的实施方式中进行说明。
发明效果
根据本发明,能够与头部佩戴型显示装置的佩戴状态和用户的性质相应地最优地配置内容,用户能够舒适地观看要求的内容。
附图说明
图1是表示实施方式1的头部佩戴型显示装置的外观的图。
图2是表示实施方式1的头部佩戴型显示装置的硬件结构的图。
图3是表示实施方式1的头部佩戴型显示装置及其周边设备的功能结构的图。
图4是表示实施方式1的佩戴状态判断部的处理的流程图。
图5是表示显示控制部截取存储部内保存的显示信息的方法的图。
图6A是表示实施方式1的作业者的视野和可配置内容区域的图。
图6B是表示实施方式1的作业者的视野和可配置内容区域的其他例子的图。
图6C是表示实施方式1的作业者的视野和可配置内容区域的另一个其他例子的图。
图7A是表示实施方式1的在右眼佩戴头部佩戴型显示装置的情况下的内容配置例的图。
图7B是表示实施方式1的在左眼佩戴头部佩戴型显示装置的情况下的内容配置例的图。
图8是表示实施方式2的头部佩戴型显示装置的外观的图。
图9是表示实施方式2的头部佩戴型显示装置及其周边设备的功能结构的图。
图10是表示实施方式2的佩戴状态判断部的处理的流程图。
图11是表示实施方式3的头部佩戴型显示装置的外观的图。
图12是表示实施方式4的头部佩戴型显示装置及其周边设备的功能结构的图。
图13是表示实施方式5的头部佩戴型显示装置及其周边设备的功能结构的图。
具体实施方式
对于本发明的实施方式,适当参考附图详细进行说明。
<<实施方式1>>
在实施方式1中,采用了用佩戴状态检测传感器检测用户的头部佩戴型显示装置的佩戴状态、与其相应地变更配置虚拟空间内的内容的结构。内容的变更包括变更内容的内容和配置。内容的内容的变更,例如是将内容的横向书写变更为纵向书写等。在为日语的情况下,将横向书写的内容配置在左侧的情况下,会从句尾起观看,难以阅读。将日语的内容配置在左侧的情况下通过改为纵向书写而使其易于阅读。内容的配置的变更,是变更后述的虚拟空间内的内容的位置。此后,说明变更内容的配置的结构。
图1是实施方式1的单眼型的头部佩戴型显示装置1的外观图。头部佩戴型显示装置1构成为透射型头戴式显示器(Head Mounted Display,以下称为HMD)。在使用HMD进行的作业辅助中,作业者400大多佩戴头盔300,所以使用在头盔300上连接了HMD的例子进行说明。
图1中,以能够用左眼观看的方式佩戴了头部佩戴型显示装置1的显示部11,但也能够以能够用右眼观看的方式佩戴头部佩戴型显示装置1的显示部11。该情况下,将头部佩戴型显示装置1上下倒转地佩戴。上下倒转的情况下,传感器12(佩戴状态传感器)也上下倒转。
头部佩戴型显示装置1包括显示部11、传感器12和控制器13。显示部11配置在作业者400的眼40的正面,由此在作业者400的视线方向上可以看到影像。传感器12检测作业者400的头部佩戴型显示装置1的佩戴状态和作业者400的头部的运动。
控制器13安装在头盔300中。臂320从头盔300上固定的固定夹具310延伸且将头部佩戴型显示装置1与臂320连接,由此将头部佩戴型显示装置1固定在头盔300上。臂320能够以使显示部11配置在眼40的最佳位置的方式自由地弯曲伸长。可以如图1所示地在2处固定头部佩戴型显示装置1。仅在1处固定时,头部佩戴型显示装置1易于以该处为支点旋转,所以眼40与显示部11的位置易于偏离。位置偏离时会发生影像的缺失和模糊,所以会导致观看性降低。如果在2处固定则难以旋转,所以能够抑制观看性降低。固定位置设为头部佩戴型显示装置1的显示部11的相反一侧端部、和头部佩戴型显示装置1以L字形弯折的场所是有效的。
图2是表示头部佩戴型显示装置1的硬件结构的图。控制器13的硬件包括CPU(Central Processing Unit)141、ROM(Read Only Memory)142、RAM(Random AccessMemory)143、传感器输入部144和影像输出部145等。
传感器12(佩戴状态传感器)输出与佩戴状态和作业者400的头部的运动相应的检测值。此处,示出了在显示部11上固定的传感器。作为传感器12的种类,不仅能够使用加速度传感器、角速度传感器、地磁传感器,也能够使用摄像机、麦克风等。另外,以下说明中,设为能够取得三轴加速度和三轴角速度的传感器。
另外,传感器12中,作为头部动作传感器,能够使用加速度传感器、角速度传感器、地磁传感器等。
CPU141执行ROM142或RAM143中保存的程序。具体而言,通过由CPU141执行程序,而实现头部佩戴型显示装置1的各部的功能。ROM142是用于保存CPU141执行的程序和执行所需的各种参数的存储介质。RAM143是用于保存用显示部11显示用的图像和各种信息的存储介质。另外,RAM143也发挥CPU141使用的数据的暂时保管区域的功能。头部佩戴型显示装置1也可以是分别具有多个CPU141和ROM142和RAM143的结构。
传感器输入部144从传感器12取得传感器值。在传感器输入部144与传感器12之间,可以用I2C(Inter-Integrated Circuit)、SPI(Serial Peripheral Interface)、UART(Universal Asynchronous Receiver Transmitter)等协议发送接收数据,也可以由传感器输入部144定期地观测传感器12输出的电压值等信号。
影像输出部145对ROM14或RAM15中保存的图像附加同步信号等,并将其发送至显示部11。
另外,头部佩戴型显示装置1的硬件结构不限定于图2所示的结构。例如也可以与头部佩戴型显示装置1分体地设置CPU141、ROM142、RAM143。该情况下,头部佩戴型显示装置1可以用通用的计算机(例如服务器计算机或个人计算机、智能手机等)实现。
另外,也能够将多个计算机用网络连接,由各计算机分担头部佩戴型显示装置1的各部的功能。另一方面,也能够用专用的硬件实现头部佩戴型显示装置1的功能中的1个以上。
图3是表示实施方式1的头部佩戴型显示装置1及其周边的功能结构的框图。头部佩戴型显示装置1与周边设备2和云服务器3连接。
头部佩戴型显示装置1包括显示部11、传感器12、佩戴状态判断部101、头部动作判断部102、显示控制部103、外部接口104、无线通信部105、存储部106、计时器107、内容控制部108。
周边设备2包括摄像机20、麦克风21、遥控器22、扬声器23。摄像机20能够拍摄作业者400的周围。麦克风21对头部佩戴型显示装置1输入作业者400的声音。遥控器22是指示影像切换和显示模式设定等的设备。扬声器23用声音辅助作业者400的作业。另外,遥控器是遥控控制器的简称。
头部佩戴型显示装置1与外部通信的情况(例如中央监视室与作业者400共享作业状况的情况)下,也可以设置无线通信部31和云服务器3。无线通信部105与无线通信部31进行无线通信。通信手段例如使用WiFi或Bluetooth。无线通信部31将从无线通信部105接收到的数据发送至云服务器3。此处所谓云服务器3位于远程管理者一方,设想由远程管理者一方对作业者400的HMD实施影像和声音的共享、设定值的变更、数据取得等。无线通信部31接收的数据可以是摄像机20的影像数据,也可以是从麦克风21输入的声音数据。无线通信部31将从云服务器3接收到的数据发送至无线通信部105。
佩戴状态判断部101根据用传感器12得到的加速度判断作业者400的佩戴状态。实施方式1的头部佩戴型显示装置1中,在脸的侧方固定了显示部11。将头部佩戴型显示装置1更换左右地佩戴的情况下,头部佩戴型显示装置1的上下颠倒。
图4是表示实施方式1的佩戴状态判断部101的处理的流程图。
步骤S401:佩戴状态判断部101从传感器12取得加速度传感器值。
步骤S402:根据取得的加速度传感器值求出HMD坐标系的垂直方向成分Zt。具体而言,求出头部佩戴型显示装置1的HMD坐标系三维正交坐标上的重力加速度矢量G,求出HMD坐标系的垂直方向成分Zt的大小。HMD坐标系是在显示部11上固定的坐标系,HMD坐标系的垂直方向是在作业者400垂直站立时与全局坐标的铅垂方向相同的方向。对于重力加速度矢量G,在传感器12的坐标系与HMD坐标系相同的情况下,将三轴加速度传感器输出的3个值(Xa,Ya,Za)分别代入重力加速度矢量G的元素,进行归一化以使模成为1,由此能够求出。
步骤S403:判断垂直方向成分Zt的大小是否大于阈值Dz。大于阈值Dz的情况下(步骤S403,是)转移至S404,在阈值Dz以下的情况下(步骤S403,否)返回S401。
步骤S404:使计时器107复位、并启动。
步骤S405:与步骤S401同样地从传感器12取得加速度传感器值。
步骤S406:与步骤S402同样地根据加速度传感器值求出HMD坐标系的垂直方向成分Z。
步骤S407:判断是否垂直方向成分Z的绝对值大于阈值Dz、且垂直方向成分Z与垂直方向成分Zt的符号相同。真的情况下(步骤S407,是)转移至步骤S408,假的情况下(步骤S407,否)返回步骤S401。通过判断垂直方向成分Z与垂直方向成分Zt的符号是否相同,而在佩戴状态判断部101的加速度传感器值的采样速率以下的时间中符号反转、且垂直方向成分Z的绝对值大于阈值Dz的情况下,使佩戴状态判断部101不进行左右的判断。
步骤S408:判断计时器107的值是否在阈值Dt秒以上。在阈值Dt以上的情况下(步骤S408,是)转移至步骤S409,小于的情况下(步骤S408,否)返回步骤S405。由此,仅在相同方向地佩戴阈值Dt秒以上的情况下,能够判断头部佩戴型显示装置1的佩戴方向。不使用计时器107的情况下,在垂直方向成分Z因作业者400的下蹲动作或前倾动作等而在比阈值Dt秒更短的时间内成为相反的情况下也会进行佩戴状态的判断。
步骤S409:判断垂直方向成分Z是否大于0。大于0的情况下(步骤S409,是)转移至步骤S410,0以下的情况下(步骤S409,否)转移至步骤S411。
步骤S410:判断为在右眼上佩戴了头部佩戴型显示装置1。
步骤S411:判断为在左眼上佩戴了头部佩戴型显示装置1。
其中,步骤S410与步骤S411能够根据HMD坐标系的垂直方向的轴的方向而交换。
另外,在步骤S402和步骤S406中,作为佩戴状态判断部101求出HMD坐标系的垂直方向成分Zt和HMD坐标系的垂直方向成分Z的其他方法,说明使用单轴的加速度传感器的例子。将单轴的加速度传感器的轴设置为在作业者400静止时与全局坐标的铅垂方向相同。此时,HMD坐标系的垂直方向成分Z等于传感器值Za。
返回图3,头部动作判断部102计算出头部朝向全局坐标系的何处。至少计算出头部佩戴型显示装置1的全局坐标系的横摆角Ry和俯仰角Rp。横摆角Ry和俯仰角Rp能够通过根据传感器12中包括的三轴角速度传感器的传感器值反复进行旋转运算而求出。另外,也能够通过将传感器12中包括的三轴角速度传感器与传感器12中包括的三轴加速度传感器组合而提高横摆角Ry和俯仰角Rp的精度。此时,横摆角Ry和俯仰角Rp的计算中,能够使用一般已知的卡尔曼滤波和Madgwick滤波。
显示控制部103与头部动作判断部102输出的横摆角Ry和俯仰角Rp相应地,抽取存储部106内保存的显示信息作为影像信号输出至显示部11。
图5是表示显示控制部103截取存储部106内保存的显示信息的方法的图。在存储部106中保存了虚拟空间VS。虚拟空间VS是包括内容图像的二维的图像,横向(X轴方向)上是Fw像素,纵向(Y轴方向)上是Fh像素。虚拟空间VS的原点像素(X,Y)=(0,0)保存在原点地址ADDR中,在存储部106内的存储器中以虚拟空间VS的横向连续的方式保存。另外,像素(Fw,0)与像素(0,1)在存储器中保存在连续的区域中。
显示区域S是实际在显示部11上显示的虚拟空间VS内的区域。显示控制部103从虚拟空间VS中适当地截取显示区域S。显示区域S是二维的图像,在作业者400的头部使视线朝向它时,以虚拟空间VS内的像素(Xs,Ys)为原点,在横向(X轴方向)上是Sw像素,在纵向(Y轴方向)上是Sh像素。
显示控制部103求出Xs和Ys,输出与其相应的显示区域S。此处,Xs和Ys用下式求出。其中,设显示部11的横向的FOV(Field of View)为FOVw[°]、纵向的FOV为FOVh[°]。
Xs=(Fw-Sw)/2-(Ry*Sw)/FOVw
Ys=(Fh-Sh)/2-(Rp*Sh)/FOVh
该方法中,在横摆角Ry和俯仰角Rp都是0[°]的情况下,虚拟空间VS的中心像素(Fw/2,Fh/2)与显示区域S的中心像素(Xs+Sw/2,Ys+Sh/2)是相同像素。
用该方法,能够使作业者400感觉到如同虚拟空间VS固定在现实空间中一般,能够随时选择性地显示必要的内容。
图6A至图6C是表示作业者400的视野和可配置内容区域CL的图。作业者400以能够用右眼观看显示部11的方式佩戴了头部佩戴型显示装置1。作业者400用右眼感知包括在右眼视野FR中的像,用左眼感知包括在左眼视野FL中的像。另外,双眼视野FS是右眼视野FR与左眼视野FL重叠的视野。因为头部佩戴型显示装置1是单眼型的,所以仅能用右眼或左眼中的任一者感知。例如,在右眼佩戴了头部佩戴型显示装置1的情况下,在从左眼视野FL减去双眼视野FS得到的视野中显示内容的情况下,作业者400不能对其进行感知。
另外,已知仅能在右眼视野中感知在右眼佩戴的头部佩戴型显示装置1的显示部11的情况下,也难以用右眼观看配置在虚拟空间VS内的左眼视野FL附近的内容。因此,通过根据头部佩戴型显示装置1的佩戴状态适当地变更内容的配置,能够提供一种易于观看内容的头部佩戴型显示装置。
图6A是将以脸部正面F为基准从佩戴相反侧20°起的佩戴一侧作为可配置内容区域CL的图。已知人在以脸部正面为基准与约20°相比更外侧存在视觉刺激的情况下,想要用存在视觉刺激的一侧的眼观看。通过将从佩戴相反侧20°起的佩戴一侧作为可配置内容区域,能够防止想要用未佩戴一侧的眼观看内容。另外,关于上述20°也存在个人差异,所以可以适当变更。
图6B是将从脸部正面F起的佩戴一侧作为可配置内容区域CL的图。与图6A的情况相比,更加能够用佩戴一侧的眼观看内容。
图6C是将以脸部正面为基准从佩戴侧20°起的佩戴一侧作为可配置内容区域CL的图。此时,几乎仅想要用右眼观看内容。
返回图3,内容控制部108控制存储部106内的虚拟画面VS中包括的内容。内容控制包括变更内容的位置、文字颜色、背景颜色、大小、内容中的任一者。
图7A是作业者400在右眼佩戴了头部佩戴型显示装置1的情况下的内容配置的例子。在虚拟画面VS中配置了内容C1和内容C2。内容C1的原点是虚拟空间VS的像素(Xc1,Yc1)。设定为初始状态的双眼视野FS的中心经过虚拟画面VS的中心像素(Fw/2,Fh/2)。此时,内容控制部108以内容C1和内容C2包括在可配置内容区域CL中的方式,变更内容C1和内容C2的位置。另外,也可以设定为初始状态的右眼视野FR的中心经过虚拟画面VS的中心像素(Fw/2,Fh/2)。
图7B是作业者400在左眼佩戴了头部佩戴型显示装置1的情况下的内容配置的例子。与右眼的情况同样,内容控制部108以内容C1和内容C2包括在可配置内容区域CL中的方式,变更内容C1和内容C2的位置。
内容C1和内容C2的位置能够根据内容各自的重要度而变更。内容各自的重要度保存在存储部106中。内容控制部108对内容各自的重要度进行比较,将重要度高的内容的位置变更为佩戴状态判断部101判断得到的眼的视野中心附近。此时,以各内容不重叠的方式变更位置。
另外,内容C1和内容C2的位置能够根据内容各自的内容类型而变更。内容类型例如是图像类型、横向书写日语字符串类型、纵向书写日语字符串类型等。内容各自的内容类型保存在存储部106中。内容控制部108与内容类型相应地变更内容的位置。例如内容类型是横向书写日语字符串类型的情况下,将内容配置在右侧。这是因为日语的横向书写是字符从左向右连续,所以通过配置在右侧,能够使作业者400从字符串的左侧起进行感知。
虚拟画面VS的中心像素(Fw/2,Fh/2)经过现实空间的何处,能够由周边设备2设定。例如,作业者400朝向要设定虚拟画面VS的中心像素(Fw/2,Fh/2)的方向,操作遥控器22,由此能够重置头部动作判断部102的横摆角Ry和俯仰角Rp。该重置可以将横摆角Ry和俯仰角Rp设为0,也可以仅将横摆角Ry设为0。通过不将俯仰角Rp设为0,能够在重置后也保持虚拟空间VS的上下位置。
内容控制部108能够根据从周边设备2和无线通信部105输出的信号,变更内容的内容。
根据实施方式1,通过判断佩戴状态,与其相应地变更虚拟空间内的内容的配置,能够实现一种在任一只眼上佩戴的情况下都易于观看内容的头部佩戴型显示装置。
<<实施方式2>>
实施方式2中,说明包括麦克风作为传感器12的例子。另外,对于与实施方式1具有相同结构、功能的部分附加相同附图标记,省略其详细说明。
图8是使用麦克风作为传感器12的头部佩戴型显示装置1的外观图。头部佩戴型显示装置具备麦克风12a和麦克风12b。该麦克风以夹着头部佩戴型显示装置1的方式设置,连接各麦克风的直线在作业者400佩戴头部佩戴型显示装置1时是铅垂的。将头部佩戴型显示装置1佩戴在相反一侧的情况下,麦克风12b成为上方,麦克风12a成为下方。
图9是表示实施方式2的头部佩戴型显示装置1及其周边的功能结构的框图。替代实施方式1中的佩戴状态判断部101地,具有佩戴状态判断部101A。佩戴状态判断部101A与从麦克风12a和麦克风12b输出的音量Va和音量Vb相应地,判断头部佩戴型显示装置1佩戴在左右哪一方的眼上。
图10是表示实施方式2的佩戴状态判断部101A的处理的流程图。通过该处理,能够根据作业者400发声时产生的、麦克风12a与麦克风12b的音量差判断头部佩戴型显示装置1佩戴在左右哪一方。
步骤S501:佩戴状态判断部101A取得从麦克风12a和麦克风12b输出的音量Va和音量Vb。
步骤S502:求出音量Va和Vb的音量差Vzt。
步骤S503:判断音量差Vzt的大小是否大于阈值Dvz。大于阈值Dvz的情况下(步骤S503,是)转移至S504,在阈值Dvz以下的情况下(步骤S503,否)返回S501。
步骤S504:使计时器107复位、并启动。
步骤S505:与步骤S501同样地取得从麦克风12a和麦克风12b输出的音量Va和音量Vb。
步骤S506:与步骤S502同样地求出音量Va和Vb的音量差Vz。
步骤S507:判断是否音量差Vz的绝对值大于阈值Dvz、且音量差Vz与音量差Vzt的符号相同。真的情况下(步骤S507,是)转移至步骤S508,假的情况下(步骤S507,否)返回步骤S501。
步骤S508:判断计时器107的值是否在阈值Dt秒以上。在阈值Dt以上的情况下(步骤S508,是)转移至步骤S509,小于的情况下(步骤S508,否)返回步骤S505。
步骤S509:判断音量差Vz是否大于0。大于0的情况下(步骤S509,是)转移至步骤S510,0以下的情况下(步骤S509,否)转移至步骤S511。
步骤S510:判断为在右眼上佩戴了头部佩戴型显示装置1。
步骤S511:判断为在左眼上佩戴了头部佩戴型显示装置1。
其中,步骤S510和步骤S511能够根据HMD坐标系的垂直方向的轴的方向而交换。
麦克风12a和麦克风12b输出的音量Va和Vb可以是仅有人的声音的音量。该情况下,能够用将人声以外截止的带通滤波器实现。
另外,麦克风12a和麦克风12b也能够设置在周边设备2中。此时,音量Va和音量Vb经由外部接口104输入至佩戴状态判断部101A。
根据实施方式2,通过用2个麦克风判断嘴的方向,能够判断头部佩戴型显示装置1佩戴在左右哪一方的眼上。由此,即使进行前倾动作或下蹲动作,也能够正确地判断头部佩戴型显示装置1的佩戴状态。
<<实施方式3>>
实施方式3中,说明包括照度传感器作为传感器12的例子。另外,对于与实施方式1至实施方式2具有相同结构、功能的部分附加相同附图标记,省略其详细说明。
一般而言,光大多从作业者400的头上入射。例如,室内的情况下在天花板上存在照明,室外的情况下在天空中存在太阳,光从头上入射。即,通过检测光较强的方向,能够判断头部佩戴型显示装置1佩戴在左右哪一方的眼上。
图11是使用照度传感器作为传感器12的头部佩戴型显示装置1的外观图。实施方式3中的头部佩戴型显示装置1将实施方式2中的麦克风12置换为照度传感器12c、将麦克风12b置换为照度传感器12d。与实施方式2同样,将头部佩戴型显示装置1佩戴在相反一侧的情况下,照度传感器12d成为上方,照度传感器12c成为下方。
照度传感器12c和照度传感器12d分别输出照度。实施方式3中的头部佩戴型显示装置1的佩戴状态判断方法,能够通过将实施方式2的音量Va和音量Vb分别置换为照度而实现。
另外,照度传感器12c和照度传感器12c也能够设置在周边设备2中。此时,照度经由外部接口104输入至佩戴状态判断部101A。
根据实施方式3,通过用2个照度传感器判断光的方向,能够判断头部佩戴型显示装置1佩戴在左右哪一方的眼上。由此,在高噪音环境等中不能应用实施方式2的情况下,也能够判断头部佩戴型显示装置1的佩戴状态。
<<实施方式4>>
实施方式4中,说明基于作业者400输入的佩戴状态或惯用眼信息变更内容的位置的例子。另外,对于与实施方式1至实施方式3具有相同结构、功能的部分附加相同附图标记,省略其详细说明。
实施方式4中的头部佩戴型显示装置1可以是单眼型也可以是双眼型。双眼型指的是左右眼双方能够观看显示部11的显示的头部佩戴型显示装置。
图12是表示实施方式4的头部佩戴型显示装置1及其周边的功能结构的框图。头部佩戴型显示装置1具备佩戴状态保存部111。佩戴状态保存部111保存头部佩戴型显示装置1的佩戴状态或作业者400的惯用眼信息。佩戴状态和惯用眼信息能够经由外部接口104从周边设备2输入。
例如,能够根据对从麦克风21得到的声音数据进行语音识别的结果得到佩戴状态和惯用眼信息。另外,能够在遥控器上配置右眼佩戴按钮和左眼佩戴按钮,通过按下它而得到佩戴状态和惯用眼信息。进而,能够用摄像机读取编入了设定值的QR(Quick Response)码(注册商标),得到佩戴状态和惯用眼信息。
内容控制部108与佩戴状态保存部111保存的佩戴状态或惯用眼信息相应地,变更虚拟空间VS内的内容的位置。佩戴状态保存部111保存的惯用眼信息是左眼的情况下,与佩戴状态是左方时同样地变更内容的位置,佩戴状态保存部111保存的惯用眼信息是右眼的情况下,与佩戴状态是右方时同样地变更内容的位置。
根据实施方式4,能够根据用户的输入使内容的位置变更为易于观看。
<<实施方式5>>
实施方式5是与作业者400的视线相应地判断内容的重要度、根据该内容重要度变更内容的位置的例子。另外,对于与实施方式1至实施方式4具有相同结构、功能的部分附加相同附图标记,省略其详细说明。
图13是表示实施方式5的头部佩戴型显示装置1及其周边的功能结构的框图。头部佩戴型显示装置1具有内容重要度判断部112。
内容重要度判断部112与作业者400的视线相应地变更存储部106中保存的各内容的重要度。作业者400的视线,指的是将显示区域S的中心像素(Xs+Sw/2,Ys+Sh/2)和眼40的中心连接的直线。内容重要度判断部112在显示区域S的中心像素中包括内容的情况下,使该内容的重要度增加。由此,能够提高经常观看的内容的重要度。另外,内容重要度判断部112也能够仅在持续观看内容一定时间的情况下,提高内容的重要度。由此,例如越过内容C1观看内容C2的情况下,能够不增加内容C1的重要度地,提高内容C2的重要度。
内容控制部108如实施方式1所说明地,对内容各自的重要度进行比较,将重要度高的内容的位置变更为佩戴状态判断部101判断得到的眼的视野中心附近。此时,以各内容不重合的方式变更位置。
<变形例>
本发明不限定于上述实施方式,包括各种变形例。例如,上述实施方式是为了易于理解地说明本发明而详细说明的,并不限定于必须具备说明的全部结构。另外,能够将某个实施方式的结构的一部分置换为其他实施方式的结构,也能够在某个实施方式的结构上添加其他实施方式的结构。另外,对于各实施方式的结构的一部分,能够追加、删除、置换其他结构。
附图标记说明
1 头部佩戴型显示装置
2 周边设备
3 云服务器
11 显示部
12 传感器(佩戴状态传感器,头部动作传感器)
12a,12b 麦克风(microphone)
12c,12d 照度传感器
13 控制器
40 眼
101,101A 佩戴状态判断部
102 头部动作判断部
103 显示控制部
104 外部接口
105 无线通信部
106 存储部
107 计时器
108 内容控制部
111 佩戴状态保存部
300 头盔
310 固定夹具
320 臂
400 作业者
CL 可配置内容区域
F 脸部正面
FL 左眼视野
FR 右眼视野
FS 两眼视野
L 视线
S 显示区域
VS 虚拟空间。

Claims (14)

1.一种头部佩戴型显示装置,其特征在于,包括:
佩戴状态传感器,其传感器值与佩戴状态相应地变化;
基于所述佩戴状态传感器的输出判断佩戴状态的佩戴状态判断部;
保存要显示的内容的存储部;
变更所述存储部中保存的内容的内容控制部;和
显示所述存储部中保存的内容的显示部,
所述内容控制部与所述佩戴状态判断部输出的佩戴状态相应地变更内容。
2.如权利要求1所述的头部佩戴型显示装置,其特征在于:
所述佩戴状态传感器是检测头部的动作的头部动作传感器,
所述头部佩戴型显示装置包括:
基于所述头部动作传感器的传感器值判断头部的动作的头部动作判断部;和
与所述头部动作判断部的判断相应地截取所述存储部中保存的影像并将其输出的显示控制部。
3.如权利要求1或2所述的头部佩戴型显示装置,其特征在于:
具有用于与外部进行通信的外部接口,
所述内容控制部与连接于所述外部接口的输入装置的输入相应地变更所述存储部中保存的内容。
4.如权利要求1或2所述的头部佩戴型显示装置,其特征在于:
所述内容控制部与所述佩戴状态判断部的判断相应地将所述存储部中保存的内容的位置变更为佩戴一侧。
5.如权利要求3所述的头部佩戴型显示装置,其特征在于:
所述外部接口与输入装置的输入相应地输出佩戴状态,
所述内容控制部与所述外部接口的输出相应地将所述存储部中保存的内容的位置变更为佩戴一侧。
6.如权利要求4或5所述的头部佩戴型显示装置,其特征在于:
所述佩戴一侧是以脸部正面为基准从佩戴相反侧20°起的佩戴一侧。
7.如权利要求4或5所述的头部佩戴型显示装置,其特征在于:
所述佩戴一侧是从脸部正面起的佩戴一侧。
8.如权利要求4或5所述的头部佩戴型显示装置,其特征在于:
所述佩戴一侧是以脸部正面为基准从佩戴侧20°起的佩戴一侧。
9.如权利要求1~7中任一项所述的头部佩戴型显示装置,其特征在于:
所述佩戴状态传感器是加速度传感器,
所述佩戴状态判断部在所述加速度传感器的传感器值的绝对值超过阈值持续一定时间以上的情况下基于该传感器值的正负判断佩戴状态。
10.如权利要求1~7中任一项所述的头部佩戴型显示装置,其特征在于:
所述佩戴状态传感器是2个以上的照度传感器,
所述佩戴状态判断部在所述2个以上的照度传感器的传感器值的差超过阈值持续一定时间以上的情况下基于该差的正负判断佩戴状态。
11.如权利要求1~7中任一项所述的头部佩戴型显示装置,其特征在于:
所述佩戴状态传感器是2个以上的麦克风,
所述佩戴状态判断部在所述2个以上的麦克风的音量的差超过阈值持续一定时间以上的情况下基于该差的正负判断佩戴状态。
12.如权利要求1~9中任一项所述的头部佩戴型显示装置,其特征在于:
还具有能够变更所述存储部中保存的内容的重要度的内容重要度判断部,
所述内容重要度判断部与连接于外部接口的输入装置的输入相应地变更所述存储部中保存的内容的重要度,
所述内容控制部基于所述存储部中保存的内容的重要度变更该内容的位置。
13.如权利要求12所述的头部佩戴型显示装置,其特征在于:
所述内容重要度判断部与显现在显示控制部输出的图像的中心的内容相应地变更所述存储部中保存的内容的重要度。
14.一种头部佩戴型显示装置的显示内容控制方法,其特征在于:
所述头部佩戴型显示装置包括:
佩戴状态传感器,其传感器值与佩戴状态相应地变化;
基于所述佩戴状态传感器的输出判断佩戴状态的佩戴状态判断部;
保存要显示的内容的存储部;
变更所述存储部中保存的内容的内容控制部;和
显示所述存储部中保存的内容的显示部,
在所述显示内容控制方法中,所述内容控制部与所述佩戴状态判断部输出的佩戴状态相应地变更内容。
CN202080070691.6A 2019-10-28 2020-08-31 头部佩戴型显示装置和显示内容控制方法 Active CN114556187B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019194911A JP2021067899A (ja) 2019-10-28 2019-10-28 頭部装着型表示装置および表示コンテンツ制御方法
JP2019-194911 2019-10-28
PCT/JP2020/032836 WO2021084884A1 (ja) 2019-10-28 2020-08-31 頭部装着型表示装置および表示コンテンツ制御方法

Publications (2)

Publication Number Publication Date
CN114556187A true CN114556187A (zh) 2022-05-27
CN114556187B CN114556187B (zh) 2024-02-09

Family

ID=75637129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080070691.6A Active CN114556187B (zh) 2019-10-28 2020-08-31 头部佩戴型显示装置和显示内容控制方法

Country Status (4)

Country Link
US (1) US20230221794A1 (zh)
JP (1) JP2021067899A (zh)
CN (1) CN114556187B (zh)
WO (1) WO2021084884A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052009A1 (en) * 2009-08-27 2011-03-03 Rafael Advanced Defense Systems Ltd. Unconstrained spatially aligned head-up display
US20130120449A1 (en) * 2010-04-28 2013-05-16 Noboru IHARA Information processing system, information processing method and program
JP2014071277A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US20170010850A1 (en) * 2015-07-06 2017-01-12 Seiko Epson Corporation Display system, display apparatus, method for controlling display apparatus, and program
CN106662925A (zh) * 2014-07-25 2017-05-10 微软技术许可有限责任公司 使用头戴式显示器设备的多用户注视投影
CN107728986A (zh) * 2017-11-07 2018-02-23 北京小鸟看看科技有限公司 一种双显示屏的显示方法以及显示装置
US20180148072A1 (en) * 2014-12-01 2018-05-31 Denso Corporation Image processing device
CN109727316A (zh) * 2019-01-04 2019-05-07 京东方科技集团股份有限公司 虚拟现实图像的处理方法及其系统
CN109960039A (zh) * 2017-12-22 2019-07-02 精工爱普生株式会社 显示系统、电子设备以及显示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111828A (ja) * 1998-10-06 2000-04-21 Sharp Corp 装着型画像表示装置
WO2013042530A1 (ja) * 2011-09-22 2013-03-28 Necカシオモバイルコミュニケーションズ株式会社 表示装置、表示制御方法およびプログラム
JP2014021272A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法
US20140129207A1 (en) * 2013-07-19 2014-05-08 Apex Technology Ventures, LLC Augmented Reality Language Translation
JP6079614B2 (ja) * 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
KR102212030B1 (ko) * 2014-05-26 2021-02-04 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
KR20160108983A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 웨어러블 전자 장치의 분실 방지 방법 및 장치
JP5869177B1 (ja) * 2015-09-16 2016-02-24 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
WO2017051564A1 (ja) * 2015-09-25 2017-03-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052009A1 (en) * 2009-08-27 2011-03-03 Rafael Advanced Defense Systems Ltd. Unconstrained spatially aligned head-up display
US20130120449A1 (en) * 2010-04-28 2013-05-16 Noboru IHARA Information processing system, information processing method and program
JP2014071277A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
CN106662925A (zh) * 2014-07-25 2017-05-10 微软技术许可有限责任公司 使用头戴式显示器设备的多用户注视投影
US20180148072A1 (en) * 2014-12-01 2018-05-31 Denso Corporation Image processing device
US20170010850A1 (en) * 2015-07-06 2017-01-12 Seiko Epson Corporation Display system, display apparatus, method for controlling display apparatus, and program
CN107728986A (zh) * 2017-11-07 2018-02-23 北京小鸟看看科技有限公司 一种双显示屏的显示方法以及显示装置
CN109960039A (zh) * 2017-12-22 2019-07-02 精工爱普生株式会社 显示系统、电子设备以及显示方法
CN109727316A (zh) * 2019-01-04 2019-05-07 京东方科技集团股份有限公司 虚拟现实图像的处理方法及其系统

Also Published As

Publication number Publication date
US20230221794A1 (en) 2023-07-13
WO2021084884A1 (ja) 2021-05-06
CN114556187B (zh) 2024-02-09
JP2021067899A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
US11235871B2 (en) Control method, control system, and smart glasses for first person view unmanned aerial vehicle flight
US9164588B1 (en) Wearable computing device with gesture recognition
EP3321776B1 (en) Operation input device and operation input method
KR101958778B1 (ko) 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
CN108027700B (zh) 信息处理装置
JP2013258614A (ja) 画像生成装置および画像生成方法
US10642348B2 (en) Display device and image display method
CN110998666B (zh) 信息处理装置、信息处理方法以及程序
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
US20200202161A1 (en) Information processing apparatus, information processing method, and program
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
WO2020241189A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6023568B2 (ja) 頭部装着型装置
JP2016082411A (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
US11137600B2 (en) Display device, display control method, and display system
CN111630852A (zh) 信息处理设备、信息处理方法和程序
US11651567B2 (en) Display terminal, display control system and display control method
CN111566597A (zh) 信息处理设备、信息处理方法和程序
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114556187B (zh) 头部佩戴型显示装置和显示内容控制方法
WO2020105269A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210314557A1 (en) Information processing apparatus, information processing method, and program
JP7203157B2 (ja) 映像処理装置およびプログラム
GB2582106A (en) Display device and display device control method
KR20180055637A (ko) 전자 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant