CN104488260B - 头戴型显示装置、图像显示系统以及头戴型显示装置的控制方法 - Google Patents

头戴型显示装置、图像显示系统以及头戴型显示装置的控制方法 Download PDF

Info

Publication number
CN104488260B
CN104488260B CN201380029754.3A CN201380029754A CN104488260B CN 104488260 B CN104488260 B CN 104488260B CN 201380029754 A CN201380029754 A CN 201380029754A CN 104488260 B CN104488260 B CN 104488260B
Authority
CN
China
Prior art keywords
display
during
image
sensor signal
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380029754.3A
Other languages
English (en)
Other versions
CN104488260A (zh
Inventor
杉原良平
龙田成示
富田晃央
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104488260A publication Critical patent/CN104488260A/zh
Application granted granted Critical
Publication of CN104488260B publication Critical patent/CN104488260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供头戴型显示装置、图像显示系统以及头戴型显示装置的控制方法,能够在用户正在步行或跑步时显示减少了晃动的显示图像,实现省电化。用户(10)能够将头戴型显示装置(100)佩戴在头部来观察显示图像,该头戴型显示装置(100)包含:显示部(110),其显示显示图像;以及控制部(120),其进行在显示部(110)中显示显示图像的时刻的控制处理。而且,控制部(120)进行控制处理,使得在显示部(110)中显示显示图像的显示期间和不显示显示图像的不显示期间交替反复,且1次显示期间为600ms以下。

Description

头戴型显示装置、图像显示系统以及头戴型显示装置的控制 方法
技术领域
本发明涉及头戴型显示装置、图像显示系统以及头戴型显示装置的控制方法等。
背景技术
已提出有如下装置:针对进行运动等的运动员或进行医疗保健等的人,感测运动中的各种状态,将该信息反馈给用户(本人)。根据该装置,用户能够基于反馈信息而进行适当的运动等,从而能够提高运动的效果。
但是,在运动中,存在难以将信息显示器(信息终端)持在手中或者感到烦杂这样的问题。此外,虽然也考虑利用头戴型显示装置,但装置自身较大或者是覆盖头部的形式,存在在运动中难以利用这样的问题。
不过,近年来,头戴型显示装置不断小型化,出现了能够在室外等移动环境下使用的装置。因此,在上述那样的、在运动中向用户反馈运动状态信息等的方法中,研究了利用HMD(头戴式显示器、头部佩戴显示器、Head Mounted Display)的方法。
作为这样的方法的具体例,在专利文献1中,公开了在行进中使HMD显示跑步距离或跑步步伐的技术。
现有技术文献
专利文献
专利文献1:日本特开2011-067277号公报
发明内容
发明要解决的问题
存在如下问题:在进行步行或跑步等运动的期间内在HMD中显示显示图像那样的方法中,由于HMD的佩戴者(用户)的运动,HMD自身的位置也变动,使得显示图像晃动而难以观察。
此外,在现有的HMD中,装置自身较大,因此电池的大小不成问题,但近年来,随着小型的HMD的实用化,使电池小型化的必要性提高起来。但是,在使电池小型化的情况下,存在电池容量下降、HMD的工作时间变短这样的问题。
根据本发明的几个方式,在用户步行或跑步的情况下,可提供头戴型显示装置、图像显示系统以及头戴型显示装置的控制方法等,能够得到减轻晃动的显示图像显示和省电化。
用于解决问题的手段
本发明的一个方式涉及头戴型显示装置,用户能够将该头戴型显示装置佩戴在头部来观察显示图像,所述头戴型显示装置包含:显示部,其显示所述显示图像;以及控制部,其进行时刻的控制处理,该时刻是在所述显示部中显示所述显示图像的时刻,所述控制部进行所述控制处理,使得在所述显示部中显示所述显示图像的显示期间和不显示所述显示图像的不显示期间交替反复,且1次所述显示期间为600ms以下。
在本发明的一个方式中,将1次显示期间设定为600ms以下。而且,在设定为600ms以下的显示期间中,在显示部中显示显示图像,在作为规定长度的期间的不显示期间中,不显示显示图像。
由此,在用户正在步行或跑步的情况下,能够以减轻晃动的方式显示显示图像。
此外,在本实施方式中,不是始终显示显示图像,而是瞬间地显示显示图像,因此,能够缩短总的显示时间、实现省电化。
此外,在本发明的一个方式中,可以是,所述控制部进行将双脚没有接地的双脚虚踏期间设定为所述显示期间、在所述双脚虚踏期间使所述显示部显示所述显示图像的所述控制处理。
由此,例如,在跑步时,能够在至少一只脚接地的瞬间不显示显示图像等,能够使显示图像看上去不晃动等。
此外,在本发明的一个方式中,可以是,所述控制部判定所述用户是否处于所述停止状态,在判定为所述用户处于停止状态的情况下,进行将所述显示期间设为600ms以上的所述控制处理。
由此,在用户处于停止状态的情况下,能够在600ms以上的期间中显示显示图像等。
此外,在本发明的一个方式中,可以包含传感器信号取得部,其从检测用户的运动的运动传感器取得运动传感器信号,所述控制部根据来自所述传感器信号取得部的所述运动传感器信号,进行设定所述显示期间和所述不显示期间的所述控制处理。
由此,例如即使在用户在步行或跑步中变更步伐的情况下,也能够以避开铅直方向的加速度的峰值的方式设定显示期间等。
此外,本发明的其它方式涉及头戴型显示装置,用户能够将该头戴型显示装置佩戴在头部来观察显示图像,所述头戴型显示装置包含:显示部,其显示所述显示图像;控制部,其进行时刻的控制处理,该时刻是在所述显示部中显示所述显示图像的时刻;以及传感器信号取得部,其从检测用户的运动的运动传感器取得运动传感器信号,所述控制部进行所述控制处理,使得在所述显示部中显示所述显示图像的显示期间和不显示所述显示图像的不显示期间交替反复,并根据所述传感器信号取得部取得的所述运动传感器信号来决定所述显示图像的显示开始时刻。
在本发明的其它方式中,取得运动传感器信号,根据运动传感器信号来决定显示开始时刻。
由此,能够与用户佩戴的运动传感器联动,进行使时刻与身体的运动较小的瞬间吻合的瞬间画面显示,能够使显示图像看上去更不晃动。
此外,在本实施方式中,不是始终显示显示图像,而是瞬间地显示显示图像,因此,能够缩短总的显示时间、实现省电化。
此外,在本发明的其它方式中,可以是,所述传感器信号取得部取得加速度传感器信号作为所述运动传感器信号,所述控制部根据从所述传感器信号取得部取得的所述加速度传感器信号,检测关于所述用户的运动的加速度的峰值,将包含检测出的第1峰值和第2峰值的中间时刻的规定的期间设定为所述显示期间。
由此,能够从显示期间中去除铅直方向的加速度的峰值时等。
此外,在本发明的其它方式中,可以是,所述控制部判定所述加速度的大小是否为所给的阈值以下并持续规定期间,在判定为所述加速度的大小为所述所给的阈值以下并持续所述规定期间的情况下,决定所述显示开始时刻,从决定出的所述显示开始时刻起,使所述显示部显示所述显示图像,在判定为所述加速度的大小大于所述所给的阈值并持续所述规定期间的情况下,决定所述显示图像的显示结束时刻,在决定出的所述显示结束时刻使得不显示所述显示图像。
由此,能够判定是否处于双脚虚踏期间而设定显示开始时刻和显示结束时刻等。
此外,在本发明的其它方式中,可以是,所述控制部根据所述运动传感器信号,判定所述用户是否处于停止状态,在判定为所述用户处于所述停止状态的情况下,进行使所述显示部继续显示所述显示图像的所述控制处理。
由此,能够在用户处于停止状态的情况下,使显示图像继续显示等。
此外,在本发明的其它方式中,可以是,所述头戴型显示装置包含图像选择部,该图像选择部从所述显示部中显示的多个图标图像中选择图标图像,所述传感器信号取得部取得:作为所述运动传感器信号的第1传感器信号;以及来自信息终端装置中设置的传感器的第2传感器信号,所述显示部显示排列显示有多个图标图像的选择菜单画面,所述图像选择部根据所述第1传感器信号和所述第2传感器信号,进行将所选择的所述图标图像变更为所述多个图标图像中的其它图标图像的处理。
由此,例如,能够在选择显示部中显示的图标图像的用途和决定显示期间或显示开始时刻等的用途中,并用运动传感器信号等。
此外,在本发明的其它方式中,可以包含:显示缓冲区,其存储多个显示图像;以及图像选择部,其选择所述显示部中显示的所述显示图像,所述图像选择部根据来自所述传感器信号取得部的所述运动传感器信号,从所述显示缓冲区中存储的所述多个显示图像中选择所述显示图像,所述显示部显示选择出的所述显示图像。
由此,能够根据运动传感器信号来选择显示部中显示的显示图像等,例如,能够与用户的头部的运动联动地变更显示图像等。
此外,在本发明的其它方式中,可以是,所述传感器信号取得部取得:显示时运动传感器信号,其表示所述显示期间内的所述用户的运动;以及不显示时运动传感器信号,其表示所述不显示期间内的所述用户的运动,所述图像选择部根据所述显示时运动传感器信号和所述不显示时运动传感器信号,从所述显示缓冲区中存储的所述多个显示图像中选择在所述显示部中显示的所述显示图像。
由此,能够检测出显示期间之后的不显示期间中的用户的运动,与不显示期间的用户的运动联动地变更显示图像等。
此外,在本发明的其它方式中,可以是,所述图像选择部根据所述显示时运动传感器信号和所述不显示时运动传感器信号,确定表示所述用户在所述显示期间朝向的方位和所述用户在所述不显示期间朝向的方位之间的方位差的运动信息,根据确定出的所述运动信息,从所述显示缓冲区中存储的所述多个显示图像中选择在所述显示部中显示的所述显示图像。
由此,例如,能够计算出用户在显示期间朝向的方位与用户在不显示期间朝向的方位之间的角度差来作为运动信息,根据计算出的角度差,变更在下一显示期间中显示的显示图像等。
此外,在本发明的其它方式中,可以是,在判断为由所述运动信息表示的所述方位差小于所给的阈值的情况下,所述图像选择部从所述显示缓冲区中存储的所述多个显示图像中选择初始显示图像来作为在所述显示部中显示的所述显示图像。
由此,用户无需进行特别的动作,即可使显示部显示初始显示图像等。
此外,在本发明的其它方式中,可以包含定时器部,该定时器部进行直到所述显示期间以及所述不显示期间期满的时刻为止的计数处理,在所述定时器部开始所述显示期间的所述计数处理的情况下,所述控制部使所述显示部显示所述显示图像,所述定时器部在完成了直到所述显示期间期满的时刻为止的所述计数处理的情况下,开始直到所述不显示期间期满的时刻为止的所述计数处理,在所述定时器部开始了所述不显示期间的所述计数处理的情况下,所述控制部使得不显示所述显示图像。
由此,能够实现处理的简化等,能够实现安装成本的降低等。
此外,在本发明的其它方式中,可以是,所述控制部在所述显示图像的所述显示期间,将照明光源设定为发光状态,在所述不显示期间,将所述照明光源设定为不发光状态,由此,进行切换所述显示图像的显示状态的所述控制处理。
由此,例如,在使用LED等作为照明光源时,能够以额定电流以上发光,进行瞬间更明亮的显示,提高可视性,即使在室外的明亮的环境下,也能够进行容易观察的显示等。
此外,本发明的其它方式涉及图像显示系统,其包含:所述头戴型显示装置;以及与所述头戴型显示装置进行通信的信息终端装置。
此外,本发明的其它方式涉及头戴型显示装置的控制方法,用户能够将该头戴型显示装置佩戴在头部来观察显示图像,在该控制方法中,进行所述显示图像的显示处理,进行显示所述显示图像的时刻的控制处理,使得显示所述显示图像的显示期间和不显示所述显示图像的不显示期间交替反复,且1次所述显示期间为600ms以下。
此外,本发明的其它方式涉及头戴型显示装置的控制方法,用户能够将该头戴型显示装置佩戴在头部来观察显示图像,在该控制方法中,进行所述显示图像的显示处理,进行从检测用户的运动的运动传感器取得运动传感器信号的处理,进行控制处理,使得显示所述显示图像的显示期间和不显示所述显示图像的不显示期间交替反复,根据取得的所述运动传感器信号,决定所述显示图像的显示开始时刻。
附图说明
图1(A)、图1(B)是第1实施方式的系统结构例。
图2(A)、图2(B)是将显示期间设定为600ms以下的方法的说明图。
图3是对第1实施方式的处理的流程进行说明的流程图。
图4是第2实施方式的系统结构例。
图5(A)、图5(B)是根据加速度来设定显示期间的方法的说明图。
图6是对第2实施方式的处理的流程进行说明的流程图。
图7(A)、图7(B)是根据两个传感器信号来选择图标图像的方法的说明图。
图8是第3实施方式的系统结构例。
图9是对第3实施方式的处理的流程进行说明的流程图。
图10是与第2实施方式的用户的头部的运动相伴的画面转变的例子。
具体实施方式
以下,对第1实施方式~第3实施方式进行说明。首先,综合地说明各实施方式的背景和方法的概要。接下来,按每一实施方式,对系统结构例、方法和处理流程进行详细说明。此外,以下说明的各实施方式不对权利要求书所述的本发明的内容进行不当限定。此外,各实施方式中说明的结构不是全部都是本发明必需的结构要件。
1.概要
已提出有如下装置:针对进行运动等的运动员或进行医疗保健等的人,感测运动中的各种状态,将该信息反馈给用户(本人)。根据该装置,用户能够基于反馈信息而进行适当的运动等,从而能够提高运动的效果。
但是,在运动中,存在难以将信息显示器(信息终端)持在手中或者感到烦杂这样的问题。此外,虽然也考虑利用头戴型显示装置,但装置自身较大或者是覆盖头部的形式,存在在运动中难以利用这样的问题。
不过,近年来,头戴型显示装置不断小型化,出现了能够在室外等移动环境下使用的装置。因此,在上述那样的、在运动中向用户反馈运动状态信息等的方法中,研究了利用HMD(头戴式显示器、头部佩戴显示器、Head Mounted Display)的方法。
作为这样的方法的具体例,在上述专利文献1中,公开了在行进中使HMD显示跑步距离或跑步步伐的技术。
但是,在上述专利文献1中公开的那样的方法中,当在步行中或跑步中等观察HMD的显示图像(显示信息)时,由于佩戴者(用户)的运动,存在显示图像晃动而难以观察这样的问题。
此处认为,在人类的大脑中,为了使实空间中固定的物体容易观察,配合身体的运动而进行晃动校正处理。因此,人类即使在步行或跑步中,也能够使周围的物体例如桌子、椅子或道路树木等不晃动而看上去清楚。
另一方面,固定在头部的显示器配合身体的运动而一起移动(位置变化)。因此,本来不需要对配合身体的运动而一起改变位置的HMD的显示器上的显示图像进行晃动校正处理,实际上人类的大脑对这样的显示图像也进行了晃动校正处理。结果认为,无论晃动校正处理如何优秀,都存在显示图像看上去晃动这样的相反效果。
因此,在后述的第1实施方式~第3实施方式中,不是始终显示显示图像,而仅在规定的期间中显示显示图像。由此,使得晃动的影响减轻而容易识别显示信息。
此处,通过调查判明,在步行时,大多以每1分钟平均100步左右的速度移动。基于该调查结果,每1步所需的时间为约600ms。
因此,在后述的第1实施方式中,在比1步短的时间(即600ms以下的时间)中进行1次画面显示,由此减轻晃动的影响。
此外,在步行时或跑步时,在将脚伸出而接触地面的瞬间,向整个身体传递最大的冲击,因此,在着地时,HMD的位置变动也变大。因此认为,如果以避开着地的瞬间而在运动最小的期间中显示显示图像,则即使在步行中或跑步中,也能够进行容易观察的信息显示。
因此,在第2实施方式中,与加速度传感器等运动传感器协作,根据来自运动传感器的波形,在上述那样的着地时刻以外的时刻开始画面显示。或者,与运动传感器的周期性波形同步地,周期性地进行画面显示。
此外,在第3实施方式中,使用定时器,周期性地使显示图像显示/不显示。
此外,在现有的HMD中,装置自身较大,因此电池的大小不成问题,但近年来,随着小型的HMD实用化,使电池小型化的必要性提高起来。但是,在使电池小型化的情况下,存在电池容量下降、HMD的工作时间变短这样的问题。在第1实施方式~第3实施方式中,不是始终显示显示图像,而是瞬间地显示显示图像,因此,能够缩短总的显示时间、实现省电化。以下,对第1实施方式~第3实施方式进行详细说明。
2.第1实施方式
2.1.系统结构例
首先,在第1实施方式中,图1(A)示出用户10佩戴有头戴型显示装置100的情况。在本实施方式中,在用户10佩戴在头部的头戴型显示装置100中安装有运动传感器200,能够通过运动传感器200来检测用户10的头部的运动。此外,运动传感器200不是必须设置在头戴型显示装置100或用户10的头部,也可以设置在用户10的其它部位。此外,图1(A)的300表示信息终端装置,信息终端装置300在后述的第2实施方式的说明中使用。
接下来,图1(B)示出本实施方式的头戴型显示装置100以及包含该装置的图像显示系统的结构例。
头戴型显示装置(显示装置)100包含显示部110、控制部120和传感器信号取得部130。此外,作为图像显示系统的例子,举出了在头戴型显示装置100中安装有运动传感器200而成的装置等。此外,头戴型显示装置100以及包含该装置的图像显示系统不限于图1的结构,可以是省略它们的一部分的构成要素或追加其它构成要素等各种变形实施。
接下来,对各部的连接进行说明。运动传感器(加速度传感器)200与传感器信号取得部130连接,传感器信号取得部130与控制部120连接。而且,控制部120与显示部110连接。
接下来,对由各部进行的处理进行说明。
首先,显示部110在由控制部120决定出的显示期间中显示显示图像。显示部110例如可以由液晶显示器、有机EL显示器或电子纸等实现。
此外,控制部120进行在显示部中显示显示图像的时刻的控制处理。控制部120的功能可以由各种处理器(CPU等)、ASIC(门阵列等)等硬件或程序等实现。
此外,传感器信号取得部130从运动传感器200取得运动传感器信号。例如,传感器信号取得部130是通过有线或无线与运动传感器200等进行通信的通信部等。此外,例如取得后述的加速度传感器信号作为运动传感器信号。
此处,运动传感器200检测运动传感器信号,与传感器信号取得部130之间进行运动传感器信号的收发处理。运动传感器200例如是加速度传感器。在该情况下,检测出加速度传感器信号作为运动传感器信号。加速度传感器例如由电阻值会因外力而增减的元件等构成,来检测三轴的加速度信息。此外,加速度传感器也可以是六轴的加速度传感器,其除了检测三轴的力之外,还检测绕三轴的力矩(moment)。此外,运动传感器不限于加速度传感器,也可以是地磁传感器等方位传感器或陀螺仪传感器等。方位传感器以角度(0°~360°)来计测传感器朝向的方位。地磁传感器例如由电阻值或阻抗值会因磁场的强度而增减的元件等构成,来检测三轴的地磁信息。此外,也可以使用兼备地磁传感器、加速度传感器、陀螺仪传感器的功能的传感器。
2.2.方法
在以上的本实施方式的头戴型显示装置100中,用户10能够将头戴型显示装置100佩戴于头部来观察显示图像,该头戴型显示装置100包含:显示部110,其显示显示图像;以及控制部120,其进行在显示部110上显示显示图像的时刻的控制处理。而且,控制部120进行控制处理,使得在显示部110中显示显示图像的显示期间和不显示显示图像的不显示期间交替反复,且1次显示期间为600ms以下。
使用图2(A)和图2(B),对具体例进行说明。图2(A)是设纵轴为铅直方向的加速度的大小、设横轴为时间而示出步行中的加速度[G]的曲线图。如图2(A)的曲线图所示,在步行时,铅直方向的加速度的大小逐渐变化,能够周期性地观测到P1和P2那样的峰值。具体而言,在用户的脚接触地面的时刻,加速度的大小成为峰值。即,从峰值到峰值的期间对应于约1步的期间。而且,在这样铅直方向的加速度的大小成为峰值时,显示图像大多看去上晃动最大。
此外,据统计,可以说人步行100步所需的时间为约1分钟,在该情况下,对应于1步的时间为600ms左右。
总结以上,在步行时,随着铅直方向的加速度变大(着地时),显示图像看去上晃动很大,另一方面,随着铅直方向的加速度变小,显示图像看上去不怎么晃动。而且,铅直方向的加速度以其大小按约600ms的周期出现峰值的方式进行变化。
因此认为,为了使显示图像看上去不晃动,如果避开铅直方向的加速度变大的期间,而在铅直方向的加速度变小的期间中显示显示图像,则能够减轻晃动。
因此,在本实施方式中,如图2(B)所示,为了避免在上述加速度的峰值时显示显示图像,将1次显示期间设定为600ms以下。
此处,如图2(B)所示,1次显示期间是指,在使显示图像的显示和不显示交替反复的情况下,从在显示部110中显示显示图像起到最初将显示图像设为不显示为止的期间。具体而言,是指期间DP等。
而且,在设定为600ms以下的显示期间DP中,在显示部110中显示显示图像,在作为规定长度的期间的不显示期间NDP,不显示显示图像。显示期间DP以及不显示期间NDP的长度可以任意设定,例如,可以将从600ms减去显示期间DP后的期间设定为不显示期间NDP等。
此外,为了进一步减轻晃动的影响,期望将显示期间DP设定为300ms以下。另一方面,在显示期间过短时,用户将不能识别出显示图像,因此,显示期间期望为20ms以上。
此外,例如,也可以预先计测用户的1步所需的时间,将从计测(计算)的1步的期间减去显示期间后的期间设定为不显示期间。此外,也可以随机地将比上述周期(600ms)短的期间设定为显示期间。此外,不是必须按每1步来设置显示期间,也可以每4步进行1次显示,或者从一次显示起经过了一定时间后进行显示等。此外,关于显示期间以及不显示期间的设定方法,不限于上述方法或后述方法,可以通过任意方法来设定。
由此,在用户步行或跑步的情况下,能够以减轻晃动的方式显示显示图像。
此外,在本实施方式中,不是始终显示显示图像,而是瞬间地显示显示图像,因此,能够缩短总的显示时间、实现省电化,能够减小电池等。其结果是,能够减轻佩戴于用户身体的装置的重量,减轻运动时的负担等。
此外,例如,如后面将使用图5(A)和图5(B)详细记述那样,在跑步时,存在双脚虚踏期间,与接地时相比,在双脚虚踏期间中,铅直方向的加速度的大小变小。因此认为,如果在双脚虚踏期间显示显示图像且在此外的期间不显示显示图像,则能够使显示图像看去上不怎么晃动。
因此,控制部120可以将双脚没有接地的双脚虚踏期间设定为显示期间,进行在双脚虚踏期间使显示部110显示显示图像的控制处理。
此处,双脚虚踏期间是指身体重量未施加于双脚的期间。换言之,双脚虚踏期间是指左脚接地的期间与右脚接地的期间之间的期间。在后述的图5(A)中,是由BG表示的期间。
由此,例如,在跑步时,能够在至少一只脚接地的瞬间不显示图像等,能够使显示图像看上去不晃动等。
此外,据统计,可以说人每1分钟跑180步~200步,在该情况下,对应于1步的时间为350ms左右。因此,在跑步时,期望将1次显示期间设定为350ms以下。此外,为了进一步减轻晃动,期望的是,仅将双脚虚踏期间的加速度的变化变得稳定的期间即显示期间设定为约175ms以下。
此外,在用户在没有进行步行或跑步等运动而处于停止状态的情况下,由于用户的身体大多不会晃动,因此,HMD也不会晃动,显示图像很少会看去上晃动。因此,在用户处于停止状态时,不需要将显示期间设定为600ms以下。此外,在停止时,显示期间较长的话,大多容易观察显示图像。
因此,控制部120可以判定用户10是否处于停止状态,在判定为用户10处于停止状态的情况下,进行将显示期间设为600ms以上的控制处理。
由此,在用户处于停止状态的情况下,能够在600ms以上的期间中显示显示图像等。例如,可以控制为始终显示显示图像。
此外,与加速度传感器同步地,检测加速度的变化较小的期间,使显示期间与该期间吻合,由此,能够进一步减轻晃动。
此外,用户不一定始终按固定的周期来步行或跑步,有时会在步行或跑步中变更步伐。
因此,本实施方式的头戴型显示装置100可以包含传感器信号取得部130,该传感器信号取得部130从检测用户10的运动的运动传感器200取得运动传感器信号。进而,控制部120可以根据来自传感器信号取得部130的运动传感器信号,进行设定显示期间和不显示期间的控制处理。
由此,例如即使在用户在步行或跑步中变更步伐的情况下,也能够以避开铅直方向的加速度的峰值的方式设定显示期间等。
2.3.处理的流程
以下,使用图3的流程图,对本实施方式的处理的流程进行说明。
首先,传感器信号取得部130取得加速度传感器信号(S101)。进而,传感器信号取得部130将取得的加速度传感器信号通知给控制部120,控制部120根据取得的加速度传感器信号,判定用户是否步行或跑步(S102)。
接下来,当在步骤S102中判定为用户没有步行或跑步的情况下,决定显示图像的显示期间(S103),在决定出的显示期间中,使显示部110显示显示图像(S104)。然后,判定是否存在显示控制处理的结束指示(S111),在判定为存在结束指示的情况下,结束全部处理。另一方面,在判定为不存在结束指示的情况下,返回到步骤S101的处理。
此处,结束指示例如是指断开HMD的电源的命令(信息)或关闭显示控制的命令(信息)等。断开电源的命令例如是由用户通过作为HMD的电源开关等的I/F部输入的。此外,关闭显示控制的命令是通过HMD或与HMD通信的信息终端中设置的操作部而输入的。此外,I/F部以及操作部在图1等中未示出。
另外,当在步骤S102中判定为用户步行或跑步的情况下,控制部120接着判定显示期间是否期满(S105)。进而,在判定为显示期间期满的情况下,显示部110将显示图像设为不显示(S106)。然后,与上述同样地,判定是否存在结束指示(S111),在判定为存在结束指示的情况下,结束全部处理。另一方面,在判定为不存在结束指示的情况下,返回到步骤S101的处理。
此外,另一方面,当在步骤S105中判定为显示期间没有期满的情况下,控制部120判定加速度是否为规定的阈值以下并持续规定期间(S107)。
此时,在判定为加速度为规定的阈值以下并持续规定期间的情况下,控制部120检测加速度的峰值(S108),决定显示开始时刻和显示期间(S109)。进而,在从决定出的显示开始时刻开始的显示期间中,使显示部110显示显示图像(S110)。然后,与上述同样地,判定是否存在结束指示(S111),在判定为存在结束指示的情况下,结束全部处理。另一方面,在判定为不存在结束指示的情况下,返回到步骤S101的处理。
此外,当在步骤S107中判定为加速度大于规定的阈值并持续规定期间的情况下,不进行任何显示控制,而判定是否存在结束指示(S111),在判定为存在结束指示的情况下,结束全部处理。另一方面,在判定为不存在结束指示的情况下,返回到步骤S101的处理。
3.第2实施方式
3.1.系统结构例
在第2实施方式中,与图1(A)同样地,用户10将头戴型显示装置100和运动传感器200佩戴在头部,将信息终端装置300佩戴于身体。此外,运动传感器200以及信息终端装置300的佩戴位置不限于此,可以佩戴在任意位置。
接下来,图4示出第2实施方式的头戴型显示装置100以及包含该装置的图像显示系统的结构例。
头戴型显示装置100包含显示部110、控制部120、传感器信号取得部130、图像选择部150、显示缓冲区160。此外,图像显示系统包含头戴型显示装置100、运动传感器200、信息终端装置300。此外,头戴型显示装置100以及包含该装置的图像显示系统不限于图4的结构,可以是省略它们的一部分的构成要素或追加其它构成要素等各种变形实施。
接下来,对各部的连接进行说明。运动传感器(加速度传感器)200以及信息终端装置300的传感器310与传感器信号取得部130连接,传感器信号取得部130与控制部120以及图像选择部150连接。而且,控制部120与显示部110和显示缓冲区160连接。此外,图像选择部150与显示缓冲区160连接,显示缓冲区160与显示部110连接。
接下来,对由各部进行的处理进行说明。显示部110、控制部120以及运动传感器200与第1实施方式相同,因而省略说明。此外,关于图像选择部150的功能,将在后面记述。
传感器信号取得部130除了取得来自运动传感器200的运动传感器信号以外,还从信息终端装置300的传感器310取得传感器信号。
此外,显示缓冲区160具有存储多个显示图像或多个图标图像的图像存储区域,显示缓冲区160的图像存储区域按照所给的显示布局来存储这些图像数据。此外,显示缓冲区160的图像存储区域可以由RAM等存储器或HDD(硬盘驱动器)等实现。
此外,信息终端装置300例如是智能手机等便携设备(电子设备),具有传感器310。传感器310例如可以是在第1实施方式的运动传感器200的说明中记述的任意一种传感器(加速度传感器、方位传感器、陀螺仪传感器等)。
3.2.方法
在以上的本实施方式的头戴型显示装置100中,用户10能够将头戴型显示装置100佩戴于头部来观察显示图像,该头戴型显示装置100包含:显示部110,其显示显示图像;控制部120,其进行在显示部110中显示显示图像的时刻的控制处理;以及传感器信号取得部130,其从检测用户10的运动的运动传感器200取得运动传感器信号。而且,控制部120进行控制处理,使得在显示部110中显示显示图像的显示期间和不显示显示图像的不显示期间交替反复,并根据传感器信号取得部130取得的运动传感器信号来决定显示图像的显示开始时刻。
此处,运动传感器信号是指传感器信号取得部130从运动传感器200取得的信号。运动传感器信号例如是指加速度传感器信号、陀螺仪传感器信号或方位传感器信号等。
接下来,使用图5(A)和图5(B),对具体例进行说明。图5(A)是设纵轴为铅直方向的加速度的大小、设横轴为时间而示出跑步中的加速度[G]的曲线图。如图5(A)的曲线图所示那样,与步行时同样,在跑步时,铅直方向的加速度的大小也逐渐变化,能够周期性地观测到P3和P4那样的峰值。具体而言,在用户的脚接触地面的时刻,加速度的大小成为峰值。即,从峰值到峰值的期间对应于约1步的期间。而且,这样,在铅直方向的加速度的大小成为峰值时,大多显示图像看去上晃动最大。这也与步行时相同。
此外,与步行时不同的是,在跑步时,存在双脚虚踏期间BG(双脚非接地期间)。如上所述,双脚虚踏期间BG(双脚非接地期间)是指仅左脚接触地面的左脚接地期间LG与仅右脚接触地面的右脚接地期间RG之间的期间BG。而且,如图5(A)所示,在双脚虚踏期间BG中,与左脚接地期间LG和右脚接地期间RG相比,观测到的铅直方向的加速度变小。即,在双脚虚踏期间BG中,HMD的晃动(位置变动)也变小,显示图像看上去也不晃动。
因此,在本实施方式中,取得运动传感器信号,根据运动传感器信号来决定显示开始时刻。例如,如图5(B)所示,将双脚虚踏期间内的规定时刻S1决定为显示开始时刻,来设定显示期间DP。此外,关于显示期间DP以及不显示期间NDP的设定方法,例如通过在第1实施方式中记述的任意方法来进行。
由此,能够与用户佩戴的运动传感器联动,进行使时刻与身体的运动较小的瞬间吻合的瞬间画面显示,能够使显示图像看上去更不晃动。此外,还能够实现在第1实施方式中记述的省电化和对用户的负担的减轻等。
此外,作为利用运动传感器信号的具体的方法,可以由传感器信号取得部130取得加速度传感器信号,来作为运动传感器信号。进而,控制部120根据从传感器信号取得部130取得的加速度传感器信号,检测关于用户10的运动的加速度的峰值,将包含检测出的第1峰值和第2峰值的中间时刻的规定的期间设定为显示期间。
此处,用户10的运动例如是指用户10的头部的运动等。
此外,第1峰值和第2峰值的中间时刻例如是指图5(A)中的第1峰值P3和第2峰值P4之间的期间中的任意时刻MT等。如上所述,如果将双脚虚踏期间BG内的任意时刻MT设为第1峰值和第2峰值的中间时刻,则能够将包含双脚虚踏期间的一部分或全部的期间设定为显示期间。此外,在图5(A)中,设第1峰值为P3、第2峰值为P4而进行了说明,但第1峰值也可以是P3以外的峰值,第2峰值也可以是P4以外的峰值。
由此,能够从显示期间中去除铅直方向的加速度的峰值时等。
此外,例如,作为判定当前是否处于双脚虚踏期间内的具体方法,存在如下方法。
例如,控制部120可以判定加速度的大小是否为所给的阈值以下并持续规定期间。进而,在判定为加速度的大小为所给的阈值以下并持续规定期间的情况下,控制部120可以决定显示开始时刻,从决定出的显示开始时刻起,使显示部110显示显示图像。另一方面,在判定为加速度的大小大于所给的阈值并持续规定期间的情况下,控制部120可以决定显示图像的显示结束时刻,在决定出的显示结束时刻使显示图像不显示。
即,在判定为加速度的大小为所给的阈值以下并持续规定期间的情况下,判定为双脚虚踏期间,控制部120决定用于显示显示图像的显示开始时刻。此外,在本实施方式中,可以将判定为双脚虚踏期间的那个瞬间设定为显示开始时刻,也可以将从判定为双脚虚踏期间的时刻起规定期间后的任意时刻设定为显示开始时刻。在图5(B)中,例如,S1为显示开始时刻。
另一方面,在判定为加速度的大小大于所给的阈值并持续规定期间的情况下,判定为不是双脚虚踏期间,控制部120决定用于将显示图像设为用于不显示的显示结束时刻。此外,关于显示结束时刻,可以将判定为不是双脚虚踏期间的那个瞬间设定为显示结束时刻,也可以将从判定为不是双脚虚踏期间的时刻起规定期间后的任意时刻设定为显示结束时刻。在图5(B)中,例如,E1为显示结束时刻。
由此,能够判定出是否处于双脚虚踏期间,并设定显示开始时刻和显示结束时刻等。此外,在与显示开始时刻一并设定显示结束时刻的情况下,自动确定出显示期间,因此,例如,不需要按在第1实施方式中说明的方法来设定显示期间。
此外,如在第1实施方式中说明的那样,在本实施方式中,在用户处于停止状态的情况下,显示图像很少会看去上晃动。因此,直到用户处于停止状态时为止,不需要使显示图像闪烁地显示。即,不需要设定显示开始时刻和显示结束时刻。
因此,控制部120可以根据运动传感器信号,判定用户10是否处于停止状态,在判定为用户10处于停止状态的情况下,进行使显示部110继续显示显示图像的控制处理。
由此,能够在用户处于停止状态的情况下,使显示图像继续显示等。
另外,到此为止,对为了决定显示期间或显示开始时刻等而使用运动传感器信号的方法进行了记述,此外,也可以将运动传感器信号用于以下那样的用途等。
例如,对显示部110显示图7(A)、或图7(B)所示的选择菜单画面DS的例子进行说明。此时,在选择菜单画面DS中,显示出“是”(AIM1)、“否”(AIM2)、“取消”(AIM3)这3个图标图像,它们表示针对“执行该操作?”这样的询问的回答。
此时,用户从AIM1~AIM3的图标图像中选择表示与自己的意愿相符的内容的图标图像,在本实施方式中,此时,与用户的摇头动作联动地选择图标图像。此外,在图7(A)和图7(B)中,图标图像的外框为粗框的图像处于被选择的状态。即,在图7(A)和图7(B)中,均选择了“否”(AIM2)的图标图像。
作为这样来选择图标图像的方法的具体例,考虑以下这样的方法。例如,除了佩戴在头部的运动传感器200以外,信息终端装置300还具有其它传感器310,根据从该传感器310取得的传感器信号和运动传感器信号,计算用户的身体朝向的方向与用户的头部朝向的方向之间的差分。进而,在判断为头部相对于身体朝向右侧的情况下,选择右侧的图标(在图7(A)中为“取消”(AIM3)),在判断为头部相对于身体朝向左侧的情况下,选择左侧的图标(在图7(A)中为“是”(AIM1)),在判断为身体方向与头部方向大体一致的情况下,选择中央的图标(在图7(A)中为“否”(AIM2))。同样,在图7(B)的例子中,根据用户的上下的摇头动作来选择图标图像。
即,本实施方式的头戴型显示装置100可以包含图像选择部150,该图像选择部150从显示部110中显示的多个图标图像中选择图标图像。此时,传感器信号取得部130可以取得:作为运动传感器信号的第1传感器信号;以及来自信息终端装置300中设置的传感器310的第2传感器信号。进而,显示部110可以显示排列显示有多个图标图像的选择菜单画面(例如图7(A)的DS)。此外,图像选择部150可以根据第1传感器信号和第2传感器信号,进行将所选择的图标图像变更为多个图标图像中的其它图标图像的处理。
由此,例如,能够在选择显示部110中显示的图标图像的用途和决定显示期间或显示开始时刻等用途中,并用运动传感器信号等。因此,为了这样的图标图像的选择处理,在头戴显示装置已经具有运动传感器的情况下,无需为了决定显示期间等而特意新设置运动传感器,而能够利用现有的头戴型显示装置的结构。
此外,除了以上的用途以外,还可以将运动传感器信号用于以下那样的用途等。此处,使用图10,对其具体例进行说明。
首先,假设HMD中设置有运动传感器,用户将HMD佩戴在头部来进行运动。而且,HMD包含显示缓冲区160,在显示缓冲区160中,按图10那样的显示布局存储有内容不同的多个显示图像(INIM、OPIM1~OPIM4)。
此时,初始状态下,在显示部中显示初始显示图像INIM。此外,初始显示图像INIM是示出当前时刻用户的移动距离以及用户的心跳数等的图像。此外,其它显示图像OPIM1示出消耗卡路里和距目标的距离,显示图像OPIM2示出环行单圈时间,显示图像OPIM3示出用户周边的地图,显示图像OPIM4示出用户的心跳数的曲线图。不过,这些只是一例,显示图像的内容不限于这些。
接下来,取得:表示图5(B)的显示期间DP中的用户的运动的运动传感器信号(以下,称作显示时运动传感器信号);以及表示图5(B)的不显示期间NDP中的用户的运动的运动传感器信号(以下,称作不显示时运动传感器信号)。进而,根据显示时运动传感器信号和不显示时运动传感器,检测其间的用户的头部的运动。例如,计算出从不显示期间的规定时刻起到显示期间的规定时刻为止之间,用户的头部运动的角度等。
进而,在判断为用户的头部向上方运动的情况下,即,在判断为向上方运动的角度为规定的阈值以上的情况下,将在下一显示期间中显示的显示图像从INIM变更为OPIM1,在下一显示期间中,在显示部中显示。
同样,在判断为用户的头部向右方运动的情况下,在下一显示期间中,在显示部中显示显示图像OPIM2,在判断为用户的头部向左方运动的情况下,在下一显示期间中显示显示图像OPIM4,在判断为用户的头部向下方运动的情况下,在下一显示期间中显示显示图像OPIM3。
此外,在判断为用户的头部没有大幅运动达一定时间的情况下、即判断为用户的头部运动的角度小于所给的阈值并持续规定的期间的情况下,在下一显示期间中,在显示部显示初始显示图像INIM。由此,返回到初始状态。
即,本实施方式的头戴型显示装置100可以包含:显示缓冲区160,其存储多个显示图像;以及图像选择部150,其选择显示部110中显示的显示图像。此时,图像选择部150可以根据来自传感器信号取得部130的运动传感器信号,从显示缓冲区160中存储的多个显示图像中选择显示图像。进而,显示部110可以显示选择出的显示图像。
由此,能够根据运动传感器信号来选择显示部中显示的显示图像等,例如,能够与用户的头部的运动联动地变更显示图像等。
此外,如上所述,传感器信号取得部130可以取得表示显示期间内的用户的运动的显示时运动传感器信号和表示不显示期间内的用户的运动的不显示时运动传感器信号。此时,图像选择部150可以根据显示时运动传感器信号和不显示时运动传感器信号,从显示缓冲区160中存储的多个显示图像中选择在显示部110中显示的显示图像。
此处,显示时运动传感器信号是指表示显示期间内的用户的运动的运动传感器信号。此外,传感器信号取得部取得显示时运动传感器信号的时刻不限于显示期间内,也可以在不显示期间内或下一显示期间内等取得。此外,显示时运动传感器信号例如可以是表示从图5(B)的显示期间DP的开始时刻S1起到结束时刻E1为止的整个期间中的用户的运动的信号,也可以是表示显示期间DP中的规定期间内的用户的运动的信号。
此外,此处,不显示时运动传感器信号是指表示不显示期间内的用户的运动的运动传感器信号。关于不显示运动传感器信号的取得时刻、内容等,与显示时运动传感器信号相同。
由此,能够检测出显示期间之后的不显示期间中的用户的运动,与不显示期间的用户的运动联动地变更显示图像等。
具体而言,图像选择部150可以根据显示时运动传感器信号和不显示时运动传感器信号,确定表示用户在显示期间朝向的方位与用户在不显示期间朝向的方位之间的方位差的运动信息,根据确定出的运动信息,从显示缓冲区160中存储的多个显示图像中选择在显示部110中显示的显示图像。
此处,运动信息是表示用户在显示期间朝向的方位与用户在不显示期间朝向的方位之间的方位差的信息。运动信息例如也可以是角度信息。
由此,例如,能够计算出用户在显示期间朝向的方位与用户在不显示期间朝向的方位之间的角度差来作为运动信息,根据计算出的角度差,变更在下一显示期间中显示的显示图像等。
此外,本实施方式的头戴型显示装置被设想为例如在运动时佩戴等,因此,期望能够以尽可能小的操作来变更显示图像。
因此,如上所述,图像选择部150在判断为由运动信息表示的方位差小于所给的阈值的情况下,可以从显示缓冲区160中存储的多个显示图像中选择初始显示图像来作为在显示部110中显示的显示图像。
此外,上述判断不限于在1次显示期间和不显示期间中进行判定,也可以是,在方位差连续小于所给的阈值达规定次数(例如3次等)的显示期间和不显示期间的情况下,选择初始显示图像等。此外,关于该判定期间,可以以直到用户能够读取到显示图像的内容为止所需的时间等为参考来进行设定。
由此,用户无需进行特别的动作,即可使显示部显示初始显示图像等。
此外,在实际切换显示状态时,可以进行以下这样的处理。即,控制部120可以在显示图像的显示期间,将照明光源设定为发光状态,在不显示期间,将照明光源设定为不发光状态,由此进行切换显示图像的显示状态的控制处理。
在本实施方式中,具体而言,使用LED等作为照明光源。在使用LED等作为照明光源时,在始终显示显示图像的情况下,一般需要以额定电流以下来驱动,但如果是瞬间的显示,则也能够进行超过额定电流的发光。因此,能够进行瞬间地明亮的显示,进一步提高可视性,即使在室外的明亮的环境下,也能够明亮而容易观察地进行显示等。此外,在上述第1实施方式或后述的第3实施方式中,也可以进行这样的显示控制。
3.3.处理的流程
以下,使用图6的流程图,对本实施方式的处理的流程进行说明。
首先,传感器信号取得部130取得加速度传感器信号(S201)。进而,传感器信号取得部130将取得的加速度传感器信号通知给控制部120,控制部120根据取得的加速度传感器信号,判定用户是否步行或跑步(S202)。
接下来,当在步骤S202中判定为用户没有步行或跑步的情况下,决定显示图像的显示期间(S203),在决定出的显示期间中,使显示部110显示显示图像(S204)。然后,判定是否存在显示控制处理的结束指示(S210),在判定为存在结束指示的情况下,结束全部处理。另一方面,在判定为不存在结束指示的情况下,返回到步骤S201的处理。此外,结束指示与在第1实施方式的处理的流程中说明的相同。此外,到此为止,与第1实施方式的处理的流程相同。
另一方面,当在步骤S202中判定为用户正在步行或跑步的情况下,控制部120接着判定加速度是否为规定的阈值以下并持续规定期间(S205)。
此时,在判定为加速度大于规定的阈值并持续规定期间的情况下,控制部120决定显示结束时刻(S206)。进而,显示部110在决定出的显示结束时刻,将显示图像设为不显示(S207)。然后,判定是否存在结束指示(S210),在判定为存在结束指示的情况下,结束全部处理。另一方面,在判定为不存在结束指示的情况下,返回到步骤S201的处理。
另一方面,在步骤205中,判定为加速度为规定的阈值以下并持续规定期间的情况下,控制部120根据取得的加速度传感器信号,决定显示开始时刻和显示期间(S208)。此外,显示开始时刻以及显示期间的决定方法如上述那样。
进而,在从决定出的显示开始时刻开始的显示期间中,使显示部110显示显示图像(S209)。然后,与上述同样地,判定是否存在结束指示(S210),在判定为存在结束指示的情况下,结束全部处理。另一方面,在判定为不存在结束指示的情况下,返回到步骤S201的处理。
4.第3实施方式
4.1.系统结构例
在第3实施方式中,与图1(A)同样地,用户10将头戴型显示装置100佩戴在头部。在本实施方式中,可以不使用运动传感器200以及信息终端装置300。
接下来,图8示出第3实施方式的头戴型显示装置100的结构例。
头戴型显示装置100包含显示部110、控制部120、定时器部170。此外,头戴型显示装置100以及包含该装置的图像显示系统不限于图8的结构,可以是省略它们的一部分的构成要素或追加其它构成要素等各种变形实施。
接下来,对各部的连接进行说明。定时器部170与控制部120连接,控制部120与显示部110连接。
接下来,对由各部进行的处理进行说明。显示部110以及控制部120与第1实施方式相同,因而省略说明。
定时器部170进行显示期间或不显示期间的计数处理。定时器部170的功能可以由各种处理器(CPU等)、ASIC(门阵列等)等硬件或程序等实现。
4.2.方法
以上的本实施方式的头戴型显示装置100可以包含定时器部170,该定时器部170进行计数处理,直到显示期间以及不显示期间期满的时刻为止。此时,在定时器部170开始了显示期间的计数处理的情况下,控制部120可以在显示部110中显示显示图像。进而,在完成了到显示期间期满的时刻为止的计数处理的情况下,定时器部170可以开始到不显示期间期满的时刻为止的计数处理。此外,在定时器部170开始了不显示期间的计数处理的情况下,控制部120可以将显示图像设为不显示。
在本实施方式中,由定时器部170进行显示期间和不显示期间的计数处理。因此,例如,控制部120在设定了显示期间和不显示期间后,不需要进行显示期间(不显示期间)是否期满等判定处理。不过,控制部120也可以进行上述判定处理的一部分等。此外,例如在由用户输入了中止计数处理的命令的情况下等,控制部120可以进行中断处理,中止计数处理等。
由此,能够实现处理的简化等,能够实现安装成本的降低等。
4.3.处理的流程
以下,使用图9的流程图,对本实施方式的处理的流程进行说明。
首先,控制部120决定显示期间以及不显示期间(S301)。
接下来,定时器部170将定时器值初始化为0,将定时器设为启动(ON),开始到显示期间的期满时刻为止的计数处理(S302)。进而,显示部110显示显示图像(S303)。此外,定时器值的初始值不限于0,可以设定为任意值。在该情况下,为了进行准确的计数处理,需要将设定的定时器值的初始值设为偏移值,与期满时刻相加,然后进行计数处理。这对后述的不显示期间的计数处理也相同。
接下来,控制部120判定是否计数到显示期间的期满时刻(S304)。
此时,在判定为未计数到显示期间的期满时刻的情况下,等待规定期间(待机)(S305),再次进行步骤S304的判定处理。
另一方面,在判定为已计数到显示期间的期满时刻的情况下,定时器部170将定时器值初始化为0,开始到不显示期间的期满时刻为止的计数处理(S306)。进而,显示部110将显示图像设为不显示(S307)。
接下来,控制部120判定是否计数到不显示期间的期满时刻(S308)。
此时,判定为未计数到不显示期间的期满时刻的情况下,等待规定期间(S309),再次进行步骤S308的判定处理。
另一方面,在判定为已计数到不显示期间的期满时刻的情况下,控制部120判定是否存在结束指示(S310)。在判定为存在结束指示的情况下,结束全部处理。另一方面,在判定为不存在结束指示的情况下,返回到步骤S302的处理。此外,结束指示与在第1实施方式的处理的流程中说明的相同。
如上所述,对第1实施方式~第3实施方式进行了详细说明,但本领域技术人员能够容易理解到,能够进行实质上不脱离本发明的新事项和效果的大量变形。因此,这样的变形例全部包含在本发明的范围中。例如,关于在说明书或附图中至少一次与更广义或同义而不同的术语一同记述的术语,无论在说明书或附图的哪个部位,都能够置换为该不同的术语。此外,头戴型显示装置以及图像显示系统等的结构、动作也不限于在本实施方式中说明的方式,而可以进行各种变形实施。
标号说明
10 用户,100头戴型显示装置,110显示部,
120 控制部,
130 传感器信号取得部,150图像选择部,
160 显示缓冲区,
170 定时器部,200运动传感器(加速度传感器),
300 信息终端装置,310传感器

Claims (16)

1.一种头戴型显示装置,用户能够将该头戴型显示装置佩戴在头部来观察显示图像,其特征在于,所述头戴型显示装置包含:
显示部,其显示所述显示图像;以及
控制部,其进行时刻的控制处理,该时刻是在所述显示部中显示所述显示图像的时刻,
所述控制部进行所述控制处理,使得在所述显示部中显示所述显示图像的显示期间和不显示所述显示图像的不显示期间交替反复,且1次所述显示期间为600ms以下,
所述头戴型显示装置包含传感器信号取得部,该传感器信号取得部从检测用户的运动的运动传感器取得运动传感器信号,所述控制部根据来自所述传感器信号取得部的所述运动传感器信号,进行设定所述显示期间和所述不显示期间的所述控制处理,
所述传感器信号取得部取得加速度传感器信号作为所述运动传感器信号,所述控制部根据从所述传感器信号取得部取得的所述加速度传感器信号,检测关于所述用户的运动的加速度的峰值,将包含检测出的第1峰值和第2峰值的中间时刻在内的规定的期间设定为所述显示期间。
2.根据权利要求1所述的头戴型显示装置,其特征在于,
所述控制部进行将双脚没有接地的双脚虚踏期间设定为所述显示期间、在所述双脚虚踏期间使所述显示部显示所述显示图像的所述控制处理。
3.根据权利要求1或2所述的头戴型显示装置,其特征在于,
所述控制部判定所述用户是否处于停止状态,在判定为所述用户处于所述停止状态的情况下,进行将所述显示期间设为600ms以上的所述控制处理。
4.一种头戴型显示装置,用户能够将该头戴型显示装置佩戴在头部来观察显示图像,其特征在于,所述头戴型显示装置包含:
显示部,其显示所述显示图像;
控制部,其进行时刻的控制处理,该时刻是在所述显示部中显示所述显示图像的时刻;以及
传感器信号取得部,其从检测用户的运动的运动传感器取得运动传感器信号,
所述控制部进行如下的所述控制处理:使得在所述显示部中显示所述显示图像的显示期间和不显示所述显示图像的不显示期间交替反复,并根据从所述传感器信号取得部取得的所述运动传感器信号来决定所述显示图像的显示开始时刻,
所述传感器信号取得部取得加速度传感器信号作为所述运动传感器信号,所述控制部根据从所述传感器信号取得部取得的所述加速度传感器信号,检测关于所述用户的运动的加速度的峰值,将包含检测出的第1峰值和第2峰值的中间时刻在内的规定的期间设定为所述显示期间。
5.根据权利要求4所述的头戴型显示装置,其特征在于,
所述控制部根据从所述传感器信号取得部取得的所述加速度传感器信号,检测关于所述用户的运动的加速度,并判定所述加速度的大小是否为所给的阈值以下并持续规定期间,
在判定为所述加速度的大小为所述所给的阈值以下并持续所述规定期间的情况下,决定所述显示图像的显示开始时刻,从决定出的所述显示开始时刻起,使所述显示部显示所述显示图像,
在判定为所述加速度的大小大于所述所给的阈值并持续所述规定期间的情况下,决定所述显示图像的显示结束时刻,在决定出的所述显示结束时刻使得不显示所述显示图像。
6.根据权利要求1或4所述的头戴型显示装置,其特征在于,
所述控制部根据所述运动传感器信号,判定所述用户是否处于停止状态,
在判定为所述用户处于所述停止状态的情况下,进行使所述显示部继续显示所述显示图像的所述控制处理。
7.根据权利要求1或4所述的头戴型显示装置,其特征在于,
所述头戴型显示装置包含图像选择部,该图像选择部从所述显示部中显示的多个图标图像中选择图标图像,
所述传感器信号取得部取得:作为所述运动传感器信号的第1传感器信号;以及来自信息终端装置中设置的传感器的第2传感器信号,
所述显示部显示排列显示有多个图标图像的选择菜单画面,
所述图像选择部根据所述第1传感器信号和所述第2传感器信号,进行将所选择的所述图标图像变更为所述多个图标图像中的其它图标图像的处理。
8.根据权利要求1或4所述的头戴型显示装置,其特征在于,所述头戴型显示装置包含:
显示缓冲区,其存储多个显示图像;以及
图像选择部,其选择所述显示部中显示的所述显示图像,
所述图像选择部根据来自所述传感器信号取得部的所述运动传感器信号,从所述显示缓冲区中存储的所述多个显示图像中选择所述显示图像,
所述显示部显示选择出的所述显示图像。
9.根据权利要求8所述的头戴型显示装置,其特征在于,
所述传感器信号取得部取得:显示时运动传感器信号,其表示所述显示期间内的所述用户的运动;以及不显示时运动传感器信号,其表示所述不显示期间内的所述用户的运动,
所述图像选择部根据所述显示时运动传感器信号和所述不显示时运动传感器信号,从所述显示缓冲区中存储的所述多个显示图像中选择在所述显示部中显示的所述显示图像。
10.根据权利要求9所述的头戴型显示装置,其特征在于,
所述图像选择部根据所述显示时运动传感器信号和所述不显示时运动传感器信号,确定表示所述用户在所述显示期间朝向的方位和所述用户在所述不显示期间朝向的方位之间的方位差的运动信息,根据确定出的所述运动信息,从所述显示缓冲区中存储的所述多个显示图像中选择在所述显示部中显示的所述显示图像。
11.根据权利要求10所述的头戴型显示装置,其特征在于,
在判断为由所述运动信息表示的所述方位差小于所给的阈值的情况下,所述图像选择部从所述显示缓冲区中存储的所述多个显示图像中选择初始显示图像来作为在所述显示部中显示的所述显示图像。
12.根据权利要求1或4所述的头戴型显示装置,其特征在于,
所述头戴型显示装置包含定时器部,该定时器部进行所述显示期间以及所述不显示期间的计数处理,
在所述定时器部开始了所述显示期间的所述计数处理的情况下,所述控制部使所述显示部显示所述显示图像,
所述定时器部在完成了直到所述显示期间期满的时刻为止的所述计数处理的情况下,开始直到所述不显示期间期满的时刻为止的所述计数处理,
在所述定时器部开始了所述不显示期间的所述计数处理的情况下,所述控制部使得不显示所述显示图像。
13.根据权利要求1或4所述的头戴型显示装置,其特征在于,
所述控制部在所述显示图像的所述显示期间,将照明光源设定为发光状态,在所述不显示期间,将所述照明光源设定为不发光状态,由此,进行切换所述显示图像的显示状态的所述控制处理。
14.一种图像显示系统,其特征在于,所述图像显示系统包含:
权利要求1或4所述的头戴型显示装置;以及
与所述头戴型显示装置进行通信的信息终端装置。
15.一种头戴型显示装置的控制方法,用户能够将该头戴型显示装置佩戴在头部来观察显示图像,所述控制方法的特征在于,
进行所述显示图像的显示处理,
进行显示所述显示图像的时刻的控制处理,使得显示所述显示图像的显示期间和不显示所述显示图像的不显示期间交替反复,且1次所述显示期间为600ms以下,其中,
从检测用户的运动的运动传感器取得运动传感器信号,根据所述运动传感器信号,进行设定所述显示期间和所述不显示期间的所述控制处理,
取得加速度传感器信号作为所述运动传感器信号,根据取得的所述加速度传感器信号,检测关于所述用户的运动的加速度的峰值,将包含检测出的第1峰值和第2峰值的中间时刻在内的规定的期间设定为所述显示期间。
16.一种头戴型显示装置的控制方法,用户能够将该头戴型显示装置佩戴在头部来观察显示图像,所述控制方法的特征在于,
进行所述显示图像的显示处理,
进行从检测用户的运动的运动传感器取得运动传感器信号的处理,
进行如下的控制处理:使得显示所述显示图像的显示期间和不显示所述显示图像的不显示期间交替反复,根据取得的所述运动传感器信号,决定所述显示图像的显示开始时刻,
其中,取得加速度传感器信号作为所述运动传感器信号,根据取得的所述加速度传感器信号,检测关于所述用户的运动的加速度的峰值,将包含检测出的第1峰值和第2峰值的中间时刻在内的规定的期间设定为所述显示期间。
CN201380029754.3A 2012-06-07 2013-05-29 头戴型显示装置、图像显示系统以及头戴型显示装置的控制方法 Active CN104488260B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-129789 2012-06-07
JP2012129789A JP5973795B2 (ja) 2012-06-07 2012-06-07 頭部装着型表示装置、画像表示システム及びプログラム
PCT/JP2013/064845 WO2013183506A1 (ja) 2012-06-07 2013-05-29 頭部装着型表示装置、画像表示システム、プログラム及び頭部装着型表示装置の制御方法

Publications (2)

Publication Number Publication Date
CN104488260A CN104488260A (zh) 2015-04-01
CN104488260B true CN104488260B (zh) 2018-03-20

Family

ID=49711898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380029754.3A Active CN104488260B (zh) 2012-06-07 2013-05-29 头戴型显示装置、图像显示系统以及头戴型显示装置的控制方法

Country Status (4)

Country Link
US (2) US9665133B2 (zh)
JP (1) JP5973795B2 (zh)
CN (1) CN104488260B (zh)
WO (1) WO2013183506A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
JP2015141215A (ja) * 2014-01-27 2015-08-03 村田機械株式会社 ヘッドマウントディスプレイ装置
JP2015166816A (ja) * 2014-03-04 2015-09-24 富士通株式会社 表示装置,表示制御プログラム及び表示制御方法
EP3382443B1 (en) * 2014-03-21 2023-07-26 Samsung Electronics Co., Ltd. Head-mounted display and method of operating the same
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
KR102310130B1 (ko) * 2014-09-01 2021-10-08 삼성전자주식회사 착용 가능한 전자 장치
WO2016052090A1 (ja) * 2014-09-30 2016-04-07 ソニー株式会社 制御装置、および制御方法、並びにプログラム
US20160131904A1 (en) * 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
WO2016139976A1 (ja) * 2015-03-02 2016-09-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6426525B2 (ja) 2015-04-20 2018-11-21 ファナック株式会社 表示システム
US10380966B2 (en) 2015-08-31 2019-08-13 International Business Machines Corporation Power and processor management for a personal imaging system
CN105116169B (zh) * 2015-09-24 2018-05-01 京东方科技集团股份有限公司 加速度传感器、显示装置、检测系统和检测方法
KR102400900B1 (ko) * 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US11057614B1 (en) * 2018-09-05 2021-07-06 Apple Inc. Motion blur compensation through display actuation
JP2022061605A (ja) * 2020-10-07 2022-04-19 オリンパス株式会社 内視鏡システム、内視鏡用アダプタ、および内視鏡の作動方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07140416A (ja) * 1993-09-27 1995-06-02 Casio Comput Co Ltd ヘッドマウントディスプレイ
JP3238552B2 (ja) * 1993-11-19 2001-12-17 オリンパス光学工業株式会社 頭部装着型映像表示装置
JP2002358031A (ja) * 2001-06-01 2002-12-13 Semiconductor Energy Lab Co Ltd 発光装置及びその駆動方法
CN100359363C (zh) * 2004-05-06 2008-01-02 奥林巴斯株式会社 头戴式显示装置
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
CN1877390A (zh) * 2005-06-08 2006-12-13 大学光学科技股份有限公司 具有数字内容显示的焦距可调整的头戴式显示系统及用于实现该系统的装置
JP5036177B2 (ja) * 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
JP2007221647A (ja) * 2006-02-20 2007-08-30 Nikon Corp 携帯映像表示装置
JP2011091789A (ja) * 2009-09-24 2011-05-06 Brother Industries Ltd ヘッドマウントディスプレイ
JP2011067277A (ja) 2009-09-24 2011-04-07 Brother Industries Ltd ヘッドマウントディスプレイ
JP2011177349A (ja) * 2010-03-01 2011-09-15 Omron Healthcare Co Ltd 体動検出装置、および、体動検出装置の表示制御方法

Also Published As

Publication number Publication date
JP5973795B2 (ja) 2016-08-23
JP2013255102A (ja) 2013-12-19
WO2013183506A1 (ja) 2013-12-12
US20160357227A1 (en) 2016-12-08
US9665133B2 (en) 2017-05-30
CN104488260A (zh) 2015-04-01
US20150084862A1 (en) 2015-03-26
US9829931B2 (en) 2017-11-28

Similar Documents

Publication Publication Date Title
CN104488260B (zh) 头戴型显示装置、图像显示系统以及头戴型显示装置的控制方法
US20200250791A1 (en) Display device with multi-processor, control method for the same, and storage medium having control program stored thereon
US10893830B2 (en) Electronic apparatus, system, and method for providing body posture health information
JP6146594B1 (ja) 表示装置及びその制御方法、制御プログラム
CN105530864B (zh) 用于监测身体活动的系统
US10646774B2 (en) Handheld information processing apparatus, storage medium and information processing method
CN105915990A (zh) 一种虚拟现实头盔及其使用方法
CN104793842B (zh) 图形用户界面系统、显示处理装置及输入处理装置
CN110381910A (zh) 步行支援系统、步行支援方法及步行支援程序
CN105511846A (zh) 电子设备和显示控制方法
JP2016059751A (ja) 表示装置、電子機器及びその制御方法、制御プログラム
KR20160059276A (ko) 착용 가능한 전자 장치
WO2018045569A1 (zh) 一种控制移动终端屏幕的方法及装置
CN108460725B (zh) 地图显示方法、装置、设备及存储介质
CN106952611B (zh) 一种灰阶设置方法及用户终端
CN106980363A (zh) 可穿戴终端及控制方法
KR20190002135A (ko) 보행 기반 보상 제공 시스템
CN105334718B (zh) 显示切换方法和电子设备
CN105096905B (zh) 显示切换方法和电子设备
CN109246595A (zh) 终端定位方法、移动终端及计算机可读存储介质
CN107943406A (zh) 一种触摸屏触控点确定方法及终端
JP5603624B2 (ja) 情報表示装置
CN114531582B (zh) 一种增强现实功能控制方法和电子设备
JP2017146614A (ja) 表示装置、電子機器及びその制御方法、制御プログラム
CN111739374A (zh) 基于虚拟现实的阿尔兹海默病早期筛查训练系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant