CN104423041A - 头部佩戴型显示装置及头部佩戴型显示装置的控制方法 - Google Patents

头部佩戴型显示装置及头部佩戴型显示装置的控制方法 Download PDF

Info

Publication number
CN104423041A
CN104423041A CN201410409060.9A CN201410409060A CN104423041A CN 104423041 A CN104423041 A CN 104423041A CN 201410409060 A CN201410409060 A CN 201410409060A CN 104423041 A CN104423041 A CN 104423041A
Authority
CN
China
Prior art keywords
image light
briliancy
image
desired value
outdoor scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410409060.9A
Other languages
English (en)
Inventor
藤卷由贵
内山敏一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN104423041A publication Critical patent/CN104423041A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明提供一种头部佩戴型显示装置,进行考虑了使用者所看到的外景的照度及图像光的辉度的控制。头部佩戴型显示装置具有:图像显示部,具有基于图像数据生成并出射图像光的图像光生成部,在被佩戴在使用者的头部的状态下,作为虚像使使用者看到所述图像光并且使外景透射;控制部,其基于根据原来的图像数据即原图像数据而生成的原图像光的辉度和所述透射了的外景的照度而设定指标值,基于所述指标值与预先设定的第1阈值的比较结果,使所述图像光生成部生成所述原图像光中的至少一部分的辉度改变了的显示用图像光。

Description

头部佩戴型显示装置及头部佩戴型显示装置的控制方法
技术领域
本发明涉及头部佩戴型显示装置。
背景技术
已知头部佩戴型显示装置即在佩戴于头部的状态下使用的显示装置(头戴式显示器(Head Mounted Display),HMD)。头部佩戴型显示装置,例如,通过利用液晶显示器及光源生成显示图像的图像光并利用投射光学系统和/或导光板将所生成的图像光导向使用者的眼睛,由此,使使用者看到虚像。另外,已知刺眼炫光,它表示因高辉度物体导致的不适刺眼等的心理上的不适感,还已知多个通过数值表示刺眼眩光的刺眼眩光评价方法。
专利文献1中公开了一种图像显示装置,其中,在黑色的背景中包括白色的矩形的图像(白色矩形)的闪光评价图像中,通过使占据价图像的全体的白色矩形的面积比和白色矩形的辉度变化,来确定基于令看到评价图像的使用者感到不快的刺眼感中的、白色矩形的面积比与辉度的关系的阈值,实际上,基于使用者看到的显示图像与阈值的比较来调整显示图像的辉度。另外,专利文献2中公开了一种头部佩戴型显示装置,其对外景图像进行拍摄,在外景图像中存在高辉度的物体的情况下,调整使用者所看到的外景的透射度并使透射了的外景的照度平滑化以降低刺眼眩光。
现有技术文献
专利文献
专利文献1:日本特开2008-92481号公报
专利文献2:日本特开2010-58631号公报
非专利文献
非专利文献1:″屋内环境中的刺眼眩光″,“在线”,“平成25年7月9日检索”,互联网
〈http://www.tlt.co.jp/tlt/lighting_design/design/basic/data/26_35.pdf〉
(″屋内環境における不快グレア″、[online]、[平成25年7月9日検索]、インターネット
〈http://www.tlt.co.jp/tlt/lighting_design/design/basic/data/26_35.pdf〉)
非专利文献2:岩崎电气,″刺眼眩光的评价″,“在线”,“平成25年7月9日检索”,互联网
〈http://www.iwasaki.co.jp/info_lib/tech-data/knowledge/glare/02.html〉
(岩崎電気、″不快グレアの評価″、[online]、[平成25年7月9日検索]、インターネット
〈http://www.iwasaki.co.jp/info_lib/tech-data/knowledge/glare/02.html〉)
非专利文献3:金源雨,另外有2人,“关于全视野中的眩光光源的位置·索引的研究”,照明学会志,一般社团法人照明学会,vol.88(2004)No.11,p.847-852
(金源雨、外2名、「全視野におけるグレア光源のポジション·インデックスに関する研究」、照明学会誌、一般社団法人照明学会、vol.88(2004)No.11、p.847-852)
发明内容
但是,在专利文献1记载的图像显示装置中,仅限于考虑图像显示装置的显示图像的辉度,没有考虑使用者看到的外景的照度,对于使用者看到的闪光的不适感还有改善的余地。另外,在专利文献2记载的头部佩戴型显示装置中,仅调整透射且被使用者看到的外景的照度,但头部佩戴型显示装置考虑到了被使用者所看到的图像光的辉度,还存在欲基于使用者所看都的外景的照度及图像光的辉度进行控制的课题。此外,还存在想对使用者看到的外景的照度及图像光的辉度进行控制,并且提高使用者看到的图像光的可见性的课题。
本发明是为了解决上述课题的至少一部分而作出的发明,能够作为如下的方式来实现。
(1)根据本发明的一个方式,提供了一种头部佩戴型显示装置。该头部佩戴型显示装置具备:图像显示部,其具有基于图像数据生成并出射图像光的图像光生成部,在被佩戴于使用者的头部的状态下,作为虚像使使用者看到所述图像光,并且使外景透射;和控制部,其基于根据原来的图像数据即原图像数据而生成的原图像光的辉度和所述透射了的外景的照度而设定指标值,基于所述指标值与预先设定的第1阈值的比较结果,使所述图像光生成部生成所述原图像光中的至少一部分的辉度改变了的显示用图像光。根据该方式的头部佩戴型显示装置,利用根据图像显示部所生成的图像光的辉度和透射了图像显示部被使用者看到的外景的照度所算出的指标值,来改变图像光的辉度,所以,能够抑制令使用者感到不适的刺眼感。另外,由于与指标值相应地改变图像光的辉度,所以能够减少使用者的视疲劳。
(2)在上述方式的头部佩戴型显示装置中,还具有检测所述外景的照度的照度检测部,所述指标值基于所述原图像光的辉度和所检测到的所述外景的照度来设定。根据该方式的头部佩戴型显示装置,由于与外景的照度的变化相应地算出指标值以控制图像显示部所生成的图像光的辉度,所以,能够进一步抑制使用者的刺眼感,进一步降低使用者的视疲劳。
(3)在上述方式的头部佩戴型显示装置中,还可以为,所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述透射了的外景的照度增加而减小的指标值,所述控制部,在所述比较结果为所述指标值为所述第1阈值以上的情况下,使所述图像光生成部生成使所述原图像光中的至少一部分的辉度减低后的所述显示用图像光。根据该方式的头部佩戴型显示装置,仅通过进行通过利用由数值表示的刺眼眩光而使图像显示部中所生成的图像光的辉度下降的控制,就能够抑制使用者的刺眼感,减少使用者的视疲劳,其中,所述刺眼炫光表示因高辉度物体导致的不适刺眼等的心理上的不适感。
(4)在上述方式的头部佩戴型显示装置中,所述指标值是如下的指标值:与伴随距所述图像光生成部出射所述图像光的区域的中心远的位置的辉度变化的变化量相比,伴随距所述区域的中心近的位置的辉度变化的变化量大,所述显示用图像光是如下的所述图像光:相对于所述原图像光,距所述区域的中心近的位置的辉度减少量比距所述区域的中心远的位置的辉度减少量大。根据该方式的头部佩戴型显示装置,由于优先使对降低指标值贡献较大的像素的辉度降低,所以,能够一边抑制图像显示部所生成的图像光的整体的辉度的降低以抑制使用者的可见性的降低,一边抑制使用者的刺眼感,能够减少使用者的视疲劳。
(5)在上述方式的头部佩戴型显示装置中,具有确定使用者的视野的视野确定部,所述指标值是如下的指标值:与伴随距确定了的使用者的所述视野的中心远的位置的辉度变化的变化量相比,伴随距所述视野的中心近的位置的辉度变化的变化量大,所述显示用图像光是如下的所述图像光:相对于所述原图像光,距所述视野的中心近的位置的辉度减少量比距所述视野的中心远的位置的辉度减少量大。根据该方式的头部佩戴型显示装置,由于优先使对降低指标值贡献较大的像素的辉度降低,所以,能够一边抑制图像显示部所生成的图像光的整体的辉度的降低以抑制使用者的可见性的降低,一边抑制使用者的刺眼感,能够减少使用者的视疲劳。
(6)在上述方式的头部佩戴型显示装置中,还可以为,所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述外景的照度增加而减小的指标值,所述控制部,在所述比较结果为所述指标值小于所述第1阈值的情况下,在所述指标值不变为所述第1阈值以上的范围内,使所述图像光生成部生成所述图像光中的使至少一部分的辉度增加后的所述显示用图像光中。根据该方式的头部佩戴型显示装置,在针对辉度受到控制前的图像光,使用者没有感到不适的情况下,由于使使用者看到像素光的辉度增加了的图像光,所以在抑制使用者的刺眼感的基础上,还能够提高控制辉度前的图像光的可见性。
(7)在上述方式的头部佩戴型显示装置中,还可以具有对于所述外景的照度、调整所述透射了的外景的照度而使所述图像光透射的外景照度调整部,所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述外景的照度增加而减小的指标值,所述控制部,在所述比较结果为所述指标值小于所述第1阈值的情况下,在所述指标值不变为所述第1阈值以上的范围内,调整所述外景照度调整部以使得所述透射了的外景的照度的至少一部分减少。根据该方式的头部佩戴型显示装置,无需为了提高使用者的可见性而使图像光的辉度增加,能够不使用不必要的电力地提高使用者的可见性。
(8)在上述方式的头部佩戴型显示装置中,还可以具有对于所述外景的照度、调整所述透射了的外景的照度而使所述图像光透射的外景照度调整部,所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述外景的照度增加而减小的指标值,所述控制部,在所述比较结果为所述指标值小于所述第1阈值的情况下,作为使使用者看到的所述图像光,设定包含与由所述外景照度调整部所进行的所述透射了的外景的照度的调整相关的信息的所述图像光。根据该方式的头部佩戴型显示装置,进行减少刺眼眩光的控制,所以,根据使用者的意图而进行图像光的辉度的增减以外的控制图像显示部的操作,提高使用者的便利性,其中,所述刺眼炫光表示图像光辉度增减以外的因高辉度物体产生的不适刺眼等使心理上的不适感。
(9)在上述方式的头部佩戴型显示装置中,还可以为,所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述外景的照度增加而减小的指标值,所述控制部,在所述比较结果为所述指标值为所述第1阈值以上的情况下,作为使使用者看到的所述图像光,设定包含与所述图像光的控制相关的信息的所述图像光。根据该方式的头部佩戴型显示装置,进行减少刺眼眩光的控制,所以,根据使用者的意图而进行图像光的辉度的增减以外的控制图像显示部的操作,提高使用者的便利性,其中,所述刺眼炫光表示图像光辉度的增减以外的因高辉度物体产生的不适刺眼等使心理上的不适感。
(10)在上述方式的头部佩戴型显示装置中,还可以为,所述控制部,基于所述图像光在所述图像光生成部中生成的生成期间和所述生成期间中的所述指标值,使所述图像光生成部生成所述显示用图像光。根据该方式的头部佩戴型显示装置,还根据指标值的时间推移而控制图像光,能够抑制令使用者感到不适的刺眼感,能够抑制伴随时间经过的使用者的疲劳度的蓄积。
(11)在上述方式的头部佩戴型显示装置中,还可以为,所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述外景的照度增加而减小的指标值,所述控制部,在累积所述生成期间中的所述指标值所得的值为预先设定的第2阈值以上的情况下,作为使使用者看到的所述图像光,设定包含与所述图像光的控制相关的信息的所述图像光。根据该方式的头部佩戴型显示装置,能够实时地通知使用者伴随头部佩戴型显示装置的持续使用所导致的使用者的疲劳度,能够提高使用者的便利性。
上述本发明的各方式所具有的多个构成要素并非全部必须,为了解决上述课题的一部分或全部或为了实现本说明书中记载的效果的一部分或全部,能够适当地对上述多个构成要素的一部分构成要素进行变更、删除、与其他构成要素的替换,进行限定内容的一部分删除。另外,为了解决上述的课题的一部分或全部或为了实现本说明书中记载的效果的一部分或全部,还能够将上述本发明的一个方式所包含的技术特征的一部分或全部与上述本发明的其他方式所包含的技术特征的一部分或全部进行组合,并作为本发明的独立的一个方式。
例如,本发明的一个方式,能够作为具有图像显示部和控制部这两个要素中的一个或两个要素的装置而实现。即,该装置既可以具有图像显示部,也可以不具有图像显示部。另外,装置既可以具有控制部,也可以不具有控制部。图像显示部,例如也可以,具有基于图像数据而生成并出射图像光的图像光生成部,在被佩戴在使用者的头部的状态下,作为虚像使使用者看到所述图像光并且使外景透射。控制部,例如也可以,基于根据原来的图像数据即原图像数据而生成的原图像光的辉度和所述透射了的外景的照度来设定指标值,基于该指标值与预先设定的第1阈值的比较结果,使所述图像光生成部生成所述原图像光中的至少一部分的辉度改变了的显示用图像光,所述图像显示部作为使用者看到的所述图像光设定所述显示用图像光。这样的装置例如能够作为头部佩戴型显示装置来实现,但还能够作为头部佩戴型显示装置以外的其他装置来实现。根据这样的方式,能够提高以及简化装置的操作性、使解决装置一体化、提高使用装置的使用者的便利性等各种课题中的至少一个。上述头部佩戴型显示装置的各方式的技术特征的一部分或全部都能够应用于该装置。
本发明还能够以头部佩戴型显示装置以外的各种方式来实现。例如,能够通过头部佩戴型显示装置的控制方法、头部佩戴型显示系统、用于实现头部佩戴型显示系统的功能的计算机程序、记录有该计算机程序的记录介质、包含该计算机程序且在载波内被具体化了的数据信号等方式实现。
附图说明
图1是表示使用者US的视线方向与发光部分的关系的一例的说明图。
图2是表示使用者的全视野中的位置索引PI的一例的说明图。
图3是表示UGR值和眩光感的关系的一例的说明图。
图4是表示头部佩戴型显示装置100的外观结构的说明图。
图5是功能性地表示头部佩戴型显示装置100的结构的框图。
图6是表示通过图像光生成部出射图像光的状态的说明图。
图7是表示辉度控制处理的流程的说明图。
图8是表示使用者US所看到的视野VR的概要的说明图。
图9是表示变形例中的头部佩戴型显示装置的外观结构的说明图。
附图标记的说明
10…控制部;          11…确定键;          12…点亮部;
13…显示切换键;      14…跟踪板;          15…辉度切换键;
16…方向键;          17…菜单键;          18…电源开关;
20…图像显示部;      21…右保持部;        22…右显示驱动部;
23…左保持部;        24…左显示驱动部;    26…右光学像显示部;
28…左光学像显示部;  30…耳机插头;        32…右耳机;
34…左耳机;          37…右眼拍摄照相机(视野特定部);
38…左眼拍摄照相机(视野特定部);            40…连接部;
42…右导线;          44…左导线;          46…连结部件;
48…主体导线;      51、52…送信部;       53、54…接收部;
61…外景拍摄照相机;        63…照度传感器(照度检测部);
100…头部佩戴型显示装置;   110…输入信息取得部;
120…存储部;      130…电源;             135…操作部;
140…CPU;         142…图像判定部(视野特定部);
145…辉度处理部(照度检测部、控制部);      150…操作系统;
160…图像处理部;  170…声音处理部;       180…接口;
190…显示控制部;  201…右背光源控制部(图像光生成部);
202…左背光源控制部(图像光生成部);
211…右LCD控制部;            212…左LCD控制部;
221…右背光源(图像光生成部);  222…左背光源(图像光生成部);
241…右LCD;                  242…左LCD;
251…右投射光学系统;          252…左投射光学系统;
261…右导光板;                262…左导光板
263、264…调光板(外景照度调整部);   VSync…垂直同步信号;
HSync…水平同步信号;                PCLK…时钟信号;
OA…外部设备;         SC…外景;    ED…视线方向;
RE…右眼;             LE…左眼;    PG…注视点;
PI…位置索引;         PL…图像光;  FL…荧光灯;
EL、ER…端部;         Lb…辉度;    DR…距离;
DL…水平移位量;       DV…垂直移位量;
US…使用者;           IL…照明光;
AP…前端部;           VR…视野;
IM1、IM2、IM3…显示图像;     PX1…像素
具体实施方式
下面,基于实施方式按下面的顺序对本发明的实施方式进行说明。
A.实施方式:
A-1.刺眼眩光:
A-2.头部佩戴型显示装置的结构:
A-3.辉度控制处理:
B.变形例:
A.实施方式:
A-1.刺眼眩光:
将因存在高辉度物体等,使用者在心理上感到不适的情况称作刺眼眩光,已知多种用数值表示刺眼眩光的刺眼眩光的评价方法。作为一个刺眼眩光的评价法,存在数学式(1)所示的UGR(Unified Glare Rating,统一眩光值)。算出的UGR值越大,表示使用者越感觉不适。
【数学式1】
UGR = 8 log ( 0.25 Lb Σ L 2 ω P 2 ) . . . ( 1 )
Lb:每单位面积的背景的辉度(cd/m2)
L:位于该环境的发光部分的每单位面积的辉度(cd/m2)
ω:发光部分的立体角(sr)
ω是利用Ap和r(m)并通过数学式(2)所示的式子求出的。
【数学式2】
ω = Ap r 2 . . . ( 2 )
Ap:发光部分的投影面积(m2)
r:从使用者的眼睛到发光部分的距离(m)
数学式(1)中的P(以下,还称作“位置索引PI”)是根据相对于使用者的视线方向的水平方向上的移位和垂直方向上的移位而确定的数值。
图1是表示使用者US的视线方向与发光部分的关系的一例的说明图。图1中示出了,在使用者US看着注视点PG的情况下,从使用者US向注视点PG的视线方向ED与设置在天棚上的作为发光部分的荧光灯FL的位置关系。荧光灯FL的辉度为L。若将荧光灯FL的中心垂直地向视线方向ED投影了的情况下、距使用者US的距离设为距离DR,则荧光灯FL的中心相对于视线方向ED的沿水平方向及垂直方向的移位量分别用水平移位量DL及垂直移位量DV表示。另外,荧光灯FL相对于使用者US的立体角用ω表示。
图2是表示使用者的整个视野中的位置索引PI的一例的说明图。图2中示出了,在将发光部分的中心向视线方向ED投影了的情况下,在横轴表示水平移位量DL除以距离DR所得的值而纵轴表示垂直移位量DV除以距离DR所得的值的情况下的位置索引PI。此外,对于水平移位量DL,将沿水平方向向右方向的移位量定义为正的数值,对于垂直移位量DV,将沿垂直方向向上方向的移位量定义为正的数值。作为位置索引PI的一例,在DL/DR为2或-2且DV/DR为1的情况下,位置索引PI取100。
如图2所示,在DL/DR及DV/DR的值为0,即,在视线方向ED上存在发光部分的中心的情况下,位置索引PI为最小。如上述数学式(1)所示,表示位置索引PI越小,UGR的数值(以下,也称作“UGR值”)越大,使用者感到不适。如图2所示,位置索引PI越远离DL/DR及DV/DR的值为0的中心越大。即,示出了发光部分的中心距视线方向ED越远,位置索引PI越大的情况。表示该位置索引PI的值的曲线为从中心向水平方向扩展的椭圆。
图3是表示UGR值与眩光感的关系的一例的说明图。眩光感是按感觉表示与UGR值相对应地使用者所感知到的刺眼眩光的状态。眩光感由于是因使用者的感觉而引起的状态,所以,已知其会根据人种、民族、气候风土及生活习惯而不同。在ISO8995-2002中,在UGR值为13的情况下,为使用者能够感知到刺眼眩光的最小值,UGR值每增加3,就能够明确地感知到眩光感增加。因此,在UGR值较高的情况下,通过降低图像显示部20中所显示的显示图像的辉度即光学像显示部26、28的辉度L,能够降低UGR值、抑制使用者的眩光感。另外,也已知UGR值越大,使用者越容易看到显示图像,在UGR值较小的情况下,通过提高UGR值,能够提高使用者的视觉辨认性。此外,假定即使UGR值为相同的值,使用者感知眩光感的时间越长,就越蓄积使用者的疲劳度。
A-2.头部佩戴型显示装置的结构:
图4是表示头部佩戴型显示装置100的外观结构的说明图。头部佩戴型显示装置100为佩戴在头部上的显示装置,还被称作头戴式显示器(HeadMounted Display,HMD)。本实施方式的头部佩戴型显示装置100是使用者在看到虚像的同时还能够直接看到外景的光学透射型的头部佩戴型显示装置。此外,本说明书中,为了方便还将使用者利用头部佩戴型显示装置100所看到的虚像称作“显示图像”。另外,还将射出基于图像数据而生成的图像光的动作称作“对图像进行显示”。
头部佩戴型显示装置100具有:在佩戴于使用者的头部的状态下,使使用者看到虚像的图像显示部20;和控制图像显示部20的控制部(controler)10。
图像显示部20是佩戴在使用者头部的佩戴体,本实施方式中具有眼镜形状。图像显示部20包括右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、照度传感器63、右眼拍摄照相机37和左眼拍摄照相机38。右光学像显示部26及左光学像显示部28分别配置成在使用者佩戴了图像显示部20时位于使用者的右眼及左眼之前。右光学像显示部26的一端和左光学像显示部28的一端在使用者佩戴图像显示部20时与使用者的眉间相对应的位置相互连接。
右保持部21是从右光学像显示部26的另一端即端部ER到在使用者佩戴图像显示部20时与使用者的侧头部相对应的位置、延伸地设置的部件。同样地,左保持部23是从左光学像显示部28的另一端即端部EL到在使用者佩戴图像显示部20时与使用者的侧头部相对应的位置、延伸地设置的部件。右保持部21及左保持部23如眼镜的镜腿(脚丝)那样,将图像显示部20保持在使用者的头部上。
右显示驱动部22和左显示驱动部24被配置于在使用者佩戴图像显示部20时与使用者的头部相对的一侧。此外,以后,还将右保持部21及左保持部23总地简称作“保持部”,将右显示驱动部22及左显示驱动部24总地简称作“显示驱动部”,将右光学像显示部26及左光学像显示部28总地简称作“光学像显示部”。
显示驱动部22、24包括液晶显示器241、242(Liquid Crystal Display,以下还称作“LCD241、242”)和投射光学系统251、252等(参照图5)。显示驱动部22、24的详细结构后述。作为光学部件的光学像显示部26、28包括导光板261、262(参照图5)和调光板263、264(参照图5)。导光板261、262由光透射性的树脂材料等形成,将从显示驱动部22、24输出的图像光导入使用者的眼睛。调光板263、264是能够通过被施加的电压来调整浓淡的薄板状的光学元件,配置为覆盖与使用者的眼睛侧相反的一侧即图像显示部20的表面侧。调光板263、264中所含有的取向微粒通过由控制部10所施加的电压而进行取向,由此,调光板263、264的浓淡被无级地调整,光透射率被调整。另外,通过调整调光板263、264的光透射率,能够调整进入使用者的眼睛的外光量以调整虚像的看到容易度。调光板263、264还具有保护导光板261、262并抑制导光板261、262的损伤和/或污浊附着等的功能。此外,调光板263、264相当于技术方案中的外景照度调整部。
右眼拍摄照相机37及左眼拍摄照相机38(以后,还称作“眼拍摄照相机37、38”)是分别对使用者的右眼及左眼进行拍摄的小型CCD照相机。照度传感器63是检测预定范围的外景的照度的传感器。此外,外景是指在预定范围内所包含的物体(例如,建造物等)反射并能够被使用者看到的反射光。
图像显示部20还具有用于将图像显示部20连接于控制部10的连接部40。连接部40包括连接于控制部10的主体导线48、右导线42、左导线44和连结部件46。右导线42和左导线44是主体导线48分支成两根而成的导线。右导线42从右保持部21的延伸方向的前端部AP插入右保持部21的框体内,并连接于右显示驱动部22。同样地,左导线44从左保持部23的延伸方向的前端部AP插入左保持部23的框体内,并连接于左显示驱动部24。连结部件46被设在主体导线48与右导线42及左导线44的分支点,具有用于连接耳机插头30的插孔。从耳机插头30延伸有右耳机32及左耳机34。
图像显示部20和控制部10经由连接部40进行各种信号的传送。在主体导线48中的与连结部件46相反侧的端部和控制部10上分别设有相互嵌合的连接器(未图示)。通过主体导线48的连接器和控制部10的连接器的嵌合/嵌合解除,连接或断开控制部10和图像显示部20。右导线42、左导线44、主体导线48例如能够采用金属线缆和/或光纤。
控制部10是用于控制头部佩戴型显示装置100的装置。控制部10包含确定键11、点亮部12、显示切换键13、跟踪板14、辉度切换键15、方向键16、菜单键17和电源开关18。确定键11检测按下操作,输出确定在控制部10被操作的内容的信号。点亮部12通过其发光状态通知头部佩戴型显示装置100的工作状态。作为头部佩戴型显示装置100的工作状态,例如有电源的接通(ON)/断开(OFF)等。作为点亮部12,例如可使用LED(Light EmittingDiode,发光二极管)。显示切换键13检测按下操作,输出例如将内容动画的显示模式切换成3D和2D的信号。跟踪板14检测跟踪板14的操作面上的使用者的手指的操作,输出与检测内容相应的信号。作为跟踪板14,能够采用静电式和/或压力检测式、光学式等之类的各种跟踪板。辉度切换键15检测按下操作,输出增减图像显示部20的辉度的信号。方向键16检测对与上下左右方向相对应的键的按下操作,输出与检测内容相应的信号。电源开关18通过检测开关的滑动操作,对头部佩戴型显示装置100的电源接通状态进行切换。
图5是功能性地表示头部佩戴型显示装置100的结构的框图。如图5所示,控制部10具有输入信息取得部110、存储部120、电源130、操作部135、CPU140、接口180、送信部51(Tx51)及送信部52(Tx52)。操作部135接收由使用者进行的操作,并包括确定键11、显示切换键13、跟踪板14、辉度切换键15、方向键16、菜单键17和电源开关18。
输入信息取得部110取得与由使用者进行的操作输入相应的信号。作为与操作输入相应的信号,例如,有对配置在操作部135的跟踪板14、方向键16和电源开关18的操作输入。电源130向头部佩戴型显示装置100的各部分供给电力。作为电源130,例如能够使用二次电池。存储部120存储有各种计算机程序。存储部120包括ROM和/或RAM等。CPU140读出并执行存储部120中所存储的计算机程序,由此,作为操作系统150(OS150)、显示控制部190、声音处理部170、辉度处理部145、图像判定部142及图像处理部160而发挥功能。
显示控制部190生成控制右显示驱动部22及左显示驱动部24的控制信号。具体来说,显示控制部190通过控制信号单独控制由右LCD控制部211进行的右LCD241的驱动ON/OFF、由右背光源源控制部201进行的右背光源221的驱动ON/OFF、由左LCD控制部212进行的左LCD242的驱动ON/OFF、由左背光源控制部202进行的左背光源222的驱动ON/OFF等等。由此,显示控制部190对分别由右显示驱动部22及左显示驱动部24进行的图像光的生成及出射进行控制。例如,显示控制部190使右显示驱动部22及左显示驱动部24这两方都生成图像光,或仅使右显示驱动部22及左显示驱动部24中的一个生成图像光,或使右显示驱动部22及左显示驱动部24这两方都不生成图像光。
显示控制部190经由送信部51及52发送对于右LCD控制部211和左LCD控制部212的每个控制信号。另外,显示控制部190送信对于右背光源控制部201和左背光源控制部202的每个控制信号。
辉度处理部145根据照度传感器63检测出的照度和光学像显示部26、28所显示的图像的辉度算出UGR值。辉度处理部145通过投影面积除以检测的照度,由此算出外景的辉度。另外,辉度处理部145基于图像数据,确定图像显示部20所显示的图像的辉度。辉度处理部145根据算出的外景的辉度和图像的辉度算出背景的辉度。辉度处理部145将算出的UGR值与预先设定的基准值进行比较、判定。图像判定部142对眼拍摄照相机37、38分别拍摄到的使用者的右眼及左眼的图像进行解析,由此确定使用者的视线方向ED。此外,照度传感器63及辉度处理部145相当于技术方案中的照度检测部,眼拍摄照相机37、38及图像判定部142相当于技术方案中的视野确定部。另外,图像判定部142相当于技术方案中的控制部。
图像处理部160取得内容中所含有的图像信号。图像处理部160从取得的图像信号中分离出垂直同步信号VSync和/或水平同步信号HSync等同步信号。另外,图像处理部160根据分离出的垂直同步信号VSync和/或水平同步信号HSync的周期,利用PLL(Phase Locked Loop,锁相环)电路等(未图示)生成时钟信号PCLK。图像处理部160利用A/D转换电路等(未图示)将同步信号被分离后的模拟图像信号转换成数字图像信号。然后,图像处理部160将转换后的数字图像信号作为对象图像的图像数据(RGB数据)按每帧存储于存储部120内的DRAM。此外,图像处理部160还可以根据需要,对图像数据执行析像度转换处理;辉度、色彩度的调整等各种色调修正处理;梯形修正处理等图像处理。
图像处理部160经由送信部51、52分别送信生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、存储在存储部120内的DRAM中的图像数据Data。此外,还将经由送信部51送信的图像数据Data称作“右眼用图像数据”,将经由送信部52送信的图像数据Data称作“左眼用图像数据”。送信部51、52作为控制部10与图像显示部20之间的串行传送用的收发器而发挥功能。
声音处理部170取得内容所含有的声音信号,对取得的声音信号进行放大而向连接于连结部件46的右耳机32内的扬声器(未图示)及左耳机34内的扬声器(未图示)供给。此外,例如,在采用Dolby(注册商标)系统的情况下,进行对声音信号的处理,并分别从右耳机32及左耳机34输出例如频率等改变了的不同的声音。
接口180是用于将成为内容的供给源的各种外部设备OA连接于控制部10的接口。作为外部设备OA,例如有个人电脑(PC)、移动电话终端、游戏终端等。作为接口180,例如能够使用USB接口、micro-USB接口、存储卡用接口等。
图像显示部20具有右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、外景拍摄照相机61、照度传感器63、右眼拍摄照相机37和左眼拍摄照相机38。
右显示驱动部22包括接收部53(Rx53)、作为光源发挥功能的右背光源控制部201(右BL控制部201)及右背光源221(右BL221)、作为显示元件发挥功能的右LCD控制部211及右LCD241、右投射光学系统251。右背光源控制部201和右背光源221作为光源发挥功能。右LCD控制部211和右LCD241作为显示元件发挥功能。此外,右背光源控制部201、右LCD控制部211、右背光源221和右LCD241还总称作“图像光生成部”。
接收部53作为用于进行控制部10与图像显示部20之间的串行传送的接收器发挥功能。右背光源控制部201基于输入的控制信号来驱动右背光源221。右背光源221是例如LED或电致发光(EL)等的发光体。右背光源控制部201通过控制右背光源221的驱动来控制右背光源221的辉度。若右背光源221的辉度变化,则即使从图像处理部160送信来的图像数据相同,也能够生成不同的图像光。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、右眼用图像数据,来驱动右LCD241。右LCD241是多个像素配置成矩阵状的透射型液晶面板。
右投射光学系统251包括使从右LCD241出射的图像光成为平行状态的光束的准直透镜。作为右光学像显示部26的右导光板261使从右投射光学系统251输出的图像光一边沿预定光路反射一边将其导入使用者的右眼RE。此外,还将右投射光学系统251和右导光板261总称为“导光部”。
左显示驱动部24具有与右显示驱动部22同样的结构。左显示驱动部24包括接收部54(Rx54)、作为光源发挥功能的左背光源控制部202(左BL控制部202)及左背光源222(左BL222)、作为显示元件发挥功能的左LCD控制部212及左LCD242、左投射光学系统252。左背光源控制部202和左背光源222作为光源发挥功能。左LCD控制部212和左LCD242作为显示元件发挥功能。此外,还可以将左背光源控制部202、左LCD控制部212、左背光源222、左LCD242总称作“图像光生成部”。另外,左投射光学系统252包括使从左LCD242出射的图像光成为平行状态的光束的准直透镜。作为左光学像显示部28的左导光板262一边使从左投射光学系统252出输的图像光沿预定光路反射一边将导入使用者的左眼LE。此外,还将左投射光学系统252和左导光板262总称作“导光部”。
图6是表示通过图像光生成部出射图像光的状态的说明图。右LCD241通过对配置成矩阵状的各像素位置的液晶进行驱动而使透射右LCD241的光的透射率变化,并由此将从右背光源221照射的照明光IL调制呈显示图像的有效的图像光PL。对于左侧也同样。此外,如图6所示,在本实施方式中虽采用背光源方式,但还可以构成为利用正面光方式或反射方式出射图像光。
A-3.辉度控制处理:
图7是表示辉度控制处理的流程的说明图。辉度控制处理中,在UGR值为第1基准值以上的情况下,进行调整显示图像的辉度使得UGR值下降的处理,在UGR值为第2基准值以下的情况下,进行调整显示图像的辉度使得UGR值上升的处理,其中,该UGR值是基于图像显示部20的显示图像的辉度和根据外景的照度及显示图像的辉度算出的背景的辉度算出的。
图7中示出了在图像显示部20上显示有图像的状态下,作为操作部135接受了预定操作后的处理的辉度控制处理的流程。在辉度控制处理中,开始,辉度处理部145确定图像显示部20的显示图像的各像素的辉度(步骤S11)。然后,辉度处理部145利用照度传感器63检测外景的照度,通过单位面积除以检测的照度并由此算出外景的辉度,根据算出的外景的辉度和各像素的辉度算出背景的辉度(步骤S12)。背景的辉度是通过在透射的外景的辉度即外景的辉度上乘以调光板263、264的光透射率后所得的值和显示图像的辉度算出的。该情况下,因为显示显示图像的区域是比透射的外景小的范围,所以,背景的辉度是作为在透射的外景的辉度上加上显示图像整体的平均辉度后所得的值被算出的。辉度处理部145作为显示图像整体的平均辉度使用各像素的辉度的平均值。
图像判定部142通过对分别由眼拍摄照相机37、38拍摄到的使用者的右眼及左眼的图像进行解析,来确定使用者的视线方向ED(步骤S13)。
接着,辉度处理部145将根据外景的照度算出的外景的辉度、显示图像的各像素的辉度及视线方向ED分别代入上述数学式(1)中,从而算出UGR值(步骤S14)。
图8是表示使用者US看到的视野VR的概要的说明图。图8中示出了显示于图像表示部20的显示图像IM1和透过左右左光学像显示部28、26被使用者看到的外景SC。由于头部佩戴型显示装置100为透射型的头部佩戴型显示装置,所以,使用者US能够重叠于显示图像IM1看到透过了显示图像IM1的外景SC。显示图像IM1是由多个像素形成的图像。多个像素内的一个像素PX1,其辉度为L1,从使用者观察的立体角为ω1。另外,背景的辉度L为在算出的外景SC的辉度乘以左右左光学像显示部28、26的光透射率μ再加上各像素的辉度的平均值后的值。
另外,像素PX1中,在以与视线方向ED垂直的方式投影所得的距离DR为DR1的情况下,水平移位量DL为DL1,垂直移位量DV为DV1。辉度处理部145算出DL1/DR1及DV1/DR1,并利用位置索引PI(图2)的映射图而确定像素PX1的位置索引PI。同样地,辉度处理部145分别针对构成显示图像IM1的多个像素的每个来确定位置索引PI。辉度处理部145通过将通过以上计算所得到的位置索引PI代入上述数学式(1)中,而算出UGR值。
若算出了UGR值(图7的步骤S14),则辉度处理部145对UGR值是否为预先设定的第1基准值以上进行判定(步骤S15)。本实施方式中,作为第1基准值,UGR值被设定为19(图3)。在判定为UGR值为19以上的情况下(图7的步骤S15:是),辉度处理部145进行将显示显示图像IM1的各像素的每个的辉度降低相同数值以使得UGR值变得小于19的控制(步骤S16)。辉度处理部145通过上述数学式(1)算出为了使UGR值小于19所需要的降低辉度的减少量。辉度处理部145通过控制右背光源221及左背光源222而改变生成显示图像的辉度,即使为相同的原图像数据,也会生成不同的显示图像。辉度处理部145按照下降了根据各像素的辉度算出的减少量后的辉度,使显示图像IM2显示于图像显示部20。然后,控制部10结束辉度控制处理。
在步骤S15的处理中,在判定为UGR值小于第1基准值的情况下(步骤S15:否),辉度处理部145对UGR值是否为比第1基准值小的第2基准值以下进行判定(步骤S17)。本实施方式中,作为第2基准值,UGR值被设定为13(图3)。在判定为UGR值比13大的情况下(图7的步骤S17:否),控制部10不改变显示图像IM1的辉度,在使显示图像IM1显示于图像显示部20中的状态下结束辉度控制处理。
在步骤S17的处理中,在判定为UGR值为第2基准值以下的情况下(步骤S17:是),辉度处理部145进行使各像素的辉度上升相同的量以使得UGR值成为与第2基准值即13相同的值的控制(步骤S18)。辉度处理部145通过上述数学式(1),算出辉度的增加量,按照在各像素的辉度上增加了相同的增加量后的辉度使显示图像IM3显示于图像显示部20。然后,控制部10结束辉度控制处理。
如以上说明了的那样,在本实施方式的头部佩戴型显示装置100中,辉度处理部145根据检测到的照度和图像显示部20的显示图像IM1的辉度而算出UGR值,对算出的UGR值是否为预先设定的第1基准值以上进行判定。辉度处理部145,在判定为UGR值为第1基准值以上的情况下,不使成为显示图像IM1的基础的原图像数据改变,而使仅改变了辉度的显示图像IM2显示于图像显示部20。因此,在本实施方式的头部佩戴型显示装置100中,利用根据图像显示部20的显示图像的辉度和透过了左右光学像显示部28、26被使用者看到的外景SC的辉度而算出的UGR值,改变显示图像的辉度,所以,能够抑制使用者感到不适的刺眼感。另外,由于根据UGR值而改变显示图像的辉度,所以,能够降低使用者的视疲劳。
另外,在本实施方式的头部佩戴型显示装置100中,照度传感器63检测外景SC的照度,UGR值是根据照度传感器63检测到的照度和图像显示部20的显示图像IM1的辉度而算出的。因此,本实施方式的头部佩戴型显示装置100中,根据外景SC的照度的变化而算出UGR值以控制图像显示部20的显示图像的辉度,所以能够进一步抑制使用者的刺眼感,进一步降低使用者的视疲劳。
另外,本实施方式的头部佩戴型显示装置100中,根据上述数学式(1)可知,UGR值伴随图像显示部20的显示图像的辉度L增加而增大。另外,若外景SC的照度增加则背景的辉度Lb也会增加,所以,UGR值是伴随外景SC的照度增加而减小的指标值。辉度处理部145,在判定为UGR值为第1基准值以上的情况下,使减少了图像显示部20的显示图像IM1的辉度而成的显示图像IM2显示在图像显示部20中。因此,在本实施方式的头部佩戴型显示装置100中,通过使用利用数值来表示刺眼眩光的UGR值,仅通过进行降低图像显示部20的显示图像的辉度的控制,就能够抑制使用者的刺眼感,减少使用者的视疲劳。
另外,在本实施方式的头部佩戴型显示装置100中,在判定为UGR值为第2基准值以下的情况下,辉度处理部145进行按相同的量提高各像素的辉度以使得UGR值成为与第2基准值相同的值的控制,算出辉度的增加量,并按照在各像素的辉度上加上了增加量后的辉度使显示图像IM3显示。因此,在本实施方式的头部佩戴型显示装置100中,在使用者对显示图像IM1没有感到不适的情况下,由于使使像素的辉度增加后的显示图像IM3显示于图像显示部20,所以,能够在抑制使用者的刺眼感的基础上提高显示图像IM1的可视性。
B.变形例:
此外,本发明不限于上述实施方式,在不脱离其主旨的范围内能够以各种方式实施,例如,也能够进行以下变形。
B1.变形例1:
上述实施方式中,作为一个刺眼眩光的评价方法,利用了上述数学式(1)所示的UGR,但作为刺眼眩光的评价方法不限于此,能够进行各种变形。例如,还可以使用VCP(Visual Comfort Probability,视觉舒适概率)、BGI(British Daylight Glare Index)、辉度制限法等中的任一方法,或使用多种方法。
另外,上述实施方式中,通过对UGR值与第1基准值或第2基准值进行比较,无论像素的位置如何都使显示图像IM1的各像素的辉度一律增加或减少相同的量,各像素中的辉度的增减量不限于一律相同,能够进行各种变形。例如,如图2所示,位置索引PI越远离DL/DR及DV/DR的值为0的中心就变得越大。即,发光部分的中心距视线方向ED越远,位置索引PI变得越大,UGR值也越大。因此,在判定为UGR值为第1基准值以上的情况下,辉度处理部145还可以通过大幅度降低相对于视线方向ED的水平移位量DL及垂直移位量DV较小的、即距注视点PG较近的位置的像素的辉度,来降低UGR值。在本变形例中,优选降低对降低UGR值贡献较大的像素的辉度,因此,能够一边抑制图像显示部20的显示图像IM1的整体的辉度的降低以抑制使用者的可见性的降低,一边抑制使用者的刺眼感,能够降低使用者的视疲劳。
另外,还可以通过使形成显示图像IM1的像素内的几个辉度为0,来降低UGR值。例如,通过使形成显示图像IM1的像素的一半辉度以交错状成为0,来减少显示图像的辉度以降低UGR值。
B2.变形例2:
上述实施方式中,眼拍摄照相机37、38确定了使用者的视线方向ED,但视线方向ED不必非要被特定,另外,还可以通过其他结构来确定视线方向ED。例如,还可以代替眼拍摄照相机37、38,而在图像显示部20上形成检测加速度(3轴)、角速度(3轴)、地磁(3轴)的动作传感器即9轴传感器。9轴传感器由于形成在图像显示部20上,所以,在图像显示部20被佩戴在使用者的头部上时,检测使用者的头部的动作。还可以根据所检测到的使用者的头部的动作来确定图像显示部20的朝向,并确定视线方向ED。
另外,即使使用者的视线方向ED不确定,通常使用者大多情况下还观察前方。因此,也可以在将UGR值与第1基准值或第2基准值进行比较后,在图像显示部20中距能够形成显示图像的区域的中心近的像素的辉度相比距中心远的像素的辉度大幅度地增减,由此使UGR值增减。在该变形例中,优先降低对降低UGR值贡献较大的像素的辉度,所以,能够一边抑制图像显示部20的显示图像IM1的整体的辉度的降低以抑制使用者的可视性的降低,一边抑制使用者的刺眼感,能够减少使用者的视疲劳。
B3.变形例3:
上述实施方式中,通过UGR值与第1基准值或第2基准值的比较,进行了显示图像IM1的辉度的增减的控制,但通过UGR值与基准值的比较而进行的控制,不限于像素中的辉度的增减的控制,还能够进行各种变形。例如,在判定为UGR值为第1基准值以上的情况下,图像处理部160,作为使使用者看到的显示图像,还可以显示例如“请减少长时间使用”之类的与显示图像IM1相关的信息。另外,还可以在显示了“1分钟后亮度将降低”之类的与显示图像IM1的控制预告相关的信息后,降低显示图像IM1的辉度。另外,在不同于内置在左右光学像显示部28、26中的调光板264、263,根据使用者的意愿在左右光学像显示部28、26的表面还存在可拆卸且使外景SC的照度的光透射率变化的遮光件的情况下,还可以显示促使使用者拆卸遮光件的信息的显示图像。在该变形例中,由于进行显示图像IM1的辉度的增减以外的抑制刺眼眩光的控制,所以,根据使用者的意愿,进行显示图像IM1的辉度的增减以外的控制图像显示部20的操作,提高使用者的便利性。
另外,既可以有能够拆卸的遮光件,且在左右光学像显示部28、26中未内置调光板264、263,还可以既没有遮光件且也不在左右光学像显示部28、26中内置调光板264、263。即使根据外景SC的照度算出的外景SC的照度的光透射率μ没有被调整,通过调整显示图像的辉度,UGR值也增减,能够抑制使用者的刺眼感并提高显示图像IM1的可见性。
另外,提高UGR值而提高使用者的可视性的方法,不限于使显示图像IM1的辉度增加的控制,能够进行各种变形。例如,也可以进行下述控制:通过调整左右光学像显示部28、26所含有的调光板264、263的光透射率μ,减少使用者所看到的外景SC的照度及背景的辉度而UGR值增加。另外,还可以控制调光板264、263的光透射率μ的调整和像素的辉度的增减这两方。在该变形例中,无需为了提高使用者的可见性而增加显示图像IM1的辉度,能够不使用不必要的电力地提高使用者的可见性。
B4.变形例4:
上述实施方式中,基于UGR值进行了显示图像IM1的辉度的控制,但还可以基于显示显示图像IM1的显示时间和显示时间中的UGR值来进行显示图像的控制。在上述实施方式中,在UGR值为16的情况下,不进行显示图像IM1的辉度的控制,但还可以例如在UGR值不从16减少并经过了预定的时间的情况下,显示与显示图像IM1相关的信息或与显示图像IM1的控制预告相关的信息。另外,还可以算出显示有显示图像IM1的每单位时间的UGR值的平均值,将显示时间中所算出的UGR值的平均值的累积与预先设定的第3基准值进行比较,在累积的值为第3基准值以上的情况下,显示与显示图像IM1的控制相关的信息。在该变形例中,基于显示图像IM1的显示时间和显示时间中的UGR值,进行显示图像IM1的控制,所以,在依据UGR值的时间推移的基础上控制显示图像IM1,能够抑制使用者感到不适的刺眼感,能够抑制伴随时间的经过导致使用者的疲劳度蓄积的情况。另外,在该变形例中,在显示时间期间的UGR值的平均值的累积为第3基准值以上的情况下,由于显示有与显示图像IM1的控制相关的信息,所以,能够实时地向使用者通知伴随头部佩戴型显示装置100的持续使用所产生的使用者的疲劳度,能够提高使用者的便利性。
B5.变形例5:
上述实施方式中,通过照度传感器63检测外景SC的照度以算出UGR值,但不一定要检测外景SC的照度,关于计算UGR值能够进行各种变形。还可以通过操作部135接受规定的操作,由此,例如,使用应对白天和夜晚或室内和室外而预先设定的背景的辉度以算出UGR值。
另外,既可以是图像显示部20具备多个照度传感器63,也可以是照度传感器63作为相对于图像显示部20独立的装置而构成。例如,照度传感器63还可以分别检测右眼看到的外景SC的照度和左眼看到的外景SC的照度。在该变形例中,由于能够进行与右眼和左眼相对应地算出的辉度的控制和/或外景SC的光透射率μ的控制,所以,能够进一步抑制使用者的刺眼感,能够进一步降低使用者的视疲劳。
另外,通过发光源与使用者的位置关系和发光源的辉度与投影面积的关系,因为辉度和照度相关联,所以,既可以基于辉度算出照度,也可以基于照度算出辉度。
另外,上述实施方式中,作为显示图像IM1整体的平均辉度,使用了各像素的辉度的平均值,但不一定要使用各像素的辉度的平均值,关于显示图像IM1整体的平均辉度可以有各种变形。例如,还可以如UGR值那样,根据位置索引PI,在根据接近视线方向ED的像素的辉度进行了加权的基础上,算出显示图像IM1整体的平均辉度。
另外,上述实施方式中,作为位置索引PI使用了图2所示的映射图,但关于位置索引PI不限于此,能够进行各种变形。例如,还可以单纯地仅基于距视线方向ED的距离来确定位置索引PI。另外,还可以:关于显示图像IM1的中心的多个像素,使用一个位置索引PI,关于其他像素,使用与中心的像素不同的一个位置索引PI,来算出UGR值。
另外,上述实施方式中,在控制部10中形成了操作部135,但关于操作部135的形式能够进行各种变形。例如,还可以是具有相对于控制部10独立且作为操作部135的用户界面的方式。该情况下,操作部135由于与形成有电源130等的控制部10相独立,所以能够小型化,提高使用者的操作性。另外,通过在操作部135上形成检测操作部135的动作的9轴传感器,基于检测到的动作进行各种操作,由此,使用者能够凭感觉进行头部佩戴型显示装置100的操作。
例如,图像光生成部还可以构成为具有有机EL(有机电致发光,Organic Electro-Luminescence)的显示器和有机EL控制部。另外,例如,图像光生成部,代替LCD还能够使用LCOS(Liquid crystal on silicon,LCoS为注册商标)和/或数字微镜装置等。另外,例如,还能够将本发明适用于激光视网膜投影型的头戴式显示器。在激光视网膜投影型的情况下,“图像光生成部中的图像光的可出射区域”能够被定义为被使用者的眼睛识别的图像区域。
另外,例如,头戴式显示器还可以是光学像显示部仅覆盖使用者的眼的一部分的形式,换言之,为光学像显示部没有完全覆盖使用者的眼睛的形式的头戴式显示器。另外,头戴式显示器还可以为所谓单眼型的头戴式显示器。另外,头戴式显示器不限于光学透射型,还可以为使用者不能透射看到外景SC的非透射型或视频透射型。
图9是表示变形例的头部佩戴型显示装置的外观结构的说明图。在图9(A)的例子的情况下,与图4所示的头部佩戴型显示装置100的不同之处在于,图像显示部20a代替右光学像显示部26而具有右光学像显示部26a和代替左光学像显示部28而具有左光学像显示部28a。右光学像显示部26a形成得比上述实施方式的光学部件小,配置成在头部佩戴型显示装置100a的佩戴时位于使用者的右眼的斜上方。同样地,左光学像显示部28a形成得比上述实施方式的光学部件小,配置成在头部佩戴型显示装置100a的佩戴时位于使用者的左眼的斜上方。在图9(B)的例子的情况下,与图4所示的头部佩戴型显示装置100的不同之处在于,图像显示部20b代替右光学像显示部26而具有右光学像显示部26b和代替左光学像显示部28而具有左光学像显示部28b。右光学像显示部26b形成得比上述实施方式的光学部件小,配置成在头戴式显示器的佩戴时位于使用者的右眼的斜下方。左光学像显示部28b形成得比上述实施方式的光学部件小,配置成在头戴式显示器的佩戴时位于使用者的左眼的斜下方。这样,光学像表示部只要配置在使用者的眼睛附近即可。另外,形成光学像显示部的光学部件的大小是任意的,能够实现光学像显示部仅覆盖使用者的眼睛的一部分的方式的头部佩戴型显示装置100,换言之,能够实现光学像显示部没有完全覆盖使用者的眼睛的方式的头部佩戴型显示装置100。
另外,耳机可以采用挂耳型和/或发带型,也可以省略。另外,例如,还可以构成为搭载在汽车和/或飞机等移动体上的头戴式显示器。另外,例如,还可以作为内置于安全帽等身体防护用具内的头戴式显示器而构成。
上述实施方式中的头部佩戴型显示装置100的结构仅为一例,能够进行各种变形。例如,省略设置在控制部10上的方向键16和跟踪板14中的一个,还可以除方向键16和/或跟踪板14外还设置操作用杆等的其他操作用接口、或者代替方向键16和/或跟踪板14而设置操作用杆等的其他的操作用接口。另外,控制部10为能够连接键盘和/或鼠标等输入设备的结构,还可以接受来自键盘和/或鼠标的输入。
另外,作为图像显示部,还可以代替如眼镜那样佩戴的图像显示部20,而采用例如帽子那样佩戴的图像显示部之类的其他方式的图像显示部。另外,耳机32、34能够适当省略。
另外,上述实施方式中,头部佩戴型显示装置100既可以向使用者的左右眼导入表示相同图像的图像光并使使用者看到二维图像,也可以向使用者的左右眼导入表示不同图像的图像光而使使用者视觉辨认三维图像。
另外,上述实施方式中,还可以将通过硬件实现的结构的一部分置换成软件,相反地还可以将通过软件实现的结构的一部分置换成硬件。例如,上述实施方式中,图像处理部160和/或声音处理部170是通过CPU140读出并执行计算机程序而实现的,但这些功能部也可以通过硬件电路来实现。
另外,在通过软件实现本发明的功能的一部分或全部的情况下,该软件(计算机程序)能够以存储在计算机能够读取的记录介质中的形式提供。在本发明中,“计算机能够读取的记录介质”不限于软盘和/或CD-ROM那样的便携型的记录介质,还包括各种RAM、ROM等计算机内的内部存储装置、硬盘等固定于计算机的外部存储装置。
另外,上述实施方式中,如图4及图5所示,控制部10和图像显示部20作为独立的结构而形成,但是关于控制部10和图像显示部20的结构,不限于此,还能够进行各种变形。例如,还可以在图像显示部20的内部形成形成于控制部10的全部结构,或一部分。另外,上述实施方式中的电源130可以是单独地形成且可更换的结构,形成在控制部10中的结构也可以重复地形成在图像显示部20中。例如,图5所示的CPU140可以形成在控制部10和图像显示部20这两方,也可以设为形成在控制部10的CPU140和形成在图像显示部20的CPU所发挥的功能区分开的结构。
另外,还可以为控制部10和图像显示部20一体化而能够在使用者的衣服上的穿戴式计算机的方式。
本发明不限于上述实施方式和/或变形例,能够在不脱离其主旨的范围内通过各种结构实现。例如,与记载在发明内容中的各方式中的技术特征相对应的实施方式、变形例中的技术特征,为了解决上述课题的一部分或全部或为了实现上述的效果的一部分或全部,能够适当地进行替换和/或组合。另外,该技术特征只要在本说明书中未作为必须的技术特征加以说明,则能够适当地删除。

Claims (12)

1.一种头部佩戴型显示装置,其特征在于,具有:
图像显示部,其具有基于图像数据生成并出射图像光的图像光生成部,在被佩戴于使用者的头部的状态下,作为虚像使使用者看到所述图像光,并且使外景透射;和
控制部,其基于根据原来的图像数据即原图像数据而生成的原图像光的辉度和所述透射了的外景的照度而设定指标值,基于所述指标值与预先设定的第1阈值的比较结果,使所述图像光生成部生成所述原图像光中的至少一部分的辉度改变了的显示用图像光。
2.根据权利要求1所述的头部佩戴型显示装置,其特征在于,
还具有检测所述外景的照度的照度检测部,
所述指标值基于所述原图像光的辉度和所检测到的所述外景的照度来设定。
3.根据权利要求1或2所述的头部佩戴型显示装置,其特征在于,
所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述透射了的外景的照度增加而减小的指标值,
所述控制部,在所述比较结果为所述指标值为所述第1阈值以上的情况下,使所述图像光生成部生成使所述原图像光中的至少一部分的辉度减低后的所述显示用图像光。
4.根据权利要求3所述的头部佩戴型显示装置,其特征在于,
所述指标值是如下的指标值:与伴随距所述图像光生成部出射所述图像光的区域的中心远的位置的辉度变化的变化量相比,伴随距所述区域的中心近的位置的辉度变化的变化量大,
所述显示用图像光是如下的所述图像光:相对于所述原图像光,距所述区域的中心近的位置的辉度减少量比距所述区域的中心远的位置的辉度减少量大。
5.根据权利要求3所述的头部佩戴型显示装置,其特征在于,
具有确定使用者的视野的视野确定部,
所述指标值是如下的指标值:与伴随距确定了的使用者的所述视野的中心远的位置的辉度变化的变化量相比,伴随距所述视野的中心近的位置的辉度变化的变化量大,
所述显示用图像光是如下的所述图像光:相对于所述原图像光,距所述视野的中心近的位置的辉度减少量比距所述视野的中心远的位置的辉度减少量大。
6.根据权利要求1~5中任一项所述的头部佩戴型显示装置,其特征在于,
所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述外景的照度增加而减小的指标值,
所述控制部,在所述比较结果为所述指标值小于所述第1阈值的情况下,在所述指标值不变为所述第1阈值以上的范围内,使所述图像光生成部生成所述图像光中的使至少一部分的辉度增加后的所述显示用图像光中。
7.根据权利要求1~6中任一项所述的头部佩戴型显示装置,其特征在于,
还具有对于所述外景的照度、调整所述透射了的外景的照度而使所述图像光透射的外景照度调整部,
所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述外景的照度增加而减小的指标值,
所述控制部,在所述比较结果为所述指标值小于所述第1阈值的情况下,在所述指标值不变为所述第1阈值以上的范围内,调整所述外景照度调整部以使得所述透射了的外景的照度的至少一部分减少。
8.根据权利要求1~7中任一项所述的头部佩戴型显示装置,其特征在于,
还具有对于所述外景的照度、调整所述透射了的外景的照度而使所述图像光透射的外景照度调整部,
所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述外景的照度增加而减小的指标值,
所述控制部,在所述比较结果为所述指标值小于所述第1阈值的情况下,作为使使用者看到的所述图像光,设定包含与由所述外景照度调整部所进行的所述透射了的外景的照度的调整相关的信息的所述图像光。
9.根据权利要求1~8中任一项所述的头部佩戴型显示装置,其特征在于,
所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述外景的照度增加而减小的指标值,
所述控制部,在所述比较结果为所述指标值为所述第1阈值以上的情况下,作为使使用者看到的所述图像光,设定包含与所述图像光的控制相关的信息的所述图像光。
10.根据权利要求1~9中任一项所述的头部佩戴型显示装置,其特征在于,
所述控制部,基于所述图像光在所述图像光生成部中生成的生成期间和所述生成期间中的所述指标值,使所述图像光生成部生成所述显示用图像光。
11.根据权利要求10所述的头部佩戴型显示装置,其特征在于,
所述指标值是伴随所述原图像光的辉度增加而增大且伴随所述外景的照度增加而减小的指标值,
所述控制部,在累积所述生成期间中的所述指标值所得的值为预先设定的第2阈值以上的情况下,作为使使用者看到的所述图像光,设定包含与所述图像光的控制相关的信息的所述图像光。
12.一种透射型的头部佩戴型显示装置的控制方法,其特征在于,
所述头部佩戴型显示装置具有图像显示部,该图像显示部具有基于图像数据生成并射出图像光的图像光生成部,在被佩戴于使用者的头部的状态下,作为虚像使使用者看到所述图像光并且使外景透射,
所述控制方法具有以下步骤:基于根据原来的图像数据即原图像数据而生成的原图像光的辉度和所述外景的照度而设定指标值,基于所述指标值与预先设定的第1阈值的比较结果,使所述图像光生成部生成所述原图像光中的至少一部分的辉度改变了的显示用图像光。
CN201410409060.9A 2013-08-19 2014-08-19 头部佩戴型显示装置及头部佩戴型显示装置的控制方法 Pending CN104423041A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-169737 2013-08-19
JP2013169737A JP6398157B2 (ja) 2013-08-19 2013-08-19 頭部装着型表示装置および頭部装着型表示装置の制御方法

Publications (1)

Publication Number Publication Date
CN104423041A true CN104423041A (zh) 2015-03-18

Family

ID=52466475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410409060.9A Pending CN104423041A (zh) 2013-08-19 2014-08-19 头部佩戴型显示装置及头部佩戴型显示装置的控制方法

Country Status (3)

Country Link
US (1) US9740009B2 (zh)
JP (1) JP6398157B2 (zh)
CN (1) CN104423041A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018049624A1 (zh) * 2016-09-14 2018-03-22 深圳市柔宇科技有限公司 头戴显示设备
CN108292490A (zh) * 2015-12-02 2018-07-17 索尼互动娱乐股份有限公司 显示控制装置和显示控制方法
CN111552078A (zh) * 2020-04-24 2020-08-18 Oppo广东移动通信有限公司 眼镜保护罩及其控制方法、眼镜

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307627B2 (ja) 2014-03-14 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 空間感知を備えるゲーム機
JP6575117B2 (ja) * 2015-04-06 2019-09-18 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2016122144A (ja) * 2014-12-25 2016-07-07 富士通株式会社 映像表示装置及び方法
CN105988219B (zh) * 2015-03-17 2020-11-10 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6488786B2 (ja) * 2015-03-17 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6733174B2 (ja) * 2015-12-24 2020-07-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
KR102399669B1 (ko) 2015-10-15 2022-05-19 삼성전자주식회사 디스플레이 밝기 조정 방법 및 장치
KR101736185B1 (ko) * 2015-12-04 2017-05-17 현대오트론 주식회사 스마트글라스의 밝기 제어 장치 및 방법
WO2018168780A1 (ja) * 2017-03-17 2018-09-20 シャープ株式会社 表示装置の表示方法、表示装置、ヘッドマウントディスプレイデバイス
CN118311774A (zh) * 2017-06-26 2024-07-09 京东方科技集团股份有限公司 显示系统和图像显示方法
KR102591404B1 (ko) * 2017-12-13 2023-10-20 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
JP6838026B2 (ja) * 2018-10-26 2021-03-03 Necパーソナルコンピュータ株式会社 電子機器
WO2022153683A1 (ja) * 2021-01-15 2022-07-21 ソニーセミコンダクタソリューションズ株式会社 画像表示装置及び画像表示方法
CN116982104A (zh) * 2021-03-03 2023-10-31 Eizo株式会社 图像显示系统、图像显示方法、以及图像显示程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242134A (ja) * 2007-03-28 2008-10-09 Nikon Corp 表示装置
CN101512632A (zh) * 2006-09-27 2009-08-19 索尼株式会社 显示设备和显示方法
JP2010164782A (ja) * 2009-01-15 2010-07-29 Brother Ind Ltd 画像表示装置
US20130063486A1 (en) * 2011-09-12 2013-03-14 Google Inc. Optical Display System and Method with Virtual Image Contrast Control
JP2013122519A (ja) * 2011-12-12 2013-06-20 Seiko Epson Corp 透過型表示装置、表示方法および表示プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3580339B2 (ja) * 1997-04-30 2004-10-20 東芝ライテック株式会社 不快グレア評価装置
JP2008092481A (ja) 2006-10-05 2008-04-17 Matsushita Electric Ind Co Ltd 画像表示装置、画像調整方法、及び画像表示プログラム
JP2010058631A (ja) 2008-09-03 2010-03-18 Mazda Motor Corp 車両用情報表示装置
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
CA2925620C (en) * 2012-10-29 2020-07-21 7D Surgical Inc. Integrated illumination and optical surface topology detection system and methods of use thereof
US9655191B2 (en) * 2013-01-25 2017-05-16 Philips Lighting Holding B.V. Lighting device and lighting system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512632A (zh) * 2006-09-27 2009-08-19 索尼株式会社 显示设备和显示方法
JP2008242134A (ja) * 2007-03-28 2008-10-09 Nikon Corp 表示装置
JP2010164782A (ja) * 2009-01-15 2010-07-29 Brother Ind Ltd 画像表示装置
US20130063486A1 (en) * 2011-09-12 2013-03-14 Google Inc. Optical Display System and Method with Virtual Image Contrast Control
JP2013122519A (ja) * 2011-12-12 2013-06-20 Seiko Epson Corp 透過型表示装置、表示方法および表示プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292490A (zh) * 2015-12-02 2018-07-17 索尼互动娱乐股份有限公司 显示控制装置和显示控制方法
US11042038B2 (en) 2015-12-02 2021-06-22 Sony Interactive Entertainment Inc. Display control apparatus and display control method
US11768383B2 (en) 2015-12-02 2023-09-26 Sony Interactive Entertainment Inc. Display control apparatus and display control method
WO2018049624A1 (zh) * 2016-09-14 2018-03-22 深圳市柔宇科技有限公司 头戴显示设备
CN111552078A (zh) * 2020-04-24 2020-08-18 Oppo广东移动通信有限公司 眼镜保护罩及其控制方法、眼镜

Also Published As

Publication number Publication date
US9740009B2 (en) 2017-08-22
JP2015038578A (ja) 2015-02-26
JP6398157B2 (ja) 2018-10-03
US20150049003A1 (en) 2015-02-19

Similar Documents

Publication Publication Date Title
CN104423041A (zh) 头部佩戴型显示装置及头部佩戴型显示装置的控制方法
JP6107276B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9064442B2 (en) Head mounted display apparatus and method of controlling head mounted display apparatus
CN106537227B (zh) 显示装置、用于显示装置的控制方法以及程序
JP6160020B2 (ja) 透過型表示装置、表示方法および表示プログラム
JP6217244B2 (ja) 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム
CN112130329B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104238119B (zh) 头戴式显示装置以及头戴式显示装置的控制方法
CN106199963B (zh) 显示装置及其控制方法以及计算机程序
CN104423045A (zh) 头部佩戴型显示装置
JP2018533765A (ja) デュアルモード拡張/仮想現実(ar/vr)ニアアイウェアラブルディスプレイ
CN104076512A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104714302A (zh) 头部佩戴型显示装置
CN104460004A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6268778B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9799144B2 (en) Head mounted display, and control method for head mounted display
JP6464729B2 (ja) 表示装置、及び、表示装置の制御方法
GB2548151A (en) Head-mountable display
JP2015177404A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6561606B2 (ja) 表示装置、及び、表示装置の制御方法
JP6369583B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
GB2548150A (en) Head-mountable display system
JP5742355B2 (ja) 頭部装着型表示装置
JP6273677B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6217772B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150318

WD01 Invention patent application deemed withdrawn after publication