CN111295702A - 虚像显示装置以及使用该装置的头戴式显示器 - Google Patents

虚像显示装置以及使用该装置的头戴式显示器 Download PDF

Info

Publication number
CN111295702A
CN111295702A CN201880070301.8A CN201880070301A CN111295702A CN 111295702 A CN111295702 A CN 111295702A CN 201880070301 A CN201880070301 A CN 201880070301A CN 111295702 A CN111295702 A CN 111295702A
Authority
CN
China
Prior art keywords
virtual image
user
image light
viewing distance
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880070301.8A
Other languages
English (en)
Inventor
大西邦一
村田诚治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN111295702A publication Critical patent/CN111295702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0129Head-up displays characterised by optical features comprising devices for correcting parallax
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

其目的在于提供一种具备将预定的虚像影像投影到使用者的视场内的功能的虚像显示装置,该虚像显示装置良好地改善虚像影像视觉辨认时的使用者的生理负担、视点范围的狭窄的问题。为了达成上述目的,在具备将预定的虚像影像投影到使用者的视场内的功能的虚像显示装置中,构成为具有:视觉辨认距离检测部,关于使用者注视的视觉辨认对象物或者处于视场内的多个对象物中的至少一部分的对象物,检测从使用者至对象物的实际视觉辨认距离;虚像光生成部,具备生成相互独立的多个虚像光的功能;虚像光传输投影部,具备将虚像光经由大致同一光学路径传输、投影到使用者的左右双眼而使得在使用者的视场内的预定位置处视觉辨认预定的虚像影像的功能;以及虚像视觉辨认距离控制部,具备使用多个投影虚像光对被使用者视觉辨认的虚像的视觉辨认距离进行可变控制的功能。

Description

虚像显示装置以及使用该装置的头戴式显示器
技术领域
本发明涉及具备通过预定的光学系统使任意的影像作为虚像被使用者视觉辨认的功能的虚像显示装置,特别涉及具备在使用者视觉辨认的实际空间视场内重叠显示虚像的功能的虚像显示装置。
背景技术
作为具备在使用者视觉辨认的实际空间视场内重叠显示预定的虚像的功能的虚像显示装置的例子,已知头戴式显示器(以下记载为HMD)、抬头显示器(以下记载为HUD)等。在这些虚像显示装置中,使在使用者的实际空间视场内重叠显示的虚像的视觉辨认距离匹配于处于该视场内的实际对象物的实际空间视觉辨认距离的功能(以下,记载为虚像视觉辨认距离匹配功能)的存在与否成为减轻对使用者造成的生理学上的负担而对使用者的视觉辨认性提高作出贡献的重要的性能要件。
以往,作为特别地穿戴于使用者的头部的HMD中的虚像视觉辨认距离匹配功能的实现方式,例如在专利文献1中公开了一种所谓基于“双眼视差方式”的虚像视觉辨认距离匹配方式,其中,通过预定的检测单元,检测与使用者注视的实际空间对象物相距的视觉辨认距离(实际视觉辨认距离),将在以该实际视觉辨认距离注视对象物时产生的使用者的左眼视觉辨认像和右眼视觉辨认像的相对的背离量即“双眼视差”赋予给仅用使用者的左眼视觉辨认的左眼用显示虚像和仅用右眼视觉辨认的右眼用显示虚像,从而使使用者如好像虚像的视觉辨认距离匹配于实际空间视觉辨认距离那样错视(视错觉,opticalillusion)。
现有技术文献
专利文献
专利文献1:日本特开2016-186561号公报
发明内容
然而,在如专利文献1公开的基于“双眼视差方式”的虚像视觉辨认距离匹配方式中,由于该双眼视差而在使用者感知的感知虚像距离与实际使用者的眼睛在虚像上合焦的距离即实际虚像距离之间产生背离,所以存在对使用者造成生理学上的负担而长时间使用时的使用者的疲劳感大这样的问题。另外,双眼视差自身除了依赖于视觉辨认距离以外,还依赖于使用者的注视视线方向而变化,所以还存在能够以预定的视觉辨认距离准确地视觉辨认虚像的使用者的视点范围所谓眼盒(Eyebox)极其狭窄这样的问题。进而,在该“双眼视差方式”中,在用于左眼时和用于右眼时必须显示显示影像项目的位置错开的相互不同的虚像,所以必须在HMD内在用于左眼时和用于右眼时准备独立的2个虚像显示用光学系统,在HMD的小型轻量化、低成本化中存在大幅的制约。
基于如以上的背景,本申请发明的目的在于,良好地改善如上所述的使用者的生理负担、视点范围的狭窄的问题。
本发明鉴于上述背景技术以及课题,如果举出其一个例子,则在具备将预定的虚像影像投影到使用者的视场内的功能的虚像显示装置中,构成为具备:视觉辨认距离检测部,关于使用者注视的视觉辨认对象物或者处于视场内的多个对象物中的至少一部分的对象物,检测从使用者至该对象物的实际视觉辨认距离;虚像光生成部,具备生成相互独立的多个虚像光的功能;虚像光传输投影部,具备将虚像光经由大致同一光学路径传输、投影到使用者的左右双眼而使得在使用者的视场内的预定位置处视觉辨认预定的虚像影像的功能;以及虚像视觉辨认距离控制部,具备使用多个投影虚像光对被使用者视觉辨认的虚像的视觉辨认距离进行可变控制的功能。
根据本申请发明,能够提供能够实现减轻了使用者的生理负担的良好的视觉辨认环境下的虚像视觉辨认距离匹配功能的虚像显示装置以及使用该虚像显示装置的头戴式显示器。
附图说明
图1是实施例1中的HMD的概略立体图。
图2是示出实施例1中的HMD的使用场景的概略立体图。
图3是示出图2的使用场景中的使用者视场内的视觉辨认像的一个例子的概略俯视图。
图4是示出实施例1中的HMD的另一使用场景的概略立体图。
图5是示出图4的使用场景中的使用者视场内的视觉辨认像的一个例子的概略俯视图。
图6是示出实施例1中的HMD的又一使用场景中的使用者视场内的视觉辨认状态的概略俯视图。
图7是示出实施例1中的HMD的概略结构的框图。
图8是示出实施例1中的HMD的动作过程的流程图。
图9是用于说明实施例1中的HMD的视觉辨认对象物实际视觉辨认距离检测部的动作原理的示意图。
图10是示出实施例1中的HMD的视觉辨认对象物实际视觉辨认距离检测部的动作过程的流程图。
图11是示出实施例1中的HMD的虚像光生成部以及虚像光传输投影部的概略结构的俯视图。
图12是用于说明实施例1中的HMD的虚像光生成部以及虚像光传输投影部的动作概要的示意图。
图13是用于说明实施例1中的HMD的虚像光生成部以及虚像光传输投影部的其他动作概要的示意图。
图14是用于说明实施例1中的HMD的虚像视觉辨认距离可变控制的概要的示意图。
图15是用于说明实施例2中的HMD的视觉辨认对象物实际视觉辨认距离检测部的动作原理的示意图。
图16是示出实施例2中的HMD的视觉辨认对象物实际视觉辨认距离检测部的动作过程的流程图。
图17是示出实施例3中的HMD的虚像光生成部以及虚像光传输投影部的概略结构的俯视图。
图18是用于说明实施例3中的HMD的虚像光生成部以及虚像光传输投影部的动作概要的示意图。
图19是用于说明实施例3中的HMD的虚像光生成部以及虚像光传输投影部的其他动作概要的示意图。
图20是示出实施例4中的HMD的虚像光生成部以及虚像光传输投影部的概略结构的俯视图。
图21是示出实施例5中的HMD的虚像光生成部以及虚像光传输投影部的概略结构的俯视图。
图22是示出实施例6中的HMD的虚像光生成部以及虚像光传输投影部的概略结构的俯视图。
图23是示出实施例7中的便携型信息终端的使用场景的概略立体图。
图24是示出实施例8中的车辆用抬头显示器的使用场景的概略正面图。
(符号说明)
1:HMD;4、5:导光板;6、7:入射用全息图(hologram);8a、8b、9a、9b:射出用全息图;10:虚像光传输投影部;20:外景影像拍摄用的小型电子照相机;30:驱动控制电路;34:视觉辨认对象物实际视觉辨认距离检测部;35:虚像视觉辨认距离控制部;40、41:虚像光生成部;42、43:虚像影像显示用显示器;46,47:虚像光生成用投影透镜系统;49:梯形PBS(偏振光束分束器);50:便携信息终端;100:使用者。
具体实施方式
以下,使用附图说明本发明的实施例。
实施例1
图1是作为本实施例中的虚像显示装置的眼镜型HMD的概略立体图。如图1所示,眼镜型HMD1被穿戴于使用者100的头部。该HMD1在与用于架在左右的耳朵上的眼镜的镜腿相当的部位2以及3储存有后述电子电路以及光学引擎。另外,在与眼镜透镜相当的部位,配置有由光学玻璃或者光学构件用塑料部件制作出的透明薄板4、5。该透明薄板4以及5是被称为“导光板”的光学设备,在本实施例中为层叠有导光板4、5的构造,并且与左右的眼镜透镜相当的部分被同一导光板覆盖。进而,在该导光板4、5,在位于左右眼的眼前的部分,配置有预定的射出用全息图8a、8b、9a、9b。此外,后述该导光板4、5以及射出用全息图8a、8b、9a、9b的功能等的详细内容。
此外,在本实施例中,镜腿部位2以及3具备用于对使用者眼前的外景影像进行拍摄的小型电子照相机20。特别,在本实施例中,小型电子照相机20为安装于左右的镜腿部位2以及3这两方的2眼照相机,构成为还兼具通过所谓立体照相机功能对与拍摄对象物相距的距离进行测距的功能。但是,如在本实施例中说明的搭载于HMD的外景拍摄用照相机不限定于上述2眼立体照相机,当然完全也可以是1眼的照相机,其设置位置也不限定于如图1所示的位置。
另外,在本实施例中,在眼镜框部的上部,配置有预定的传感器盒21。在该传感器盒21内,例如搭载有监视使用者100的左右双眼瞳孔的位置的所谓眼动追踪照相机、或者TOF(Time Of Flight,飞行时间)传感器等对与处于使用者眼前的任意的对象物相距的距离进行测距的传感器等。此外,关于在该传感器盒21内具备的传感器,当然不限定于眼动追踪照相机、TOF传感器,只要是用对与使用者眼前的外部情景中的任意的对象物相距的距离进行测距的功能或者预定的方式对为了检测该距离信息所需的信息信号等进行检测的传感器,则可以是任意的传感器。另外,该传感器盒21自身的设置位置也不限定于图中示出的位置,进一步而言也可以是去掉该传感器盒自身而例如将各个传感器组装到HMD1内部的预定位置的结构。
但是,在本实施例中,HMD1具备与智能手机等使用者携带的便携信息终端50相互进行无线通信的功能,为从便携信息终端50获取与HMD1应显示的预定的虚像影像有关的数据的架构。但是,该架构也不限定于上述架构,例如也可以是HMD自身兼具上述便携信息终端50的功能的一部分或者全部而在HMD1的内部保有与应显示的虚像影像有关的数据的架构。以下,具体地说明本实施例中的HMD1的结构等。
此外,在本实施例的具体说明之前,为了使本实施例的虚像显示装置所要实现的功能更为明确,介绍在日常生活中使用者使用利用本实施例的虚像显示装置的HMD的几个场景例。
例如,图2是示出穿戴有本申请发明的HMD1的使用者100注视着手持的文件60的场景的概略立体图,图3示出此时在使用者100的视场101(由虚线包围的区域)内视觉辨认的文件60的实际视觉辨认像和通过HMD1在相同的视场101内重叠显示的虚像影像70的例子。此时,使用者100的双眼当然在手持的文件60上焦点对准,其视觉辨认距离a是高达几十公分左右。在这样的使用场景中,例如在使与在文件60上记载的某些文字段落有关的关联信息或者解说信息作为基于HMD1的虚像影像70重叠显示于视场101内的预定位置的情况下,该虚像影像70的视觉辨认距离至少需要与在该时间点下使用者100的双眼的焦点对准的视觉辨认距离a大致一致。其原因为,在假设两者的视觉辨认距离未一致的情况下,在使用者100的视场内同时存在视觉辨认距离即眼睛的焦点对准的距离不同的影像项目,HMD使用者难以无不适感、压迫感地同时视觉辨认它们。
同样地,例如图4是示出穿戴有上述HMD1的使用者100从相距几米的位置注视着预定的对象物61(在图4的例子中是绘画)的场景的概略立体图,图5示出在此时的使用者100的视场101(由虚线包围的区域)内视觉辨认的对象物61的实际视觉辨认像和通过HMD1在相同的视场101内重叠显示的虚像影像71的例子。在该场景中也与上述文件注视的场景同样地,使用者100的双眼在视觉辨认对象物61上焦点对准,但其视觉辨认距离b与文件注视的情况不同而延伸到几米。在这样的使用场景中也是例如在使与对象物61有关的关联信息或者解说信息作为基于HMD1的虚像影像71重叠显示于视场101内的预定位置的情况下,在该虚像影像71的视觉辨认距离与使用者100的双眼的焦点对准的视觉辨认距离b未大致一致时,使用者100难以无不适感、压迫感地同时视觉辨认该虚像影像71和对象物61。
这样,HMD使用者为了无不适感、压迫感地同时持续视觉辨认在其视场内看到的实像和由HMD重叠显示的虚像影像,需要使由HMD重叠显示的虚像影像的视觉辨认距离每次与使用者实际视觉辨认的对象物的视觉辨认距离大致一致。
进一步而言,为了使用HMD实现所谓增强现实(Augmented Reality:简称AR)的视觉辨认环境,至少需要针对在HMD使用者的视场内看到的任意的对象物与该对象物关联起来而将预定的虚拟影像重叠显示为虚像,所以需要使该虚拟影像的视觉辨认距离与该对象物的实际视觉辨认距离大致一致、或者以与该实际视觉辨认距离关联起来的预定的视觉辨认距离进行显示。
例如,图6示出在HMD使用者观望某个房间的内部的情况下在其视场内看到的实际视觉辨认对象物的例子,但桌子62、沙发65、窗帘67等处于房间中的各家具项目62至67当然根据其设置位置而具有与该时间点下的使用者的站立位置相应地分别不同的视觉辨认距离。而且,该视觉辨认距离根据使用者的站立位置的变化而逐个变化。因此,例如在对这些各家具项目使用HMD将某些虚拟影像72至77作为虚像影像重叠显示而实现AR环境的情况下,需要逐个检测各个家具项目的实际视觉辨认距离,使对应的虚拟影像的视觉辨认距离与检测出的实际视觉辨认距离大致一致、或者以与该实际视觉辨认距离关联起来的预定的视觉辨认距离进行显示。
为了应对如以上叙述的需要,本实施例提供具备如下功能的HMD等虚像显示装置:逐个检测使用者注视的对象物或者使用者在视场内看到的对象物的实际视觉辨认距离,几乎实时地在与该实际视觉辨认距离大致一致或者与该实际视觉辨认距离关联起来的预定的视觉辨认距离处显示预定的虚像影像。
此外,在图3、图5、图6中,从使说明易于理解的目的出发,作为通过HMD在使用者的视场内重叠显示的虚像影像项目的例子,限定于所谓“提示窗”方式的信息显示项目而公开,但当然显示虚像影像项目并非限定于这样的“泡泡”方式,也可以是任意的方式的影像项目。
接下来,说明本实施例中的图1所示的HMD的具体结构。图7是示出本实施例中的HMD1的概略结构的框图。在图7中,显示虚像用信息信号接收部31通过与使用者100携带的便携信息终端50的相互通信,接收与使用HMD1应重叠显示的虚像影像有关的所需数据。另外,同时,在影像信息获取部32中,获取由外景拍摄用的小型电子照相机20等拍摄的使用者眼前的外景影像以及由传感器盒21内的眼动追踪照相机等拍摄的使用者100的双眼瞳孔的影像,作为预定的影像数据。另外,根据由显示虚像用信息信号接收部31接收到的虚像影像数据以及由影像信息获取部32获取到的预定的影像数据,在显示虚像用图像数据生成部33中,生成用于生成在使用者视场内重叠显示的虚像影像78或者79的显示器用影像数据。
另一方面,在视觉辨认对象物实际视觉辨认距离检测部34中,使用预定的方式逐个检测使用者100的实际视觉辨认距离。另外,在虚像视觉辨认距离控制部35中,进行用于根据由视觉辨认对象物实际视觉辨认距离检测部34检测出的实际视觉辨认距离对显示虚像的视觉辨认距离进行可变控制的预定的控制处理。此外,在后面说明视觉辨认对象物实际视觉辨认距离检测部34中的实际视觉辨认距离的检测以及虚像视觉辨认距离控制部35中的显示虚像的视觉辨认距离可变控制。
接下来,存储器36具备临时储存有由上述各块生成的各种数据信号的至少一部分的功能,但并非必须一定配置于HMD1内,例如也可以具有相同的功能的存储器配置于便携信息终端50侧。另外,上述块31至36通过控制部37适当地被控制其动作。
此外,显示虚像用信息信号接收部31至控制部37的各块(图中由单点划线包围的区域内的块)是仅由电子电路构成的块,在以下的说明中,为了简化而一并记载为HMD驱动控制电路30。
另一方面,虚像光生成部40、41分别由预定的虚像影像显示用显示器以及该显示器的驱动电路(显示器驱动器)和预定的光学系统构成,继之的虚像光传输投影部10仅由预定的光学构件构成,具备将虚像光经由大致同一光学路径传输到使用者的左右双眼并投影而使得在使用者视场内的预定位置处视觉辨认预定的虚像影像的功能。此外,也在后面说明虚像光生成部40、41以及虚像光传输投影部10的具体的结构例。
图8是示出图1以及图7所示的本实施例中的HMD的动作过程的流程图。在图8中,在流程开始后,首先在步骤201(以后在图中将步骤称为S,如S201那样记载)中,接收从便携信息终端50发送的N个显示虚像影像项目(S1,S2,:SN)的各影像数据。同时,在步骤202中,从由外景拍摄用的小型电子照相机20等拍摄的使用者眼前的外景影像,获取处于使用者视场内的实际对象物的各影像数据。进而,在步骤203中,通过眼动追踪照相机等,获取使用者双眼瞳孔的影像数据。
接下来,在步骤204中将预定的编号变量n设为1,在接下来的步骤205中,从在步骤202中获取的视场内实际对象物的各影像数据中,选定成为接收到的第n个显示虚像影像项目Sn的链接显示对象的对象物。然后,在接下来的子程序300(S300)中,通过后述方式检测该对象物的实际视觉辨认距离,确定显示虚像影像项目Sn的视觉辨认距离。进而,在接下来的子程序400(S400)中,作为为了对显示虚像影像项目Sn的视觉辨认距离进行可变控制而在本实施例中使用的预定的控制方式所需的数据,估算远距离基准虚像和近距离基准虚像的亮度比例分配数据。在后面说明基于该远近基准虚像及其亮度比例分配的虚像视觉辨认距离可变控制的详细内容。
接下来,在步骤206中,确定虚像影像显示用显示器上的显示虚像影像项目Sn的显示位置、显示尺寸等影像显示用数据。然后,在步骤207中,判定是否n=N,在否的情况下,使得n=n+1,反馈给步骤205。
通过反复进行以上的处理流程,关于接收到的N个显示虚像影像项目(S1,S2,:SN)的全部,确定上述影像显示用数据和上述远近基准虚像亮度比例分配数据。
之后,在步骤208中,使用与确定的上述N个显示虚像影像项目(S1,S2,:SN)的各个显示虚像影像项目有关的影像显示用数据和远近基准虚像亮度比例分配数据,生成向虚像影像显示用显示器输入的影像数据信号,在接下来的步骤209中实际驱动虚像影像显示用显示器而进行预定的影像显示。然后,通过进一步经由预定的光学系统,根据从上述显示器射出的影像光而生成预定的远近基准虚像光,将该虚像光传输至使用者的双眼而投影。
接下来,关于在图8的流程图中的子程序300(S300)中执行的使用者视觉辨认对象物的实际视觉辨认距离检测,说明其具体实施例。
图9以及图10是用于说明该实际视觉辨认距离的检测过程以及原理的示意图和流程图。首先,使用眼动追踪照相机等对使用者100的双眼瞳孔进行拍摄,从该影像数据检测图中所示的左右眼瞳孔中心102以及103的从基准位置(无限远注视时的瞳孔中心位置)104以及105起的偏移量所谓辐辏量PL以及PR和此时的左右眼瞳孔中心间隔WLR
现在,在将左右眼球的转动中心106以及107至左右眼瞳孔中心102以及103的距离即眼球转动半径设为R时,朝向任意的视觉辨认对象物68上的注视点120的使用者100的左右眼的视线倾斜角αLαR用以下的关系式(1)、(2)求出。
tan(αL)=PL/R---(1)
tan(αR)=PR/R---(2)
进而,使用者100的左右瞳孔间隔的中心位置至上述注视点120的距离即实际视觉辨认距离S还用以下的关系式(3)求出。
S=WLR/{tan(αL)+tan(αR)}=R×WLR/{PL+PR}---(3)
通过逐个执行这样的处理过程,能够几乎实时地检测与使用者100视觉辨认的对象物相距的实际视觉辨认距离。
此外,关于图10的流程图中的处理步骤S301~S306中的各个步骤的处理过程,由于与上述说明重复,所以省略说明。
另外,关于上述眼球转动半径R,只要通过预定的校准处理(通过使用实际视觉辨认距离已知的校准用对象物实施相同的检测过程而对上述(1)~(3)式进行逆运算来估算)在使用前预先检测即可。
接下来,说明通过图7的框图中的虚像光生成部40、41以及虚像光传输投影部10的具体的结构和该虚像光生成部40、41以及虚像光传输投影部10在使用者视场内重叠显示的虚像影像的视觉辨认距离可变控制的具体的实施例。
图11是示出图1以及图7所示的本实施例中的HMD的虚像光生成部40、41以及虚像光传输投影部10的概略结构的俯视图。在与图1所示的HMD1的眼镜的镜腿相当的部位内,配置有上述驱动控制电路30和分别独立的虚像光生成部40以及41(图中由单点划线包围的部位)。另外,在该虚像光生成部40以及41内,分别例如配置有由液晶显示器等影像显示器构成的虚像影像显示用显示器42、43、用于驱动该显示器的显示器驱动电路44、45、虚像光生成用投影透镜系统46、47。此外,虚像影像显示用显示器42、43不限定于上述液晶显示器,例如只要是有机电致发光显示器(简称:OLED)等小型的影像显示器,则可以是任意的方式、结构的显示器。
另一方面,在虚像光传输投影部10(图中由虚线包围的部位)中,如图1中也示出的那样,配置有层叠的2张透明导光板4以及5。该导光板4、5具备将以预定的入射角入射到该导光板的光通过该导光板的上下表面上的全反射的反复进行而封入、传输到该导光板内部的功能。另外,在该导光板4、5中分别配置有:入射用全息图6以及7,具备向导光板内入射光波的功能;和射出用全息图8a、8以及9a、9b,具备将在导光板内行进的光波射出到外部的功能。关于这样具备入射用全息图和射出用全息图的导光板,作为HMD用虚像光传输投影用光学设备已经是公知的,所以省略其以上的详细的说明。
在本实施例中,接受来自HMD驱动控制电路30的预定的指令信号或者控制信号,通过虚像影像显示用显示器42、43映出与显示虚像相当的影像而生成预定的影像光。
然后,上述影像光中的由显示器42生成的第1影像光首先如图12所示入射到虚像光生成用投影透镜系统46,在此被变换为具有预定的视觉辨认距离的第1虚像光。然后接下来,经由配置于导光板4的入射用全息图6入射到导光板4的内部,在该导光板4向图的右朝向行进之后,从射出用全息图8a以及8b射出而分别入射到使用者100的双眼112a以及112b。此时,使用者100通过该第1虚像光,在穿过透明的导光板4以及5的预定视觉辨认距离DL的位置处视觉辨认虚像影像78。在本说明书中,以后将该虚像影像78记载为远距离基准虚像。
另一方面,由上述显示器43生成的第2影像光如图13所示入射到虚像光生成用投影透镜系统47,在此被变换为具有预定的视觉辨认距离的第2虚像光。然后接下来,经由配置于导光板5的入射用全息图7而入射到导光板5的内部,在该导光板5内向图的左朝向行进之后,从射出用全息图9a以及9b射出而与从上述射出用全息图8a以及8b射出的虚像光同样地分别入射到使用者100的双眼112a以及112b。此时,使用者100通过该第2虚像光,在穿过透明导光板4以及5的预定视觉辨认距离DS(DS<DL)的位置处视觉辨认虚像影像79。在本说明书中,以后将该虚像影像79记载为近距离基准虚像。
即,以在从使用者100观察时在穿过透明导光板4以及5的预定的视觉辨认距离DL的位置处使远距离基准虚像78准确地被视觉辨认、并且在视觉辨认距离DS(DS<DL)的位置处使近距离基准虚像79准确地被视觉辨认的方式,适当地设定虚像光生成用投影透镜系统46和47的光学常数、透镜位置。
而且,以使该远距离基准虚像78和近距离基准虚像79如图14所示按照完全的射影关系被重叠视觉辨认的方式,适当地设定虚像影像显示用显示器42以及43中的影像显示位置、虚像光生成用投影透镜系统46以及47的虚像的视觉辨认倍率。具体而言,相对远距离基准虚像78的视觉辨认倍率M,近距离基准虚像79的视觉辨认倍率M’被设定为M’=(DS/DL)×M。
进而,在该状态下根据如以下所示的预定的关系式(4)、(5),对上述远距离基准虚像78和近距离基准虚像79的亮度VL以及VS进行比例分配时,使用者100如好像在距离DL与DS的中间的任意距离Do的位置处视觉辨认虚像那样错视。即,
VL=VO×(DO-DS)/(DL-DS)---(4)
VS=VO×(DL-DO)/(DL-DS)---(5)
此外,VO是在任意距离Do的位置处被错视的虚像的亮度。
这样的错视现象一般被称为立体错视现象(Depth-fused 3D:简称DFD)。关于作为生理学的一个现象的DFD,由于已经是公知的现象,所以对于其生理学上的发生机制等省略详细的说明,但使用该DFD的立体视觉与作为基于错视的立体观察以往最广泛应用的双眼视差方式相比,具有观测者的疲劳感少且能够准确地立体观察的视点区域(EyeBox)广这样的特征。另外,在使用该DFD的立体视觉中,能够通过控制远近的基准虚像的亮度比例分配这样的比较简便的方法,使错视虚像的视觉辨认距离匹配于该远近基准虚像之间的任意距离,所以是匹配于如本实施例那样如几乎实时地执行使用者实际视觉辨认距离检测和适于该实际视觉辨认距离的显示虚像视觉辨认距离的可变控制那样的情形的方法。因此,在本实施例中,实施使用该DFD的显示虚像视觉辨认位置的可变控制。
即,在本实施例中,作为虚像显示装置,设置有:视觉辨认距离检测部,检测与处于使用者的视场内的预定的对象物相距的实际视觉辨认距离;虚像光生成部,具备生成视觉辨认距离不同的至少两种基准虚像光的功能;虚像光传输投影部,具备通过配置有光波入射射出用全息图的透明的导光板将基准虚像光传输投影至使用者的双眼的功能;以及虚像视觉辨认距离控制部,通过根据检测实际视觉辨认距离控制两种虚像光的影像亮度比例分配,能够将该视觉辨认距离可变控制为预定的距离。
由此,根据本实施例,能够提供通过进行使用DFD的显示虚像视觉辨认位置的可变控制而使使用者视觉辨认虚像的视觉辨认距离与由视觉辨认距离检测部检测出的实际视觉辨认距离匹配来减轻了使用者的生理负担的良好的视觉辨认环境下的虚像显示装置以及使用该装置的HMD。另外,能够进一步提供适于装置的小型轻量化、低成本化的虚像显示装置。
此外,使用该DFD的显示虚像视觉辨认位置的可变控制是如上所述通过控制远近的基准虚像的亮度比例分配,使错视虚像的视觉辨认距离与该远近基准虚像之间的任意距离匹配的方式,所以其可变控制范围即动态范围被限定于远近两基准虚像之间的视觉辨认距离范围。因此,例如,使用机械性地调整构成虚像光生成用投影透镜系统46以及47的各自的投影透镜的透镜间隔等的方式,使远近两基准虚像自身的视觉辨认距离可变,从而还能够任意地放大、缩小错视虚像视觉辨认距离的动态范围。但是,在这样的情况下,为了使远近两基准虚像总是按照完全的射影关系被重叠视觉辨认,也必须适当地控制各显示器中的影像显示位置、虚像光生成用投影透镜系统46以及47的虚像投影倍率。
另外,决定基于DFD的显示虚像视觉辨认位置可变控制的动态范围的基准虚像不限定于上述远距离基准虚像78和近距离基准虚像79这2个。通过追加如上所述的虚像光生成部以及虚像光传输投影部,在最远距离基准虚像与最近距离基准虚像之间的任意的视觉辨认距离处设置一个或者多个中间距离基准虚像,从这些多个基准虚像中任意地选择二个基准虚像,将其重新作为远距离基准虚像78和近距离基准虚像79而进行如上所述的亮度比例分配控制,从而能够使显示虚像视觉辨认位置可变控制的动态范围任意地可变。
进一步而言,本实施例不限定于基于DFD的显示虚像视觉辨认位置可变控制。只要是本实施例能够应用的可变控制,则当然可以是任意的方式。例如,在后述第5实施例中,还公开了应用于以往广泛应用的基于双眼视差方式的显示虚像视觉辨认位置可变控制的例子。
实施例2
在实施例1中,作为使用者视觉辨认对象物的实际视觉辨认距离检测,使用如在图9以及图10中说明的仅根据使用者双眼瞳孔的辐辏量检测的单元,但当然实际视觉辨认距离检测不限于此。
以下,作为本实施例,说明与上述检测单元不同的新的实际视觉辨认距离检测。图15是用于说明其检测原理的示意图,图16是总结其检测处理过程的流程图。首先,使用图16从检测处理过程来说明。
在图16中,首先,在步骤351中,从由外景影像拍摄用的小型电子照相机20等拍摄的使用者眼前的外景影像,获取视场内对象物的各影像数据。接下来,在步骤352中,从获取到的影像数据,关于使用者视场内的各对象物,检测其用户基点相对位置。然后进而,在步骤353中,根据检测出的上述相对位置,计算视场内各对象物的用户基点方位角(从用户注视对象物的情况下的估计角)β。
另一方面,同时,在步骤354中获取由眼动追踪照相机等拍摄的使用者双眼瞳孔的拍摄影像数据,在接下来的步骤355中,根据上述影像数据,检测左右眼的瞳孔中心位置。然后,进而在接下来的步骤356中,计算左右眼的视线倾斜角αL、αR(参照图15)。此外,上述步骤354至步骤356的过程是与在图9以及图10中说明的与使用者实际视觉辨认距离检测有关的实施例1中的步骤301至步骤305的过程相同的过程。
在本实施例中,在接下来的步骤357中,根据在上述过程中计算出的左右眼的视线倾斜角αL、αR,使用以下的关系式(6)计算朝向当前使用者注视的视觉辨认对象物68上的注视点120的使用者100的注视视线倾斜角γ(参照图15)。
tan(γ)=sin(αLR)/{cos(αLR)+cos(αLR)}---(6)
接下来,在步骤358中,比较在上述过程中计算出的视场内对象物的用户基点方位角β和使用者的注视视线倾斜角γ,确定β和γ一致的视场内对象物即当前使用者注视的对象物。另外,使用装备于HMD的测距用传感器,对与确定的上述注视对象物相距的实效距离S即当前时间点下的使用者的实际视觉辨认距离进行测距。此外,作为该测距用传感器,只要是在图1中介绍的所谓立体照相机、TOF传感器或者超声波传感器等已有的测距用传感器,则可以使用任意的传感器。
但是,此前说明的实施例1、2一直将检测HMD使用者的实际视觉辨认距离而使显示虚像与该实际视觉辨认距离匹配作为目的,但当然本实施例不限定于这样的目的。
例如,也完全可以是如下显示单元:无论使用者是否注视,对于使用者在视场内看到的全部的对象物,都检测与使用者相距的各实效距离,使与该各对象物关联起来重叠显示的显示虚像各自的视觉辨认距离与各个关联实际对象物的实效距离匹配,从而实现所谓AR(增强现实)应对。
进一步而言,可以与视场内各对象物的实效距离或者使用者实际视觉辨认距离完全无关联地以任意的视觉辨认距离使虚像显示,也可以是如实时地活用显示虚像的视觉辨认距离可变控制而使该显示虚像的视觉辨认位置在任意视觉辨认距离之间动态地变化的显示方法。
实施例3
图17是示出本实施例中的HMD的虚像光生成部以及虚像光传输投影部的概略结构的俯视图。此外,在图17中,对与图11所示的构成要素相同的构成要素附加相同的编号。
在图11中,为了分别单独地生成远距离基准虚像光和近距离基准虚像光,在HMD内配置有2个独立的虚像光生成部40以及41。另外,虚像光传输投影部10构成为由层叠配置的2张透明导光板4以及5构成,由上述虚像光生成部40以及41各自生成的虚像光在上述2张导光板4、5中的某一方的导光板中进行传输。然而,也完全可以并非是使远距离基准虚像光和近距离基准虚像光分别在单独的导光板内传输而是在单一的导光板内一起传输的结构。另外,通过研究光学系统,还能够将如上所述的独立的2个虚像光生成部集成为1个。图17所示的本实施例是实现这样的目的的实施例。
首先,如图17所示,本实施例中的HMD1与图11所示的实施例1不同,仅具备单一的虚像光生成部40(图中由单点划线包围的部位)。该虚像光生成部40包括虚像影像显示用显示器42、用于将其驱动的显示器驱动电路44、被分割成2个透镜群的第1虚像光生成用投影透镜系统46a及第2虚像光生成用投影透镜系统46b、梯形PBS(偏振光束分束器)49以及具备将根据预定的电信号入射的光的偏振方向适当地变换为相互垂直的P偏振光及S偏振光的功能的偏光变换元件48等。此外,作为上述偏光变换元件,也可以使用在液晶显示器中使用的液晶型偏光变换元件等已有的设备。
另外,在本实施例中,在虚像光传输投影部10(图中由虚线包围的部位)内仅配置有单一的导光板4。进而,在该导光板4中设置有2个入射用全息图6以及7和2个射出用全息图8a以及8b。
在本实施例中,首先在上述虚像影像显示用显示器42中,针对预定的每个帧频,交替切换而显示上述远距离基准虚像光用的影像和近距离基准虚像光用的影像。另外,生成的影像光入射到第1虚像光生成用投影透镜系统46a,在此被变换为具有预定的视觉辨认距离的虚像光、例如具有视觉辨认距离DL的上述远距离基准虚像光之后,入射到偏光变换元件48。该偏光变换元件48被设定成与在上述显示器42中显示的远距离基准虚像光用影像和近距离基准虚像光用影像的显示切换的定时同步地切换为入射光的P偏振光或者S偏振光。
现在,通过上述偏光变换元件48入射到该偏光变换元件48的虚像光例如被设定成在上述显示器42中显示远距离基准虚像光用影像的定时下被变换为P偏振光,反过来在显示近距离基准虚像光用影像的定时下被变换为S偏振光。此外,以下将被变换为上述P偏振光的虚像光记载为第1虚像光,将被变换为S偏振光的虚像光记载为第2虚像光。
于是,通过偏光变换元件48被变换为P偏振(图中的用两端箭头线表示的偏振方向)光的第1虚像光如图18所示,透射梯形PBS49的偏振光分离膜49a,接着经由配置于导光板4的第1入射用全息图6入射到导光板4的内部。然后,在该导光板4内向图的右方向行进之后,从射出用全息图8a以及8b射出,分别入射到使用者100的双眼112a以及112b。
此时,该第1虚像光通过第1虚像光生成用投影透镜系统46a被生成为与上述远距离基准虚像光相当的光,所以使用者100在穿过透明导光板4的预定视觉辨认距离DL的位置处以预定的视觉辨认倍率视觉辨认远距离基准虚像78。
另一方面,通过上述偏光变换元件48被变换为作为相对P偏振光垂直的偏振方向的S偏光光的第2虚像光如图19所示,在梯形PBS49的偏振光分离膜49a上反射之后,进而也在全反射面49b反射,经过与第1虚像光不同的光路而入射到第2虚像光生成用投影透镜系统46b。该第2虚像光生成用投影透镜系统46b具有将通过第1虚像光生成用投影透镜系统46a暂被生成为与远距离基准虚像光相当的光的第2虚像光再变换为与具有预定的视觉辨认距离DS(DS<DL)的近距离基准虚像光相当的光的功能。
然后,被再变换为近距离基准虚像光相当光的第2虚像光接着经由配置于导光板4的第2入射用全息图7入射到导光板4的内部。然后,在该导光板4内与上述第1虚像光同样地向图的右方向行进之后从射出用全息图8a以及8b射出,分别入射到使用者100的双眼112a以及112b。此时,该第2虚像光通过如上所述通过虚像光生成用投影透镜系统46a和46b这两方,被变换为与上述近距离基准虚像光相当的虚像光,所以使用者100在穿过透明导光板4的预定视觉辨认距离DS的位置处以预定的视觉辨认倍率视觉辨认近距离基准虚像79。
即,使用者100交替视觉辨认以预定的帧频切换的远距离基准虚像78和近距离基准虚像79,但使用者100无法识别高速切换的各个虚像,所以如好像同时视觉辨认远距离基准虚像78和近距离基准虚像79那样感知。因此,与上述第1以及第2实施例同样地,能够进行利用立体错视现象(DFD)的显示虚像视觉辨认距离可变控制。
以上,通过设为本实施例所示的结构,能够将虚像光生成部以及虚像光传输投影部内的导光板集成、削减为一个,与上述第1实施例相比能够在HMD的小型化、轻量化、低成本化中得到显著的效果。
此外,当然,在本实施例中叙述的远/近距离基准虚像光和P/S偏振光的关系完全也可以分别完全相反。在该情况下,第1虚像光生成用投影透镜系统46a具有生成与近距离基准虚像光相当的光的功能,第2虚像光生成用投影透镜系统46b具有将该光进一步再变换为与远距离基准虚像光相当的光的功能。
实施例4
图20是示出本实施例中的HMD的虚像光生成部以及虚像光传输投影部的概略结构的俯视图。此外,在图20中,对与图11以及图17所示的构成要素相同的构成要素附加相同的编号。
在实施例3中,使用单一的虚像影像显示用显示器将远距离基准虚像光用影像和近距离基准虚像光用影像以预定的帧频时间分割地切换而显示,一并地与该帧频同步地生成虚像光的偏振方向也进行时间分割切换,从而使使用者100如恰似同时视觉辨认远距离基准虚像和近距离基准虚像那样感知。相对于此,本实施例构成为并非如上所述的时间分割显示而是将远近两基准虚像光同时投影到使用者100的双眼112a以及112b。
另外,在本实施例中,与图17同样地,在虚像光传输投影部10(图中由虚线包围的部位)内仅配置有单一的导光板4。另外,在该导光板4中设置有1个入射用全息图6和2个射出用全息图8a以及8b。
在本实施例中,在虚像光生成部40内的虚像影像显示用显示器42中,其影像显示面被分割成2个显示区域42a和42b,能够在各个显示区域中同时显示独立的影像、或者虽然是相同的影像但能够针对其每个显示项目独立地控制亮度比例分配的影像。进而,在各显示区域紧后面,分别配置有相位板或者偏振滤光片11以及12。该相位板或者偏振滤光片11以及12具有使从上述显示器42的各分割显示区域42a以及42b射出的影像光的偏振方向分别对齐到预定的偏振方向的功能。即,相位板或者偏振滤光片11使从分割显示区域42a射出的第1影像光对齐为P偏振光(图中的用两端箭头线表示的偏振方向)光,偏振滤光片12使从分割显示区域42b射出的第2影像光对齐为与P偏振光垂直的S偏振光。
因此,例如,同时在分割显示区域42a中显示与远距离基准虚像光相当的影像,在分割显示区域42b中显示与近距离基准虚像光相当的影像。
首先,从分割显示区域42a射出的第1影像光经由相位板或者偏振滤光片11入射到梯形PBS49,但该第1影像光如上所述通过相位板或者偏振滤光片11而偏振方向被对齐为P偏振光,所以透射梯形PBS49的偏振光分离膜49a,入射到第1虚像光生成用投影透镜系统46a。然后,在此生成具有视觉辨认距离DL的远距离基准虚像光之后,经由配置于导光板4的入射用全息图6入射到导光板4的内部。另外,在该导光板4内向图的右方向行进之后,从射出用全息图8a以及8b射出,分别入射到使用者100的双眼112a以及112b。
另一方面,从分割显示区域42b射出的第2影像光经由相位板或者偏振滤光片12和第2虚像光生成用投影透镜系统46b入射到梯形PBS49,在其全反射面49b上反射之后到达偏振光分离膜49a。此时,该第2影像光通过相位板或者偏振滤光片12而偏振方向被对齐为S偏振光,所以在该偏振光分离膜49a上反射而被合成到上述第1影像光的光路,同样地入射到第1虚像光生成用投影透镜系统46a。即,第2影像光隔着梯形棱镜49通过第2虚像光生成用投影透镜系统46b和第1虚像光生成用投影透镜系统46a这两方,通过该透镜系统的组合而生成具有视觉辨认距离DS的近距离基准虚像光。另外,该近距离基准虚像光与从第1影像光生成的远距离基准虚像光同样地,经由配置于导光板4的入射用全息图6入射到导光板4的内部,在该导光板4内向图的右方向行进之后从射出用全息图8a以及8b射出,分别入射到使用者100的双眼112a以及112b。
即,通过如以上叙述的本实施例的结构,使用者100能够同时视觉辨认远距离基准虚像光和近距离基准虚像光。因此,能够与实施例1、2、3同样地实现利用立体错视现象(DFD)的显示虚像视觉辨认距离可变控制。
在本实施例所示的结构中,无需如实施例3所示的影像光的高速切换控制、比较昂贵的偏光变换元件等光学设备,所以能够在HMD的低成本化中得到更显著的效果。
此外,当然,在本实施例中叙述的远/近距离基准虚像光和P/S偏振光的关系完全也可以分别完全相反。在该情况下,第1虚像光生成用投影透镜系统46a具有生成与近距离基准虚像光相当的光的功能,组合该第1虚像光生成用投影透镜系统46a和第2虚像光生成用投影透镜系统46b而成的投射透镜系统具有生成与远距离基准虚像光相当的光的功能。
实施例5
在实施例4中,示出作为显示虚像视觉辨认距离可变控制利用立体错视现象(DFD)的例子,但能够通过大致相同的光学结构也实现作为显示虚像视觉辨认距离可变控制而使用以往最一般的双眼视差方式的HMD。在本实施例中,说明在双眼视差方式的HMD中应用本申请发明的例子。
图21是示出本实施例中的HMD的虚像光生成部以及虚像光传输投影部的概略结构的俯视图。此外,在图21中,对与图20所示的构成要素相同的构成要素附加相同的编号。
在图21中,具有与图20相同的虚像光生成部以及虚像光传输投影部,但唯一不同点在于,在射出用全息图8a与使用者100的右眼112a之间的光路中追加配置有偏振滤光片13,在射出用全息图8b与使用者100的左眼112b之间的光路中追加配置有偏振滤光片14。其中,偏振滤光片13例如具备使P偏振(图中的用两端箭头线表示的偏振方向)光透射并将S偏振光反射或者吸收的功能,反过来,偏振滤光片14具备使S偏振光透射并将P偏振光反射或者吸收的功能。但是,当然P/S偏振光的组合完全也可以正相反。
通过设为这样的结构,能够仅使根据显示器42的分割显示区域42a的显示图像生成的虚像光入射到使用者100的右眼112a而视觉辨认,仅使根据分割显示区域42b的显示图像生成的虚像光入射到左眼112b而视觉辨认。因此,通过将具有与期望的视觉辨认距离相应的双眼视差相当的影像项目显示位置偏移的右眼用影像和左眼用影像分别在分割显示区域42a以及42b中进行显示,能够实现基于双眼视差方式的显示虚像视觉辨认距离可变控制。此外,关于双眼视差方式的具体的过程、原理等,由于已经是公知的内容,所以省略详细的说明。
其中,在图21所示的本实施例的光学结构中,从显示器42的分割显示区域42a射出的第1影像光和从分割显示区域42b射出的第2影像光的直至到达第1虚像光生成用投影透镜系统46a为止的光路长不同。(从分割显示区域42b射出的第2影像光这一方长了从梯形PBS49内的全反射面49b到达偏振光分离膜49a的光路量。)因此,关于由第1虚像光生成用投影透镜系统46a生成的虚像也在根据第1影像光生成的第1虚像光和根据上述第2影像光生成的第2虚像光中其视觉辨认距离、视觉辨认影像倍率不同。
然而,在以双眼视差方式进行显示虚像视觉辨认距离可变控制的情况下,用右眼视觉辨认的虚像影像和用左眼视觉辨认的虚像影像的视觉辨认距离和影像尺寸必须完全一致。因此,在本实施例中,使第2虚像光生成用投影透镜系统46b具有校正由光路长的差异引起的相对第1虚像光的第2虚像光的视觉辨认距离、视觉辨认影像倍率的差异的功能。通过设为这样的光学结构,在本实施例中也能够使得用右眼视觉辨认的虚像影像和用左眼视觉辨认的虚像影像的视觉辨认距离和影像尺寸一致,所以能够实现基于双眼视差方式的显示虚像视觉辨认距离可变控制。
使用本实施例所示的光学结构的双眼视差方式HMD无需搭载如以往的双眼视差方式HMD那样为了左右眼用而分离独立的2个虚像光生成部即影像显示用光学引擎,所以能够在双眼视差方式HMD的小型化、轻量化、低成本化中得到显著的效果。
但是,在本实施例中,示出将图20所示的实施例4的光学结构应用于双眼视差方式HMD的例子,但当然对于图17所示的实施例3的光学结构,也能够通过与偏振滤光片完全相同的滤波器设置实现具有相同的效果的双眼视差方式HMD。
实施例6
图22是示出本实施例中的HMD的虚像光生成部以及虚像光传输投影部的概略结构的俯视图。此外,在图22中,对与图20所示的实施例4以及图21所示的实施例5中的构成要素相同的构成要素附加相同的编号。
在本实施例中,HMD1也具有与图20所示的实施例4相同的虚像光生成部以及虚像光传输投影部,但唯一不同点在于,在导光板4的前面追加配置有能够通过预定的电信号控制遮光性的光学设备即遮光性控制可设备15。作为这样的遮光性可控制的光学设备,例如有使用液晶的有源偏振滤光片、调光玻璃,通过将这样的光学设备配置于导光板4的前面,能够任意地遮蔽穿过该导光板4飞入到使用者100的左右眼的外景光,在使用者的眼前仅清楚地视觉辨认显示虚像。通过具备这样的功能,使用者能够用一台HMD对能够对实际视觉辨认像和显示虚像进行融合视觉辨认的所谓增强现实(AR)应对的HMD和将外部的景色遮蔽而仅视觉辨认显示虚像的所谓虚拟现实(VR)应对的HMD进行任意切换而区分使用,在HMD的通用性扩大中具有显著的效果。
此外,在图22中,以覆盖导光板4的整个面的方式配置有遮光性控制可设备15,但也可以配置为仅覆盖射出用全息图8a以及8b的开口部及其附近。
实施例7
此前叙述的各实施例是主要与HMD有关的实施例,但本实施例是在具备透明显示器的便携信息终端或者便携型个人计算机(PC)16中应用本发明的例子。
图23是示出本实施例中的便携型信息终端的使用场景的概略立体图。如图23所示,在便携终端或者便携PC16的主体内,至少组装在实施例1至6的任意实施例中公开的驱动控制电路以及虚像光生成部,并且作为透视型影像显示器,装备有如图11、图17、图20至图22所示的由带虚像光入射射出用全息图的导光板4等构成的虚像光传输投影部10。通过这样在便携终端或者便携PC中应用本发明,与头部佩戴类型的HMD不同,能够实现基于便携用设备的增强现实(AR)或者虚拟现实(VR)。
实施例8
图24示出将本发明应用于车载用抬头显示器(HUD)的实施例。在该例子中,对组装到车的仪表板内或者安装于仪表板上的HUD主体17,至少组装在实施例1至6的任意实施例中公开的驱动控制电路以及虚像光生成部,并且作为所谓HUD合成器或者HUD用透视显示器,装备有由上述带虚像光入射射出用全息图的导光板4等构成的虚像光传输投影部10。
此外,关于该虚像光传输投影部10,通过装备于在车辆驾驶席整个面设置的挡风玻璃的一部分或者整个面、或者将挡风玻璃自身一部分用上述带虚像光入射射出用全息图的导光板4形成,使挡风玻璃自身也能够具备HUD用透视型显示器的功能。

Claims (10)

1.一种虚像显示装置,具备将预定的虚像影像投影到使用者的视场内的功能,其特征在于,具备:
视觉辨认距离检测部,关于所述使用者注视的视觉辨认对象物或者处于所述视场内的多个对象物中的至少一部分的对象物,检测从所述使用者至该对象物的实际视觉辨认距离;
虚像光生成部,具备生成相互独立的多个虚像光的功能;
虚像光传输投影部,具备将所述虚像光经由大致同一光学路径传输、投影到所述使用者的左右双眼并且使得在所述使用者的视场内的预定位置处视觉辨认预定的虚像影像的功能;以及
虚像视觉辨认距离控制部,具备使用所述多个投影虚像光对被使用者视觉辨认的虚像的视觉辨认距离进行可变控制的功能。
2.根据权利要求1所述的虚像显示装置,其特征在于,
所述视觉辨认距离检测部具备如下功能:基于所述使用者的左右双眼瞳孔中心的辐辏量检测该左右双眼的视线倾斜角,根据该视线倾斜角使用预定的关系式估算所述实际视觉辨认距离。
3.根据权利要求1所述的虚像显示装置,其特征在于,
所述视觉辨认距离检测部具备如下功能:根据基于所述使用者的左右双眼瞳孔中心的辐辏量检测出的该左右双眼的视线倾斜角,从处于所述使用者的视场内的多个对象物中确定所述使用者注视的对象物,使用预定的测距方式检测从所述使用者至所述使用者的注视对象物的实际距离。
4.根据权利要求1所述的虚像显示装置,其特征在于,
所述虚像视觉辨认距离控制部具备如下功能:使所述使用者的视觉辨认虚像的视觉辨认距离与由所述视觉辨认距离检测部检测出的所述实际视觉辨认距离匹配。
5.根据权利要求1所述的虚像显示装置,其特征在于,
所述虚像光生成部以及所述虚像光传输投影部具备如下功能:将具有相互不同的视觉辨认距离的第1虚像光以及第2虚像光以在从所述使用者观察时准确地被射影重叠视觉辨认的方式进行投影,
所述虚像视觉辨认距离控制部具备如下功能:使用预定的关系式,针对每个显示影像项目,对两种所述虚像光各自的亮度比例分配进行可变控制,从而将所述使用者的视觉辨认虚像的视觉辨认距离可变控制为所述第1虚像光以及所述第2虚像光的视觉辨认距离之间的任意距离。
6.根据权利要求1所述的虚像显示装置,其特征在于,
所述虚像光生成部生成相互独立的第1虚像光以及第2虚像光,
所述虚像光传输投影部具备将所述第1虚像光仅投影到所述使用者的右眼并且将所述第2虚像光仅投影到所述使用者的左眼的功能,
所述虚像视觉辨认距离控制部具备如下功能:对通过所述第1虚像光以及所述第2虚像光被所述使用者视觉辨认的虚像影像内的各显示影像项目的位置进行与相当于与预定的视觉辨认距离相应的双眼视差的距离相应的量的相对的面内偏移,从而对所述虚像的视觉辨认距离进行可变控制。
7.根据权利要求5所述的虚像显示装置,其特征在于,
所述第1虚像光以及所述第2虚像光至少具有相互大致垂直的偏振方向,并且是通过配置于所述虚像光生成部内的偏振光束分束器而所述第1虚像光以及所述第2虚像光的光路被分离或者合成的结构。
8.根据权利要求6所述的虚像显示装置,其特征在于,
所述第1虚像光以及所述第2虚像光至少具有相互大致垂直的偏振方向,并且是通过配置于所述虚像光生成部内的偏振光束分束器而所述第1虚像光以及所述第2虚像光的光路被分离或者合成的结构。
9.根据权利要求1所述的虚像显示装置,其特征在于,
所述虚像光传输投影部由1张或者层叠的多张导光板构成,该多张导光板分别具有具备使光波入射到该导光板内的功能的入射用全息图和具备使在所述导光板内行进的光波射出到外部的功能的射出用全息图。
10.一种头戴式显示器装置,具有具备将预定的虚像影像投影到使用者的视场内的功能的虚像显示装置,并且穿戴于使用者的头部,其特征在于,
所述虚像显示装置具备:
视觉辨认距离检测部,关于所述使用者注视的视觉辨认对象物或者处于所述视场内的多个对象物中的至少一部分的对象物,检测从所述使用者至该对象物的实际视觉辨认距离;
虚像光生成部,具备生成相互独立的多个虚像光的功能;
虚像光传输投影部,具备将所述虚像光经由大致同一光学路径传输、投影到所述使用者的左右双眼并且使得在所述使用者的视场内的预定位置处视觉辨认预定的虚像影像的功能;以及
虚像视觉辨认距离控制部,具备使用所述多个投影虚像光对被使用者视觉辨认的虚像的视觉辨认距离进行可变控制的功能。
CN201880070301.8A 2017-11-02 2018-10-30 虚像显示装置以及使用该装置的头戴式显示器 Pending CN111295702A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-212339 2017-11-02
JP2017212339A JP7036572B2 (ja) 2017-11-02 2017-11-02 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
PCT/JP2018/040257 WO2019088071A1 (ja) 2017-11-02 2018-10-30 虚像表示装置およびそれを用いたヘッドマウントディスプレイ

Publications (1)

Publication Number Publication Date
CN111295702A true CN111295702A (zh) 2020-06-16

Family

ID=66333097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070301.8A Pending CN111295702A (zh) 2017-11-02 2018-10-30 虚像显示装置以及使用该装置的头戴式显示器

Country Status (4)

Country Link
US (2) US11297304B2 (zh)
JP (2) JP7036572B2 (zh)
CN (1) CN111295702A (zh)
WO (1) WO2019088071A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442319A (zh) * 2020-11-05 2022-05-06 群创光电股份有限公司 影像的显示方法
CN115128802A (zh) * 2021-03-24 2022-09-30 群创光电股份有限公司 影像的显示方法
WO2024040430A1 (en) * 2022-08-23 2024-02-29 Qualcomm Incorporated Method and apparatus to extend field of view of an augmented reality device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017064797A1 (ja) * 2015-10-15 2017-04-20 日立マクセル株式会社 情報表示装置
JP6987346B2 (ja) * 2018-01-18 2021-12-22 マクセル株式会社 ウェアラブル装置およびこれに用いるバッテリーと給電システム
JP7198277B2 (ja) * 2018-05-15 2022-12-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム
JP7349808B2 (ja) * 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
JP7272040B2 (ja) * 2019-03-25 2023-05-12 セイコーエプソン株式会社 装着型表示装置
US11137607B2 (en) 2019-06-28 2021-10-05 Canon Kabushiki Kaisha Image capturing and display apparatus and wearable device
US12046166B2 (en) * 2019-11-26 2024-07-23 Telefonaktiebolaget Lm Ericsson (Publ) Supply of multi-layer extended reality images to a user
EP4071542A4 (en) * 2019-12-05 2023-01-25 Koito Manufacturing Co., Ltd. IMAGE DISPLAY DEVICE
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
KR20220008118A (ko) * 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
JP2022086237A (ja) * 2020-11-30 2022-06-09 セイコーエプソン株式会社 虚像表示装置
JP2023116935A (ja) * 2022-02-10 2023-08-23 パナソニックIpマネジメント株式会社 画像表示装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877080B2 (ja) 1996-05-24 2007-02-07 オリンパス株式会社 立体視ディスプレイ装置
US6525699B1 (en) 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
JP3324695B2 (ja) 1999-03-08 2002-09-17 日本電信電話株式会社 三次元表示方法およびヘッドマウントディスプレイ装置
JP2001021853A (ja) 1999-07-06 2001-01-26 Fuji Xerox Co Ltd 映像表示装置
JP3790226B2 (ja) * 2003-03-27 2006-06-28 日本電信電話株式会社 三次元表示装置
JP2005107038A (ja) 2003-09-29 2005-04-21 Brother Ind Ltd 網膜走査表示装置
JP4608947B2 (ja) 2004-05-26 2011-01-12 カシオ計算機株式会社 液晶表示装置
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US7751122B2 (en) 2005-02-10 2010-07-06 Lumus Ltd. Substrate-guided optical device particularly for vision enhanced optical systems
JP2010271565A (ja) 2009-05-22 2010-12-02 Seiko Epson Corp 頭部装着型表示装置
JP2011002778A (ja) 2009-06-22 2011-01-06 Hoya Corp 映像表示装置、及びヘッドマウントディスプレイ
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
JP5104823B2 (ja) 2009-07-29 2012-12-19 株式会社島津製作所 表示装置
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP6097919B2 (ja) 2011-09-01 2017-03-22 パナソニックIpマネジメント株式会社 立体視映像のための画像表示システム及び3次元表示装置
JP6264855B2 (ja) 2013-11-18 2018-01-24 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9916691B2 (en) 2013-02-14 2018-03-13 Seiko Epson Corporation Head mounted display and control method for head mounted display
JP6369005B2 (ja) 2013-10-25 2018-08-08 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5420793B1 (ja) 2013-09-10 2014-02-19 テレパシー インク 画像の視認距離を調整できるヘッドマウントディスプレイ
JP6341759B2 (ja) 2014-05-30 2018-06-13 キヤノン株式会社 頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法
CN106664400B (zh) * 2014-05-30 2020-08-04 奇跃公司 用于显示虚拟和增强现实的立体视觉的方法和系统
US10663740B2 (en) * 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
JP6707809B2 (ja) 2015-03-27 2020-06-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
CN111175978B (zh) 2015-06-19 2021-08-10 麦克赛尔株式会社 头戴式显示装置
US20180190011A1 (en) * 2017-01-04 2018-07-05 Osterhout Group, Inc. Content rendering systems for head-worn computers
US11256092B2 (en) * 2016-04-10 2022-02-22 Everysight Ltd. Binocular wide field of view (WFOV) wearable optical display system
US10139644B2 (en) * 2016-07-01 2018-11-27 Tilt Five, Inc Head mounted projection display with multilayer beam splitter and color correction
US10353213B2 (en) * 2016-12-08 2019-07-16 Darwin Hu See-through display glasses for viewing 3D multimedia
JP2018169428A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 画像表示装置
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
JP2019082531A (ja) * 2017-10-30 2019-05-30 ソニー株式会社 頭部装着型ディスプレイ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442319A (zh) * 2020-11-05 2022-05-06 群创光电股份有限公司 影像的显示方法
CN115128802A (zh) * 2021-03-24 2022-09-30 群创光电股份有限公司 影像的显示方法
WO2024040430A1 (en) * 2022-08-23 2024-02-29 Qualcomm Incorporated Method and apparatus to extend field of view of an augmented reality device

Also Published As

Publication number Publication date
US20220150466A1 (en) 2022-05-12
JP2019086556A (ja) 2019-06-06
JP7431267B2 (ja) 2024-02-14
JP7036572B2 (ja) 2022-03-15
US20200252602A1 (en) 2020-08-06
US11297304B2 (en) 2022-04-05
JP2022082551A (ja) 2022-06-02
US11991345B2 (en) 2024-05-21
WO2019088071A1 (ja) 2019-05-09

Similar Documents

Publication Publication Date Title
US11991345B2 (en) Virtual image display device and head mounted display using same
Rolland et al. Head-mounted display systems
US9720231B2 (en) Display, imaging system and controller for eyewear display device
AU2013361148B2 (en) Auto-stereoscopic augmented reality display
JP3984907B2 (ja) 画像観察システム
US10482676B2 (en) Systems and methods to provide an interactive environment over an expanded field-of-view
US10282912B1 (en) Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
US10609364B2 (en) Pupil swim corrected lens for head mounted display
US10623722B2 (en) Head-up multiplex display with redirection optic
US10852558B2 (en) Near-eye display (NED) system and method using flexible reflector
CN116802544A (zh) 位于波导显示器上的相位结构
CN118489082A (zh) 具有用于视差感测检测器的收集光学器件的显示系统
US10911743B2 (en) Field of view expansion by color separation
CN110618529A (zh) 用于增强现实的光场显示系统和增强现实装置
Hua et al. Near-eye displays: state-of-the-art and emerging technologies
KR20150039179A (ko) 헤드 마운트 디스플레이 장치
KR20070104960A (ko) 헤드 마운티드 디스플레이 장치
US20230115411A1 (en) Smart eyeglasses
KR20220145668A (ko) 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법
CN114578554A (zh) 实现虚实融合的显示设备
JP2021152564A (ja) 虚像表示装置及び光学ユニット
JP2001013448A (ja) 映像観察装置
Rolland et al. Display Systems: Head-Mounted
KR20180040995A (ko) 표시 장치 및 영상 표시 시스템
JP2002077946A (ja) 立体画像を表示する装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Kyoto, Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto, Japan

Applicant before: MAXELL HOLDINGS, Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20211111

Address after: Kyoto, Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto, Japan

Applicant before: MAXELL, Ltd.

TA01 Transfer of patent application right