CN107636514B - 头戴式显示装置和使用该装置的视觉辅助方法 - Google Patents

头戴式显示装置和使用该装置的视觉辅助方法 Download PDF

Info

Publication number
CN107636514B
CN107636514B CN201580080739.0A CN201580080739A CN107636514B CN 107636514 B CN107636514 B CN 107636514B CN 201580080739 A CN201580080739 A CN 201580080739A CN 107636514 B CN107636514 B CN 107636514B
Authority
CN
China
Prior art keywords
distance
user
image
visual
external scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580080739.0A
Other languages
English (en)
Other versions
CN107636514A (zh
Inventor
大西邦一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to CN202010092126.1A priority Critical patent/CN111175978B/zh
Publication of CN107636514A publication Critical patent/CN107636514A/zh
Application granted granted Critical
Publication of CN107636514B publication Critical patent/CN107636514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Otolaryngology (AREA)
  • Ophthalmology & Optometry (AREA)

Abstract

本发明的目的在于提供一种视觉辅助系统，其利用头戴式显示装置(HMD)确保良好的远近感——不会对使用者造成不协调感和不适感，并且能够不受使用者的视觉能力的差异或偏差影响，以良好的视觉状态观看外部情景。为实现上述目的，将附属于HMD的外部情景拍摄用电子摄像头拍摄到的外部情景影像作为具有与使用者的视觉能力相应的最佳视觉距离的虚像影像投影显示在配置于使用者的左右眼前的影像显示屏幕上。此时，对外部情景影像的虚像内呈现的各对象物影像，基于根据各对象物的实际距离计算出的规定换算距离，对虚像影像实施加工处理来对要投影显示在左右的影像显示屏幕上的虚像影像附加规定的双眼视差或规定的虚像虚化，从而能够使使用者对外部情景的虚像影像感受到没有不协调感或不适感的良好的远近感。

Description

头戴式显示装置和使用该装置的视觉辅助方法
技术领域
本发明涉及可穿戴式信息显示系统，特别是佩戴在使用者头部、具有在使用者眼前显示规定影像信息的功能的头戴式显示装置(以下记作HMD)及其应用系统。
背景技术
近年来，佩戴在使用者头部的风镜式(Goggles)或眼镜式的由所谓HMD实现的信息影像显示装置迅速开始普及。
该HMD具有投影虚像——该虚像从使用者看来具有规定的视觉距离——的功能，利用该功能能够将必要的信息影像作为虚像显示给使用者。
另一方面，人的视觉能力(视力)存在个体差异或偏差。例如，通常来说，近视的人在观看书、报等较近距离处的物体时与视力健全的人没有大的差别，但具有视觉对象越远则视力迅速下降的特性，反之远视的人则具有近距离下的视力比远距离下低的特性。
进一步地，当今的老龄化社会反映到年龄段上，中老年年龄段的对象人口急剧增多，在这样的年龄段中，虽然在中距离下能确保较好的视力，但近距离和远距离下的视力迅速下降。也即通常存在这样的趋势，即，可保证一定程度以上视力的视觉距离范围相比年轻人变窄。这也就是所谓的老花眼。
考虑到这样的每个人的视力的差异或偏差，例如日本特开2000-89157号公报(专利文献1)公开了一种能够改变虚像视觉距离的HMD结构，使得能够与使用者的视力相应地投影具有合适的视觉距离的虚像。
现有技术文献
专利文献
专利文献1：日本特开2000-89157号公报
发明内容
发明要解决的技术问题
如果利用上述专利文献1公开的具有可改变虚像的视觉距离之功能的HMD，通过例如先使用视频摄像机等拍摄使用者观看的外部情景，并将该拍摄的外部情景影像投影显示为视觉距离最适合使用者视力的虚像，则能够不受每个使用者的视力的差异或偏差的影响，使使用者始终以良好的视觉状态观看外部情景。从而，能够使HMD具有犹如对每个使用者都进行了最优化的视觉矫正眼镜那样的视觉辅助功能。
不过，若像上述那样单纯地将拍摄视野内的所有对象物影像都投影到相同的虚像距离处，则裸眼观看外部情景时感觉到的对象物的远近感都全部失去，只能认知为平面的影像，与裸眼观看的情景相比产生明显的不协调感。
本发明的目的鉴于上述问题而提出，提供一种能够利用HMD在保持与裸眼目视相同的远近感的同时确保良好的视觉性能的具有高功能性的视觉辅助系统。
解决问题的技术手段
为解决上述问题，本发明例如采用以下技术方案。本申请包含多个解决上述问题的技术手段，举一例如下。一种佩戴在使用者头部并在其眼前显示信息影像的头戴式显示装置，其包括：外部情景拍摄器，以包含使用者的直接可视视野的视野范围来拍摄外部情景；虚像投影器，将外部情景拍摄器所拍摄的外部情景影像作为具有规定的视觉距离的左眼用和右眼用虚像影像投影显示在分别配置于使用者眼前的左眼用和右眼用影像显示屏幕的每一个上；视野内对象物距离检测器，检测从使用者到外部情景拍摄器所拍摄的外部情景影像内呈现的对象物的实际距离；和远近感影像生成器，基于该视野内对象物距离检测器检测出的对象物的实际距离信息，对左眼用和右眼用虚像影像实施规定的处理来生成附加了远近感的虚像影像。
发明效果
通过本发明，可实现能够利用HMD在保持远近感的同时与个人的视觉能力相匹配地确保良好的视觉性能的视觉辅助系统。
附图说明
图1是表示作为本发明之前提的HMD及其应用系统的概要的立体图。
图2是作为本发明之前提的虚像投影的说明图。
图3是表示作为本发明之前提的使用者到注视对象物的实际距离与裸眼目视下的相对视力的关系的曲线图。
图4是实施例1的HMD应用视觉辅助系统的模块结构图。
图5是用于说明实施例1的虚像的双眼视差的概要平面图。
图6表示实施例1中的赋予了双眼视差的虚像之一例的概要平面图。
图7是表示实施例1中的使用者到注视对象物的实际距离与裸眼目视对象物时的实像的相对视力以及虚像的相对视力的关系的曲线图。
图8是表示实施例1中的使用者到注视对象物的实际距离与对虚像内的对象物影像赋予的视觉上的换算距离的关系的曲线图。
图9是表示实施例1的处理流程的流程图。
图10是实施例2的HMD应用视觉辅助系统的模块结构图。
图11是实施例3的HMD应用视觉辅助系统的模块结构图。
图12是实施例4的HMD应用视觉辅助系统的模块结构图。
具体实施方式
以下，使用附图对本发明的实施例进行说明。
首先，针对作为本发明之前提的HMD及其应用系统的概要进行说明。图1是表示作为本发明之前提的HMD及其应用系统的概要的立体图。以下，将HMD应用系统作为补偿使用者的裸眼视觉性能的视觉辅助系统进行说明。
在图1中HMD 1佩戴在使用者20的头部。并且，HMD 1为所谓视频透视式(videosee-through)HMD，具有在配置于使用者20的左右两眼前的非透明影像显示屏幕(影像显示装置)2上投影显示规定影像的功能。即，至少在HMD 1为工作状态时影像显示屏幕2为不透明状态，因此使用者20无法裸眼观看外部而仅能观看投影在影像显示屏幕2上的影像。
此外，除影像显示屏幕2之外，HMD 1还包括配置在使用者的裸眼周边的外部情景拍摄用电子摄像头3。外部情景拍摄用电子摄像头3设置成从大致与佩戴HMD 1的使用者20的视线方向相同的方向拍摄外部情景，具有能够以与使用者20的裸眼视野大致相同或更加宽广的视野拍摄外部情景的功能，即能够以包含直接可视视野在内的视野范围拍摄外部情景作为电子影像信息的功能，并且配备与使用者的裸眼视觉性能相比足够高的拍摄性能(分辨率、MTF等)。此外，电子摄像头3也可具有与裸眼目视的景深相比足够大的景深。
此外，电子摄像头3还具有能够自动地对焦在拍摄视野内的规定对象物上的自动对焦功能。作为要对焦的对象物，可为位于拍摄视野中央的对象物，例如也可如后文所述，设置检测使用者的视线方向的某种视线检测装置，将焦点对焦在位于该视线方向的对象物上。此外，也可以包括这样的装置，其使焦点依次对焦在拍摄视野内的与使用者之间的距离不同的多个对象物上，拍摄并保存多个影像信息并将它们合成，由此生成在近距离到远距离的宽广距离范围内合焦的被称为所谓“泛焦(pan-focus)”或“深焦(deep-focus)”的影像。
进一步地，电子摄像头3也可以具有根据使用者20的指示以规定的放大率放大拍摄外部情景的功能。
此外，HMD 1具有测量使用者到外部情景拍摄用电子摄像头3所拍摄的视野内的各对象物间的距离的测距功能。作为该测距功能的具体实施方法，可利用电子摄像头3的自动对焦功能，也可使用根据分开一定距离配置的两个电子摄像头各自独立拍摄的对象物影像的视差来检测距离的方法。只要是能够实现规定的测距功能的方法，任意方法均可使用，例如还可以另行设置使用红外线或超声波等的测距传感器等。
如上所述拍摄或生成的外部情景影像使用HMD 1配备的虚像投影器作为虚像投影到影像显示屏幕2上。
此时，例如不管是在注视如图2(a)所示的交通标志等位于较远距离处的对象物30的情况下，或者是反过来注视如图2(b)所示的报纸或书等位于较近距离处的对象物40的情况下，无论使用者与注视对象物之间的距离大小如何，都投影显示对于使用者可获得最好的视觉性能的、具有合适的视觉距离c的虚像31、41。由此，与因注视对象物30或40等的实际距离d、d’的大小带来的使用者20的视觉能力的差异或偏差无关地，使用者能够始终以良好的视觉状态观看与裸眼目视到的相同的外部情景。
上述的虚像的合适视觉距离c可如下所述地决定。图3是将使用者到注视对象物的实际距离与裸眼观看对象物时的相对视力(对象物视觉性能的相对值)的关系以图表示的例子(以下将这样的图记为相对视力特性图)。两图中，横轴为使用者到注视对象物的实际距离，纵轴为以健全视力者裸眼观看距离1m的对象物时的视力为1.0的情况下的相对视力值。一般地，在以健全视力裸眼目视的情况下，如各图中的虚线100所示，相对视力特性图为大致与实际距离成反比的关系。
与此相对，图3(a)中的实线101表示近视的人的相对视力特性图的一个例子。近视的人有这样的趋势，即，在其与对象物之间的距离较近的情况下，与健全的相对视力的差异较小，但随着距离变大则相对视力迅速降低。因此，在使用者具有这种近视的视力特性的情况下，例如可将能够确保与健全的视力特性下的相对视力1.0同等的相对视力的点P的对象物实际距离(图3(a)的例子中为0.8m)作为上述虚像的合适视觉距离c。
另一方面，虽然未图示，远视的人有这样的趋势，即，在较远距离处具有与健全的相对视力同等或以上的相对视力，但近距离下的相对视力与健全的相对视力相比显著降低。因此，在使用者具有这种远视的视力特性的情况下，可将能够确保与健全的视力特性同等的相对视力的对象物距离(位于较远距离处)作为虚像的合适视觉距离c。
进一步地，图3(b)中的实线表示老花眼的人的相对视力特性图的一个例子。在老花眼的情况下的趋势是，近距离和远距离处的视力都比健全视力低，而在中距离附近(图3(b)的例子中为0.8m～1.0m)存在相对视力最好的点Q。因此，可将该Q点的对象物实际距离作为虚像的合适视觉距离c。
其中，以上所述的虚像的合适视觉距离c的决定方法仅为一个例子，本实施例并不限定于上述的决定方法。人的相对视力特性因个体差、年龄差以及周围环境的影响等各种因素而存在较大的差异或偏差。对于本实施例中的虚像的合适视觉距离c，可根据使用者各自的视觉能力任意决定。
此外，也可以采用这样的结构，即，通过在显示屏幕2与使用者20的眼球之间佩戴规定的视觉辅助眼镜镜片来矫正使用者一侧的视力，使得可将任意的视觉距离作为合适视觉距离。
此外，为了使如上所述地投影的虚像的视觉距离任意地匹配各使用者的合适视觉距离，需要具备能够使虚像的视觉距离适当地改变、调节的功能，对此，可使用公知的虚像视觉距离改变方法，例如可如上述专利文献1记载的结构那样，设置使用于生成虚像的光学系统的至少一部分沿光轴机械移动的装置。
通过采用如上所述的结构，无论其视觉能力的差异或偏差如何，使用者都能够将HMD用作可良好地观看外部情景或视觉对象物的高性能视觉辅助系统。
然而，在利用以上所述的方法将HMD用作视觉辅助系统的情况下，存在产生如下所述的重大问题的隐患。
即，在如上所述地将拍摄到的外部情景影像以与使用者的合适视觉距离相匹配的方式投影显示为虚像的情况下，虽然使用者确实能够与注视对象物的远近无关地始终以良好的视觉状态观看外部情景，但反过来，由于视野内的所有对象物影像都显示为同一视觉距离处的虚像，因此由各对象物的实际距离的大小带来的远近感的感觉完全缺失，只能识别为平面的情景。因此，与裸眼目视相比，使用者会产生因远近感缺失带来的显著的不协调感和不适感。
为此，需要一种新的虚像显示方法和装置，在将拍摄到的外部情景影像以与合适视觉距离相匹配的方式投影为虚像来保持良好的视觉状态的同时，尽可能忠实地重现使用者裸眼目视外部情景时感觉到的远近感，消除使用者的不协调感和不适感。以下针对其具体的实施例进行说明。
实施例1
图4表示本实施例的HMD应用视觉辅助系统的模块结构图。以下针对该模块结构图的各部分的功能进行说明。
在图4中，外部情景拍摄用电子摄像头3拍摄到的外部情景影像信息被发送到视野内对象物距离检测器10和远近感影像生成器11。
视野内对象物距离检测器10具有检测所拍摄的外部情景影像内拍摄到的各对象物的实际距离(从使用者到对象物的实际的距离)的功能。其中，图4的例子给出了利用所拍摄的影像或拍摄用电子摄像头3自身具备的测距功能来检测上述距离信息的例子，但当然也可如上所述，除了电子摄像头3之外，对象物的距离信息检测可使用专用的测距传感器或测距装置。在这种情况下，上述视野内对象物距离检测器10自然构成为从上述测距传感器或测距装置接收信息信号。此外，电子摄像头3拍摄的影像信息根据需要以附带有视野内对象物距离检测器10检测到的各对象物的距离信息的形式，保存在存储器12内。
远近感影像生成器11为本实施例的视觉辅助系统的核心部分，其具有这样的功能，即，利用电子摄像头3拍摄的外部情景影像信息和视野内对象物距离检测器10检测出的各对象物的距离信息，以及根据需要从存储器12提取的规定的影像信息等，来生成分别独立地投影显示在配置于HMD使用者20的左右眼前的影像显示屏幕2上的、具有远近感的虚像影像。其中，针对该远近感影像生成器11中的远近感赋予功能的细节，在后面详细地进行说明。
远近感影像生成器11生成的显示影像被发送到影像显示控制器13。该影像显示控制器13具有为了将远近感影像生成器11发送来的显示影像适当地作为虚像投影到HMD 1内的投影屏幕2上，而对HMD 1内所配备的虚像投影装置进行控制的功能。
进一步地，该影像显示控制器13也可具有对虚像投影装置内配备虚像生成用光学系统进行控制的功能，以能够将虚像的视觉距离改变、调节为规定的距离。
此外，上述的外部情景拍摄用电子摄像机3、视野内对象物距离检测器10、远近感影像生成器11、存储器12、影像显示控制器13分别由控制器14来适当地控制其功能和动作。
如上所述，在图4中的各模块之中，远近感影像生成器11为本实施例的核心部分，在该模块中，对要分别独立地投影显示在左右影像显示屏幕2上的虚像影像实施规定的加工处理，生成从使用者20看来可感觉到规定的远近感的虚像影像。以下针对该远近感之生成的具体实施例进行说明。
首先，在人观看虚像时，为了对虚像感受到远近感，以下三要素是必须的。
(1)双眼视差
(2)与距离相应的虚像的虚化
(3)双眼内聚(辐辏)带来的不协调感的缓和
首先，(1)之双眼视差是指，左右各眼看到的影像(虚像)的位置根据观测者到对象物的距离而产生面内方向的差异。图5表示其一例。在此，令佩戴HMD 1的使用者20到位于该使用者的正前方的注视实际对象物50的实际距离为d，而通过HMD 1投影到其左右投影屏幕2上的对象物50的虚像51和52的视觉距离为c。此外，令使用者的双眼距离为W。此时，为了让使用者观看实际对象物50的虚像51和52时感觉到与实际对象物50自身相同的远近感，至少必须将左右各眼分别看到的实际对象物50的虚像51和52，投影到将实际对象物50与使用者的左右两眼分别的直线(图中的虚线)与距离使用者视觉距离c处的虚像视觉面的交点位置上。
即如图6所示，左眼的实际对象物50的虚像51必须投影到从虚像中心向右侧偏移Δx的位置上，右眼的虚像52必须投影到从虚像中心向左侧偏移Δx的位置上。
该左右虚像的相对偏移量Δx通常利用上述实际距离d、虚像视觉距离c和观测者两眼的间隔W由下式表示。
Δx＝(W/2)×(1-c/d)……(1)
这样，由于相对偏移量Δx对投影到左右两眼的虚像影像赋予规定的面内方向偏移(视差)——其中该偏移即视差与观测者(本实施例的情况下为HMD使用者)到注视对象物的距离大致成反比，能够有助于观测者感受到远近感。
其次，(2)之与距离相应的虚像的虚化是指，考虑到人的视觉能力如上所述大致与到对象物的距离成反比，对所投影的虚像内的每个对象物影像，根据该对象物的实际距离而对该虚像影像赋予规定的“虚化”。
图7中表示其一例。该图与图3同样地表示人的相对视力特性，图的横轴、纵轴与图3相同。如上所述，直接裸眼目视对象物时的实像的相对视力如图中的虚线100所示，大致与该对象物的实际距离成反比地降低。
另一方面，在通过虚像观看摄像机拍摄的情景时，由于虚像的视觉位置固定而与对象物的远近无关，因此对象物的虚像影像的相对视力如图中的实线200所示，与该对象物的实际距离无关，为固定值。这成为妨碍感觉到虚像的远近感的一大因素。
因此，通过预先对投影为虚像的影像内呈现的各对象物影像赋予与该对象物的实际距离信息大致成比例的量的“虚化”，即使对于处于同一视觉距离的虚像，也能够使其接近裸眼目视下的实像的相对视力特性曲线100，利用该相对视力特性效果帮助观测者感受到远近感。
此外，此时为了使使用者对其正在注视的对象物的辨识性最好，因此可适当地调节与对象物的实际距离对应的“虚化”量，使得该注视对象物的实际距离下的相对视力最为合适。
此外，关于上述注视对象物的确定，可将位于与使用者的裸眼视野大致一致的拍摄视野的中央的对象物确定为使用者的注视对象物，也可如后文所述，检测使用者的视线方向，将处于该视线方向上的对象物确定为注视对象物。
最后，(3)之双眼内聚带来的不协调感的缓和指的是以下内容。双眼的内聚是指，尤其是直接观看近距离对象物的情况下，为了将双眼的焦点对焦在该对象物上，双眼的眼球彼此向内侧转动的运动(内收运动)。通过由大脑检测该眼球的内收运动，人在一定程度上检测到对象物的远近感。该内聚在对象物位于数十cm左右以内的极近距离时显著地发生。而另一方面，人在观看虚像的情况下，此人的眼睛焦点仅对焦在虚像的视觉距离上。因此，在观看视觉距离为数十cm左右以上的位于远离的位置上的虚像的情况下，不发生明显的内聚。但在对象物位于观测者的极近距离的情况下，由上述的双眼视差和与距离相应的虚像的虚化而任意赋予的虚像的远近感，与基于上述内聚检测出的距离感出现背离，观测者产生较大的不协调感和不适感。
本实施例的目的为消除这种观测者(HMD使用者)的不协调感和不适感。因此，本实施例提出了一种实施修正的方法，其修正对象物的实际距离与对该对象物的虚像影像赋予的视觉上的换算距离之间的关系。
图8是表示其一例的图。该图为曲线图，其中描绘出了使用者到注视对象物的实际距离与本实施例中对虚像内的各对象物影像赋予的视觉上的换算距离的关系(以下将该关系记为距离换算特性)。
原本上，使用者到对象物的实际距离(纵轴)与对虚像内的对象物影像赋予的换算距离(纵轴)在理想情况下是严格一致的。即，理想情况下，上述距离换算特性为如图8中的虚线110所示的斜率(比例系数)为1.0的线性关系。然而，如上所述，若保持这种正确的距离关系，尤其是在近距离区域中，会产生如上所述的对虚像任意赋予的远近感与基于内聚检测出的距离之间出现大幅度的背离。
因此，在本实施例中，在视野内对象物距离检测器10或远近感影像生成器11内具备按以下距离换算特性来计算换算距离的功能，其中，该距离换算特性在中距离、远距离区域内遵照原来的表示正确距离关系的直线110，而在比规定的点R(图的例子中为实际距离1m处)更近距离的区域内，使对虚像影像赋予的视觉距离的变化量与使用者到对象物的实际距离的变化量的比例系数，随着该对象物的实际距离的减小而从1.0逐渐增大，例如为图中实线210所示的曲线上的距离换算特性。
然后，基于如上所述地计算出的换算距离，在远近影像生成器11中，计算要对分别投影到左眼用和右眼用影像显示屏幕2上的左眼用和右眼用虚像影像赋予的双眼视差量和与距离相应的像的虚化量，并进行影像的加工处理以赋予这样的视差量和虚化量。通过实施这样的处理，能够减少对虚像影像任意赋予的远近感与上述内聚之间的背离，能够良好地消除对观测者(HMD使用者)造成的不协调感和不适感。
不过，如果像这样地在近距离区域使对虚像影像赋予的视觉距离的变化量与实际距离的变化量的比例系数从1.0逐渐减小，则当然在该区域中，相对于实际对象物的远近感而言，虚像影像的远近感的忠实性发生劣化。然而，尤其是在注视近距离对象物的情况下，例如读书或看报等情况下，大多情况下仅集中地注视该对象物，注意到周围情景的远近感的状况极少。因此，作为视觉矫正系统来说，相比确保对象物的远近感的忠实性，尽可能地消除观测者(HMD使用者)的不协调感和不适感的实用性更高。
此外，如图8所示的距离换算特性210仅为一例，本实施例当然并不限定于此。可根据使用者个体特性或偏好或者周围环境、状况，任意地设定距离换算特性的拐点R的位置(实际距离)和/或距离比R更靠近的一侧的距离换算特性曲线的形状。距离换算特性只要在比规定距离点更近距离一侧，使对虚像影像赋予的视觉上的换算距离比对象物的实际距离大规定量或规定比例即可，可为任意特性。
如上所述，通过以带来(1)双眼视差、(2)与距离相应的虚像虚化、(3)双眼内聚带来的不协调感的缓和的方式，对投影在配置于使用者的左右眼前的HMD 1的投影屏幕2上的各影像实施规定的处理，从而能够使使用者以良好的视觉特性观看外部情景，并且对虚像的远近感不会产生不协调感或不适感。
接着，利用图9的流程图针对本实施例的视觉辅助系统的处理流程进行说明。在图9中，首先在步骤1(S1)中，从外部情景拍摄用电子摄像头3依次获取规定的影像信息。在接下来的步骤2中，获取拍摄视野内的各对象物的实际距离信息。在接下来的步骤3中，利用步骤2中获取的各对象物的实际距离信息，根据上述的距离换算特性，作为应对双眼内聚的对策，计算要对虚像内的各对象物影像赋予的视觉上换算距离。在接下来的步骤4中，基于步骤3中换算的虚像的视觉上换算距离，例如按照上述式(1)计算对左右两眼的虚像影像赋予的“双眼视差量”。
同样地在步骤5中，基于步骤3中换算的上述虚像的视觉上换算距离，计算应对各对象物的虚像影像赋予的规定“虚化量”。
在接下来的步骤6中，利用步骤4和步骤5中计算出的“双眼视差量”和“虚化量”等构建远近感的参数，对步骤1获取的影像信息实施加工，生成用于分别投影到HMD 1内的左右影像显示屏幕2上的虚像影像。
最后在步骤7中，在HMD 1内的左右影像显示屏幕2上投影显示经步骤6加工、生成的左右虚像影像，并在接下来的步骤8中，判断是否要继续上述一系列的处理流程。如果判断结果为“是”则重新返回步骤1，如果判断结果为“否”则结束一系列的处理流程。
不过，如果结束以上的处理流程，则配置在使用者20眼前的影像显示屏幕2变成不显示任何影像的状态。由于该影像显示屏幕2基本上是不透明的，因此在什么都不显示的状态下，连裸眼观看外部情景都是困难的，所以如果不脱下HMD则会非常危险。因此，例如利用液晶型调光玻璃等构成该影像显示屏幕2，能够通过电压ON/OFF切换透明状态和不透明状态。由此，在作为视觉辅助系统的功能为工作状态时，起到作为不透明的影像显示屏幕的功能，而上述系统的动作为OFF时，影像显示屏幕2自动地变成透明或半透明状态，能够裸眼观看外部情景，即使始终佩戴HMD也是安全的。
此外，在如图4所示的本实施例的HMD应用视觉辅助系统中，各模块构成部分可与HMD 1构成为一体，也可分体构成。此外，虚像的合适视觉距离C也能够以可改变的方式由用户设定。
如上所述，本实施例为一种佩戴在使用者头部并在眼前显示信息影像的头戴式显示装置，其包括：外部情景拍摄器，以包含使用者的直接可视视野的视野范围来拍摄外部情景；虚像投影器，将外部情景拍摄器所拍摄的外部情景影像作为具有规定的视觉距离的左眼用和右眼用虚像影像投影显示在分别配置于使用者眼前的左眼用和右眼用影像显示屏幕的每一个上；视野内对象物距离检测器，检测从使用者到外部情景拍摄器所拍摄的外部情景影像内呈现的对象物的实际距离；远近感影像生成器，基于视野内对象物距离检测器检测出的对象物的实际距离信息，对左眼用和右眼用虚像影像实施规定的处理来生成附加了远近感的虚像影像。
此外，本实施例为一种佩戴在使用者头部并在眼前显示信息影像的头戴式显示装置的影像显示方法，以使用者的视野范围来拍摄外部情景影像，检测从使用者到外部情景影像内呈现的对象物的实际距离，将所拍摄的外部情景影像作为具有规定的视觉距离的左眼用和右眼用虚像影像投影显示在分别配置于使用者眼前的左眼用和右眼用影像显示屏幕的每一个上，左眼用和右眼用虚像影像基于检测出的对象物的实际距离信息被附加了远近感。
由此，可实现能够利用HMD在保持远近感的同时与个人的视觉能力相匹配地确保良好的视觉性能的视觉辅助系统。
实施例2
图10表示本实施例的HMD应用视觉辅助系统的模块结构图。在该模块图中，对与图4的模块图相同的结构要素标注相同标记并省略其说明。
在本实施例中，除图4所示的实施例1的结构要素之外，还包括用于检测使用者20的视线方向的视线方向检测器15，和根据从该视线方向检测器15获得的视线方向和电子摄像头3拍摄的外部情景影像检测和确定使用者当前注视的对象物的注视对象物检测器16。于是，以使得由该注视对象物检测器16检测和确定的注视对象物能够以最良好的辨识性观看的方式，调节对虚像影像赋予的“虚化量”，并由远近感影像生成器11生成用于投影到左右影像显示屏幕2上的虚像影像。
通过采用这种结构，即使在使用者正在注视偏离其视野中央的对象物的情况下，也能够以合适的视觉特性观看该注视对象物的虚像。
实施例3
图11表示本实施例的HMD应用视觉辅助系统的模块结构图。在该模块图中，对与图4和图10的模块图相同的结构要素标注相同标记并省略其说明。
在本实施例中，除图4所示的实施例1的结构要素之外，包括用于检测使用者20发出的声音的拾音麦克风17，和对该拾音麦克风17采集到的使用者20的声音进行分析，来识别使用者20说出的语言的内容的声音识别器18。
本实施例可设置这样的功能，即，例如当检测到使用者20发出的“放大”或“zoomup”等某种关键词时，利用上述声音识别器18识别该关键词，以规定的放大率对外部情景拍摄用电子摄像头3的拍摄影像进行放大。
或者也可设置这样的功能，即，在上述系统内另外设置文字识别器或规定的语言自动翻译器，当检测和识别到“翻译”等关键词时，对拍摄视野内的英文单词、英文文章或难读汉字等进行自动翻译，在呈现在显示屏幕2上的虚像影像上叠加显示该翻译结果。
通过这样设置检测、识别使用者的声音的装置，使用者能够仅通过声音就能操作与HMD相关的各种功能，能够进行完全的解放双手(free hand)的操作。
实施例4
图12表示本实施例的HMD应用视觉辅助系统的模块结构图。在该模块图中，对与图4、图10和图11的模块图相同的结构要素标注相同标记并省略其说明。
在本实施例中，除图4所示的实施例1的结构要素之外，包括具有自动测量佩戴本实施例的视觉辅助系统的使用者20的视力的功能的小型自动视力测量器(AutoRefractometer，自动折光仪)60，和根据该自动视力测量装置60检测到的使用者20的视力来计算对该使用者可确保最佳辨识性的虚像视觉距离的最佳虚像视觉距离计算器61。从而，将该最佳虚像视觉距离计算器61计算出的最佳虚像视觉距离信息发送到远近感影像生成器11和影像显示控制器13，生成具有最佳虚像视觉距离且保持有良好的远近感——不会对使用者造成不协调感和不适感——的虚像影像，并通过影像显示控制器13自动调节HMD1内的虚像生成用光学系统，以将该虚像影像投影到影像显示屏幕上。
通过采用这种结构，在使用者20每次佩戴本视觉辅助系统系统时，能够自动测量该使用者的视力，并自动调节虚像位置，以使其为对使用者而言而获得最佳视觉性能的虚像视觉距离。
实施例5
本实施例所针对说明的例子是，将HMD应用视觉辅助系统中的远近感影像生成器11的处理作为外部处理，来减轻HMD应用视觉辅助系统的处理负担。
如实施例1的图4所示，远近感影像生成器11具有这样的功能，即，利用电子摄像头3拍摄的外部情景影像信息和视野内对象物距离检测器10检测出的各对象物的距离信息，以及根据需要从存储器12提取的规定的影像信息等，来生成分别独立地投影显示在配置于HMD使用者20的左右眼前的影像显示屏幕2上的、具有远近感的虚像影像；并且，如上所述，以带来(1)双眼视差、(2)与距离相应的虚像虚化、(3)双眼内聚带来的不协调感的缓和之方式，对投影在配置于使用者的左右眼前的HMD 1的投影屏幕2上的各影像实施规定的处理。因此，在远近感影像生成器11的处理中，程序负载或处理速度负载等较大，在将HMD应用视觉辅助系统与HMD 1形成为一体以实现轻量化等情况下，可预料到其成为瓶颈的情况。
因此，将远近感影像生成器11处理作为外部处理，例如可构成为，将外部情景影像信息和对象物的距离信息通过网络发送到云端，在云端进行远近感影像生成器11的处理，并接收该处理后的显示影像，由HMD应用视觉辅助系统的影像显示控制器13进行处理，显示在HMD1的影像显示屏幕2上。
由此，能够减轻HMD应用视觉辅助系统的程序负载或处理负载。
此外，上述实施例是为了简单易懂地说明本发明而作出的详细说明，并非限定必须具备所说明的全部的结构。此外，可将某实施例的结构的一部分替换成其它实施例的结构，或者可在某实施例的结构中添加其它实施例的结构。另外，对于各实施例的结构的一部分，能够进行其它结构的追加、删除、替换。此外，也可将各实施例的结构、功能组合。
附图标记说明
1……HMD，2……影像显示屏幕，3……外部情景拍摄用电子摄像头，10……视野内对象物距离检测器，11……远近感影像生成器，15……视线方向检测器，16……注视对象物检测器，17……声音麦克风，20……使用者，30、40、50……对象物，31、41、51、52……虚像，60……自动视力测量器，61……最佳虚像视觉距离计算器。

Claims (10)

1.一种佩戴在使用者头部并在其眼前显示信息影像的头戴式显示装置，其特征在于，包括：
外部情景拍摄器，以包含所述使用者的直接可视视野的视野范围来拍摄外部情景；
虚像投影器，将所述外部情景拍摄器所拍摄的外部情景影像作为具有规定的视觉距离的左眼用和右眼用虚像影像投影显示在分别配置于所述使用者眼前的左眼用和右眼用影像显示屏幕的每一个上；
视野内对象物距离检测器，检测从所述使用者到所述外部情景拍摄器所拍摄的外部情景影像内呈现的对象物的实际距离；和
远近感影像生成器，基于该视野内对象物距离检测器检测出的所述对象物的实际距离信息，对所述左眼用和右眼用虚像影像实施规定的处理来生成附加了远近感的虚像影像，
所述远近感影像生成器具有计算所述视觉距离的换算距离的功能，其中，所述视觉距离的换算距离在所述对象物的实际距离比规定的设定距离远的情况下与所述实际距离大致一致，在所述实际距离比所述设定距离近的情况下为比所述实际距离大的值。
2.如权利要求1所述的头戴式显示装置，其特征在于：
所述远近感影像生成器计算的所述视觉距离的换算距离具有如下特性：在所述实际距离比所述设定距离近的情况下，相对于所述实际距离的变化量的比例系数随着该实际距离的减小而从1.0开始逐渐增大。
3.如权利要求1所述的头戴式显示装置，其特征在于：
所述远近感影像生成器具有如下功能：对于所述左眼用和右眼用虚像影像内呈现的每个所述对象物的影像，基于所述视觉距离的换算距离对所述虚像影像赋予与该换算距离大致成反比的对应于双眼视差量的面内方向偏移。
4.如权利要求1所述的头戴式显示装置，其特征在于：
所述远近感影像生成器具有如下功能：对于所述左眼用和右眼用虚像影像内呈现的每个所述对象物的影像，基于所述视觉距离的换算距离对所述虚像影像附加与该换算距离大致成正比的影像虚化量。
5.如权利要求4所述的头戴式显示装置，其特征在于：
还包括视线方向检测器和注视对象物检测器，其中，所述视线方向检测器检测所述使用者的视线方向，所述注视对象物检测器根据所述视线方向检测器检测到的视线方向和所述外部情景拍摄器所拍摄的外部情景影像来检测所述使用者正在注视的对象物，
所述头戴式显示装置具有如下功能：调节对所述虚像影像赋予的所述影像虚化量，以使得能够以良好的辨识性观看所述注视对象物检测器检测到的注视对象物。
6.如权利要求1所述的头戴式显示装置，其特征在于：
所述左眼用和右眼用影像显示屏幕为透明度随施加电压而变化的液晶型调光玻璃，在所述头戴式显示装置为工作状态时作为不透明屏幕发挥作用，而在所述头戴式显示装置为非工作状态时，作为透明或半透明玻璃发挥作用。
7.如权利要求1所述的头戴式显示装置，其特征在于：
在所述左眼用和右眼用影像显示屏幕与所述使用者的眼球之间，配置有视力矫正用眼镜镜片。
8.如权利要求1所述的头戴式显示装置，其特征在于：
还包括拾音麦克风和声音识别器，其中，所述拾音麦克风用于检测所述使用者发出的声音，所述声音识别器根据所述拾音麦克风采集到的使用者的声音来识别所述使用者说出的规定的关键词，
所述头戴式显示装置具有基于所述关键词的识别结果，将所述外部情景拍摄器中的外部情景拍摄倍率以规定的放大率放大的功能。
9.如权利要求1所述的头戴式显示装置，其特征在于：
还包括拾音麦克风、声音识别器、文字识别器和自动翻译器，其中，所述拾音麦克风用于检测所述使用者发出的声音，所述声音识别器根据所述拾音麦克风采集到的使用者的声音来识别所述使用者说出的规定的关键词，所述文字识别器根据所述外部情景拍摄器所拍摄的外部情景影像内包含的文字影像进行规定的文字识别，所述自动翻译器自动翻译规定的语言，
所述头戴式显示装置具有如下功能：基于所述关键词的识别结果，将所述外部情景影像内包含的外语单词、外语文章或难读汉字的译文叠加显示在投影显示于所述影像显示屏幕的虚像影像上。
10.一种佩戴在使用者头部并在其眼前显示信息影像的头戴式显示装置的影像显示方法，其特征在于：
以所述使用者的视野范围来拍摄外部情景影像，
检测从所述使用者到所述外部情景影像内呈现的对象物的实际距离，
将所拍摄的所述外部情景影像作为具有规定的视觉距离的左眼用和右眼用虚像影像投影显示在分别配置于使用者眼前的左眼用和右眼用影像显示屏幕的每一个上，
所述左眼用和右眼用虚像影像基于所述检测出的所述对象物的实际距离信息被附加了远近感，
在附加所述远近感时计算所述视觉距离的换算距离，其中，所述视觉距离的换算距离在所述对象物的实际距离比规定的设定距离远的情况下与所述实际距离大致一致，在所述实际距离比所述设定距离近的情况下为比所述实际距离大的值。
CN201580080739.0A 2015-06-19 2015-06-19 头戴式显示装置和使用该装置的视觉辅助方法 Active CN107636514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010092126.1A CN111175978B (zh) 2015-06-19 2015-06-19 头戴式显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/067791 WO2016203654A1 (ja) 2015-06-19 2015-06-19 ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010092126.1A Division CN111175978B (zh) 2015-06-19 2015-06-19 头戴式显示装置

Publications (2)

Publication Number Publication Date
CN107636514A CN107636514A (zh) 2018-01-26
CN107636514B true CN107636514B (zh) 2020-03-13

Family

ID=57545744

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010092126.1A Active CN111175978B (zh) 2015-06-19 2015-06-19 头戴式显示装置
CN201580080739.0A Active CN107636514B (zh) 2015-06-19 2015-06-19 头戴式显示装置和使用该装置的视觉辅助方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010092126.1A Active CN111175978B (zh) 2015-06-19 2015-06-19 头戴式显示装置

Country Status (4)

Country Link
US (4) US10951882B2 (zh)
JP (1) JP6507241B2 (zh)
CN (2) CN111175978B (zh)
WO (1) WO2016203654A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6481084B2 (ja) * 2016-06-27 2019-03-13 富士フイルム株式会社 映像表示機能付き眼鏡
JP6679523B2 (ja) * 2017-03-01 2020-04-15 任天堂株式会社 画像処理プログラム、画像処理システム、画像処理装置および画像処理方法
TWI617197B (zh) * 2017-05-26 2018-03-01 和碩聯合科技股份有限公司 多媒體設備以及多媒體系統
US10430939B1 (en) * 2017-08-28 2019-10-01 Facebook Technologies, Llc Full display panel grid-based virtual image distance test subsystem for eyecup assemblies of head mounted displays
JP2019053644A (ja) * 2017-09-19 2019-04-04 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP7036572B2 (ja) * 2017-11-02 2022-03-15 マクセル株式会社 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
CA3088116A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
IL275822B2 (en) * 2018-01-17 2024-02-01 Magic Leap Inc Eye center for determining rotation, choosing depth plane and processing camera position in display systems
US10523912B2 (en) * 2018-02-01 2019-12-31 Microsoft Technology Licensing, Llc Displaying modified stereo visual content
WO2019156485A1 (en) * 2018-02-07 2019-08-15 Samsung Electronics Co., Ltd. Method for determining refractory power of eye using immersive system and electronic device thereof
CN108259878A (zh) * 2018-03-26 2018-07-06 江苏北方湖光光电有限公司 驾驶仪
CN110346932B (zh) * 2018-04-02 2024-04-02 京东方科技集团股份有限公司 显示方法、显示装置
US11567336B2 (en) 2018-07-24 2023-01-31 Magic Leap, Inc. Display systems and methods for determining registration between display and eyes of user
WO2020028867A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
WO2020044555A1 (ja) * 2018-08-31 2020-03-05 マクセル株式会社 ヘッドマウントディスプレイ
IT201900001461A1 (it) * 2019-02-01 2020-08-01 Giovanni Sato Dispositivo telescopico elettronico per ipovedenti
CN110007485B (zh) * 2019-03-12 2020-08-25 联想(北京)有限公司 一种眼镜及图像处理方法
CN110286866A (zh) * 2019-06-24 2019-09-27 上海临奇智能科技有限公司 一种虚拟透明屏的呈现方法及设备
TWI797488B (zh) * 2019-10-18 2023-04-01 宏達國際電子股份有限公司 頭戴式顯示裝置及調整方法
CN114442319A (zh) * 2020-11-05 2022-05-06 群创光电股份有限公司 影像的显示方法
CN114040182A (zh) * 2021-11-03 2022-02-11 珠海格力电器股份有限公司 空调的投影显示方法、装置与空调
CN117437701A (zh) * 2022-07-14 2024-01-23 腾讯科技（深圳）有限公司 手掌放置区域的提示方法和装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175158A (zh) * 2004-02-06 2008-05-07 奥林巴斯株式会社 头戴型照相机
CN103190883A (zh) * 2012-12-20 2013-07-10 乾行讯科（北京）科技有限公司 一种头戴式显示装置和图像调节方法
CN103814343A (zh) * 2011-07-20 2014-05-21 谷歌公司 在可穿戴计算系统上操纵和显示图像
CN104216126A (zh) * 2014-08-20 2014-12-17 北京科技大学 一种变焦3d显示技术

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
JPH08160349A (ja) 1994-12-09 1996-06-21 Sega Enterp Ltd 頭部搭載型映像表示システム、および、頭部搭載型映像表示装置
JPH0955959A (ja) * 1995-08-11 1997-02-25 Yamaha Corp 画像表示装置
JP3697763B2 (ja) * 1995-11-15 2005-09-21 ソニー株式会社 画像表示システム
JP3877080B2 (ja) * 1996-05-24 2007-02-07 オリンパス株式会社 立体視ディスプレイ装置
JP2000089157A (ja) * 1998-09-11 2000-03-31 Hiroshi Katagawa ヘッドマウントディスプレイ
WO2004051307A2 (en) * 2002-12-03 2004-06-17 Koninklijke Philips Electronics N.V. Method and apparatus to display 3d rendered ultrasound data on an ultrasound cart in stereovision
JP4364047B2 (ja) * 2004-04-14 2009-11-11 オリンパス株式会社 表示装置、撮像装置
CN100350792C (zh) 2004-04-14 2007-11-21 奥林巴斯株式会社 摄像装置
US20060168859A1 (en) * 2004-11-24 2006-08-03 Pombo Stephen A Binocular display system
JP2006287813A (ja) * 2005-04-04 2006-10-19 Fuji Photo Film Co Ltd ３次元画像表示装置
US8648897B2 (en) * 2006-10-10 2014-02-11 Exelis, Inc. System and method for dynamically enhancing depth perception in head borne video systems
JP5891131B2 (ja) * 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
WO2014047402A1 (en) * 2012-09-20 2014-03-27 MUSC Foundation for Research and Development Head-mounted systems and methods for providing inspection, evaluation or assessment of an event or location
JP5975484B2 (ja) * 2012-11-26 2016-08-23 Kddi株式会社 画像処理装置
JP6225546B2 (ja) 2013-08-02 2017-11-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
CN104216123B (zh) * 2014-09-26 2016-06-29 中国工程物理研究院流体物理研究所 一种基于自适应偏振与相位控制的光纤激光阵列组束系统
KR20160071144A (ko) * 2014-12-11 2016-06-21 엘지전자 주식회사 이동단말기 및 그 제어 방법
US20170038607A1 (en) * 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
CA3193007A1 (en) * 2016-01-12 2017-07-20 Esight Corp. Language element vision augmentation methods and devices
KR20190008610A (ko) * 2017-07-17 2019-01-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175158A (zh) * 2004-02-06 2008-05-07 奥林巴斯株式会社 头戴型照相机
CN103814343A (zh) * 2011-07-20 2014-05-21 谷歌公司 在可穿戴计算系统上操纵和显示图像
CN103190883A (zh) * 2012-12-20 2013-07-10 乾行讯科（北京）科技有限公司 一种头戴式显示装置和图像调节方法
CN104216126A (zh) * 2014-08-20 2014-12-17 北京科技大学 一种变焦3d显示技术

Also Published As

Publication number Publication date
US12108023B2 (en) 2024-10-01
CN111175978A (zh) 2020-05-19
US11350081B2 (en) 2022-05-31
US20180152694A1 (en) 2018-05-31
CN111175978B (zh) 2021-08-10
US20230199164A1 (en) 2023-06-22
CN107636514A (zh) 2018-01-26
US10951882B2 (en) 2021-03-16
US20210168351A1 (en) 2021-06-03
JPWO2016203654A1 (ja) 2018-05-24
US11606548B2 (en) 2023-03-14
US20220256138A1 (en) 2022-08-11
WO2016203654A1 (ja) 2016-12-22
JP6507241B2 (ja) 2019-04-24

Similar Documents

Publication Publication Date Title
CN107636514B (zh) 头戴式显示装置和使用该装置的视觉辅助方法
US10271722B2 (en) Imaging to facilitate object observation
US10048750B2 (en) Content projection system and content projection method
US20190018236A1 (en) Varifocal aberration compensation for near-eye displays
US9961257B2 (en) Imaging to facilitate object gaze
US11150476B2 (en) Method for providing a display unit for an electronic information device
US10819898B1 (en) Imaging device with field-of-view shift control
EP3548955B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
CN105653227A (zh) 跟踪眼球焦距的头戴式虚拟现实显示设备及显示方法
JP2014219621A (ja) 表示装置、表示制御プログラム
CN108595009B (zh) 一种人机交互控制方法及电子终端
CN104090371A (zh) 一种3d眼镜及3d显示系统
JP2018513656A (ja) 画像強調可能な眼鏡構造
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
WO2016086438A1 (zh) 针对视觉障碍患者的头戴式多媒体终端辅助观看系统
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
CN113454989A (zh) 头戴式显示设备
CN110794590A (zh) 虚拟现实显示系统及其显示方法
WO2016203844A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110573934A (zh) 面镜装置
Lee et al. Evaluation of eye response using a wearable display with automatic interpupillary distance adjustment
KR20080033681A (ko) 두부 장착식 디스플레이 장치의 시력 보조 방법 및 그 두부장착식 디스플레이 장치
CN203882018U (zh) 一种3d眼镜及3d显示系统
JP2017189498A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
CN114994910A (zh) 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220615

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.