CN104977716B - 目镜型显示装置及其显示控制方法 - Google Patents
目镜型显示装置及其显示控制方法 Download PDFInfo
- Publication number
- CN104977716B CN104977716B CN201510146223.3A CN201510146223A CN104977716B CN 104977716 B CN104977716 B CN 104977716B CN 201510146223 A CN201510146223 A CN 201510146223A CN 104977716 B CN104977716 B CN 104977716B
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- user
- display
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims description 46
- 210000001508 eye Anatomy 0.000 claims description 40
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 15
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 35
- 230000000903 blocking effect Effects 0.000 abstract description 11
- 210000004027 cell Anatomy 0.000 description 21
- 238000012545 processing Methods 0.000 description 19
- 210000003128 head Anatomy 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000002310 reflectometry Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000002858 crystal cell Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- SZVJSHCCFOBDDC-UHFFFAOYSA-N iron(II,III) oxide Inorganic materials O=[Fe]O[Fe]O[Fe]=O SZVJSHCCFOBDDC-UHFFFAOYSA-N 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Abstract
本发明公开了一种目镜型显示装置及其显示控制方法。所述目镜型显示装置包括：摄像单元，其被构造为拍摄现实影像；显示单元，其被构造为在将虚拟图像叠加在现实影像上的同时显示所述虚拟影像；确定单元，其被构造为确定所述摄像单元正在拍摄的影像是否为行进期间的影像；以及显示控制单元，被构造为以不遮挡用户视野的方式改变所述虚拟图像的显示模式。
Description
技术领域
本发明涉及一种用于在将图形叠加在实景上的同时显示该图形(即，增强现实显示(augmented reality display))的目镜型显示装置的技术。
背景技术
传统上，作为目镜型显示装置的一种，已知有头戴式显示器(下文称作HMD)的技术。HMD被附装到用户的头上，并在用户的眼睛位置处在液晶显示器等上显示图形。作为另一种已知的目镜型显示装置，还已知有手持式显示器。用户的手保持手持式显示器，从而显示器面向用户的眼睛位置。另一方面，最近出现了用于在将图形叠加在用户正在查看的实景上的同时显示图形(即，增强现实显示)的装置。用于在实景上叠加图形的装置的类型包括所谓的镜片透视型和影像透视型。镜片透视型装置利用透明或半透明的眼镜透镜作为屏幕投影图形。影像透视型装置包括摄像装置，并在摄像装置正在拍摄的实景的影像数据上电气地叠加图形。
日本特开第2012-155654号公报讨论了如下信息处理装置：能够向用户提供用于在将虚拟对象叠加在真实空间上的同时显示该虚拟对象的增强现实应用。该信息处理装置包括危险识别单元和通知单元。当危险识别单元识别出真实空间中对用户的危险时，通知单元向用户通知危险的存在。日本特开第2012-155654号公报还讨论了用于在识别出危险的情况下使虚拟对象透明的技术。
日本特开第2010-136263号公报讨论了具有用于在外界为可视的状态下在用户的视网膜上投影图像的显示单元的HMD的技术。HMD将通过转换特定波长的图像而获得的转换后的图像投影在用户的视网膜上，并根据用户的移动速度改变检测到的危险的通知模式。该HMD以特定波长对佩戴HMD的用户的至少一部分视野摄像，识别在拍摄的特定波长的图像中的、具有高危险度的区域，并获取佩戴HMD的用户的移动速度。然后，基于识别出的具有高危险度的区域和获取的移动速度，HMD生成通过转换特定波长的图像而获得的转换后的图像，并在用户的视网膜上投影转换后的图像。
日本特开第2010-187132号公报讨论了如下HMD：具有用于根据图像信息在用户的眼睛上投影图像光以使用户可视地识别与该图像光相对应的图像的显示单元。该HMD包括用于基于用户眼睛的睁开/闭合状态检测用户睡眠的睡眠检测单元。当检测到用户的睡眠并且然后不再检测到睡眠时，HMD执行控制以显示如下图像：包括从用户的睡眠的检测时间之前的至少预定时间段直到用户的睡眠的检测时间为止显示的图像。
在一些情况中，用于显示增强现实的HMD可以在将文本和诸如图表和影像的图形叠加在实景上的同时显示它们。这种叠加显示存在以下问题：在用户步行移动时，叠加显示遮挡了用户在行进方向的实景中的视野，导致诸如碰撞或跌倒的危险。另一方面，如果叠加显示的图形的显示位置、显示面积以及透明度总是处于实景中的视野不被遮挡的程度，则用户将发现难以视觉化地识别文本、图表、影像等，这降低了作为图形显示装置的用户友好性。
换句话说，需要根据用户是否正自己移动(例如，步行移动)而以实景中的视野不会被遮挡或可以被遮挡的方式来分别改变图形的叠加显示。
日本特开第2012-155654号公报讨论了用于在识别出危险时使虚拟对象透明的技术，但是未讨论用于在用户正自己移动的情况和其他情况之间做区分的技术。
日本特开第2010-136263号公报讨论了用于根据用户的移动速度改变危险的通知模式的技术，但未讨论用于改变叠加显示以不遮挡实景中的视野的技术。
简言之，在上述传统技术中，难以根据用户是否正自己移动而分别以实景中的视野不会被遮挡或可以被遮挡的方式来改变图形的叠加显示。
发明内容
本发明旨在提供一种用于在用户自己移动时提供高安全性和高图形可视性的目镜型显示装置。
根据本发明的方面，一种目镜型显示装置包括：摄像单元，其被构造为拍摄现实影像；显示单元，其被构造为在将虚拟图像叠加在所述现实影像上的同时显示所述虚拟影像；确定单元，其被构造为确定所述摄像单元正在拍摄的影像是否为行进期间的影像；以及显示控制单元，其被构造为在所述确定单元确定所述摄像单元正在拍摄的影像是行进期间的影像的情况下，以不遮挡用户的视野的方式改变所述虚拟图像的显示模式。
根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1例示了作为根据示例性实施例的显示装置的示例的HMD的外观的示例。
图2是例示根据示例性实施例的HMD的配置示例的框图。
图3A、图3B、图3C以及图3D是例示由根据第一示例性实施例的HMD执行的确定和处理的流程图。
图4A和图4B例示了改变图形元素的显示位置的显示转换的示例。
图5例示了行进导航图像的示例。
图6是例示由根据第一示例性实施例的HMD执行的确定和处理的流程图。
图7例示了在利用红外光拍摄的图像的显示上叠加行进导航图像的显示的示例。
图8是例示由根据第一示例性实施例的HMD执行的确定和处理的流程图。
图9是例示由根据第二示例性实施例的HMD执行的确定和处理的流程图。
图10例示了作为根据第三示例性实施例的显示装置的示例的HMD的外观。
图11是例示根据第三示例性实施例的HMD的配置示例的框图。
图12是例示由根据第三示例性实施例的HMD执行的确定和处理的流程图。
具体实施方式
下文将参照附图详细描述根据本发明的示例性实施例的目镜型显示装置及其显示控制方法。
在下文描述的第一示例性实施例中，本发明应用于作为目镜型显示装置的示例的所谓的镜片透视型HMD。
图1例示了根据本示例性实施例的HMD 100的外观。
HMD 100包括用于将HMD 100附装到用户的头部上的头部附装单元101、用于拍摄用户的头部前方实景的影像的摄像单元102、用于投影图形的投影单元103以及投影有图形的目镜单元104。
头部附装单元101具有与所谓的眼镜框类似的结构。头部附装单元101被支撑在用户的耳朵和鼻子上，从而根据本示例性实施例的HMD 100被附装到用户的头上。除了图1例示的眼镜框型，还能够使用诸如护目镜型以及头盔型等多种类型的头部附装单元101。可以使用弹性材料来提高可附装性。
摄像单元102具有与所谓的数字照相机类似的构造。摄像单元102包括摄像透镜、光圈、用于将光学图像转换为电信号的摄像传感器、以及用于将模拟信号转换为数字信号的模数(A/D)转换器。摄像单元102在与在头上佩戴根据本示例性实施例的HMD 100的用户的面部面向的方向基本相同的方向(相当于用户的视野的方向)上拍摄图像。为了提高图像质量等的目的，摄像单元102还包括各种类型的光学滤波器。特别地，由于在拍摄彩色影像时近红外光很可能是有害光，因此通常在摄像传感器的光入射侧配设红外截止滤波器。也可以提供用于在可见光量低时将红外截止滤波器从光路撤出从而使更多光进入摄像传感器的机构(例如，日本特开第2008-35199号公报中讨论的摄像单元)。
投影单元103(所谓的投影仪)包括投影透镜、小图像显示元件以及诸如液晶元件和有机电发光(EL，electro luminescence)元件的发光元件。投影单元103在目镜单元104上投影要显示的图形的图像光。
目镜单元104被配设在相当于眼镜透镜位置的位置处，从而该单元面向用户的眼睛位置。目镜单元104包括嵌入其前面、后面、或内部的镜。每个镜都是具有一定程度的透过率从而允许用户看到外部实景的所谓的半反射镜。半反射镜还具有一定程度的反射率，从而朝用户的眼睛反射从投影单元103投影的图像光。换句话说，在根据本示例性实施例的HMD 100中，投影单元103和目镜单元104构成显示单元，通过该显示单元用户能够利用其上叠加的图形看到外部实景的图像。
各个上述目镜单元104的半反射镜在透射构件和反射构件的表面上可以具有液晶层，从而通过改变液晶层的定向来电气地改变透过率和反射率。作为一种选择，目镜单元104可以由液晶显示器形成，可以在将图形电气地叠加在摄像单元102拍摄的实景的影像数据上的同时在目镜单元104上显示该图形。在这种情况下，可以省略投影单元103。
图2是例示根据本示例性实施例的HMD 100的配置示例的框图。
HMD 100还包括如下一些单元：被嵌入在包括头部附装单元101的主单元的内部、并且未在图1中被例示为外观。这些嵌入的单元包括显示控制单元105、摄像控制单元106、中央处理单元(CPU)107、存储器108、电源单元109、通信单元110以及移动传感器单元111。
显示控制单元105控制上文描述的投影单元103和目镜单元104以执行显示单元的显示控制。例如，显示控制单元105对从投影单元103投影的图形数据执行诸如坐标移动和改变大小的图像处理，从而改变虚拟图像的显示位置和显示面积。作为一种选择，显示控制单元105控制投影单元103的发光元件的发光量以及目镜单元104的透过率和反射率，从而改变虚拟图像的透明度。在将图形电气地叠加在摄像单元102拍摄的实景的影像数据上的所谓的影像透视型的情况下，可以通过在图形叠加时的图像处理来改变虚拟图像的显示位置、显示面积以及透明度。
摄像控制单元106基于利用摄像数据的预定计算处理的计算结果执行曝光控制和测距控制。因此，执行自动聚焦(AF)处理、自动曝光(AE)处理以及自动白平衡(AWB)处理。在摄像单元102包括用于向/从光路插入/移除光学滤波器的机构或者图像稳定机构时，摄像控制单元106基于摄像数据和其他条件对滤波器插入/移除和图像稳定执行控制。
CPU 107控制整个HMD 100并执行计算处理。通过CPU 107执行下文将描述的存储器108中记录的程序来实现根据本示例性实施例的各处理。存储器108包括系统存储器和非易失性存储器。从非易失性存储器读出的程序、用于系统控制的常量和变量被加载到系统存储器中。为了显示的目的，存储器108存储要在被叠加到实景上的同时将被显示的虚拟图像的数据。为了图像分析和图像处理的目的，存储器108还存储摄像单元102拍摄的并经过A/D转换的数据。
电源单元109包括诸如碱性电池和锂电池等的一次电池，诸如镍镉(NiCd)电池、镍氢(NiMH)电池以及锂离子(Li)电池等的二次电池以及交流电(AC)适配器，以向整个HMD100供电。电源单元109还包括用于根据用户的操作和其他条件打开(ON)和关闭(OFF)电源的电源开关。
在CPU 107的控制下，通信单元110执行与诸如个人计算机(PC)的信息终端以及与诸如局域网(LAN)和因特网的网络的通信。移动传感器单元111通过例如检测重力加速度来检测HMD 100的移动状态。作为一种选择，通信单元110可以配设有全球定位系统(GPS)接收单元，移动传感器单元111可以基于GPS接收单元接收到的GPS信号来检测移动状态。根据以这样的方式检测到的移动状态来检测单位时间的移动距离，能够计算每个相关的单位时间中的移动速度。
图3A、图3B、图3C以及图3D是例示由根据本示例性实施例的HMD执行的确定和处理的流程图。通过CPU 107将存储器108的非易失性存储器中记录的程序加载到系统存储器中然后执行该程序来实现该确定和处理。
在步骤S301中，当用户打开电源时，根据本示例性实施例的HMD 100以预定显示模式(显示位置、显示面积以及透明度)来显示虚拟图像。下文将参照图3B来详细描述步骤S301中的处理的细节。在步骤S3011中，显示控制单元105准备图形数据。在步骤S3012中，显示控制单元105调节投影单元103的发光元件的发光量以及目镜单元104的透过率和反射率。在步骤S3013中，投影单元103将根据以这种方式生成的图形数据的图像投影在目镜单元104上。紧接打开电源之后要显示的图形可以是所谓的主用户界面(UI)的图形。主UI根据装置规格来显示例如表示装置功能的图标的列表。此外，在上述操作后，可以存储紧接电源断开之前显示的图形的相关信息，然后，基于存储的信息，可以恢复使用在电源断开之前显示的图形。
返回参照图3A，在步骤S302中，HMD 100的CPU 107通过摄像单元102开始摄像。然后在步骤S303中，CPU 107以预定时间间隔在存储器108中记录相关的摄像数据。在步骤S304中，CPU 107分析存储器108中记录的摄像数据。然后在步骤S305中，CPU 107确定影像是否为用户正在摄像单元102的摄像方向上行进的同时拍摄的影像。
CPU 107通过比较以预定时间间隔拍摄的两个不同的摄像数据来做出确定。将参照图3C来描述步骤S305中的处理的细节。在步骤3051中，CPU 107从之前拍摄的摄像数据中选择至少两个任意小区域。然后在步骤S3052中，CPU 107从之后拍摄的摄像数据中识别分别具有与从之前拍摄的摄像数据中选择的小区域相似的图案的小区域。在步骤S3053中，CPU 107比较之前拍摄的摄像数据中的小区域之间的距离与之后拍摄的摄像数据中的小区域之间的距离。当比较结果为之后拍摄的摄像数据中的小区域之间的距离比之前拍摄的摄像数据中的小区域之间的距离更长时(在步骤S3053中为拉开(open))，CPU 107确定用户当前正在摄像单元102的摄像方向上行进(即，接近摄像对象)。摄像单元102正在用户的脸朝向的方向上拍摄风景。因此，如果在用户的脸朝向前方的状态下用户正在向前方向上行进，则摄像单元102拍摄的摄像数据中的被摄体图像将随着用户行进而被放大。为此，当之后拍摄的摄像数据中的小区域之间的距离比之前拍摄的摄像数据中的小区域之间的距离更长时，CPU 107能够确定用户正在摄像单元102的摄像方向上(用户的向前方向上)行进。
如果上文描述的摄像数据中的小区域包括近距离的被摄体的影像，则增大根据用户的行进的放大比率，这有利于行进的检测。因此，被摄体的距离信息可以用于选择小区域。例如，能够根据利用多个摄像单元102拍摄的摄像数据中的被摄体的视差来生成被摄体的距离信息。此外，为了提高确定的精度，例如，可以以一定的时间间隔连续执行摄像数据比较。更具体地，CPU 107连续地执行以预定时间间隔拍摄的摄像数据之间的小区域之间的距离的比较。当之后拍摄的摄像数据中的小区域之间的距离比之前拍摄的摄像数据中的小区域之间的距离拉开的状态持续一定时间段时(例如，预定时间间隔的整数倍)，CPU 107确定用户很可能在摄像单元102的摄像方向上行进。
当CPU 107确定相关的影像是行进期间的影像时(在步骤S305中为“是”)，然后，在步骤S306中，显示控制单元105改变虚拟图像的显示位置、显示面积以及透明度中的任意一者，从而不遮挡用户的视野。
为了改变显示位置从而不遮挡用户视野，例如，在图3D的步骤S3061中，显示控制单元105首先预先定义“不遮挡用户视野的显示区域”。例如，当能够叠加显示虚拟图像的区域具有1600像素(水平)×1200像素(垂直)的尺寸时，从该相关区域的周边部分至200像素的范围的区域被定义为“不遮挡用户视野的显示区域”。然后在步骤S3062中，显示控制单元105移动已经在整个可显示区域上显示的虚拟图像中的图形的显示位置，从而仅在“不遮挡用户视野的显示区域”中显示图形。例如，显示控制单元105改变已经在图4A所示的显示画面中显示的图形元素402至409的显示位置，从而如图4B所示，图形元素402至409纳入显示画面的周边部分的一定范围内，即，“不遮挡用户视野的显示区域”。例如，如果对诸如图标的图形元素的各排列形式预先定义“可能遮挡视野的显示”和“不遮挡视野的显示”两种不同的显示模式，则可以移动该图形元素的显示位置。
通过对各图形元素执行调整尺寸(缩小)的图像处理，可以改变显示面积，从而不遮挡用户的视野。在这种情况下，例如，可以以相似的比率对所有图形元素调整尺寸，或者可以如下方式来执行调整尺寸：以大比率对在显示区域的中心部分显示的图形调整尺寸，而以小比率对周边部分显示的图形调整尺寸。
为了不遮挡用户的视野，可以改变要被显示的图形的透明度。在这种情况下，改变投影单元103的发光元件的发光量。作为一种选择，当使用具有可变的透射率和反射率的目镜单元104时，也能够通过改变目镜单元104的透射率和反射率来改变图形显示的透明度。在这种情况下，例如，可以对所有图形元素设置相似的透明度，或者可以以如下方式设置透明度：对在显示区域中心部分显示的图形设置高透明度，而对周边部分显示的图形设置低透明度。可以单独或组合地改变上文描述的虚拟图像的显示位置、显示面积以及透明度。
返回参照图3A，在步骤S307中，根据本示例性实施例的HMD 100确定是否满足预定结束条件。当确定满足结束条件时(在步骤S307中为“是”)，然后在步骤S308中，HMD 100结束“不遮挡用户视野的显示”的模式，即，改变显示以返回到“可能遮挡用户视野的显示”。
图4A和图4B例示了改变了图形元素的显示位置的显示转换的示例。图4A例示了在摄像数据被确定为行进期间的影像之前在所谓的“可能遮挡用户视野的显示”的模式中的图形元素的显示位置的示例。参照图4A，用户能够通过目镜104看到现实空间的图像(景象)401。图形元素402至409被投影单元103投影到目镜单元104上，从而在叠加到图像401上的同时在目镜单元104上显示该图形元素402至409。
图4B例示了在摄像数据被确定为行进期间的影像后在所谓的“不遮挡用户视野的显示”的模式中的图形元素的显示位置的示例。参照图4B，仅在距离周边部分的一定范围(“不遮挡用户视野的显示区域”)中显示图形元素402至409，从而不遮挡用户的中心部分的视野。
如上文所述，根据本示例性实施例的HMD 100根据摄像单元102拍摄的摄像数据是否为行进期间的影像的确定结果来改变图形的显示位置等。因此，HMD 100能够根据用户的行进状态控制虚拟图像显示，从而提高安全性和图形可视性。
图5例示了在根据本示例性实施例的HMD 100上显示的行进导航图像的示例。
“行进导航图像”是指根据用于将用户引导(导航)至目标位置的行进导航信息显示的图像。行进导航图像包括用户应该沿其行进到目标位置的路线以及能够用作地标的建筑物、设施、交通标识的说明和符号。行进导航图像包括表示路线的路线显示502的图像以及建筑物等的描述显示503、504、505的图像。
例如，CPU 107基于上文描述的GPS信号获取用户的当前位置，并利用移动传感器单元111中包括的加速度传感器等检测相当于用户视野的区域。另外，基于分别定义了现实空间中的位置的诸如表示路线的路线显示502、建筑物等的描述显示503、504、505的信息，CPU 107确定目镜单元104上要显示的与这些显示相对应的图像的位置。可以由CPU 107通过分析摄像单元102拍摄的摄像数据来确定显示位置。在确定显示位置后，CPU 107经由显示控制单元105使投影单元103在目镜单元104上投影这些图像。因此，用户能够通过目镜单元104看到景象501，并且看到叠加在景象501上的、表示路线的路线显示502的图像以及建筑物等的描述显示503、504、505的图像。
这种“行进导航图像”显示用户应该沿其行进的路线用于帮助用户行进。因此，即使行进导航图像在一定程度上遮挡了用户在行进方向上实景中的视野，该图像也不会妨碍用户的行进。在用户自己移动的同时(在用户在摄像单元102的摄像方向上行进的同时)改变“行进导航图像”中的图形元素的显示位置可能会违背显示“行进导航图像”的目的。
鉴于上述情况，当要叠加在用户的视野上的虚拟信息的图像是“行进导航图像”时，根据本示例性实施例的HMD 100不以不遮挡用户的视野的方式来改变虚拟图像的显示位置。
图6是例示在执行这种显示控制的情况下由根据本示例性实施例的HMD 100执行的确定和处理的流程图。
在步骤S601中，当用户打开电源时，根据本示例性实施例的HMD 100根据预定显示条件(显示位置、显示面积以及透明度)显示虚拟图像。在步骤S602中，HMD 100的CPU 107通过摄像单元102开始摄像。
然后在步骤S603，CPU 107确定当前显示的相关虚拟图像是否为“行进导航图像”。基于上文描述的装置规格确定要紧接电源打开之后显示的虚拟图像的种类。例如，当装置规格是紧接电源打开之后恢复并显示在电源关闭时已经显示的虚拟图像的规格时，CPU107确定在电源关闭时是否已经显示“行进导航图像”。
当CPU 107确定虚拟图像是“行进导航图像”时(在步骤S603中为“是”)，然后，在步骤S604中，CPU 107分析摄像数据。在步骤S605中，CPU 107基于摄像数据改变虚拟图像中的图形元素的显示。例如，在HMD 100的当前位置和朝向与电源断开时的位置和朝向不同时，CPU 107根据这些改变来改变诸如路线显示502和建筑物等的描述503、504、505的图形的显示位置。
然而，CPU 107不以不遮挡用户视野的方式来改变显示模式。更具体地，CPU 107既不将图形从显示单元的中心移动到周边部分，也不改变图形的显示面积和透明度。
另一方面，当CPU 107确定虚拟图像不是“行进导航图像”时(在步骤S603中为“否”)，然后，在步骤S606中，显示控制单元105通过摄像数据分析来确定虚拟图像是否为行进期间的影像。当CPU 107确定虚拟图像是行进期间的影像时(在步骤S606中为“是”)，然后，在步骤S607中，如上文所述，CPU 107改变虚拟图像的显示模式，从而不遮挡用户的视野。
然后在步骤S608中，CPU 107根据诸如用户指令操作和e-mail接收等条件改变显示。例如，当用户指定音乐播放功能时，CPU 107显示用于歌曲选择和音量指示的图形用户界面(GUI)。
当将要显示的虚拟图像是行进导航图像时，根据本示例性实施例的HMD 100不改变虚拟图像的显示模式(显示位置、显示面积以及透明度)。因此，能够可靠地显示行进导航图像，而不妨碍用户的行进。
图7例示了在根据本示例性实施例的HMD 100上的显示的示例，在该HMD 100中，在利用红外光拍摄的图像(红外光影像)上叠加了上文描述的行进导航图像。
在红外光影像中，当诸如建筑物、设施、植物以及动物等真实被摄体(要被测量的被摄体)的表面温度与空气温度不同时，即使在夜视的状态下也能以可区分的方式显示这些被摄体。
诸如数字照相机的摄像单元通常包括在摄像传感器的入射光侧的红外截止滤波器用于提高图像质量。根据本示例性实施例的HMD 100的摄像单元102包括能够从光路撤出的红外截止滤波器。当拍摄红外光影像时，红外截止滤波器从光路撤出。
图8是例示在执行这种显示控制的情况下由根据本示例性实施例的HMD 100执行的确定和处理的流程图。
在步骤S801中，当用户打开电源时，根据本示例性实施例的HMD 100以预定显示模式(显示位置、显示面积以及透明度)显示虚拟图像。在步骤S802中，摄像单元102开始拍摄可见光影像。
然后，在步骤S803中，CPU 107确定可见光影像的光量(可见光量)是否小于预定值。以与不同电子照相机执行的用于自动曝光(AE)或自动闪光发光控制的条件确定相似的方式来执行该可见光量确定的处理。
当可见光量小于预定值时(在步骤S803中为“是”)，然后，在步骤S804中，摄像单元102通过将红外截止滤波器从光路撤出开始拍摄红外光影像。然后，在步骤S805中，显示控制单元105适当地对来自摄像单元102的红外光影像执行图像处理(例如边缘增强和颜色转换)。在步骤S806中，显示控制单元105将来自CPU 107的“行进导航图像”叠加在红外光影像上。在步骤S807中，投影单元103向目镜单元104投影处理后的影像。可以根据红外光影像的亮度和其他条件改变行进导航图像的亮度和其他显示条件。在这种情况下，因为虚拟图像是上文描述的行进导航图像，因此CPU 107不根据移动是否满足预定条件来改变虚拟图像显示。
通过这种显示控制，如图7所示，例如，通过在红外光影像701上叠加表示路线的路线显示702和建筑物等的描述显示703、704、705的图像在目镜单元104上投影红外光影像701的图像。
利用根据本示例性实施例的HMD 100，当摄像单元102拍摄的可见光影像的光量小于预定值时，能够在目镜单元104上投影叠加有行进导航图像的红外光影像的图像。因此，即使在夜视的情况下也能够可靠地显示行进导航图像。
根据第二示例性实施例的HMD 100具有与图1和图2中例示的根据第一示例性实施例的HMD 100类似的配置。
利用根据本示例性实施例的HMD 100，当摄像单元102拍摄的影像满足用于确定相关的影像是行进期间的影像的预定条件并且移动传感器111检测到满足预定条件的移动时，CPU 107改变虚拟图像显示从而不遮挡用户的视野。
移动传感器单元111包括能够检测用户单位时间的移动的传感器(例如加速度传感器和位置传感器)。实用地配设各种加速度传感器。加速度传感器的示例包括具有用于检测加速引起的磁性改变的可移动磁石和可移动磁性构件、用于检测压电效应引起的电势改变的传感器以及用于将梁结构支撑的微小可移动部分的轻微位置改变检测为静电电容改变的传感器。位置传感器检测当前位置。作为通常的位置传感器的示例，全球定位系统(GPS)从至少三个具有校准的时间的卫星接收信标，并基于这些信标的基于距离的延迟来执行位置检测。
利用根据本示例性实施例的HMD 100，当拍摄的影像被确定为行进期间的影像并且移动传感器单元111检测到满足预定条件的移动时，CPU107改变虚拟图像显示从而不遮挡用户的视野。换句话说，利用根据本示例性实施例的HMD 100，当移动传感器单元111未检测到满足预定条件的移动时，即使拍摄的影像被确定为行进期间的影像，CPU 107也不改变虚拟图像显示从而维持当前的虚拟图像。
即使拍摄的影像被确定为行进期间的影像，也无法总是确定用户在自己移动。这适用于例如用户经由根据本示例性实施例的HMD 100的目镜单元104看到在外部显示画面上投影的“行进影像”的情况。因此，通过将移动传感器单元111检测到满足预定条件的移动的事实添加为用于确定用户在自己移动的条件，能够提高确定的可能性。然而，如果仅基于移动传感器单元111检测到用户的移动的事实而确定用户正在自己移动，则即使在用户正在通过诸如火车的交通工具移动的情况下，CPU 107也可能确定用户在自己移动。这会显著降低确定的可能性，所以该确定方法不合适。为此，CPU 107仅在检测到满足预定条件的移动时确定用户在自己移动。
满足预定条件的移动是指例如预定速度以上的移动。能够通过对预定时间段上由移动传感器单元111的加速度传感器检测到的加速度进行积分，或者通过利用位置传感器检测单位时间的位置改变来计算移动速度。因为通常认为交通工具的移动速度高于人的行走速度，因此能够基于移动速度在用户正在自己移动的情况和用户正通过交通工具移动的情况之间做区分。
作为一种选择，满足预定条件的移动是指具有预定移动轨迹图案的移动。通常，认为与人行走的移动相比，通过交通工具的移动中具有预定长度(例如，大约1至3米)的区间的移动轨迹直线性更高。因此，例如，通过比较相关直线性，能够在用户正在自己移动的情况和用户正通过交通工具移动的情况之间进行区分。
图9是例示在执行这种显示控制的情况下由根据本示例性实施例的HMD 100执行的确定和处理的流程图。
在步骤S901中，当用户打开电源时，HMD 100以预定显示模式(显示位置、显示面积以及透明度)显示虚拟图像。然后，在步骤S902中，HMD 100通过摄像单元102开始摄像。在步骤S903中，HMD 100分析相关的摄像数据以确定虚拟图像是否为行进期间的影像。当HMD100确定虚拟影像是行进期间的影像时(在步骤S903中为“是”)，然后，在步骤S904中，HMD100进一步确定移动传感器单元111是否检测到满足预定条件的移动。当HMD 100确定检测到满足预定条件的移动时(在步骤S904中为“是”)，然后，在步骤S905中，HMD 100改变虚拟信息的图像的显示位置、显示面积以及透明度中的任意一者，从而不遮挡用户视野。
利用根据本示例性实施例的HMD 100，当拍摄的影像被确定为行进期间的影像时，CPU 107仅在移动传感器111检测到满足预定条件的移动时改变虚拟图像显示，从而不遮挡用户视野。因此，能够准确地确定用户正自己移动的状态，并且能够根据用户的移动改变虚拟图像显示。
根据第三示例性实施例的HMD包括用于检测用户眼睛的睁开/闭合状态的佩戴者摄像单元1011(闭眼检测单元的示例)。当佩戴者摄像单元1011检测到用户眼睛已经闭合预定时间段然后睁开时，CPU 107显示预定图形用户界面(GUI)，经由该图形用户界面用户能够执行指示操作。
用于显示增强现实的HMD在将图形叠加在实景上的同时显示文本和诸如图表和影像的图形。因此，如上文所述，如果以在用户步行移动的同时遮挡实景上的用户视野的方式显示图形，则可能发生诸如碰撞或跌倒的危险。因此，在显示分别表示装置功能的图标的列表的GUI(例如主用户界面(UI))的情况下，在用户未步行移动时显示该GU是合适的。然而，即使在用户未步行移动时，当用户利用HMD 100不断地查看影像内容等时，通过显示GUI来中断影像内容的显示是不合适的。为此，当用户闭合眼睛至少预定时间段T(例如，一分钟)然后睁开眼睛时，既不会认为用户在步行移动也不会认为用户在不断地查看影像内容。因此，通过在该定时显示诸如主UI的GUI，能够合适地显示GUI。
图10例示了根据本示例性实施例的HMD 1000的外观。
HMD 1000包括头部附装单元1001、摄像单元1002、投影单元1003以及目镜单元1004。
如图11所示，HMD 1000包括显示控制单元1005、摄像控制单元1006、CPU 1007、存储器1008、电源单元1009以及通信单元1010。以与图1和图2例示的头部附装单元101至通信单元110类似的方式配置头部附装单元1001至通信单元1010。
HMD 1000还包括用于拍摄包括至少用户眼睛的部分的佩戴者摄像单元1011。参照图10，佩戴者摄像单元1011被配设在投影单元1003的附近，使得它们的光路基本共轭。更具体地，投影单元1003通过利用目镜单元1004中配设的镜在用户眼睛的方向反射图像来投影图形。具有与投影单元1003的光路基本共轭的光路的佩戴者摄像单元1011能够拍摄目镜单元1004中的镜反射的、包括用户眼睛的部分的图像。能够通过例如配设用于使偏振分量与另一偏振分量垂直的各光路偏振滤波器来解决由基本共轭的光路造成的干扰。HMD 100还包括用于利用计时器执行计时的计时单元1012。
为了确定用户(佩戴者)的眼睛是闭合还是睁开(闭眼检测)，HMD 1000分析佩戴者摄像单元1011拍摄的包括佩戴者眼睛的部分的图像的图像数据(佩戴者图像数据)。更具体地，例如，HMD 1000执行色彩分量分析。与睁开眼睛时相比，在闭合眼睛时，减少相当于眼睛黑色部分的黑色分量和相当于眼睛白色部分的白色分量。因此，能够基于黑色和白色分量的预定阈值确定眼睛是闭合还是睁开。作为一种选择，通过执行闭合眼睛时预拍摄的图像和睁开眼睛时预拍摄的图像与实时拍摄的佩戴者图像数据之间的图案匹配，能够确定上述两种预拍摄的图像中哪一种与佩戴者图像数据更相似，从而确定眼睛的状态。作为一种选择，通过分析预定在时间段连续拍摄的佩戴者图像数据之间的改变量，如果改变量小则能够确定眼睛闭合，或者如果改变量大则能够确定眼睛睁开。这是因为由于眨眼等，通常睁开眼睛时的佩戴者图像数据的改变量比闭合眼睛时的改变量大。
图12是例示在执行上文描述的显示控制的情况下，根据本示例性实施例的HMD1000执行的确定和处理的流程图。
当用户打开电源时，在步骤S1101中，根据本示例性实施例的HMD 1000以预定显示模式(显示位置、显示面积以及透明度)显示虚拟图像。
在步骤S1102中，佩戴者摄像单元1101开始摄像。在步骤S1103中，CPU 107分析相关的摄像数据以确定用户的眼睛是闭合还是睁开。当CPU 107确定用户的眼睛闭合时(在步骤S1103中为“是”)，然后，在步骤S1104中，计时单元1012确定计时器t是否为0。当计时单元1012确定计时器t为0时(在步骤S1104中为“是”)，然后在步骤S1105中，计时单元1012开始计时器t的计时。
另一方面，当CPU 107确定用户的眼睛睁开时(在步骤S1103中为“否”)，然后，在步骤S1106中，CPU 107比较计时器t与上文描述的预定时间段T。当计时器t大于预定时间段T时(在步骤S1106中为“是”)，然后在步骤S1107中，CPU 107显示GUI。在步骤S1108中，CPU重置计时器t。
利用根据本示例性实施例的HMD 1000，通过在用户的眼睛被确定为闭合了预定时间然后睁开眼睛时显示GUI，从而能够根据用户眼睛的睁开/闭合状态显示GUI。
尽管在上述示例性实施例中，本发明适用于HMD，但本发明也适用于其他目镜型显示装置，诸如由用户的手保持使得显示器面向用户眼睛位置的手持型显示器。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。
Claims (16)
1.一种目镜型显示装置，该目镜型显示装置包括：
摄像单元，其被构造为拍摄现实影像；
显示单元，其被构造为在将虚拟图像叠加在所述现实影像上的同时显示所述虚拟影像；
第一确定单元，其被构造为基于影像的连续图像的对应部分的改变确定所述摄像单元正在拍摄的影像是否为行进期间的影像；
第二确定单元，其被构造为通过比较预定速度与基于正在拍摄的视频的移动速度，确定用户是通过自己行走在移动还是通过交通工具在移动；以及
显示控制单元，其被构造为在所述第一确定单元确定所述摄像单元正在拍摄的影像是行进期间的影像并且第二确定单元确定用户通过自己行走在移动的情况下，控制显示单元以不妨碍用户查看现实影像的方式显示所述虚拟图像。
2.根据权利要求1所述的目镜型显示装置，其中，所述显示控制单改变所述虚拟图像的显示位置。
3.根据权利要求2所述的目镜型显示装置，其中，所述显示控制单元将所述虚拟图像的显示位置改变为所述显示单元的显示区域中的外围位置。
4.根据权利要求1所述的目镜型显示装置，其中，所述显示控制单元减小所述虚拟图像的显示面积。
5.根据权利要求4所述的目镜型显示装置，其中，所述显示控制单元以根据所述虚拟图像的显示位置的比率减小所述虚拟图像。
6.根据权利要求1所述的目镜型显示装置，其中，所述显示控制单元增大所述虚拟图像的透明度。
7.根据权利要求6所述的目镜型显示装置，其中，所述显示控制单元以根据所述虚拟图像的显示位置的比率增大所述虚拟图像的透明度。
8.根据权利要求1所述的目镜型显示装置，其中，所述确定单元基于所述摄像单元正在拍摄的影像中以预定时间间隔拍摄的多个图像的比较结果，确定所述摄像单元正在拍摄的影像是否为行进期间的影像。
9.根据权利要求8所述的目镜型显示装置，其中，在以所述预定时间间隔拍摄的所述多个图像当中，所述确定单元设置第一图像中的多个区域，并提取与所述第一图像中的所述多个区域相对应的第二图像中的区域，并且
其中，在与所述第一图像中的所述多个区域相对应的所述第二图像中的区域之间的距离比所述第一图像中的所述多个区域之间的距离长的情况下，所述确定单元确定所述摄像单元正在拍摄的影像是行进期间的影像。
10.根据权利要求1所述的目镜型显示装置，其中，即使在所述摄像单元正在拍摄的影像被确定为行进期间的影像的情况下，当所述虚拟图像包括行进导航信息的图像时，所述显示控制单元不改变所述虚拟图像的显示模式。
11.根据权利要求10所述的目镜型显示装置，其中，所述摄像单元能够拍摄可见光影像以及红外光影像，
其中，所述摄像单元还包括被构造为测量所述摄像单元正在拍摄的可见光影像的光量的测量单元，并且
其中，当所述可见光影像的光量小于预定值时，所述显示控制单元使所述显示单元显示在红外光影像的显示上叠加了行进导航信息的图像。
12.根据权利要求1所述的目镜型显示装置，所述目镜型显示装置还包括：
移动检测单元，其被构造为检测用户的移动，
其中，即使所述确定单元确定所述摄像单元正在拍摄的影像是行进期间的影像，在所述移动检测单元未检测到满足预定条件的移动的情况下，所述显示控制单元保持要在所述显示单元上显示的虚拟图像的显示模式，而不改变所述虚拟图像的显示模式。
13.根据权利要求12所述的目镜型显示装置，其中，所述满足所述预定条件的移动是预定速度以上的移动。
14.根据权利要求12所述的目镜型显示装置，其中，所述满足所述预定条件的移动是具有预定移动轨迹图案的移动。
15.根据权利要求1所述的目镜型显示装置，所述目镜型显示装置还包括：
闭眼检测单元，其被构造为检测用户的眼睛的睁开/闭合状态，
其中，当所述闭眼检测单元检测到用户的眼睛在闭合预定时间段之后睁开时，所述显示控制单元使所述显示单元显示预定图形用户界面，用户经由所述图形用户界面能够执行指示操作。
16.一种用于控制目镜型显示装置中的显示的显示控制方法，所述目镜型显示装置具有用于拍摄现实影像的摄像单元以及用于在将虚拟图像叠加在所述现实影像上的同时显示所述虚拟图像的显示单元，所述显示控制方法包括以下步骤：
第一确定步骤，基于影像的连续图像的对应部分的改变确定所述摄像单元正在拍摄的影像是否为行进期间的影像；
第二确定步骤，通过比较预定速度与基于正在拍摄的视频的移动速度，确定用户是通过自己行走在移动还是通过交通工具在移动，以及
在所述第一确定单元确定所述摄像单元正在拍摄的影像是行进期间的影像并且第二确定单元确定用户是通过自己行走在移动的情况下，以不妨碍用户查看现实影像的方式显示所述虚拟图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP2014-076403 | 2014-04-02 | ||
| JP2014076403A JP6376807B2 (ja) | 2014-04-02 | 2014-04-02 | 表示装置、表示制御方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104977716A CN104977716A (zh) | 2015-10-14 |
| CN104977716B true CN104977716B (zh) | 2019-09-06 |
Family
ID=54210227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510146223.3A Active CN104977716B (zh) | 2014-04-02 | 2015-03-30 | 目镜型显示装置及其显示控制方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20150287244A1 (zh) |
| JP (1) | JP6376807B2 (zh) |
| CN (1) | CN104977716B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6361318B2 (ja) * | 2014-06-25 | 2018-07-25 | 株式会社デンソー | 車両用画像表示装置、車両用画像表示方法 |
| KR102400383B1 (ko) * | 2015-10-23 | 2022-05-23 | 삼성전자 주식회사 | 전자 장치의 센서 데이터 획득 방법 및 이를 사용하는 전자 장치 |
| US20170169617A1 (en) * | 2015-12-14 | 2017-06-15 | II Jonathan M. Rodriguez | Systems and Methods for Creating and Sharing a 3-Dimensional Augmented Reality Space |
| US10068376B2 (en) * | 2016-01-11 | 2018-09-04 | Microsoft Technology Licensing, Llc | Updating mixed reality thumbnails |
| CN105912123A (zh) | 2016-04-15 | 2016-08-31 | 北京小鸟看看科技有限公司 | 一种三维沉浸式环境下的界面布局方法和装置 |
| CN105894584B (zh) * | 2016-04-15 | 2019-08-02 | 北京小鸟看看科技有限公司 | 一种三维沉浸式环境下与现实环境交互的方法和装置 |
| CN105955457A (zh) * | 2016-04-19 | 2016-09-21 | 北京小鸟看看科技有限公司 | 一种头戴显示设备的用户界面布局方法和头戴显示设备 |
| TWI607242B (zh) * | 2016-06-22 | 2017-12-01 | 梁伯嵩 | 光學疊加方法與光學疊加結構 |
| US10091482B1 (en) * | 2017-08-04 | 2018-10-02 | International Business Machines Corporation | Context aware midair projection display |
| KR101941458B1 (ko) * | 2017-09-20 | 2019-01-23 | 엘지디스플레이 주식회사 | 접안 렌즈를 포함하는 디스플레이 장치 |
| JP2021103341A (ja) * | 2018-03-30 | 2021-07-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および、プログラム |
| CN110580672A (zh) * | 2018-06-07 | 2019-12-17 | 刘丹 | 增强现实热感智能眼镜、显示方法及计算机存储介质 |
| US11403822B2 (en) * | 2018-09-21 | 2022-08-02 | Augmntr, Inc. | System and methods for data transmission and rendering of virtual objects for display |
| US11681834B2 (en) | 2019-01-30 | 2023-06-20 | Augmntr, Inc. | Test cell presence system and methods of visualizing a test environment |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6181302B1 (en) * | 1996-04-24 | 2001-01-30 | C. Macgill Lynde | Marine navigation binoculars with virtual display superimposing real world image |
| CN103635849A (zh) * | 2011-06-23 | 2014-03-12 | 微软公司 | 用于头戴式显示器的总视野分类 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6466232B1 (en) * | 1998-12-18 | 2002-10-15 | Tangis Corporation | Method and system for controlling presentation of information to a user based on the user's condition |
| JP4696248B2 (ja) * | 2004-09-28 | 2011-06-08 | 国立大学法人 熊本大学 | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 |
| JP5109952B2 (ja) * | 2008-12-08 | 2012-12-26 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| JP5212155B2 (ja) * | 2009-02-10 | 2013-06-19 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| JP5691568B2 (ja) * | 2011-01-28 | 2015-04-01 | ソニー株式会社 | 情報処理装置、報知方法及びプログラム |
| JP6051522B2 (ja) * | 2011-12-28 | 2016-12-27 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| US8836799B2 (en) * | 2012-03-30 | 2014-09-16 | Qualcomm Incorporated | Method to reject false positives detecting and tracking image objects |
| US20130326364A1 (en) * | 2012-05-31 | 2013-12-05 | Stephen G. Latta | Position relative hologram interactions |
| US20150277118A1 (en) * | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
| US10724864B2 (en) * | 2014-06-17 | 2020-07-28 | Chief Architect Inc. | Step detection methods and apparatus |
-
2014
- 2014-04-02 JP JP2014076403A patent/JP6376807B2/ja active Active
-
2015
- 2015-03-27 US US14/671,852 patent/US20150287244A1/en not_active Abandoned
- 2015-03-30 CN CN201510146223.3A patent/CN104977716B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6181302B1 (en) * | 1996-04-24 | 2001-01-30 | C. Macgill Lynde | Marine navigation binoculars with virtual display superimposing real world image |
| CN103635849A (zh) * | 2011-06-23 | 2014-03-12 | 微软公司 | 用于头戴式显示器的总视野分类 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150287244A1 (en) | 2015-10-08 |
| JP2015197860A (ja) | 2015-11-09 |
| CN104977716A (zh) | 2015-10-14 |
| JP6376807B2 (ja) | 2018-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104977716B (zh) | 目镜型显示装置及其显示控制方法 | |
| JP6393367B2 (ja) | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 | |
| KR102544062B1 (ko) | 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치 | |
| CN104076512B (zh) | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 | |
| US9563981B2 (en) | Information processing apparatus, information processing method, and program | |
| CN110045816A (zh) | 近眼显示器和系统 | |
| US11330200B2 (en) | Parallax correction using cameras of different modalities | |
| CN105589199A (zh) | 显示装置、显示装置的控制方法以及程序 | |
| CN108508603A (zh) | 头部佩戴型显示装置及其控制方法、以及记录介质 | |
| CN102045577A (zh) | 用于三维立体显示的观察者跟踪系统及三维立体显示系统 | |
| US11320667B2 (en) | Automated video capture and composition system | |
| CN109951698A (zh) | 用于检测反射的设备和方法 | |
| US11720996B2 (en) | Camera-based transparent display | |
| JP7081599B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6711885B2 (ja) | 送信端末、受信端末、送受信システム、およびそのプログラム | |
| WO2016101861A1 (zh) | 头戴式显示装置 | |
| US11579449B2 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
| US20160189341A1 (en) | Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear | |
| KR102254174B1 (ko) | 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치 | |
| WO2021034527A1 (en) | Pupil assessment using modulated on-axis illumination | |
| EP4027198A1 (en) | Electronic apparatus, electronic apparatus control method, program, and storage medium | |
| CN111736692B (zh) | 显示方法、显示装置、存储介质与头戴式设备 | |
| CN103220458B (zh) | 一种立体摄像装置和立体摄像方法 | |
| JP2016197816A (ja) | ヘッドマウントディスプレイ及び制御方法 | |
| CN116236782A (zh) | 基于vr设备的云游戏图像显示控制方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |