CN105992986B - 图像显示装置和图像显示方法 - Google Patents

图像显示装置和图像显示方法 Download PDF

Info

Publication number
CN105992986B
CN105992986B CN201480064167.2A CN201480064167A CN105992986B CN 105992986 B CN105992986 B CN 105992986B CN 201480064167 A CN201480064167 A CN 201480064167A CN 105992986 B CN105992986 B CN 105992986B
Authority
CN
China
Prior art keywords
image
real world
region
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480064167.2A
Other languages
English (en)
Other versions
CN105992986A (zh
Inventor
山本祐辉
河本献太
今孝安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201910107486.1A priority Critical patent/CN109828671B/zh
Publication of CN105992986A publication Critical patent/CN105992986A/zh
Application granted granted Critical
Publication of CN105992986B publication Critical patent/CN105992986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

提供了配戴在头部和面部上并且用于观看图像的优异的图像显示装置和图像显示方法。当在显示单元(309)上显示诸如电影或计算机图形的虚拟世界的图像时，这个头戴式显示器(100)暂时清除在触摸面板上指定的区域中的图像并且显示通过外部的摄像机(312)拍摄的现实世界的图像。用户通过查看与虚拟世界的图像相混合的现实世界的图像，能够感知现实世界并且与现实世界适当地交互，从而减轻心理抵抗感并且可以避免诸如与现实世界中的实物碰撞造成的身体伤害。

Description

图像显示装置和图像显示方法
技术领域
本说明书中公开的技术涉及配戴在用户的头部或面部并用于观看图像的图像显示装置并且涉及图像显示方法。
背景技术
配戴在头部或面部并用于观看图像的图像显示装置，或者换言之，已知的头戴式显示器。利用头戴式显示器，为左眼和右眼中的每个布置图像显示单元，并且例如由虚拟图像光学系统形成显示图像的放大的虚拟图像，从而使得用户能够观看到身临其境的图像。头戴式显示器是非常流行的。如果大量生产将在未来进一步发展，在头戴式显示器会变得像移动电话、智能手机或手提式游戏机一样普遍，并且每个人都可以拥有他们自己的头戴式显示器。
头戴式显示器被配置为在配戴在头部上时直接覆盖用户的眼睛。换言之，头戴式显示器是不透明的，因而在观看图像时增加了身临其境的感觉。虚拟图像光学系统被用于放大和投射显示屏幕，使得用户能够将图像观看为在合适的视角下的放大虚拟图像。此外，如果利用耳机再现多声道音频，则可以再造电影院中的感觉(例如，参见专利文献1)。另一方面，还存在透视头戴式显示器，即使在用户将该装置配戴在他的或她的头部上并且显示图像时，仍可以透过图像看见外界环境(即，透视图像)(例如，参见专利文献2)。
无论类型是不透明的还是透视的，头戴式显示器都限制了配戴用户的视觉和听觉。因此，存在关于用户处于与现实世界隔绝并且对外部世界中发生的现象较慢地做出反应的担忧。
发明内容
技术问题
本说明书中公开的技术的目的是提供配戴在用户的头部或面部并且用于观看图像的优异的图像显示装置以及图像显示方法。
问题的解决方案
有鉴于上述问题提出本申请，权利要求1中陈述的技术是一种配戴在头部或面部上的图像显示装置，包括：显示单元；现实世界图像获取单元，被配置为获取现实世界(realworld)的图像；区域指定单元(region specification unit)，被配置为指定显示该现实世界的图像的区域；以及图像生成单元，被配置为基于指定的该区域将该现实世界的图像混合至虚拟图像(virtual image)中并且生成显示在该显示单元上的图像。
根据本申请的权利要求2中所陈述的技术，根据权利要求1该的图像显示装置的显示单元被布置在将该图像显示装置配戴在他或她的头部或面部上的用户的眼睛位置处，并且该图像显示装置进一步包括拍摄该用户的凝视方向(gaze direction，视线方向)的图像的图像拍摄单元。该现实世界图像获取单元获取通过该图像拍摄单元拍摄的该现实世界的图像。
根据本申请的权利要求3中所陈述的技术，根据权利要求1该的图像显示装置进一步包括：虚拟世界图像生成单元，被配置为生成虚拟世界的图像；以及区域图像生成单元，被配置为计算与通过该区域指定单元指定的该区域相对应的该现实世界的图像RI和该虚拟世界的图像RV，其中，该图像生成单元通过将虚拟世界渲染结果V的对应区域的图像RV替换为该现实世界的该对应区域的图像RI来生成显示在该显示单元上的图像。
根据本申请的权利要求4中所陈述的技术，根据权利要求3的图像显示装置的该区域指定单元基于用户的操作指定显示该现实世界的图像的该区域。
根据本申请的权利要求5中所陈述的技术，根据权利要求4的图像显示装置的该图像生成单元基于从该用户执行用于指定该区域的操作时起所经过的时间来控制该现实世界的图像的混合比例(mixture ratio)。
根据本申请的权利要求6中所陈述的技术，在从该用户执行用于指定该区域的操作时起经过固定时间之后，根据权利要求5的图像显示装置的图像生成单元将该对应区域从该现实世界的图像RI切换至该虚拟世界的图像RV，或者将该对应区域逐渐恢复到该虚拟世界的图像RV。
根据本申请的权利要求7中所陈述的技术，根据权利要求4的图像显示装置进一步包括：输入单元，被配置为接受该用户的输入操作，其中，该区域指定单元基于该用户对该输入单元的操作来指定显示该现实世界的图像的该区域。
根据本申请的权利要求8中所陈述的技术，根据权利要求7的图像显示装置的该输入单元是触摸面板，并且该区域指定单元指定与该用户触摸该触摸面板的位置相对应的区域。
根据本申请的权利要求9中所陈述的技术，根据权利要求8的图像显示装置的触摸面板被布置在显示单元的显示屏幕的背面。
根据本申请的权利要求10中所陈述的技术，根据权利要求4的图像显示装置的区域指定单元被配置为基于该用户的手势操作指定显示该现实世界的图像的区域。
根据本申请的权利要求11中所陈述的技术，根据权利要求4的图像显示装置的该区域指定单元根据该用户在该现实世界的图像与该虚拟世界的图像之间的边界上的操作改变显示该现实世界的图像的区域。
根据本申请的权利要求12中所陈述的技术，根据权利要求1的图像显示装置进一步包括：实物检测单元(object detection unit)，被配置为检测该现实世界中的实物(object)；以及三维模型计算单元，被配置基于由该现实世界图像获取单元获取的该现实世界的图像生成包括该实物的规定范围(certain range)的三维模型MI，并且还计算与检测到该实物的位置相对应的虚拟空间V的区域RV，其中，该图像生成单元计算该实物的该三维模型MI被放置在虚拟世界的三维模型V的对应区域RV中的三维模型MM，并且进行渲染处理(rendering process)。
根据本申请的权利要求13中所陈述的技术，根据权利要求12的图像显示装置的该实物检测单元检测用户的身体的部分或者检测该现实世界中的预先确定的物体(physicalbody)。
根据本申请的权利要求14中所陈述的技术，根据权利要求12的图像显示装置的该实物检测单元检测该现实世界中的距该图像显示装置固定距离以内的物体。
根据本申请的权利要求15中所陈述的技术，根据权利要求12的图像显示装置的该图像生成单元基于从该实物检测单元检测到该实物时起所经过的时间来控制该现实世界的图像的混合比例。
根据本申请的权利要求16中所陈述的技术，根据权利要求12的图像显示装置的该区域指定单元在该实物的当前位置与该现实世界的该三维模型MI和该虚拟世界V之间的边界重叠的条件下对边界进行操作。
本申请的权利要求17中所陈述的技术是一种图像显示方法，包括：获取现实世界的图像的现实世界图像获取步骤；指定显示该现实世界的图像的区域的区域指定步骤；基于指定的该区域将该现实世界的图像混合至虚拟图像中并且生成图像的图像生成步骤；以及将所生成的图像显示在布置于用户的眼睛位置处的显示单元上的显示步骤。
本申请的权利要求18中所陈述的技术是一种图像显示方法，包括：获取现实世界的图像的现实世界图像获取步骤；指定显示该现实世界的图像的区域的区域指定步骤；生成虚拟世界的图像的虚拟世界图像生成步骤；计算与在该区域指定步骤中所指定的区域相对应的该现实世界的图像RI和该虚拟世界的图像RV的区域图像生成步骤；通过将虚拟世界渲染结果V的对应区域的图像RV替换成该现实世界的对应区域的图像RI来生成图像的图像生成步骤；以及将所生成的图像显示在布置于用户的眼睛位置处的显示单元上的显示步骤。
本申请的权利要求19中所陈述的技术是一种图像显示方法，包括：获取现实世界的图像的现实世界图像获取步骤；检测该现实世界中的实物的实物检测步骤；指定检测到的该实物的虚拟世界的三维模型V的对应区域RV的区域指定步骤；基于由该现实世界图像获取单元获取的该现实世界的图像生成包括该实物的规定范围的三维模型MI，并且还计算与检测到该实物的位置相对应的虚拟空间V的区域RV的三维模型计算步骤；计算该实物的该三维模型MI被放置于该虚拟世界的该三维模型V的对应区域RV中的三维模型MM并且进行渲染处理从而生成图像的图像生成步骤；以及将所生成的图像显示在布置于用户的眼睛位置处的显示单元上的显示步骤。
发明的有益效果
根据本说明书中所公开的技术，可以提供配戴在用户的头部或面部并用于观看图像并且使用户能够观察发生在外部世界的现象的优异的图像显示装置以及图像显示方法。
根据本说明中公开的技术，图像显示装置被配置为显示与虚拟世界的图像相混合的利用摄像机等拍摄的现实世界的图像。因此，将图像显示装置配戴在他的或她的头部或面部上的用户即使在显示图像的时，仍能够观察外部世界，或者换言之，现实世界。此外，应用本说明中所公开的技术的图像显示装置使得能够在没有减少沉浸于观看的图像，或者换言之虚拟世界中的感觉的情况下与现实世界交互。此外，即使将图像显示装置配戴在他的或她的头部或面部的用户在沉浸于虚拟世界中的同时进行现实世界中的身体动作，用户仍然能够观察到现实世界，从而减少由身体动作引起的身体伤害的危险。
应注意，本说明书中描述的有益效果仅仅是示例，并且本发明的有益效果不限于此。此外，在一些情况下，本发明还可以表现出除了上文给出的有益效果以外的另外的有益效果。
将基于在下文中论述的示例性实施方式和附图，通过更详细的说明来阐明本说明书中公开的技术的另外的目的、特征和优点。
附图说明
[图1]图1是示出将头戴式显示器100配戴在他的或她的头部的用户的前视图的示图。
[图2]图2是示出配戴图1中示出的头戴式显示器100的用户的俯视图的示图。
[图3]图3是示出头戴式显示器100的内部配置的实例的示图。
[图4]图4是示出如何将光标放置在形成在用户的头脑中的显示图像上使得凝视的中心线、光标和操作手指位于相同的线上的示图。
[图5]图5是示出用户如何使用触摸面板315指定显示现实世界的图像的区域的示图。
[图6]图6是示出由用户操作所指定的区域602如何从由显示单元309显示的虚拟世界的图像601替换为现实世界的图像的示图。
[图7]图7是示出头戴式显示器100将显示区域的部分区域替换为现实世界的图像以进行显示的功能配置的示图。
[图8]图8是示出虚拟世界渲染结果V的实例以及由用户指定的区域中的相应的区域的图像RV的实例的示图。
[图9]图9是示出由外侧摄像机(outward-facing camera)312拍摄的现实世界的图像I的实例，以及与由用户指定的区域相对应的区域的图像RI的实例的示图。
[图10]图10是示出虚拟世界渲染结果V的相应的区域的图像RV被替换为现实世界的相应的区域的图像RI的显示图像的实例的示图。
[图11]图11是示出头戴式显示器100将显示区域的部分区域替换为现实世界的图像以进行显示的处理顺序的流程图。
[图12]图12是示出用户如何移动指尖来指定显示现实世界的区域1201的边界，从而将区域1201放大至区域1202的示图。
[图13]图13是示出用户如何移动指尖来指定显示现实世界的区域1301的边界，从而将区域1301减少至区域1302的示图。
[图14]图14是示出头戴式显示器100显示存在于现实世界中的实物的三维模型被放入虚拟世界中的图像的功能配置的示图。
[图15]图15是示出如何检测现实世界中的特定实物的实例的示图。
[图16]图16是示出如何生成包括检测到的实物的指定范围的三维模型MI，以及如何计算虚拟空间V的相应的区域RV的示图。
[图17]图17是示出计算并渲染实物的三维模型MI被放入虚拟世界的三维模型V的相应的区域RV中的三维模型MM的结果的实例的示图。
[图18]图18是示出头戴式显示器100显示存在于现实世界中的实物的三维模型被放入虚拟世界中的图像的处理顺序的流程图。
具体实施方式
在下文中，将参考附图详细描述本说明书中公开的技术的实施方式。
图1示出将应用本说明书中所公开的技术的头戴式显示器100配戴在他的或她的头部的用户的前视图。
头戴式显示器100在配戴在用户的头部或面部上时直接覆盖用户的眼睛，从而在观看图像时给予用户身临其境的感觉。此外，与透视类型不同，配戴着头戴式显示器100的用户不能直接看见在现实世界中的他的或她的周围环境。然而，通过提供沿着用户的视线方向拍摄周围环境的外侧摄像机312并且显示所拍摄的图像，用户能够间接看见现实世界中的他的或她的周围环境(即，周围环境通过视频透视显示)。显而易见的，诸如AR图像的虚拟显示图像还可以重叠在视频透视图像上并呈现出来。此外，因为显示图像从外部不可见(换言之，其他人不可见)，所以容易保护针对信息显示的私密性。
在图1中示出的头戴式显示器100被构造为类似于帽子，并且被配置为直接覆盖配戴用户的左眼和右眼。在头戴式显示器100的内侧上的与左眼和右眼相对的位置处布置用户观看的显示面板(在图1中未示出)。显示面板由诸如有机电子发光(EL)元件或液晶显示器的微显示器或者诸如视网膜扫描显示器的激光扫描显示器组成。
在头戴式显示器100的前面的中心附近，布置用于输入周围环境的图像(用户的视场)的外侧摄像机312。此外，麦克风103L和103R分别布置在头戴式显示器100的主体的左边缘和右边缘附近。通过从左至右大约对称地设置麦克风103L和103R，使得正好可以识别放置在中心的音频(用户的语音)，并且从而分出外界噪声和其他人的语音以防止例如在通过语音输入执行操作时的意外操作。
此外，在头戴式显示器100的主体的外侧上，布置使用户能够使用指尖等进行触摸输入的触摸面板315。在所示出的实例中，设置一对左触摸面板和右触摸面板315，但是同样可以设置单个触摸面板315或者三个或更多个触摸面板315。
图2示出配戴在图1中示出的头戴式显示器100的用户的俯视图。在附图中示出的头戴式显示器100在面向用户的面部的侧面上具有左眼和右眼的显示面板104L和104R。显示面板104L和104R由诸如有机电子发光(EL)元件或液晶显示器的微显示器，或者诸如视网膜扫描显示器的激光扫描显示器组成。在左显示面板104L和右显示面板104R的前面，分别布置虚拟图像光学单元101L和101R。虚拟图像光学单元101L和101R将显示面板104L和104R的显示图像的放大虚拟图像分别聚焦在用户的左眼和右眼上。用户然后通过在他的或她的头脑中结合左放大虚拟图像和右放大虚拟图像来观看图像。另外，因为在个人用户之间眼睛的高度和瞳孔间宽度不同，所以必须将左显示系统和右显示系统中的每个与用户的眼睛对齐。在图2中示出的实例中，在右眼的显示面板和左眼的显示面板之间设置瞳孔间宽度调整机构105。
图3示出头戴式显示器100的内部配置的实例。在下文中，将描述相应的组件。
控制单元301配备有只读存储器(ROM)301A和随机存取存储器(RAM)301B。ROM301A存储由控制单元301执行的程序代码，以及各种数据。控制单元301，通过执行从ROM301A或存储单元306(随后论述)加载至RAM 301B中的程序，控制图像的显示，并且在总体上集中控制头戴式显示器100的操作。存储在ROM 301A中的程序和数据可以是用于视频播放等的图像显示控制程序，使得用户能够观看显示图像以与现实世界交互的交互控制程序，相关的头戴式显示器100所独有的识别信息，用户使用相关的头戴式显示器100的用户属性信息等。
输入接口(IF)单元302配备有一个或多个操作元件，用户在操作元件上进行输入操作，诸如按键、按钮和开关(均未示出)经由操作元件接收用户指令，并且输出至控制单元301。另外，输入接口单元302接收由远程控制接收单元303接收的远程控制命令组成的用户指令，并且输出至控制单元301。
另外，如果用户利用指尖在布置在头戴式显示器100的主体之外的触摸面板315上进行触摸操作，则输入接口单元302将诸如触摸指尖位置的坐标数据的输入信息输出至控制单元301。例如，如果触摸面板315布置在头戴式显示器100的主体的前面上，直接在显示单元309的显示图像(通过虚拟图像光学单元310观看的放大虚拟图像)的后面，则用户能够利用他的或她的指尖触摸显示图像的感觉进行触摸操作。
状态信息获取单元304是获取关于头戴式显示器100本身或者配戴头戴式显示器100的用户的状态信息的功能模块。状态信息获取单元304可以配备有用于检测它自身的状态信息的各种传感器，或者被配置为经由通信单元305(随后论述)从配备有一些或全部这样的传感器的外部设备(例如，智能电话、手表或者由用户配戴的其它多功能终端)获取状态信息。
状态信息获取单元304获取有关位置与方位的信息或者有关用户的头部的方位的信息，例如，以追踪用户的头部运动。为了追踪用户的头部运动，状态信息获取单元304采用包括三轴陀螺仪传感器、三轴加速度传感器和三轴地磁传感器的，总共九个可检测轴的传感器例如。此外，状态信息获取单元304可以进一步将以上传感器与以下一个或多个其他传感器相结合使用，诸如全球定位系统(GPS)传感器、多普勒传感器、红外传感器或射频场强度传感器。此外，状态信息获取单元304可以进一步将获取的位置和方位信息与由以下各种基础设施提供的信息相结合使用，诸如移动电话基站信息或PlaceEngine(注册商标)信息(来自无线LAN接入点的射频场强度测量信息)。在图3中示出的实例中，用于头部运动追踪的状态信息获取单元304内置于头戴式显示器100中，但是也可以由从外部附接至头戴式显示器100的类似的配件配置。在后者的情况下，状态信息获取单元304以旋转矩阵的形式表示头部定向信息，并且通过诸如蓝牙(注册商标)通信的无线通信，或者通过诸如通用串行总线(USB)的高速有线接口将头部定向信息发送至头戴式显示器100本体。
此外，除如上所述的追踪用户的头部运动之外，状态信息获取单元304还可以获取其他信息作为关于配戴头戴式显示器100的用户的状态信息，诸如用户的操作状态(用户是否配戴头戴式显示器100)，用户的行为状态(诸如静止、行走或奔跑的运动状态，利用手或手指完成的手势，眼皮的打开/关闭状态，凝视方向以及瞳孔的尺寸)，心理状态(诸如有印象的程度、兴奋的程度、警觉的程度、情绪以及感情，诸如用户是否沉浸于或专心于观看显示图像)，以及生理状态。此外，为了从用户获取这些状态信息，状态信息获取单元304还可以配备有各种状态传感器，诸如由外侧摄像机312、机械开关等组成的配戴传感器、拍摄用户的面部的面向内的摄像机、陀螺仪传感器、加速度传感器、速度传感器、压力传感器、感测体温或空气温度的温度传感器、出汗传感器、脉搏传感器、肌电电位传感器、眼电位传感器、脑电波传感器、呼吸传感器以及气态离子浓度传感器、以及计时器(在.附图中均未示出)。
环境信息获取单元316是获取与相关的头戴式显示器100的主体或者配戴相关的头戴式显示器100的用户周围的环境相关的信息的功能模块。本文中，与环境相关的信息可以是声音、气流、气温、气压、气氛(烟或雾)、淹没相关的头戴式显示器100或用户的电磁波(紫外光、蓝光、无线电波)、辐射、大气中的一氧化碳、二氧化碳、氧气、以及含氮化合物(尼古丁)、漂浮在大气中的氮氧化物(NOx)和碳化氢(挥发性有机化合物(VOC))或者通过由于紫外光的影响而引起这些中的光化学反应而产生的光化学烟雾、颗粒物质、花粉、诸如室内尘埃的微粒、以及诸如石棉的有害的化学物质以及其它环境因素。为了检测环境信息，环境信息获取单元316可以配备有声音传感器和气流传感器，以及各种类型的环境传感器。麦克风和先前论述的外侧摄像机312也可以包括在环境传感器之中。可替换地，环境信息获取单元316可被配置为经由通信单元305(随后论述)从配备有一些或所有这样的传感器的外部设备(例如，智能电话、手表或由用户配戴的其它多功能终端)获取环境信息。
外侧摄像机312布置在头戴式显示器100的主要单元的前面的中心附件，例如(参见图1)，并且能够拍摄周围环境的图像。用户能够通过经由输入接口单元302的输入操作，或者通过由诸如面向内的摄像机或肌电传感器的设备识别的瞳孔大小或语音输入调整外侧摄像机312的缩放。此外，通过对外侧摄像机312的摇摄、倾斜和滚动方向进行定向控制以匹配通过状态信息获取单元304获取的用户的凝视方向，可以利用外侧摄像机312拍摄用户自身的凝视的图像，或者换言之用户的凝视方向上的图像。从外侧摄像机312拍摄的图像可以被输出以便通过显示单元309显示，并且所拍摄的图像还可以从通信单元305发送或者保存在存储单元306中。
更优选地，外侧摄像机312由多个摄像机组成以允许外侧摄像机312通过使用视差信息获取有关周围环境的图像的三维信息。另外，即使使用单个摄像机，也可以在移动摄像机的同时使用同时定位和构建地图(mapping)(SLAM)图像识别来拍摄图像，使用在时间上彼此承接的多帧图像计算视差信息(参见专利文献3，例如)，并且从计算的视差信息获取有关周围环境的图像的三维信息。
外侧摄像机312能够获取三维信息，并且因此也可以用作距离传感器。可替换地，由诸如检测来自实物的反射信号的位置灵敏检测器(PSD)的便宜的设备组成距离传感器，例如可以与外侧摄像机312结合使用。外侧摄像机312和距离传感器可以用于检测配戴头戴式显示器100的用户的身体的位置、方位和形状。
通信单元305与外部设备进行通信过程，以及对通信信号进行调制/解调和编码/解码过程。外部设备可以是在用户使用头戴式显示器100时提供观看内容的内容播放设备(蓝光光盘或DVD播放器)，诸如智能电话、游戏机或流服务器的多功能终端。另外，控制单元301将传输数据从通信单元305发送至外部设备。
通信单元305的配置是任意的。例如，通信单元305可以根据用于与充当通信对等设备(peer)的外部设备发送和接收操作的通信方案配置。通信方案可以或者是有线的或者是无线的。本文中提到的通信标准可以是以下标准，诸如移动高清链接(MHL)、通用串行总线(USB)、高清晰度多媒体接口(HDMI；注册商标)、蓝牙(注册商标)通信或蓝牙(注册商标)低能(BLE)通信、诸如ANT的超低功耗无线通信、或者由IEEE 802.11s等标准化的网状网铬。可替换地，通信单元305例如可以是根据诸如宽带码分多址(W-CDMA)或长期演进(LTE)的建立标准操作的蜂窝无线电收发器。
存储单元306是诸如固态驱动(SSD)的大容量存储设备。存储单元306存储由控制单元301执行的应用程序，以及各种数据。例如，用户使用头戴式显示器100观看的内容存储在存储单元306中。
图像处理单元307另外进行信号处理，诸如对从控制单元301输出的图像信号进行图像质量校正，以及将图像信号转换为适合于显示单元309的屏幕的分辨率。随后，显示器驱动单元308在进行线序扫描的同时顺次选择每行的显示单元309的像素，并且基于处理的图像信号提供像素信号。
显示单元309包括显示面板，该显示面板由诸如有机电子发光(EL)元件或液晶显示器的微显示器，或者诸如视网膜扫描显示器的激光扫描显示器组成。虚拟图像光学单元310放大并投射显示单元309的显示图像，使得用户能够将显示图像观看为放大虚拟图像。
应注意，由显示单元309输出的显示图像可以是来自内容播放设备(蓝光光盘或DVD播放器)，诸如智能电话、游戏机或流服务器的多功能终端提供的商业内容(虚拟世界)，来自外侧摄像机312的拍摄图像(现实世界)等。
音频处理单元313对从控制单元301输出的音频信号进行音频质量校正和音频放大，并且对诸如输入的音频信号的信号另外进行信号处理。另外，音频输入/输出单元314对外输出处理的音频，并且还接受来自麦克风(如上所述)的音频输入。
如在图1和图2中示出的头戴式显示器100是不透明的，或者换言之，覆盖配戴用户的眼睛。另外，通过诸如计算计图形的技术表示的诸如电影或图像的视频内容在显示单元309上显示。虚拟图像光学单元310放大和投射显示单元309的显示图像，使得用户能够将显示图像观看为具有合适的视角的放大虚拟图像，并且再造在电影院中的感觉，例如用户能够具有对显示单元309上显示的虚拟世界的身临其境的体验。
然而，在用户沉浸于虚拟世界中时，存在对于失去与现实世界的交互的担忧。如果仅有部分用户的感知(诸如视觉和听觉)来体验虚拟世界，即使用户的身体仍存在于现实世界中，则用户仍会感到心理抵抗感(psychological resistance)。另外，因为用户的视觉和听觉都针对虚拟世界，所以意识到诸如与现实世界中的实物的接触或碰撞的事件变得困难，并且存在受到身体伤害的危险。明显地，因为不管利用不透明的头戴式显示器还是利用透视头戴式显示器都是在一定程度上将用户拉入虚拟世界，所以心理抵抗感的问题和身体伤害的危险是相似的。
因此，在本实施方式中，在利用显示单元309显示诸如电影或计算机图形的虚拟世界的图像时，头戴式显示器100混合入利用外侧摄像机312拍摄的外部世界(或者换言之现实世界)的图像。因此，通过看着与虚拟世界的图像混合的现实世界的图像，用户能够感知现实世界并与现实世界适当地交互，从而使得其可以减少心理抵抗感，同时还避免了由于诸如与现实世界中的实物碰撞的事件所导致的身体伤害。
[实施方式1]
在第一实施方式中，头戴式显示器100将显示虚拟世界的图像的显示单元309的显示区域之中的部分的用户指定区域替换为利用外侧摄像机312所拍摄的现实世界的图像以进行显示。
由显示单元309显示的图像(由用户的眼睛通过虚拟图像光学单元310所观看到的图像)是有关诸如商业内容的播放图像的虚拟世界的信息和有关利用外侧摄像机312所拍摄的现实世界的信息的组合。因此，用户能够连续掌握周围环境(在他们自身附近实际发生的事件)，而不打断沉浸在由内容表示的虚拟世界中的状态。显示的现实世界的图像主要是利用外侧摄像机312所拍摄的活动图像，但是也可以是暂时存储在存储单元306中的记录图像。
应注意，在由用户指定的区域中显示现实世界的图像是暂时的。例如，显示单元309的整个显示区域可以根据取消由用户指定的区域的明确的操作而恢复至虚拟世界的图像。可替换地，显示器可以在从用户指定区域时起经过固定时间之后从现实世界的图像切换至虚拟世界的图像，或者显示器可以逐渐恢复至虚拟世界的图像(例如，在改变现实世界的图像和虚拟世界的图像的混合比例的同时)。虚拟世界的图像根据经过的时间恢复，因为从用户进行操作时起经过固定时间之后，假定用户不再需要显示现实世界。
此外，用户指定显示现实世界的图像的区域的方法是任意的。例如，用户可以操作包括在输入接口单元302上的按键来指定替换为现实世界的区域。例如，替换为现实世界的区域可以根据方向按键上的操作向上、向下、向左和向右移动。可替换地，与用户利用指尖在触摸面板315上进行触摸操作的位置相对应的区域可以被替换为现实世界。可替换地，用户使用手等做出手势可以利用外侧摄像机312拍摄，并且由手势指定的区域可以被替换为现实世界。
例如，如果触摸面板315布置在头戴式显示器100的主体的前面上，直接在显示单元309的显示图像(通过虚拟图像光学单元310观看的放大虚拟图像)的后面，则用户能够利用他的或她的指尖触摸显示图像的感觉进行触摸操作。更具体地，在光标显示在与触摸该触摸面板315的位置相对应的位置时，如在图4中示出的，如果光标403被放置使得凝视(观看用户的头脑中形成的放大虚拟图像)的中心线401与利用指尖触摸的位置402位于相同的线上，则用户能够利用从后面直接触摸显示图像的感觉指定显示区域上的期望位置(例如，参见专利文献4)。
图5示出用户如何使用触摸面板315指定显示现实世界的图像的区域。在显示单元309仅显示虚拟世界的图像时，用户在显示单元309的后面的触摸面板315上移动指尖，并且指定显示现实世界的期望位置503，如通过参考标号501和502示出的。
图6示出由在图5中示出的用户操作指定的区域602的内部如何从通过显示单元309显示的虚拟世界的图像601被替换成利用外侧摄像机312拍摄的现实世界的图像。显示单元309显示的图像是有关虚拟世界的信息和有关现实世界的信息的结合。因此，用户能够连续掌握周围环境(在他们自身附近实际发生的事件)，而不打断沉浸在由内容表示的虚拟世界中的状态。
图7示出头戴式显示器100将显示区域的部分区域替换为现实世界的图像以进行显示的功能配置。
虚拟世界图像生成单元701基于有关预先存储在存储单元306中的或者利用通信单元305从外部接收的虚拟世界的信息，来计算将由显示单元309显示的虚拟世界渲染(rendering)结果V，例如。现实世界图像获取单元702基于诸如利用外侧摄像机312所拍摄的图像的数据获取用户周围的现实世界的图像I。
区域指定单元703基于触摸面板315上的用户操作(参见图5)、输入接口单元302上的操作、手势输入等指定显示关于在显示单元309的显示屏幕之中的现实世界的图像信息的区域。
区域图像生成单元704计算与通过区域指定单元703所指定的区域相对应的现实世界的图像RI和虚拟世界的图像RV。随后，图像替换单元705合成虚拟世界渲染结果V的相应的区域的图像RV由现实世界的相应的区域的图像RI代替的图像。合成的图像显示在显示单元309上。
应注意，以上功能块701至705中的每个通过由控制单元301执行的程序实现，例如，但是也可以被配置为专用硬件。
图8示出虚拟世界渲染结果V的实例，以及由用户指定的区域中的相应的区域的图像RV的实例。另外，图9示出由外侧摄像机312所拍摄的现实世界的图像I的实例，以及与由用户指定的区域相对应的区域的图像RI的实例。另外，图10示出虚拟世界渲染结果V的相应的区域的图像RV被替换为现实世界的相应的区域的图像RI的显示图像的实例。
图11以流程图的形式示出了头戴式显示器100将显示区域的部分区域替换为现实世界的图像以进行显示的处理顺序。
虚拟世界图像生成单元701计算虚拟世界渲染结果V(步骤S1101)。有关虚拟世界的信息例如通过预先存储在存储单元306中或者通过利用通信单元305从外部接收而变得可用。
另外，与虚拟世界渲染过程并行，区域指定单元703基于用户的操作指定现实世界显示区域(步骤S1102)。如上所述，用户能够通过在触摸面板315上执行操作，在输入接口单元302上执行操作、执行手势输入等指定现实世界显示区域。
另外，在执行虚拟世界渲染过程并且由用户指定现实世界显示区域的同时，现实世界图像获取单元702从诸如利用外侧摄像机312拍摄的图像的数据获取用户周围环境的图像I(步骤S1103)。
随后，区域图像生成单元704计算现实世界的拍摄图像RI和与在步骤S1102中指定的区域相对应的虚拟世界的图像RV(步骤S1104)。
另外，图像替换单元705将与在步骤S1101中计算的虚拟世界渲染结果V的对应的区域的图像RV替换为现实世界的对应的区域的图像RI，并且生成现实世界的图像混合至虚拟世界的图像中的图像(步骤S1105)。将生成的图像通过显示单元309显示(步骤S1106)。
由用户指定的区域中的现实世界的图像RI的显示是暂时的。例如，显示单元309的整个显示区域可以根据用于取消由用户指定的区域的明确操作而恢复至虚拟世界的图像。可替换地，显示器可以在从用户指定区域其经过固定时间之后切换至虚拟世界的图像RV，或者显示器可以逐渐恢复至虚拟世界的图像RV(例如，在改变现实世界的图像RI和虚拟世界的图像RV的混合比例的同时)。虚拟世界的图像根据经过的时间恢复，因为从用户执行操作起经过固定时间之后，假定用户不再需要显示现实世界。
另外，在利用显示单元309继续显示虚拟世界的图像(步骤S1107，否)时，以上论述的过程返回至步骤S1101并且重复执行。
应注意，在显示现实世界的图像RI期间，现实世界显示区域在步骤S1102中不断更新。例如，如果用户移动他的或她的指尖来指定显示现实世界的所希望的区域602的边界，则在步骤S1102中，触摸面板315能够读取指尖移动的位置，并且将区域1201放大至区域1202，如在图12中示出的，或者相反地，将区域1301减少至区域1302，如在图13中示出的。如果用户想要更多地了解现实世界中的情况，则显示现实世界的图像的区域可以通过像在图12中示出的那样的操作放大，然而如果现实世界的情况变得不那么重要，则显示现实世界的图像的区域可以像在图13中示出的那样的操作减少，从而放大显示虚拟世界的区域。
如上所述，根据第一实施方式的头戴式显示器100，用户变得能够在没有减少沉浸在虚拟世界中的感觉的情况下与现实世界交互。配戴这样的头戴式显示器100的用户能够减轻他的或她的针对将自己沉浸于虚拟世界中的心理抵抗感。此外，即使用户沉浸于虚拟世界中时，能够减少由现实世界中的身体动作而造成的身体伤害的危险。
[实施方式2]
在第二实施方式中，头戴式显示器100显示将现实世界中存在的特定实物的三维(3D)模型放置在三维虚拟世界内部的图像。在第一实施方式中，现实世界的图像重叠到虚拟世界的显示图像的部分上(类似图片中的图片)。相反地，第二实施方式在不同之处在于整个显示图像是虚拟世界的图像。在第二实施方式中，与现实世界中的实物相对应的3D模型被显示为虚拟世界的图像内部的实物。3D模型是有关现实世界的信息，但是该实物被转变为3D模型，并且因此与虚拟世界的显示图像具有高度的亲合性。
在这里，现实世界中的实物是配戴头戴式显示器100的用户的身体的部分，诸如右手，例如。可替换地，现实世界中的各种实物的三维模型，包括诸如用户的熟人的特定的人、诸如宠物的特定的动物、运动实物或者静止实物，也可以被放置在虚拟世界中并被显示。放置在虚拟世界中的实物可以是固定的，或者可以由用户依次选择。头戴式显示器100，在使用外侧摄像机312和距离传感器检测现实世界中的实物时，追踪检测实物，将检测实物的三维模型放置在虚拟世界中，并且进行渲染处理。
此外，距头戴式显示器100固定距离以内的现实世界中的所有物体(physicalbody)均可以被自动检测为实物，并且这样的实物的三维模型MI可以被放置于虚拟世界中并被显示。例如，在用户使得拿着诸如杯子的物体的他的或她的手接近头戴式显示器100时，该物体被自动检测为实物，并且只要手仍然在距头戴式显示器100的固定距离以内，则物体被追踪并且该物体的三维模型MI被放入虚拟世界中并且被持续显示。如果手移动到比固定距离更远的远处，则该物体不再被检测，并且显示的三维模型MI同样消失。透明度可以随着距离逐渐升高并且自动返回至仅虚拟世界的原始显示，而不是使得三维模型MI瞬间消失。这是因为显示移动到比固定距离更远的远处的实物被认为对用户而言不再需要。
在第二实施方式中，由显示单元309显示的图像(由用户的眼睛经由虚拟图像光学单元310观看的图像)是关于虚拟世界的信息(诸如商业内容的播放图像)和关于利用外侧摄像机312拍摄的现实世界的信息的转变的三维模型的结合。因此，用户能够连续掌握周围环境(在自己附近实际发生的事件)，而不妨碍沉浸于由内容表示的虚拟世界的状态。三维模型基本基于在利用外侧摄像机312拍摄的活动图像中出现的现实世界中的实物生成，但是也可以基于暂时存储在存储单元306中的记录图像中出现的现实世界中的实物生成。
然而，第一实施方式利用二维图像处理结合有关虚拟世界的信息和有关现实世界的信息，第二实施方式的不同之处在于利用三维渲染处理结合有关虚拟世界的信息和有关现实世界的信息。明显地，第二实施方式同样可以现实世界的二维显示和三维显示的功能。
应注意，在与检测到实物的位置相对应的区域中的现实世界的图像的显示是暂时的。例如，如果现实世界中不再检测到实物(实物从视场消失或者从视野丢失)，则与实物相对应的三维模型可以从虚拟世界的显示图像清除，或者与现实世界中的实物相对应的三维模型可以逐渐达到透明(例如，在改变现实世界的图像和虚拟世界的图像的混合比例的同时)以恢复到仅虚拟世界的原始图像。这是因为如果实物不再可见，则认为用户不再需要显示现实世界。可替换地，，显示单元309的整个显示区域可以根据取消由用户指定的区域的明确操作恢复至虚拟世界的图像。
图14示出头戴式显示器100显示现实世界中存在的实物已被转变成三维模型并且被放入虚拟世界中的图像的功能配置。
实物检测单元1401基于对来自外侧摄像机312的拍摄图像、来自距离传感器的检测信号等进行的识别处理来检测现实世界中的特定实物，诸如用户的身体的部分。此外，距头戴式显示器100固定距离以内的现实世界中的所有物体均可以被自动检测为实物。
现实世界图像获取单元1402基于诸如利用外侧摄像机312所拍摄的图像的数据获取包括由实物检测单元1401检测到的实物的现实世界的图像。
三维模型计算单元1403基于通过实物检测单元1401的检测结果和通过现实世界图像获取单元1402获取的现实世界的图像生成包括检测到的实物的某个范围的三维模型MI。此外，三维模型计算单元1403计算与实物检测单元1401检测到实物的位置相对应的虚拟空间V的区域RV。
虚拟世界图像生成单元1404计算实物的三维模型MI被放入虚拟世界的三维模型V的相应的区域RV中的三维模型MM，并且进行渲染处理。随后，将渲染的图像显示在显示单元309上。
应注意，以上功能块1401之1404中的每个通过由控制单元301执行的程序实现，例如，但是还可以被配置为专用硬件。
图15示出实物检测单元1401如何检测诸如现实世界中的用户的身体的部分的特定实物(如通过参考标号1501示出的)的实例。外侧摄像机312拍摄包括由实物检测单元1401检测的实物的现实世界的图像。在图15中示出的实例中，通过实物检测单元1401检测到现实世界中放置在桌子上的并且由用户的右手握住的PET瓶。
图16示出三维模型计算单元1403如何生成包括由实物检测单元1401检测到的实物的某个范围的三维模型MI(如通过参考标号1601示出的)的实例，。在所示出的实例中，生成图像MI，在生成的图像中，用户的右手和握在右手中的PET瓶已经被转变为三维模型。图16还示出三维模型计算单元1403如何计算与实物检测单元1401检测到实物的位置相对应的虚拟空间V的区域RV的实例。
图17示出虚拟世界图像生成单元1404计算并渲染实物的三维模型MI被放入虚拟世界的三维模型V的相应的区域RV中的三维模型MM的结果的实例。在所示出的实例中，将用户的右手和握在右手中的PET瓶已经转变为三维模型的图像MI重叠到虚拟空间V的三维图像上。
应注意，在图15至图17中示出的实例中，虚拟实物不存在于与实物的三维模型MI相对应的虚拟空间V中的相应的区域RV的前面，并且因此显示整个三维模型MI，如在图17中示出的。然而，如果虚拟实物存在于现实世界中的实物(在图15至图17中示出的实例中，PET瓶)的前面，则三维模型MI被显示为由虚拟实物遮盖在后面。
图18以流程图形式示出头戴式显示器100显示存在于现实世界中的实物的三维模型被放入虚拟世界中的图像的处理顺序。
实物检测单元1401基于对来自外侧摄像机312的拍摄图像、来自距离传感器的检测信号等进行的识别处理来检测现实世界中的特定实物，诸如用户的身体的部分(S1801)。
在步骤S1801中，实物检测单元1401还可以自动检测距头戴式显示器100固定距离以内的现实世界中的所有物体。例如，在用户使得他的或者她的拿着诸如杯子的物体的手接近头戴式显示器100时，物体被自动检测为实物并且被追踪，只要手仍然在固定距离以内。另外，如果手移动到比固定距离更远处，则实物检测单元1401不再检测物体，并且停止追踪。
另外，与由实物检测单元1401进行的实物探测过程并行，现实世界图像获取单元1402基于利用外侧摄像机312所拍摄的图像的数据获取现实世界的包括由实物检测单元1401检测到的实物的图像(步骤S1802)。
随后，三维模型计算单元1403基于通过实物检测单元1401的检测结果和通过现实世界图像获取单元1402获取的现实世界的图像生成包括检测到的实物的某个范围的三维模型MI(步骤S1803)。
此外，三维模型计算单元1403计算与实物检测单元1401检测到实物的位置相对应的虚拟空间V的区域RV(步骤S1804)。
随后，虚拟世界图像生成单元1404计算包括实物的某个范围的三维模型MI被放入虚拟世界的三维模型V的相应的区域RV中的三维模型MM(步骤S1805)，并且进行使MM同样以3D形式出现的渲染处理(步骤S1806)。随后，将渲染的图像显示在显示单元309上(步骤S1807)。
另外，在利用显示单元309继续显示虚拟世界的图像(步骤S1808，否)时，以上论述的过程返回至步骤S1801并且重复执行。
应注意，在显示现实世界中的实物的三维模型MI期间，在步骤S1801中，将三维模型MI放置在虚拟空间V中的相应的区域RV随着现实世界中的实物的移动而不断更新。此外，在实物的当前位置与显示在显示单元309上的现实世界的三维模型MI和虚拟世界V之间的边界重叠的情况下可以对边界进行操作。可替换地，使得对边界进行操作的状态可以通过识别用户的特定手势而被激活。
如上所述，根据第二实施方式的头戴式显示器100，用户变得能够在没有减少沉浸在虚拟世界中的感觉的情况下与现实世界交互。对于配戴这样的头戴式显示器100的用户，可以减少针对将自己沉浸于虚拟世界中的心理抵抗感。此外，即使用户沉浸于虚拟世界中时，能够减少由现实世界中的身体动作造成的身体伤害的危险。
参考文献列表
专利文献
专利文献1：JP 2012-141461A
专利文献2：JP 2012-42654A
专利文献3：JP 2008-304268A
专利文献4：JP 2013-258573A
工业实用性
因而上文详细地并且参考具体实施方式描述了本说明书中公开的技术。然而，可见本领域技术人员可以在不偏离在本说明书中公开的技术的精神的前提下，对这些实施方式进行修改和替换。
本说明书主要描述将本说明书公开的技术应用于不透明的头戴式显示器的实施方式，但是本说明书公开的技术的主旨不限于此。本说明书公开的技术可以相似地应用至配备有显示现实世界的图像和虚拟世界的图像的功能的各种类型的图像显示装置，诸如透视头戴式显示器、平视显示器、配备摄像机的智能电话以及多功能终端。
实质上，本说明书中公开的技术已通过举例的方式进行描述，并且本说明书所陈述的内容不应被解释为受到限制。本说明书公开的技术的精神应当考虑到权利要求来确定。
另外，本文中公开的本技术还可以如下配置。
(1)一种配戴在头部或面部上的图像显示装置，包括：
显示单元；
现实世界图像获取单元，被配置为获取现实世界的图像；
区域指定单元，被配置为指定显示所述现实世界的图像的区域；以及
图像生成单元，被配置为基于指定的所述区域将所述现实世界的图像混合至虚拟图像中并且生成显示在所述显示单元上的图像。
(2)根据(1)所述的图像显示装置，其中，
所述显示单元被布置在将所述图像显示装置配戴在他或她的头部或面部上的用户的眼睛位置处，
所述图像显示装置进一步包括拍摄所述用户的凝视方向的图像的图像拍摄单元，并且
所述现实世界图像获取单元获取通过所述图像拍摄单元拍摄的所述现实世界的图像。
(3)根据(1)或(2)中任一项所述的图像显示装置，进一步包括：
虚拟世界图像生成单元，被配置为生成虚拟世界的图像；以及
区域图像生成单元，被配置为计算与通过所述区域指定单元指定的所述区域相对应的所述现实世界的图像RI和所述虚拟世界的图像RV，其中，
所述图像生成单元通过将虚拟世界渲染结果V的对应区域的图像RV替换为所述现实世界的所述对应区域的图像RI来生成显示在所述显示单元上的图像。
(4)根据(3)所述的图像显示装置，其中，
所述区域指定单元基于用户的操作指定显示所述现实世界的图像的所述区域。
(5)根据(4)所述的图像显示装置，其中，
所述图像生成单元基于从所述用户执行用于指定所述区域的操作时起所经过的时间来控制所述现实世界的图像的混合比例。
(6)根据(5)所述的图像显示装置，其中，
在从所述用户执行用于指定所述区域的操作时起经过固定时间之后，所述图像生成单元将所述对应区域从所述现实世界的图像RI切换至所述虚拟世界的图像RV，或者将所述对应区域逐渐恢复到所述虚拟世界的图像RV。
(7)根据(4)至(6)中任一项所述的图像显示装置，进一步包括：
输入单元，被配置为接受所述用户的输入操作，其中，
所述区域指定单元基于所述用户对所述输入单元的操作来指定显示所述现实世界的图像的所述区域。
(8)根据(7)所述的图像显示装置，其中，
所述输入单元是触摸面板，并且
所述区域指定单元指定与所述用户触摸所述触摸面板的位置相对应的区域。
(9)根据(8)所述的图像显示装置，其中，
所述触摸面板被布置在所述显示单元的显示屏幕的背面。
(10)根据(4)至(6)中任一项所述的图像显示装置，其中，
所述区域指定单元基于所述用户的手势操作指定显示所述现实世界的图像的区域。
(11)根据(4)至(6)中任一项所述的图像显示装置，其中，
所述区域指定单元根据所述用户在所述现实世界的图像与所述虚拟世界的图像之间的边界上的操作改变显示所述现实世界的图像的区域。
(12)根据(1)或(2)中任一项所述的图像显示装置，进一步包括：
实物检测单元，被配置为检测所述现实世界中的实物；以及
三维模型计算单元，被配置基于由所述现实世界图像获取单元获取的所述现实世界的图像生成包括所述实物的规定范围的三维模型MI，并且还计算与检测到所述实物的位置相对应的虚拟空间V的区域RV，其中，
所述图像生成单元计算所述实物的所述三维模型MI被放置在虚拟世界的三维模型V的对应区域RV中的三维模型MM，并且进行渲染处理。
(13)根据(12)所述的图像显示装置，其中，
所述实物检测单元检测用户的身体的部分或者检测所述现实世界中的预先确定的物体。
(14)根据(12)所述的图像显示装置，其中，
所述实物检测单元检测所述现实世界中的距所述图像显示装置固定距离以内的物体。
(15)根据(12)至(14)中任一项所述的图像显示装置，其中，
所述图像生成单元基于从所述实物检测单元检测到所述实物时起所经过的时间来控制所述现实世界的图像的混合比例。
(16)根据(12)至(15)中任一项所述的图像显示装置，其中，
所述区域指定单元在所述实物的当前位置与所述现实世界的所述三维模型MI和所述虚拟世界V之间的边界重叠的条件下对边界进行操作。
(17)一种图像显示方法，包括：
获取现实世界的图像的现实世界图像获取步骤；
指定显示所述现实世界的图像的区域的区域指定步骤；
基于指定的所述区域将所述现实世界的图像混合至虚拟图像中并且生成图像的图像生成步骤；以及
将所生成的图像显示在布置于用户的眼睛位置处的显示单元上的显示步骤。
(18)一种图像显示方法，包括：
获取现实世界的图像的现实世界图像获取步骤；
指定显示所述现实世界的图像的区域的区域指定步骤；
生成虚拟世界的图像的虚拟世界图像生成步骤；
计算与在所述区域指定步骤中所指定的区域相对应的所述现实世界的图像RI和所述虚拟世界的图像RV的区域图像生成步骤；
通过将虚拟世界渲染结果V的对应区域的图像RV替换成所述现实世界的对应区域的图像RI来生成图像的图像生成步骤；以及
将所生成的图像显示在布置于用户的眼睛位置处的显示单元上的显示步骤
(19)一种图像显示方法，包括：
获取现实世界的图像的现实世界图像获取步骤；
检测所述现实世界中的实物的实物检测步骤；
指定检测到的所述实物的虚拟世界的三维模型V的对应区域RV的区域指定步骤；
基于由所述现实世界图像获取单元获取的所述现实世界的图像生成包括所述实物的规定范围的三维模型MI，并且还计算与检测到所述实物的位置相对应的虚拟空间V的区域RV的三维模型计算步骤；
计算所述实物的所述三维模型MI被放置于所述虚拟世界的所述三维模型V的对应区域RV中的三维模型MM并且进行渲染处理从而生成图像的图像生成步骤；以及
将所生成的图像显示在布置于用户的眼睛位置处的显示单元上的显示步骤。
符号说明
100 头戴式显示器
101L、101R 虚拟图像光学单元
103L、103R 麦克风
104L、104R 显示面板
105 瞳孔间宽度调整机构
301 控制单元
301A ROM
301B RAM
302 输入接口单元
303 远程控制接收单元
304 状态信息获取单元
305 通信单元
306 存储单元
307 图像处理单元
308 显示器驱动单元
309 显示单元
310 虚拟图像光学单元
312 外侧摄像机
313 音频处理单元
314 音频输入/输出单元
315 触摸面板
316 环境信息获取单元
701 虚拟世界图像生成单元
702 现实世界图像获取单元
703 区域指定单元
704 区域图像生成单元
705 图像替换单元
1401 实物检测单元
1402 现实世界图像获取单元
1403 三维模型计算单元
1404 虚拟世界图像生成单元

Claims (14)

1.一种配戴在头部或面部上的图像显示装置，包括：
显示单元；
现实世界图像获取单元，被配置为获取现实世界的图像；
区域指定单元，被配置为指定显示所述现实世界的图像的区域；以及
图像生成单元，被配置为基于指定的所述区域将所述现实世界的图像混合至虚拟图像中并且生成显示在所述显示单元上的图像
所述图像显示装置，进一步包括：
虚拟世界图像生成单元，被配置为生成虚拟世界的图像；以及
区域图像生成单元，被配置为计算与通过所述区域指定单元指定的所述区域相对应的所述现实世界的图像RI和所述虚拟世界的图像RV，其中，
所述图像生成单元通过将虚拟世界渲染结果V的对应区域的图像RV替换为所述现实世界的所述对应区域的图像RI来生成显示在所述显示单元上的图像，
其中，所述区域指定单元基于用户的操作指定显示所述现实世界的图像的所述区域，
其中，所述图像生成单元基于从所述用户执行用于指定所述区域的操作时起所经过的时间来控制所述现实世界的图像的混合比例。
2.根据权利要求1所述的图像显示装置，其中，
所述显示单元被布置在将所述图像显示装置配戴在他或她的头部或面部上的用户的眼睛位置处，
所述图像显示装置进一步包括拍摄所述用户的凝视方向的图像的图像拍摄单元，并且
所述现实世界图像获取单元获取通过所述图像拍摄单元拍摄的所述现实世界的图像。
3.根据权利要求1所述的图像显示装置，其中，
在从所述用户执行用于指定所述区域的操作时起经过固定时间之后，所述图像生成单元将所述对应区域从所述现实世界的图像RI切换至所述虚拟世界的图像RV，或者将所述对应区域逐渐恢复到所述虚拟世界的图像RV。
4.根据权利要求1所述的图像显示装置，进一步包括：
输入单元，被配置为接受所述用户的输入操作，其中，
所述区域指定单元基于所述用户对所述输入单元的操作来指定显示所述现实世界的图像的所述区域。
5.根据权利要求4所述的图像显示装置，其中，
所述输入单元是触摸面板，并且
所述区域指定单元指定与所述用户触摸所述触摸面板的位置相对应的区域。
6.根据权利要求5所述的图像显示装置，其中，
所述触摸面板被布置在所述显示单元的显示屏幕的背面。
7.根据权利要求1所述的图像显示装置，其中，
所述区域指定单元基于所述用户的手势操作指定显示所述现实世界的图像的区域。
8.根据权利要求1所述的图像显示装置，其中，
所述区域指定单元根据所述用户在所述现实世界的图像与所述虚拟世界的图像之间的边界上的操作改变显示所述现实世界的图像的区域。
9.根据权利要求1所述的图像显示装置，进一步包括：
实物检测单元，被配置为检测所述现实世界中的实物；以及
三维模型计算单元，被配置基于由所述现实世界图像获取单元获取的所述现实世界的图像生成包括所述实物的规定范围的三维模型MI，并且还计算与检测到所述实物的位置相对应的虚拟空间V的区域RV，其中，
所述图像生成单元计算所述实物的所述三维模型MI被放置在虚拟世界的三维模型V的对应区域RV中的三维模型MM，并且进行渲染处理。
10.根据权利要求9所述的图像显示装置，其中，
所述实物检测单元检测用户的身体的部分或者检测所述现实世界中的预先确定的物体。
11.根据权利要求9所述的图像显示装置，其中，
所述实物检测单元检测所述现实世界中的距所述图像显示装置固定距离以内的物体。
12.根据权利要求9所述的图像显示装置，其中，
所述图像生成单元基于从所述实物检测单元检测到所述实物时起所经过的时间来控制所述现实世界的图像的混合比例。
13.根据权利要求9所述的图像显示装置，其中，
所述区域指定单元在所述实物的当前位置与所述现实世界的所述三维模型MI和所述虚拟世界V之间的边界重叠的条件下对边界进行操作。
14.一种图像显示方法，包括：
获取现实世界的图像的现实世界图像获取步骤；
指定显示所述现实世界的图像的区域的区域指定步骤；
基于指定的所述区域将所述现实世界的图像混合至虚拟图像中并且生成图像的图像生成步骤；以及
将所生成的图像显示在布置于用户的眼睛位置处的显示单元上的显示步骤，
所述图像显示方法进一步包括：
生成虚拟世界的图像；以及
计算与通过所述区域指定单元指定的所述区域相对应的所述现实世界的图像RI和所述虚拟世界的图像RV，其中，
所述图像生成单元通过将虚拟世界渲染结果V的对应区域的图像RV替换为所述现实世界的所述对应区域的图像RI来生成显示在所述显示单元上的图像，
其中，所述区域指定单元基于用户的操作指定显示所述现实世界的图像的所述区域，
其中，所述图像生成单元基于从所述用户执行用于指定所述区域的操作时起所经过的时间来控制所述现实世界的图像的混合比例。
CN201480064167.2A 2014-01-23 2014-11-11 图像显示装置和图像显示方法 Active CN105992986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910107486.1A CN109828671B (zh) 2014-01-23 2014-11-11 图像显示装置和图像显示方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-010582 2014-01-23
JP2014010582 2014-01-23
PCT/JP2014/079812 WO2015111283A1 (ja) 2014-01-23 2014-11-11 画像表示装置及び画像表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910107486.1A Division CN109828671B (zh) 2014-01-23 2014-11-11 图像显示装置和图像显示方法

Publications (2)

Publication Number Publication Date
CN105992986A CN105992986A (zh) 2016-10-05
CN105992986B true CN105992986B (zh) 2019-03-12

Family

ID=53681105

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910107486.1A Active CN109828671B (zh) 2014-01-23 2014-11-11 图像显示装置和图像显示方法
CN201480064167.2A Active CN105992986B (zh) 2014-01-23 2014-11-11 图像显示装置和图像显示方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910107486.1A Active CN109828671B (zh) 2014-01-23 2014-11-11 图像显示装置和图像显示方法

Country Status (6)

Country Link
US (1) US10134189B2 (zh)
EP (2) EP3098689B1 (zh)
JP (1) JP6524917B2 (zh)
KR (1) KR102332326B1 (zh)
CN (2) CN109828671B (zh)
WO (1) WO2015111283A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11960082B2 (en) 2022-07-13 2024-04-16 Htc Corporation Virtual reality system and object detection method applicable to virtual reality system

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
JP6340301B2 (ja) * 2014-10-22 2018-06-06 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
JP6618260B2 (ja) * 2015-02-19 2019-12-11 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
WO2016191950A1 (zh) * 2015-05-29 2016-12-08 深圳市柔宇科技有限公司 显示调节的方法及头戴式显示设备
WO2017039308A1 (en) * 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
CN110275619A (zh) * 2015-08-31 2019-09-24 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
JP6675209B2 (ja) * 2016-01-20 2020-04-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびユーザガイド提示方法
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
JP6790417B2 (ja) * 2016-03-31 2020-11-25 ソニー株式会社 情報処理装置及び情報処理サーバ
WO2017189699A1 (en) * 2016-04-27 2017-11-02 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US9851792B2 (en) 2016-04-27 2017-12-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
CN106200881A (zh) * 2016-06-29 2016-12-07 乐视控股（北京）有限公司 一种数据展示方法及装置与虚拟现实设备
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
CN106383578B (zh) * 2016-09-13 2020-02-04 网易（杭州）网络有限公司 虚拟现实系统、虚拟现实交互装置及方法
US10642345B2 (en) * 2016-10-18 2020-05-05 Raytheon Company Avionics maintenance training
WO2018101227A1 (ja) * 2016-11-29 2018-06-07 シャープ株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム
CN106774869B (zh) * 2016-12-08 2020-05-19 广州大西洲科技有限公司 一种实现虚拟现实的方法、装置及虚拟现实头盔
CN107980220A (zh) * 2016-12-22 2018-05-01 深圳市柔宇科技有限公司 头戴式显示设备及其视觉辅助方法
DE112017006881T5 (de) * 2017-01-20 2019-11-14 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
WO2018176235A1 (zh) * 2017-03-28 2018-10-04 深圳市柔宇科技有限公司 头戴式显示设备及其显示切换方法
CN107172414A (zh) * 2017-04-20 2017-09-15 北京安云世纪科技有限公司 一种虚拟现实头戴显示器设备及其处理信息的方法
GB2555501B (en) 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
CN107179876B (zh) * 2017-06-30 2023-08-25 吴少乔 基于虚拟现实系统的人机交互装置
KR102077665B1 (ko) * 2017-09-26 2020-04-07 에이케이엔코리아 주식회사 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
JP7029526B2 (ja) 2017-09-29 2022-03-03 アップル インコーポレイテッド 物理的境界監視器
EP3692721A1 (en) 2017-10-04 2020-08-12 VID SCALE, Inc. Customized 360-degree media viewing
JP2021043476A (ja) * 2017-12-26 2021-03-18 株式会社Ｎｔｔドコモ 情報処理装置
DE102018207653A1 (de) * 2018-05-16 2019-11-21 Siemens Aktiengesellschaft Anzeigegerät zum Darstellen virtueller Realität mit einer berührungsempfindlichen Bedieneinheit; Anzeigesystem; Bediensystem
US10600246B2 (en) 2018-06-15 2020-03-24 Microsoft Technology Licensing, Llc Pinning virtual reality passthrough regions to real-world locations
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
CN110163977B (zh) * 2018-07-13 2024-04-12 腾讯数码（天津）有限公司 多世界虚拟场景中的虚拟通道渲染方法及装置
JP6739847B2 (ja) * 2018-09-12 2020-08-12 株式会社アルファコード 画像表示制御装置および画像表示制御用プログラム
US20200111256A1 (en) * 2018-10-08 2020-04-09 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
US10776954B2 (en) 2018-10-08 2020-09-15 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
KR102145852B1 (ko) * 2018-12-14 2020-08-19 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
DE102019135676A1 (de) 2018-12-26 2020-07-02 Htc Corporation Objektverfolgungssystem und objektverfolgungsverfahren
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
US11265487B2 (en) 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
US20220335681A1 (en) * 2019-09-12 2022-10-20 Sony Interactive Entertainment Inc. Image processing device, image processing method, and program
US11842449B2 (en) * 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
JP7023005B2 (ja) * 2019-10-24 2022-02-21 克己 横道 情報処理システム、情報処理方法およびプログラム
JP7127659B2 (ja) 2020-02-07 2022-08-30 カシオ計算機株式会社 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム
EP3926588A1 (en) 2020-06-19 2021-12-22 Alpine Electronics, Inc. Image displaying apparatus and method of displaying image data on a vr display device, particularly disposed in a vehicle
KR102543899B1 (ko) * 2020-08-27 2023-06-20 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
US11595636B1 (en) * 2021-08-23 2023-02-28 At&T Intellectual Property I, L.P. Enhanced emotive engagement with volumetric content

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
JP4136420B2 (ja) * 2002-03-29 2008-08-20 キヤノン株式会社 情報処理方法および装置
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
JP4724476B2 (ja) * 2004-09-07 2011-07-13 キヤノン株式会社 情報処理方法及び装置
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP5434848B2 (ja) 2010-08-18 2014-03-05 ソニー株式会社 表示装置
US20120050140A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display control
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP2012141461A (ja) * 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
KR20130067450A (ko) * 2011-12-14 2013-06-24 한국전자통신연구원 현장적용형 증강현실 기반 작업 가이드용 모듈 일체형 안전모 장치 및 이를 이용한 응용 서비스 제공방법
JP5938977B2 (ja) * 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
JP5953963B2 (ja) 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11960082B2 (en) 2022-07-13 2024-04-16 Htc Corporation Virtual reality system and object detection method applicable to virtual reality system

Also Published As

Publication number Publication date
KR102332326B1 (ko) 2021-11-30
US10134189B2 (en) 2018-11-20
CN105992986A (zh) 2016-10-05
EP3410264B1 (en) 2020-08-26
CN109828671B (zh) 2022-02-22
JP6524917B2 (ja) 2019-06-05
CN109828671A (zh) 2019-05-31
EP3098689A4 (en) 2017-09-20
EP3098689B1 (en) 2019-04-03
JPWO2015111283A1 (ja) 2017-03-23
EP3098689A1 (en) 2016-11-30
KR20160111904A (ko) 2016-09-27
EP3410264A1 (en) 2018-12-05
WO2015111283A1 (ja) 2015-07-30
US20160379413A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
CN105992986B (zh) 图像显示装置和图像显示方法
US10356398B2 (en) Method for capturing virtual space and electronic device using the same
US10474336B2 (en) Providing a user experience with virtual reality content and user-selected, real world objects
US10719950B2 (en) Head mount display (HMD) operated with mobile device for transforming reference coordinate systems for providing screen information
US20170186236A1 (en) Image display device, image display method, and computer program
US20220253136A1 (en) Methods for presenting and sharing content in an environment
US20230094522A1 (en) Devices, methods, and graphical user interfaces for content applications
WO2020008293A1 (en) Rendering of mediated reality content
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
US20220301264A1 (en) Devices, methods, and graphical user interfaces for maps
TWI660305B (zh) 虛擬實境即時導覽方法及系統
US20240103677A1 (en) User interfaces for managing sharing of content in three-dimensional environments
US20240103686A1 (en) Methods for controlling and interacting with a three-dimensional environment
US20240104860A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20240061547A1 (en) Devices, Methods, and Graphical User Interfaces for Improving Accessibility of Interactions with Three-Dimensional Environments
US20240103608A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US20240104877A1 (en) Methods for time of day adjustments for environments and environment presentation during communication sessions
US20240029377A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Inputs in Three-Dimensional Environments
WO2024064036A1 (en) User interfaces for managing sharing of content in three-dimensional environments
WO2024064230A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2024064372A1 (en) Devices, methods, and graphical user interfaces for providing computer-generated experiences
WO2024020061A1 (en) Devices, methods, and graphical user interfaces for providing inputs in three-dimensional environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant