CN108541323A - 图像显示装置 - Google Patents

图像显示装置 Download PDF

Info

Publication number
CN108541323A
CN108541323A CN201680078579.0A CN201680078579A CN108541323A CN 108541323 A CN108541323 A CN 108541323A CN 201680078579 A CN201680078579 A CN 201680078579A CN 108541323 A CN108541323 A CN 108541323A
Authority
CN
China
Prior art keywords
image
display device
control unit
user
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680078579.0A
Other languages
English (en)
Inventor
岩田润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suncorporation
Original Assignee
Sun Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Electronics Co Ltd filed Critical Sun Electronics Co Ltd
Publication of CN108541323A publication Critical patent/CN108541323A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

控制部(30)基于从第一摄像机(12)获取的第一标定图像和从设置在与第一摄像机(12)不同位置的第二摄像机(14)获取的第二标定图像对空间信息进行确定，基于空间信息、从第一摄像机(12)获取的第一拍摄图像、从第二摄像机(14)获取的第二拍摄图像、传感器(20)检测的图像显示装置(2)的姿态而对图像显示装置(2)的周围的空间内的图像显示装置(2)的位置以及姿态进行确定。此外，控制部(30)生成表示与空间内的规定位置对应起来的对象的对象图像，在特定范围包含规定位置的情况下，在显示部(10)显示表示对象图像配置在空间内的规定位置的状态的画面。

Description

图像显示装置
技术领域
本说明书公开的技术涉及佩戴在用户的头部进行使用的图像显示装置。
背景技术
例如，在国际公开第2012/033578号小册子(以下，也称为专利文献1)中公开了一种使用光对与物体之间的物理距离进行测定的摄像系统。该摄像系统通过照明装置向目标物体照射图案化的光(例如，网格图案、点图案等的光)。当该光照射至物体的表面时，光的图案根据物体的形状而产生变形。通过利用可见光摄像机对该变形后的图案进行拍摄以及分析，计算摄像系统与物体之间的物理距离。
发明内容
发明要解决的课题
另一方面，也已知佩戴在用户的头部进行使用的图像显示装置。这种图像显示装置具有显示部和计算机，所述显示部显示与用户的视野对应的范围的图像(即，现实图像)，所述计算机将对象图像与使显示部显示的现实图像进行合成显示，所述对象图像表示与使显示部显示的图像关连的对象。以此方式，通过计算机对人类所认知的现实世界进行增强和扩展的技术作为增强现实(AR：Augumented Reality)而被公知。
还假设将专利文献1的技术应用于这种图像显示装置。在该情况下，图像显示装置具有专利文献1的照明装置以及可见光摄像机。并且，图像显示装置通过照射装置向周围的物体照射图案化的光，通过可见光摄像机对照射至周围的物体的光的图案(即，变形后的图案)进行拍摄，并通过计算机进行分析。由此，计算机对图像显示装置与周围的物体之间的物理距离进行计算，对周围的空间内的图像显示装置的位置以及姿态进行确定。其结果为，计算机能够利用周围的空间内的图像显示装置的位置以及姿态的信息将对象图像显示在显示部的适当的位置。
但是，即使在将专利文献1的技术应用于图像显示装置的情况下，有时照明装置照射的光受到来自其它光源的光(例如，太阳光、室内照明的光等)的影响，有可能无法恰当地计算与周围的物体之间的物理距离，无法恰当地确定周围的空间内的图像显示装置的位置以及姿态。
在本说明书中，公开一种能够恰当地确定周围的空间内的图像显示装置的位置以及姿态的技术。
本说明书公开的图像显示装置佩戴在用户的头部进行使用。图像显示装置具有显示部；第一摄像机，其对与用户的视野范围对应的特定范围进行拍摄；第二摄像机，其被设置在与第一摄像机不同的位置，并对特定范围进行拍摄；传感器，其能够对图像显示装置的姿态进行检测；以及控制部。控制部基于从第一摄像机获取的第一标定图像和从第二摄像机获取的第二标定图像对空间信息进行确定，其中，所述空间信息用于对图像显示装置的周围的空间的特征进行确定，控制部基于空间信息、从第一摄像机获取的第一拍摄图像、从第二摄像机获取的第二拍摄图像、传感器检测的图像显示装置的姿态对空间内的图像显示装置的位置以及姿态进行确定，控制部生成对象图像，所述对象图像表示与空间内的规定位置对应起来的对象，控制部在特定范围中包含规定位置的第一情况下，使显示部显示第一显示器画面，所述第一显示器画面表示在空间内的规定位置配置有所述对象图像的状态。
根据上述的结构，图像显示装置基于从第一摄像机获取的第一标定图像、从设置在与第一摄像机不同的位置的第二摄像机获取的第二标定图像对空间信息进行确定，基于空间信息、从第一摄像机获取的第一拍摄图像、从第二摄像机获取的第二拍摄图像、传感器检测的图像显示装置的姿态对空间内的图像显示装置的位置以及姿态进行确定。第一标定图像、第二标定图像、第一拍摄图像、第二拍摄图像、传感器检测的图像显示装置的姿态的任意要素均不容易受到图像显示装置的周围的环境的变化的影响。因此，根据上述的结构，图像显示装置能够恰当地对周围的空间内的本机的位置以及姿态进行确定。
在此，“第一拍摄图像”可以为与第一标定图像相同的图像，也可以为不同的图像。同样地，“第二拍摄图像”可以为与第二标定图像相同的图像，也可以为不同的图像。“对象图像”包含静态图像和动态图像。
另外，用于实现上述的图像显示装置的控制方法、计算机程序以及存储该计算机程序的计算机可读存储介质也是新颖且有益的。
附图说明
图1表示第一实施例的图像显示装置的外观。
图2表示图1的图像显示装置的结构。
图3表示显示装置处理的流程图。
图4表示标定画面的示例。
图5表示实时处理的示例。
图6表示菜单对象图像的示例。
图7表示将菜单对象图像和引导图像一起显示的示例。
图8虚拟地表示空间内的各对象的显示位置的示例。
图9表示将地球仪对象图像和引导图像一起显示的示例。
图10表示第二实施例的图像显示装置的外观。
具体实施方式
先列举出以下所说明的实施例的主要特征。另外，以下记载的技术要素为各自独立的技术要素，通过单独或各种组合来发挥技术的有益性，并不限定于申请时权利要求记载的组合。
(特征1)控制部也可以使显示部显示第一显示器画面的期间，还根据用户实施的操作而改变第一显示器画面内的对象图像的显示方式。
根据该结构，能够根据用户实施的操作以恰当的方式显示第一显示器画面内的对象图像。
(特征2)操作也可以包含用户在特定范围内实施的手势。
根据该结构，用户能够不对输入键等的输入单元进行操作而通过移动自己的身体来实施手势，从而根据用户实施的操作使第一显示器画面内的对象图像以恰当的方式显示。用户能够按照自己的感觉来改变对象图像的显示方式。
(特征3)显示部也可以为透光性的显示器，在用户佩戴图像显示装置时用户透过显示部能够观看到周围。控制部也可以在第一情况下通过使显示部显示对象图像，从而使显示部显示第一显示器画面。
根据该结构，用户能够观看到在透过显示部可见的现实视野中合成了对象图像的方式的第一显示器画面。
(特征4)显示部也可以为遮光性的显示器，在用户佩戴图像显示装置时对用户的视野进行遮挡。控制部也可以使显示部显示第一拍摄图像和第二拍摄图像中的至少一方，并在第一情况下通过使显示部显示第一拍摄图像和第二拍摄图像中的至少一方以及对象图像，从而使显示部显示第一显示器画面。
根据该结构，用户能够观看到在第一拍摄图像和第二拍摄图像中的至少一方的拍摄图像中合成了对象图像的方式的第一显示器画面。
(特征5)控制部也可以在特定范围中不包含规定位置的第二情况下，使显示部显示包含表示规定位置的方向的引导图像的第二显示器画面。
根据该结构，用户能够通过观看引导图像而对显示对象图像的规定位置进行把握。
(第一实施例)
(图像显示装置2的结构；图1、图2)
图1所示的图像显示装置2为佩戴在用户的头部进行使用的图像显示装置(所谓的头戴式显示器)。图像显示装置2具有支承体4、显示部10a、10b、投影部11a、11b、第一摄像机12、第二摄像机14、控制盒16。
支承体4为眼镜框状的部件。用户通过向配戴眼镜那样佩戴支承体4，从而能够将图像显示装置2佩戴在头部。
显示部10a、10b分别为透光性的显示部件。当用户将图像显示装置2佩戴在头部时，显示部10a配置在与用户的右眼相向的位置，显示部配置10b在与左眼相向的位置。以下，有时将左右的显示部10a、10b统称为显示部10。在本实施例中，用户透过显示部10能够观看到周围。
投影部11a、11b为向显示部10a、10b投影图像的部件。投影部11a、11b设置在显示部10a、10b的侧部。以下，有时将左右的投影部11a、11b统称为投影部11。在本实施例中，投影部11按照控制部30的指示向显示部10投影规定的对象图像。由此，用户能够仿佛在透过显示部10可见的现实世界的目标物或者/以及空间的规定的位置处合成了上述对象图像那样，观看到现实世界的目标物或者/以及空间和对象图像。以下，在本说明书中，在对控制部30通过向投影部11指示图像的投影而使显示部10显示所期望的画面的情况进行说明的情况下，有时省略投影部11的动作的说明，仅表现为“控制部30使显示部10显示所期望的图像”等。
第一摄像机12为配置在支承体4中的显示部10a的上方位置(即，与用户的右眼对应的位置)的摄像机。另一方面，第二摄像机14为配置在支承体4中的显示部10b的上方位置(即，与用户的左眼对应的位置)的摄像机。能够分别通过第一摄像机12和第二摄像机14，从不同的角度对与佩戴图像显示装置2的用户的视野范围对应的范围(在以下称为“特定范围”)进行拍摄。
控制盒16为在支承体4的局部安装的箱体。在控制盒16中收容有对图像显示装置2的控制系统进行管理的各要素。具体而言，如图2所示，在控制盒16收容有传感器20、通信接口22、控制部30、存储器32。以下，将接口记载为“I/F”。
传感器20为三轴加速度传感器。传感器20对X、Y、Z的三轴的加速度进行检测。控制部30能够使用传感器20的检测值来确定图像显示装置2的姿态以及运动状态。
通信I/F22为用于执行与外部的装置(例如，具有通信功能的终端装置)的无线通信的I/F。
控制部30按照在存储器32存储的程序来执行各种处理。控制部30执行的处理的内容此后详细地说明。此外，如图2所示，控制部30与显示部10、投影部11、第一摄像机12、第二摄像机14、传感器20、通信I/F22以及存储器32电连接，能够对这些要素中的每一个要素的动作进行控制。
存储器32存储各种程序。此外，存储器32也具有对伴随控制部30的处理(后述的显示装置处理(图3)等)而生成的各种信息进行存储的区域。
(显示装置处理；图3)
参照图3，对本实施例的图像显示装置2的控制部30执行的显示装置处理进行说明。当用户将图像显示装置2佩戴在自己的头部，将图像显示装置2的电源接通时，控制部30开始图3的显示装置处理。
在S10中，控制部30在显示部10显示规定的标定画面。标定画面为用于使用户实施标定的画面。在此，“标定”为用于对空间信息(即，标定数据)进行确定的处理，所述空间信息用于确定图像显示装置2的周围的空间的特征。此外，“图像显示装置2的周围的空间的特征”例如在图像显示装置2存在于室内的情况下，包含墙壁与本机之间的距离、墙壁的方向、天花板与本机之间的距离、天花板的高度、地板的面积、家具类的位置、与家具类之间的距离等用于对室内空间进行表征的各种信息。另一方面，例如在图像显示装置2存在于室外的情况下，“图像显示装置2的周围的空间的特征”包含与周围的目标物之间的距离等用于对本机的周围的空间进行表征的各种信息。
图4示出标定画面的示例。如图4的示例所示，在标定画面中包含指针P、和用于催促用户使其以视线追随指针的消息。控制部30以通过用户以视线追随指针P而使图像显示装置2的周围的空间全部进入视野的方式，使指针P在显示部10内移动。
接着，在S12中，控制部30对空间信息的确定是否结束进行监视。如上所述，在S10中显示部10显示了标定画面(参照图4)之后，通过用户实施以视线追随指针P的动作(即，用户配合指针P的移动而使头部移动)，由此，用第一摄像机12以及第二摄像机14对周围的空间的各方向进行拍摄。此时，控制部30从第一摄像机12获取由第一摄像机12拍摄的特定范围(即，与用户的视野范围对应的范围)的图像即第一标定图像，并且从第二摄像机14获取由第二摄像机14拍摄的特定范围的图像即第二标定图像。控制部30能够通过对第一标定图像和第二标定图像共同的特征点进行确定并实施三角测量，从而对特征点与图像显示装置2之间的距离进行计算。此外，控制部30也能够对以指针P的初始位置的坐标为基准的上述特征点的位置的坐标进行确定。控制部30对在图像显示装置2的周围的全部方向存在的多个特征点中的每个特征点执行相同的处理。控制部30在对存在于图像显示装置2的周围的全部方向的多个特征点中的每个特征点确定了与该特征点之间的距离和该特征点的坐标的情况下，在S12中判断为“是”并进入S14。即，S12中的“用于对图像显示装置2的周围的空间的特征进行确定的空间信息”意味着与各特征点之间的距离和各特征点的坐标。
在S14中，控制部30开始实时处理(参照图5)。当在S14中开始实时处理时，控制部30反复执行实时处理直至图像显示装置2的电源断开为止。控制部30在S14中开始实时处理时，进入S16。以下，参照图5，对实时处理的内容进行说明。
(实时处理；图5)
在图5的S30中，控制部30从第一摄像机12获取在S30的时刻由第一摄像机12拍摄的特定范围的图像即第一拍摄图像，并且从第二摄像机14获取在S30的时刻由第二摄像机14拍摄的特定范围的图像即第二拍摄图像。即，在S30中获取的第一拍摄图像以及第二拍摄图像均为与用户的当前时刻的视野范围相当的实时的拍摄图像。
接着，在S32中，控制部30对第一拍摄图像和第二拍摄图像共同的特定的特征点与图像显示装置2之间的距离进行计算。在此所谓的“特征点”为例如在空间信息(图3的S12中“是”的情况)中包含的多个特征点中的一个。特征点与图像显示装置2之间的距离与上述的情况同样地通过使用第一拍摄图像和第二拍摄图像实施三角测量来计算。
接着，在S34中，控制部30根据传感器20的检测值而对该时刻的图像显示装置2的姿态进行计算。具体而言，控制部30基于传感器20的检测值(即，X轴、Y轴、Z轴的各轴方向上的加速度)对将重力方向设为0°的情况下的X轴、Y轴、Z轴的倾斜角(θx、θy、θz)进行计算，基于这些倾斜角对S10时刻的图像显示装置2的姿态(即，相对于水平面的倾斜)进行计算。
接着，在S36中，控制部30使用在图3的S12中为“是”的情况下确定的空间信息、在S32中计算的与特征点之间的距离、在S34中计算的图像显示装置2的姿态对图像显示装置2所存在的空间内的图像显示装置2的位置以及姿态进行确定。
当结束S36时，控制部30返回S30并反复执行S30～S36的各处理。即，控制部30通过反复执行S30～S36的处理，能够实时地对图像显示装置2所存在的空间内的图像显示装置2的位置以及姿态进行确定。
(显示装置处理的后续；图3的S16之后)
如上所述，当在图3的S14中开始实时处理(参照图5)时，控制部30进入S16。在S16中，控制部30生成表示主菜单对象的菜单对象图像，并与规定位置对应起来。换言之，控制部30生成菜单对象图像并将其虚拟地配置在规定位置。在此，“将菜单对象图像虚拟地配置在规定位置”指的是，在特定范围(即，第一摄像机12以及第二摄像机14的拍摄范围)中包含规定位置的情况下，以在显示部10显示在空间内的规定位置配置有菜单对象图像的状态的画面的方式，将菜单对象图像与规定位置对应起来。另外，在S16中，控制部30将用户的视野的正面的位置指定为规定位置，虚拟地对菜单对象图像进行配置。因此，在S16的处理的时刻，在特定范围(即用户的视野范围)中包含规定位置。因此，如图6所示，在显示部10中显示在空间内配置有表示菜单对象的菜单对象图像60的状态的画面。在本实施例中，由于显示部10为透光性的显示器，所以用户能够观看到在透过显示部10可见的现实的物品(即，室内的景象)中组合了菜单对象图像60的方式的显示。
如图6所示，菜单对象图像60表示主菜单。菜单对象图像60显示了六个能够选择的图标62～72。各图标与各应用对应。例如，图标62表示邮件应用，图标64表示电影应用，图标66表示浏览器应用，图标68表示照片应用，图标70表示虚拟地球仪应用，图标72表示音乐应用。用户通过在特定范围内实施触摸所期望的图标的手势，从而能够启动与所期望的图标对应的应用。
接着，在S18中，控制部30对检测特定范围内的用户的操作的情况进行监视。在此，在“特定范围内的用户的操作”包含用户对菜单对象图像等的对象图像实施的手势(例如，对图像的移动、尺寸改变进行指示的手势、对使图像的显示结束进行指示的手势、对图标进行选择的手势、对使图像显示装置2的电源断开进行指示的手势等)、空间内的用户的移动、用户的视野方向的变化等各种动作。在S18中，控制部30基于来自第一摄像机12的第一拍摄图像、来自第二摄像机14的第二拍摄图像以及传感器20的检测值，对在特定范围内用户是否实施了操作进行判断。控制部30在检测到特定范围内用户实施了操作时，在S18中判断为“是”，进入S20。
在S20中，控制部30对由用户实施的操作是否为指示图像显示装置2的电源断开的规定的手势(以下称为“结束手势”)进行判断。控制部30在判断为由用户实施的操作是规定的结束手势时，在S20中判断为“是”，进入S24，并使图像显示装置2的电源断开。在该情况下，图3的显示装置处理结束。另一方面，控制部30在判断为由用户实施的操作为规定的结束手势之外的操作时，在S20中判断为“否”，进入S22。
在S22中，控制部30执行与操作对应的处理。例如在由用户实施的操作为菜单对象图像60(参照图6)的显示位置的移动操作的情况下，控制部30根据用户的操作而改变菜单对象图像60的显示位置。在该情况下，在显示部10中显示在改变后的位置配置了菜单对象图像60的状态的画面。此外，例如，如图6所示，在由用户实施的操作为对菜单对象图像60中的虚拟地球仪应用的图标70进行选择的操作(例如，对图标70进行触摸的操作)的情况下，控制部30按照用户的操作使虚拟地球仪应用启动。在该情况下，控制部30生成表示虚拟地球仪的地球仪对象图像80，并虚拟地配置在规定位置(即，从用户观看，在其右侧)(参照图7～图9)。在该情况下，如图7所示，在显示部10中还显示有引导图像90，所述引导图像90表示从用户观看，在用户右侧虚拟地配置有地球仪对象图像80。
控制部30在结束S22时，返回S18，并再次对用户实施操作的情况进行监视。由此，每次用户在特定范围内实施手势或用户实施改变视线的方向的操作时，控制部30根据操作对在显示部10显示的对象图像、引导图像的显示位置以及显示方式进行改变。控制部30反复实施S18～S22的各处理直至实施了结束手势(在S20中为“是”)为止。
在此，对在显示部10显示的画面的演变详细地进行说明。在上述的图7的示例中，在显示部10中除了菜单对象图像60之外还显示有引导图像90，所述引导图像90表示从用户观看，在用户右侧虚拟地配置有地球仪对象图像80。图8示意性地表示该情况下的菜单对象图像60的配置位置和地球仪对象图像80的配置位置的空间内的位置关系。如图8所示，在显示部10显示有图7的画面的期间，在与用户的视野范围相当的特定范围SA中仅包含菜单对象图像60的配置位置而不包含地球仪对象图像80的配置位置。此外，从用户的位置观看，地球仪对象图像80的配置位置在用户的位置的右侧。当用户使视线朝向右侧而在特定范围SB中包含地球仪对象图像80的配置位置时(图5的S18中的“是”)，如图9所示，在显示部10中显示地球仪对象图像80和引导图像92(S22)，所述引导图像92表示从用户观看，在用户左侧虚拟地配置有菜单对象图像60。
以上，对本实施例的图像显示装置2的结构以及动作进行了说明。如上所述，在本实施例中，控制部30基于从第一摄像机12获取的第一标定图像和从设置在与第一摄像机12不同的位置的第二摄像机14获取的第二标定图像对空间信息进行确定(图3的S12中的“是”)，此后，基于空间信息、从第一摄像机12获取的第一拍摄图像、从第二摄像机14获取的第二拍摄图像、传感器20检测的图像显示装置2的姿态对图像显示装置2的周围的空间内的图像显示装置2的位置以及姿态进行确定(图5的S36)。第一标定图像、第二标定图像、第一拍摄图像、第二拍摄图像以及传感器20检测的图像显示装置2的姿态中的任意要素均不容易受到图像显示装置2的周围的环境(例如，光量等)的变化的影响。因此，根据上述结构，图像显示装置2能够恰当地对周围的空间内的本机的位置以及姿态进行确定。因此，根据本实施例的图像显示装置2，能够利用恰当地确定的本机的位置以及姿态的信息在显示部10的恰当的位置显示对象图像(例如，菜单对象图像60)(参照图6)。
此外，在本实施例中，在显示部10中显示有菜单对象图像60被配置在空间内的状态的画面的期间(参照图6)，控制部30能够根据用户实施的操作(例如，显示位置的改变指示等)改变菜单对象图像60的显示方式。因此，能够根据用户实施的操作以恰当的方式对画面内的菜单对象图像60进行显示。此外，上述的操作包含用户在特定范围内实施的手势。因此，用户能够不用操作输入键等的输入单元而通过使自己的身体移动而实施手势，从而根据用户实施的操作以恰当的方式对在显示部10显示的画面内的菜单对象图像60进行显示。用户能够按照自己的感觉来改变菜单对象图像60的显示方式。
此外，在本实施例中，显示部10为透光性的显示器，并且在用户佩戴了图像显示装置2时，用户透过显示部10能够观看到周围。在图3的S16中，控制部30使显示部10显示在透过显示部10可见的现实图像中合成了菜单对象图像60的方式的画面。因此，用户能够观看到在透过显示部10可见的现实视野中合成了菜单对象图像60的方式的画面。
此外，在本实施例中，控制部30在与用户的视野范围对应的特定范围内不包含地球仪对象图像80的配置位置的情况下，如图7所示，使显示部10显示包含引导图像90的画面，所述引导图像90表示地球仪对象图像80的配置位置的方向。即，用户能够通过观看引导图像90而对地球仪对象图像80的显示位置进行把握。
(对应关系)
图6所示的在透过显示部10可见的现实图像中合成了菜单对象图像60的方式的画面为“第一显示器画面”的一个示例。菜单对象图像60为“对象图像”的一个示例。菜单对象图像60虚拟地配置的位置为“规定位置”的一个示例。此外，图9所示的包含引导图像92的画面为“第二显示器画面”的一个示例。
(第二实施例)
参照图10，以与第一实施例的不同点为中心对第二实施例的图像显示装置102进行说明。在本实施例中，显示部110为遮光性的显示器，在用户佩戴图像显示装置2时对用户的视野进行遮挡方面与第一实施例不同。其它结构要素与第一实施例基本相同。
如上所述，在本实施例中，由于显示部110为遮光性的显示器，所以当图像显示装置2的电源开启时，控制部30使与用户的右眼相向的区域显示第一摄像机12所拍摄的图像，使与用户的左眼相向的区域显示第二摄像机14所拍摄的图像。并且，例如在特定范围内包含菜单对象图像60的配置位置的情况下，控制部30使显示部10显示在第一拍摄图像以及第二拍摄图像中合成了菜单对象图像60的画面。
以上，对实施例详细地进行了说明，但这些仅为例示，并不对专利申请的范围进行限定。在专利申请的范围内记载的技术中包含对以上例示的具体例的各种变形、改变。例如，也可以采用以下的变形例。
(变形例1)在上述的第二实施例中，控制部30使与用户的右眼相向的区域中显示第一摄像机12所拍摄的图像，使与用户的左眼相向的区域中显示第二摄像机14所拍摄的图像。并不限于此，控制部30也可以使显示部10仅显示第一摄像机12所拍摄的图像和第二摄像机14所拍摄的图像中的一方。此外，控制部也可以使显示部10显示对第一摄像机12所拍摄的图像和第二摄像机14所拍摄的图像进行合成而得到的图像。
(变形例2)在上述的各实施例中，在图3的S18中，控制部30对检测特定范围内的用户的操作的情况进行监视，在此所谓的“用户的操作”不限于用户对菜单对象图像等的对象图像实施的手势、在空间内的用户的移动、用户的视野方向的变化等，也可以包含用户经由输入单元(输入键等)而输入的操作。在该情况下，图像显示装置2也可以还具有输入单元。
(变形例3)在上述的各实施例中，控制部30在执行标定之后(图3的S10、S12中的“是”)开始实时处理(S14)。并不限于此，控制部30也可以在标定的执行的同时开始实时处理。“第一标定图像”和“第一拍摄图像”都指的是由第一摄像机(拍摄装置)拍摄的图像，“第一标定图像”与“第一拍摄图像”也可以为相同的图像。同样地，“「第二标定图像”与“第二拍摄图像”也可以为相同的图像。此外，也可以在实时处理的中途等再次执行标定。例如，也可以在用户改变了图像显示装置2的佩戴位置的情况(即，在从头部暂时卸下图像显示装置2后再次佩戴的情况)下，再次执行标定。
(变形例4)在上述的各实施例中，图像显示装置2、102均为具有大致眼镜状的支承框，并能够以佩戴眼镜的方式佩戴在用户的头部。但并不限于此，图像显示装置只要能够佩戴在用户的头部，则也可以具有帽子状、头盔状等任意的支承框。
(变形例5)图像显示装置也可以通过对用于视力矫正、眼保护等的通常使用的护目镜(眼镜、太阳镜等)安装第一摄像机12、第二摄像机14以及控制盒16来形成。在该情况下，护目镜的镜片部分也可以作为显示部来使用。
(变形例6)在上述的各实施例中，菜单对象图像60(图6)等各种对象图像均显示为静态图像。但并不限于此，各种对象图像也可以显示为动画(即，至少一部分进行动画动作的图像)。
此外，在本说明书或附图中说明的技术要素通过单独或各种组合来发挥技术的有益性，并不限定于申请时权利要求记载的组合。此外，在本说明书或附图中例示的技术会同时达成多个目的，并且只要达成其中的一个目的其自身就具有技术上的有益性。

Claims (6)

1.一种图像显示装置，佩戴在用户的头部进行使用，其具有：
显示部；
第一摄像机，其对与所述用户的视野范围对应的特定范围进行拍摄；
第二摄像机，其设置在与所述第一摄像机不同的位置，并且对所述特定范围进行拍摄；
传感器，其能够对所述图像显示装置的姿态进行检测；以及
控制部，
所述控制部基于从所述第一摄像机获取的第一标定图像和从所述第二摄像机获取的第二标定图像对空间信息进行确定，所述空间信息用于对所述图像显示装置的周围的空间的特征进行确定，
所述控制部基于所述空间信息、从所述第一摄像机获取的第一拍摄图像、从所述第二摄像机获取的第二拍摄图像、所述传感器检测的所述图像显示装置的姿态对所述空间内的所述图像显示装置的位置以及姿态进行确定，
所述控制部生成对象图像，所述对象图像表示与所述空间内的规定位置对应起来的对象，
所述控制部在所述特定范围中包含所述规定位置的第一情况下，使所述显示部显示第一显示器画面，所述第一显示器画面表示在所述空间内的所述规定位置配置有所述对象图像的状态。
2.如权利要求1所述的图像显示装置，其中，
所述控制部还在所述显示部显示所述第一显示器画面的期间，根据所述用户实施的操作改变所述第一显示器画面内的所述对象图像的显示方式。
3.如权利要求2所述的图像显示装置，其中，
所述操作包含所述用户在所述特定范围内实施的手势。
4.如权利要求1至3中的任一项所述的图像显示装置，其中，
所述显示部为透光性的显示器，并且在所述用户佩戴了所述图像显示装置时所述用户透过所述显示部能够观看到周围，
在所述第一情况下，所述控制部通过使所述显示部显示所述对象图像，从而使所述显示部显示所述第一显示器画面。
5.如权利要求1至3中的任一项所述的图像显示装置，其中，
所述显示部为遮光性的显示器，并且在所述用户佩戴了所述图像显示装置时对所述用户的视野进行遮挡，
所述控制部使所述显示部显示所述第一拍摄图像和所述第二拍摄图像中的至少一方，
在所述第一情况下，所述控制部通过使所述显示部显示所述第一拍摄图像和所述第二拍摄图像中的至少一方以及所述对象图像，从而使所述显示部显示所述第一显示器画面。
6.如权利要求1至5中的任一项所述的图像显示装置，其中，
在所述特定范围中不包含所述规定位置的第二情况下，所述控制部使所述显示部显示第二显示器画面，所述第二显示器画面包含表示所述规定位置的方向的引导图像。
CN201680078579.0A 2016-01-12 2016-01-12 图像显示装置 Pending CN108541323A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/050670 WO2017122270A1 (ja) 2016-01-12 2016-01-12 画像表示装置

Publications (1)

Publication Number Publication Date
CN108541323A true CN108541323A (zh) 2018-09-14

Family

ID=59312007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680078579.0A Pending CN108541323A (zh) 2016-01-12 2016-01-12 图像显示装置

Country Status (5)

Country Link
US (1) US20190019308A1 (zh)
EP (1) EP3404623A4 (zh)
JP (1) JPWO2017122270A1 (zh)
CN (1) CN108541323A (zh)
WO (1) WO2017122270A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113287292A (zh) * 2019-01-08 2021-08-20 三星电子株式会社 电子装置、电子装置的控制方法和计算机可读介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180037887A (ko) * 2016-10-05 2018-04-13 엠티스코퍼레이션(주) 스마트 안경
IL275615B (en) 2018-01-02 2022-08-01 Lumus Ltd Augmented reality representatives with active alignment and matching methods
KR20200032467A (ko) * 2018-09-18 2020-03-26 삼성전자주식회사 외부 광의 투과율을 조절할 수 있는 광학 부재를 포함하는 전자 장치 및 그의 동작 방법
EP3891696A1 (en) 2018-12-04 2021-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Improved optical see-through viewing device and method for providing virtual content overlapping visual objects
KR20210014813A (ko) 2019-07-30 2021-02-10 삼성디스플레이 주식회사 표시장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208014A1 (en) * 2012-02-10 2013-08-15 Rod G. Fleck Display with blocking image generation
CN103984097A (zh) * 2013-02-12 2014-08-13 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
CN104335142A (zh) * 2012-06-14 2015-02-04 高通股份有限公司 用于透明头戴式显示器的用户接口交互
US20150161762A1 (en) * 2013-12-10 2015-06-11 Sony Corporation Information processing apparatus, information processing method, and program
US20150317823A1 (en) * 2011-08-03 2015-11-05 Zynga Inc. Rendering based on multiple projections

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009212582A (ja) * 2008-02-29 2009-09-17 Nippon Hoso Kyokai <Nhk> バーチャルスタジオ用フィードバックシステム
JP2015114905A (ja) * 2013-12-12 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2015192436A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
US9430038B2 (en) * 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317823A1 (en) * 2011-08-03 2015-11-05 Zynga Inc. Rendering based on multiple projections
US20130208014A1 (en) * 2012-02-10 2013-08-15 Rod G. Fleck Display with blocking image generation
CN104335142A (zh) * 2012-06-14 2015-02-04 高通股份有限公司 用于透明头戴式显示器的用户接口交互
CN103984097A (zh) * 2013-02-12 2014-08-13 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法以及图像显示系统
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US20150161762A1 (en) * 2013-12-10 2015-06-11 Sony Corporation Information processing apparatus, information processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113287292A (zh) * 2019-01-08 2021-08-20 三星电子株式会社 电子装置、电子装置的控制方法和计算机可读介质
US11668782B2 (en) 2019-01-08 2023-06-06 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of electronic apparatus and computer readable medium

Also Published As

Publication number Publication date
EP3404623A4 (en) 2019-08-07
WO2017122270A1 (ja) 2017-07-20
JPWO2017122270A1 (ja) 2018-10-11
EP3404623A1 (en) 2018-11-21
US20190019308A1 (en) 2019-01-17

Similar Documents

Publication Publication Date Title
CN110908503B (zh) 跟踪设备的位置的方法
CN108292489B (zh) 信息处理装置和图像生成方法
CN108541323A (zh) 图像显示装置
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US10304255B2 (en) Computer graphics presentation systems and methods
JP2020537383A (ja) ヘッドマウントディスプレイ追跡システム
KR20160012139A (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
CN108304063A (zh) 信息处理装置、信息处理方法和计算机可读介质
JP7182920B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2016130533A1 (en) Dynamic lighting for head mounted device
US20190108652A1 (en) Calibration system for a head-mounted display tracking system
JP2013258614A (ja) 画像生成装置および画像生成方法
CN103517061B (zh) 一种终端设备的显示控制方法及装置
CN109743892A (zh) 虚拟现实内容的显示方法和装置
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
US20160170482A1 (en) Display apparatus, and control method for display apparatus
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
WO2021153577A1 (ja) 視線検出装置のキャリブレーション
US20200159339A1 (en) Desktop spatial stereoscopic interaction system
CN113822936A (zh) 数据处理方法、装置、计算机设备及存储介质
WO2024205852A1 (en) Sound randomization
WO2024226681A1 (en) Methods for displaying and rearranging objects in an environment
WO2024064380A1 (en) User interfaces for gaze tracking enrollment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180914