CN113228617B - 影像显示系统、影像显示装置以及影像显示方法 - Google Patents

影像显示系统、影像显示装置以及影像显示方法 Download PDF

Info

Publication number
CN113228617B
CN113228617B CN201980086620.2A CN201980086620A CN113228617B CN 113228617 B CN113228617 B CN 113228617B CN 201980086620 A CN201980086620 A CN 201980086620A CN 113228617 B CN113228617 B CN 113228617B
Authority
CN
China
Prior art keywords
image
change amount
mark
posture
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980086620.2A
Other languages
English (en)
Other versions
CN113228617A (zh
Inventor
汤舟秀太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN113228617A publication Critical patent/CN113228617A/zh
Application granted granted Critical
Publication of CN113228617B publication Critical patent/CN113228617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种影像显示系统、影像显示装置以及影像显示方法，影像显示系统(1)具有：标记(3)、第一偏振滤波器(4)、影像显示装置(2)、以及变化量计算部(25)。影像显示装置(2)具有：照相机(23)、显示部(22)、以及第二偏振滤波器(24)。第一偏振滤波器(4)与标记(3)对应地配置。照相机(23)拍摄标记(3)。第二偏振滤波器(24)与显示部(22)对应地配置，具有与第一偏振滤波器(4)相反的偏振特性。变化量计算部(25)计算照相机(23)在第一姿势下获取的第一图像(MRF)与在第二姿势下获取的第二图像(MCP)的变化量，基于变化量来计算姿势的变化量。

Description

影像显示系统、影像显示装置以及影像显示方法
技术领域
本发明涉及头戴式显示器的影像显示系统、影像显示装置以及影像显示方法。
背景技术
作为实现MR(Mixed Reality)的装置，存在透射型的头戴式显示器。以下，将头戴式显示器作为HMD。HMD是通过在佩戴于使用者的头部的显示部显示影像，而能够获得进入到虚拟空间那样的感觉(沉浸感)的影像显示装置。为了提高沉浸感，在显示部显示与HMD的位置姿势对应的影像。
HMD利用HMD所具有的照相机来拍摄标记，计算标记与HMD的相对的位置关系、以及拍摄标记的方向相关的信息。显示部基于姿势变化的信息，使显示的影像与姿势对应地变化，由此，能够提高沉浸感。在专利文献1中记载有HMD的一例。
现有技术文献
专利文献
专利文献1：日本特开2017-10120号公报
发明内容
在用于实现MR(Mixed Reality)的透射型的HMD中，使用者将显示于显示部的影像(例如CG(Computer Graphics))与现实的影像混合来进行观察，因此，会看到现实的影像所包含的标记，而成为视野的障碍。
本发明的目的在于提供一种影像显示系统、影像显示装置以及影像显示方法，能够通过用照相机拍摄标记所得的影像来计算影像显示装置相对于基准位置的姿势的变化量，且能够在不使使用者注意标记的情况下将显示于显示部的影像与现实的影像混合来进行观察。
本实施方式提供一种影像显示系统，具有：标记，其具有基准图案；第一偏振滤波器，其与所述标记对应地配置，且具有第一偏振特性；影像显示装置，其具有经由所述第一偏振滤波器来拍摄所述标记的照相机、具有透光性的显示部、以及与所述显示部对应地配置且具有与所述第一偏振特性相反的第二偏振特性的第二偏振滤波器；以及变化量计算部，其计算第一图像与第二图像的变化量，基于所述变化量来计算姿势的变化量，所述第一图像是所述照相机在第一姿势下拍摄所述基准图案而获取到的图像，所述第二图像是所述照相机在第二姿势下拍摄所述基准图案而获取到的图像。
本实施方式提供一种影像显示装置，具有：显示部，其具有透光性；第一偏振滤波器，其与具有基准图案的标记对应地配置，且具有第一偏光特性；第二偏振滤波器，其与所述显示部对应地配置，且具有与所述第一偏振特性相反的第二偏振特性；照相机，其在第一姿势中经由所述第一偏振滤波器来拍摄所述标记，由此获取第一图像，在第二姿势中经由所述第一偏振滤波器来拍摄所述标记，由此获取第二图像；以及变化量计算部，其计算所述第一图像与所述第二图像的变化量，基于所述变化量来计算姿势的变化量。
本实施方式提供一种影像显示方法，将具有第一偏光特性的第一偏振滤波器与具有基准图案的标记对应地配置，将具有与所述第一偏光特性相反的第二偏光特性的第二偏振滤波器与具有透光性的显示部对应地配置，影像显示装置的照相机在第一姿势下经由第一偏振滤波器来拍摄所述标记而获取第一图像，在第二姿势下经由所述第一偏振滤波器来拍摄所述标记而获取第二图像，变化量计算部计算所述第一图像与所述第二图像的变化量，基于所述变化量来计算姿势的变化量。
根据本实施方式的影像显示系统、影像显示装置以及影像显示方法，能够利用由照相机拍摄标记所得的影像，来计算影像显示装置相对于基准位置的姿势的变化量，且，能够在使用者不注意标记的情况下，将显示于显示部的影像与现实的影像混合来观察。
附图说明
图1是表示第一及第二实施方式的影像显示装置的一例的外观图。
图2是表示第一实施方式的影像显示系统的一例的框图。
图3A是表示第一及第二实施方式的影像显示系统的一例的图。
图3B是表示第一及第二实施方式的影像显示系统的一例的图。
图4是表示标记的一例的图。
图5是表示第一及第二实施方式的影像显示方法的一例的流程图。
图6A是表示标记基准图像的一例的图。
图6B是表示标记拍摄图像的一例的图。
图6C是表示标记基准图像与标记拍摄图像的关系的一例的图。
图7是用于对跟踪量进行说明的图。
图8A是表示查找表的一例的图。
图8B是表示查找表的一例的图。
图9是表示第二实施方式的影像显示系统的一例的框图。
图10A是表示标记的一例的图。
图10B是表示标记的一例的图。
具体实施方式
[第一实施方式]
图1表示第一实施方式的影像显示装置的一例。图2、图3A及图3B表示第一实施方式的影像显示系统的一例。如图2所示，第一实施方式的影像显示系统1具有：影像显示装置2、标记3以及偏振滤波器4(第一偏振滤波器)。标记3具有基准图案31。作为标记3，可以使用印刷有基准图案31的纸或板，也可以使用显示有基准图案31的液晶面板等显示面板。
偏振滤波器4配置成与标记3对应，且与标记3接触，或者配置在标记3的附近。在图2、图3A以及图3B中，为了容易理解标记3和偏振滤波器4，示出了标记3与偏振滤波器4分离的状态。偏振滤波器4具有第一偏振特性。
如图1所示，第一实施方式的影像显示装置2是用于实现MR或AR(AugmentedReality)的透射型的HMD。如图1或图2所示，影像显示装置2具有：主体部21、显示部22、照相机23、偏振滤波器24(第二偏振滤波器)、变化量计算部25以及记录部26。偏振滤波器24具有第二偏振特性。
变化量计算部25内置于主体部21。作为变化量计算部25也可以使用CPU(CentralProcessing Unit)。作为记录部26也可以使用内置存储器或外置存储器。影像显示装置2也可以具有控制显示部22、照相机23、变化量计算部25以及记录部26的控制部。控制部内置于主体部21。作为控制部也可以使用CPU。
显示部22具有透光性，固定于主体部21。显示部22基于从外部输入的影像数据来显示影像。由此，使用者UR在佩戴了影像显示装置2时，能够将显示于显示部22的影像(例如CG)与现实的影像混合来观察。
显示部22也可以具有右眼用显示部和左眼用显示部。显示部22基于从外部输入的影像数据，将右眼用影像显示于右眼用显示部，将左眼用影像显示于左眼用显示部。由此，使用者UR在佩戴了影像显示装置2时，能够将右眼用影像和左眼用影像的合成影像与现实的影像混合而立体地观看。
照相机23固定于主体部21，在影像显示装置2佩戴于使用者UR的头部的状态下，拍摄使用者UR的前方及其周边的区域。偏振滤波器24在主体部21的除了照相机23以外的区域与显示部22对应地形成。具体而言，在影像显示装置2佩戴于使用者UR的头部的状态下，偏振滤波器24在显示部22中形成于使用者UR的相反侧。因此，使用者UR经由偏振滤波器24和显示部22来观看现实的影像。
偏振滤波器4和偏振滤波器24具有彼此相反的偏振特性。即，第一偏振特性和第二偏振特性具有彼此相反的关系。偏振滤波器4和偏振滤波器24例如具有偏振片与检偏器的关系。因此，通过组合偏振滤波器4和偏振滤波器24，偏振滤波器4及24作为遮光滤波器而发挥功能。偏振滤波器4及24可以具有直线偏振特性，也可以具有圆偏振特性。
在偏振滤波器4及24具有直线偏振特性的情况下，偏振滤波器4和偏振滤波器24具有偏振方向彼此正交的偏振特性。具体而言，偏振滤波器4具有s偏振和p偏振中的某一方(例如s偏振)的偏振特性，偏振滤波器24具有另一方(例如p偏振)的偏振特性。
在偏振滤波器4及24具有圆偏振特性的情况下，偏振滤波器4和偏振滤波器24具有偏振方向彼此相反的偏振特性。具体而言，偏振滤波器4具有右旋圆偏振及左旋圆偏振中的某一方(例如右旋圆偏振)的偏振特性，偏振滤波器24具有另一方(例如左旋圆偏振)的偏振特性。图1、图2、图3A以及图3B示意性地示出了偏振滤波器4及24具有直线偏振特性的状态。
如图3A所示，偏振滤波器4配置成与标记3对应。在标记3与显示部22对置的状态下，偏振滤波器4及24配置在标记3与显示部22之间。可以用偏振滤波器4来覆盖标记3整体，也可以用偏振滤波器4来分别覆盖标记3具有的基准图案31。标记3或基准图案31与偏振滤波器4既可以接触，也可以分离。同样地，如果显示部22被偏振滤波器24覆盖，则显示部22与偏振滤波器24也可以接触，也可以分离。
因此，在影像显示装置2佩戴于使用者UR的头部的状态下，在使用者UR处，与标记3对应的区域通过偏振滤波器4和偏振滤波器24而成为遮光区域。因此，标记3不被使用者UR识别。使用者UR经由偏振滤波器24观察标记3以外的区域。因此，使用者UR能够在不注意标记3的情况下将显示于显示部22的影像与现实的影像混合来观察。
偏振滤波器24在影像显示装置2中形成于除照相机23以外的区域。如图3B所示，在影像显示装置2佩戴于使用者UR的头部的状态下，照相机23经由偏振滤波器4对使用者UR的前方及其周边的区域进行拍摄。因此，照相机23能够拍摄标记3。
图4示出了标记3的一例。图4所示的区域相当于由照相机23拍摄的范围A23(以下，设为视角A23)。基准图案31优选在视角A23内配置在较宽的范围内。基准图案31可以是单体的图案，也可以是多个图案。
例如，在以单体的图案构成基准图案31的情况下，优选基准图案31是比视角A23小的尺寸的图案，以便配置于视角A23内的较宽的范围内。在以多个图案构成基准图案31的情况下，优选基准图案31分散地配置以便在视角A23内将多个图案配置在较宽的范围内。
图4表示作为基准图案31的一例，4个四边形的图案分散地配置于视角A23的4个角的附近的结构。构成基准图案31的图案的形状、个数以及配置能够任意地设定。
使用图5所示的流程图，对作为第一实施方式的影像显示方法的一例，在影像显示装置2佩戴于使用者UR的头部的状态下使用者UR使其头部从最初的状态(基准位置)变化了姿势的情况下的影像显示方法进行说明。具体而言，第一实施方式中的影像显示方法是利用由影像显示装置2的照相机23拍摄标记3所得的影像，计算影像显示装置2(主体部21)相对于基准位置的状态(姿势)的变化量的方法。
在影像显示装置2佩戴于使用者UR的头部的状态下，且使用者UR的头部为最初的状态(第一状态(第一姿势))时，照相机23在步骤S11中拍摄标记3，生成第一姿势下的影像数据VD1(第一影像数据)，输出给变化量计算部25。所谓最初的状态例如是使用者UR的头部朝向使用者UR的正面侧的状态。另外，照相机23始终进行拍摄，持续生成影像数据VD。
在步骤S12中，变化量计算部25从影像数据VD1中获取标记3的影像数据作为标记基准图像MRF(第一图像)，记录在记录部26中。图6A示出了标记基准图像MRF的一例。
在影像显示装置2佩戴于使用者UR的头部的状态下，且在使用者UR使其头部从最初的状态发生了变化(例如向右方向旋转)的第二状态(第二姿势)下，照相机23在步骤S13中拍摄标记3，生成第二姿势下的影像数据VD2(第二影像数据)，输出给变化量计算部25。另外，照相机23始终进行拍摄，持续生成影像数据VD，因此，即使第二姿势随着时间的经过而变化，也根据变化后的第二姿势生成影像数据VD2。
在步骤S14中，变化量计算部25从影像数据VD2中获取标记3的影像数据作为标记拍摄图像MCP(第二图像)，记录在记录部26中。图6B示出了标记拍摄图像MCP的一例。
在步骤S15中，变化量计算部25从记录部26中读出标记基准图像MRF和标记拍摄图像MCP。为了区分标记基准图像MRF中的基准图案31和标记拍摄图像MCP中的基准图案31，将标记基准图像MRF中的基准图案31设为基准图像图案31RF(第一图像图案)，将标记拍摄图像MCP中的基准图案31设为拍摄图像图案31CP(第二图像图案)。
并且，变化量计算部25计算与基准图像图案31RF对应的拍摄图像图案31CP的变化量。具体而言，例如如图6C所示，变化量计算部25计算与基准图像图案31RF对应的拍摄图像图案31CP的水平方向的移动量MAh、及铅垂方向的移动量MAv。以下，将水平方向的移动量MAh设为水平移动量MAh，将铅垂方向的移动量MAv设为铅垂移动量MAv。
变化量计算部25计算与基准图像图案31RF对应的拍摄图像图案31CP的水平方向的长度的变化量CAh、以及铅垂方向的长度的变化量CAv。以下，将水平方向的长度的变化量CAh设为水平变化量CAh，将铅垂方向的长度的变化量CAv设为铅垂变化量CAv。水平移动量MAh、铅垂移动量MAv、水平变化量CAh以及铅垂变化量CAv是与基准图像图案31RF对应的拍摄图像图案31CP的变化量。
例如能够通过计算基准图像图案31RF的中心点到拍摄图像图案31CP的中心点为止的水平方向以及铅垂方向的距离，而获取水平移动量MAh以及铅垂移动量MAv。能够通过从基准图像图案31RF的水平方向的长度RFh减去拍摄图像图案31CP的水平方向的长度CPh、或者从长度CPh减去长度RFh，而获取水平变化量CAh。能够通过从基准图像图案31RF的铅垂方向的长度RFv减去拍摄图像图案31CP的铅垂方向的长度CPv、或者从长度CPv减去长度RFv，而获取铅垂变化量CAv。
基于与基准图像图案31RF对应的拍摄图像图案31CP的变化量来获取跟踪量TA的查找表27记录在记录部26中。以下，将查找表27设为LUT27。
使用图7对跟踪量TA进行说明。跟踪量TA表示影像显示装置2(HMD)的姿势的变化量，具体而言，用表示距基准点的位置的移动量的位置跟踪量、和表示从基准点开始的旋转的变化量的头跟踪量来表示。基准点是通过校准等设定的正面等任意的位置或者朝向、或者接通电源时的位置或者朝向。
图7表示右手系的坐标系。从基准点的照相机23观察，x轴是水平方向的轴，右方向是正(正)，左方向是负(负)。从基准点的照相机23观察，y轴是铅垂方向的轴，上方向是正，下方向是负。从基准点的照相机23观察，z轴是进深方向的轴，后方向是正，前(正面)方向是负。
位置跟踪量由x轴方向的移动量、y轴方向的移动量以及z轴方向的移动量这3个成分表示。x轴方向的移动量是水平方向的移动量，从照相机23观察，右方向是正，左方向为负。y轴方向的移动量是铅垂方向的移动量，从照相机23观察，上方向是正，下方向为负。z轴方向的移动量是进深方向的移动量，从照相机23观察，后方向是正，前方向是负。
头跟踪量由俯仰(pitch)方向的旋转量、偏航(yaw)方向的旋转量、以及翻滚(roll)方向的旋转量这3个成分表示。俯仰方向的旋转量是以x轴为中心的上下的旋转量，向上方向的旋转是正，向下方向的旋转是负。偏航方向的旋转量是以y轴为中心的左右的旋转量，向左方向(向左)的旋转是正，向右方向(向右)的旋转是负。翻滚方向的旋转量是以z轴为中心的左右的旋转量，向左方向(逆时针方向)的旋转是正，向右方向(顺时针方向)的旋转是负。
图8A和图8B示出了LUT27的一例。图8A以及图8B示出了将1个LUT27分割为2个。图8A示出了水平移动量MAh是x1，铅垂移动量MAv是y1，水平变化量CAh是h1～hnh，铅垂变化量CAv是v1～vnv时的跟踪量TA。图8B示出了水平移动量MAh是x1～xnx，铅垂移动量MAv是y2～yny，水平变化量CAh是h1～hnh，铅垂变化量CAv是v1～vnv时的跟踪量TA。LUT27的跟踪量TA的要素的总数为水平移动量MAh的要素数nmh、铅垂移动量MAv的要素数nmv、水平变化量CAh的要素数nch以及铅垂变化量CAv的要素数ncv的积(nmh×nmv×nch×ncv)。
在步骤S16中，变化量计算部25从记录部26中读出LUT27。并且，变化量计算部25基于与基准图像图案31RF对应的拍摄图像图案31CP的变化量，通过LUT27获取跟踪量TA。
变化量计算部25例如基于水平移动量MAh、铅垂移动量MAv、水平变化量CAh以及铅垂变化量CAv来获取跟踪量TA。在水平移动量MAh＝x1，铅垂移动量MAv＝y1，水平变化量CAh＝h3，以及铅垂变化量CAv＝V3的情况下，变化量计算部25通过LUT27获取跟踪量TA＝A1133。
在基准图案31由多个图案构成的情况下，多个LUT27与各图案对应地记录在记录部26中。该情况下，变化量计算部25针对各图案，分别计算水平移动量MAh、铅垂移动量MAv、水平变化量CAh以及铅垂变化量CAv，通过与各图案对应的LUT27获取跟踪量TA。通过基于多个图案获取跟踪量TA，能够提高跟踪量TA的精度。
变化量计算部25在步骤S17中生成或获取与跟踪量TA对应的图像，显示于显示部22。照相机23始终进行拍摄，持续生成影像数据VD，因此，影像显示装置2重复执行步骤S13～S17。
变化量计算部25也可以在步骤S15中，基于水平方向的长度RFh以及CPh，来计算拍摄图像图案31CP的水平方向的失真率DSh，基于铅垂方向的长度RFv以及CPv，来计算拍摄图像图案31CP的铅垂方向的失真率DSv。变化量计算部25也可以基于失真率DSh以及DSv来获取跟踪量TA。
在第一实施方式的影像显示系统1、影像显示装置2以及影像显示方法中，在第一姿势以及第二姿势下，照相机23拍摄标记3而生成第一影像数据VD1以及第二影像数据VD2。变化量计算部25基于第一影像数据VD1以及第二影像数据VD2来获取标记基准图像MRF及标记拍摄图像MCP。并且，变化量计算部25计算与标记基准图像MRF中的基准图案31(基准图像图案31RF)对应的标记拍摄图像MCP中的基准图案31(拍摄图像图案31CP)的变化量。变化量计算部25基于计算出的变化量来获取跟踪量TA，生成或获取与跟踪量TA对应的图像，显示于显示部22。
在第一实施方式的影像显示系统1、影像显示装置2以及影像显示方法中，在影像显示装置2佩戴于使用者UR的头部的状态下，标记3通过偏振滤波器4与偏振滤波器24的组合而未被使用者UR识别。
因此，根据第一实施方式的影像显示系统1、影像显示装置2以及影像显示方法，能够利用由照相机23拍摄标记3所得的影像，计算影像显示装置2相对于基准位置的状态(姿势)的变化量，且能够在使用者UR不注意标记3的情况下将显示于显示部22的影像与现实的影像混合来观察。
在第一实施方式的影像显示系统1、影像显示装置2以及影像显示方法中，作为旋转方向对偏航方向进行了说明，但也能够应用于俯仰方向以及翻滚方向。
在第一实施方式的影像显示系统1、影像显示装置2以及影像显示方法中，在影像显示装置2佩戴于使用者UR的头部的状态下，能够基于与基准图像图案31RF对应的拍摄图像图案31CP的变化量(具体而言，水平移动量MAh以及铅垂移动量MAv)，来计算使用者UR相对于标记3平行移动的情况下的移动量。
在第一实施方式的影像显示系统1、影像显示装置2以及影像显示方法中，在影像显示装置2佩戴于使用者UR的头部的状态下，能够基于与基准图像图案31RF对应的拍摄图像图案31CP的变化量(具体而言，水平变化量CAh以及铅垂变化量CAv)，来计算使用者UR相对于标记3接近或远离的情况下的移动量。为了计算移动量，照相机23的透镜系数也需要作为参数。
[第二实施方式]
使用图9，对第二实施方式的影像显示系统的一例进行说明。为了容易理解说明，对与第一实施方式相同的结构部标注相同的符号。第二实施方式的影像显示系统101具有：影像显示装置102、控制装置103、标记3以及偏振滤波器4。
第二实施方式的影像显示装置102是用于实现MR的透射型的HMD。如图1所示，影像显示装置102的外观与影像显示装置2的外观基本相同。影像显示装置102具有：主体部21、显示部22、照相机23、偏振滤波器24、以及通信部105(第二通信部)。通信部105内置于主体部21。影像显示装置102也可以具有控制显示部22以及照相机23的控制部。控制部内置于主体部21。作为控制部也可以使用CPU。
控制装置103具有：变化量计算部25、记录部26和通信部106(第一通信部)。通信部105和通信部106经由无线线路或有线线路连接。通信部105和通信部106也可以经由网络连接。作为控制装置103也可以使用计算机设备。控制装置103也可以具有控制变化量计算部25和记录部26的控制部。
使用图5所示的流程图，对作为第二实施方式的影像显示方法的一例，在影像显示装置102佩戴于使用者UR的头部的状态下，使用者UR使其头部从最初的状态(基准位置)变化了姿势的情况下的影像显示方法进行说明。具体而言，第二实施方式中的影像显示方法是利用由影像显示装置102的照相机23拍摄标记3所得的影像，计算影像显示装置102相对于基准位置的状态(姿势)的变化量的方法。
在影像显示装置102佩戴于使用者UR的头部的状态下，且使用者UR的头部为最初的状态(第一状态(第一姿势))时，照相机23在步骤S21中拍摄标记3，生成第一姿势下的影像数据VD1(第一影像数据)。所谓最初的状态例如是使用者UR的头部朝向使用者UR的正面侧的状态。并且，照相机23将影像数据VD1经由通信部105以及106输出给控制装置103的变化量计算部25。
在步骤S22中，变化量计算部25从影像数据VD1中获取标记3的影像数据作为标记基准图像MRF，记录在记录部26中。
在影像显示装置102佩戴于使用者UR的头部的状态下，且使用者UR使其头部从最初的状态发生了变化(例如向右方向旋转)的第二状态(第二姿势)下，照相机23在步骤S23中拍摄标记3，生成第二姿势下的影像数据VD2(第二影像数据)。并且，照相机23将影像数据VD2经由通信部105以及106输出给控制装置103的变化量计算部25。另外，照相机23始终进行拍摄，持续生成影像数据VD，因此，即使第二姿势随着时间的经过而变化，也根据变化后的第二姿势生成影像数据VD2。
变化量计算部25在步骤S24中，从影像数据VD2中获取标记3的影像数据作为标记拍摄图像MCP，记录在记录部26中。
在步骤S25中，变化量计算部25从记录部26中读出标记基准图像MRF和标记拍摄图像MCP。并且，变化量计算部25计算与基准图像图案31RF对应的拍摄图像图案31CP的变化量。具体而言，例如如图6C所示，变化量计算部25计算水平移动量MAh、铅垂移动量MAv、水平变化量CAh以及铅垂变化量CAv。
在步骤S26中，变化量计算部25从记录部26中读出LUT27。并且，变化量计算部25根据与基准图像图案31RF对应的拍摄图像图案31CP的变化量，通过LUT27获取跟踪量TA。变化量计算部25例如基于水平移动量MAh、铅垂移动量MAv、水平变化量CAh以及铅垂变化量CAv来获取跟踪量TA。
变化量计算部25在步骤S27中生成或获取与跟踪量TA对应的图像，显示于显示部22。照相机23始终进行拍摄，持续生成影像数据VD，因此，影像显示装置102重复执行步骤S23～S27。
变化量计算部25也可以在步骤S25中，基于水平方向的长度RFh以及CPh，计算摄影图像图案31CP的水平方向的失真率DSh，基于铅垂方向的长度RFv以及CPv，计算拍摄图像图案31CP的铅垂方向的失真率DSv。变化量计算部25也可以基于失真率DSh以及DSv来获取跟踪量TA。
在第二实施方式的影像显示系统101、影像显示装置102以及影像显示方法中，在第一姿势及第二姿势下，照相机23拍摄标记3而生成第一影像数据VD1以及第二影像数据VD2。变化量计算部25基于第一影像数据VD1以及第二影像数据VD2获取标记基准图像MRF及标记拍摄图像MCP。并且，变化量计算部25计算与标记基准图像MRF中的基准图案31(基准图像图案31RF)对应的标记拍摄图像MCP中的基准图案31(拍摄图像图案31CP)的变化量。变化量计算部25基于计算出的变化量获取跟踪量TA，生成或获取与跟踪量TA对应的图像，显示于显示部22。
在第二实施方式的影像显示系统101、影像显示装置102以及影像显示方法中，在影像显示装置102佩戴于使用者UR的头部的状态下，标记3通过偏振滤波器4与偏振滤波器24的组合而未被使用者UR识别。
因此，根据第二实施方式的影像显示系统101、影像显示装置102以及影像显示方法，能够利用由照相机23拍摄标记3所得的影像来计算影像显示装置102相对于基准位置的状态(姿势)的变化量，且，能够在使用者不注意标记3的情况下将显示于显示部22的影像与现实的影像混合来观察。
在第二实施方式的影像显示系统101、影像显示装置102以及影像显示方法中，作为旋转方向，对偏航方向进行了说明，但也能够应用于俯仰方向以及翻滚方向。
在第二实施方式的影像显示系统101、影像显示装置102以及影像显示方法中，在影像显示装置102佩戴于使用者UR的头部的状态下，能够基于与基准图像图案31RF对应的拍摄图像图案31CP的变化量(具体而言，水平移动量MAh以及铅垂移动量MAv)，来计算使用者UR相对于标记3平行移动的情况下的移动量。
在第二实施方式的影像显示系统101、影像显示装置102以及影像显示方法中，在影像显示装置102佩戴于使用者UR的头部的状态下，能够基于与基准图像图案31RF对应的拍摄图像图案31CP的变化量(具体而言，水平变化量CAh以及铅垂变化量CAv)，来计算使用者UR相对于标记3接近或远离的情况下的移动量。为了计算移动量，照相机23的透镜系数也需要作为参数。
本发明并不限定于上述的本实施方式，在不脱离本发明的主旨的范围内能够进行各种变更。
在第一实施方式以及第二实施方式中，变化量计算部25在从记录部26中读出标记基准图像MRF以及标记拍摄图像MCP之后，获取长度RFh、CPh、RFv以及CPv。变化量计算部25也可以在从影像数据VD1中获取了标记基准图像MRF时获取长度RFh以及RFv，将长度RFh以及RFv与标记基准图像MRF关联起来记录在记录部26中。变化量计算部25也可以在从影像数据VD2中获取了标记拍摄图像MCP时获取长度CPh以及CPv，将长度CPh以及CPv与标记拍摄图像MCP关联起来记录在记录部26中。
如图4所示，在第一实施方式以及第二实施方式中，标记3具有配置了4个四边形的基准图案31的结构。例如，如图10A所示，标记3也可以是由直径彼此不同的2个同心圆和通过该同心圆的中心的十字线构成的基准图案31配置在视角A23的中心和4角的附近的结构。如图10B所示，标记3也可以是由直径彼此不同的2个同心圆和通过该同心圆的中心的十字线构成的多个基准图案31配置于视角A23的水平方向和铅垂方向的结构。
这里引用日本特愿2018-242504号(申请日：2018年12月26日)的全部内容。
附图标记说明：
1、101 影像显示系统；
2、102 影像显示装置；
3 标记；
4 偏振滤波器(第一偏振滤波器)；
22 显示部；
23 照相机；
24 偏振滤波器(第二偏振滤波器)；
25 变化量计算部；
31 基准图案；
MCP 标记拍摄图像(第二图像)；
MRF 标记基准图像(第一图像)。

Claims (5)

1.一种影像显示系统，其特征在于，
所述影像显示系统具有：
标记，其具有基准图案；
第一偏振滤波器，其具有第一偏振特性；
影像显示装置，其具有经由所述第一偏振滤波器来拍摄所述标记的照相机、具有透光性并能够使用户看到现实的影像的显示部、和具有与所述第一偏振特性相反的第二偏振特性的第二偏振滤波器；以及
变化量计算部，其计算第一图像与第二图像的变化量，基于所述变化量来计算姿势的变化量，所述第一图像是所述照相机在第一姿势下拍摄所述基准图案而获取到的图像，所述第二图像是所述照相机在第二姿势下拍摄所述基准图案而获取到的图像，
在所述标记与所述显示部对置的状态下，所述第一偏振滤波器及所述第二偏振滤波器配置在所述标记与所述显示部之间，
所述显示部具有右眼用显示部和左眼用显示部，基于根据所述姿势的变化量而生成的影像数据，将右眼用影像显示于所述右眼用显示部，基于根据所述姿势的变化量而生成的影像数据，将左眼用影像显示于所述左眼用显示部。
2.根据权利要求1所述的影像显示系统，其特征在于，
所述变化量计算部基于与所述第一图像中的第一图像图案对应的所述第二图像中的第二图像图案的水平方向和铅垂方向的移动量、以及与所述第一图像图案对应的所述第二图像图案的水平方向和铅垂方向的长度的变化量，来计算所述影像显示装置的姿势的变化量。
3.根据权利要求1或2所述的影像显示系统，其特征在于，
所述影像显示系统还具有控制装置，该控制装置具有所述变化量计算部和第一通信部，
所述影像显示装置还具有与所述第一通信部连接的第二通信部，将所述第一图像以及所述第二图像经由所述第一通信部以及所述第二通信部输出给所述控制装置，
所述变化量计算部计算所述第一图像与所述第二图像的变化量，基于所述变化量来计算所述影像显示装置的姿势的变化量。
4.一种影像显示装置，其特征在于，
所述影像显示装置具有：
显示部，其具有透光性并能够使用户看到现实的影像；
第一偏振滤波器，其具有第一偏振特性；
第二偏振滤波器，其具有与所述第一偏振特性相反的第二偏振特性；
照相机，其在第一姿势中经由所述第一偏振滤波器来拍摄具有基准图案的标记，由此获取第一图像，在第二姿势中经由所述第一偏振滤波器来拍摄所述标记，由此获取第二图像；以及
变化量计算部，其计算所述第一图像与所述第二图像的变化量，基于所述变化量来计算姿势的第二变化量，
在所述标记与所述显示部对置的状态下，所述第一偏振滤波器及所述第二偏振滤波器配置在所述标记与所述显示部之间，
所述显示部具有右眼用显示部和左眼用显示部，基于根据所述姿势的变化量而生成的影像数据，将右眼用影像显示于所述右眼用显示部，基于根据所述姿势的变化量而生成的影像数据，将左眼用影像显示于所述左眼用显示部。
5.一种影像显示方法，其特征在于，
配置具有第一偏光特性的第一偏振滤波器，
配置具有与所述第一偏光特性相反的第二偏光特性的第二偏振滤波器，
影像显示装置的照相机在第一姿势下经由第一偏振滤波器来拍摄具有基准图案的标记而获取第一图像，在第二姿势下经由所述第一偏振滤波器来拍摄所述标记而获取第二图像，
变化量计算部计算所述第一图像与所述第二图像的变化量，基于所述变化量来计算姿势的变化量，
在所述标记与具有透光性并能够使用户看到现实的影像的显示部对置的状态下，所述第一偏振滤波器及所述第二偏振滤波器配置在所述标记与所述显示部之间，
所述显示部具有右眼用显示部和左眼用显示部，基于根据所述姿势的变化量而生成的影像数据，将右眼用影像显示于右眼用显示部，基于根据所述姿势的变化量而生成的影像数据，将左眼用影像显示于左眼用显示部。
CN201980086620.2A 2018-12-26 2019-12-09 影像显示系统、影像显示装置以及影像显示方法 Active CN113228617B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018242504A JP7137743B2 (ja) 2018-12-26 2018-12-26 映像表示システム、映像表示装置、及び映像表示方法
JP2018-242504 2018-12-26
PCT/JP2019/048074 WO2020137487A1 (ja) 2018-12-26 2019-12-09 映像表示システム、映像表示装置、及び映像表示方法

Publications (2)

Publication Number Publication Date
CN113228617A CN113228617A (zh) 2021-08-06
CN113228617B true CN113228617B (zh) 2023-09-12

Family

ID=71129788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980086620.2A Active CN113228617B (zh) 2018-12-26 2019-12-09 影像显示系统、影像显示装置以及影像显示方法

Country Status (5)

Country Link
US (1) US20210239973A1 (zh)
EP (1) EP3886426B1 (zh)
JP (1) JP7137743B2 (zh)
CN (1) CN113228617B (zh)
WO (1) WO2020137487A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543608A (en) * 1990-12-17 1996-08-06 Rantalainen; Erkki Method and the system for identifying a visual object with a polarizing marker
JP2003075773A (ja) * 2001-09-04 2003-03-12 Sony Corp 板状フィルター、表示装置、フィルターの位置合わせ方法、及びフィルターの位置合わせ装置
CN1464989A (zh) * 2001-06-01 2003-12-31 索尼公司 立体图像显示装置、显示装置、分波片滤光器、片状滤光器和附于显示装置的滤光器位置调节机构、对齐装置、滤光器位置调节方法和滤光器对齐方法
JP2009200691A (ja) * 2008-02-20 2009-09-03 Konica Minolta Holdings Inc 頭部装着式映像表示装置
WO2012105500A1 (ja) * 2011-01-31 2012-08-09 ブラザー工業株式会社 ヘッドマウントディスプレイ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JP2009237878A (ja) 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
JP5556481B2 (ja) 2010-07-30 2014-07-23 大日本印刷株式会社 付加情報提供システム及び撮像装置
JP5691631B2 (ja) 2011-02-24 2015-04-01 株式会社大林組 画像合成方法
WO2013048221A2 (ko) 2011-09-30 2013-04-04 Lee Moon Key 스테레오 영상 기반 영상처리 시스템
US10504231B2 (en) * 2014-05-21 2019-12-10 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
WO2016108720A1 (ru) * 2014-12-31 2016-07-07 Общество С Ограниченной Ответственностью "Заботливый Город" Способ и устройство для отображения трехмерных объектов
US20160339337A1 (en) * 2015-05-21 2016-11-24 Castar, Inc. Retroreflective surface with integrated fiducial markers for an augmented reality system
JP2017010120A (ja) 2015-06-17 2017-01-12 キヤノン株式会社 情報処理装置、映像処理装置、およびそれらの制御方法、ならびに映像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543608A (en) * 1990-12-17 1996-08-06 Rantalainen; Erkki Method and the system for identifying a visual object with a polarizing marker
CN1464989A (zh) * 2001-06-01 2003-12-31 索尼公司 立体图像显示装置、显示装置、分波片滤光器、片状滤光器和附于显示装置的滤光器位置调节机构、对齐装置、滤光器位置调节方法和滤光器对齐方法
JP2003075773A (ja) * 2001-09-04 2003-03-12 Sony Corp 板状フィルター、表示装置、フィルターの位置合わせ方法、及びフィルターの位置合わせ装置
JP2009200691A (ja) * 2008-02-20 2009-09-03 Konica Minolta Holdings Inc 頭部装着式映像表示装置
WO2012105500A1 (ja) * 2011-01-31 2012-08-09 ブラザー工業株式会社 ヘッドマウントディスプレイ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
集成成像3D显示技术研究;王梓;《中国优秀硕士学位论文全文数据集》;全文 *

Also Published As

Publication number Publication date
JP2020106589A (ja) 2020-07-09
WO2020137487A1 (ja) 2020-07-02
EP3886426A4 (en) 2021-12-29
US20210239973A1 (en) 2021-08-05
EP3886426A1 (en) 2021-09-29
CN113228617A (zh) 2021-08-06
EP3886426B1 (en) 2023-03-08
JP7137743B2 (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
CN101641963B (zh) 头戴式摄像显示设备及合成图像生成装置
JP4228646B2 (ja) 立体視画像生成方法および立体視画像生成装置
US10032313B2 (en) Head-mounted device and method of enabling non-stationary user to perform 3D drawing interaction in mixed-reality space
JP2015119395A (ja) 情報処理装置、情報処理方法およびプログラム
JP2020004325A (ja) 画像処理装置、画像処理方法およびプログラム
Hu et al. Alignment-free offline calibration of commercial optical see-through head-mounted displays with simplified procedures
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
JP6641122B2 (ja) 表示装置及び情報処理装置及びその制御方法
JP5102521B2 (ja) 映像表示装置および両眼視機能検査装置
CN113228617B (zh) 影像显示系统、影像显示装置以及影像显示方法
JPH07240945A (ja) 仮想空間生成提示装置
JP4581512B2 (ja) ３次元画像処理装置、光軸調整方法、光軸調整支援方法
JP2014006674A (ja) 画像処理装置及びその制御方法、プログラム
JPH09172654A (ja) 立体画像編集装置
JP4333309B2 (ja) 複数画面画像表示システム、複数画像表示装置の相対位置検出方法、複数画像表示装置の相対位置検出プログラムおよび複数画像表示装置の相対位置検出プログラムを記録した記録媒体
JP6608208B2 (ja) 画像表示装置
JP6192454B2 (ja) 表示システム
JP6073121B2 (ja) 立体表示装置及び立体表示システム
JP4439668B2 (ja) 画像合成装置
WO2017094285A1 (ja) 距離計測デバイス
EP4343701A1 (en) Image generation method, apparatus and system, and computer-readable storage medium
CN116309854A (zh) 标定增强现实设备的方法、装置、设备、系统及存储介质
JP2005091642A (ja) 複数画面画像表示システム、複数画像表示装置の相対位置調整方法、複数画像表示装置の相対位置調整プログラムおよび複数画像表示装置の相対位置調整プログラムを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant