CN110738736A - 图像处理装置、图像处理方法和存储介质 - Google Patents

图像处理装置、图像处理方法和存储介质 Download PDF

Info

Publication number
CN110738736A
CN110738736A CN201910571171.2A CN201910571171A CN110738736A CN 110738736 A CN110738736 A CN 110738736A CN 201910571171 A CN201910571171 A CN 201910571171A CN 110738736 A CN110738736 A CN 110738736A
Authority
CN
China
Prior art keywords
display
image
image processing
processing apparatus
installation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910571171.2A
Other languages
English (en)
Other versions
CN110738736B (zh
Inventor
石井正俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110738736A publication Critical patent/CN110738736A/zh
Application granted granted Critical
Publication of CN110738736B publication Critical patent/CN110738736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明公开一种图像处理装置、图像处理方法和存储介质。所描述的图像处理装置包括第一获取单元，其被配置为从摄像装置获取图像数据以及第二获取单元，其被配置为获取显示安装中要模拟的一个或者多个显示画面的结构的显示安装信息。生成单元，其被配置为基于显示安装信息和获取的图像数据生成在显示安装上模拟图像的显示的模拟图像。显示控制单元，其被配置为在显示设备上显示所模拟图像。

Description

图像处理装置、图像处理方法和存储介质
技术领域
本发明涉及一种用于模拟显示安装(display installation)的技术，该显示安装被配置成使用广视野显示图像。
背景技术
作为图像显示安装，已知一种被配置为在以覆盖观看者视野从而向观看者提供高真实感的方式布置的显示画面上显示图像的传统系统。日本特开第2007-318754号公报探讨一种在具有广阔视角和具有面向观看者的凹面的球状的画面上显示图像的方法。通过这种方法，在通过执行将平面图像粘贴到球状的映射处理生成的画面上显示图像。
使用摄像机拍摄视频以在很大的显示画面上显示视频时，可能难以理解最终图像将如何呈现。尤其是在这种用于显示具有广视野的图像的显示安装中，使用通过对平面捕获图像执行预定的几何转换和投影转换获得的图像作为显示图像。因此，在传统技术中，仅通过在显示安装所处的环境中显示图像才能够确认在显示安装上显示捕获图像时如何使捕获图像呈现。
发明内容
本发明提供一种通过生成从虚拟视点观看的、具有在显示安装上显示图像的环境的图像来提示在显示安装上显示图像时如何使图像呈现的技术。
根据本发明的一方面，图像处理装置包括：第一获取单元，其被配置为从摄像装置获取图像数据；第二获取单元，其被配置为获取表示显示安装中要模拟的一个或者多个显示画面的结构的显示安装信息；生成单元，其被配置为基于所述显示安装信息和所述获取的图像数据生成在显示安装上模拟图像的显示的模拟图像；以及显示控制单元，其被配置为在显示设备上显示所述模拟图像。
根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
图1A图示地例示摄像辅助系统，图1B例示要模拟的显示环境。
图2例示了图像处理装置的硬件配置。
图3例示了图像处理装置的详细逻辑配置。
图4是例示要通过图像处理装置执行的图像处理的流程图。
图5是例示显示图像的生成处理的流程图。
图6例示针对参数设置的图形用户界面(GUI)。
图7例示显示安装和第一画面对象。
图8例示第二画面对象。
图9例示虚拟空间中的地面。
图10例示投影图像和第一纹理之间的关系。
图11A和图11B例示视线方向和显示图像之间的关系。
图12是例示要通过图像处理装置执行的图像处理的流程图。
图13A和图13B例示用于改变第二画面对象的显示的GUI。
图14A和图14B例示显示边界。
图15A和图15B例示改变显示装置结构的情况的示例。
具体实施方式
下文将参照附图描述可适用本发明的各种示例性实施例。应当注意，公开的示例性实施例并不旨在限制本发明的范围，而且并不是示例性实施例中描述的特征的每个组合都是本发明的技术方案所必须的。
下文将在第一示例性实施例中将描述摄像辅助系统。图像辅助系统被配置为以摄像机形式与摄像装置101结合使用。在其他实施例中，摄像装置可以是用于捕获静止图像的数字相机。使用摄像装置捕获静止图像的摄影师佩戴头戴式显示器(HMD)104，其被配置为显示当在显示安装上显示时捕获图像可能看起来如何。在HMD中模拟的显示安装是用于将捕获的视频显示给显示位置处的一个或多个观看者的硬件。显示位置可以是具有代表性的位置，例如艺术画廊或电影院，在显示位置上通常找到大型沉浸式显示器。然而，没有理由将显示位置限制于此并且原则上可以在家庭环境中显示。图1A图示地例示了根据本示例性实施例的摄像辅助系统，图1B例示要模拟的显示安装。在根据本示例性实施例的摄像辅助系统中，要在能够用广视野显示图像的显示安装上显示捕获图像。图1B例示在本示例性实施例中要模拟的能够用广视野显示图像的显示安装的示例。显示安装包括配置有各能够显示图像的三个显示器从而覆盖观看者的视野的显示单元105。在显示安装中，从单一的捕获图像106生成要在三个显示器上显示的图像。捕获图像106上的区域109显示在显示单元105的左显示器上，区域108显示在中央显示器上，区域107显示在右显示器上。以这种方式在显示安装上显示图像向显示安装的观看者提供真实感，从而观看者感觉仿佛置身于拍摄显示图像的场地。
然而，在使用摄像装置101进行摄像期间，摄影师很难辨认如何在显示安装中稍后显示正在拍摄的图像。因此，在本示例性实施例中，在虚拟空间中模拟显示位置，并根据用户的姿势方向生成虚拟空间中的显示图像，然后进行显示，从而将显示安装的模拟显示给佩戴HMD的用户。
图1A例示根据本示例性实施例的摄像辅助系统的示例。根据本示例性实施例的摄像辅助系统包括摄像装置101、图像处理装置102、显示监视器形式的第一显示装置103和HMD形式的第二显示装置104。摄像装置101能够拍摄运动图像，图像处理装置102执行各种图像处理。使用例如包括广角透镜的摄影机作为摄像装置101。第一显示装置103是用于显示图像用户界面(GUI)的显示监视器，并使用诸如液晶显示器等的通用监视器作为第一显示装置103。头戴式显示器(HMD)能够显示与用户的头部运动对应的图像。HMD包括能够获取用户的头部的位置和姿势的传感器。除了加速传感器和陀螺传感器外，传感器还包括例如HMD上安装的红外发光二极管(LED)和外部红外光照相机(未例示)的组合。HMD输出关于传感器的信息和红外光照相机获取的信息。
使用例如个人计算机(PC)作为图像处理装置102。图像处理装置102从摄像装置101获取运动图像，对运动图像执行各种图像处理来生成显示图像，并在第二显示装置104上显示显示图像。图像处理装置102在第一显示装置103上显示用于设置各种处理所需的参数的GUI画面。图像处理装置102基于经由第一显示装置103上显示的GUI输入的用户操作获取图像处理所需的各种参数。
图2例示根据本示例性实施例的图像处理装置102的硬件配置。中央处理单元(CPU)201使用随机存取存储器(RAM)202作为工作存储器执行只读存储器(ROM)203及硬盘驱动器(HDD)205中存储的程序，并经由系统总线200控制各后述配置。通过这种方式，执行各种处理。HDD接口(I/F)204是例如串行高级技术附件(SATA)接口等的接口，并与诸如HDD205和光盘驱动器等的二级存储装置连接。CPU 201能够经由HDD I/F 204从/向HDD 205读取/写入数据。此外，CPU 201能够将HDD 205中存储的数据展开到RAM 202中，并将展开到RAM 202的数据存储在HDD 205中。然后，CPU 201能够作为程序执行展开到RAM 202的数据。
输入I/F 206是例如通用串行总线(USB)接口或电气与电子工程师协会(IEEE)1394接口等的串行总线接口，并与诸如键盘和鼠标等的输入设备207连接。CPU 201能够经由输入I/F 206从输入设备207读取数据。显示I/F 208是诸如数字虚拟接口(DVI)或高清晰多媒体接口(HDMI)(注册商标)等的接口，并与诸如液晶显示器、投影仪和HMD等的显示设备209连接。CPU 201经由显示I/F 208向显示设备209发送数据，并在显示设备209上显示数据。在本示例性实施例中，显示设备209是分别作为图1例示的第一显示装置103和第二显示装置104的液晶显示器和HMD。视频输入I/F 210是诸如串行数字接口(SDI)或HDMI等的接口，并与诸如摄影机等的摄像设备211连接。CPU 201能够获取经由视频输入I/F 210从摄像设备211获取诸如运动图像数据等的视频数据。在本示例性实施例中，摄像设备211是图1中例示的摄像装置101。位置/姿势传感器I/F 212是例如USB等的接口。位置/姿势传感器I/F212连接安装到第二显示装置104的诸如加速传感器和陀螺传感器等的位置/姿势传感器213和第二显示装置104中设置的用于获取已知红外线LED的图案的红外摄像机。CPU 201经由位置/姿势传感器I/F 212从位置/姿势传感器213获取用于计算用户头部的位置、方向或倾斜度的姿势信息。
图3是例示根据本示例性实施例的图像处理装置102的详细功能配置的框图。在图3中，图像处理装置102包括图像获取单元301、理想视点设置单元302、摄像参数设置单元303、位置/姿势获取单元304、虚拟空间设置单元305、显示图像生成单元310和显示图像输出单元309。此外，显示图像生成单元310包括第一纹理生成单元306、第二纹理生成单元307和渲染单元308。
图像获取单元301从摄像装置101获取运动图像的帧图像，并将获取的帧图像作为输入图像输出到第一纹理生成单元306和第二纹理生成单元307。
理想视点设置单元302将观看显示安装中的显示单元105上显示的图像时的理想视点的位置设置为虚拟空间中的原点。理想视点设置单元302将表示设置的虚拟空间的信息输出到虚拟空间设置单元305和第一纹理生成单元306。
摄像参数设置单元303获取用户经由第一显示装置103上显示的GUI输入的透镜焦距、投影方式和摄像传感器的大小作为与摄像装置101相关的信息。摄像参数设置单元303设置获取的摄像参数，并将设置的摄像参数输出到第一纹理生成单元306。
位置/姿势获取单元304从HMD获取用于计算佩戴着HMD的用户头部的位置、方向和倾斜度的姿势信息。位置/姿势获取单元304将获取的姿势信息输出到渲染单元308。
虚拟空间设置单元305设置用于模拟要模拟的真实显示安装的虚拟空间。首先，虚拟空间设置单元305基于表示显示安装中的显示单元105的结构的显示安装信息来配置与显示单元(显示器)105对应的第一画面对象。在本示例性实施例中，第一画面对象是包括如图7中所例示的、连接在一起，并且从上方看时形成等腰梯形状的三个平面画面的对象。虚拟空间设置单元305在虚拟空间中设置用于在不改变视角的状态下显示摄像装置101正在拍摄的运动图像的帧图像的第二画面对象。第二画面对象是矩形。为了提高要在虚拟空间中模拟的显示安装的真实性，虚拟空间设置单元305还在虚拟空间中配置用于显示地面和背景的对象。然后，虚拟空间设置单元305将虚拟空间信息输出到第二纹理生成单元307和渲染单元308。
第一纹理生成单元306基于表示理想视点位置的信息和摄像参数从运动图像的帧图像生成要在第一画面对象上显示的第一纹理，并将第一纹理输出到渲染单元308。第二纹理生成单元307从运动图像的帧图像生成要在第二画面对象上显示的第二纹理，并将生成的纹理输出到渲染单元308。
渲染单元308基于各种输入信息执行渲染处理，生成要在HMD上显示的图像，并将图像输出到显示图像输出单元309。显示图像输出单元309向HMD输出通过渲染单元308生成的显示图像，并进行显示控制。
下文将描述要通过根据本示例性实施例的图像处理装置102执行的处理。图4是例示要通过图像处理装置102执行的处理的流程图。CPU 201读取ROM 203或HDD 205中存储的、用于实现图4中例示的流程图的程序，并使用RAM 202作为工作区域来执行程序。通过这样的方式，CPU 201用作图3例示的各功能模块的角色。在下文中，将流程图中的各步骤表示为“S”。
在步骤S401中，虚拟空间设置单元305设置用于在虚拟空间中再现要模拟的显示环境中配置的显示安装的显示单元(显示器)105的第一画面对象。响应于经由第一显示装置103上显示的GUI输入的用户指令，虚拟空间设置单元305获取与显示单元105的各显示器的大小和配置相关的显示安装信息。图6例示了用于参数设置的GUI的示例。用户从显示装置结构的下拉列表604中选择期望的显示安装结构。在图6中，选择“180英寸、3画面、120°”。这就表示显示安装包括以使两个显示器相互接触形成120°的角度的方式配置的3个180英寸的显示器。针对显示装置结构的下拉列表604中包括的各个显示安装的候补，将描述与显示安装结构对应的目标的顶点和上界(UB)的坐标的目标文件存储在HDD 205中。如果用户选择显示安装结构，则虚拟空间设置单元305从目标文件中读取与选择的显示安装结构对应的文件，并生成第一画面对象。能够使用诸如在计算机绘图(CG)文件领域中常用的OBJ文件等的公知文件格式作为目标文件。在本示例性实施例中，尽管通过下拉列表间接地选择目标文件，但可以使用文件选择对话框直接选择期望的文件。
图7例示了根据本示例性实施例的第一画面对象的示例。第一画面对象包括分别与三个平面画面对应的三个矩形对象。一个矩形对象具有Wsc宽和Hsc高。中央矩形对象以在中央和右矩形对象之间以及中央和左矩形对象之间形成θsc角度的方式与右和左的矩形对象的每一个连接。在本示例性实施例中，角度θsc是120°。各矩形对象包括统一的网格。
在步骤S402中，虚拟空间设置单元305设置虚拟空间中的地面901和背景。图9例示了虚拟空间中的地面901。虚拟空间设置单元305设置预定大小的平面作为地面901，并在第一画面对象701与地面901垂直接地的位置处配置地面901。虚空间设置单元305设置纹理，以使用户能够清楚地认知到地面901是地板。在本示例性实施例中，将地毯纹理设置为地面901。可选地，可以将显示安装实际所处的环境中的地面的照片设置为纹理。虚拟空间设置单元305将除第一画面对象701、第二画面对象和地面以外的背景部分设置为黑色，因此，在用户观看第一画面对象701上显示的图像时，黑色背景部分不会在视觉上扰乱用户。可选地，可以使用通过拍摄显示安装实际所处的显示环境的图像获取的环境图来设置背景。在这种情况下，例如通过足够大的立方体物体覆盖整个虚拟空间，并在立方体物体中将环境图应用为纹理，并执行渲染。
在步骤S403中，理想视点设置单元302在显示安装实际所处的显示环境中设置用于观看显示单元105的理想视点位置。在本示例性实施例中，将理想视点位置设置为距离如图7例示的显示安装中的中央显示器的中心Dview距离的位置。在本示例性实施例中，使用以理想视点位置作为原点的XYZ垂直坐标系设置虚拟空间。Y轴与地面901垂直，沿与第一画面对象701的中央矩形对象垂直的方向设置Z轴。理想视点设置单元302基于设置的坐标系统校正步骤S401中设置的第一画面对象701的顶点的坐标。
在步骤S404中，摄像参数设置单元303设置连接的摄像装置101的摄像参数。摄像参数设置单元303基于经由第一显示装置103显示的GUI输入的用户指令设置摄像参数。在图6中例示的GUI上，用户从透镜投影方式下拉列表601中选择与当前使用的摄像装置101的透镜投影方式对应的项目。摄像参数设置单元303设置表示所选透镜投影方式的参数。在图6中，选择“中心投影”。用户使用透镜焦距滑动条602输入摄像装置101的透镜的焦距。摄像参数设置单元303基于输入的焦距设置表示摄像装置101的透镜的焦距的参数。此外，用户从传感器大小下拉列表603中选择与当前使用的摄像装置101的传感器大小对应的项目。摄像参数设置单元303设置表示所选的传感器大小的参数。预先将传感器大小的横向和纵向尺寸与传感器大小下拉列表603中的各项目关联。
在步骤S405中，图像获取单元301获取表示摄像装置101正在拍摄的运动图像的1帧的帧图像数据。
在步骤S406中，位置/姿势获取单元304获取与用户头部的位置、方向和倾斜度相关的姿势信息。位置/姿势获取单元304从HMD获取与加速度传感器和陀螺传感器相关的信息，并从红外线摄像机获取HMD上安装的已知红外线LED的图案。然后，位置/姿势获取单元304通过使用公知的三维位置/姿势估算法估计位置/姿势信息推导出位置/姿势信息。表示估计的位置/姿势的坐标系与图7中例示的虚拟空间中设置的坐标系匹配，并预先进行了校准，从而使坐标系的原点互相匹配。
在步骤S407中，虚拟空间设置单元305设置第二画面对象801。第二画面对象801是用于显示通过步骤S405中获取的帧图像数据表示的图像的对象。具体地，第二画面对象801显示摄像装置101拍摄的全视角图像。第二画面对象801是由统一网格形成的平面或矩形对象，并在摄像时用作辅助信息。设置第二画面对象801的高宽比，使其与步骤S405中获取的帧图像的高宽比相匹配。图8例示了第二画面对象801的示例。虚拟空间设置单元305在虚拟空间中使第二画面对象801比第一画面对象701离用户更近来进行配置。此外，虚拟空间设置单元305在不会与用户从视点位置803观看第一画面对象701时的视野802重叠的位置处配置第二画面对象801。虚拟空间设置单元305最好以使画面的法线大体在用户的头的位置的方向的方式设置第二画面对象801，以便用户能够容易地观看第二画面对象801。
在步骤S408中，显示图像生成单元310基于在前述步骤中设置或获取的信息和数据生成要在HMD上显示的显示图像。后文将描述处理的详细内容。在步骤S409中，控制单元(未例示)基于HMD的帧速率执行待机处理。例如，在帧速率是60fps的情况下，控制单元以使从步骤S405到S409的总处理时间为大约16毫秒的方式调整处理时间。
在步骤S410中，显示图像输出单元309将步骤S408中生成的显示图像输出到HMD，并将显示图像显示在HMD上。在步骤S411中，控制单元(未例示)确定是否结束显示。如果用户在图6例示的GUI上按下结束按钮607(在步骤S411中为“是”)，则HMD上的显示控制结束。另一方面，如果没有按下结束按钮607(在步骤S411中为“否”)，则处理返回步骤S405，并获取下一帧的图像数据，而后处理继续。
后文将描述显示图像生成处理的详细内容。在显示图像生成处理中，生成要在第一画面对象701上显示的第一纹理和要在第二画面对象801上显示的第二纹理。此外，通过使用预先设置的虚拟空间信息和与从摄像装置101获取的运动图像相关的帧图像数据执行渲染处理，以生成要在HMD上显示的显示图像。第一画面对象701是用于模拟在真实空间中配置要模拟的显示安装的显示环境中的真实显示单元105上显示的图像的虚拟对象。具体地，第一纹理是用于再现视频图像如何呈现在显示单元105上的图像。另一方面，第二纹理与从摄像装置101获取的帧图像数据匹配，在被设置到第二画面对象801，以便确认摄像装置101的摄像角度。
图5是例示显示图像生成单元310执行的显示图像生成处理的详细内容的流程图。下文将描述流程图的各步骤。
在步骤S501中，第一纹理生成单元306生成要在第一画面对象701上显示的第一纹理。第一纹理生成单元306在原点处以光轴表示Z轴的正方向，并且虚拟摄像机的向上方向表示Y轴的正方向的方式设置虚拟摄像机。具体地，第一纹理生成单元306设置在理想视点的位置配置的虚拟摄像机。第一纹理生成单元306基于步骤S404中设置的摄像参数通过将获取的帧图像从设置的虚拟摄像机反向投影到第一画面对象701来生成第一纹理。将生成的第一纹理设置到第一画面对象701，并进行渲染。设置了第一纹理的第一画面对象701表示在显示环境中配置的显示安装上显示图像时，图像是如何呈现的。因此，在用几何学正确地再现所拍摄的场景如何显示在显示安装上的同时，正在观看HMD的用户能够观看所拍摄的场景。图10例示了要在帧图像1001中用作第一纹理1002的区域。如上所述，在第一画面对象701上显示帧图像的部分区域。
在步骤S502中，第二纹理生成单元307生成要显示在第二画面对象801上的第二纹理。将从摄像装置101获取的帧图像直接设置为第二纹理。具体地，第二纹理是基于能够确认摄像装置101的摄像视角的图像。
在步骤S503中，渲染单元308生成从虚拟视点观看的虚拟空间的画像作为要在HMD上显示的显示图像。具体地，渲染单元308使用包括第一画面对象701、第二画面对象801、地面和背景的预先设置的虚拟空间的信息、第一纹理以及第二纹理执行渲染处理。渲染单元308将与HMD的右眼对应的虚拟摄像机和与HMD的左眼对应的虚拟摄像机设置为渲染时使用的虚拟摄像机。渲染单元308基于HMD的视角、显示面板的分辨率等设置诸如渲染时使用的虚拟摄像机的视角等的摄像机参数。渲染单元308设置虚拟摄像机的位置和姿势，使其与步骤S406中获取的用户头部的姿势信息匹配。此时，渲染单元308基于左右眼的眼幅校正两个虚拟摄像机的位置，使得虚拟摄像机之间的距离与眼幅匹配。渲染单元308使用设置的虚拟摄像机作为虚拟视点来渲染虚拟空间。此外，基于HMD的接目镜的失真几何地校正渲染的图像，从而在通过HMD的接目镜观看时图像显示不会失真。
图11A和图11B例示了显示图像的示例。图11A例示佩戴着HMD的用户面向前方的情况下的显示图像。例如，如果用户向右转头大约45°，显示图像变为如图11B所示。具体地，即使用户在虚拟空间中移动或环顾四周也能够实现表现。当用户在显示安装实际所处的显示环境中移动或环顾四周的同时观看显示单元105时，其模拟视频图像如何呈现。此时，如图11A和11B所例示，第一画面对象701的绝对坐标在虚拟空间中保持不变，渲染第二画面对象801以便跟随用户头部的位置/姿势。
如上所述，在本示例性实施例中，在虚拟空间中设置与要模拟的显示安装中的显示单元105对应的第一画面对象701、用于确认摄像装置101的视角的第二画面对象801以及地板和背景。然后，使用从摄像装置101获取的运动图像的帧图像基于用户头部的位置/姿势执行渲染处理，从而生成显示图像。此时，如本示例性实施例中的描述，基于佩戴着HMD的用户的头部的位置和姿势实立体镜地生成显示图像。在用户佩戴的HMD上显示生成的显示图像，从而向用户提供仿佛置身真实的显示环境中观看视频图像的体验。
在现实中，很难在摄像场地临时设置显示安装并在摄像场地确认显示安装上显示的图像。然而，如在本示例性实施例中，用户仿佛处在显示安装所处的显示环境中的那样执行的模拟引至具有防止遗漏被摄体的取景的摄像辅助。此外，还变得能够在摄像期间确认并实施摄影技巧和取景，以便提高在真实显示环境中进行显示时的真实感。此外，除了在显示安装上显示的模拟图像外，还在虚拟空间中直接显示从摄像装置101实时获取的正在拍摄的图像。这就使得能够比较并确认正在拍摄的视频图像和基于拍摄的视频图像在显示安装上显示的图像的呈现方式。
在第二示例性实施例中，将描述基于用户指令对第二画面对象801的渲染进行控制的方法。如上文在第一示例性实施例中的描述，第二画面对象801是为了确认摄像装置101的视角而在虚拟空间中设置的虚拟对象。在本示例性实施例中，根据用户指令显示或隐藏HMD上显示的显示图像中的第二画面对象801。对与第一示例性实施例相似的各配置赋予相同的附图标记，并省略其的详细描述。
下文将描述根据本示例性实施例的图像处理装置102进行的处理。图12是例示根据本示例性实施例的图像处理的流程图。
在步骤S1201中，虚拟空间设置单元305设置用于在虚拟空间中再现要模拟的位于真实显示环境中的真实显示器的第一画面对象。在步骤S1202中，虚拟空间设置单元305设置地面901和背景。在步骤S1203中，理想视点设置单元302设置用于在真实显示环境中观看真实显示器的理想视点位置。
在步骤S1204中，摄像参数设置单元303根据连接的摄像装置101的设置来设置摄像参数。在步骤S1205中，图像获取单元301从摄像装置101获取运动图像的帧图像数据的一帧。在步骤S1206中，位置/姿势获取单元304获取用户的姿势信息。在步骤S1207中，第一纹理生成单元306生成要在第一画面对象701上显示的第一纹理。
在步骤S1208中，控制单元(未例示)确定是否进行全视角显示。通过在图6例示的GUI上获取全视角显示打开/关闭复选框606的状态来执行。如果选中全视角显示打开/关闭复选框606，则控制单元确定要执行全视角显示(在步骤S1208中为“是”)，然后处理进入步骤S1209。另一方面，如果没有选中全视角显示打开/关闭复选框606，则控制单元确定不执行全视角显示(在步骤S1208中为“否”)，然后处理进入步骤S1211。
在步骤S1209中，虚拟空间设置单元305设置第二画面对象801。在步骤S1210中，第二纹理生成单元307生成要在第二画面对象801上显示的第二纹理。在步骤S1211中，渲染单元308使用预先设置的虚拟空间信息、第一纹理和第二纹理执行渲染处理，并生成要在HMD上显示的显示图像。处理的详细内容与上文步骤S503中的类似，但在控制单元确定在步骤S1208中没有执行全视角显示的情况中，针对显示图像，不渲染第二画面对象801。图13A和图13B例示了显示图像如何根据全视角显示打开/关闭复选框606的状态而变化。图13A例示了选中全视角显示打开/关闭复选框606的情况下显示的显示图像的示例。图13B例示了没有选中全视角显示打开/关闭复选框606的情况下显示的显示图像的示例。
在步骤S1212中，控制单元(未例示)基于HMD的帧速率执行待机处理。例如，在帧速率是60fps的情况下，控制单元调整处理时间以使从步骤S1205到步骤S1212的总处理时间大约是16毫秒。在步骤S1213中，显示图像输出单元309将步骤S1211中生成的显示图像输出到HMD，并在HMD上显示显示图像。
在步骤S1214中，控制单元(未例示)确定是否结束显示。如果用户在图6中例示的GUI上按下结束按钮607(在步骤S1214中为“是”)，则HMD上的显示结束。另一方面，如果没有按下结束按钮607(在步骤S1214中为“否”)，则处理返回到步骤S1205并继续。
在用户想要确认摄像期间所拍摄的图像如何在显示安装上进行显示的情况下，显示第二画面对象，引至摄像辅助。一方面，在用户想要只确认摄像期间视频图像如何呈现在显示安装上或者确认所拍摄的视频图像是否是适合显示安装中的显示单元的内容的情况下，不需要第二画面对象。因此，在本示例性实施例中，根据用户指示显示或隐藏HMD上显示的显示图像中的第二画面对象801。这就使得能够根据用户需要提供显示安装的仿真图像。
如上所述，在本示例性实施例中，在模拟以相互连接的方式配置多个平面显示器的显示安装的情况下，第一画面对象701由连接在一起的多个矩形对象形成。为了提高矩形对象的边界的可见性，显示图像生成单元310能够例如将在显示图像中与多个矩形对象的边界对应的像素转换为诸如黑色等的容易看见的像素值。可选地，在设置第一画面对象时，虚拟空间设置单元305能够以使多个矩形对象的边界中形成间隙的方式校正顶点的坐标。作为校正矩形对象的顶点坐标的校正结果，在渲染的显示图像中强调矩形对象之间的边界线。图14B例示了提高边界的可见性的情况下的显示图像的示例。图14A例示了没有提高边界的可见性的情况下的显示图像的示例。从图14A可以明显看出，在边界的可见性不够高的情况下，用户很难立刻辨认出三个矩形对象的边界在哪里，或者确定第一画面对象701是否由三个平面形成。相比之下，图14B例示了提高边界的可见性的情况中的显示图像的示例。在图14B中，使用黑线绘出相邻矩形对象之间的边界，从而使用户能够立刻辨认出各平面矩形对象的边界。
在本示例性实施例中，描述选择“180英寸，3画面，120°”作为显示安装配置的情况的示例。例如，在用户在GUI上改变显示装置结构604的情况中能够根据设置的参数改变显示图像。下文将在本示例性实施例中描述在改变显示装置结构604的情况中显示图像如何改变。首先，在选择“180英寸，3画面，120°”的情况中的显示图像是如图15A中例示的图像1501。此时，第一画面对象1503是从正上方看到的形状。以使三个平面形成等腰梯形的上底和两腰的方式设置第一画面对象1503。图像1501是从视点位置1505以通过虚线表示的视角生成的显示图像的示例。接下来，如果用户将显示装置结构设置从此状态改变为例如“弯曲，4.5R，2.5H，150°”，则显示图像变为图15B中例示的图像1502。“弯曲，4.5R，2.5H，150°”表示具备以在视点位置侧上具有中心进行了弯曲的平面显示器的弯曲显示器。此时，在第一画面对象是具有通过以150°裁切具有4.5米半径、2.5米高的圆柱体的侧面而形成的形状的曲面显示器的情况中，第一画面对象1504是从正上方看到的第一画面对象的形状。图像1502是以从视点位置1506通过虚线表示的视角生成的显示图像的示例。如上所述，如果用户改变显示装置结构604的设置，则改变HMD上的显示图像，以在所设置的结构的显示安装上显示视频图像时模拟视频图像如何呈现。
在以上描述的示例性实施例中，描述了如下处理：显示图像生成单元310根据佩戴着HMD的用户的位置和姿势改变显示图像，以便使用户具有用户仿佛在真实的显示环境中观看视频图像的体验。或者，可以包括在渲染时是否使用用户的位置/姿势的确定处理。例如，存在如下情况：最好以不论摄像期间用户姿势如何，第一画面对象总是位于正面的方式显示图像。因此，如果基于用户的指示确定不使用用户的位置/姿势，则将渲染时的虚拟摄像机的位置固定在原点，将虚拟摄像机的光轴方向固定在Z轴的正方向，并将虚拟摄像机的向上方向固定在Y轴的正方向。可以在图6例示的GUI上设置位置/姿势打开/关闭复选框作为选择是否使用用户的位置/姿势的工具，所以用户能够经由位置/姿势打开/关闭复选框直接选择是否使用位置/姿势。或者，从摄像装置101接收表示是否正在执行记录的数据，所以在正在执行记录的情况下，模式自动变为不使用位置/姿势的模式。
在以上描述的示例性实施例中，描述了在作为第二显示装置104的HMD上显示通过渲染虚拟空间生成的显示图像的示例。或者，可以使用除HMD以外的显示装置作为第二显示装置104。例如，可以使用智能手机或平板电脑等移动信息终端作为第二显示装置104。在智能手机或平板电脑的情况中，信息终端的姿势和方向是可检测的，因此如上述示例性实施例那样，通过从信息终端获取位置和姿势信息，并基于终端的方向渲染虚拟空间，能够生成显示图像，并能够输出生成的显示图像。或者，能够使用个人计算机或输入装置(鼠标、触摸面板显示)用作第二显示装置104。然而，在正常显示的情况下，有时不能获取姿势信息。在这种情况下，将通过从虚拟视点渲染虚拟空间获取的显示图像显示在显示器上，并呈现给用户。此时，最好使用户能够通过使用鼠标或触摸面板的操作针对显示图像设置虚拟视点。能够显示基于经由输入装置指定的虚拟视点渲染的显示图像。
在以上描述的示例性实施例中，描述CPU 201执行程序从而实现图3中例示的各装置的软件作为示例。或者，通过专用的处理电路能够实现图3中例示的部分或所有配置。还可以通过如下处理来实现本发明：经由网络或存储介质向系统或装置提供用于实现上述示例性实施例的各功能的程序，系统或装置的计算机的一个或多个处理器读取并执行程序的处理。还可以通过实现一个或多个功能的电路(例如，特定用途集成电路(ASIC))来实现本发明。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (19)

1.一种图像处理装置，所述图像处理装置包括：
第一获取单元，其被配置为从摄像装置获取图像数据；
第二获取单元，其被配置为获取表示显示安装中要模拟的一个或者多个显示画面的结构的显示安装信息；
生成单元，其被配置为基于所述显示安装信息和所述获取的图像数据生成在显示安装上模拟图像的显示的模拟图像；以及
显示控制单元，其被配置为在显示设备上显示所述模拟图像。
2.根据权利要求1所述的图像处理装置，其中，所述生成单元被配置为模拟具有弯曲画面的显示安装。
3.根据权利要求1所述的图像处理装置，其中，所述生成单元被配置为模拟包括多个平面显示画面的组合的显示安装。
4.根据权利要求1所述的图像处理装置，其中，所述生成单元被配置为基于所述一个或者多个显示画面向观看者显示图像的视角生成图像作为所述模拟图像。
5.根据权利要求1所述的图像处理装置，其中，所述生成单元被配置为通过进行渲染生成在虚拟空间中从与所述显示安装对应的虚拟视点观看的第一虚拟对象。
6.根据权利要求5所述的图像处理装置，其中，所述生成单元被配置为通过进一步进行渲染生成在虚拟空间中与所述捕获图像的全视角相对应的第二虚拟对象，并生成与捕获图像对应的图像。
7.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
第一设置单元，其被配置为通过在虚拟空间中与所述显示安装对应的第一虚拟对象上渲染所述捕获图像，在虚拟空间中设置与显示了至少部分所述捕获图像的显示安装对应的第一虚拟对象；以及
第二设置单元，其被配置为设置虚拟视点，
其中，所述生成单元从所述第二设置单元设置的虚拟视点渲染所述第一设置单元设置的虚拟空间。
8.根据权利要求7所述的图像处理装置，其中，所述第二设置单元获取与观看所述显示设备的观看者的姿势相关的姿势信息，并基于所述姿势信息设置所述虚拟视点。
9.根据权利要求1所述的图像处理装置，所述显示设备是头戴式显示器。
10.根据权利要求7所述的图像处理装置，所述图像处理装置还包括第三设置单元，其被配置为设置用于观看所述显示安装的理想视点的位置，
其中，从所述理想视点的位置将所述捕获图像反向投影到所述第一虚拟对象。
11.根据权利要求7所述的图像处理装置，所述图像处理装置还包括第三获取单元，其被配置为在摄像装置正在拍摄要通过所述第一获取单元获取的所述捕获图像时，获取所述摄像装置的摄像参数，
其中，所述第二设置单元基于所述摄像参数设置虚拟空间中用于显示所述摄像装置拍摄的图像的第二虚拟对象。
12.根据权利要求11所述的图像处理装置，其中，所述第二设置单元被配置为在不与从所述虚拟视点的位置观看所述第一虚拟对象时的视角重叠的位置配置所述第二虚拟对象。
13.根据权利要求3所述的图像处理装置，其中，所述生成单元被配置为以能够辨认所述多个平面显示画面的边界线的方式生成所述模拟图像。
14.根据权利要求1所述的图像处理装置，其中，所述显示安装以与拍摄所述捕获图像时的摄像视角不同的视角显示所述摄像装置。
15.根据权利要求1所述的图像处理装置，其中，所述生成单元被配置为基于所述显示设备的观看者的视线方向生成所述模拟图像。
16.根据权利要求15所述的图像处理装置，其中，所述显示控制单元以使根据所述视线方向改变的所述模拟图像和不管视线方向如何都保持不变的所述捕获图像彼此相邻排列的方式显示所述模拟图像和所述捕获图像。
17.一种摄像辅助系统，其配置为模拟在显示安装的第一显示画面上图像的显示，所述摄像辅助系统包括：
摄像装置，其被配置为拍摄所述图像；
显示设备，其被配置为显示在所述显示安装上模拟所述捕获图像的显示的模拟图像；以及
图像处理装置，其被配置为从所述捕获图像生成所述模拟图像，并在所述显示设备上显示所述模拟图像。
18.一种图像处理方法，所述图像处理方法包括：
获取图像数据；
获取表示显示安装中要模拟的一个或者多个显示画面的结构的显示安装信息；
基于所述显示安装信息和所述获取的图像数据生成在显示安装上模拟图像的显示的模拟图像；以及
在显示设备上显示所述模拟图像。
19.一种非易失性计算机可读存储介质，其存储指令，并在计算机执行指令时使计算机执行一种图像处理方法，所述图像处理方法包括：
获取图像数据；
获取表示显示安装中要模拟的一个或者多个显示画面的结构的显示安装信息；
基于所述显示安装信息和所述获取是图像数据生成在显示安装上模拟图像的显示的模拟图像；以及
在显示设备上显示所述模拟图像。
CN201910571171.2A 2018-07-02 2019-06-28 图像处理装置、图像处理方法和存储介质 Active CN110738736B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018125941A JP7182920B2 (ja) 2018-07-02 2018-07-02 画像処理装置、画像処理方法およびプログラム
JP2018-125941 2018-07-02

Publications (2)

Publication Number Publication Date
CN110738736A true CN110738736A (zh) 2020-01-31
CN110738736B CN110738736B (zh) 2023-08-29

Family

ID=66998085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910571171.2A Active CN110738736B (zh) 2018-07-02 2019-06-28 图像处理装置、图像处理方法和存储介质

Country Status (5)

Country Link
US (2) US11024265B2 (zh)
EP (1) EP3591966B1 (zh)
JP (1) JP7182920B2 (zh)
KR (1) KR102539427B1 (zh)
CN (1) CN110738736B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10935878B2 (en) * 2018-02-20 2021-03-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP2019146155A (ja) * 2018-02-20 2019-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7395296B2 (ja) * 2019-09-17 2023-12-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN111123743A (zh) * 2020-01-03 2020-05-08 中仿智能科技（上海）股份有限公司 一种模拟飞行器人机交互系统
JP2023011263A (ja) * 2021-07-12 2023-01-24 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム
JP2023011262A (ja) * 2021-07-12 2023-01-24 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム
US11818331B2 (en) * 2021-11-19 2023-11-14 Lenovo (Singapore) Pte. Ltd. Display headset

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110183301A1 (en) * 2010-01-27 2011-07-28 L-3 Communications Corporation Method and system for single-pass rendering for off-axis view
US20140168375A1 (en) * 2011-07-25 2014-06-19 Panasonic Corporation Image conversion device, camera, video system, image conversion method and recording medium recording a program
US20150016777A1 (en) * 2012-06-11 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20150178939A1 (en) * 2013-11-27 2015-06-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP6203369B1 (ja) * 2016-12-08 2017-09-27 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN107533230A (zh) * 2015-03-06 2018-01-02 索尼互动娱乐股份有限公司 头戴式显示器用追踪系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052357B2 (ja) 1999-02-23 2008-02-27 松下電工株式会社 仮想環境体験表示装置
JP3795856B2 (ja) * 2002-12-09 2006-07-12 株式会社スクウェア・エニックス ビデオゲーム装置、ビデオゲームの進行制御方法、プログラム及び記録媒体
JP6023801B2 (ja) * 2012-05-25 2016-11-09 Hoya株式会社 シミュレーション装置
US10295338B2 (en) * 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US10296279B2 (en) * 2014-05-13 2019-05-21 Lenovo (Singapore) Pte. Ltd. Displaying images across multiple displays
US9396588B1 (en) * 2015-06-30 2016-07-19 Ariadne's Thread (Usa), Inc. (Dba Immerex) Virtual reality virtual theater system
WO2018126220A1 (en) * 2016-12-30 2018-07-05 Holonyne Corporation Virtual display engine
EP3654638A4 (en) * 2017-07-14 2020-11-11 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2018097847A (ja) * 2017-08-21 2018-06-21 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110183301A1 (en) * 2010-01-27 2011-07-28 L-3 Communications Corporation Method and system for single-pass rendering for off-axis view
US20140168375A1 (en) * 2011-07-25 2014-06-19 Panasonic Corporation Image conversion device, camera, video system, image conversion method and recording medium recording a program
US20150016777A1 (en) * 2012-06-11 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20150178939A1 (en) * 2013-11-27 2015-06-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN107533230A (zh) * 2015-03-06 2018-01-02 索尼互动娱乐股份有限公司 头戴式显示器用追踪系统
JP6203369B1 (ja) * 2016-12-08 2017-09-27 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Also Published As

Publication number Publication date
US11562717B2 (en) 2023-01-24
KR20200003719A (ko) 2020-01-10
EP3591966A1 (en) 2020-01-08
US20210256941A1 (en) 2021-08-19
KR102539427B1 (ko) 2023-06-02
CN110738736B (zh) 2023-08-29
JP7182920B2 (ja) 2022-12-05
JP2020004325A (ja) 2020-01-09
US11024265B2 (en) 2021-06-01
US20200005738A1 (en) 2020-01-02
EP3591966B1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
CN110738736B (zh) 图像处理装置、图像处理方法和存储介质
CN112926428B (zh) 使用合成图像训练对象检测算法的方法和系统和存储介质
CN108292489A (zh) 信息处理装置和图像生成方法
CN111164971B (zh) 用于3d内容的视差观察器系统
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
CN109743892A (zh) 虚拟现实内容的显示方法和装置
CN110554770A (zh) 静态遮挡物
CN113170070A (zh) 影像显示装置和方法
JP2016162392A (ja) ３次元画像処理装置および３次元画像処理システム
JPWO2017122270A1 (ja) 画像表示装置
US11212502B2 (en) Method of modifying an image on a computational device
CN110870304B (zh) 向用户提供信息以观察多视图内容的方法和装置
JP6641122B2 (ja) 表示装置及び情報処理装置及びその制御方法
CN114953463A (zh) 信息处理设备、信息处理方法和存储介质
US10935878B2 (en) Image processing apparatus, image processing method, and program
JP2008287588A (ja) 画像処理装置および方法
Staadt et al. A foveal inset for large display environments
CN115623184A (zh) 虚拟现实模拟器以及计算机可读取记录介质
JP2019146010A (ja) 画像処理装置、画像処理方法およびプログラム
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
JP2019062302A (ja) 画像処理装置、画像表示装置及び画像処理プログラム
JP2019146157A (ja) 画像処理装置、画像処理方法およびプログラム
Ahlborn et al. Design and implementation of a foveal projection display
JP2024029955A (ja) 表示システム、表示方法、処理装置およびプログラム
CN114690408A (zh) 近眼显示系统及显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant