CN111149356A - 用于投影沉浸式视听内容的方法 - Google Patents

用于投影沉浸式视听内容的方法 Download PDF

Info

Publication number
CN111149356A
CN111149356A CN201880043517.5A CN201880043517A CN111149356A CN 111149356 A CN111149356 A CN 111149356A CN 201880043517 A CN201880043517 A CN 201880043517A CN 111149356 A CN111149356 A CN 111149356A
Authority
CN
China
Prior art keywords
digital image
space
projected
immersive content
projecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880043517.5A
Other languages
English (en)
Inventor
迭戈·塞拉诺·维加拉
佩德罗·塞拉诺·维加拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Broomx Technologies Sl
Original Assignee
Broomx Technologies Sl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Broomx Technologies Sl filed Critical Broomx Technologies Sl
Publication of CN111149356A publication Critical patent/CN111149356A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

用于投影沉浸式视听内容的方法，包括裁剪步骤(2)，在该步骤中对数字图像(1)进行裁剪，选择其尺寸；所述方法还包括校正(3)所述数字图像(1)的光学失真用于其投影。该方法为单个用户或一组用户提供了一种在真实空间中投影沉浸式优化的视听内容的方法。

Description

用于投影沉浸式视听内容的方法
技术领域
本发明涉及用于在真实空间中投影沉浸式视听内容的方法，该方法使得可以在视听内容空间中提供全面的视觉覆盖。
背景技术
沉浸式内容或视频(也被称为球形或360度视频)在模拟现实世界的虚拟动作和空间(沉浸式技术)上是众所周知的。通常，这些视频会再现场景的全景，场景可以是真实的，通过使用全方位摄像机(omnidirectional camera)或摄像机集合在每个可能的方向上同时捕获场景的视图来实现真实场景的全景；场景也可以是虚拟的，通过使用3D创建软件来实现虚拟场景的全景。沉浸式内容越来越多地用于市场营销、广告、教育或休闲来吸引更多的消费者，通过让他们“体验”产品和服务的感觉来“吸引”他们。它也用于音乐表演、电影院、音乐会等来拥有更广泛的观众，而无需其亲临现场；另外，沉浸式内容也用在休闲游戏和教育领域。
除了捕获360度视频外，沉浸式内容制作技术还需要特定的后期制作和三维动画制作软件，其需要能够实现不同图像投影的计算机应用程序，这些图像例如是等距圆柱投影(equirectangular)、圆柱投影、球面投影、鱼眼投影、立方投影映射等。
目前，有许多公司致力于创建360度视听内容，积极开发这种类型的内容，而其它公司(如YouTube或FaceBook)则开发在线平台，以在浏览器中存储和再现该内容。然而，尽管沉浸式内容确实正在蓬勃发展，但是，在沉浸式内容制作技术和沉浸式内容再现技术之间存在不平衡。
已知的沉浸式内容再现技术是在穹状建筑物或天文馆中使用的，是一项非常昂贵的技术，这是因为该技术只适用于异常事件，而无法单独使用。
迄今为止，最广泛的个人沉浸式内容再现技术是使用虚拟现实(VR)眼镜和平板电脑或移动浏览器。然而，这些VR眼镜只能使戴着它们的人欣赏到内容，并将他们与其真实环境隔开，并且也不舒服，这样就限制了欣赏内容的持续时间。
目前，文献WO 2012/118769设想到了一种解决方案，其描述了一种围绕用户/玩家、向他们提供个人沉浸式体验的视频游戏图像投影环境。为此，该系统具有各种显示器，诸如TV等离子屏幕等常规2D图像显示器和包括RGB显示器(其提供围绕该显示器的外围图像)的3D显示器。然而，文献WO 2012/118769并没有公开此显示器(在文献WO 2012/118769中被称为“环境”)实现360度投影的技术手段。此外，文献WO 2012/118769指出，为了使用户在图像投影中获得沉浸式3D体验，他们必须戴上一种装置(头戴式视图器(headset)或眼镜)，该装置配置成与构成该系统的所有显示器同步操作。文献WO 2012/118769公开的系统还需要与用户的动作同步，以将他们的动作应用于与视频游戏图像交互的玩家的环境中，这就限制了所显示的视听内容的格式和用户在沉浸式体验中的角色，在此沉浸式体验中，玩家在最佳位置区域扮演着积极的角色，需要系统具有诸如头部追踪等技术。
然而，这些解决方案中还没有一项使用单个显示器投影沉浸式内容的技术方案。
因此，本发明要解决的技术问题是提供一种在真实空间中向一个用户或一群用户投影沉浸式优化视听内容的方法。
发明内容
本发明用于解决前述问题，解决现有技术中所述技术问题的不足。
本发明涉及一种用于投影沉浸式内容的方法，包括：
-裁剪数字图像，例如，沉浸式，选择其大小；
其特征在于，所述方法还包括校正所述数字图像的光学失真用于其投影，例如，由鱼眼型光学物理模块产生的几何失真。
根据本发明的用于投影沉浸式内容的方法还可包括用于根据所述数字图像要投影的空间校正所述数字图像的校正步骤，其中，用于根据所述数字图像要投影的空间校正所述数字图像的校正步骤包括根据所述空间的几何形状和/或颜色校正所述数字图像。
有利地，所述校正步骤通过使用来自显示镜头的光学失真数据来执行，其中，所述数字图像通过所述显示镜头投影；并且，所述校正步骤可借由物理镜头产生的变形的反变形来执行。
另外，用于根据所述数字图像要投影的空间校正所述数字图像的所述校正步骤通过使用红外深度传感相机(infrared depth-sensing camera)或使用软件来执行。
有利地，初始数字图像为等距圆柱图像。
另外，用于根据所述数字图像要投影的空间校正所述数字图像的所述校正步骤通过使用集成在显示器内或显示器外部的颜色和深度传感相机、或使用软件来执行。
本发明的投影方法使得可以在诸如闭合或不规则空间等空间内投影针对图像投影优化的图像。
应注意的是，本发明优选应用于闭合空间(closed space)中。
附图简要说明
以下是对附图的描述，附图有助于更好地理解本发明，并与本发明的实施例明确相关，附图所示实施例仅作为非限制性示例给出。
图1示出了本发明视听内容投影方法的方框图。
具体实施方式
本发明的方法用于在空间(例如，房间)中投影针对其投影而优化的沉浸式视听内容。
本发明的方法是在表示三维环境的二维数字图像1上执行的。例如，该数字图像1优选为工业标准的等距圆柱图像(equirectangular image)。
根据本发明的方法包括裁剪步骤2，在该步骤中，对所述数字图像1进行裁剪，即，选择其尺寸和坐标。对所述数字图像进行裁剪的该裁剪步骤可利用用户控制装置21的三维虚拟浏览数据来执行，该用户控制装置21例如是包括空间浏览界面的个人智能手机、应用程序或网页，但是不排除其使用由其它控制装置、或控制台游戏控制器、手势交互传感器等的组合发出的数据来执行。
控制装置21将用于剪裁(选择要显示的数字图像的一部分)的坐标(一系列指令)发送给中央单元(central unit)。
接下来，根据本发明的方法进行校正步骤3，在该步骤中，对光学失真进行校正，以防止在例如房间的墙壁上投影数字图像时发生失真。
使用来自镜头31的数据并利用软件来执行该校正步骤3，其中，所述数字图像将通过所述镜头31来投影。应该注意的是，如本领域技术人员已知的，镜头数据由镜头制造商自己提供。
所述校正借由反变形(reverse deformation)来执行，以校正由物理镜头31产生的变形。
通过这种方式，获得了针对其在真实环境中(例如，在房间的墙壁上)的投影而优化的校正数字图像。
应该注意的是，前述步骤有利地实时执行。
如果需要的话，本发明的方法还可包括根据所述数字图像所投影的空间对数字图像1进行校正的步骤41、42。
在该校正步骤中，可根据所述数字图像所投影的空间(例如，房间)的几何形状来对图像进行校正41，其包括使用从原始深度图像(raw depth image)44产生的空间的格式化深度图像43使投影的数字图像适应投影空间的几何形状。
此外，在所述校正步骤中，还可执行根据此空间的色度(colorimetry)对数字图像校正42，即，使用由所述空间从原始彩色图像46格式化的彩色图像45使投影的数字图像适应投影空间的色度。
在该校正步骤中，首先收集所述投影空间的几何形状和色度描述数据，以执行校正步骤41、42，在该些步骤中，实时图像处理是合适的。
应该注意的是，校正步骤41、42优选实时进行，但是，用于执行此步骤进行的必要数据(空间的深度和彩色图像)的收集不实时执行，而是可以先执行。
深度和彩色图像可以通过以下任何方式获得：
-集成在显示器主体内的深度和彩色相机；
-外部相机：供技术人员或用户使用的显示附件；或
-任何其它提供相同结果的技术手段，所述相同结果即：格式化深度图像和彩色图像。
例如，可以使用集成在投影单元内的或投影单元外部的颜色和深度传感器。
在这种情况下，可以从深度传感器和颜色传感器收集原始数据，可以对原始数据格式化以提取相关数据，并且可以将实时数据提供给先前描述的本发明方法的各步骤。
最后，投影针对投影空间优化的校正后的数字图像5。
尽管对本发明的特定实施例进行了描述，但是，对于本领域技术人员很显然的是，在不脱离所附权利要求限定的保护范围的情况下，可以对所描述的方法作出许多变化和修改，并且全部上述细节可由其它技术上等同的细节所代替。

Claims (9)

1.用于投影沉浸式内容的方法，包括：
-裁剪(2)数字图像(1)，选择其尺寸；
其特征在于，所述方法还包括校正(3)所述数字图像(1)的光学失真用于其投影。
2.根据权利要求1所述的用于投影沉浸式内容的方法，其特征在于，所述方法还包括根据所述数字图像(1)要投影的空间校正所述数字图像的校正步骤(41、42)。
3.根据权利要求2所述的用于投影沉浸式内容的方法，其特征在于，根据所述数字图像要投影的空间校正所述数字图像(1)的所述校正步骤包括根据所述空间的几何形状(41)和/或颜色(42)校正所述数字图像(1)。
4.根据权利要求1所述的用于投影沉浸式内容的方法，其特征在于，所述校正步骤(3)通过使用来自显示镜头(31)的光学失真数据来执行，其中，所述数字图像(1)将通过所述显示镜头(31)投影。
5.根据权利要求4所述的用于投影沉浸式内容的方法，其特征在于，所述校正步骤(3)借由所述镜头(31)产生的变形的反变形来执行。
6.根据权利要求4或5所述的用于投影沉浸式内容的方法，其特征在于，所述镜头(31)为鱼眼镜头。
7.根据权利要求1所述的用于投影沉浸式内容的方法，其特征在于，根据所述数字图像要投影的空间校正所述数字图像(1)的所述校正步骤(41、42)通过使用红外深度相机或使用软件来执行。
8.根据权利要求1所述的用于投影沉浸式内容的方法，其特征在于，所述数字图像(1)为等距圆柱图像。
9.根据权利要求2所述的用于投影沉浸式内容的方法，其特征在于，根据所述数字图像要投影的空间校正所述数字图像(1)的所述校正步骤(41、42)通过使用集成在显示器内或显示器外部的颜色和深度传感器来执行。
CN201880043517.5A 2017-06-27 2018-06-26 用于投影沉浸式视听内容的方法 Pending CN111149356A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ESP201730841 2017-06-27
ES201730841A ES2695250A1 (es) 2017-06-27 2017-06-27 Procedimiento para proyectar contenidos audiovisuales inmersivos
PCT/ES2018/070456 WO2019002652A2 (es) 2017-06-27 2018-06-26 Procedimiento para proyectar contenidos audiovisuales inmersivos

Publications (1)

Publication Number Publication Date
CN111149356A true CN111149356A (zh) 2020-05-12

Family

ID=64742017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880043517.5A Pending CN111149356A (zh) 2017-06-27 2018-06-26 用于投影沉浸式视听内容的方法

Country Status (6)

Country Link
US (1) US20200225467A1 (zh)
EP (1) EP3654099A2 (zh)
JP (1) JP2020530218A (zh)
CN (1) CN111149356A (zh)
ES (1) ES2695250A1 (zh)
WO (1) WO2019002652A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291543A (zh) * 2020-10-28 2021-01-29 杭州如雷科技有限公司 一种用于沉浸式三维内容的投影方法和系统
WO2024071579A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 프로젝션 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291184A1 (en) * 2006-06-16 2007-12-20 Michael Harville System and method for displaying images
CN1985266B (zh) * 2004-07-26 2010-05-05 奥普提克斯晶硅有限公司 全景视觉系统和方法
CN102203660A (zh) * 2008-11-28 2011-09-28 夏普株式会社 光学系统和显示器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101361023B (zh) * 2006-10-06 2011-06-22 拉利兄弟科学有限责任公司 三维内部背投影系统及其使用方法
US8102332B2 (en) * 2009-07-21 2012-01-24 Seiko Epson Corporation Intensity scaling for multi-projector displays
WO2012059279A1 (en) * 2010-11-05 2012-05-10 Telefonica, S.A. System and method for multiperspective 3d telepresence communication
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
US8879782B2 (en) * 2013-01-17 2014-11-04 Disney Enterprises, Inc. Projector light bulb
EP2849442B1 (en) * 2013-09-16 2017-03-29 ameria GmbH Gesture-controlled rear-projection system
US9848169B2 (en) * 2014-09-25 2017-12-19 Steve H. McNelley Transparent projection communication terminals
JP2016212784A (ja) * 2015-05-13 2016-12-15 株式会社リコー 画像処理装置、画像処理方法
US20160353146A1 (en) * 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
EP3304897A1 (en) * 2015-05-27 2018-04-11 Google LLC Capture and render of panoramic virtual reality content
JP6484349B2 (ja) * 2015-05-27 2019-03-13 グーグル エルエルシー カメラリグおよび立体画像キャプチャ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1985266B (zh) * 2004-07-26 2010-05-05 奥普提克斯晶硅有限公司 全景视觉系统和方法
US20070291184A1 (en) * 2006-06-16 2007-12-20 Michael Harville System and method for displaying images
CN102203660A (zh) * 2008-11-28 2011-09-28 夏普株式会社 光学系统和显示器

Also Published As

Publication number Publication date
EP3654099A2 (en) 2020-05-20
WO2019002652A2 (es) 2019-01-03
WO2019002652A3 (es) 2020-05-22
US20200225467A1 (en) 2020-07-16
ES2695250A1 (es) 2019-01-02
JP2020530218A (ja) 2020-10-15

Similar Documents

Publication Publication Date Title
US10645369B2 (en) Stereo viewing
US10078917B1 (en) Augmented reality simulation
JP6511386B2 (ja) 情報処理装置および画像生成方法
US9779538B2 (en) Real-time content immersion system
Lelyveld Virtual reality primer with an emphasis on camera-captured VR
JP2016537903A (ja) バーチャルリアリティコンテンツのつなぎ合わせおよび認識
JP7378243B2 (ja) 画像生成装置、画像表示装置および画像処理方法
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
KR20200005591A (ko) 몰입형 비디오 컨텐츠를 생성 및 렌더링하기 위한 방법들, 시스템들 및 매체들
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
CN111149356A (zh) 用于投影沉浸式视听内容的方法
US11036048B2 (en) Virtual reality system and method for displaying on a real-world display a viewable portion of a source file projected on an inverse spherical virtual screen
WO2012021129A1 (en) 3d rendering for a rotated viewer
CN114286077B (zh) 一种虚拟现实设备及vr场景图像显示方法
JP7172036B2 (ja) ３ｄｃｇ空間の鑑賞条件連動システム、方法、およびプログラム
WO2021161894A1 (ja) 情報処理システム、情報処理方法及びプログラム
US20230224431A1 (en) Techniques for enabling high fidelity magnification of video
DeHart Directing audience attention: cinematic composition in 360 natural history films
WO2014145558A1 (en) Equidistant stereo lens shader
JP2013090170A (ja) 立体視映像再生装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200512

WD01 Invention patent application deemed withdrawn after publication