CN114175630A - 利用注视点网格渲染沉浸式视频内容的方法、系统和介质 - Google Patents

利用注视点网格渲染沉浸式视频内容的方法、系统和介质 Download PDF

Info

Publication number
CN114175630A
CN114175630A CN201980098968.3A CN201980098968A CN114175630A CN 114175630 A CN114175630 A CN 114175630A CN 201980098968 A CN201980098968 A CN 201980098968A CN 114175630 A CN114175630 A CN 114175630A
Authority
CN
China
Prior art keywords
video content
content item
grid
point
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980098968.3A
Other languages
English (en)
Inventor
万明·吴
塞缪尔·克瓦伦
伊万·雅娜拉
邬昶畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN114175630A publication Critical patent/CN114175630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了用于利用注视点网格渲染沉浸式视频内容的方法、系统和介质。在一些实施例中，该方法包括：接收视频内容项；使用硬件处理器确定视频内容项是否满足至少一个准则；响应于确定视频内容项满足至少一个准则，使用硬件处理器，根据注视点比率参数生成视频内容项的帧被投影在其上的注视点网格，其中注视点网格具有非均匀位置映射，与视频内容项的每一帧的周边部分相比，非均匀位置映射增加了视频内容项的每一帧的中央部分中的像素密度；以及以包括所生成的注视点网格的文件格式存储视频内容项，其中通过将视频内容项作为纹理应用于所生成的注视点网格来渲染沉浸式视频内容。

Description

利用注视点网格渲染沉浸式视频内容的方法、系统和介质
相关申请的交叉引用
本申请要求于2019年7月28日提交的美国临时专利申请No.62/879,529的优先权，该申请的全文通过引用被并入本文。
技术领域
所公开的主题涉及用于利用注视点网格渲染沉浸式视频内容的方法、系统和介质。更具体地说，所公开的主题可以将视频内容作为纹理应用于注视点网格，该注视点网格通过牺牲视频的周边部分中的像素密度来增加视频的中央部分中的像素密度。
背景技术
许多用户喜欢在沉浸式环境中观看视频内容，如虚拟现实内容、增强现实内容、三维内容、180度内容或360度内容，这些可以为观看者提供沉浸式体验。例如，虚拟现实系统可以为用户生成沉浸式虚拟现实环境，其中用户可以与一个或多个虚拟对象交互。在更具体的示例中，可以使用诸如虚拟现实头载式设备或头戴式显示设备的设备来提供沉浸式虚拟现实环境。在另一示例中，增强现实系统可以为用户生成沉浸式增强现实环境，其中计算机生成的内容(例如，一个或多个图像)可以叠加在用户的当前视图上(例如，使用移动设备的相机)。
沉浸式视频内容经常通过将视频内容应用到网格例如鱼眼网格或三维等矩形网格来渲染，这使得视频内容被渲染成就像是填充球体的一部分而不是看起来平坦。然而，渲染沉浸式视频内容同时优化此类内容的视频品质是一项困难且资源密集的任务。
因此，希望提供用于利用注视点网格渲染沉浸式视频内容的新方法、系统和介质。
发明内容
提供了利用注视点网格渲染沉浸式视频内容的方法、系统和介质。
根据所公开主题的一些实施例，提供了一种用于生成沉浸式视频内容的方法，该方法包括：接收视频内容项；使用硬件处理器确定视频内容项是否满足至少一个准则；响应于确定视频内容项满足至少一个准则，使用硬件处理器根据注视点比率参数生成视频内容项的帧被投影在其上的注视点网格，其中注视点网格具有非均匀位置映射，与视频内容项的每一帧的周边部分相比，非均匀位置映射增加了视频内容项的每一帧的中央部分中的像素密度；以及以包括所生成的注视点网格的文件格式存储视频内容项，其中通过将视频内容项作为纹理应用于所生成的注视点网格来渲染沉浸式视频内容。
在一些实施例中，至少一个准则包括确定所接收的视频内容项是否与特定文件格式相关联。在一些实施例中，特定文件格式包括使用具有180度视场的定向立体投影的VR180文件格式。
在一些实施例中，至少一个准则包括确定所接收的视频内容项是包括立体内容还是单视场内容，并且方法还包括响应于确定所接收的视频内容项包括立体内容而生成注视点网格。
在一些实施例中，至少一个准则包括确定所接收的视频内容项是静态视频还是动态视频，静态视频包括当捕获视频内容时相机基本上没有移动的视频内容，动态视频包括相机运动元数据轨道，并且方法还包括响应于确定所接收的视频内容项是静态视频而生成注视点网格。
在一些实施例中，至少一个准则包括确定所接收的视频内容项是否与特定类型的输入网格相关联，并且方法还包括响应于确定所接收的视频内容项与裁剪的等矩形网格相关联而生成注视点网格。在一些实施例中，通过使用多项式拟合函数使裁剪的等矩形网格的二维UV映射变形来生成注视点网格。
在一些实施例中，该方法还包括基于第一注视点比率参数生成第一注视点网格，以及基于第二注视点比率参数生成第二注视点网格。
在一些实施例中，响应于确定接收的视频内容项从第一像素分辨率以下采样比被下采样到第二像素分辨率，并且视频内容项的每一帧的中央部分处的改善比对应于下采样比，生成注视点网格。
在一些实施例中，该方法还包括响应于从用户设备接收到对视频内容项的请求，将视频内容和生成的注视点网格发送到用户设备。
根据所公开主题的一些实施例，提供了一种用于生成沉浸式视频内容的系统，该系统包括存储器和硬件处理器，当执行被存储在存储器中的计算机可执行指令时，硬件处理器被配置为：接收视频内容项；确定视频内容项是否满足至少一个准则；响应于确定视频内容项满足至少一个准则根据注视点比率参数生成视频内容项的帧被投影在其上的注视点网格，其中注视点网格具有非均匀位置映射，与视频内容项的每一帧的周边部分相比，非均匀位置映射增加了视频内容项的每一帧的中央部分中的像素密度；以及以包括所生成的注视点网格的文件格式存储视频内容项，其中通过将视频内容项作为纹理应用于所生成的注视点网格来渲染沉浸式视频内容。
根据所公开主题的一些实施例，提供了一种非暂时性计算机可读介质，非暂时性计算机可读介质包含计算机可执行指令，当由处理器执行时，计算机可执行指令使处理器实现用于与沉浸式视频内容交互的方法，该方法包括：接收视频内容项；确定视频内容项是否满足至少一个准则；响应于确定视频内容项满足至少一个准则根据注视点比率参数生成视频内容项的帧被投影在其上的注视点网格，其中注视点网格具有非均匀位置映射，与视频内容项的每一帧的周边部分相比，非均匀位置映射增加了视频内容项的每一帧的中央部分中的像素密度；以及以包括所生成的注视点网格的文件格式存储视频内容项，其中通过将视频内容项作为纹理应用于所生成的注视点网格来渲染沉浸式视频内容。
根据所公开主题的一些实施例，提供了一种用于生成沉浸式视频内容的系统，该系统包括：用于接收视频内容项的装置；用于确定视频内容项是否满足至少一个准则的装置；用于响应于确定视频内容项满足至少一个准则而根据注视点比率参数生成视频内容项的帧被投影在其上的注视点网格的装置，其中注视点网格具有与视频内容项的每一帧的周边部分相比增加视频内容项的每一帧的中央部分中的像素密度的非均匀位置映射；以及用于以包括所生成的注视点网格的文件格式存储视频内容项的装置，其中通过将视频内容项作为纹理应用于所生成的注视点网格来渲染沉浸式视频内容。
附图说明
当结合下面的附图考虑时，参考下面对所公开的主题的详细描述，可以更全面地理解所公开的主题的各种目的、特征和优点，在附图中，相同的附图标记标识相同的元件。
图1示出了根据所公开主题的一些实施例用于确定是否生成注视点网格和生成注视点网格的过程的说明性示例。
图2示出了根据所公开主题的一些实施例使用注视点网格来渲染沉浸式视频内容的过程的说明性示例。
图3示出了根据所公开主题的一些实施例适合于实施在此描述的用于确定是否生成注视点网格和生成注视点网格的机制的说明性系统的示意图。
图4示出了根据所公开主题的一些实施例的可在图3的服务器和/或用户设备中使用的硬件的详细示例。
具体实施方式
根据各种实施例，提供了利用注视点网格渲染沉浸式视频内容的机制(其可以包括方法、系统和介质)。
在一些实施例中，这里描述的机制可以确定视频内容是否满足一个或多个准则，并且响应于视频内容满足一个或多个准则，可以生成注视点网格，注视点网格可用于将视频内容渲染为沉浸式视频内容，其中注视点网格可以增加视频内容的中央部分中的像素密度或分辨率。
如本文所使用的，注视点网格是具有非均匀UV或三维位置映射的网格结构，其通过牺牲视频的周边部分中的像素密度来增加视频的中央部分中的像素密度。
在一些实施例中，注视点网格可以是裁剪的等矩形网格的修改版本。例如，裁剪的等矩形网格中的UV顶点是均匀分布的，而注视点网格中的UV顶点不是均匀分布的。在更具体的示例中，180度裁剪的等矩形网格可以具有基本均匀的UV映射。继续该示例，可以通过使用多项式拟合函数使裁剪的等矩形网格的二维UV映射变形使得视频内容项的中央部分中的像素密度与视频内容项的周边部分中的像素密度相比增加来生成注视点网格。
应当指出的是，在一些实施例中，可以将类似的变形应用于三维位置网格，使得视频内容项的中央部分中的像素密度与UV映射保持不变的视频内容项的周边部分中的像素密度相比增加。
还应当指出的是，在一些实施例中，可以生成多个注视点网格。例如，这些机制可以根据第一注视点策略(例如，基于第一注视点比率参数的函数)生成第一注视点网格，并且根据第二注视点策略(例如，基于第二注视点比率参数的函数)生成第二注视点网格。在更具体的示例中，可以基于任何合适的条件(例如，视频类型、分辨率、计算资源等)来实现不同的注视点策略。在另一示例中，这些机制可以基于一个或多个条件从多个注视点策略中选择注视点策略，并且可以根据所选择的注视点策略生成注视点网格。
当在合适的设备(例如，虚拟现实头载式设备、头戴式显示设备、游戏控制台、移动电话、平板计算机、电视和/或任何其他合适类型的用户设备)上渲染视频内容时，该设备可以接收以包括注视点网格的格式的视频内容，其中视频内容的每一帧被投影到注视点网格上。例如，这里描述的机制可以生成注视点网格，该注视点网格可以用于将视频内容渲染为180度视频内容，这可以允许视频内容的观看者在观看视频内容时感到沉浸在视频内容中。在另一示例中，在一些实施例中，这里描述的机制可以生成注视点网格，该注视点网格可以用于将视频内容渲染为具有任何适当空间范围的三维视频内容。
在一些实施例中，这里描述的机制可以基于任何合适的准则为接收的视频生成注视点网格。
例如，在一些实施例中，这些机制可以确定所接收的视频是否与特定文件格式相关联。继续该示例，响应于确定所接收的视频具有使用具有180度视场的定向立体投影的VR180文件格式和/或满足任何其他合适的准则，这些机制可以生成用于渲染沉浸式视频内容的注视点网格。
在另一示例中，在一些实施例中，这些机制可以确定接收的视频是包括立体内容(例如，左眼/右眼视图或图像、三维图像等)还是包括单视场内容(例如，二维图像集合)。继续该示例，单视场内容可以在web接口、移动接口或其他非头载式设备接口中被渲染为二维内容，而立体内容可以被渲染用于在虚拟现实头载式设备、头戴式显示设备等上呈现。响应于确定接收的视频包括立体内容和/或满足任何其他合适的准则，这些机制可以生成用于渲染沉浸式视频内容的注视点网格。
在又一示例中，在一些实施例中，这些机制可以确定所接收的视频是静态视频还是动态视频，其中静态视频通常指的是在捕获所接收的视频时相机或相机组件基本上没有移动的视频。响应于确定所接收的视频是静态视频和/或满足任何其他合适的准则，这些机制可以生成用于渲染沉浸式视频内容的注视点网格。
在另一示例中，在一些实施例中，这些机制可以确定与所接收视频相关联的输入网格的类型。与所接收视频相关联的输入网格的示例可以包括鱼眼网格和裁剪的等矩形网格。响应于确定所接收的视频与裁剪的等矩形网格相关联和/或满足任何其他合适的准则，这些机制可以生成用于渲染沉浸式视频内容的注视点网格。
应当指出的是，在一些实施例中，这些机制可以生成注视点网格，用于在对视频内容下采样时将所接收的视频渲染为沉浸式视频内容。还应当指出的是，视频的中央部分处的改善比可由下采样比限制。例如，当从4K像素分辨率(例如，3849×2160像素或4096×2160像素)向1080p分辨率(例如，1920×1080像素)下采样视频内容时，视频的中央部分处的最高改善比为4。注意，在该实现方式中，改善比可以被测量为使用注视点网格所渲染的视频内容中的像素数除以使用原始网格所渲染的视频内容中的像素数。
在更具体的示例中，响应于确定接收的视频是包括VR180文件格式的立体内容并且与裁剪的等矩形输入网格相关联的静态视频，该机制可以生成用于渲染沉浸式视频内容的注视点网格。应当指出的是，任何合适的准则和任何合适的准则组合都可以用于确定是否生成注视点网格。
在一些实施例中，视频内容和所生成的注视点网格可以被发送到用户设备以由用户设备(例如，虚拟现实头载式设备、头戴式显示设备等)进行渲染。例如，在一些实施例中，所生成的注视点网格可以被插入到包括视频内容的视频文件中，并且视频文件可以被发送到用户设备。附加地或替代地，在一些实施例中，所生成的注视点网格可用作在创建视频内容的投影和/或视频内容的三维等矩形投影之前的中间步骤。
应当指出的是，在一些实施例中，还可以通过应用类似的注视点来修改包含在视频内容中的视频纹理。例如，在生成注视点网格中应用的注视点策略可用于修改包含在视频内容中的视频纹理，使得当在客户端设备处渲染沉浸式视频内容时，沉浸式视频内容看起来没有失真，同时牺牲在视频内容的边缘或周边部分的品质来增加视频内容的中心周围的品质(例如，非均匀的像素密度或分辨率)。
还应当指出的是，注视点网格可用于渲染沉浸式视频内容，从而实现沉浸式视频内容的总体感知视频分辨率或品质的改善，其中给定静态固定点的沉浸式视频内容的每一帧中的感兴趣的中央区域中的像素密度或分辨率大于沉浸式视频内容的每一帧中的外周区域中的像素密度或分辨率。
下面结合图1-4描述利用注视点网格渲染沉浸式视频内容的这些和其他特征。
转向图1，示出了根据所公开主题的一些实施例用于确定是否生成注视点网格和生成注视点网格的过程的说明性示例100。在一些实施例中，过程100的框可以由任何合适的设备例如存储视频内容并将存储的视频内容发送到用户设备的内容服务器(例如，如上面结合图3所示和描述的内容服务器302)执行。
过程100可以通过在110接收视频内容项开始。例如，过程100可以访问存储在内容服务器上的上传视频内容项。在另一示例中，过程100可以选择满足特定准则(例如，上传日期、观看计数等)的特定视频内容项。在更具体的示例中，过程100可以选择存储在内容服务器上的满足如下所描述的特定准则的特定视频内容项(例如，具有裁剪的等矩形网格的立体静态视频)。在又一示例中，过程100可以接收由具有用户帐户的用户已经上传的视频内容项。
应当指出的是，视频内容项可以从任何合适的源接收。例如，在一些实施例中，可以使用物理相机设备(例如，用于捕获360度立体视频的360度立体相机装备、用于捕获180度立体视频的VR180相机设备、一组广角相机等)来捕获立体视频内容。继续该示例，计算设备，例如虚拟现实头载式设备或头戴式显示设备，可以基于立体内容生成沉浸式环境，例如AR环境或VR环境。
过程100可以在120通过基于任何合适的准则确定是否生成用于与视频内容项相关联的注视点网格来继续。例如，过程100可以确定接收的视频内容项是否满足一个或多个准则，并且响应于视频内容项满足一个或多个准则，可以生成注视点网格，注视点网格可用于将视频内容渲染为沉浸式视频内容，其中注视点网格可以增加视频内容的中央部分中的像素密度或分辨率。在更具体的示例中，过程100可以确定生成注视点网格以将与裁剪的等矩形输入网格相关联的静态视频立体转码。
在一些实施例中，用于生成注视点网格的准则可以包括在130确定所接收的视频是否与特定文件格式相关联。继续该示例，过程100可以确定所接收的视频是使用VR180相机捕获的，并且具有使用具有180度视场的定向立体投影的VR180文件格式。在更具体的示例中，特定文件格式可以包括元数据，例如，该元数据定义从视频帧到球坐标系内的部分视口的投影(例如，根据球形视频V2元数据标准的球形视频元数据)，并且过程100可以通过确定这种元数据的存在来确定所接收的视频是否与特定文件格式相关联。在另一个更具体的示例中，当将视频内容项上传到内容服务器时，上传用户可以指示视频内容项与特定文件格式(例如，VR180文件格式)相关联，或者可以指示视频内容项包含特定类型的内容(例如，180度立体视频内容、360度立体视频内容等)。因此，根据球形视频V2元数据标准，可以通过球形视频元数据的存在和内容来识别VR180视频以进行处理或回放。
应当指出的是，响应于确定接收的视频内容项与特定文件格式(例如VR180文件格式)相关联，过程100可以继续确定接收的视频内容项是否是用于生成注视点网格的候选项。替代地，响应于确定所接收的视频内容项不与特定文件格式相关联，过程100可以确定不为所接收的视频内容项生成注视点网格。
在一些实施例中，用于生成注视点网格的准则可以包括在140确定所接收的视频内容项包括立体内容(例如，左眼/右眼视图或图像、三维图像等)还是单视场内容(例如，二维图像集合)。在继续此示例，单视场内容可以在web接口、移动接口或其他非头载式设备接口中被呈现为二维内容，而立体内容可以被渲染用于在虚拟现实头载式设备、头戴式显示设备等上呈现。在更具体的示例中，如上文所描述，所接收的视频内容项可以与球形视频元数据相关联，球形视频元数据例如定义了从视频帧到球坐标系内的部分视口的投影，并且过程100可以通过确定这种元数据中立体相关字段的存在来确定接收的视频是包括立体内容还是单视场内容。在另一个更具体的示例中，当将视频内容项上传到内容服务器时，上传用户可以指示视频内容项包含特定类型的内容(例如，180度立体视频内容、360度立体视频内容等)。
应当指出的是，响应于确定所接收的视频内容项包括立体内容，例如180度立体视频内容，过程100可以继续确定所接收的视频内容项是否是用于生成注视点网格的候选项。替代地，响应于确定接收的视频内容项包括单视场内容，过程100可以确定不为接收的视频内容项生成注视点网格。
在一些实施例中，用于生成注视点网格的准则可以包括在150处确定所接收的视频是静态视频还是动态视频。例如，静态视频通常是指这样的视频，其中在捕获所接收的视频时，诸如VR180相机或立体相机装备的相机或相机组件基本上不移动。相反，动态视频通常指相机或相机组件在视频捕获期间移动的视频。
例如，如上文所提到的，视频内容项可以与定义从视频帧到球坐标系内的部分视口的投影的元数据相关联。对于动态视频，与视频内容项相关联的这种元数据可以包括存储不同类型的相机运动元数据例如相机取向信息、陀螺仪信息、加速度计信息等的相机运动元数据轨道。例如，相机运动元数据轨道可以根据相机的运动向视频内容提供基于旋转的运动稳定，以使视频内容项的每个视频帧与固定的世界取向对准。继续该示例，确定所接收的视频是静态视频还是动态视频可以包括检测特定元数据例如相机运动元数据轨道的存在，其中包含相机运动元数据轨道的视频内容项可以被指定为动态视频。
应当指出的是，响应于确定所接收的视频内容项是静态视频，过程100可以继续确定所接收的视频内容项是否是用于生成注视点网格的候选项。替代地，响应于确定所接收的视频内容项是动态视频，过程100可以确定不为所接收的视频内容项生成注视点网格。例如，响应于确定接收的视频内容项的球形视频元数据包括相机运动元数据轨道或其他运动稳定信息，过程100可以确定不为所接收的视频内容项生成注视点网格。
在一些实施例中，用于生成注视点网格的准则可以包括在160确定与所接收的视频内容项相关联的输入网格的类型或网格格式。与所接收的视频内容项相关联的输入网格的说明性示例可以包括鱼眼网格和裁剪的等矩形网格。例如，过程100可以通过根据球形视频V2元数据标准访问球形视频元数据的内容并确定球形视频元数据中的ProjectionType元素的值是否被设置为裁剪的等矩形网格来确定接收的视频内容项是否与裁剪的等矩形输入网格相关联。
应当指出的是，响应于确定所接收的视频内容项与裁剪的等矩形输入网格相关联，过程100可以继续确定所接收的视频内容项是否是用于生成注视点网格的候选项。替代地，响应于确定所接收的视频内容项与另一网格类型(例如鱼眼网格)相关联，过程100可以确定不为所接收的视频内容项生成注视点网格。
在一些实施例中，用于生成注视点网格的准则可以包括在170处确定所接收的视频内容项是否正在被下采样。应当指出的是，注视点网格可以提供这样的感知，即通过牺牲或以其他方式降低视频内容项的每一帧的周边部分中的像素密度来改善视频内容项的每一帧的中央部分中的像素密度，其中当对视频内容项下采样时可以看到这种改善。
还应当指出的是，视频内容项的每一帧的中央部分处的改善比可由下采样比限制。例如，当从4K像素分辨率(例如，3849×2160像素或4096×2160像素)向1080P分辨率(例如，1920×1080像素)下采样视频内容项时，视频的中央部分处的最高改善比约为4。应当指出的是，在该实现方式中，改善比可以被测量为使用注视点网格所渲染的视频内容中的像素数除以使用原始网格所渲染的视频内容中的像素数。
响应于确定所接收的视频内容项正在被下采样，过程100可以继续确定所接收的视频内容项是否是用于生成注视点网格的候选项。替代地，响应于确定所接收的视频内容项没有被下采样，或者响应于确定改善比不大于特定阈值(例如，改善比为4)，过程100可以确定不为所接收的视频内容项生成注视点网格。
因此，响应于在130到170中确定所接收的视频内容项是否满足一个或多个准则，在180中，过程100可生成注视点网格，注视点网格可用于将视频内容项渲染为沉浸式视频内容。例如，响应于确定所接收的视频是包括VR180文件格式的立体内容并且与裁剪的等矩形输入网格相关联的静态视频，可以生成注视点网格来渲染沉浸式视频内容。应当指出的是，尽管这里描述的实施例一般涉及为包含与裁剪的等矩形输入网格相关联的立体内容的静态视频生成注视点网格，但是可以使用任何合适的准则和任何合适的准则组合来确定是否生成注视点网格。
如本文所描述，注视点网格是具有非均匀UV或三维位置映射的网格结构，其通过牺牲视频的周边部分中的像素密度来增加视频的中央部分中的像素密度。
在一些实施例中，可修改用于视频的立体转码的转码系统或转码流水线以生成注视点网格或以其他方式实施注视点策略。转码系统可以包括转码器控制部件，其设置视频参数和转码器元数据，其可以包括创建目标网格，需要目标网格将视频从一种网格格式重新投影为另一种网格格式或以其他方式将视频从一种网格格式转换为另一种网格格式。
应当指出的是，在一些实施例中，可以修改转码器控制部件以通过传递注视点比率参数来创建参数化注视点网格。在一些实施例中，注视点网格可以是裁剪的等矩形网格的修改版本。例如，裁剪的等矩形网格中的UV顶点是均匀分布的，而注视点网格中的UV顶点不是均匀分布的。在更具体的示例中，180度裁剪的等矩形网格可以具有基本均匀的UV映射。继续该示例，可以通过使用多项式拟合函数使裁剪的等矩形网格的二维UV映射变形来生成注视点网格，使得视频内容项的中央部分中的像素密度与视频内容项的周边部分中的像素密度相比得以增加。
应当指出的是，在一些实施例中，基于注视点比率参数的类似变形可以被应用于三维位置网格，使得视频内容项的中央部分中的像素密度与UV映射保持不变的视频内容项的周边部分中的像素密度相比得以增加。
在更具体的示例中，过程100可以基于注视点比率参数foveation_ratio来使归一化坐标normalized_coord注视点化。应当指出的是，在一些实施例中，这可以包括钳位输入坐标或以其他方式将位置限制在范围[0.0，1.0]。这个网格注视点可以被表示如下：
clamped_coord＝clamp(0.0,1.0,normalized_coord)
foveated_coord＝0.5+atan(sqrt(foveation_ratio)*tan((clamped_coord–0.5)*π))/π
继续该示例，过程100可以通过执行逆过程来解除归一化坐标注视点化，逆过程可以被表示如下：
clamped_coord＝clamp(0.0,1.0,normalized_coord)
unfoveated_coord＝atan(tan((clamped_coord–0.5)*π))/sqrt(foveation_ratio))/π+0.5
应当指出的是，在一些实施例中，可以生成多个注视点网格。例如，可以根据第一注视点策略(例如，基于第一注视点比率参数的多项式拟合函数)生成第一注视点网格，并且可以根据第二注视点策略(例如，基于第二注视点比率参数的多项式拟合函数)生成第二注视点网格。在更具体的示例中，可以基于任何合适的条件(例如，视频类型、分辨率、计算资源等)来实施不同的注视点策略。在另一示例中，可以基于一个或多个条件从多个注视点策略中选择注视点策略，并且可以根据所选择的注视点策略生成注视点网格。
回到图1，在一些实施例中，过程100可以在190处存储视频内容项和注视点网格。例如，过程100可以向注视点网格插入以特定文件格式(例如，VR180文件格式)的视频内容项。
当在合适的设备(例如，虚拟现实头载式设备、头戴式显示设备、游戏控制台、移动电话、平板计算机、电视和/或任何其他合适类型的用户设备)上渲染视频内容时，该设备可以接收以包括注视点网格的格式的视频内容，其中视频内容的每一帧被投影到注视点网格上。例如，这里描述的机制可以生成注视点网格，该注视点网格可以用于将视频内容渲染为180度视频内容，这可以允许视频内容的观看者在观看视频内容时感到沉浸在视频内容中。在另一示例中，在一些实施例中，这里描述的机制可以生成注视点网格，该注视点网格可以用于将视频内容渲染为具有任何适当空间范围的三维视频内容。
应当指出的是，注视点网格可用于渲染沉浸式视频内容，从而实现沉浸式视频内容的总体感知视频分辨率或品质的改善，其中给定静态固定点的沉浸式视频内容的每一帧中的感兴趣的中央区域中的像素密度或分辨率大于沉浸式视频内容的每一帧中的外周区域中的像素密度或分辨率。
在一些实施例中，视频内容和所生成的注视点网格可以被发送到用户设备以由用户设备(例如，虚拟现实头载式设备、头戴式显示设备等)进行渲染。
转向图2，示出了根据所公开主题的一些实施例用于渲染沉浸式视频内容的过程的说明性示例200。在一些实施例中，过程200的框可以由任何合适的设备执行，例如虚拟现实头载式设备、游戏控制台、移动电话、平板计算机、电视和/或任何其他合适类型的用户设备。
过程200可以在210通过请求视频内容项以在用户设备上呈现来开始。在一些实施例中，视频内容项可以是任何适当类型的视频内容项，例如要从内容服务器流式传输到用户设备的视频，和/或任何其他适当类型的视频内容项。在一些实施例中，可以以任何合适的方式在用户设备上请求视频内容项。例如，在一些实施例中，可以响应于用户设备的用户从包含可用视频内容的页面中选择视频内容项，和/或以任何其他合适的方式请求视频内容项。对视频内容项的请求可以从用户设备被发送到内容服务器(例如，如上面结合图3所示和描述的内容服务器302)。
响应于在210处发送的请求，过程200可以在220处接收视频内容项和将用于渲染视频内容项的相对应的注视点网格。例如，在一些实施例中，可以从存储如上文结合图1所描述的视频内容和/或生成的注视点网格的内容服务器(例如，如上文结合图3所示和描述的内容服务器302)接收视频内容项和相对应的注视点网格。在一些实施例中，可以以任何合适的方式接收视频内容项和相应的注视点网格。例如，在一些实施例中，注视点网格可以被插入到包括视频内容项的视频文件中，并且过程200可以使用任何合适的技术或技术的组合从视频文件中提取注视点网格。应当指出的是，可以使用任何合适的方案将相应的注视点网格注入视频内容项。
在230处，过程200可以使用任何合适的技术或技术的组合将用户设备上的视频内容项渲染为沉浸式内容。例如，在一些实施例中，过程200可以将视频内容项应用或投影到注视点网格上，以将视频内容项渲染为沉浸式内容。作为更具体的示例，在一些实施例中，过程200可以使用任何合适的技术(例如，UV映射，和/或任何其他合适的技术)来将内容从视频内容项作为纹理映射到注视点网格。作为另一示例，在一些实施例中，过程200可以通过将视频内容项的第一部分呈现给用户设备的观看者的左眼，并且将视频内容项的第二部分呈现给用户设备的观看者的右眼，将视频内容项渲染为立体内容。在一些这样的实施例中，视频内容项的第一部分和视频内容项的第二部分可以在用户设备上渲染之前分别被应用或投影到注视点网格上。
在一些实施例中，过程200可将视频内容项渲染为可由视频内容项的观看者操纵或交互的沉浸式内容。例如，在一些实施例中，过程200可以以允许观看者改变视频内容项的视点的方式渲染视频内容项。作为更具体的示例，在一些实施例中，在观看者正在使用虚拟现实头载式设备或其他可穿戴计算设备的情况下，过程200可以响应于确定观看者已经改变观看者头部的取向而改变视频内容项的呈现视点。作为另一个更具体的示例，在一些实施例中，过程200可以响应于确定观看者已经在用户设备上输入手势以操纵视点，例如通过选择和拖动上面呈现视频内容项的用户接口来改变视频内容项的呈现视点。
转向图3，示出了用于确定是否生成注视点网格、生成注视点网格和/或使用可根据所公开主题的一些实施例使用的注视点网格来渲染沉浸式视频内容的硬件的说明性示例300。如图所示，硬件300可以包括内容服务器302、通信网络304和/或一个或多个用户设备306，例如用户设备308和310。
内容服务器302可以是用于存储介质内容和/或向用户设备306提供介质内容的任何合适的服务器。例如，在一些实施例中，内容服务器302可以存储介质内容，例如视频、电视节目、电影、现场直播介质内容、音频内容、动画、视频游戏内容、图形和/或任何其他合适的介质内容。在一些实施例中，内容服务器302可以例如经由通信网络304向用户设备306发送介质内容。在一些实施例中，内容服务器302可以与由客户端设备(例如，用户设备306)用于将视频内容渲染为沉浸式内容的任何合适的信息相关联地存储视频内容(例如，现场视频内容、计算机生成的视频内容和/或任何其他合适类型的视频内容)，如上面结合图2所示和描述的。
在一些实施例中，通信网络304可以是一个或多个有线和/或无线网络的任何适当组合。例如，通信网络304可以包括因特网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其他合适的通信网络中的任何一个或多个。用户设备306可以通过一个或多个通信链路(例如，通信链路312)连接到通信网络304，通信网络304可以经由一个或多个通信链路(例如，通信链路314)链接到内容服务器302。通信链路可以是适合于在用户设备306与内容服务器302之中传送数据的任何通信链路，例如网络链路、拨号链路、无线链路、硬连线链路、任何其他合适的通信链路、或这些链路的任何合适的组合。
用户设备306可以包括适合于请求视频内容、将所请求的视频内容渲染为沉浸式视频内容(例如，作为虚拟现实内容、作为三维内容、作为360度视频内容、作为180度视频内容和/或以任何其他合适的方式)和/或用于执行任何其他合适的功能的任何一个或多个用户设备。例如，在一些实施例中，用户设备306可以包括移动设备，例如移动电话、平板计算机、可穿戴计算机、膝上型计算机、虚拟现实头载式设备、交通工具(例如，汽车、船、飞机或任何其他合适的交通工具)信息或娱乐系统，和/或任何其他合适的移动设备和/或任何其他合适的非移动设备(例如，台式计算机、游戏控制台和/或任何其他合适的非移动设备)。作为另一示例，在一些实施例中，用户设备306可以包括介质回放设备，例如电视、投影仪设备、游戏控制台、台式计算机和/或任何其他合适的非移动设备。
在用户设备306是由用户佩戴的头戴式显示设备的更具体示例中，用户设备306可以包括连接到便携式手持电子设备的头戴式显示设备。便携式手持电子设备可以是例如控制器、智能电话、操纵杆或另一便携式手持电子设备，其可与头戴式显示设备配对并与之通信，以便在由头戴式显示设备生成的沉浸式环境中进行交互，并且例如在头戴式显示设备的显示器上显示给用户。
应当指出的是，便携式手持电子设备可以经由例如有线连接或诸如WiFi或蓝牙连接的无线连接与头戴式显示设备可操作地耦合或配对。便携式手持电子设备和头戴式显示设备的这种配对或可操作的耦合可以提供便携式手持电子设备与头戴式显示设备之间的通信以及便携式手持电子设备与头戴式显示设备之间的数据交换。这可以允许，例如，便携式手持电子设备充当与头戴式显示设备通信的控制器，用于在由头戴式显示设备生成的沉浸式虚拟环境中进行交互。例如，对便携式手持电子设备的操纵、和/或在便携式手持电子设备的触摸表面上接收的输入、和/或便携式手持电子设备的移动可以被转变成由头戴式显示设备生成和显示的虚拟环境中的相对应选择、或移动或其他类型的交互。
还应当指出的是，在一些实施例中，便携式手持电子设备可以包括壳体，其中容纳设备的内部部件。可以在壳体上提供用户可访问的用户接口。用户接口可以包括，例如触摸敏感表面，触摸敏感表面被配置为接收用户触摸输入、触摸和拖动输入等。用户接口还可以包括用户操纵设备，例如，致动触发器、按钮、旋钮、拨动开关、操纵杆等。
还应当指出的是，在一些实施例中，头戴式显示设备可以包括耦合到框架的壳体，其中音频输出设备包括例如安装在头戴式耳机中、也耦合到框架的扬声器。例如，壳体的前部可以从壳体的基部旋转离开，使得被容纳在壳体中的部件中的一些部件是可见的。显示器可以安装在壳体前部的面向内部的一侧上。在一些实施例中，当前部靠着壳体的基部处于关闭位置时，透镜可以安装在壳体中用户眼睛与显示器之间的位置。头戴式显示设备可以包括感测系统(包括各种传感器)和控制系统(包括处理器和各种控制系统设备)，以便于所述头戴式显示设备的操作。
例如，在一些实施例中，感测系统可以包括惯性测量单元，该惯性测量单元包括各种不同类型的传感器，例如加速度计、陀螺仪、磁强计和其他此类传感器。可以基于由惯性测量单元中包括的传感器提供的数据来检测和跟踪头戴式显示设备的位置和取向。所检测到的头戴式显示设备的位置和取向可以允许系统依次检测和跟踪用户的头部凝视方向、头部凝视运动以及与头戴式显示设备的位置和取向有关的其他信息。
在一些实现方式中，头戴式显示设备可以包括凝视跟踪设备，该凝视跟踪设备包括例如一个或多个传感器以检测和跟踪眼睛凝视方向和移动。由(多个)传感器捕获的图像可以被处理以检测和跟踪用户眼睛凝视的方向和移动。所检测和跟踪的眼睛凝视可以被处理为用户输入，以被转变成沉浸式虚拟体验中的相应交互。相机可以捕获静止和/或运动图像，这些图像可用于帮助跟踪与头戴式显示设备通信/可操作地耦合的用户和/或其他外部设备的物理位置。所捕获的图像也可以在通过模式下在显示器上显示给用户。
尽管内容服务器302被示为一个设备，但在一些实施例中，由内容服务器302执行的功能可以使用任何适当数量的设备来执行。例如，在一些实施例中，可以使用多个设备来实施由内容服务器302执行的功能。在更具体的示例中，在一些实施例中，第一内容服务器可以存储介质内容项并响应对介质内容的请求，并且第二内容服务器可以生成对应于所请求的介质内容项的虚拟对象的缩略图表示。
尽管在图3中示出了两个用户设备308和310以避免使该图过于复杂，但在一些实施例中可以使用任何适当数量的用户设备和/或任何适当类型的用户设备。
在一些实施例中，可以使用任何合适的硬件来实施内容服务器302和用户设备306。例如，在一些实施例中，设备302和306可以使用任何合适的通用计算机或专用计算机来实施。例如，移动电话可以使用专用计算机来实施。任何这样的通用计算机或专用计算机可以包括任何合适的硬件。例如，如图4的示例硬件400所示，这样的硬件可以包括硬件处理器402、存储器和/或存储装置404、输入设备控制器406、输入设备408、显示/音频驱动器410、显示和音频输出电路系统412、(多个)通信接口414、天线416和总线418。
在一些实施例中，硬件处理器402可以包括任何合适的硬件处理器，例如微处理器、微控制器、(多个)数字信号处理器、专用逻辑和/或用于控制通用计算机或专用计算机的功能的任何其他合适的电路系统。在一些实施例中，硬件处理器402可以由服务器(例如，诸如内容服务器402)的存储器和/或存储装置404中存储的服务器程序控制。例如，在一些实施例中，服务器程序可以使硬件处理器402向用户设备206发送介质内容项，发送用于将视频内容项呈现渲染为沉浸式视频内容的指令，和/或执行任何其他合适的动作。在一些实施例中，硬件处理器402可以由存储在用户设备406的存储器和/或存储装置404中的计算机程序控制。例如，计算机程序可以使硬件处理器402将视频内容项渲染为沉浸式视频内容，和/或执行任何其他合适的动作。
在一些实施例中，存储器和/或存储装置404可以是用于存储程序、数据、介质内容和/或任何其他合适信息的任何合适的存储器和/或存储装置。例如，存储器和/或存储装置404可以包括随机存取存储器、只读存储器、闪存、硬盘存储装置、光学介质和/或任何其他合适的存储器。
在一些实施例中，输入设备控制器406可以是用于控制和接收来自一个或多个输入设备408的输入的任何合适的电路系统。例如，输入设备控制器406可以是用于从触摸屏、键盘、鼠标、一个或多个按钮、语音识别电路、麦克风、相机、光学传感器、加速度计、温度传感器、近场传感器和/或任何其他类型的输入设备接收输入的电路系统。
在一些实施例中，显示/音频驱动器410可以是用于控制和驱动到一个或多个显示/音频输出设备412的输出的任何合适的电路系统。例如，显示/音频驱动器410可以是用于驱动触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或多个扬声器和/或任何其他合适的显示和/或呈现设备的电路系统。
(多个)通信接口414可以是用于与一个或多个通信网络(例如，如图3所示的网络304)对接的任何合适的电路系统。例如，(多个)接口414可以包括网络接口卡电路系统、无线通信电路系统和/或任何其他合适类型的通信网络电路系统。
在一些实施例中，天线416可以是用于与通信网络(例如，通信网络304)无线通信的任何合适的一个或多个天线。在一些实施例中，可以省略天线416。
在一些实施例中，总线418可以是用于在两个或多个部件402、404、406、410和414之间通信的任何合适的机制。
根据一些实施例，任何其他合适的部件可以被包括在硬件400中。
在一些实施例中，图1和2的过程的上述框中的至少一些可以以不限于附图中所示和结合附图描述的次序和顺序的任何次序或顺序执行或实现。此外，图1和图2的上述框中的一些可以在适当的情况下基本上同时执行或并行执行，以减少等待时间和处理时间。附加地或替代地，可以省略图1和图2的过程的上述框中的一些。
在一些实施例中，任何合适的计算机可读介质可用于存储用于执行此处的功能和/或过程的指令。例如，在一些实施例中，计算机可读介质可以是暂时性的或非暂时性的。例如，非暂时性计算机可读介质可以包括诸如非暂时性形式的磁介质(例如硬盘，软盘和/或任何其他适当的磁介质)、非暂时形式的光学介质(例如光盘、数字视频光盘、蓝光光盘和/或任何其他适当的光学介质)、非暂时形式的半导体介质(例如闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和/或任何其他适当的半导体介质)、任何在传输期间不转瞬即逝或并非没有任何永久外观的适当介质，和/或任何适当的有形介质。作为另一个示例，暂时性计算机可读介质可以包括网络上的信号、电线、导体、光纤、电路中的信号、在传输期间转瞬即逝且没有任何永久外观的任何适当介质和/或任何适当的无形介质。
在这里描述的系统收集关于用户的个人信息或利用个人信息的情况下，可以向用户提供控制程序或特征是否收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前位置的信息)的机会。此外，某些数据可以在被存储或使用之前以一种或多种方式加以处理，从而删除个人信息。例如，可以处理用户的身份以使得不能为用户确定个人可识别的信息，或者可以在获得位置信息的地方概括用户的地理位置(例如到城市、邮政编码或州级)，从而不能确定用户的特定位置。因此，用户可以控制如何收集关于用户的信息并由内容服务器使用。
因此，提供了用于利用注视点网格渲染沉浸式视频内容的方法、系统和介质。
尽管在前述说明性实施例中已经描述和说明了本发明，但应理解，本公开仅作为示例进行，并且可以在不脱离本发明的精神和范围的情况下进行本发明的实现方式的细节的许多改变，本发明的精神和范围仅受随后的权利要求的限制。所公开的实施例的特征可以以各种方式加以组合和重新排列。

Claims (21)

1.一种用于生成沉浸式视频内容的方法，所述方法包括：
接收视频内容项；
使用硬件处理器确定所述视频内容项是否满足至少一个准则；
响应于确定所述视频内容项满足所述至少一个准则，使用所述硬件处理器根据注视点比率参数生成所述视频内容项的帧被投影在其上的注视点网格，其中所述注视点网格具有非均匀位置映射，与所述视频内容项的每一帧的周边部分相比，所述非均匀位置映射增加了所述视频内容项的每一帧的中央部分中的像素密度；以及
以包括所生成的注视点网格的文件格式存储所述视频内容项，其中通过将所述视频内容项作为纹理应用于所生成的注视点网格来渲染所述沉浸式视频内容。
2.根据权利要求1所述的方法，其中，所述至少一个准则包括确定所接收的视频内容项是否与特定文件格式相关联。
3.根据权利要求2所述的方法，其中，所述特定文件格式包括使用具有180度视场的定向立体投影的VR180文件格式。
4.根据权利要求1所述的方法，其中，所述至少一个准则包括确定所接收的视频内容项是包括立体内容还是单视场内容，并且其中，所述方法还包括响应于确定所接收的视频内容项包括立体内容而生成所述注视点网格。
5.根据权利要求1所述的方法，其中，所述至少一个准则包括确定所接收的视频内容项是静态视频还是动态视频，其中，所述静态视频包括当捕获所述视频内容时相机基本上没有移动的视频内容，其中，所述动态视频包括相机运动元数据轨道，并且其中，所述方法还包括响应于确定所接收的视频内容项是所述静态视频而生成所述注视点网格。
6.根据权利要求1所述的方法，其中，所述至少一个准则包括确定所接收的视频内容项是否与特定类型的输入网格相关联，并且其中，所述方法还包括响应于确定所接收的视频内容项与裁剪的等矩形网格相关联而生成所述注视点网格。
7.根据权利要求6所述的方法，其中，通过使用多项式拟合函数使所述裁剪的等矩形网格的二维UV映射变形来生成所述注视点网格。
8.根据权利要求1所述的方法，还包括基于第一注视点比率参数生成第一注视点网格，以及基于第二注视点比率参数生成第二注视点网格。
9.根据权利要求1所述的方法，其中，响应于确定所接收的视频从第一像素分辨率以下采样比被下采样到第二像素分辨率而生成所述注视点网格，并且其中，在所述视频内容项的每一帧的中央部分处的改善比与所述下采样比相对应。
10.根据权利要求1所述的方法，还包括响应于从用户设备接收到对所述视频内容项的请求，将所述视频内容和所生成的注视点网格发送到所述用户设备。
11.一种用于生成沉浸式视频内容的系统，所述系统包括：
存储器；以及
硬件处理器，所述硬件处理器在执行被存储在所述存储器中的计算机可执行指令时被配置成：
接收视频内容项；
确定所述视频内容项是否满足至少一个准则；
响应于确定所述视频内容项满足所述至少一个准则，根据注视点比率参数生成所述视频内容项的帧被投影在其上的注视点网格，其中，所述注视点网格具有非均匀位置映射，与所述视频内容项的每一帧的周边部分相比，所述非均匀位置映射增加了所述视频内容项的每一帧的中央部分中的像素密度；以及
以包括所生成的注视点网格的文件格式存储所述视频内容项，其中通过将所述视频内容项作为纹理应用于所生成的注视点网格来渲染所述沉浸式视频内容。
12.根据权利要求11所述的系统，其中，所述至少一个准则包括确定所接收的视频内容项是否与特定文件格式相关联。
13.根据权利要求12所述的系统，其中，所述特定文件格式包括使用具有180度视场的定向立体投影的VR180文件格式。
14.根据权利要求11所述的系统，其中，所述至少一个准则包括确定所接收的视频内容项是包括立体内容还是单视场内容，并且其中，所述硬件处理器还被配置成响应于确定所接收的视频内容项包括立体内容而生成所述注视点网格。
15.根据权利要求11所述的系统，其中所述至少一个准则包括确定所接收的视频内容项是静态视频还是动态视频，其中所述静态视频包括当捕获所述视频内容时相机基本上没有移动的视频内容，其中所述动态视频包括相机运动元数据轨道，并且其中所述硬件处理器还被配置成响应于确定所接收的视频内容项是所述静态视频而生成所述注视点网格。
16.根据权利要求11所述的系统，其中，所述至少一个准则包括确定所接收的视频内容项是否与特定类型的输入网格相关联，并且其中，所述硬件处理器还被配置成响应于确定所接收的视频内容项与裁剪的等矩形网格相关联而生成所述注视点网格。
17.根据权利要求16所述的系统，其中，通过使用多项式拟合函数使所述裁剪的等矩形网格的二维UV映射变形来生成所述注视点网格。
18.根据权利要求11所述的系统，其中，所述硬件处理器还被配置成基于第一注视点比率参数生成第一注视点网格，以及基于第二注视点比率参数生成第二注视点网格。
19.根据权利要求11所述的系统，其中，响应于确定所接收的视频从第一像素分辨率以下采样比被下采样到第二像素分辨率而生成所述注视点网格，并且其中，在所述视频内容项的每一帧的所述中央部分处的改善比与所述下采样比相对应。
20.根据权利要求11所述的系统，其中，所述硬件处理器还被配置为响应于从用户设备接收到对所述视频内容项的请求，将所述视频内容和所生成的注视点网格发送到所述用户设备。
21.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包含计算机可执行指令，所述计算机可执行指令在被处理器执行时导致所述处理器执行用于生成沉浸式视频内容的方法，所述方法包括：
接收视频内容项；
使用硬件处理器确定所述视频内容项是否满足至少一个准则；
响应于确定所述视频内容项满足所述至少一个准则，使用所述硬件处理器根据注视点比率参数生成所述视频内容项的帧被投影在其上的注视点网格，其中，所述注视点网格具有非均匀位置映射，与所述视频内容项的每一帧的周边部分相比，所述非均匀位置映射增加了所述视频内容项的每一帧的中央部分中的像素密度；以及
以包括所生成的注视点网格的文件格式存储所述视频内容项，其中，通过将所述视频内容项作为纹理应用于所生成的注视点网格来渲染所述沉浸式视频内容。
CN201980098968.3A 2019-07-28 2019-12-10 利用注视点网格渲染沉浸式视频内容的方法、系统和介质 Pending CN114175630A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962879529P 2019-07-28 2019-07-28
US62/879,529 2019-07-28
PCT/US2019/065417 WO2021021235A1 (en) 2019-07-28 2019-12-10 Methods, systems, and media for rendering immersive video content with foveated meshes

Publications (1)

Publication Number Publication Date
CN114175630A true CN114175630A (zh) 2022-03-11

Family

ID=69160283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098968.3A Pending CN114175630A (zh) 2019-07-28 2019-12-10 利用注视点网格渲染沉浸式视频内容的方法、系统和介质

Country Status (7)

Country Link
US (2) US11375170B2 (zh)
EP (1) EP4005201A1 (zh)
JP (2) JP7392105B2 (zh)
KR (2) KR102582407B1 (zh)
CN (1) CN114175630A (zh)
BR (1) BR112022001434A2 (zh)
WO (1) WO2021021235A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
CN113808231B (zh) * 2021-09-18 2023-04-11 北京百度网讯科技有限公司 信息处理方法及装置、图像渲染方法及装置、电子设备
CN114627221B (zh) * 2021-12-08 2023-11-10 北京蓝亚盒子科技有限公司 一种场景渲染方法、装置及运行器、可读存储介质
KR102586644B1 (ko) * 2021-12-13 2023-10-10 한국전자기술연구원 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법
US20240236355A9 (en) * 2022-10-19 2024-07-11 Samsung Electronics Co., Ltd. Packing of displacements data in video frames for dynamic mesh coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040227703A1 (en) * 2003-05-13 2004-11-18 Mcnc Research And Development Institute Visual display with increased field of view
US20170004648A1 (en) * 2015-06-30 2017-01-05 Ariadne's Thread (Usa), Inc. (Dba Immerex) Variable resolution virtual reality display system
US20180040097A1 (en) * 2016-08-05 2018-02-08 Qualcomm Incorporated Dynamic foveation adjustment
US20180157381A1 (en) * 2016-12-02 2018-06-07 Facebook, Inc. Systems and methods for media item selection within a grid-based content feed
WO2018222271A1 (en) * 2017-06-01 2018-12-06 Qualcomm Incorporated Storage for foveated rendering
WO2019118028A1 (en) * 2017-12-13 2019-06-20 Google Llc Methods, systems, and media for generating and rendering immersive video content

Family Cites Families (235)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US6252989B1 (en) * 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6455831B1 (en) * 1998-09-11 2002-09-24 The Research Foundation Of Suny At Buffalo CMOS foveal image sensor chip
US6781585B2 (en) * 2000-01-11 2004-08-24 Sun Microsystems, Inc. Graphics system having a super-sampled sample buffer and having single sample per pixel support
US6664955B1 (en) * 2000-03-15 2003-12-16 Sun Microsystems, Inc. Graphics system configured to interpolate pixel values
US6426755B1 (en) * 2000-05-16 2002-07-30 Sun Microsystems, Inc. Graphics system using sample tags for blur
US6829391B2 (en) * 2000-09-08 2004-12-07 Siemens Corporate Research, Inc. Adaptive resolution system and method for providing efficient low bit rate transmission of image data for distributed applications
WO2002065443A1 (en) * 2001-02-15 2002-08-22 Tveye Inc. Method and apparatus for low bandwidth transmission of data utilizing of the human eye anatomy
DE10150428A1 (de) * 2001-10-11 2003-04-30 Siemens Ag Verfahren zur Erzeugung dreidimensionaler, mehrfachaufgelöster Volumenbilder eines Untersuchungsobjekts
US7408572B2 (en) * 2002-07-06 2008-08-05 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
EP1858402B1 (en) * 2005-01-21 2017-11-29 Massachusetts Institute Of Technology Methods and apparatus for optical coherence tomography scanning
US8956396B1 (en) * 2005-10-24 2015-02-17 Lockheed Martin Corporation Eye-tracking visual prosthetic and method
JP4013989B2 (ja) * 2006-02-20 2007-11-28 松下電工株式会社 映像信号処理装置、仮想現実感生成システム
US8401246B2 (en) * 2007-11-08 2013-03-19 Topcon Medical Systems, Inc. Mapping of retinal parameters from combined fundus image and three-dimensional optical coherence tomography
US8081808B2 (en) * 2007-11-08 2011-12-20 Topcon Medical Systems, Inc. Retinal thickness measurement by combined fundus image and three-dimensional optical coherence tomography
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8588921B2 (en) * 2010-11-12 2013-11-19 Second Sight Medical Products, Inc. Visual prosthesis with an improved electrode array adapted for foveal stimulation
US20120142415A1 (en) * 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
US9030583B2 (en) * 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
JP5936254B2 (ja) * 2012-02-29 2016-06-22 国立大学法人京都大学 眼底観察装置及び眼底画像解析装置
WO2013165614A1 (en) * 2012-05-04 2013-11-07 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
US11714487B2 (en) * 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US20140267616A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Variable resolution depth representation
US20150019130A1 (en) * 2013-07-09 2015-01-15 Rosemount Aerospace Inc. Dual Function Focal Plane Array Seeker
EP3872767A1 (en) * 2014-04-05 2021-09-01 Sony Interactive Entertainment LLC Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US9895057B2 (en) * 2014-04-24 2018-02-20 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
EP2958074A1 (en) * 2014-06-17 2015-12-23 Thomson Licensing A method and a display device with pixel repartition optimization
US11049269B2 (en) * 2014-06-27 2021-06-29 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US9418472B2 (en) * 2014-07-17 2016-08-16 Google Inc. Blending between street view and earth view
US10397539B2 (en) * 2014-08-25 2019-08-27 Schepens Eye Research Institute Compensating 3D stereoscopic imagery
JP2018511971A (ja) * 2015-02-17 2018-04-26 ネクストブイアール・インコーポレイテッド 解像度低下画像を生成および使用するならびに／またはそのような画像を再生デバイスまたはコンテンツ配布デバイスに通信するための方法および装置
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10094713B2 (en) * 2015-04-22 2018-10-09 The Boeing Company Hyperspectral demixing using foveated compressive projections
US10037620B2 (en) * 2015-05-29 2018-07-31 Nvidia Corporation Piecewise linear irregular rasterization
GB2553236A (en) * 2015-06-23 2018-02-28 Google Llc Head mounted display device with dual curved displays
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US10429648B2 (en) * 2015-09-03 2019-10-01 Lawrence Sverdrup Augmented reality head worn device
US9916682B2 (en) * 2015-10-28 2018-03-13 Intel Corporation Variable precision shading
US10726619B2 (en) * 2015-10-29 2020-07-28 Sony Interactive Entertainment Inc. Foveated geometry tessellation
JP6494863B2 (ja) * 2015-11-25 2019-04-03 グーグル エルエルシー プリズムによる視線追跡
IL242895B (en) * 2015-12-03 2021-04-29 Eyeway Vision Ltd Image projection system
US11010956B2 (en) * 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
US20170178395A1 (en) * 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
WO2017112958A1 (en) * 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
US9846808B2 (en) * 2015-12-31 2017-12-19 Adaptive Computation, Llc Image integration search based on human visual pathway model
CA3009346A1 (en) * 2016-01-07 2017-07-13 Magic Leap, Inc. Dynamic fresnel projector
US10643381B2 (en) * 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
US10643296B2 (en) * 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
KR20180103866A (ko) * 2016-01-18 2018-09-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102524641B1 (ko) * 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
US10475370B2 (en) * 2016-02-17 2019-11-12 Google Llc Foveally-rendered display
US10438400B2 (en) * 2016-03-08 2019-10-08 Nvidia Corporation Perceptually-based foveated rendering using a contrast-enhancing filter
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10401952B2 (en) * 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10394029B2 (en) * 2016-04-04 2019-08-27 Akonia Holographics, Llc Field of view enhancement
US10275928B2 (en) * 2016-04-05 2019-04-30 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
US10192280B2 (en) * 2016-04-08 2019-01-29 Qualcomm Incorporated Per-vertex variable rate shading
US9721393B1 (en) * 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
GB2553744B (en) * 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
US10460501B2 (en) * 2016-07-04 2019-10-29 Liquid Cinema Inc., Canada System and method for processing digital video
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
US10438318B2 (en) * 2016-08-30 2019-10-08 Intel IP Corporation Blind spot rendering optimizations for eye tracking head mounted displays
US20180082464A1 (en) * 2016-09-16 2018-03-22 Tomas G. Akenine-Moller Apparatus and method for an efficient 3d graphics pipeline
US10719447B2 (en) * 2016-09-26 2020-07-21 Intel Corporation Cache and compression interoperability in a graphics processor pipeline
US9779478B1 (en) * 2016-10-04 2017-10-03 Oculus Vr, Llc Rendering composite content on a head-mounted display including a high resolution inset
KR102650215B1 (ko) * 2016-10-18 2024-03-21 삼성전자주식회사 영상 처리 방법 및 장치
US10186067B2 (en) * 2016-10-25 2019-01-22 Aspeed Technology Inc. Method and apparatus for generating panoramic image with rotation, translation and warping process
US10262387B2 (en) * 2016-11-14 2019-04-16 Google Llc Early sub-pixel rendering
US10564715B2 (en) * 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
US20180137602A1 (en) * 2016-11-14 2018-05-17 Google Inc. Low resolution rgb rendering for efficient transmission
JP6858007B2 (ja) * 2016-11-28 2021-04-14 キヤノン株式会社 画像処理システム、画像処理方法
US10082672B2 (en) * 2016-12-01 2018-09-25 Varjo Technologies Oy Display apparatus and method of displaying using electromechanical faceplate
US10482648B2 (en) * 2016-12-13 2019-11-19 Qualcomm Incorporated Scene-based foveated rendering of graphics content
US10200683B2 (en) * 2016-12-21 2019-02-05 Microvision, Inc. Devices and methods for providing foveated scanning laser image projection with depth mapping
US11222397B2 (en) * 2016-12-23 2022-01-11 Qualcomm Incorporated Foveated rendering in tiled architectures
US10490157B2 (en) * 2017-01-03 2019-11-26 Screenovate Technologies Ltd. Compression of distorted images for head-mounted display
US10616551B2 (en) * 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams
US10560680B2 (en) * 2017-01-28 2020-02-11 Microsoft Technology Licensing, Llc Virtual reality with interactive streaming video and likelihood-based foveation
US10425643B2 (en) * 2017-02-04 2019-09-24 OrbViu Inc. Method and system for view optimization of a 360 degrees video
US10104288B2 (en) * 2017-02-08 2018-10-16 Aspeed Technology Inc. Method and apparatus for generating panoramic image with stitching process
US10628994B2 (en) * 2017-03-07 2020-04-21 Google Llc Reducing visually induced motion sickness in head mounted display systems
US20180262758A1 (en) * 2017-03-08 2018-09-13 Ostendo Technologies, Inc. Compression Methods and Systems for Near-Eye Displays
US20180269266A1 (en) * 2017-03-16 2018-09-20 Intel Corporation Foveated displays for virtual and augmented reality
KR20240046291A (ko) * 2017-03-22 2024-04-08 매직 립, 인코포레이티드 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링
US10417739B2 (en) * 2017-03-23 2019-09-17 Google Llc Phase aligned foveated rendering
US10546365B2 (en) * 2017-03-27 2020-01-28 Advanced Micro Devices, Inc. Single pass flexible screen/scale rasterization
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US10649524B2 (en) * 2017-04-07 2020-05-12 Intel Corporation Apparatus and method for foveated rendering, bin comparison and TBIMR memory-backed storage for virtual reality implementations
US20180300951A1 (en) * 2017-04-17 2018-10-18 Intel Corporation Adaptive tessellation for foveated rendering
EP3616403A1 (en) * 2017-04-27 2020-03-04 Google LLC Synthetic stereoscopic content capture
CN116456097A (zh) * 2017-04-28 2023-07-18 苹果公司 视频流水线
US10775884B2 (en) * 2017-05-18 2020-09-15 Tectus Corporation Gaze calibration via motion detection for eye mounted displays
JP2020523803A (ja) * 2017-05-26 2020-08-06 グーグル エルエルシー 疎サンプリング超解像を用いたニアアイディスプレイ
CA3062740A1 (en) * 2017-05-29 2018-12-06 Eyeway Vision Ltd Image projection system
WO2018226676A1 (en) * 2017-06-05 2018-12-13 Google Llc Smoothly varying foveated rendering
US10572764B1 (en) * 2017-06-05 2020-02-25 Google Llc Adaptive stereo rendering to reduce motion sickness
US10515466B2 (en) * 2017-06-09 2019-12-24 Sony Interactive Entertainment Inc. Optimized deferred lighting in a foveated rendering system
EP3635515A1 (en) * 2017-06-09 2020-04-15 Sony Interactive Entertainment Inc. Optimized shadows and adaptive mesh skinning in a foveated rendering system
US10650544B2 (en) * 2017-06-09 2020-05-12 Sony Interactive Entertainment Inc. Optimized shadows in a foveated rendering system
US10621767B2 (en) * 2017-06-12 2020-04-14 Qualcomm Incorporated Fisheye image stitching for movable cameras
KR102111501B1 (ko) * 2017-06-19 2020-05-15 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10319114B2 (en) * 2017-07-13 2019-06-11 Google Llc Foveated compression of display streams
US10397481B2 (en) * 2017-07-13 2019-08-27 Qualcomm Incorporated Stabilization and rolling shutter correction for omnidirectional image content
US10992916B2 (en) * 2017-07-26 2021-04-27 Google Llc Depth data adjustment based on non-visual pose data
US20190035049A1 (en) * 2017-07-31 2019-01-31 Qualcomm Incorporated Dithered variable rate shading
US10403032B2 (en) * 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10948740B2 (en) * 2017-09-19 2021-03-16 Intel Corporation Head-mounted displays having curved lens arrays and generating elemental images for displaying
JP6940349B2 (ja) * 2017-09-21 2021-09-29 株式会社トプコン 眼科装置
US10755383B2 (en) * 2017-09-29 2020-08-25 Apple Inc. Multi-space rendering with configurable transformation parameters
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US10511842B2 (en) * 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip
US10388641B2 (en) * 2017-10-19 2019-08-20 Tectus Corporation Ultra-dense LED projector
US10657695B2 (en) * 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US10678049B2 (en) * 2017-10-31 2020-06-09 Google Llc Near-eye display having lenslet array with reduced off-axis optical aberrations
US10643307B2 (en) * 2017-11-10 2020-05-05 Intel Corporation Super-resolution based foveated rendering
US10553016B2 (en) * 2017-11-15 2020-02-04 Google Llc Phase aligned foveated rendering
US10169843B1 (en) * 2017-11-20 2019-01-01 Advanced Micro Devices, Inc. Temporal foveated rendering using motion estimation
CN111164654A (zh) * 2017-11-23 2020-05-15 英特尔公司 自适应中心凹形编码器以及全局运动预测因子
KR102028997B1 (ko) * 2017-11-29 2019-10-07 엘지디스플레이 주식회사 헤드 마운트 디스플레이 장치
US10217488B1 (en) * 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
US11335303B2 (en) * 2017-12-19 2022-05-17 Nokia Technologies Oy Gaze dependent foveated rendering apparatus, method, computer program and system
US10650791B2 (en) * 2017-12-28 2020-05-12 Texas Instruments Incorporated Display system
US10522113B2 (en) * 2017-12-29 2019-12-31 Intel Corporation Light field displays having synergistic data formatting, re-projection, foveation, tile binning and image warping technology
US10949947B2 (en) * 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
KR102532972B1 (ko) * 2017-12-29 2023-05-16 엘지디스플레이 주식회사 표시장치의 보상 방법 및 보상값 저장부를 포함하는 표시장치
US10720124B2 (en) * 2018-01-15 2020-07-21 Microsoft Technology Licensing, Llc Variable pixel rate display interfaces
US10694170B2 (en) * 2018-03-05 2020-06-23 Valve Corporation Controlling image display via real-time compression in peripheral image regions
JP2021105749A (ja) * 2018-03-20 2021-07-26 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US10713997B2 (en) * 2018-03-23 2020-07-14 Valve Corporation Controlling image display via mapping of pixel values to pixels
US20190302881A1 (en) * 2018-03-29 2019-10-03 Omnivision Technologies, Inc. Display device and methods of operation
KR20230051309A (ko) * 2018-04-11 2023-04-17 알카크루즈 인코포레이티드 디지털 미디어 시스템
US11048082B1 (en) * 2018-04-13 2021-06-29 Apple Inc. Wireless bandwidth reduction with display data interleaving
US10997951B2 (en) * 2018-04-13 2021-05-04 Qualcomm Incorporated Preserving sample data in foveated rendering of graphics content
US10529117B2 (en) * 2018-04-16 2020-01-07 Facebook Technologies, Llc Systems and methods for rendering optical distortion effects
US11435577B2 (en) * 2018-04-25 2022-09-06 Dhanushan Balachandreswaran Foveated projection system to produce ocular resolution near-eye displays
KR102547106B1 (ko) * 2018-05-07 2023-06-23 애플 인크. 동적 포비티드 파이프라인
GB2573543B (en) * 2018-05-09 2021-10-27 Advanced Risc Mach Ltd Graphics Processing
US10580334B2 (en) * 2018-05-17 2020-03-03 Tectus Corporation Peripheral femtoprojector optical systems
CN112424727A (zh) * 2018-05-22 2021-02-26 奇跃公司 用于可穿戴系统的跨模态输入融合
US11064387B1 (en) * 2018-05-23 2021-07-13 Apple Inc. Adaptive wireless transmission schemes
US11250819B2 (en) * 2018-05-24 2022-02-15 Lockheed Martin Corporation Foveated imaging system
US10453828B1 (en) * 2018-06-12 2019-10-22 Facebook Technologies, Llc Foveated rendering display devices and methods of making the same
US11194389B2 (en) * 2018-06-21 2021-12-07 Qualcomm Incorporated Foveated rendering of graphics content using a rendering command and subsequently received eye position data
CN116016955A (zh) * 2018-06-28 2023-04-25 苹果公司 基于优先级的视频编码和传输
DE112019003203T5 (de) * 2018-06-28 2021-05-27 Apple Inc. Ratensteuerung für videocodierung und -übertragung mit niedriger latenz
US10764547B2 (en) * 2018-06-28 2020-09-01 Sony Interactive Entertainment Inc. Foveated near to eye display system using a computational freeform lens via spatial light modulation of a laser projected image onto an emissive film
CN112313954A (zh) * 2018-06-28 2021-02-02 苹果公司 视频编码系统
US11962819B2 (en) * 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
US11480804B2 (en) * 2018-07-20 2022-10-25 Tobii Ab Distributed foveated rendering based on user gaze
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
US10565689B1 (en) * 2018-08-07 2020-02-18 Qualcomm Incorporated Dynamic rendering for foveated rendering
US11037271B2 (en) * 2018-08-07 2021-06-15 Qualcomm Incorporated Dynamic rendering for foveated rendering
US20200049946A1 (en) * 2018-08-10 2020-02-13 Varjo Technologies Oy Display apparatus and method of displaying using gaze prediction and image steering
US10650568B2 (en) * 2018-09-13 2020-05-12 Qualcomm Incorporated In-flight adaptive foveated rendering
US10775617B2 (en) * 2018-10-24 2020-09-15 Google Llc Eye tracked lens for increased screen resolution
US11138800B1 (en) * 2018-10-31 2021-10-05 Facebook Technologies, Llc Optimizations to reduce multi-channel ray casting for color sampling
US10950305B1 (en) * 2018-11-02 2021-03-16 Facebook Technologies, Llc Selective pixel output
US11244492B2 (en) * 2018-11-02 2022-02-08 Facebook Technologies, Llc. Parallel texture sampling
US11138747B1 (en) * 2018-11-02 2021-10-05 Facebook Technologies, Llc Interpolation optimizations for a display engine for post-rendering processing
US11403810B2 (en) * 2018-11-02 2022-08-02 Facebook Technologies, Llc. Display engine for post-rendering processing
GB2578769B (en) * 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
US10825131B2 (en) * 2018-11-13 2020-11-03 Intel Corporation Circular fisheye camera array rectification
US10791282B2 (en) * 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
KR102166158B1 (ko) * 2018-12-19 2020-10-15 (주)이머시브캐스트 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템
US10937217B2 (en) * 2018-12-28 2021-03-02 Canon Kabushiki Kaisha Electronic device and control method thereof for generating edited VR content
US11683464B2 (en) * 2018-12-28 2023-06-20 Canon Kabushiki Kaisha Electronic device, control method, and non-transitorycomputer readable medium
US10831266B2 (en) * 2019-01-03 2020-11-10 International Business Machines Corporation Personalized adaptation of virtual reality content based on eye strain context
CN111506188A (zh) * 2019-01-30 2020-08-07 托比股份公司 用于动态地调整hud的方法和hmd
EP3693061A1 (en) * 2019-02-05 2020-08-12 Gensight Biologics Method for controlling an optogenetic device using filtering and associated devices
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
US11461907B2 (en) * 2019-02-15 2022-10-04 EchoPixel, Inc. Glasses-free determination of absolute motion
US10930244B2 (en) * 2019-02-19 2021-02-23 Apical Limited Data processing systems
WO2020173414A1 (zh) * 2019-02-25 2020-09-03 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法和装置
US10810700B2 (en) * 2019-03-05 2020-10-20 Aspeed Technology Inc. Method of adjusting texture coordinates based on control regions in a panoramic image
US11068052B2 (en) * 2019-03-15 2021-07-20 Microsoft Technology Licensing, Llc Holographic image generated based on eye position
US20200275071A1 (en) * 2019-03-20 2020-08-27 Anton Zavoyskikh Electronic visual headset
US20200341273A1 (en) * 2019-04-29 2020-10-29 Tecgyver Innovations Oy Method, System and Apparatus for Augmented Reality
US20200349751A1 (en) * 2019-04-30 2020-11-05 Number 9, LLC Presentation interface and immersion platform
US11508109B2 (en) * 2019-06-10 2022-11-22 Qualcomm Incorporated Methods and apparatus for machine learning rendering
US10997773B2 (en) * 2019-06-13 2021-05-04 Facebook Technologies, Llc Dynamic tiling for foveated rendering
US11606540B2 (en) * 2019-07-22 2023-03-14 Maradin Ltd. System, method and computer program product for laser projection
US10997954B2 (en) * 2019-07-24 2021-05-04 Qualcomm Incorporated Foveated rendering using variable framerates
US10936059B2 (en) * 2019-07-26 2021-03-02 Cajal Corporation Systems and methods for gaze tracking
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
US11100899B2 (en) * 2019-08-13 2021-08-24 Facebook Technologies, Llc Systems and methods for foveated rendering
US20220329886A1 (en) * 2019-08-19 2022-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for handling media data streams
US11336887B2 (en) * 2019-09-03 2022-05-17 Facebook Technologies, Llc Adaptive shading and reprojection
US11307655B2 (en) * 2019-09-19 2022-04-19 Ati Technologies Ulc Multi-stream foveal display transport
GB2587230B (en) * 2019-09-20 2022-09-28 Sony Interactive Entertainment Inc Graphical rendering method and apparatus
US11735612B2 (en) * 2019-09-26 2023-08-22 Apple Inc. Display panel optical cross-talk compensation systems and methods
US11435821B2 (en) * 2019-09-26 2022-09-06 Apple Inc. Gaze-independent dithering for dynamically foveated displays
US11792420B2 (en) * 2019-11-04 2023-10-17 Qualcomm Incorporated Methods and apparatus for foveated compression
US11537854B2 (en) * 2019-11-08 2022-12-27 Meta Platforms Technologies, Llc Pipeline with processor including neural network for rendering artificial reality
EP3938833A1 (en) * 2019-11-22 2022-01-19 Apple Inc. Display systems having multiple light paths for performing foveation
GB2589325B (en) * 2019-11-26 2021-12-22 Sony Interactive Entertainment Inc Image rendering method and apparatus
US11176637B2 (en) * 2019-12-03 2021-11-16 Facebook Technologies, Llc Foveated rendering using eye motion
ES2960694T3 (es) * 2019-12-03 2024-03-06 Discovery Communications Llc Vista 360 no intrusiva sin cámara en el punto de vista
US11132056B2 (en) * 2019-12-04 2021-09-28 Facebook Technologies, Llc Predictive eye tracking systems and methods for foveated rendering for electronic displays
US11073906B1 (en) * 2020-01-27 2021-07-27 Valve Corporation Eye tracking system for head-mounted display devices
KR20210096449A (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US11244660B2 (en) * 2020-03-13 2022-02-08 Apple Inc. Recovery from eye-tracking loss in foveated displays
US20210319533A1 (en) * 2020-04-08 2021-10-14 Electronics And Telecommunications Research Institute Apparatus, method and system for generating a foveated image
US20200294209A1 (en) * 2020-05-30 2020-09-17 Intel Corporation Camera feature removal from stereoscopic content
US11210840B1 (en) * 2020-08-27 2021-12-28 Aspeed Technology Inc. Transform method for rendering post-rotation panoramic images
US12052472B2 (en) * 2020-09-25 2024-07-30 Advanced Micro Devices, Inc. Combined codec buffer management
GB2600944B (en) * 2020-11-11 2023-03-01 Sony Interactive Entertainment Inc Image rendering method and apparatus
US11616909B2 (en) * 2020-12-08 2023-03-28 Aspeed Technology Inc. Method of compensating for color differences between adjacent lens images in a panoramic image
US12069230B2 (en) * 2020-12-23 2024-08-20 Meta Platforms Technologies, Llc Temporal foveated rendering
US11748842B2 (en) * 2021-04-13 2023-09-05 Qualcomm Incorporated Methods and apparatus for content shifting in foveated rendering
US11308920B1 (en) * 2021-05-07 2022-04-19 Facebook Technologies, Llc. Display artifact reduction
KR20220160800A (ko) * 2021-05-28 2022-12-06 엘지디스플레이 주식회사 표시장치와 이를 이용한 개인 몰입형 시스템 및 모바일 단말 시스템
US11875473B2 (en) * 2021-06-15 2024-01-16 Aspeed Technology Inc. Method for generating projection image with scaling adjustment and seam cut stitching
US20220400243A1 (en) * 2021-06-15 2022-12-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20220366820A1 (en) * 2021-08-02 2022-11-17 Meta Platforms Technologies, Llc Viewport visual effect correction
US11743600B2 (en) * 2021-08-12 2023-08-29 Aspeed Technology Inc. Multiple-processor system for multiple-lens camera and method thereof
US11568783B1 (en) * 2021-08-17 2023-01-31 Varjo Technologies Oy Display drivers, apparatuses and methods for improving image quality in foveated images
US11568574B1 (en) * 2021-08-18 2023-01-31 Varjo Technologies Oy Foveation-based image encoding and decoding
US11748956B2 (en) * 2021-10-13 2023-09-05 Synaptics Incorporated Device and method for foveated rendering
US11595574B1 (en) * 2021-12-29 2023-02-28 Aspeed Technology Inc. Image processing system and method thereof for generating projection images based on inward or outward multiple-lens camera
US11917011B2 (en) * 2022-01-10 2024-02-27 Meta Platforms Technologies, Llc Resilient rendering for augmented-reality devices
AU2023209431A1 (en) * 2022-01-21 2024-07-18 Dragonfly Optics Llc Methods, apparatus, and articles to enhance brain function via presentation of visual effects in far and/or ultra-far peripheral field
US20230245260A1 (en) * 2022-02-02 2023-08-03 Meta Platforms Technologies, Llc Techniques for Reducing Visual Artifacts in Foveated Rendering
US20230300338A1 (en) * 2022-03-16 2023-09-21 Apple Inc. Resolution-based video encoding
US20240095879A1 (en) * 2022-09-20 2024-03-21 Apple Inc. Image Generation with Resolution Constraints
US11955054B1 (en) * 2022-09-20 2024-04-09 Apple Inc. Foveated display burn-in statistics and burn-in compensation systems and methods
US11735147B1 (en) * 2022-09-20 2023-08-22 Apple Inc. Foveated display burn-in statistics and burn-in compensation systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040227703A1 (en) * 2003-05-13 2004-11-18 Mcnc Research And Development Institute Visual display with increased field of view
US20170004648A1 (en) * 2015-06-30 2017-01-05 Ariadne's Thread (Usa), Inc. (Dba Immerex) Variable resolution virtual reality display system
US20180040097A1 (en) * 2016-08-05 2018-02-08 Qualcomm Incorporated Dynamic foveation adjustment
US20180157381A1 (en) * 2016-12-02 2018-06-07 Facebook, Inc. Systems and methods for media item selection within a grid-based content feed
WO2018222271A1 (en) * 2017-06-01 2018-12-06 Qualcomm Incorporated Storage for foveated rendering
WO2019118028A1 (en) * 2017-12-13 2019-06-20 Google Llc Methods, systems, and media for generating and rendering immersive video content

Also Published As

Publication number Publication date
EP4005201A1 (en) 2022-06-01
KR20230144093A (ko) 2023-10-13
JP2024026151A (ja) 2024-02-28
KR20220036974A (ko) 2022-03-23
KR102582407B1 (ko) 2023-09-26
US20210029340A1 (en) 2021-01-28
BR112022001434A2 (pt) 2022-06-07
US20220321858A1 (en) 2022-10-06
US11375170B2 (en) 2022-06-28
JP2022542510A (ja) 2022-10-04
WO2021021235A1 (en) 2021-02-04
JP7392105B2 (ja) 2023-12-05

Similar Documents

Publication Publication Date Title
US11523103B2 (en) Providing a three-dimensional preview of a three-dimensional reality video
US11375170B2 (en) Methods, systems, and media for rendering immersive video content with foveated meshes
CN107590771B (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
US11024083B2 (en) Server, user terminal device, and control method therefor
US10681341B2 (en) Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
CN109743892B (zh) 虚拟现实内容的显示方法和装置
US10049490B2 (en) Generating virtual shadows for displayable elements
US20240040211A1 (en) Methods, Systems, and Media For Presenting Interactive Elements Within Video Content
WO2019002559A1 (en) SCREEN SHARING FOR DISPLAY IN A VIRTUAL REALITY
US11589027B2 (en) Methods, systems, and media for generating and rendering immersive video content
US10506211B2 (en) Recording medium, image generation apparatus, and image generation method
US20190045178A1 (en) Generating a Three-Dimensional Preview of a Three-Dimensional Video
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
CN110709839A (zh) 用于呈现媒体内容预览的方法、系统和介质
KR20190129982A (ko) 전자기기 및 그 제어 방법
US20120162199A1 (en) Apparatus and method for displaying three-dimensional augmented reality
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination