CN110324601A - 渲染方法、计算机产品及显示装置 - Google Patents

渲染方法、计算机产品及显示装置 Download PDF

Info

Publication number
CN110324601A
CN110324601A CN201810260593.3A CN201810260593A CN110324601A CN 110324601 A CN110324601 A CN 110324601A CN 201810260593 A CN201810260593 A CN 201810260593A CN 110324601 A CN110324601 A CN 110324601A
Authority
CN
China
Prior art keywords
area
target area
rendering
render mode
sampled images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810260593.3A
Other languages
English (en)
Inventor
王雪丰
孙玉坤
赵斌
王立新
李茜
索健文
李文宇
范清文
彭金豹
陆原介
刘亚丽
王晨如
孙建康
张�浩
陈丽莉
苗京花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810260593.3A priority Critical patent/CN110324601A/zh
Priority to CN202211348741.XA priority patent/CN115842907A/zh
Priority to PCT/CN2018/104350 priority patent/WO2019184251A1/en
Priority to US16/335,350 priority patent/US11436787B2/en
Priority to EP18855141.0A priority patent/EP3776200A4/en
Publication of CN110324601A publication Critical patent/CN110324601A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开的实施例提供了一种渲染方法、计算机产品及显示装置。其中所述渲染方法包括：采用第一渲染模式，对待渲染场景的整个显示区域进行渲染，得到第一渲染模式采样图像；在整个显示区域中确定目标区域，采用第二渲染模式对目标区域进行渲染，得到第二渲染模式采样图像，所述第二渲染模式包括至少一个高于第一渲染模式的图像渲染特征；传输第一渲染模式采样图像和第二渲染模式采样图像的数据。

Description

渲染方法、计算机产品及显示装置
技术领域
本公开涉及一种渲染方法及渲染引擎、图像处理方法及图像处理装置。
背景技术
在VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)、MR(Mixed Reality，混合现实)等产品中，需要使用渲染引擎对图像进行渲染。所谓渲染是指选取一个或多个视角，将描述虚拟三维场景的数据模型通过计算，输出二维数字图片的过程。
随着VR/AR/MR技术对于显示屏幕分辨率的要求越来越高，需求渲染软件输出的数据信息量也越来越大。一个高分辨率渲染的场景，对渲染软件的计算速度、处理器的消耗、数据传输数据量都有很大的要求，但是由于目前信息传递速度的限制，渲染引擎处理这些数据是非常吃力的，造成无法很好的完成画面的实时显示。
发明内容
第一方面，本公开实施例提供了一种渲染方法，所述渲染方法包括：采用第一渲染模式对待渲染的整个显示区域进行渲染，得到第一渲染模式采样图像；在整个显示区域中确定目标区域，采用第二渲染模式对目标区域进行渲染，得到第二渲染模式采样图像，所述第二渲染模式包括至少一个高于第一渲染模式的图像渲染特征；传输第一渲染模式采样图像和第二渲染模式采样图像的数据。
基于上述渲染方法，可选的，所述图像渲染特征包括分辨率和色彩深度中的至少一者。
可选的，采用第一渲染模式对待渲染的整个显示区域进行渲染，包括以第一分辨率对待渲染的整个显示区域进行渲染；采用第二渲染模式对目标区域进行渲染，包括以第二分辨率对目标区域进行渲染；所述第一分辨率对应的单位面积像素点数为所述第二分辨率对应的单位面积像素点数的1/4～1/3。
可选的，所述在所述整个显示区域中确定目标区域，包括：在所述整个显示区域中确定所述目标区域的中心点，并确定所述目标区域的面积占所述整个显示区域的面积的比例；根据所述目标区域的中心点的位置及所述目标区域的面积占所述整个显示区域的面积的比例，计算所述目标区域在所述整个显示区域中的位置。
可选的，所述在所述整个显示区域中确定目标区域，包括：
确定所述目标区域的中心点为所述整个显示区域的中心点，及所述目标区域的面积占所述整个显示区域的面积的比例为1：n；
获取所述整个显示区域的相机的视场角α；
计算所述目标区域的相机的视场角β：
根据计算得到的目标区域的相机的视场角β，计算所述目标区域在所述整个显示区域中的位置。
可选的，所述在所述整个显示区域中确定目标区域，包括：
确定所述目标区域的中心点为用户在所述整个显示区域上的注视点，及所述目标区域的面积占所述整个显示区域的面积的比例为1：n；
获取所述注视点的坐标值(Zx，Zy)，所述整个显示区域的相机的近裁面距离Anear、远裁面距离Afar，及所述目标区域的相机左视场角βleft、相机右视场角βright、相机上视场角βup、相机下视场角βdown，并根据所述目标区域的面积占所述整个显示区域的面积的比例1：n，获取Zx的取值范围为-m≤Zx≤m，Zy的取值范围为-m≤Zy≤m；
计算所述目标区域的边界值：
基于所述目标区域的边界值计算所述目标区域的投影矩阵的参数：
基于所述目标区域的投影矩阵的参数得到所述目标区域的投影矩阵Zm：
可选的，所述目标区域的面积占所述整个显示区域的面积的1/4～1/3。
可选的，所述传输所述第一渲染模式采样图像和所述第二渲染模式采样图像的数据，包括：将所述第一渲染模式采样图像和所述第二渲染模式采样图像进行拼接；传输拼接后的图像。
可选的，将所述第一渲染模式采样图像和所述第二渲染模式采样图像进行拼接，包括将所述第二渲染模式采样图像叠加在所述第一渲染模式采样图像的对应区域。
可选的，所述渲染方法应用于显示装置，其中，所述待渲染的整个显示区域对应于显示装置的显示屏幕的单眼图像。
可选的，所述图像渲染特征包括分辨率和色彩深度中的至少一者，所述第一渲染模式采样图像的图像渲染特征小于显示屏幕对应的图像显示指标；所述第二渲染模式采样图像的图像渲染特征等于显示屏幕对应的图像显示指标。
可选的，所述图像渲染特征包括分辨率，所述第一渲染模式所采用的第一分辨率对应的单位面积像素点数小于显示屏幕的单眼显示分辨率对应的单位面积像素点数；所述第二渲染模式所采用的第二分辨率对应的单位面积像素点数等于所述显示屏幕的单眼显示分辨率对应的单位面积像素点数。
可选的，所述显示装置包括双眼头戴显示装置，所述第一渲染模式采样图像包括左眼第一分辨率采样图像和右眼第一分辨率采样图像，所述第二渲染模式采样图像包括左眼第二分辨率采样图像和右眼第二分辨率采样图像。
第二方面，本公开实施例提供了一种计算机产品，包括一个或多个处理器，所述处理器配置成运行计算机指令，以执行如上任一项所述的渲染方法中的一个或多个步骤。
第三方面，本公开实施例提供了一种显示装置，连接如第二方面所述的计算机产品，和数据传输器件；所述计算机产品配置为获取、渲染并输出待显示的整个显示区域，所述数据传输器件获取所述计算机产品的输出并传输给显示装置的显示屏幕进行显示。
可选的，所述显示装置还包括一个或多个传感器，所述传感器配置为跟踪和确定用户的注视点。
可选的，所述计算机产品配置为获取显示装置的显示屏幕的尺寸，将所述第一渲染模式采样图像变换到能够铺满显示屏幕的尺寸。
可选的，所述显示装置为头戴式显示装置。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本公开实施例所提供的渲染方法的基本流程图；
图2为本公开实施例所提供的渲染方法的具体流程图；
图3～图6为本公开实施例所提供的渲染方法的各步骤图；
图7为图6的局部放大图；
图8为本公开实施例所提供的计算机产品的基本结构图。
具体实施方式
为使本公开的上述目的、特征和优点能够更加明显易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本公开保护的范围。
本公开的实施例提供了一种渲染方法，如图1所示，包括以下步骤：
S1：采用第一渲染模式对待渲染的整个显示区域进行渲染，得到第一渲染模式采样图像。
例如，待渲染的整个显示区域可以是执行渲染的渲染引擎(Renderer)所针对的整个场景(Scene)。
例如，场景可以由渲染引擎根据构建场景的数据(Attributes数据、Uniforms数据、Texture数据，诸如此类)进行场景(空间、光照、物体，诸如此类)的构建。
例如，渲染引擎可以通过图形处理器的着色器或中央处理器或其它可执行渲染运算的逻辑运算电路执行相关操作指令进行场景的构建。
S2：在整个显示区域中确定目标区域，采用第二渲染模式对目标区域进行渲染，得到第二渲染模式采样图像。
通过步骤S1和S2，可实现待渲染场景的分区域不同渲染模式渲染：整个显示区域中，部分区域(即上面所述的“目标区域”)采用高图像渲染特征量的渲染，其余区域采用低图像渲染特征量的渲染。
需要说明的是，本实施例中步骤S1和步骤S2表述的先后顺序并不代表方法步骤实际执行的先后顺序，实际上步骤S1和步骤S2在执行时是部分先后顺序的。
S3：传输步骤S1中渲染所得到的第一渲染模式采样图像和步骤S2中渲染所得到的第二渲染模式采样图像的数据。
其中，所述第二渲染模式包括至少一个高于第一渲染模式的图像渲染特征。
在本公开实施例的渲染方法中，通过对整个显示区域进行第一渲染模式的渲染，对显示区域中的目标区域进行第二渲染模式的渲染，因此相对于将整个显示场景均进行第二渲染模式的渲染，由于只在目标区域进行了高图像渲染特征量的渲染，减少了渲染的工作量以及相应产生的渲染数据量和数据传输量，从而可较好地实现满足用户观看要求的实时画面显示。
可选地，目标区域可以为一个或多个。例如，对于每一个完整的待渲染的显示区域，可以选择一个目标区域。
在一些实施例中，图像渲染特征包括分辨率和色彩深度中的至少一者。对于同样的图像，相对于高分辨率，低分辨率的渲染工作量以及产生的渲染结果的数据量较低。相对于高色深，低色深的渲染工作量以及产生的渲染结果的数据量较低。
本公开实施例中所述的“分辨率”，在概念上对应于显示画面中单位面积所包含的像素个数，其用于表征画面的精细程度。例如，分辨率之间的比较可以折算为单位面积的像素密度之间的比较，例如可以通过DPI或PPI等表征单位面积的像素密度。
为描述的方便，可以分别将第一渲染模式的分辨率称为第一分辨率，第二渲染模式的分辨率称为第二分辨率。例如，第二分辨率可以为FHD(1080P)、QHD(2K)、4K、5K等高清分辨率，而第一分辨率可以为HD(720P)、qHD等非高清分辨率。此处所列举仅为示意，分辨率可根据需要进行选择，只要满足第二分辨率高于第一分辨率即可。
为描述的方便，可以分别将第一渲染模式的色彩深度称为第一色深，第二渲染模式的色彩深度称为第二色深。例如，第二色深可以为12bit、10bit、8bit等，而第一色深可以为6bit等。此处所列举仅为示意，色深可根据需要进行选择，只要满足第二色深高于第一色深即可。
继续参见图1，在步骤S3中，所进行的数据传输是将第一渲染模式采样图像和第二渲染模式采样图像的数据由渲染引擎所在的处理器端传输至显示装置端，以便于显示装置的驱动控制器(Driver IC)接收并驱动显示装置的显示屏幕对处理后的图像进行显示(即图1中的步骤S4，需要注意，步骤S4并非属于本实施例所提供的渲染方法的中的步骤，此处仅为示意本公开实施例的渲染方法的相关工作过程)。
本公开实施例中的渲染方法无需降低可为用户感知的输出分辨率、色深或刷新率，就能实现满足用户观看要求的高质量画面的实时显示，因此也就避免了降低图像质量或者降低刷新率对显示质量的不良影响。
本公开实施例提供的渲染方法，虽然仅对目标区域进行了高图像质量的渲染，但由于人眼负责观察色彩和细节的视网膜上的视锥细胞浓度不同，人眼在进行观察时通常只能接纳注视区的细节，超出人眼注视区5°以上的显示区域由于人眼产生视觉感受的视锥细胞分布的限制会逐渐降低清晰度，因此上述渲染方法在感观上并不会对人眼所观察到的图像的清晰度等图像特征产生影响，从而保证了良好的显示质量。
相关技术中采用降低刷新率的方法实现高图像质量的画面实时显示，会引起用户产生眩晕感。本公开实施例的渲染方法无需降低刷新率，有效避免了用户产生眩晕感的问题。
在一些实施例中，以图像渲染特征为分辨率作为示例，采用第一渲染模式对待渲染的整个显示区域进行渲染，包括以第一分辨率对待渲染的整个显示区域进行渲染；采用第二渲染模式对目标区域进行渲染，包括以第二分辨率对目标区域进行渲染；所述第一分辨率对应的单位面积像素点数为所述第二分辨率对应的单位面积像素点数的1/4～1/3。
在一些实施例中，第一分辨率可根据人眼观察显示图像时，不明显感觉到除目标区域以外的区域模糊，且不明显感觉到目标区域与除目标区域以外的区域的边界时，所对应的第一分辨率为标准进行设定。例如，第一分辨率可以选择设置为显示图像的显示面板的物理分辨率的1/4～1/3。
参见图2，在一些实施例中，在整个显示区域中确定目标区域，可包括如下步骤：
S21：在所述整个显示区域中确定目标区域的中心点，并确定目标区域的面积占整个显示区域的面积的比例。
例如，可以将整个显示区域的中心点定为目标区域的中心点，这样可以减少后续计算目标区域位置的计算量，并且由于人眼观察一幅图像在多数情况下会首先关注图像的中心，因此将整个显示区域的中心点定为目标区域的中心点，并不会对人眼观察图像所感受到的清晰度造成明显的不良影响。
例如，为了提高显示质量，可以选择用户在整个显示区域上的注视点作为目标区域的中心点，这样在对目标区域进行高画质渲染时的针对性更强，使用户观察图像所感受到的清晰度保持稳定。
例如，可以通过眼球追踪系统获得用户眼球在整个显示区域上的注视点，进而据此确定目标区域的中心点。
例如，在上述步骤S21中，目标区域的面积占整个显示区域的面积的比例可根据人眼观察显示图像时，不明显感觉到除目标区域以外的区域模糊，且不明显感觉到目标区域与除目标区域以外的区域的边界时，所对应的比例为标准进行设定。例如，目标区域的面积占整个显示区域的面积的比例的1/4～1/3。
S22：根据目标区域的中心点的位置及目标区域的面积占所述整个显示区域的面积的比例，计算目标区域在整个显示区域中的位置。
在一些实施例中，选择整个显示区域的中心点作为目标区域的中心点，目标区域的面积占整个显示区域的面积的比例为1：n，则作为一种可能的实现方式，在上述步骤S22中，计算目标区域在整个显示区域中的位置的具体过程包括：
获取整个显示区域的相机的视场角α；
将参数n和α代入如下公式1，计算目标区域的相机的视场角β：
根据计算得到的目标区域的相机的视场角β，计算目标区域在整个显示区域中的位置。
此处，所称的相机，是执行渲染方法的渲染引擎的相机，用于在渲染过程中提供可查看的场景视图。例如正交投影相机、透视投影相机。
在一些实施例中，选择用户在整个显示区域上的注视点作为目标区域的中心点，目标区域的面积占整个显示区域的面积的比例为1：n，则作为一种可能的实现方式，在上述步骤S22中，计算目标区域在整个显示区域中的位置的具体过程包括：
获取用户在整个显示区域上的注视点的坐标值(Zx，Zy)(例如可通过眼球追踪系统获得)，整个显示区域的相机的近裁面距离Anear、远裁面距离Afar，及目标区域的相机左视场角βleft、相机右视场角βright、相机上视场角βup、相机下视场角βdown，并根据目标区域的面积占整个显示区域的面积的比例1：n，获取Zx的取值范围为-m≤Zx≤m，Zy的取值范围为-m≤Zy≤m；
将所获取的参数代入如下公式2，计算目标区域的边界值：
将计算得到的目标区域的边界值代入如下公式3，计算目标区域的投影矩阵的参数：
将计算得到的目标区域的投影矩阵的参数代入如下公式4，得到目标区域的投影矩阵Zm：
需要说明的是，在得到目标区域的投影矩阵Zm，根据该投影矩阵Zm即可在整个显示区域中任意可完整显示目标区域的位置进行取图，得到目标区域。通过采用上述计算投影矩阵的方法来得到目标区域，使得目标区域的选择不用局限于整个显示区域的中心位置，而是可以出现在任意能够完整显示目标区域的位置。
例如，可通过调整渲染引擎的参数调整目标区域的大小和位置。
例如，可以在头戴式显示装置中采用用户在整个显示区域上的注视点作为目标区域的中心点，能够处理左右和/或上下视场角不对称的问题，以部分地克服由于人单眼的左右和/或上下视场角不对称导致的观察不适感。
容易理解，在整个显示区域中任意可完整显示目标区域的位置进行目标区域的取图的计算投影矩阵的方法，也适用于选择整个显示区域的中心点作为目标区域的中心点的情况。
确定目标区域在整个显示区域中的位置后，可以开始对目标区域进行高画质渲染。
例如，继续参见图2，步骤S2还包括如下步骤：
S23：采用第二渲染模式对所确定的目标区域进行渲染，得到第二渲染模式采样图像。
例如，图像渲染特征为分辨率，在上述步骤S23中，可以选择目标区域与显示装置的显示面板具有相同的DPI(每英寸像素点数)计算得到第二分辨率。
例如，图像渲染特征为色彩深度，在上述步骤S23中，可以选择目标区域与显示装置的显示面板具有相同的色彩深度。
例如，继续参见图2，作为一种可能的实现方式，步骤S3可包括如下步骤：
S31：将第一渲染模式采样图像和第二渲染模式采样图像进行拼接。
S32：传输拼接后的图像。
例如，将第一渲染模式采样图像和第二渲染模式采样图像进行拼接，包括将第二渲染模式采样图像叠加在第一渲染模式采样图像的对应区域。
在一些实施例中，将上述任一实施例的渲染方法的渲染结果输出到显示装置时，待渲染的整个显示区域对应于显示装置的显示屏幕的单眼图像。
例如，第一渲染模式采样图像的图像渲染特征小于显示屏幕对应的图像显示指标；第二渲染模式采样图像的图像渲染特征等于显示屏幕对应的图像显示指标。
例如，图像渲染特征包括分辨率，第一渲染模式所采用的第一分辨率对应的单位面积像素点数小于显示屏幕的单眼显示分辨率对应的单位面积像素点数；第二渲染模式所采用的第二分辨率对应的单位面积像素点数等于显示屏幕的单眼显示分辨率对应的单位面积像素点数。
此处，所称的图像显示指标可以是显示屏幕的物理显示参数，例如物理分辨率、物理色彩深度等。
在一些实施例中，显示装置包括双眼头戴显示装置，对于一个三维虚拟场景，步骤S3中所传输的数据包括左眼图像和右眼图像，因此拼接后的图像包括左眼第一分辨率采样图像、左眼第二分辨率采样图像、右眼第一分辨率采样图像、及右眼第二分辨率采样图像，可以将这四副图像拼接成一张图像进行一次性传输。
在一些实施例中，显示装置包括双眼头戴显示装置，对于一个三维虚拟场景，图像渲染特征包括色彩深度的情况，拼接后的图像包括左眼第一色深采样图像、左眼第二色深采样图像、右眼第一色深采样图像、及右眼第二色深采样图像，可以将这四副图像拼接成一张图像进行一次性传输。
在一些实施例中，完成分区域多渲染模式的渲染及图片拼接传输后，显示装置端会对所传输的图片数据进行显示，即步骤S4。
例如，请继续参见图2，步骤S4包括以下步骤：
S41：获取通过上述渲染方法所产生的第一渲染模式采样图像和第二渲染模式采样图像的数据。
S42：将第一渲染模式采样图像变换到能够铺满显示屏幕的显示屏幕的尺寸。
S43：将第二渲染模式采样图像叠加在拉伸后的第一渲染模式采样图像上。
S44：向显示屏幕输出叠加后的图像。
上述步骤S41～S44可通过向显示装置集成逻辑运算电路，例如处理器等执行。通过上述步骤S41～S44，最终显示在显示屏幕的图像呈现目标区域清晰度较高，除目标区域以外的其它区域清晰度较低的显示效果。由于人眼只能接纳注视区的细节，对超出人眼注视区5°以上的内容的清晰度感知逐渐降低，因此用户从感观上并不会察觉所显示的图像清晰度明显损失。
此外，需要说明的是，上述步骤S41～S44具体可以是一个或一些处理器所执行的工作，该处理器可以集成在计算机产品中(例如该计算机产品外置并连接显示装置)，也可以集成在诸如显示装置中的驱动控制器等具有逻辑运算处理功能的部件中。
下面结合具体的一个应用场景，以分辨率为例，对本公开的实施例所提供的渲染方法进行说明。
S1′：显示屏幕的单眼图像的分辨率为4320×4800，采用1080×1200分辨率对待渲染场景的整个显示区域进行低分辨率渲染，得到分辨率为1080×1200的第一分辨率采样图像，如图3所示。例如，在低分辨率渲染中，对待渲染场景的整个显示区域进行了横向1/4，纵向1/4的压缩。
S2′：确定整个显示区域的中心区域为目标区域，采用1080×1200分辨率对所确定的目标区域进行高分辨率渲染，得到分辨率为1080×1200的第二分辨率采样图像，如图4所示。例如，在高分辨率渲染中，目标区域占据整个显示区域横向1/4，纵向1/4的画面。容易理解，第二分辨率采样图像的单位面积像素密度与显示屏幕的单眼图像的分辨率的单位面积像素密度是相同的。
例如，在上述步骤S2′中，目标区域的位置的计算方法为：设整个显示区域的相机的视场角(Field of view，简称fov)为α，目标区域的相机的视场角为β，目标区域占整个显示区域的比例为1：n(此处n＝16)，那么目标区域与整个显示区域的相机的视场角之间的关系为：已知α、n，根据该公式，能够计算得到β。若整个显示区域的相机的视场角α为90°，目标区域占整个显示区域的比例为1：16，则可计算得到目标区域的相机的视场角β为28.07°，进而可根据计算得到的目标区域的相机的视场角β得到目标区域的位置。
S3′：对低分辨率渲染得到的第一分辨率采样图像和高分辨率渲染得到的第二分辨率采样图像进行拼接。
以头戴显示为例，如图5所示，在拼接后的图像中：左上角为对应左眼的目标区域图像，即左眼第二分辨率采样图像；左下角为对应左眼的整个显示区域图像，即左眼第一分辨率采样图像；右上角为对应右眼的目标区域图像，即右眼第二分辨率采样图像；右下角为对应右眼的整个显示区域图像，即右眼第一分辨率采样图像。将拼接后的图像进行传输，由于进行拼接的四副图像的分辨率均为1080×1200，因此拼接后的图像的分辨率为2160×2400，相比较于两只眼睛的图像都采用4320×4800高清分辨率渲染传输的方案，数据传输量仅占1/8，显著节省了渲染的工作量和传输的数据量。
例如，可以通过如下方式实现图像的拼接处理并驱动显示装置的显示屏幕进行显示。
S4′：将单眼第一分辨率采样图像拉伸至铺满显示装置的显示屏幕的尺寸，然后将单眼第二分辨率采样图像叠加在拉伸后的单眼第一分辨率采样图像上，形成单眼图像。如图6所示，为最终形成的单眼图像，其中心区域为经过高分辨率渲染的目标区域2，中心区域周围的区域为经过低分辨率渲染的非目标区域1。
如图7所示，对图6进行局部放大后，能够明显看出目标区域2的清晰度高于非目标区域1的清晰度。
本公开的实施例还提供了一种计算机程序产品，例如该计算机程序产品可以表现为一种渲染引擎，其包含或编译为若干计算机操作指令的结合以运行在处理器并使得处理器执行本公开实施例的渲染方法。
如图8所示，该渲染引擎在逻辑上可以包括：第一渲染模块10、第二渲染模块20、及数据传输模块30，第一渲染模块10和第二渲染模块20分别与数据传输模块30相连。
其中，第一渲染模块10用于采用第一渲染模式，对待渲染场景的整个显示区域进行渲染，得到第一渲染模式采样图像。第一渲染模块10实施渲染的具体过程可参见上述渲染方法中的相关描述，此处不再重复描述。
第二渲染模块20用于对整个显示区域的目标区域，采用第二渲染模式对该目标区域进行渲染，得到第二渲染模式采样图像。第二渲染模块20实施渲染的具体过程可参见上述渲染方法中的相关描述，此处不再重复描述。
数据传输模块30用于传输第一渲染模式采样图像和第二渲染模式采样图像的数据。请继续参见图8，作为一种可能的实现方式，数据传输模块30可包括：相连的图像拼接单元31和拼接图像传输单元32；其中，图像拼接单元31用于将第一渲染模式采样图像和第二渲染模式采样图像进行拼接，拼接图像传输单元32用于向显示装置的显示屏幕传输拼接后的图像。
上述渲染引擎能够减少渲染工作量，及图像数据的传输量，使得渲染引擎能够满足高画质显示的需要，能够较好的完成高画质画面的实时显示。并且，人眼观察经上述渲染引擎渲染后的显示画面，在感观上不会明显感觉画面清晰度下降。
需要说明的是，上述渲染引擎加载于处理器中的计算机程序软件产品实现，也可以将相关的指令代码固化在硬件电路集成实现。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序配置为被处理器执行时，能够实现如本公开实施例所述的渲染方法的一个或多个步骤。
如图8所示，本公开实施例还提供了一种计算机产品500，包括一个或多个处理器502，所述处理器配置成运行计算机指令以执行如本公开实施例的渲染方法中的一个或多个步骤。
可选地，所述计算机产品500还包括存储器501，连接所述处理器502，被配置为存储所述计算机指令。
其中，存储器501可以是各种由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
其中，处理器502可以是中央处理单元(CPU)或者现场可编程逻辑阵列(FPGA)或者单片机(MCU)或者数字信号处理器(DSP)或者专用集成电路(ASIC)或者图形处理器(GPU)等具有数据处理能力和/或程序执行能力的逻辑运算器件。一个或多个处理器可以被配置为以并行计算的处理器组同时执行上述渲染方法，或者被配置为以部分处理器执行上述渲染方法中的部分步骤，部分处理器执行上述渲染方法中的其它部分步骤等。
计算机指令包括了一个或多个由对应于处理器的指令集架构定义的处理器操作，这些计算机指令可以被一个或多个计算机程序在逻辑上包含和表示。
该计算机产品500还可以连接各种输入设备(例如用户界面、键盘等)、各种输出设备(例如扬声器、网卡等)、以及显示设备等实现计算机产品与其它产品或用户的交互，本文在此不再赘述。
其中，连接可以是通过网络连接，例如无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者Wi-Fi等通信方式。
本公开的实施例还提供了一种显示装置，该显示装置包括显示屏幕，显示装置连接上述实施例的计算机产品，和数据传输器件；所述计算机产品获取、渲染并待显示的整个显示区域，数据传输器件获取计算机产品的输出并传输给显示装置的显示屏幕进行显示。
数据传输器件与显示屏幕的显示驱动电路耦接，例如数据传输器件连接到显示屏幕的接口(如VGA、DVI、HDMI、DP等)。
例如，数据传输器件可以是对应显示屏幕接口的显示连接线缆。
例如，数据传输器件可以是基于无线实现的显示信号收发器件，例如，能够执行Air Play、DLNA、Miracast、WiDi、Chromecast等显示功能的无线显示收发器件。
例如，该显示装置还连接或集成有一个或多个传感器，传感器与处理器连接，传感器配置为跟踪和确定用户的注视点，处理器获取用户的注视点。
例如，计算机产品的处理器还配置为获取显示装置的显示屏幕的尺寸，以将所述第一渲染模式采样图像能够变换到能够铺满显示屏幕的尺寸。
在一些实施例中，所述显示装置为头戴式显示装置，包括但不限于VR虚拟现实、AR增强现实、MR混合现实、CR影像现实等头戴式显示装置。
以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种渲染方法，其特征在于，所述渲染方法包括：
采用第一渲染模式对待渲染的整个显示区域进行渲染，得到第一渲染模式采样图像；
在整个显示区域中确定目标区域，采用第二渲染模式对目标区域进行渲染，得到第二渲染模式采样图像，所述第二渲染模式包括至少一个高于第一渲染模式的图像渲染特征；
传输第一渲染模式采样图像和第二渲染模式采样图像的数据。
2.根据权利要求1所述的渲染方法，其特征在于，所述图像渲染特征包括分辨率和色彩深度中的至少一者。
3.根据权利要求2所述的渲染方法，其特征在于，采用第一渲染模式对待渲染的整个显示区域进行渲染，包括以第一分辨率对待渲染的整个显示区域进行渲染；采用第二渲染模式对目标区域进行渲染，包括以第二分辨率对目标区域进行渲染；所述第一分辨率对应的单位面积像素点数为所述第二分辨率对应的单位面积像素点数的1/4～1/3。
4.根据权利要求1所述的渲染方法，其特征在于，所述在所述整个显示区域中确定目标区域，包括：
在所述整个显示区域中确定所述目标区域的中心点，并确定所述目标区域的面积占所述整个显示区域的面积的比例；
根据所述目标区域的中心点的位置及所述目标区域的面积占所述整个显示区域的面积的比例，计算所述目标区域在所述整个显示区域中的位置。
5.根据权利要求4所述的渲染方法，其特征在于，所述在所述整个显示区域中确定目标区域，包括：
确定所述目标区域的中心点为所述整个显示区域的中心点，及所述目标区域的面积占所述整个显示区域的面积的比例为1：n；
获取所述整个显示区域的相机的视场角α；
计算所述目标区域的相机的视场角β：
根据计算得到的目标区域的相机的视场角β，计算所述目标区域在所述整个显示区域中的位置。
6.根据权利要求4所述的渲染方法，其特征在于，所述在所述整个显示区域中确定目标区域，包括：
确定所述目标区域的中心点为用户在所述整个显示区域上的注视点，及所述目标区域的面积占所述整个显示区域的面积的比例为1：n；
获取所述注视点的坐标值(Zx，Zy)，所述整个显示区域的相机的近裁面距离Anear、远裁面距离Afar，及所述目标区域的相机左视场角βleft、相机右视场角βright、相机上视场角βup、相机下视场角βdown，并根据所述目标区域的面积占所述整个显示区域的面积的比例1：n，获取Zx的取值范围为-m≤Zx≤m，Zy的取值范围为-m≤Zy≤m；
计算所述目标区域的边界值：
基于所述目标区域的边界值计算所述目标区域的投影矩阵的参数：
基于所述目标区域的投影矩阵的参数得到所述目标区域的投影矩阵Zm：
7.根据权利要求1所述的渲染方法，其特征在于，所述目标区域的面积占所述整个显示区域的面积的1/4～1/3。
8.根据权利要求1～7任一项所述的渲染方法，其特征在于，所述传输所述第一渲染模式采样图像和所述第二渲染模式采样图像的数据，包括：
将所述第一渲染模式采样图像和所述第二渲染模式采样图像进行拼接；
传输拼接后的图像。
9.根据权利要求8所述的渲染方法，其特征在于，将所述第一渲染模式采样图像和所述第二渲染模式采样图像进行拼接，包括将所述第二渲染模式采样图像叠加在所述第一渲染模式采样图像的对应区域。
10.根据权利要求1所述的渲染方法，应用于显示装置，其中，所述待渲染的整个显示区域对应于显示装置的显示屏幕的单眼图像。
11.根据权利要求10所述的渲染方法，其特征在于，所述图像渲染特征包括分辨率和色彩深度中的至少一者，所述第一渲染模式采样图像的图像渲染特征小于显示屏幕对应的图像显示指标；所述第二渲染模式采样图像的图像渲染特征等于显示屏幕对应的图像显示指标。
12.根据权利要求10所述的渲染方法，其特征在于，所述图像渲染特征包括分辨率，所述第一渲染模式所采用的第一分辨率对应的单位面积像素点数小于显示屏幕的单眼显示分辨率对应的单位面积像素点数；所述第二渲染模式所采用的第二分辨率对应的单位面积像素点数等于所述显示屏幕的单眼显示分辨率对应的单位面积像素点数。
13.根据权利要求12所述的渲染方法，其特征在于，所述显示装置包括双眼头戴式显示装置，所述第一渲染模式采样图像包括左眼第一分辨率采样图像和右眼第一分辨率采样图像，所述第二渲染模式采样图像包括左眼第二分辨率采样图像和右眼第二分辨率采样图像。
14.一种计算机产品，包括一个或多个处理器，所述处理器配置成运行计算机指令，以执行如权利要求1～13任一项所述的渲染方法中的一个或多个步骤。
15.一种显示装置，连接如权利要求14所述的计算机产品，和数据传输器件；所述计算机产品配置为获取、渲染并输出待显示的整个显示区域，所述数据传输器件获取所述计算机产品的输出并传输给显示装置的显示屏幕进行显示。
16.根据权利要求15所述的显示装置，其特征在于，还包括一个或多个传感器，所述传感器配置为跟踪和确定用户的注视点。
17.根据权利要求15所述的显示装置，其特征在于，所述计算机产品配置为获取显示装置的显示屏幕的尺寸，将所述第一渲染模式采样图像变换到能够铺满显示屏幕的尺寸。
18.根据权利要求15所述的显示装置，其特征在于，所述显示装置为头戴式显示装置。
CN201810260593.3A 2018-03-27 2018-03-27 渲染方法、计算机产品及显示装置 Pending CN110324601A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810260593.3A CN110324601A (zh) 2018-03-27 2018-03-27 渲染方法、计算机产品及显示装置
CN202211348741.XA CN115842907A (zh) 2018-03-27 2018-03-27 渲染方法、计算机产品及显示装置
PCT/CN2018/104350 WO2019184251A1 (en) 2018-03-27 2018-09-06 Rendering method, computer product and display apparatus
US16/335,350 US11436787B2 (en) 2018-03-27 2018-09-06 Rendering method, computer product and display apparatus
EP18855141.0A EP3776200A4 (en) 2018-03-27 2018-09-06 DISPLAY METHOD, COMPUTER PRODUCT AND DISPLAY DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810260593.3A CN110324601A (zh) 2018-03-27 2018-03-27 渲染方法、计算机产品及显示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211348741.XA Division CN115842907A (zh) 2018-03-27 2018-03-27 渲染方法、计算机产品及显示装置

Publications (1)

Publication Number Publication Date
CN110324601A true CN110324601A (zh) 2019-10-11

Family

ID=67658203

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211348741.XA Pending CN115842907A (zh) 2018-03-27 2018-03-27 渲染方法、计算机产品及显示装置
CN201810260593.3A Pending CN110324601A (zh) 2018-03-27 2018-03-27 渲染方法、计算机产品及显示装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211348741.XA Pending CN115842907A (zh) 2018-03-27 2018-03-27 渲染方法、计算机产品及显示装置

Country Status (4)

Country Link
US (1) US11436787B2 (zh)
EP (1) EP3776200A4 (zh)
CN (2) CN115842907A (zh)
WO (1) WO2019184251A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830783A (zh) * 2019-11-28 2020-02-21 歌尔科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN111290581A (zh) * 2020-02-21 2020-06-16 京东方科技集团股份有限公司 虚拟现实显示方法、显示装置及计算机可读介质
CN111553972A (zh) * 2020-04-27 2020-08-18 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
CN113473210A (zh) * 2021-07-15 2021-10-01 北京京东方光电科技有限公司 显示方法、设备和存储介质
CN114495771A (zh) * 2020-11-13 2022-05-13 京东方科技集团股份有限公司 虚拟现实显示设备、主机设备、系统及数据处理方法
CN114554173A (zh) * 2021-11-17 2022-05-27 北京博良胜合科技有限公司 基于Cloud XR的云端简化注视点渲染的方法以及装置
CN114612461A (zh) * 2022-03-24 2022-06-10 数坤(北京)网络科技股份有限公司 图像处理方法、装置、存储介质及电子设备
WO2022133683A1 (zh) * 2020-12-21 2022-06-30 京东方科技集团股份有限公司 一种混合现实显示的方法、混合现实设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1930587A (zh) * 2004-03-15 2007-03-14 皇家飞利浦电子股份有限公司 图像可视化
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN103745501A (zh) * 2014-01-28 2014-04-23 广东药学院 Stl文件格式的三维模型着色及颜色信息存取方法
CN105282532A (zh) * 2014-06-03 2016-01-27 天津拓视科技有限公司 3d显示方法和装置
CN106101533A (zh) * 2016-06-15 2016-11-09 努比亚技术有限公司 渲染控制方法、装置及移动终端
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
CN106407003A (zh) * 2016-08-29 2017-02-15 广州视睿电子科技有限公司 屏幕界面显示方法和系统
CN106993179A (zh) * 2017-02-24 2017-07-28 杭州电子科技大学 一种3d模型转立体双视点视图的方法
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN107730578A (zh) * 2017-10-18 2018-02-23 广州爱九游信息技术有限公司 光环境遮蔽图的渲染方法、生成效果图的方法和设备
CN107807732A (zh) * 2016-09-09 2018-03-16 三星电子株式会社 用于显示图像的方法、存储介质和电子装置

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764231A (en) * 1992-05-15 1998-06-09 Eastman Kodak Company Method and apparatus for creating geometric depth images using computer graphics
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
US5999187A (en) * 1996-06-28 1999-12-07 Resolution Technologies, Inc. Fly-through computer aided design method and apparatus
US6300957B1 (en) * 1998-07-29 2001-10-09 Inxight Software, Inc. Mapping a node-link structure to a rendering space beginning from any node
US6937272B1 (en) * 2000-11-08 2005-08-30 Xerox Corporation Display device for a camera
US6919907B2 (en) * 2002-06-20 2005-07-19 International Business Machines Corporation Anticipatory image capture for stereoscopic remote viewing with foveal priority
NZ567884A (en) * 2005-11-23 2011-07-29 Pixar Performing rendering operations to form intermediate data of images, processing the inermediate data, and then performing additional rendering
JP4836814B2 (ja) * 2007-01-30 2011-12-14 株式会社東芝 ３ｄディスプレイ用ｃｇ画像生成装置、３ｄディスプレイ用ｃｇ画像生成方法、及びプログラム
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
JP4754031B2 (ja) 2009-11-04 2011-08-24 任天堂株式会社 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム
US20110183301A1 (en) * 2010-01-27 2011-07-28 L-3 Communications Corporation Method and system for single-pass rendering for off-axis view
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
JP5939733B2 (ja) * 2010-10-15 2016-06-22 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法
US8848006B2 (en) * 2012-01-25 2014-09-30 Massachusetts Institute Of Technology Tensor displays
CN102842301B (zh) * 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
JP5854982B2 (ja) 2012-12-27 2016-02-09 京セラドキュメントソリューションズ株式会社 画像処理装置
US9898081B2 (en) * 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US11714487B2 (en) * 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US20150109532A1 (en) * 2013-10-23 2015-04-23 Google Inc. Customizing mobile media captioning based on mobile media rendering
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
JP6539672B2 (ja) * 2013-11-25 2019-07-03 テッセランド・エルエルシーＴｅｓｓｅｌａｎｄ Ｌｌｃ 没入型コンパクトディスプレイグラス
GB2523555B (en) * 2014-02-26 2020-03-25 Sony Interactive Entertainment Europe Ltd Image encoding and display
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
US11138793B2 (en) * 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US10438312B2 (en) 2014-04-05 2019-10-08 Sony Interactive Entertainment LLC Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US9836816B2 (en) * 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
US9710881B2 (en) * 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US11302054B2 (en) * 2014-04-05 2022-04-12 Sony Interactive Entertainment Europe Limited Varying effective resolution by screen location by changing active color sample count within multiple render targets
US10068311B2 (en) * 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
CN105096905B (zh) * 2014-04-28 2017-12-26 联想(北京)有限公司 显示切换方法和电子设备
US10397666B2 (en) * 2014-06-27 2019-08-27 Koninklijke Kpn N.V. Determining a region of interest on the basis of a HEVC-tiled video stream
CN104238126A (zh) * 2014-09-12 2014-12-24 京东方科技集团股份有限公司 一种裸眼立体显示装置
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
SE538519C2 (en) * 2014-12-09 2016-09-06 Adssets AB A method and computer program for simulating a three dimensional display of data on a two dimensional display
US9704217B2 (en) * 2015-04-20 2017-07-11 Intel Corporation Apparatus and method for non-uniform frame buffer rasterization
US9930315B2 (en) * 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
US10037620B2 (en) * 2015-05-29 2018-07-31 Nvidia Corporation Piecewise linear irregular rasterization
US9607428B2 (en) * 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US10757399B2 (en) * 2015-09-10 2020-08-25 Google Llc Stereo rendering system
KR20180057668A (ko) * 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
US10726619B2 (en) * 2015-10-29 2020-07-28 Sony Interactive Entertainment Inc. Foveated geometry tessellation
US11010956B2 (en) 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
US20170178395A1 (en) * 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
US10218968B2 (en) * 2016-03-05 2019-02-26 Maximilian Ralph Peter von und zu Liechtenstein Gaze-contingent display technique
US10270825B2 (en) * 2016-03-31 2019-04-23 Verizon Patent And Licensing Inc. Prediction-based methods and systems for efficient distribution of virtual reality media content
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10460704B2 (en) * 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
GB2553744B (en) * 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
US10739851B2 (en) * 2016-04-29 2020-08-11 Tobii Ab Eye-tracking enabled wearable devices
US10102668B2 (en) * 2016-05-05 2018-10-16 Nvidia Corporation System, method, and computer program product for rendering at variable sampling rates using projective geometric distortion
GB2551526A (en) * 2016-06-21 2017-12-27 Nokia Technologies Oy Image encoding method and technical equipment for the same
US20180061084A1 (en) * 2016-08-24 2018-03-01 Disney Enterprises, Inc. System and method of bandwidth-sensitive rendering of a focal area of an animation
US10438318B2 (en) * 2016-08-30 2019-10-08 Intel IP Corporation Blind spot rendering optimizations for eye tracking head mounted displays
US10535186B2 (en) * 2016-08-30 2020-01-14 Intel Corporation Multi-resolution deferred shading using texel shaders in computing environments
GB2553353B (en) * 2016-09-05 2021-11-24 Advanced Risc Mach Ltd Graphics processing systems and graphics processors
KR102545195B1 (ko) * 2016-09-12 2023-06-19 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
KR102650215B1 (ko) * 2016-10-18 2024-03-21 삼성전자주식회사 영상 처리 방법 및 장치
CN110214339A (zh) * 2016-11-30 2019-09-06 诺瓦赛特有限公司 用于显示具有改变的视场的图像的方法和设备
EP3334164B1 (en) * 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
EP3337154A1 (en) * 2016-12-14 2018-06-20 Thomson Licensing Method and device for determining points of interest in an immersive content
WO2018125850A1 (en) * 2016-12-27 2018-07-05 Gerard Dirk Smits Systems and methods for machine perception
US10282885B2 (en) * 2016-12-29 2019-05-07 Pixar Computer graphic system and method of multi-scale simulation of smoke
US20180192022A1 (en) * 2017-01-03 2018-07-05 Black Sails Technology Inc. Method and System for Real-time Rendering Displaying Virtual Reality (VR) On Mobile Using Head-Up Display Devices
US10025384B1 (en) * 2017-01-06 2018-07-17 Oculus Vr, Llc Eye tracking architecture for common structured light and time-of-flight framework
US10560680B2 (en) * 2017-01-28 2020-02-11 Microsoft Technology Licensing, Llc Virtual reality with interactive streaming video and likelihood-based foveation
US10520742B1 (en) * 2017-02-13 2019-12-31 Facebook Technologies, Llc Beamsplitter assembly for eye tracking in head-mounted displays
US10546365B2 (en) * 2017-03-27 2020-01-28 Advanced Micro Devices, Inc. Single pass flexible screen/scale rasterization
US11086396B2 (en) * 2017-03-31 2021-08-10 Sony Interactive Entertainment LLC Depth-keying of web content
US10453241B2 (en) * 2017-04-01 2019-10-22 Intel Corporation Multi-resolution image plane rendering within an improved graphics processor microarchitecture
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US11882267B2 (en) * 2017-04-11 2024-01-23 Dolby Laboratories Licensing Corporation Adapting video images for wearable devices
US10623634B2 (en) * 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
WO2018201048A1 (en) * 2017-04-27 2018-11-01 Google Llc Synthetic stereoscopic content capture
CN108876926B (zh) * 2017-05-11 2021-08-10 京东方科技集团股份有限公司 一种全景场景中的导航方法及系统、ar/vr客户端设备
US10665209B2 (en) * 2017-05-18 2020-05-26 Synaptics Incorporated Display interface with foveal compression
US10885607B2 (en) * 2017-06-01 2021-01-05 Qualcomm Incorporated Storage for foveated rendering
US10572764B1 (en) * 2017-06-05 2020-02-25 Google Llc Adaptive stereo rendering to reduce motion sickness
EP3635686A1 (en) * 2017-06-05 2020-04-15 Google LLC Smoothly varying foveated rendering
US10650544B2 (en) * 2017-06-09 2020-05-12 Sony Interactive Entertainment Inc. Optimized shadows in a foveated rendering system
US10515466B2 (en) * 2017-06-09 2019-12-24 Sony Interactive Entertainment Inc. Optimized deferred lighting in a foveated rendering system
US10108261B1 (en) * 2017-07-05 2018-10-23 Oculus Vr, Llc Eye tracking based on light polarization
US20190035049A1 (en) * 2017-07-31 2019-01-31 Qualcomm Incorporated Dithered variable rate shading
GB2565302B (en) * 2017-08-08 2022-04-13 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
US10488921B1 (en) * 2017-09-08 2019-11-26 Facebook Technologies, Llc Pellicle beamsplitter for eye tracking
US10755383B2 (en) * 2017-09-29 2020-08-25 Apple Inc. Multi-space rendering with configurable transformation parameters
KR102417070B1 (ko) * 2017-11-06 2022-07-06 삼성디스플레이 주식회사 휘도 불균일 보상 방법 및 이를 채용한 표시 장치
US10395624B2 (en) * 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
US10522113B2 (en) * 2017-12-29 2019-12-31 Intel Corporation Light field displays having synergistic data formatting, re-projection, foveation, tile binning and image warping technology
EP3765943A4 (en) * 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
US10841533B2 (en) * 2018-03-23 2020-11-17 Raja Singh Tuli Telepresence system with virtual reality
US20190335166A1 (en) * 2018-04-25 2019-10-31 Imeve Inc. Deriving 3d volumetric level of interest data for 3d scenes from viewer consumption data
US10497173B2 (en) * 2018-05-07 2019-12-03 Intel Corporation Apparatus and method for hierarchical adaptive tessellation
US11836885B2 (en) * 2018-05-07 2023-12-05 Apple Inc. Dynamic foveated pipeline
GB2573543B (en) * 2018-05-09 2021-10-27 Advanced Risc Mach Ltd Graphics Processing
US10937126B2 (en) * 2018-05-17 2021-03-02 Intel Corporation Tile-based multiple resolution rendering of images
US10942564B2 (en) * 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
EP3804328A4 (en) * 2018-06-29 2022-03-09 Proprio, Inc. SYNTHESIS OF AN IMAGE FROM A VIRTUAL PERSPECTIVE USING PIXELS FROM A PHYSICAL IMAGING ARRANGEMENT
US10861249B2 (en) * 2018-07-27 2020-12-08 The Q Digital Technologies, Inc. Methods and system for manipulating digital assets on a three-dimensional viewing platform
US10616565B2 (en) * 2018-08-21 2020-04-07 The Boeing Company System and method for foveated simulation
CN109242943B (zh) * 2018-08-21 2023-03-21 腾讯科技（深圳）有限公司 一种图像渲染方法、装置及图像处理设备、存储介质
US10628990B2 (en) * 2018-08-29 2020-04-21 Intel Corporation Real-time system and method for rendering stereoscopic panoramic images
US10757389B2 (en) * 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US10733783B2 (en) * 2018-10-09 2020-08-04 Valve Corporation Motion smoothing for re-projected frames
GB2578769B (en) * 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
US10958887B2 (en) * 2019-01-14 2021-03-23 Fyusion, Inc. Free-viewpoint photorealistic view synthesis from casually captured video
US10771774B1 (en) * 2019-03-22 2020-09-08 Varjo Technologies Oy Display apparatus and method of producing images having spatially-variable angular resolutions
US10764567B2 (en) * 2019-01-22 2020-09-01 Varjo Technologies Oy Display apparatus and method of displaying
US11030719B2 (en) * 2019-01-22 2021-06-08 Varjo Technologies Oy Imaging unit, display apparatus and method of displaying
WO2020173414A1 (zh) * 2019-02-25 2020-09-03 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法和装置
US11375178B2 (en) * 2019-03-04 2022-06-28 Dolby Laboratories Licensing Corporation Multi-resolution multi-view video rendering
WO2020201999A2 (en) * 2019-04-01 2020-10-08 Evolution Optiks Limited Pupil tracking system and method, and digital display device and digital image rendering system and method using same
US10997773B2 (en) * 2019-06-13 2021-05-04 Facebook Technologies, Llc Dynamic tiling for foveated rendering
US20200413032A1 (en) * 2019-06-27 2020-12-31 Texas Instruments Incorporated Methods and apparatus to render 3d content within a moveable region of display screen
US11113880B1 (en) * 2019-07-22 2021-09-07 Facebook Technologies, Llc System and method for optimizing the rendering of dynamically generated geometry
US11100899B2 (en) * 2019-08-13 2021-08-24 Facebook Technologies, Llc Systems and methods for foveated rendering
CN110488977B (zh) * 2019-08-21 2021-10-08 京东方科技集团股份有限公司 虚拟现实显示方法、装置、系统及存储介质
GB2587230B (en) * 2019-09-20 2022-09-28 Sony Interactive Entertainment Inc Graphical rendering method and apparatus
CN114026603B (zh) * 2019-09-23 2023-06-13 苹果公司 渲染计算机生成现实文本
US11176637B2 (en) * 2019-12-03 2021-11-16 Facebook Technologies, Llc Foveated rendering using eye motion
US11303875B2 (en) * 2019-12-17 2022-04-12 Valve Corporation Split rendering between a head-mounted display (HMD) and a host computer
US11363247B2 (en) * 2020-02-14 2022-06-14 Valve Corporation Motion smoothing in a distributed system
US20210358193A1 (en) * 2020-05-12 2021-11-18 True Meeting Inc. Generating an image from a certain viewpoint of a 3d object using a compact 3d model of the 3d object
CA3119135A1 (en) * 2020-05-19 2021-11-19 Unity IPR ApS Method and system for filtering shadow maps with sub-frame accumulation
US11367165B2 (en) * 2020-05-19 2022-06-21 Facebook Technologies, Llc. Neural super-sampling for real-time rendering
US11263729B2 (en) * 2020-05-26 2022-03-01 Microsoft Technology Licensing, Llc Reprojection and wobulation at head-mounted display device
GB2595872B (en) * 2020-06-09 2023-09-20 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1930587A (zh) * 2004-03-15 2007-03-14 皇家飞利浦电子股份有限公司 图像可视化
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN103745501A (zh) * 2014-01-28 2014-04-23 广东药学院 Stl文件格式的三维模型着色及颜色信息存取方法
CN105282532A (zh) * 2014-06-03 2016-01-27 天津拓视科技有限公司 3d显示方法和装置
CN106101533A (zh) * 2016-06-15 2016-11-09 努比亚技术有限公司 渲染控制方法、装置及移动终端
CN106407003A (zh) * 2016-08-29 2017-02-15 广州视睿电子科技有限公司 屏幕界面显示方法和系统
CN107807732A (zh) * 2016-09-09 2018-03-16 三星电子株式会社 用于显示图像的方法、存储介质和电子装置
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
CN106993179A (zh) * 2017-02-24 2017-07-28 杭州电子科技大学 一种3d模型转立体双视点视图的方法
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN107730578A (zh) * 2017-10-18 2018-02-23 广州爱九游信息技术有限公司 光环境遮蔽图的渲染方法、生成效果图的方法和设备

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910509A (zh) * 2019-11-21 2020-03-24 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
US11812008B2 (en) 2019-11-28 2023-11-07 Goertek Inc. VR image processing method and device, VR glasses, and readable storage medium
CN110830783B (zh) * 2019-11-28 2021-06-01 歌尔光学科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
CN110830783A (zh) * 2019-11-28 2020-02-21 歌尔科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
CN111290581A (zh) * 2020-02-21 2020-06-16 京东方科技集团股份有限公司 虚拟现实显示方法、显示装置及计算机可读介质
CN111290581B (zh) * 2020-02-21 2024-04-16 京东方科技集团股份有限公司 虚拟现实显示方法、显示装置及计算机可读介质
CN111553972A (zh) * 2020-04-27 2020-08-18 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
CN114495771A (zh) * 2020-11-13 2022-05-13 京东方科技集团股份有限公司 虚拟现实显示设备、主机设备、系统及数据处理方法
CN114495771B (zh) * 2020-11-13 2023-12-05 京东方科技集团股份有限公司 虚拟现实显示设备、主机设备、系统及数据处理方法
WO2022133683A1 (zh) * 2020-12-21 2022-06-30 京东方科技集团股份有限公司 一种混合现实显示的方法、混合现实设备及存储介质
CN113473210A (zh) * 2021-07-15 2021-10-01 北京京东方光电科技有限公司 显示方法、设备和存储介质
CN114554173A (zh) * 2021-11-17 2022-05-27 北京博良胜合科技有限公司 基于Cloud XR的云端简化注视点渲染的方法以及装置
CN114554173B (zh) * 2021-11-17 2024-01-30 北京博良胜合科技有限公司 基于Cloud XR的云端简化注视点渲染的方法以及装置
CN114612461A (zh) * 2022-03-24 2022-06-10 数坤(北京)网络科技股份有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US11436787B2 (en) 2022-09-06
WO2019184251A1 (en) 2019-10-03
CN115842907A (zh) 2023-03-24
EP3776200A4 (en) 2022-04-20
EP3776200A1 (en) 2021-02-17
US20210358200A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
CN110324601A (zh) 渲染方法、计算机产品及显示装置
JP4214976B2 (ja) 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
US7262767B2 (en) Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
JP2007506172A (ja) ３次元画像ディスプレイの画面に３次元画像を描画するシステム及び方法
CN111292236B (zh) 一种减少中央凹注视渲染中的混叠伪像的方法和计算系统
US20060164411A1 (en) Systems and methods for displaying multiple views of a single 3D rendering ("multiple views")
CN104054123A (zh) 多个内容项的同时显示
CN111290581B (zh) 虚拟现实显示方法、显示装置及计算机可读介质
JP6474278B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
JP2007018507A (ja) 立体映像表示装置、および３ｄ映像−立体変換機
CN112887646B (zh) 图像处理方法及装置、扩展现实系统、计算机设备及介质
TW201125355A (en) Method and system for displaying 2D and 3D images simultaneously
WO2020119822A1 (zh) 虚拟现实的显示方法及装置、设备、计算机存储介质
WO2019196589A1 (zh) 图像处理方法、设备、装置、图像贴合方法、设备、显示方法、装置及计算机可读介质
Li et al. Enhancing 3d applications using stereoscopic 3d and motion parallax
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
TW200933582A (en) Liquid crystal display and driving method thereof
JP4214528B2 (ja) 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
CN108335336B (zh) 超声成像方法和装置
CN106055293A (zh) 用于显示图像的方法、装置和系统
EP2549760A2 (en) Method for improving three-dimensional display quality
JP2010259022A (ja) 表示装置、表示方法、および表示プログラム
EP3330839A1 (en) Method and device for adapting an immersive content to the field of view of a user

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191011