CN107194891B - 改善图像质量的方法及虚拟实境装置 - Google Patents

改善图像质量的方法及虚拟实境装置 Download PDF

Info

Publication number
CN107194891B
CN107194891B CN201710351562.4A CN201710351562A CN107194891B CN 107194891 B CN107194891 B CN 107194891B CN 201710351562 A CN201710351562 A CN 201710351562A CN 107194891 B CN107194891 B CN 107194891B
Authority
CN
China
Prior art keywords
sensor
information
image data
sensing information
different frequencies
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710351562.4A
Other languages
English (en)
Other versions
CN107194891A (zh
Inventor
顾德明
武凤霞
张淮声
张炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glenfly Tech Co Ltd
Original Assignee
Shanghai Zhaoxin Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhaoxin Integrated Circuit Co Ltd filed Critical Shanghai Zhaoxin Integrated Circuit Co Ltd
Priority to CN201710351562.4A priority Critical patent/CN107194891B/zh
Priority to TW106119039A priority patent/TWI622957B/zh
Priority to US15/626,350 priority patent/US10482850B2/en
Publication of CN107194891A publication Critical patent/CN107194891A/zh
Application granted granted Critical
Publication of CN107194891B publication Critical patent/CN107194891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/024—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour registers, e.g. to control background, foreground, surface filling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame

Abstract

本发明提出一种改善图像质量的方法。所述方法用于一虚拟实境装置中，包括：接收一图像数据及一感测信息；根据一第一参数信息将上述图像数据分为对应至复数不同分辨率的区域，其中上述分辨率对应至不同频率；根据上述感测信息及上述不同频率通过一单遍方式渲染上述区域，并输出一已渲染图像数据；以及根据一第二参数信息解析上述已渲染图像数据为具有一第一分辨率的一最终输出图像数据。

Description

改善图像质量的方法及虚拟实境装置
技术领域
本发明涉及一种图形处理的领域，更加具体地说是有关于一种使用传感器改善图像质量的方法及虚拟实境(virtual reality)装置。
背景技术
混迭(aliasing)是计算器图形的基本问题，而抗混迭(anti-aliasing)则可减轻混迭的问题或因不足采样(undersampling)而产生的高频噪声。目前用于实时渲染(real-time rendering)。
现今已发展出数种抗混迭的方法。已知的解决方案一般使用盒式过滤器(boxfilter)对像素次采样，其在显示的结果中提供一些改良。超级采样(supersampling)和多重采样抗混迭(multisample anti-aliasing，MSAA)为针对现代图形硬件提供抗混迭的两种常用方式。一般而言，超级采样是以较高的分辨率(resolution)对场景加以渲染，并继而下降采样至目标分辨率。超级采样就性能和存储器频宽而言为昂贵的，然而由于整个场景均以较高的分辨率渲染，因此结果倾向具有高质量(quality)。下降采样是实施于称为解析(resolve)的处理步骤中，该解析是使用过滤来聚集采样。MSAA为另一种超级采样，并且是目前消费者图形处理器(Graphics Processing Unit，GPU)上的实时图形主要的抗混迭方法。第三种方法称为覆盖采样，该覆盖采样的目标为产生类似于MSAA的质量水平，但却具有减少的存储器需求。
但是现有的抗混迭技术缺乏足够的像素精确度，且并不稳定。由于边缘检测难以区分有意的颜色不连续性和由不完美渲染引起的不必要的混迭，因此会导致对纹理可察觉的模糊。尽管上述技术可以被调整，但根据速度和质量要求，对整个图形像素管线进行微调以优化质量是低效的。
发明内容
以下发明内容仅为示例性的，且不意指以任何方式加以限制。除所述说明性方面、实施方式和特征之外，通过参照附图和下述具体实施方式，其它方面、实施方式和特征也将显而易见。即，以下发明内容被提供以介绍概念、重点、益处及本文所描述新颖且非显而易见的技术优势。所选择，非所有的，实施例将进一步详细描述如下。因此，以下发明内容并不意旨在所要求保护主题的必要特征，也不意旨在决定所要求保护主题的范围中使用。
本发明提供一种改善图像质量的方法及虚拟实境装置。
本发明提出一种使用多分辨率改善图像质量的方法，上述方法用于一虚拟实境装置中，包括：接收一图像数据及一感测信息；根据一第一参数信息将上述图像数据分为对应至复数不同分辨率的区域，其中上述分辨率对应至不同频率；根据上述感测信息及上述不同频率通过一单遍方式渲染上述区域，并输出一已渲染图像数据；以及根据一第二参数信息解析上述已渲染图像数据为具有一第一分辨率的一最终输出图像数据。
本发明提出一种使用多分辨率改善图像质量的虚拟实境装置，包括：一图形处理器；以及一存储器，耦接至上述图形处理器；其中上述图形处理器配置用以执行储存于上述存储器中的程序代码以执行：接收一图像数据及一感测信息；根据一第一参数信息将上述图像数据分为对应至复数不同分辨率的区域，其中上述分辨率对应至不同频率；根据上述感测信息及上述不同频率以一单遍方式渲染上述区域，并输出一已渲染图像数据；以及根据一第二参数信息解析上述已渲染图像数据为具有一第一分辨率的一最终输出图像数据。
附图说明
附图被包括以提供本发明进一步理解且被合并与组成本公开的一部分。附图是说明本发明的实施例且连同描述一起用以解释本发明的原理。其可理解附图不一定按比例描绘，一些组件可以超过在实际实施方式的大小来显示，以清楚地说明本公开的概念。
图1是显示根据本发明一实施例所述的一示例性电子装置示例图。
图2显示根据本发明一实施例中图形渲染管线的示意图。
图3显示根据本发明一实施例所述的使用多分辨率改善图像质量的方法流程图。
图4显示根据本发明一实施例中图形渲染管线的示意图。
图5显示根据本发明一实施例中图形渲染管线的示意图。
图6显示根据本发明一实施例所述的改善图像质量的方法流程图。
图7显示根据本发明一实施例所述的改善图像质量的方法流程图。
具体实施方式
在下文中将参考附图对本公开的各方面进行更充分的描述。然而，本公开可以具体化成许多不同形式且不应解释为局限于贯穿本公开所呈现的任何特定结构或功能。相反地，提供这些方面将使得本公开周全且完整，并且本公开将给本领域技术人员充分地传达本公开的范围。基于本文所教导的内容，本领域的技术人员应意识到，无论是单独还是结合本公开的任何其它方面实现本文所公开的任何方面，本公开的范围旨在涵盖本文中所公开的任何方面。例如，可以使用本文所提出任意数量的装置或者执行方法来实现。另外，除了本文所提出本公开的多个方面之外，本公开的范围更旨在涵盖使用其它结构、功能或结构和功能来实现的装置或方法。应可理解，其可透过申请专利范围的一或多个组件具体化本文所公开的任何方面。
词语“示例性”在本文中用于表示“用作示例、实例或说明”。本公开的任何方面或本文描述为“示例性”的设计不一定被解释为优选于或优于本公开或设计的其它方面。
虽然此处描述特定的方面，但是这些方面的许多变化和排序落入本公开的范围内。虽然优选方面的一些益处及优点被提及，但是本公开的范围不仅旨在局限于特定益处、使用或者目标。相反地，本公开的方面旨在广泛适用于不同技术、系统组态、网络和协议，在附图和下面优选方面的说明中透过举例的方式对其中一些进行了说明。详细说明书和附图仅仅是对本公开说明而不是用于限制，透过所附申请专利范围及其等同物定义本公开的范围。
在本文中使用术语“应用程序”意在涵盖可执行和不可执行的软件文件、原始数据、合计数据、修补程序和其它程序代码片段。此外，相同的数字在所有若干图标中指示相同的组件，且除非在描述中另有指定，冠词“一”和“上述”包含复数的参考。
图1是显示根据本发明一实施例所述的一示例性电子装置100示例图。
以下描述旨在提供对可用其实现这样的系统的合适的电子装置的简要、一般的描述。电子装置可以是各种通用或专用计算硬件设定的任何计算硬件设定。可能适合公知的电子装置的示例包括但不限于，游戏控制台、机顶盒、个人计算机、掌上型或膝上型设备(例如，媒体播放机、笔记本计算机、蜂窝电话机、个人数据助理、话音记录器)、服务器计算机、多处理器系统、基于微处理器的系统、可程序设计消费电子产品、网络PC、微型计算机、大型计算机、包括任何以上系统或设备的分布式运算环境等等。
参考图1，在其基本的配置中，示例性电子装置100包括至少一处理器102和存储器104。电子装置可具有多个处理器102。处理器102可包括相互独立操作的一个或多个处理核(图未显示)。附加的协同处理单元，像是图形处理器(GPU)120，也被提供。取决于电子装置的配置和类型，存储器104可以是易挥发性的(像是RAM)、非易挥发性的(像是ROM、闪存等)或是两者的某种组合。该配置在图1中由虚线106示出。
电子装置100可具有附加特征和功能。例如，电子装置100还可包含附加储存(可移动和/或不可移动)，包括但不局限于磁盘、光盘或磁带。这种附加储存在图1中用卸除式储存装置108和不卸除式储存装置110示出。计算机储存介质包括以用于储存诸如计算机程序指令、数据结构、程序模块或其它数据等信息的任何方法或技术来实现的易挥发性和非易挥发性、可移动和不可移动介质。存储器104、卸除式储存装置108和不卸除式储存装置110皆是计算机储存介质的示例。计算机储存介质包括但不局限于，随机存取存储器(RandomAccess Memory，RAM)RAM、只读存储器(Read-Only Memory，ROM)电子抹除式可复写只读存储器(EEPROM)、闪存或其它存储器技术、CD-ROM、数字多功能光盘(DVD)或其它光学储存、磁带盒、磁带、磁盘储存或其它磁性存放装置。储存介质是其中数据可被储存并由电子装置从可寻址物理储存位置检索的任何介质。
电子装置100还可包含通讯连接112，其允许设备通过通讯介质与其它设备进行通信。通讯介质通常以诸如载波或其它传输机制等已调制数据信号来承载计算机程序指令、数据结构、程序模块或其它数据，并包括任意信息递送介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改，从而改变了信号的接收设备的配置或状态的信号。作为示例而非限制，通讯介质包括诸如有线网络或直接线连接之类的有线介质，以及像是声学、RF、红外线及其它无线介质之类的无线介质。通讯连接112是与通讯介质进行对接以通过通讯介质传输数据或从通讯介质接收数据的设备，像是网络接口。
电子装置100可具有各种输入设备114，如键盘、鼠标、笔、相机、触摸输入设备等。还可包括诸如显示驱动器、扬声器、打印机等输出设备116。所有这些设备在本领域是已知的并且在此不必详述。各种输入和输出设备可实现自然使用者接口(Natural UserInterface，NUI)，其是使得用户能够以“自然”方式与设备交互而无需由诸如鼠标、键盘、遥控器等强加的人为约束的任何接口技术。
自然使用者接口方法的示例可包括依赖于语音辨识、触摸和指示笔识别、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、话音和语音、视觉、触摸、姿势、以及机器智能的那些方法，并可包括使用触敏显示器、话音和语音辨识、意图和目的理解、使用深度相机(如立体相机系统、红外相机系统、和其它相机系统、以及这些的组合)的运动姿势检测、使用加速度计或陀螺仪的运动姿势检测、面部识别、三维显示、头部、眼睛和注视跟踪、浸入式增强现实和虚拟实境系统，所有这些都提供更自然的界面，以及用于使用电场传感电极(EEG和相关方法)传感大脑活动的技术。
在电子装置上操作的该系统的每个组件通常由诸如一个或多个计算机程序的软件来实现，一或多个计算机程序包括计算机可执行指令和/或计算机解释的指令，像是由计算机处理的程序模块。一般而言，程序模块包括在由处理单元处理时指令处理单元执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。该计算机系统可以在任务由通过通信网路连结的远程处理设备来执行的分布式运算环境中实现。在分布式运算环境中，程序模块可以位于包括存储器存放装置的本地和远程计算机储存介质两者中。
作为替换或补充，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如、但非限制，可使用的硬件逻辑组件的说明性类型包括现场可程序化门阵列(Field-Programmable Gate Array，FPGA)、特殊应用集成电路(Application-specificIntegrated Circuit、ASIC)、程序专用的标准产品(Application-specific StandardProduct，ASSP)、系统单芯片(System on Chip，SOC)、复杂可程序逻辑装置(ComplexProgrammable Logic Device，CPLD)等等。
电子装置100的实施例可包括耦接或整合在一可穿戴装置中，像是一智能型眼镜可穿戴装置、增强实境装置或虚拟实境装置。
图2显示根据本发明一实施例中图形渲染管线200的示意图。作为示例，管线200可以是图1所示的电子装置的内部结构的一部分。管线200包括前端着色器202、剪切单元204、视口变化单元206、光栅器208、预Z操作单元210、第一分辨率渲染引擎212、像素着色器214、第二分辨率渲染引擎216及后Z操作单元218。
前端着色器202包括执行图形硬件上一组图形渲染操作的计算机程序逻辑。举例来说，前端着色器202可为顶点着色器、几何着色器等。
剪切单元204可对原始图像数据执行剪辑。视口变化单元206对图像数据执行透视校正和视口缩放等操作。光栅器208用以识别图像数据内所有像素的位置，并输出一光栅化图像数据，其中光栅化图像数据具有一第一分辨率。预Z操作单元210可提供一预着色器Z/范本缓冲器测试。
第一分辨率渲染引擎212可接收由光栅器208所传送的光栅化图像数据后，根据由一驱动器或使用者接口所传送的一第一参数信息将光栅化图像数据分为对应至复数不同分辨率的区域，其中第一参数信息可至少包括屏幕坐标信息及远近距离信息，而上述分辨率是对应至不同频率。举例来说，若区域A需要较高的质量需求或区域A对应的分辨率是在高分辨率的一范围内(即需要高分辨率)，则对应高分辨率的频率为一取样频率。若区域B需要的质量需求为中等或区域B对应的分辨率是在中分辨率的一范围内(即需要中分辨率)，则对应中分辨率的频率为一像素频率。若区域C无须质量需求或区域C对应的分辨率在低分辨率的一范围内(即需要低分辨率)，则对应低分辨率的频率为一四倍渲染(quadrendering)频率。
第一分辨率渲染引擎212传送一讯号至像素着色器214，以指示使用对应至复数不同分辨率的频率渲染不同区域。接着，第一分辨率渲染引擎212更传送一第二参数信息至第二分辨率渲染引擎216，其中第二参数信息至少包括第一分辨率。
像素着色器214可透过一单遍(single pass)方式以上述不同频率渲染所对应的不同区域，并输出一已渲染图像数据。换言之，像素着色器214可控制像素、样本(sample)、粒度(granularity)以进行渲染。例如，每个2×2像素区域以不同分辨率被渲染，不同物体以不同分辨率被渲染，以及不同屏幕空间位置以不同分辨率被渲染。第二分辨率渲染引擎216解析上述已渲染图像数据为具有第一分辨率的一最终输出图像数据。后Z操作单元218可提供一后置色彩Z/模板缓冲区测试。
图3显示根据本发明一实施例所述的使用多分辨率改善图像质量的方法流程图300。此方法可执行于如图1所示的图形处理器120中。
在步骤S305中，图形处理器接收一图像数据，其中上述图像数据是一光栅化图像数据且具有一第一分辨率。在步骤S310中，图形处理器根据一第一参数信息将上述图像数据分为对应至复数不同分辨率的区域，其中上述分辨率对应至不同频率。在步骤S315中，图形处理器透过一单遍方式以上述不同频率渲染上述区域，并输出一已渲染图像数据。在步骤S320中，图形处理器根据一第二参数信息解析上述已渲染图像数据为具有第一分辨率的一最终输出图像数据。
本发明可解决的另一技术问题是解决虚拟实境装置中复杂图像数据中真实感快速渲染问题。复杂图像数据的真实感快速渲染主要用于电影和游戏制作、虚拟仿真等很多方面。
图4显示根据本发明一实施例中图形渲染管线400的示意图。和图2中相同名称的组件，其功能亦如前所述，在此不再赘述。图4和图2的主要差异在于第一分辨率渲染引擎212更可接收由一虚拟实境装置的一传感器所感测的一感测信息其中此传感器可装设于虚拟实境装置的外部，并与处理器或图形处理器相互耦接。在一实施例中，上述传感器可为一加速度传感器，而感测信息则为一加速度值。上述传感器也可为一陀螺传感器，而感测信息则为一旋转角度。在另一实施例中，上述传感器可为一温度传感器，而感测信息则为一处理器的温度。上述传感器更可为一眼睛追踪传感器，感测信息则为眼睛所注视的一注视区域。
当第一分辨率渲染引擎212接收到传感器所传送的感测信息后，第一分辨率渲染引擎212可转换感测信息至一质量等级。在此实施例中，质量等级可分为16等级。等级越高，质量则越低。举例说明，当一加速度传感器传送一加速度值后，第一分辨率渲染引擎212转换上述加速度值为一质量等级，并传送上述质量等级至像素着色器214。像素着色器214可根据上述质量等级调整渲染的频率及质量。举另一例说明，当一眼睛追踪传感器传送指示一注视区域坐标信息的感测信息后，第一分辨率渲染引擎212传送上述注视区域坐标信息至像素着色器214。像素着色器214可根据上述注视区域坐标信息调整对应注视区域渲染的频率及质量。
图5显示根据本发明一实施例中图形渲染管线500的示意图。和图4中相同名称的组件，其功能亦如前所述，在此不再赘述。图5和图4的主要差异在于第一分辨率渲染引擎214更可接收由一虚拟实境装置的一时间传感器所产生的一时间信息，其中此时间传感器可装设于虚拟实境装置的内部，并与处理器或图形处理器相互耦接。
第一分辨率渲染引擎212可根据时间信息估计一当前帧的一结束时间，其中时间信息至少包括先前帧工作负荷、当前帧工作负荷及一时间戳印比例。第一分辨率渲染引擎212接着判断结束时间是否在一视频同步信号Vsync之前。当第一分辨率渲染引擎212判断结束时间无法在视频同步信号Vsync之前时，产生一提示讯号并传送至像素着色器214，以指示调整分辨率，例如，减少上述分辨率。
在另一实施例中，当传感器为一温度传感器且第一分辨率渲染引擎212根据时间传感器所传送的时间信息估计一当前帧的一结束时间无法在视频同步信号Vsync之前，第一分辨率渲染引擎212可根据温度传感器所感测之处理器的温度信息产生一提示讯号至处理器。处理器在接收上述提示讯号后，将调整目前的工作负荷，以降低处理器的温度并使当前帧的结束时间能在视频同步信号Vsync之前。
图6显示根据本发明一实施例所述的改善图像质量的方法流程图600。此方法可执行于如第1图所示的一虚拟实境装置的图形处理器120中，其中处理器120更可接收由一传感器所感测的感测信息。
在步骤S605中，图形处理器接收一图像数据及一感测信息，其中上述图像数据系一光栅化图像数据且具有一第一分辨率。在步骤S610中，图形处理器根据一第一参数信息将上述图像数据分为对应至复数不同分辨率的区域，其中上述分辨率对应至不同频率。在步骤S615中，图形处理器根据上述感测信息及上述不同频率以一单遍方式渲染上述区域，并输出一已渲染图像数据。在步骤S620中，图形处理器根据一第二参数信息解析上述已渲染图像数据为具有第一分辨率的一最终输出图像数据。
图7显示根据本发明一实施例所述的改善图像质量的方法流程图700。此方法可执行于如图1所示的一虚拟实境装置的图形处理器120中，其中处理器120更可接收由一传感器所感测的感测信息及由一时间传感器所产生的一时间信息。
在步骤S705中，图形处理器接收一图像数据、一感测信息及一时间信息，其中上述图像数据是一光栅化图像数据且具有一第一分辨率。在步骤S710中，图形处理器根据一第一参数信息将上述图像数据分为对应至复数不同分辨率的区域，其中上述分辨率对应至不同频率。在步骤S715中，图形处理器根据上述感测信息判断是否调整上述不同频率。在步骤S720中，图形处理器根据时间信息判断一当前帧的一结束时间是否在一视频同步信号Vsync之前。在步骤S725中，图形处理器根据上述判断结果调整上述分辨率、上述频率或处理器的工作负荷。在步骤S730中，图形处理器根据上述频率以一单遍方式渲染上述区域，并输出一已渲染图像数据。在步骤S735中，图形处理器根据一第二参数信息解析上述已渲染图像数据为具有第一分辨率的一最终输出图像数据。
此外，在上述示例性装置中，尽管上述方法已在使用一系列步骤或方框的流程图的基础上描述，但本发明不局限于这些步骤的顺序，并且一些步骤可不同于其余步骤的顺序执行或其余步骤可同时进行。举例而言，图形处理器可先判断一当前帧的一结束时间是否在一视频同步信号Vsync之前，再根据上述感测信息判断是否调整频率。此外，本领域的技术人士将理解在流程图中所示的步骤并非唯一的，其可包括流程图的其它步骤，或者一或多个步骤可被删除而不会影响本发明的范围。
透过本发明所提出的改善图像质量的方法及装置，可达到透过一单遍(singlepass)方式使用不同分辨率及频率同时渲染图像数据。此外，更可根据虚拟实境装置的传感器的感测信息动态调整渲染质量，以及根据虚拟实境装置的时间传感器所产生的一时间信息判断渲染时间是否足够，以有效改善渲染速度及质量。
此外，电子装置100中的图形处理器120也可执行存储器104中的程序及指令以呈现上述实施例所述的动作和步骤，或其它在说明书中内容的描述。
申请专利范围中用以修饰组件之“第一、第二、第三”等序数词的使用本身未暗示任何优先权、优先次序、各组件之间的先后次序、或方法所执行的步骤的次序，而仅用作标识来区分具有相同名称(具有不同序数词)的不同组件。
虽然本公开已以实施范例揭露如上，然其并非用以限定本案，任何熟悉此项技艺者，在不脱离本公开的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当视后附的申请专利范围所界定者为准。
【符号说明】
100 电子装置
102 处理器
104 存储器
106 虚线
108 卸除式储存装置
110 不卸除式储存装置
112 通讯连接
114 输入设备
116 输出设备
120 图形处理器
200 图形渲染管线
202 前端着色器
204 剪切单元
206 视口变化单元
208 光栅器
210 预Z操作单元
212 第一分辨率渲染引擎
214 像素着色器
216 第二分辨率渲染引擎
218 后Z操作单元
300 方法流程图
S305、S310、S315、S320 步骤
400 图形渲染管线
500 图形渲染管线
600 方法流程图
S605、S610、S615、S620 步骤
700 流程图
S705、S710、S715、S720、S725、S730、S735 步骤

Claims (16)

1.一种改善图像质量的方法，上述方法用于一虚拟实境装置中，包括：
接收一图像数据及一感测信息；
根据一第一参数信息将上述图像数据分为对应至复数不同分辨率的区域，其中上述分辨率是对应至不同频率；
根据上述感测信息判断是否调整上述不同频率；
从一时间传感器接收一时间信息，其中上述时间信息至少包括先前帧工作负荷、当前帧工作负荷及一时间戳印比例；
根据上述时间信息估计一当前帧的一结束时间；
判断上述结束时间是否在一视频同步信号Vsync之前；以及
当上述结束时间无法在上述视频同步信号Vsync之前时，产生一提示讯号，以指示调整上述不同频率；
根据上述不同频率以一单遍方式渲染上述区域，并输出一已渲染图像数据；以及
根据一第二参数信息解析上述已渲染图像数据为具有一第一分辨率的一最终输出图像数据。
2.如权利要求1所述的改善图像质量的方法，其中上述第一参数信息是由一驱动器所传送，其包括屏幕坐标信息及距离信息。
3.如权利要求1所述的改善图像质量的方法，其中在接收上述感测信息后，上述方法更包括：
转换上述感测信息至一质量等级；以及
根据上述不同频率及上述质量等级渲染上述区域，并输出上述已渲染图像数据。
4.如权利要求1所述的改善图像质量的方法，其中上述感测信息是由一传感器所传送，上述传感器为一加速度传感器，上述感测信息为一加速度值。
5.如权利要求1所述的改善图像质量的方法，其中上述感测信息由一传感器所传送，上述传感器为一陀螺传感器，上述感测信息为一旋转角度。
6.如权利要求1所述的改善图像质量的方法，其中上述感测信息由一传感器所传送，上述传感器为一温度传感器，上述感测信息为一处理器的温度。
7.如权利要求1所述的改善图像质量的方法，其中上述感测信息由一传感器所传送，上述传感器为一眼睛追踪传感器，上述感测信息为眼睛所注视的一注视区域。
8.如权利要求1所述的改善图像质量的方法，其中上述图像数据是一光栅化图像数据。
9.一种改善图像质量的虚拟实境装置，包括：
一图形处理器；以及
一存储器，耦接至上述图形处理器；
其中上述图形处理器配置用以执行储存于上述存储器中的程序代码以执行：
接收一图像数据及一感测信息；
根据一第一参数信息将上述图像数据分为对应至复数不同分辨率的区域，其中上述分辨率对应至不同频率；
根据上述感测信息判断是否调整上述不同频率；
从一时间传感器接收一时间信息，其中上述时间信息至少包括先前帧工作负荷、当前帧工作负荷及一时间戳印比例；
根据上述时间信息估计一当前帧的一结束时间；
判断上述结束时间是否在一视频同步信号Vsync之前；以及
当上述结束时间无法在上述视频同步信号Vsync之前时，产生一提示讯号，以指示调整上述不同频率；
根据上述不同频率以一单遍方式渲染上述区域，并输出一已渲染图像数据；以及
根据一第二参数信息解析上述已渲染图像数据为具有一第一分辨率的一最终输出图像数据。
10.如权利要求9所述的改善图像质量的虚拟实境装置，其中上述第一参数信息是由一驱动器所传送，其包括屏幕坐标信息及距离信息。
11.如权利要求9所述的改善图像质量的虚拟实境装置，其中在接收上述感测信息后，上述图形处理器更执行储存于上述存储器中的程序代码以执行：
转换上述感测信息至一质量等级；以及
根据上述不同频率及上述质量等级渲染上述区域，并输出上述已渲染图像数据。
12.如权利要求9所述的改善图像质量的虚拟实境装置，其中上述感测信息由一传感器所传送，上述传感器为一加速度传感器，上述感测信息为一加速度值。
13.如权利要求9所述的改善图像质量的虚拟实境装置，其中上述感测信息由一传感器所传送，上述传感器为一陀螺传感器，上述感测信息为一旋转角度。
14.如权利要求9所述的改善图像质量的虚拟实境装置，其中上述感测信息由一传感器所传送，上述传感器为一温度传感器，上述感测信息为一处理器的温度。
15.如权利要求9所述的改善图像质量的虚拟实境装置，其中上述感测信息由一传感器所传送，上述传感器为一眼睛追踪传感器，上述感测信息为眼睛所注视的一注视区域。
16.如权利要求9所述的改善图像质量的虚拟实境装置，其中上述图像数据是一光栅化图像数据。
CN201710351562.4A 2017-05-18 2017-05-18 改善图像质量的方法及虚拟实境装置 Active CN107194891B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710351562.4A CN107194891B (zh) 2017-05-18 2017-05-18 改善图像质量的方法及虚拟实境装置
TW106119039A TWI622957B (zh) 2017-05-18 2017-06-08 改善圖像品質的方法及虛擬實境裝置
US15/626,350 US10482850B2 (en) 2017-05-18 2017-06-19 Method and virtual reality device for improving image quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710351562.4A CN107194891B (zh) 2017-05-18 2017-05-18 改善图像质量的方法及虚拟实境装置

Publications (2)

Publication Number Publication Date
CN107194891A CN107194891A (zh) 2017-09-22
CN107194891B true CN107194891B (zh) 2020-11-10

Family

ID=59874132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710351562.4A Active CN107194891B (zh) 2017-05-18 2017-05-18 改善图像质量的方法及虚拟实境装置

Country Status (3)

Country Link
US (1) US10482850B2 (zh)
CN (1) CN107194891B (zh)
TW (1) TWI622957B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388448B (zh) 2017-08-09 2020-08-04 京东方科技集团股份有限公司 图像显示方法、显示系统以及计算机可读存储介质
CN107945100A (zh) * 2017-11-28 2018-04-20 歌尔科技有限公司 虚拟现实场景的展示方法、虚拟现实设备及系统
CN109389663B (zh) * 2018-10-31 2021-03-09 Oppo广东移动通信有限公司 画面渲染方法、装置、终端及存储介质
US11442495B2 (en) * 2020-03-06 2022-09-13 Advanced Micro Devices, Inc. Separate clocking for components of a graphics processing unit
US11590421B2 (en) 2021-03-29 2023-02-28 Niantic, Inc. Travel of virtual characters

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105392538A (zh) * 2013-06-07 2016-03-09 索尼电脑娱乐公司 响应于头戴式显示器中的用户动作的图像渲染
CN105659582A (zh) * 2013-10-31 2016-06-08 富士胶片株式会社 信号处理装置、摄像装置、参数生成方法、信号处理方法及程序
CN105814515A (zh) * 2013-12-20 2016-07-27 高通股份有限公司 使用视网膜感知模型的动态gpu和视频分辨率控制
CN105981384A (zh) * 2013-09-06 2016-09-28 王舟 用于客观感知视频质量评估的方法和系统
CN105992019A (zh) * 2015-03-04 2016-10-05 中兴通讯股份有限公司 一种实现网络数字视频播放的系统和方法
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501483B1 (en) 1998-05-29 2002-12-31 Ati Technologies, Inc. Method and apparatus for antialiasing using a non-uniform pixel sampling pattern
US20070008333A1 (en) 2005-07-07 2007-01-11 Via Technologies, Inc. Texture filter using parallel processing to improve multiple mode filter performance in a computer graphics environment
TW200731760A (en) 2006-02-13 2007-08-16 Benq Corp Image capturing method and image-capturing device thereof
US20090091648A1 (en) 2007-10-09 2009-04-09 Shengmin Lin Multi-resolution Image Sensor Array with High Image Quality Pixel Readout Circuitry
CN101226631B (zh) 2007-12-12 2010-06-09 华为技术有限公司 一种超分辨率图像重构方法和装置
CN101504766B (zh) 2009-03-25 2011-09-07 湖南大学 基于混合多分辨率分解的图像融合方法
US9317764B2 (en) 2012-12-13 2016-04-19 Qualcomm Incorporated Text image quality based feedback for improving OCR
US9177352B2 (en) * 2014-01-07 2015-11-03 Qualcomm Innovation Center, Inc. Selective multithreading for sporadic processor workloads
KR102454196B1 (ko) * 2014-05-27 2022-10-14 삼성전자 주식회사 디스플레이 제어 방법 및 이를 제공하는 전자 장치
US10026153B2 (en) * 2016-09-15 2018-07-17 Intel Corporation Varying image quality rendering in a sort middle architecture

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105392538A (zh) * 2013-06-07 2016-03-09 索尼电脑娱乐公司 响应于头戴式显示器中的用户动作的图像渲染
CN105981384A (zh) * 2013-09-06 2016-09-28 王舟 用于客观感知视频质量评估的方法和系统
CN105659582A (zh) * 2013-10-31 2016-06-08 富士胶片株式会社 信号处理装置、摄像装置、参数生成方法、信号处理方法及程序
CN105814515A (zh) * 2013-12-20 2016-07-27 高通股份有限公司 使用视网膜感知模型的动态gpu和视频分辨率控制
CN105992019A (zh) * 2015-03-04 2016-10-05 中兴通讯股份有限公司 一种实现网络数字视频播放的系统和方法
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置

Also Published As

Publication number Publication date
US20180336867A1 (en) 2018-11-22
CN107194891A (zh) 2017-09-22
US10482850B2 (en) 2019-11-19
TW201901615A (zh) 2019-01-01
TWI622957B (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
CN107194890B (zh) 使用多分辨率改善图像质量的方法及装置
CN107194891B (zh) 改善图像质量的方法及虚拟实境装置
US20200320787A1 (en) Foveated geometry tessellation
EP3179447B1 (en) Foveated rendering
US10164459B2 (en) Selective rasterization
US9881391B2 (en) Procedurally defined texture maps
US20200066024A1 (en) Scene-based foveated rendering of graphics content
CN109727305B (zh) 虚拟现实系统画面处理方法、装置及存储介质
US8970587B2 (en) Five-dimensional occlusion queries
US20240029211A1 (en) History clamping for denoising dynamic ray-traced scenes using temporal accumulation
WO2013005366A1 (ja) アンチエイリアス画像生成装置およびアンチエイリアス画像生成方法
CN105550973B (zh) 图形处理单元、图形处理系统及抗锯齿处理方法
US20200364926A1 (en) Methods and apparatus for adaptive object space shading
US9767602B2 (en) Techniques for reduced pixel shading
CN112099712B (zh) 人脸图像显示方法、装置、电子设备及存储介质
WO2022126145A1 (en) Hybrid shadow rendering
CN117333361A (zh) 用于进行插值处理的方法、装置及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211125

Address after: Room 201, No. 2557, Jinke Road, pilot Free Trade Zone, Pudong New Area, Shanghai 201203

Patentee after: Gryfield Intelligent Technology Co.,Ltd.

Address before: Room 301, 2537 Jinke Road, Zhangjiang hi tech park, Shanghai 201203

Patentee before: VIA ALLIANCE SEMICONDUCTOR Co.,Ltd.

TR01 Transfer of patent right