CN106101533B - 渲染控制方法、装置及移动终端 - Google Patents

渲染控制方法、装置及移动终端 Download PDF

Info

Publication number
CN106101533B
CN106101533B CN201610420548.0A CN201610420548A CN106101533B CN 106101533 B CN106101533 B CN 106101533B CN 201610420548 A CN201610420548 A CN 201610420548A CN 106101533 B CN106101533 B CN 106101533B
Authority
CN
China
Prior art keywords
rendering
rate value
refresh rate
fine
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610420548.0A
Other languages
English (en)
Other versions
CN106101533A (zh
Inventor
张圣杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201610420548.0A priority Critical patent/CN106101533B/zh
Publication of CN106101533A publication Critical patent/CN106101533A/zh
Application granted granted Critical
Publication of CN106101533B publication Critical patent/CN106101533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种渲染控制方法、装置及移动终端,在移动终端开启虚拟现实应用时,将前置摄像头的刷新率值由默认刷新率值提升为预设的目标刷新率值;然后再根据提升后得到的目标刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域,进而对精细渲染区域内的像素点进行精细渲染;对精细渲染区域之外的其他区域则进行正常渲染处理。最后将渲染出来的画面在屏幕上呈现给用户。本发明的有益效果是,在确定精确渲染区域时,是以比现有固定刷新率值能更好适配用户快速眼动的目标刷新率值进行确定的,得到的精确渲染区域能更好覆盖用户的视觉范围,避免用户快速眼动时察觉到精细渲染区域外的粗糙渲染画面,提升用户视觉感受和满意度。

Description

渲染控制方法、装置及移动终端
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种渲染控制方法、装置及移动终端。
背景技术
虚拟现实技术(Virtual Reality,VR)是一种可以创建和体验虚拟世界的仿真系统,它生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。随着VR技术的日益成熟,其所应用的领域也日益增多,例如游戏、多媒体领域等。而目前手机等移动终端是人们随身携带、在目前的生活中是必不可少的通信、娱乐设备。因此目前针对移动终端市面上研发出现了各种VR头戴设备(HMD,HeadMounted Device),在移动终端上配置上VR头戴设备的插槽或夹具等VR配件后,可在移动终端上实现各种VR应用。目前VR头戴设备通过特定的光学设计,利用移动终端的前置摄像头及移动终端上的图像识别算法进行人眼注视点追踪,以屏幕上的注视点为中心,以固定半径d确定出精细的局部渲染区域。目前在确定精细的局部渲染区域时,都是直接以所设定的一个固定的满足各类移动终端通用性的摄像头刷新率值确定,最长用的是取各类前置摄像头的最小默认刷新率值。因此针对不同的移动终端,所确定出来的局部渲染区域的大小都是固定的。但不同移动终端上的前置摄像头的刷新率可能是不相同的。而现有针对各移动终端直接采用通用固定刷新率值确定精细局部渲染区域的做法,由于较低的刷新率很难跟上人眼的转动速度,导致用户快速眼动时容易察觉到精细渲染区域外的粗糙渲染画面,给用户带来不良的视觉感受,降低了用户体验的满意度。
发明内容
本发明要解决的技术问题在于:现有移动终端在渲染过程中针对各类移动终端都采用一较小的固定刷新率值确定精细渲染区域,导致难以跟上用户快速眼动而察觉到精细渲染区域外的粗糙渲染画面;针对该技术问题,提供一种渲染控制方法、装置及移动终端。
为解决上述技术问题,本发明提供一种渲染控制装置,包括摄像头控制模块,渲染区域计算模块、渲染模块和显示模块;
所述摄像头控制模块用于在移动终端开启虚拟现实应用时,将该移动终端的前置摄像头的刷新率值由默认刷新率值提升为预设的目标刷新率值;
所述渲染区域计算模块用于根据所述目标刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域;
所述渲染控制模块用于对所述精细渲染区域内的像素点进行精细渲染;
所述显示模块用于将渲染后得到的画面在所述屏幕上进行显示。
进一步地,所述目标刷新率值为所述前置摄像头的最大刷新率值。
进一步地,所述渲染区域计算模块包括范围计算子模块和区域计算子模块;
所述范围计算子模块用于根据以下公式计算出精细渲染范围θ:
θ=θ1*T1/T2;
所述θ1为人眼自注视点能精细分辨的视觉角度范围;所述T1为所述前置摄像头的屏幕刷新时间,其等于1/FPSc+t+1/FPSs,所述FPSc为所述前置摄像头的最大刷新率值,所述t为追踪人眼确定所述注视点所需的计算时间值,所述FPSs为所述屏幕的屏幕刷新率值;所述T2为人眼转过θ1所需的时间值,其等于θ1/V,所述V为人眼的转动速度;
所述区域计算子模块用于根据以下公式计算出以所述注视点为圆心的精细渲染区域的半径d:
d=D*tanθ;
所述D为人眼到所述移动终端屏幕的距离。
进一步地,所述渲染控制模块还用于对所述精细渲染区域外的像素点按照线性渐变原则进行渲染。
进一步地,本发明还提供了一种移动终端,包括如上所述的渲染控制装置。
进一步地,本发明还提供了一种渲染控制方法,包括:
在移动终端开启虚拟现实应用时,将该移动终端的前置摄像头的刷新率值由默认刷新率值提升为预设的目标刷新率值;
根据所述目标刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域;
对所述精细渲染区域内的像素点进行精细渲染;
将渲染后得到的画面在所述屏幕上进行显示。
进一步地,所述目标刷新率值为所述前置摄像头的最大刷新率值。
进一步地,根据所述目标刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域包括
根据以下公式计算出精细渲染范围θ:
θ=θ1*T1/T2;
所述θ1为人眼自注视点能精细分辨的视觉角度范围;所述T1为所述前置摄像头的屏幕刷新时间,其等于1/FPSc+t+1/FPSs,所述FPSc为所述前置摄像头的最大刷新率值,所述t为追踪人眼确定所述注视点所需的计算时间值,所述FPSs为所述屏幕的屏幕刷新率值;所述T2为人眼转过θ1所需的时间值,其等于θ1/V,所述V为人眼的转动速度;
再根据以下公式计算出以所述注视点为圆心的精细渲染区域的半径d:
d=D*tanθ;
所述D为人眼到所述移动终端屏幕的距离。
进一步地,所述θ1的取值为8°至15°;所述V的取值为400°/秒至600°/秒。
进一步地,所述FPSc的取值为30帧/秒至60帧/秒。
有益效果
本发明提出的渲染控制方法、装置及移动终端,在移动终端开启虚拟现实应用时,将前置摄像头的刷新率值由默认刷新率值提升为预设的目标刷新率值;然后再根据提升后得到的目标刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域,进而对精细渲染区域内的像素点进行精细渲染;对精细渲染区域之外的其他区域则进行正常渲染处理即可。最后将渲染出来的画面在所述屏幕上进行显示呈现给用户。由于本发明在确定精确渲染区域时,并不是以现有固定刷新率值进行确定的,而是以更大、能更好适配用户快速眼动的目标刷新率值进行确定的,因此得到的精确渲染区域能更好覆盖用户的视觉范围,避免用户快速眼动时察觉到精细渲染区域外的粗糙渲染画面,提升用户视觉感受和满意度。
附图说明
图1为本发明实施例一种可选的移动终端的硬件结构示意图;
图2为本发明第一实施例提供的一种渲染方法流程示意图;
图3为本发明第一实施例提供的一种人眼视角分布示意图;
图4为本发明第一实施例提供的一种渲染效果示意图;
图5为本发明第二实施例提供的一种渲染方法流程示意图;
图6为本发明第三实施例提供的一种移动终端结构示意图;
图7为本发明第三实施例提供的一种移动终端另一结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本实施例中的移动终端具有前置摄像头,且至少能运行各种虚拟现实应用中的一种。本实施例中的渲染控制在检测到移动终端开启虚拟现实应用时,将前置摄像头的刷新率值由默认刷新率值提升为更大的目标刷新率值;然后再根据提升后得到的目标刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域,进而控制处理器对精细渲染区域内的像素点进行精细渲染;对精细渲染区域之外的其他区域则进行正常渲染处理,最后将渲染出来的画面在屏幕上呈现给用户。本发明中目标刷新率值的具体取值可以根据用户眼动速度具体选择,理论上能完全与用户眼动速度进行适配时,能计算得到完全覆盖人眼转动速度的渲染区域。尽可能避免用户快速眼动时察觉到精细渲染区域外的粗糙渲染画面,提升用户视觉感受和满意度。因此本实施例中目标刷新率值取移动终端前置摄像头的最大刷新率值以尽可能与用户快速眼动进行匹配。
本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,"模块"与"部件"可以混合地使用。
本实施例中的渲染控制装置可以设置于移动终端内,且该移动终端可以以各种形式来实施。例如,本发明中描述的移动终端可以是智能手机、平板电脑、数码相机等具有拍摄功能的设备。本实施例中移动终端的前置摄像头是指与移动终端的屏幕设置在同一面的摄像头,当移动终端具有多个屏幕时,则与各屏幕在同一面的摄像头都是移动终端的前置摄像头。
图1是表示本发明的一个实施方式的移动终端的主要电气结构的框图。图1示出了具有各种组件的移动终端,但是应理解的是,并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。以下对移动终端的各个组件及其相互关系进行详细说明。
摄影镜头101由用于形成被摄体像的多个光学镜头构成,是单焦点镜头或变焦镜头。摄影镜头101能够通过镜头驱动部111在光轴方向上移动,根据来自镜头驱动控制部112的控制信号,控制摄影镜头101的焦点位置,在变焦镜头的情况下,也控制焦点距离。镜头驱动控制电路112按照来自微型计算机107(可为中央处理器)的控制命令进行镜头驱动部111的驱动控制。
在摄影镜头101的光轴上、由摄影镜头101形成被摄体像的位置附近配置有摄像元件102。摄像元件102发挥作为对被摄体像摄像并取得摄像图像数据的摄像部的功能。在摄像元件102上二维地呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流,该光电转换电流由与各光电二极管连接的电容器进行电荷蓄积。各像素的前表面配置有拜耳排列的RGB滤色器。
摄像元件102与摄像电路103连接,该摄像电路103在摄像元件102中进行电荷蓄积控制和图像信号读出控制,对该读出的图像信号(模拟图像信号)降低重置噪声后进行波形整形,进而进行增益提高等以成为适当的信号电平。摄像镜头101、摄像元件102和摄像电路103可以组成移动终端的摄像头。
摄像电路103与A/D转换部104连接,该A/D转换部104对模拟图像信号进行模数转换,向总线199输出数字图像信号(以下称之为图像数据)。
总线199是用于传送在移动终端的内部读出或生成的各种数据的传送路径。在总线199连接着上述A/D转换部104,此外还连接着图像处理器105、移动显示处理器106、微型计算机107、SDRAM(Synchronous DRAM)108、存储器接口(以下称之为存储器I/F)109、LCD(液晶显示器:Liquid Crystal Display)驱动器110。
图像处理器105对基于摄像元件102输出的图像数据进行OB相减处理、白平衡调整、颜色矩阵运算、伽马转换、色差信号处理、噪声去除处理、同时化处理、边缘处理等各种图像处理,还包括对图像进行各种渲染处理。图像处理器105具体可结合移动显示处理器106和微型计算机107完成对图像的各种处理。也即本发明实施例中的渲染模块具体可结合图像处理器105、移动显示处理器106和微型计算机107完成对目标区域内的图像的精细渲染,以及对目标区域外的图像完成正常的渲染。
移动显示处理器106则将进行处理后的各图形数据进行整合输出显示。
微型计算机107发挥作为该移动终端整体的控制部的功能,统一控制移动终端的各种处理序列。其中微信计算机107包含摄像头控制模块1071,用于在在移动终端开启虚拟现实应用时,将该移动终端的前置摄像头的刷新率值由默认刷新率值提升为预设的目标刷新率值。微信计算机107还包括渲染区域计算模块1072,用于根据目标刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域。
微型计算机107连接着操作单元113和闪存114。
操作单元113包括但不限于实体按键或者虚拟按键,该实体或虚拟按键可以为电源按钮、拍照键、编辑按键、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作部材。此外,在作为显示部的LCD116的前表面设有触摸面板,检测用户的触摸位置,将该触摸位置向微型计算机107输出。微型计算机107根据来自操作单元113的操作部材的检测结果,执行与用户的操作对应的各种处理序列;或者,微型计算机107根据LCD116的触摸面板的检测结果,执行与用户的操作对应的各种处理序列。
闪存114存储用于执行微型计算机107的各种处理序列的程序。微型计算机107根据该程序进行移动终端整体的控制。此外,闪存114存储移动终端的各种调整值,微型计算机107读出调整值,按照该调整值进行移动终端的控制。SDRAM 108是用于对图像数据等进行暂时存储的可电改写的易失性存储器。该SDRAM 108暂时存储从A/D转换部104输出的图像数据和在图像处理器105、移动显示处理器106等中进行了处理后的图像数据。
存储器接口109与记录介质115连接,进行将图像数据和附加在图像数据中的文件头等数据写入记录介质115和从记录介质115中读出的控制。记录介质115例如为能够在移动终端主体上自由拆装的存储器卡等记录介质,然而不限于此,也可以是内置在移动终端主体中的硬盘等。
LCD驱动器110与LCD116连接,将由图像处理器105处理后的图像数据存储于SDRAM,需要显示时,读取SDRAM存储的图像数据并在LCD116上显示,或者,移动显示处理器106包括显示模块,用于将渲染后得到的图像数据存储于SDRAM,在需要显示时,移动显示处理器106读取存储于SDRAM中渲染后的图像数据通过LCD116进行显示。LCD116配置在移动终端主体上,进行图像显示。该LCD116设有检测用户的触摸操作的触摸面板。另外,作为显示部,在本实施方式中配置的是液晶表示面板(LCD116),然而不限于此,也可以采用有机EL等各种显示面板。例如薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等。这些显示器中的一些可以被构造为透明状以允许用户从外部观看,这可以称为透明显示器,典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。
除了上述硬件模块外,本实施例中的移动终端还包括但不限于无线通信单元、音频输入单元、音频输出单元、感测单元、电源单元中的至少一个。其中:
无线通信单元通常包括一个或多个组件,其允许移动终端与无线通信系统或网络之间的无线电通信。例如,无线通信单元可以包括广播接收模块、移动通信模块、无线互联网模块、短程通信模块和位置信息模块中的至少一个。
音频输入单元用于接收音频信号。音频输入单元可以包括麦克风。
感测单元检测移动终端的当前状态,(例如,移动终端的打开或关闭状态)、移动终端的位置、用户对于移动终端的接触(即,触摸输入)的有无、移动终端的取向、移动终端的加速或减速移动和方向等等,并且生成用于控制移动终端的操作的命令或信号。
音频输出单元可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将无线通信单元接收的或者在SDRAM108中存储的音频数据转换音频信号并且输出为声音。而且,音频输出模块可以提供与移动终端执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出模块可以包括扬声器、蜂鸣器等等。
电源单元在微型计算机107的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
下面基于上述移动终端硬件结构示意图,提出本发明各个实施例。
第一实施例
请参见图2,提出为本发明的渲染控制方法的实施例,该方法包括:
S201:在移动终端开启虚拟现实应用时,将移动终端的前置摄像头的刷新率值由默认刷新率值提升为预设的目标刷新率值。
本实施例中目标刷新率值的具体取值可以根据用户眼动速度具体选择,理论上能完全与用户眼动速度进行适配时,能计算得到完全覆盖人眼转动速度的渲染区域。尽可能避免用户快速眼动时察觉到精细渲染区域外的粗糙渲染画面,提升用户视觉感受和满意度。
S202:根据得到的目标刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域。
这部分的计算过程如下:
首先根据以下公式(1)计算出精细渲染范围θ:
θ=θ1*T1/T2…………………………………………………………(1);
上述公式(1)中,θ1为人眼自注视点能精细分辨的视觉角度范围,如图3所示,由于人眼的视角是有限的,并且因人而异。一般而言,映在人眼视网膜上的图像,只有中心部分能分辨清楚,这叫分辨视域,约8°-15°,图3中θ1所示。从15°到30°之间则称为有效视域,用户能立刻看清物体的存在和有什么动作。还不到需要转动头部才能辨别清楚的程度,但分辨能力已经下降了,该范围参见图3中θ2所示。超过水平方向视野角30°的周边部分称为诱导视野,俗称眼睛的余光。只能感觉到物体的存在或有动作出现,并不能看清楚是什么物体或什么动作,参见图3中θ3所示。通过这个特性,采用人眼追踪技术和画面局部渲染,可以控制处理器(包括但不限于微型计算机(CPU)、图像处理器(GPU)或移动显示处理器(MDP))对人眼能精细分辨的视觉角度范围对应的局部渲染区域内的画面进行精细渲染,这个区域外的画面则可无需精细渲染,能减少运算量和功耗的同时,提高画面反应速度,使在VR体验中的用户始终看到精细渲染后的画面。
上述公式(1)中的T1为移动终端前置摄像头的屏幕刷新时间,其可通过以下公式(2)计算得到:
T1=1/FPSc+t+1/FPSs…………………………………………(2);
公式(2)中FPSc为移动终端前置摄像头的最大刷新率值,也即目标刷新率值,目前移动终端的前置摄像头最大刷新率FPSc一般在30帧/秒(FPS)至60帧/秒(FPS)。公式(2)中的t为移动终端追踪人眼确定用户当前在屏幕上的注视点所需的计算时间值,该值的具体取值取决于各移动终端的计算能力和所采用的人眼追踪算法,也即由主要由移动终端上的运算资源、算法的优劣决定,一般不超过0.01秒。公式(2)中的FPSs为移动终端屏幕的屏幕刷新率值,目前移动终端屏幕的屏幕刷新率FPSs平均值为60FPS。
上述公式(1)中的T2为人眼转过θ1所需的时间值,其具体计算如下:
T2=θ1/V………………………………………………………………(3);
上述公式(3)中的V为人眼的转动速度,具体举例来说,正常人眼的转动速度v为400-600°/秒,本实施例中的V可取平均值500°/秒。
得到精细渲染范围θ后,可再通过以下公式(4)计算得到以用户当前注视点为圆心的精细渲染区域的半径d:
d=D*tanθ………………………………………………………………(4);
公式(4)中D为人眼到移动终端屏幕的距离。此时得到的精细渲染区域就是在屏幕上以用户当前注视点为圆心,以半径d画圆所覆盖的区域,对该区域内的像素点需进行精细渲染;而对于该屏幕上该区域外的其他像素点则可正常处理,例如采用按照线性渐变原则进行渲染。适当的降低细节内容,减少渲染的运算量和功耗,提高画面的反应速度。
S203:对精细渲染区域内的像素点进行精细渲染;对于其他范围内的像素点正常渲染即可。
S204:将渲染后得到的画面在屏幕上进行显示。具体将精细渲染区域和其他区域的像素点进行整合,输出整张画面到屏幕显示,只在用户当前的注视点中心附近的精细渲染区内展现最佳细节。显示效果如图4所示,A所示区域为精细渲染区域,其细节非常精细;B及B以外区域则为非精细渲染区域,是按照线性渐变原则进行渲染的,渲染的精度随着距离中心的距离而减小。这样可以适当的降低细节内容,减少渲染的运算量和功耗,提高画面的反应速度,同时又能尽可能保证用户所看到的画面都是精细画面。
本发明实施例在确定精确渲染区域时,并不是以现有固定刷新率值进行确定的,而是以更大、能更好适配用户快速眼动的目标刷新率值进行确定的,得到的精确渲染区域能更好覆盖用户的视觉范围,避免用户快速眼动时察觉到精细渲染区域外的粗糙渲染画面,提升用户视觉感受和满意度。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
第二实施例
在第一实施例的基础上,实施例以目标刷新率值取摄像头的最大刷新率值,V取500°/秒,θ1取15°,FPSs取60FPS,t取0.01秒为例,对前置摄像头的FPSc为30FPS的移动终端进行示例说明。此时的渲染控制过程参见图5所示,包括:
S501:在移动终端开启虚拟现实应用时,将移动终端的前置摄像头的刷新率值由默认刷新率值提升为摄像头的最大刷新率值。
S502:根据得到的最大刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域。
这部分的计算过程如下:
首先根据以下公式(1)计算出精细渲染范围θ:
θ=θ1*T1/T2…………………………………………………………(1);
上述公式(1)中的T1为移动终端前置摄像头的屏幕刷新时间,其可通过以下公式(2)计算得到:
T1=1/FPSc+t+1/FPSs…………………………………………(2);
上述公式(1)中的T2为人眼转过θ1所需的时间值,其具体计算如下:
T2=θ1/V………………………………………………………………(3);
带入V取500°/秒,θ1取15°,FPSs取60FPS,t取0.01秒为例,前置摄像头的FPSc为30FPS,得到的计算结果如下:
T2=θ1/V=15°/500°/秒=30ms;
T1=1/FPSc+t+1/FPSs=1/30FPS+0.01秒+1/60FPS=60ms;
θ=θ1*T1/T2=15°*60ms/30ms=30°。
对于前置摄像头的FPSc为其他值的移动终端的计算方式按照上述公式以此类推。
得到精细渲染范围θ后,可再通过以下公式(4)计算得到以用户当前注视点为圆心的精细渲染区域的半径d:
d=D*tanθ………………………………………………………………(4);
公式(4)中D为人眼到移动终端屏幕的距离。此时得到的精细渲染区域就是在屏幕上以用户当前注视点为圆心,以半径d画圆所覆盖的区域,对该区域内的像素点需进行精细渲染;而对于该屏幕上该区域外的其他像素点则可正常处理,例如采用按照线性渐变原则进行渲染。适当的降低细节内容,减少渲染的运算量和功耗,提高画面的反应速度。
S503:控制处理器(包括但不限于微信计算机、图形处理器、移动显示处理器)对精细渲染区域内的像素点进行精细渲染;对于其他范围内的像素点正常渲染即可。
S504:将渲染后得到的画面在屏幕上进行显示。
本实施例中是以摄像头的最大目标刷新率值确定精确渲染区域,能更好适配用户快速眼动,避免用户快速眼动时察觉到精细渲染区域外的粗糙渲染画面,提升用户视觉感受和满意度。
第三实施例
请参见图5,提出为本发明渲染控制装置结构示意图。本实施例中的渲染控制装置可设置于移动终端内,且该移动终端其在出厂前,存储市场上主流的VR应用列表,并提供设置菜单给用户,用于添加和删除该列表中的VR应用。用户打开VR应用列表中的应用程序,系统即转换工作模式为VR工作状态,开启前置摄像头进行用户人眼画面捕捉,渲染控制装置则对摄像头的刷新率值进行对应图调整,并基于此完成相应的渲染控制。渲染控制装置结构参见图5所示,该渲染控制装置包括:包括摄像头控制模块52,渲染区域计算模块53、渲染模块54和显示模块55;
摄像头控制模块52用于在移动终端开启虚拟现实应用时,将移动终端前置摄像头的刷新率值由默认刷新率值提升为预设的目标刷新率值。本实施例中摄像头控制52可以内置于移动终端的微信计算机内,也可以独立于微信计算机独立设置。本实施例中的前置摄像头是指与终端屏幕设置在同一面的摄像头,当终端的正反两面都设有屏幕时,则是指当前所使用屏幕的那一面所设置的摄像头。另外本实施例中目标刷新率值的具体取值可以根据用户眼动速度具体选择,理论上能完全与用户眼动速度进行适配时,能计算得到完全覆盖人眼转动速度的渲染区域即可。
渲染区域计算模块53用于根据目标刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域。移动终端结构的第二实施例参见图6所示,渲染区域计算模块53包括范围计算子模块531和区域计算子模块532;渲染区域计算模块53也可以内置于移动终端的微信计算机内,或独立于微信计算机独立设置,其中:
范围计算子模块531用于根据以下公式(5)计算出精细渲染范围θ:
θ=θ1*T1/T2…………………………………………………………(5);
上述公式(5)中θ1为人眼自注视点能精细分辨的视觉角度范围;一般而言,映在人眼视网膜上的图像,只有中心部分能分辨清楚,这叫分辨视域,约8°-15°,从15°到30°之间则称为有效视域,用户能立刻看清物体的存在和有什么动作,还不到需要转动头部才能辨别清楚的程度,但分辨能力已经下降了。超过水平方向视野角30°的周边部分称为诱导视野,俗称眼睛的余光。T1为前置摄像头的屏幕刷新时间,其等于1/FPSc+t+1/FPSs,FPSc为前置摄像头的最大刷新率值,t为追踪人眼确定所述注视点所需的计算时间值,FPSs为所述屏幕的屏幕刷新率值;所T2为人眼转过θ1所需的时间值,其等于θ1/V,V为人眼的转动速度。上述各参数的具体取值范围和原则此处不再赘述。
区域计算子模块532用于根据以下公式(6)计算出以注视点为圆心的精细渲染区域的半径d:
d=D*tanθ………………………………………………………………(6);
D为移动终端屏幕到人眼的距离。此时得到的精细渲染区域就是在屏幕上以用户当前注视点为圆心,以半径d画圆所覆盖的区域,对该区域内的像素点需进行精细渲染;而对于该屏幕上该区域外的其他像素点则可正常处理,例如采用按照线性渐变原则进行渲染。适当的降低细节内容,减少渲染的运算量和功耗,提高画面的反应速度。
渲染控制模块54用于控制处理器对精细渲染区域内的像素点进行精细渲染;以及用于控制处理器述精细渲染区域外的像素点按照线性渐变原则进行渲染。此处的处理器包括但不限于微型计算机(即中央处理器)、图形处理器、移动显示处理器。
显示模块55用于将渲染后得到的画面在屏幕上进行显示。具体将精细渲染区域和其他区域的像素点进行整合,输出整张画面到屏幕显示,只在用户当前的注视点中心附近的精细渲染区内展现最佳细节。
本发明实施例的渲染控制模块可以控制移动终端以更大、能更好适配用户快速眼动的目标刷新率值进行确定精确渲染区域,对于该区域内的图像进行精确渲染,能更好覆盖用户的视觉范围,避免用户快速眼动时察觉到精细渲染区域外的粗糙渲染画面,提升用户视觉感受和满意度。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,这样的实施方式可以在微型计算机中实施。对于软件实施,诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在SDRAM中并且由微型计算机执行。
第四实施例
在第三实施例的基础上,实施例以移动终端摄像头的目标刷新率值取摄像头的最大刷新率值,V取500°/秒,θ1取15°,FPSs取60FPS,t取0.01秒,前置摄像头的FPSc取60FPS进行示例说明。
移动终端开启虚拟现实应用时,将自身前置摄像头的刷新率值由默认刷新率值提升为摄像头的最大刷新率值。
移动终端根据得到的最大刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域,具体如下:
移动终端首先根据以下公式(1)计算出精细渲染范围θ:
θ=θ1*T1/T2…………………………………………………………(1);
上述公式(1)中的T1为移动终端前置摄像头的屏幕刷新时间,其可通过以下公式(2)计算得到:
T1=1/FPSc+t+1/FPSs…………………………………………(2);
上述公式(1)中的T2为人眼转过θ1所需的时间值,其具体计算如下:
T2=θ1/V………………………………………………………………(3);
带入V取500°/秒,θ1取15°,FPSs取60FPS,t取0.01秒为例,前置摄像头的FPSc为60FPS,得到的计算结果如下:
T2=θ1/V=15°/500°/秒=30ms;
T1=1/FPSc+t+1/FPSs=1/60FPS+0.01秒+1/60FPS=43.3ms;
θ=θ1*T1/T2=15°*43.3ms/30ms=21.65°。
对于前置摄像头的FPSc为其他值的移动终端的计算方式按照上述公式以此类推。
得到精细渲染范围θ后,移动终端可通过以下公式(4)计算得到以用户当前注视点为圆心的精细渲染区域的半径d:
d=D*tanθ………………………………………………………………(4);
对该区域内的像素点需进行精细渲染;而对于该屏幕上该区域外的其他像素点则可正常处理,例如采用按照线性渐变原则进行渲染。适当的降低细节内容,减少渲染的运算量和功耗,提高画面的反应速度。
本实施例中移动终端在检测到的启动VR应用后,可以将摄像头的刷新率值切换为最大目标刷新率值以确定精确渲染区域,以更好适配用户快速眼动,避免用户快速眼动时察觉到精细渲染区域外的粗糙渲染画面。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种渲染控制装置,其特征在于,包括摄像头控制模块,渲染区域计算模块、渲染模块和显示模块;
所述摄像头控制模块用于在移动终端开启虚拟现实应用时,将该移动终端的前置摄像头的刷新率值由默认刷新率值提升为预设的目标刷新率值;
所述渲染区域计算模块用于根据所述目标刷新率值和用户在移动终端屏幕上当前的注视点按照以下方式计算出精细渲染区域:先根据人眼自注视点能精细分辨的视觉角度范围、前置摄像头的目标刷新率值、追踪人眼确定用户当前在屏幕上的注视点所需的计算时间值、屏幕的屏幕刷新率值以及人眼转过能精细分辨的视觉角度范围所需的时间值计算精细渲染范围;然后再根据计算出的精细渲染范围以及人眼到移动终端屏幕的距离来计算出以注视点为圆心的精细渲染区域的半径,从而计算出精细渲染区域;
所述渲染控制模块用于对所述精细渲染区域内的像素点进行精细渲染;
所述显示模块用于将渲染后得到的画面在所述屏幕上进行显示。
2.如权利要求1所述的渲染控制装置,其特征在于,所述目标刷新率值为所述前置摄像头的最大刷新率值。
3.如权利要求1所述的渲染控制装置,其特征在于,所述渲染区域计算模块包括范围计算子模块和区域计算子模块;
所述范围计算子模块用于根据以下公式计算出精细渲染范围θ:
θ=θ1*T1/T2
所述θ1为人眼自注视点能精细分辨的视觉角度范围;所述T1为所述前置摄像头的屏幕刷新时间,其等于1/FPSc+t+1/FPSs,所述FPSc为所述前置摄像头的最大刷新率值,所述t为追踪人眼确定所述注视点所需的计算时间值,所述FPSs为所述屏幕的屏幕刷新率值;所述T2为人眼转过θ1所需的时间值,其等于θ1/V,所述V为人眼的转动速度;
所述区域计算子模块用于根据以下公式计算出以所述注视点为圆心的精细渲染区域的半径d:
d=D*tanθ;
所述D为人眼到所述移动终端屏幕的距离。
4.如权利要求1-3任一项所述的渲染控制装置,其特征在于,所述渲染控制模块还用于对所述精细渲染区域外的像素点按照线性渐变原则进行渲染。
5.一种移动终端,其特征在于,包括如权利要求1-4任一项所述的渲染控制装置。
6.一种渲染控制方法,其特征在于,包括:
在移动终端开启虚拟现实应用时,将该移动终端的前置摄像头的刷新率值由默认刷新率值提升为预设的目标刷新率值;
根据所述目标刷新率值和用户在移动终端屏幕上当前的注视点按照以下方式计算出精细渲染区域:先根据人眼自注视点能精细分辨的视觉角度范围、前置摄像头的目标刷新率值、追踪人眼确定用户当前在屏幕上的注视点所需的计算时间值、屏幕的屏幕刷新率值以及人眼转过能精细分辨的视觉角度范围所需的时间值计算精细渲染范围;然后再根据计算出的精细渲染范围以及人眼到移动终端屏幕的距离来计算出以注视点为圆心的精细渲染区域的半径,从而计算出精细渲染区域;
对所述精细渲染区域内的像素点进行精细渲染;
将渲染后得到的画面在所述屏幕上进行显示。
7.如权利要求6所述的渲染控制方法,其特征在于,所述目标刷新率值为所述前置摄像头的最大刷新率值。
8.如权利要求6或7所述的渲染控制方法,其特征在于,根据所述目标刷新率值和用户在移动终端屏幕上当前的注视点计算出精细渲染区域包括
根据以下公式计算出精细渲染范围θ:
θ=θ1*T1/T2
所述θ1为人眼自注视点能精细分辨的视觉角度范围;所述T1为所述前置摄像头的屏幕刷新时间,其等于1/FPSc+t+1/FPSs,所述FPSc为所述前置摄像头的最大刷新率值,所述t为追踪人眼确定所述注视点所需的计算时间值,所述FPSs为所述屏幕的屏幕刷新率值;所述T2为人眼转过θ1所需的时间值,其等于θ1/V,所述V为人眼的转动速度;
再根据以下公式计算出以所述注视点为圆心的精细渲染区域的半径d:
d=D*tanθ;
所述D为人眼到所述移动终端屏幕的距离。
9.如权利要求8所述的渲染控制方法,其特征在于,所述θ1的取值为8°至15°;所述V的取值为400°/秒至600°/秒。
10.如权利要求8所述的渲染控制方法,其特征在于,所述FPSc的取值为30帧/秒至60帧/秒。
CN201610420548.0A 2016-06-15 2016-06-15 渲染控制方法、装置及移动终端 Active CN106101533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610420548.0A CN106101533B (zh) 2016-06-15 2016-06-15 渲染控制方法、装置及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610420548.0A CN106101533B (zh) 2016-06-15 2016-06-15 渲染控制方法、装置及移动终端

Publications (2)

Publication Number Publication Date
CN106101533A CN106101533A (zh) 2016-11-09
CN106101533B true CN106101533B (zh) 2019-09-13

Family

ID=57846069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610420548.0A Active CN106101533B (zh) 2016-06-15 2016-06-15 渲染控制方法、装置及移动终端

Country Status (1)

Country Link
CN (1) CN106101533B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109890472A (zh) * 2016-11-14 2019-06-14 华为技术有限公司 一种图像渲染的方法、装置及vr设备
WO2017036429A2 (en) * 2016-12-01 2017-03-09 Viewtrix Technology Co., Ltd. Zone-based display data processing and transmission
CN108022286B (zh) * 2017-11-30 2019-08-13 腾讯科技(深圳)有限公司 画面渲染方法、装置及存储介质
CN107958478B (zh) * 2017-12-15 2022-05-03 歌尔光学科技有限公司 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
CN110378914A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于注视点信息的渲染方法及装置、系统、显示设备
CN110460831B (zh) * 2019-08-22 2021-12-03 京东方科技集团股份有限公司 显示方法、装置、设备及计算机可读存储介质
CN111103979A (zh) * 2019-12-11 2020-05-05 炫彩互动网络科技有限公司 一种基于视觉焦点的分区渲染方法及装置
CN112233028B (zh) * 2020-10-15 2023-10-31 上海通途半导体科技有限公司 一种屏下摄像头的子像素渲染方法与装置
CN113314063B (zh) * 2021-05-31 2023-08-08 北京京东方光电科技有限公司 显示面板的驱动方法及装置和显示设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649874A (zh) * 2011-05-05 2014-03-19 索尼电脑娱乐公司 使用眼睛跟踪隐形镜片的接口
CN103869977A (zh) * 2014-02-19 2014-06-18 小米科技有限责任公司 图像显示方法、装置和电子设备
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352374B2 (en) * 2003-04-07 2008-04-01 Clairvoyante, Inc Image data set with embedded pre-subpixel rendered image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649874A (zh) * 2011-05-05 2014-03-19 索尼电脑娱乐公司 使用眼睛跟踪隐形镜片的接口
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
CN103869977A (zh) * 2014-02-19 2014-06-18 小米科技有限责任公司 图像显示方法、装置和电子设备

Also Published As

Publication number Publication date
CN106101533A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN106101533B (zh) 渲染控制方法、装置及移动终端
US9619943B2 (en) Event augmentation with real-time information
US10055889B2 (en) Automatic focus improvement for augmented reality displays
CN110139028A (zh) 一种图像处理的方法及头戴式显示设备
CN110929651A (zh) 图像处理方法、装置、电子设备及存储介质
CN105992965B (zh) 响应于焦点移位的立体显示
JP5073013B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
US20210149481A1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
EP2902084A1 (en) Display device, control system, and control program
CN108421252B (zh) 一种基于ar设备的游戏实现方法和ar设备
KR20170035997A (ko) 홀로그래픽 오브젝트에 대한 스마트 투명도
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
CN112221134B (zh) 基于虚拟环境的画面显示方法、装置、设备及介质
CN106020480B (zh) 一种虚拟现实设备和虚拟现实图像处理方法
WO2021073293A1 (zh) 动画文件的生成方法、装置及存储介质
CN107479804A (zh) 虚拟现实设备及其内容调整方法
CN107948498A (zh) 一种消除相机摩尔条纹方法及移动终端
KR20150006128A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
CN114830621A (zh) 录制指示灯
CN105227828B (zh) 拍摄装置和方法
CN106506966A (zh) 一种对焦方法和装置
CN110390216A (zh) 内容显示方法及相关设备
CN110728744A (zh) 一种体绘制方法、装置及智能设备
CN117278839A (zh) 一种拍摄方法、电子设备及存储介质
CN107071293A (zh) 一种拍摄装置、方法和移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant