CN109685881B - 一种体绘制方法、装置及智能设备 - Google Patents
一种体绘制方法、装置及智能设备 Download PDFInfo
- Publication number
- CN109685881B CN109685881B CN201811348909.0A CN201811348909A CN109685881B CN 109685881 B CN109685881 B CN 109685881B CN 201811348909 A CN201811348909 A CN 201811348909A CN 109685881 B CN109685881 B CN 109685881B
- Authority
- CN
- China
- Prior art keywords
- sampling
- determining
- ray
- saccade
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请公开了一种体绘制方法、装置及智能设备,属于计算机图形学领域。本申请可以获取当前时刻采集到的运动数据,当基于该运动数据确定发生头部运动和/或眼球扫视运动时,则可以以大于第一采样步长的采样步长沿每条光线的光线方向确定多个采样点,进而根据确定的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。也即,在本申请实施例中,当检测到头部运动或眼球扫视运动时,在沿光线方向进行采样时可以采用较大的采样步长,而由于头部运动或眼球在进行扫视运动时,人眼并不需要高分辨率图像,因此,以大于第一采样步长采样得到的体素值来绘制二维图像,可以有效的减小计算量,提高绘制效率。
Description
技术领域
本申请涉及计算机图形学技术领域,特别涉及一种体绘制方法、装置及智能设备。
背景技术
计算机图形学的发展极大的促进了游戏、电影、动画、计算机辅助设计与制造、虚拟现实等产业的更新迭代。在计算机图形学技术领域中,对真实世界的仿真模拟以及抽象数据的可视化一直是研究热点。其中,抽象数据的可视化即需要通过体绘制来完成。具体的,体绘制是指根据三维体数据场中的体素,生成对应的二维图像的一种技术,其中,该二维图像中包含有三维体数据场中的所有体细节。
目前,应用最为广泛的体绘制方法是光线投射方法。在该种方法中,智能设备可以建立立方体模型,并将该立方体模型内的每个点的坐标与三维体数据场中每个体素的空间坐标进行映射。其中,该立方体模型内的每个点的坐标可以称为纹理坐标。之后,智能设备可以将多条光线中每条光线在成像平面上的入射点作为相应光线的起始点,并从多条光线中每条光线的起始点起延相应光线的光线方向按照第一采样步长依次确定多个采样点。其中,该多条光线是将人眼所在的位置点与该立方体模型上朝向人眼的表面上的每个点连接后,依次穿越成像平面和该立方体模型的光线。由于该立方体模型内每个点的纹理坐标与三维体数据场中的每个体素的空间坐标相对应,因此,该多条光线穿越该立方体模型实际上就相当于穿越三维体数据场。之后,智能设备可以基于在每条光线的光线方向上确定的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。
在采用上述方法进行体绘制时,在多条光线中的每条光线的光线方向上,智能设备均是根据第一采样步长来确定得到多个采样点,在这种情况下,当该第一采样步长较小时,计算量将极其庞大,这样,不仅会导致智能设备的GPU(Graphics Processing Unit,图形处理器)的计算功耗过大,而且会导致绘制效率较低。
发明内容
本申请实施例提供了一种体绘制方法、装置及智能设备,可以用于解决体绘制时GPU计算功耗较大,绘制效率低下的问题。所述技术方案如下:
第一方面,提供了一种体绘制方法,所述方法包括:
获取当前时刻采集到的运动数据;
当基于所述运动数据确定发生头部运动和/或眼球扫视运动时,沿多条光线中每条光线的光线方向确定多个采样点;
其中,所述多条光线是将人眼所在的位置点与立方体模型中朝向所述人眼的表面上的每个点连接后,依次穿越成像平面和所述立方体模型的光线,且所述多条光线中每条光线的光线方向上相邻两个采样点之间的采样步长大于第一采样步长;
基于所述多条光线中每条光线的光线方向上的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。
可选地,所述运动数据包括通过位于头部的惯性测量单元IMU采集的角速度以及通过眼球追踪设备采集的眼球扫视速度;
所述沿多条光线中每条光线的光线方向确定多个采样点之前,还包括:
判断所述角速度是否大于角速度阈值,并判断所述眼球扫视速度是否大于扫视速度阈值;
若所述角速度大于所述角速度阈值,则确定发生所述头部运动,若所述眼球扫视速度大于所述扫视速度阈值,则确定发生所述眼球扫视运动。
可选地,所述运动数据包括通过位于头部的惯性测量单元IMU采集的角速度以及通过眼球追踪设备采集的眼球扫视速度;
所述当基于所述运动数据确定发生头部运动和/或注视点扫视运动时,沿多条光线中每条光线的光线方向确定多个采样点,包括:
当基于所述运动数据确定发生所述头部运动时,基于所述角速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点;
当基于所述运动数据确定发生所述眼球扫视运动时,基于所述眼球扫视速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点;
当基于所述运动数据确定发生所述头部运动和所述眼球扫视运动时,基于所述角速度、所述眼球扫视速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点。
可选地,所述基于所述角速度、所述眼球扫视速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点,包括:
基于存储的角速度与头部运动系数之间的第一对应关系,确定所述角速度对应的目标头部运动系数,并基于存储的扫视速度与扫视运动系数之间的第二对应关系,确定所述眼球扫视速度对应的目标扫视运动系数;
其中,所述第一对应关系中的每个头部运动系数均大于1,且所述第一对应关系中的头部运动系数与角速度呈正相关,所述第二对应关系中的每个扫视运动系数均大于1,且所述第二对应关系中的扫视运动系数和扫视速度呈正相关;
基于所述目标头部运动系数、所述目标扫视运动系数和所述第一采样步长,确定第二采样步长;
按照所述第二采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点。
可选地,所述按照所述第二采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点,包括:
确定所述多条光线从所述成像平面起到穿越所述立方体模型的最大穿越距离;
对于所述多条光线中的任一条光线L,令i=1,基于第i个采样点的纹理坐标和所述第二采样步长,沿所述光线L的光线方向确定第i+1个采样点;
确定所述第i+1个采样点与第1个采样点之间的距离;
若所述第i+1个采样点与所述第1个采样点之间的距离不大于所述最大穿越距离,则令所述i=i+1,并返回所述基于第i个采样点的纹理坐标和所述第二采样步长,沿所述光线L的光线方向确定第i+1个采样点的步骤,若所述第i+1个采样点与所述第1个采样点之间的距离大于所述最大穿越距离,则将在所述第i+1个采样点之前确定的i个采样点确定为沿所述光线L的光线方向上的多个采样点。
第二方面,提供了一种体绘制装置,所述装置包括:
获取模块,用于获取当前时刻采集到的运动数据;
第一确定模块,用于当基于所述运动数据确定发生头部运动和/或眼球扫视运动时,沿多条光线中每条光线的光线方向确定多个采样点;
其中,所述多条光线是将人眼所在的位置点与立方体模型中朝向所述人眼的表面上的每个点连接后,依次穿越成像平面和所述立方体模型的光线,且所述多条光线中每条光线的光线方向上相邻两个采样点之间的采样步长大于第一采样步长;
生成模块,用于基于所述多条光线中每条光线的光线方向上的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。
可选地,所述运动数据包括通过位于头部的惯性测量单元IMU采集的角速度以及通过眼球追踪设备采集的眼球扫视速度;
所述装置,还包括:
判断模块,用于判断所述角速度是否大于角速度阈值,并判断所述眼球扫视速度是否大于扫视速度阈值;
第二确定模块,用于若所述角速度大于所述角速度阈值,则确定发生所述头部运动,若所述眼球扫视速度大于所述扫视速度阈值,则确定发生所述眼球扫视运动。
可选地,所述运动数据包括通过位于头部的惯性测量单元IMU采集的角速度以及通过眼球追踪设备采集的眼球扫视速度;
所述第一确定模块,包括:
第一确定子模块,用于当基于所述运动数据确定发生所述头部运动时,基于所述角速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点;
第二确定子模块,用于当基于所述运动数据确定发生所述眼球扫视运动时,基于所述眼球扫视速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点;
第三确定子模块,用于当基于所述运动数据确定发生所述头部运动和所述眼球扫视运动时,基于所述角速度、所述眼球扫视速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点。
可选地,所述第三确定子模块具体用于:
基于存储的角速度与头部运动系数之间的第一对应关系,确定所述角速度对应的目标头部运动系数,并基于存储的扫视速度与扫视运动系数之间的第二对应关系,确定所述眼球扫视速度对应的目标扫视运动系数;
其中,所述第一对应关系中的每个头部运动系数均大于1,且所述第一对应关系中的头部运动系数与角速度呈正相关,所述第二对应关系中的每个扫视运动系数均大于1,且所述第二对应关系中的扫视运动系数和扫视速度呈正相关;
基于所述目标头部运动系数、所述目标扫视运动系数和所述第一采样步长,确定第二采样步长;
按照所述第二采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点。
第三方面,提供一种体绘制装置,所述装置包括:
处理器,所述处理器包括图像处理器GPU;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为上述第一方面所述的任一项方法的步骤。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例可以获取当前时刻采集到的运动数据,当基于该运动数据确定发生头部运动和/或眼球扫视运动时,则可以以大于第一采样步长的采样步长沿每条光线的光线方向确定多个采样点,进而根据确定的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。也即,在本申请实施例中,当检测到头部运动或眼球扫视运动时,在沿光线方向进行采样时可以采用较大的采样步长,而由于头部运动或眼球在进行扫视运动时,人眼并不需要高分辨率图像,因此,以大于第一采样步长采样得到的体素值来绘制二维图像,可以有效的减小计算量,提高绘制效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种体绘制方法的流程图;
图2是本申请实施例提供的一种体绘制方法的流程图;
图3是本申请实施例提供的一种确定屏幕坐标系下的注视点区域的示意图;
图4是本申请实施例提供的一种体绘制装置的框图;
图5是本申请实施例提供的一种智能设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细的解释说明之前,先对本申请实施例涉及的应用场景予以介绍。
当前,在VR(Virtual Reality,虚拟现实)或AR(Augmented Reality,增强现实)技术中,以高沉浸感所需的高分辨率来呈现图像时,对智能设备的GPU的处理能力提出了极高的要求。而对于用户而言,智能设备绘制图像时的低延时、高帧率、高画质是保证良好的虚拟现实体验的必备条件。例如,对于VR头戴式显示设备而言,低分辨率会限制视场,导致用户体验较差。而若提高VR头戴式显示设备的分辨率,则相应地需要VR头戴式显示设备的GPU具备更高的处理能力。目前,高端GPU仍然无法为用户带来最优的VR或AR体验,因此,如何有效的利用GPU的处理能力,从而为用户提供更加符合人眼感知的高质量VR或AR内容是关键问题。而本申请实施例提供的体绘制方法即可以应用于上述场景中,以在满足用户对图像的分辨率的要求的同时,减小智能设备的GPU的计算量,进而提高绘制效率。
接下来对本申请实施例提供的体绘制方法的具体实现方式进行介绍。
图1是本申请实施例提供的一种体绘制方法,该方法可以用于智能设备中,该智能设备可以是同时集成有图像处理功能以及显示功能的VR头戴式显示设备,且该智能设备可以包括IMU(inertial measurement unit,惯性测量单元)和眼球追踪设备。或者,该智能设备可以是诸如手机、平板电脑、便携式电脑、台式电脑等终端,且该智能设备可以连接有VR头戴式显示设备或AR头戴式显示设备,其中,连接的VR头戴式显示设备或AR头戴式显示设备包括IMU和眼球追踪设备。如图1所示,该方法包括以下步骤:
步骤101:获取当前时刻采集到的运动数据。
其中,当前时刻采集的运动数据可以包括通过IMU采集的角速度以及通过眼球追踪设备采集的眼球扫视速度。其中,IMU位于用户头部。
步骤102:当基于运动数据确定发生头部运动和/或眼球扫视运动时,沿多条光线中每条光线的光线方向确定多个采样点。
其中,多条光线是将人眼所在的位置点与立方体模型中朝向人眼的表面上的每个点连接后,依次穿越成像平面和立方体模型的光线,且多条光线中每条光线的光线方向上相邻两个采样点之间的采样步长大于第一采样步长。
还需要说明的是,立方体模型内的每个点的坐标与三维体数据场中每个体素的空间坐标存在映射关系,且该立方体模型内的每个点的坐标可以称为纹理坐标。
步骤103:基于多条光线中每条光线的光线方向上的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。
在本申请实施例中,智能设备可以获取当前时刻采集的运动数据,当基于该运动数据确定发生头部运动和/或眼球扫视运动时,则可以以大于第一采样步长的采样步长沿每条光线的光线方向确定多个采样点,进而根据确定的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。也即,在本申请实施例中,当检测到头部运动或眼球扫视运动时,在沿光线方向进行采样时可以采用较大的采样步长,而由于头部运动或眼球在进行扫视运动时,人眼并不需要高分辨率图像,因此,以大于第一采样步长采样得到的体素值来绘制二维图像,可以有效的减小计算量,提高绘制效率。
图2是本申请实施例提供的一种体绘制方法的流程图,该方法可以用于智能设备中,该智能设备可以是同时集成有图像处理功能以及显示功能的VR头戴式显示设备,且该VR头戴式显示设备中可以包括IMU(inertial measurement unit,惯性测量单元)和眼球追踪设备。或者,该智能设备可以是诸如手机、平板电脑、便携式电脑、台式电脑等终端,且该智能设备可以连接有VR头戴式显示设备或AR头戴式显示设备,其中,连接的VR头戴式显示设备或AR头戴式显示设备包括IMU和眼球追踪设备。如图2所示,该方法包括以下步骤:
步骤201:获取当前时刻采集到的运动数据。
其中,若智能设备与VR设备集成在一起,则智能设备可以通过VR设备中的IMU采集角速度,并通过VR设备中的眼球追踪设备采集眼球扫视速度。若智能设备中不包括VR设备,则智能设备可以与VR设备进行通信,并获取VR设备中的IMU在当前时刻采集的角速度以及VR设备中眼球追踪设备在当前时刻采集的眼球扫视速度。需要说明的是,由于IMU位于用户头部,因此,由IMU采集的角速度实际上就是用户头部的转动速度。另外,眼球扫视速度是指人眼的视点从一点快速移动到另一点的速度,也即,眼球扫视速度实际上是指人眼转动的速度。
当获取到当前时刻采集的角速度和眼球扫视速度之后,智能设备可以将眼球追踪设备最近一次追踪到的位置确定为人眼所在的位置点,并将人眼所在的位置点与立方体模型中朝向人眼的表面上的每个点连接,从而得到依次穿越成像平面和立方体模型的多条光线。由于立方体模型中每个点的坐标与三维体数据场中的体素的空间坐标存在映射关系,因此,多条光线穿越该立方体模型实际上就相当于穿越了三维体数据场。
需要说明的是,待绘制的三维体数据场可以是由CT(Computed Tomography,计算机断层扫描)仪器或MRI(Magnetic Resonance Imaging,磁共振成像)仪器等扫描得到的,也可以是通过有限元模型得到的科学三维数据,例如,模拟得到的流场模拟数据或飓风模拟数据等。本申请实施例不对三维体数据场的具体来源进行限定。
步骤202:基于获取的运动数据,判断是否发生头部运动或眼球扫视运动。
在获取到角速度和眼球扫视速度之后,智能设备可以判断角速度是否大于角速度阈值,以及判断眼球扫视速度是否大于扫视速度阈值。若角速度大于角速度阈值,则确定发生头部运动,若眼球扫视速度大于扫视速度阈值,则确定发生眼球扫视运动。
其中,角速度阈值可以是预先设置的头部开始转动时的角速度。另外,通常,当人眼以每秒500度以上的速度,将注视点从一点移动到另一点时,即可以称为眼球扫视运动。基于此,在本申请实施例中,可以将扫视速度阈值确定为500度/秒,或者,也可以以500度/秒为基础来确定扫视速度阈值。例如,可以将扫视速度阈值设置为450度/秒、400度/秒、550度/秒等,本申请实施例对此不做具体限定。
需要说明的是,若角速度大于角速度阈值,但眼球扫视速度不大于扫视速度阈值,则可以确定发生了头部运动,但是并未发生眼球扫视运动。若角速度不大于角速度阈值,但眼球扫视速度大于扫视速度阈值,则可以确定发生了眼球扫视运动,但并未发生头部运动。若角速度大于角速度阈值,且眼球扫视速度大于扫视速度阈值,则可以确定发生了头部运动和眼球扫视运动。
步骤203:当确定发生头部运动和/或眼球扫视运动时,沿多条光线中每条光线的光线方向确定多个采样点。
当确定发生头部运动和/或眼球扫视运动时,智能设备可以沿多条光线中每条光线的光线方向确定多个采样点。其中,多个采样点中每相邻的两个采样点之间的采样步长大于第一采样步长,第一采样步长是指在未发生头部运动和眼球扫视运动时确定的多个采样点中每相邻两个采样点之间的采样步长。
示例性的,根据检测到的运动的不同,本步骤可以分为以下三种情况。
第一种情况:当确定发生头部运动时,基于角速度和第一采样步长,沿多条光线中每条光线的光线方向确定多个采样点。
其中,智能设备可以基于存储的角速度和头部运动系数之间的第一对应关系,确定角速度对应的目标头部运动系数。其中,第一对应关系中的每个头部运动系数均大于1,且第一对应关系中的头部运动系数与角速度呈正相关。基于目标头部运动系数和第一采样步长,确定第二采样步长,并按照第二采样步长,沿多条光线中每条光线的光线方向确定多个采样点。
示例性的,智能设备可以从存储的角速度和头部运动系数之间的第一对应关系中查找当前的角速度,若第一对应关系中存在当前的角速度,则可以从该第一对应关系中直接获取该角速度对应的头部运动系数,获取的头部运动系数即为目标头部运动系数。若第一对应关系中不存在当前的角速度,则智能设备可以根据第一对应关系中包括的多个角速度以及多个角速度中每个角速度对应的头部运动系数,通过插值法来确定当前角速度对应的目标头部运动系数。
需要说明的是,第一对应关系中的角速度与头部运动系数呈正相关,也即,角速度越大,则对应的头部运动系数越大。换句话说,随着角速度的增大,对应的头部运动系数也增大。并且,值得注意的是,第一对应关系中包括的最小角速度等于角速度阈值,且最小角速度对应的头部运动系数最小。
在确定目标头部运动系数之后,智能设备可以将第一采样步长和目标头部运动系数之间的乘积确定为第二采样步长。由于目标头部运动系数大于1,因此,第二采样步长大于第一采样步长。
在确定第二采样步长之后,智能设备可以按照第二采样步长沿多条光线中每条光线的光线方向确定多个采样点。
接下来,以多条光线中的任一条光线L为例,来说明确定该光线L的光线方向上的多个采样点的实现过程。
示例性的,智能设备可以确定多条光线从成像平面起到穿越立方体模型的最大穿越距离;之后,对于多条光线中的任一条光线L,令i=1,基于第i个采样点的纹理坐标和第二采样步长,沿光线L的光线方向确定第i+1个采样点;确定第i+1个采样点与第1个采样点之间的距离;若第i+1个采样点与第1个采样点之间的距离不大于最大穿越距离,则令i=i+1,并返回基于第i个采样点的纹理坐标和第二采样步长,沿光线L的光线方向确定第i+1个采样点的步骤,若第i+1个采样点与第1个采样点之间的距离大于最大穿越距离,则将在第i+1个采样点之前确定的i个采样点确定为沿光线L的光线方向上的多个采样点。
具体地,智能设备可以确定多条光线中每条光线从成像平面起到穿越立方体模型的穿越距离,并从确定的多个穿越距离中确定最大穿越距离。其中,由于确定每条光线穿越立方体模型时的穿越距离时需要确定每条光线与立方体模型的表面的交点,而考虑到智能设备的GPU在确定光线与立方体模型的交点时的计算量较大,计算过程较为复杂,因此,智能设备可以将立方体模型中朝向人眼的平面以及与该朝向人眼的平面平行的表面之间的距离和成像平面到立方体模型中朝向人眼的平面之间的距离之和确定为最大穿越距离。之后,当i=1时,智能设备可以将光线L穿越成像平面时在该成像平面的入射点作为光线L的光线方向上的第一个采样点。
在确定第一个采样点之后,智能设备可以基于第一个采样点的纹理坐标和第二采样步长确定第二个采样点。
在确定第二个采样点之后,智能设备可以确定第二个采样点与第一个采样点之间的距离,并判断第二个采样点与第一个采样点之间的距离是否大于最大穿越距离,以此来判断光线L是否已穿出该立方体模型。若第二个采样点与第一个采样点之间的距离大于最大穿越距离,则说明光线L已经穿出该立方体模型,也即,第二个采样点已经位于该立方体模型之外,而第一个采样点即为该光线L的光线方向上的最后一个采样点,此时,智能设备可以将第一个采样点确定为光线L的光线方向上的采样点。若第二个采样点与第一个采样点之间的距离不大于最大穿越距离,则说明光线L还未穿出该立方体模型。此时,智能设备可以基于第二个采样点的纹理坐标和第二采样步长,确定第三个采样点,以此类推,直到确定的第i+1个采样点与第一个采样点之间的距离大于最大穿越距离为止,将第i+1个采样点之前确定的i个采样点作为光线L的光线方向上的多个采样点。
可选地,在一种可能的实现方式中,在按照第二采样步长确定光线L的光线方向上的多个采样点的过程中,每当确定得到一个采样点,智能设备可以根据确定的这个采样点的纹理坐标获取这个采样点对应的体素值,根据获取的这个采样点对应的体素值确定这个采样点的合成颜色值和合成透明度值,直到确定得到最后一个采样点的合成颜色值和合成透明度值时,将最后一个采样点的合成颜色值和合成透明度值确定为相应光线与成像平面的交点的像素值。
示例性的,在该种实现方式中,智能设备可以确定多条光线从成像平面起穿越立方体模型的最大穿越距离,令i=1,基于第i个采样点和第二采样步长,沿光线L的光线方向确定第i+1个采样点;确定第i+1个采样点与第1个采样点之间的距离,若第i+1个采样点与第1个采样点之间的距离不大于最大穿越距离,则基于第i+1个采样点的纹理坐标获取第i+1个采样点对应的体素值;基于获取的第i+1个采样点的体素值和第i个采样点的合成颜色值和合成透明度值,计算第i+1个采样点的合成颜色值和合成透明度值;若第i+1个采样点的合成透明度值小于1,则令i=i+1,并返回基于第i个采样点的纹理坐标和第二采样步长,沿光线L的光线方向确定第i+1个采样点的步骤,直到第i+1个采样点的合成透明度值不小于1时,将第i+1个采样点的合成颜色值和合成透明度值确定为光线L与成像平面的交点的像素值。
具体地,智能设备可以确定多条光线中每条光线从成像平面起到穿越立方体模型的穿越距离,并从确定的多个穿越距离中确定最大穿越距离。其中,由于确定每条光线穿越立方体模型时的穿越距离时需要确定每条光线与立方体模型的表面的交点,而考虑到智能设备的GPU在确定光线与立方体模型的交点时的计算量较大,计算过程较为复杂,因此,智能设备可以将立方体模型中朝向人眼的平面以及与该朝向人眼的平面平行的表面之间的距离和成像平面到立方体模型中朝向人眼的平面之间的距离之和确定为最大穿越距离。之后,当i=1时,智能设备可以将光线L穿越成像平面时在该成像平面的入射点作为光线L的光线方向上的第一个采样点。
在确定光线L在光线方向上的第一个采样点之后,智能设备可以获取第一个采样点的纹理坐标,并根据第一个采样点的纹理坐标获取第一采样点对应的体素值。由于第一个采样点实际上并不在立方体模型之内,也即第一个采样点并不对应有体素值,因此,第一个采样点的体素值为0。之后,智能设备可以基于第一个采样点的体素值,通过传输函数计算得到第一个采样点的颜色采样值和透明度采样值。由于第一个采样点之前没有其他采样点,因此,可以将计算得到的第一个采样点的颜色采样值和透明度采样值,作为该第一个采样点的合成颜色值和合成透明度值。
在确定第一个采样点的合成颜色值和合成透明度值之后,智能设备可以基于第一个采样点的纹理坐标和第二采样步长确定第二个采样点。
在确定第二个采样点之后,智能设备可以确定第二个采样点与第一个采样点之间的距离,并判断第二个采样点与第一个采样点之间的距离是否大于最大穿越距离,以此来判断光线L是否已穿出该立方体模型。
若第二个采样点与第一个采样点之间的距离大于最大穿越距离,则说明光线L已经穿出该立方体模型,也即,第二个采样点已经位于该立方体模型之外,而第一个采样点即为该光线L的光线方向上的最后一个采样点,此时,智能设备可以将第一个采样点的合成颜色值和合成透明度值确定为光线L与成像平面的交点的像素值。
若第二个采样点与第一个采样点之间的距离不大于最大穿越距离,则说明光线L还未穿出该立方体模型。此时,智能设备可以基于第二个采样点的纹理坐标获取第二个采样点对应的体素值,并基于第二个采样点的体素值,通过传输函数确定第二个采样点的颜色采样值和透明度采样值。之后,智能设备可以根据第二个采样点的颜色采样值、第二个采样点的前一个采样点的合成颜色值和合成透明度值,通过下述公式(1)计算第二个采样点的合成颜色值,根据第二个采样点的透明度采样值和第二个采样点的前一个采样点的合成透明度值,通过下述公式(2)计算得到第二个采样点的合成透明度值。其中,第二个采样点的前一个采样点也即第一个采样点。
其中,为第二个采样点的合成颜色值,/>为第一个采样点的合成透明度值,C2为第二个采样点的颜色采样值,/>为第一个采样点的合成颜色值,/>为第二个采样点的合成透明度值,A2为第二个采样点的透明度采样值。
在确定第二个采样点的合成颜色值和合成透明度值之后,智能设备还可以进一步的判断第二个采样点的合成透明度值是否小于1,若第二个采样点的合成透明度值小于1,则智能设备可以参考前述根据第一个采样点确定第二个采样点以及计算第二个采样点的合成颜色值和合成透明度值的方法,根据第二个采样点确定第三个采样点并计算第三个采样点的合成颜色值和合成透明度值,以此类推,直到根据第i个采样点确定的第i+1个采样点与第一个采样点之间的距离大于最大穿越距离,也即,直到第i+1个采样点位于立方体模型之外时,或者,直到根据第i个采样点计算的第i+1个采样点的合成透明度值不小于1时,智能设备停止计算,并将确定的第i个采样点的合成颜色值和合成透明度值确定为光线L与成像平面的交点的像素值。
第二种情况:当确定发生眼球扫视运动时,基于眼球扫视速度和第一采样步长,沿多条光线中每条光线的光线方向确定多个采样点。
其中,智能设备可以基于存储的扫视速度和扫视运动系数之间的第二对应关系,确定眼球扫视速度对应的目标扫视运动系数。其中,第二对应关系中的每个扫视运动系数均大于1,且第二对应关系中的扫视运动系数与扫视速度呈正相关。基于目标扫视运动系数和第一采样步长,确定第二采样步长,并按照第二采样步长,沿多条光线中每条光线的光线方向确定多个采样点。
示例性的,智能设备可以从存储的扫视速度和扫视运动系数之间的第二对应关系中查找当前的眼球扫视速度,若第二对应关系中存在该眼球扫视速度,则可以从该第二对应关系中直接获取该眼球扫视速度对应的扫视运动系数,获取的扫视运动系数即为目标扫视运动系数。若第二对应关系中不存在当前的眼球扫视速度,则智能设备可以根据第二对应关系中包括的多个扫视速度以及多个扫视速度中每个扫视速度对应的扫视运动系数,通过插值法来确定该眼球扫视速度对应的目标扫视运动系数。
需要说明的是,第二对应关系中的扫视速度与扫视运动系数呈正相关,也即,扫视速度越大,则对应的扫视运动系数越大。换句话说,随着扫视速度的增大,对应的扫视运动系数也增大。并且,值得注意的是,第二对应关系中包括的最小扫视速度等于扫视速度阈值,且最小扫视速度对应的扫视运动系数最小。
在确定目标扫视运动系数之后,智能设备可以将第一采样步长和目标扫视运动系数之间的乘积确定为第二采样步长。由于目标扫视运动系数大于1,因此,第二采样步长大于第一采样步长。
在确定第二采样步长之后,智能设备可以参考第一种情况中介绍的方法,按照该第二采样步长,沿多条光线中每条光线的光线方向确定多个采样点,本申请实施例在此不再赘述。
第三种情况:当确定发生头部运动和眼球扫视运动时,基于角速度、眼球扫视速度和第一采样步长,沿多条光线中每条光线的光线方向确定多个采样点。
其中,智能设备可以从存储的角速度与头部运动系数之间的第一对应关系,确定角速度对应的目标头部运动系数,并基于存储的扫视速度与扫视运动系数之间的第二对应关系,确定眼球扫视速度对应的目标扫视运动系数;其中,第一对应关系中的每个头部运动系数均大于1,且第一对应关系中的头部运动系数与角速度呈正相关,第二对应关系中的每个扫视运动系数均大于1,且第二对应关系中的扫视运动系数和扫视速度呈正相关;基于目标头部运动系数、目标扫视运动系数和第一采样步长,确定第二采样步长;按照第二采样步长,沿多条光线中每条光线的光线方向确定多个采样点。
需要说明的是,第一对应关系以及智能设备基于第一对应关系确定角速度对应的目标头部运动系数的实现方式可以参考第一种情况中的相关实现方式,第二对应关系以及智能设备基于第二对应关系确定眼球扫视速度对应的目标扫视运动系数的实现方式可以参考第二种情况中的相关实现方式,本申请实施例在此不再赘述。
在确定目标头部运动系数和目标扫视运动系数之后,智能设备可以将第一采样步长、目标头部运动系数和目标扫视运动系数的乘积确定为第二采样步长。由于目标头部运动系数和目标扫视运动系数均大于1,因此,第二采样步长大于第一采样步长。
在确定第二采样步长之后,智能设备可以参考第一种情况中介绍的方法,按照该第二采样步长,沿多条光线中每条光线的光线方向确定多个采样点,本申请实施例在此不再赘述。
步骤204:基于多条光线中每条光线的光线方向上的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。
其中,在确定多条光线中每条光线的光线方向上的多个采样点之后,对于多条光线中的任一条光线,智能设备均可以按照相应光线的光线方向上多个采样点的采样先后顺序,依次确定多个采样点中每个采样点的合成颜色值和合成透明度值,直到确定得到相应光线的光线方向上的最后一个采样点的合成颜色值和合成透明度值时,将最后一个采样点的合成颜色值和合成透明度值确定为相应光线与成像平面的交点的像素值。之后,智能设备可以基于多条光线中每条光线与成像平面的交点的像素值,生成三维体数据场对应的二维图像。
其中,智能设备按照相应光线的光线方向上的多个采样点的采样先后顺序,依次确定多个采样点中每个采样点的合成颜色值和合成透明度值的实现方式可以参考步骤203中确定光线L的光线方向上的每个采样点的合成颜色值和合成透明度值的实现方式,本申请实施例在此不再赘述。
另外,当基于多条光线中每条光线与成像平面的交点的像素值,生成三维体数据场对应的二维图像时,智能设备可以将多条光线与成像平面的多个交点作为多个像素点,以此生成三维体数据场对应的二维图像。其中,每个像素点的像素值也就是该像素点对应的光线与成像平面的交点的像素值。
可选地,若在步骤203中,在确定每条光线的光线方向上的多个采样点的过程中,智能设备通过每确定一个采样点时,即确定该采样点对应的合成颜色值和合成透明度值的方式得到了每条光线与成像平面的交点的像素值,则在本步骤中,智能设备可以直接将多条光线与成像平面的多个交点作为多个像素点,以此生成三维体数据场对应的二维图像。其中,每个像素点的像素值也就是该像素点对应的光线与成像平面的交点的像素值。
在本申请实施例中,智能设备可以获取当前时刻采集到的运动数据,当基于该运动数据确定发生头部运动和/或眼球扫视运动时,则可以以大于第一采样步长的采样步长沿每条光线的光线方向确定多个采样点,进而根据确定的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。也即,在本申请实施例中,当检测到头部运动或眼球扫视运动时,在沿光线方向进行采样时可以采用较大的采样步长,而由于头部运动或眼球在进行扫视运动时,人眼并不需要高分辨率图像,因此,以大于第一采样步长采样得到的体素值来绘制二维图像,可以有效的减小计算量,提高绘制效率。
另外,对于用户而言,在直接通过双眼观看外部世界时,当用户的视线快速转移时,所看物体的像会飞快扫过视网膜表面,外界世界的图像实际上是模糊的。基于此,如果在用户头部快速转动或者眼球快速转动的过程中,体绘制得到的图像的清晰度较未发生头部转动或眼球转动的情况下绘制的图像的清晰度相同,那么,用户的眼睛会有“不适应感”,并且,用户的眼睛会因为处理过多的信息而疲劳,甚至发生眩晕。而在本申请实施例中,由于在检测到头部转动和/或眼球扫视时,可以采用较大的采样步长来进行采样,因此,基于采样得到的体素值绘制得到的二维图像的清晰度较未发生头部转动或眼球转动的情况下绘制的图像的清晰度要低,这样,可以更真实的模拟人眼视觉,从而有效的减轻用户的视疲劳、眩晕等生理性不适。
接下来对本申请实施例提供的体绘制装置进行介绍。
图3是本申请实施例提供的一种体绘制装置300,该装置300可以集成于前述实施例中的智能设备中,参见图3,该装置300包括:
获取模块301,用于获取当前时刻采集到的运动数据;
第一确定模块302,用于当基于运动数据确定发生头部运动和/或眼球扫视运动时,沿多条光线中每条光线的光线方向确定多个采样点;
其中,多条光线是将人眼所在的位置点与立方体模型中朝向人眼的表面上的每个点连接后,依次穿越成像平面和立方体模型的光线,且多条光线中每条光线的光线方向上相邻两个采样点之间的采样步长大于第一采样步长;
生成模块303,用于基于多条光线中每条光线的光线方向上的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。
可选地,运动数据包括通过位于头部的惯性测量单元IMU采集的角速度以及通过眼球追踪设备采集的眼球扫视速度;
参见图4,该装置300,还包括:
判断模块304,用于判断角速度是否大于角速度阈值,并判断眼球扫视速度是否大于扫视速度阈值;
第二确定模块305,用于若角速度大于角速度阈值,则确定发生头部运动,若眼球扫视速度大于扫视速度阈值,则确定发生眼球扫视运动。
可选地,运动数据包括通过位于头部的惯性测量单元IMU采集的角速度以及通过眼球追踪设备采集的眼球扫视速度;
第一确定模块302,包括:
第一确定子模块,用于当基于运动数据确定发生头部运动时,基于角速度和第一采样步长,沿多条光线中每条光线的光线方向确定多个采样点;
第二确定子模块,用于当基于运动数据确定发生眼球扫视运动时,基于眼球扫视速度和第一采样步长,沿多条光线中每条光线的光线方向确定多个采样点;
第三确定子模块,用于当基于运动数据确定发生头部运动和眼球扫视运动时,基于角速度、眼球扫视速度和第一采样步长,沿多条光线中每条光线的光线方向确定多个采样点。
可选地,第三确定子模块具体用于:
基于存储的角速度与头部运动系数之间的第一对应关系,确定角速度对应的目标头部运动系数,并基于存储的扫视速度与扫视运动系数之间的第二对应关系,确定眼球扫视速度对应的目标扫视运动系数;
其中,第一对应关系中的每个头部运动系数均大于1,且第一对应关系中的头部运动系数与角速度呈正相关,第二对应关系中的每个扫视运动系数均大于1,且第二对应关系中的扫视运动系数和扫视速度呈正相关;
基于目标头部运动系数、目标扫视运动系数和第一采样步长,确定第二采样步长;
按照第二采样步长,沿多条光线中每条光线的光线方向确定多个采样点。
可选地,第三确定子模块具体用于:
确定多条光线从成像平面起到穿越立方体模型的最大穿越距离;
对于多条光线中的任一条光线L,令i=1,基于第i个采样点的纹理坐标和第二采样步长,沿光线L的光线方向确定第i+1个采样点;
确定第i+1个采样点与第1个采样点之间的距离;
若第i+1个采样点与第1个采样点之间的距离不大于最大穿越距离,则令i=i+1,并返回基于第i个采样点的纹理坐标和第二采样步长,沿光线L的光线方向确定第i+1个采样点的步骤,若第i+1个采样点与第1个采样点之间的距离大于最大穿越距离,则将在第i+1个采样点之前确定的i个采样点确定为沿光线L的光线方向上的多个采样点。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在本申请实施例中,智能设备可以获取当前时刻采集到的运动数据,当基于该运动数据确定发生头部运动和/或眼球扫视运动时,则可以以大于第一采样步长的采样步长沿每条光线的光线方向确定多个采样点,进而根据确定的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。也即,在本申请实施例中,当检测到头部运动或眼球扫视运动时,在沿光线方向进行采样时可以采用较大的采样步长,而由于头部运动或眼球在进行扫视运动时,人眼并不需要高分辨率图像,因此,以大于第一采样步长采样得到的体素值来绘制二维图像,可以有效的减小计算量,提高绘制效率。
需要说明的是:上述实施例提供的体绘制装置在进行体绘制时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的体绘制装置与体绘制方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5示出了本发明一个示例性实施例提供的智能设备500的结构框图。其中,该智能设备500可以是:笔记本电脑、台式电脑、智能手机或平板电脑等。智能设备500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等。
通常,智能设备500包括有:处理器501和存储器502。
处理器501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的体绘制方法。
在一些实施例中,智能设备500还可选包括有:外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地,外围设备包括:射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中,处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上;在一些其他实施例中,处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路504包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路504还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏505用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时,显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时,显示屏505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏505可以为一个,设置智能设备500的前面板;在另一些实施例中,显示屏505可以为至少两个,分别设置在智能设备500的不同表面或呈折叠设计;在再一些实施例中,显示屏505可以是柔性显示屏,设置在智能设备500的弯曲表面上或折叠面上。甚至,显示屏505还可以设置成非矩形的不规则图形,也即异形屏。显示屏505可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地,摄像头组件506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器501进行处理,或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在智能设备500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路507还可以包括耳机插孔。
定位组件508用于定位智能设备500的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或欧盟的伽利略系统的定位组件。
电源509用于为智能设备500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,智能设备500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于:加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以智能设备500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号,控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测智能设备500的机体方向及转动角度,陀螺仪传感器512可以与加速度传感器511协同采集用户对智能设备500的3D动作。处理器501根据陀螺仪传感器512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在智能设备500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在智能设备500的侧边框时,可以检测用户对智能设备500的握持信号,由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时,由处理器501根据用户对触摸显示屏505的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹,由处理器501根据指纹传感器514采集到的指纹识别用户的身份,或者,由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器501授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置智能设备500的正面、背面或侧面。当智能设备500上设置有物理按键或厂商Logo时,指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中,处理器501可以根据光学传感器515采集的环境光强度,控制触摸显示屏505的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏505的显示亮度;当环境光强度较低时,调低触摸显示屏505的显示亮度。在另一个实施例中,处理器501还可以根据光学传感器515采集的环境光强度,动态调整摄像头组件506的拍摄参数。
接近传感器516,也称距离传感器,通常设置在智能设备500的前面板。接近传感器516用于采集用户与智能设备500的正面之间的距离。在一个实施例中,当接近传感器516检测到用户与智能设备500的正面之间的距离逐渐变小时,由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态;当接近传感器516检测到用户与智能设备500的正面之间的距离逐渐变大时,由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
也即是,本发明实施例不仅提供了一种体绘制装置,该装置可以应用于上述智能设备500中,包括处理器和用于存储处理器可执行指令的存储器,其中,处理器被配置为执行图1和图2所示的实施例中体绘制方法,而且,本发明实施例还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,该计算机程序被处理器执行时可以实现图1和图2所示的实施例中体绘制方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种体绘制方法,其特征在于,所述方法包括:
获取当前时刻采集到的运动数据,所述运动数据包括通过位于头部的惯性测量单元IMU采集的角速度以及通过眼球追踪设备采集的眼球扫视速度;
当基于所述运动数据确定发生头部运动时,基于所述角速度和第一采样步长,沿多条光线中每条光线的光线方向确定多个采样点;
当基于所述运动数据确定发生眼球扫视运动时,基于所述眼球扫视速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点;
当基于所述运动数据确定发生所述头部运动和所述眼球扫视运动时,基于所述角速度、所述眼球扫视速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点;
其中,所述多条光线是将人眼所在的位置点与立方体模型中朝向所述人眼的表面上的每个点连接后,依次穿越成像平面和所述立方体模型的光线,且所述多条光线中每条光线的光线方向上相邻两个采样点之间的采样步长大于所述第一采样步长,所述第一采样步长是指在未发生所述头部运动和所述眼球扫视运动时确定的多个采样点中每相邻两个采样点之间的采样步长;
基于所述多条光线中每条光线的光线方向上的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。
2.根据权利要求1所述的方法,其特征在于,所述沿多条光线中每条光线的光线方向确定多个采样点之前,还包括:
判断所述角速度是否大于角速度阈值,并判断所述眼球扫视速度是否大于扫视速度阈值;
若所述角速度大于所述角速度阈值,则确定发生所述头部运动,若所述眼球扫视速度大于所述扫视速度阈值,则确定发生所述眼球扫视运动。
3.根据权利要求1所述的方法,其特征在于,所述基于所述角速度、所述眼球扫视速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点,包括:
基于存储的角速度与头部运动系数之间的第一对应关系,确定所述角速度对应的目标头部运动系数,并基于存储的扫视速度与扫视运动系数之间的第二对应关系,确定所述眼球扫视速度对应的目标扫视运动系数;
其中,所述第一对应关系中的每个头部运动系数大于1,且所述第一对应关系中的头部运动系数与角速度呈正相关,所述第二对应关系中的每个扫视运动系数大于1,且所述第二对应关系中的扫视运动系数和扫视速度呈正相关;
基于所述目标头部运动系数、所述目标扫视运动系数和所述第一采样步长,确定第二采样步长;
按照所述第二采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点。
4.根据权利要求3所述的方法,其特征在于,所述按照所述第二采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点,包括:
确定所述多条光线从所述成像平面起到穿越所述立方体模型的最大穿越距离;
对于所述多条光线中的任一条光线L,令i=1,基于第i个采样点的纹理坐标和所述第二采样步长,沿所述光线L的光线方向确定第i+1个采样点;
确定所述第i+1个采样点与第1个采样点之间的距离;
若所述第i+1个采样点与所述第1个采样点之间的距离不大于所述最大穿越距离,则令所述i=i+1,并返回所述基于第i个采样点的纹理坐标和所述第二采样步长,沿所述光线L的光线方向确定第i+1个采样点的步骤,若所述第i+1个采样点与所述第1个采样点之间的距离大于所述最大穿越距离,则将在所述第i+1个采样点之前确定的i个采样点确定为沿所述光线L的光线方向上的多个采样点。
5.一种体绘制装置,其特征在于,所述装置包括:
获取模块,用于获取当前时刻采集到的运动数据,所述运动数据包括通过位于头部的惯性测量单元IMU采集的角速度以及通过眼球追踪设备采集的眼球扫视速度;
第一确定模块,包括第一确定子模块、第二确定子模块和第三确定子模块;所述第一确定子模块,用于当基于所述运动数据确定发生头部运动时,基于所述角速度和第一采样步长,沿多条光线中每条光线的光线方向确定多个采样点;所述第二确定子模块,用于当基于所述运动数据确定发生眼球扫视运动时,基于所述眼球扫视速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点;所述第三确定子模块,用于当基于所述运动数据确定发生所述头部运动和所述眼球扫视运动时,基于所述角速度、所述眼球扫视速度和所述第一采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点;
其中,所述多条光线是将人眼所在的位置点与立方体模型中朝向所述人眼的表面上的每个点连接后,依次穿越成像平面和所述立方体模型的光线,且所述多条光线中每条光线的光线方向上相邻两个采样点之间的采样步长大于所述第一采样步长,所述第一采样步长是指在未发生所述头部运动和所述眼球扫视运动时确定的多个采样点中每相邻两个采样点之间的采样步长;
生成模块,用于基于所述多条光线中每条光线的光线方向上的多个采样点的纹理坐标,生成三维体数据场对应的二维图像。
6.根据权利要求5所述的装置,其特征在于,所述装置,还包括:
判断模块,用于判断所述角速度是否大于角速度阈值,并判断所述眼球扫视速度是否大于扫视速度阈值;
第二确定模块,用于若所述角速度大于所述角速度阈值,则确定发生所述头部运动,若所述眼球扫视速度大于所述扫视速度阈值,则确定发生所述眼球扫视运动。
7.根据权利要求5所述的装置,其特征在于,所述第三确定子模块具体用于:
基于存储的角速度与头部运动系数之间的第一对应关系,确定所述角速度对应的目标头部运动系数,并基于存储的扫视速度与扫视运动系数之间的第二对应关系,确定所述眼球扫视速度对应的目标扫视运动系数;
其中,所述第一对应关系中的每个头部运动系数大于1,且所述第一对应关系中的头部运动系数与角速度呈正相关,所述第二对应关系中的每个扫视运动系数大于1,且所述第二对应关系中的扫视运动系数和扫视速度呈正相关;
基于所述目标头部运动系数、所述目标扫视运动系数和所述第一采样步长,确定第二采样步长;
按照所述第二采样步长,沿所述多条光线中每条光线的光线方向确定所述多个采样点。
8.一种智能设备,其特征在于,所述智能设备包括:
处理器,所述处理器包括图像处理器GPU;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为权利要求1-4任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811348909.0A CN109685881B (zh) | 2018-11-13 | 2018-11-13 | 一种体绘制方法、装置及智能设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811348909.0A CN109685881B (zh) | 2018-11-13 | 2018-11-13 | 一种体绘制方法、装置及智能设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109685881A CN109685881A (zh) | 2019-04-26 |
CN109685881B true CN109685881B (zh) | 2023-10-20 |
Family
ID=66185363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811348909.0A Active CN109685881B (zh) | 2018-11-13 | 2018-11-13 | 一种体绘制方法、装置及智能设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109685881B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022121655A1 (zh) * | 2020-12-08 | 2022-06-16 | 上海米哈游天命科技有限公司 | 确定透明度的方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633196A (zh) * | 2017-06-14 | 2018-01-26 | 电子科技大学 | 一种基于卷积神经网络的眼球移动预测方案 |
CN107875526A (zh) * | 2017-11-27 | 2018-04-06 | 温州医科大学附属第医院 | 一种眼部肿瘤自适应放射治疗时放疗仪器的精准控制方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7242401B2 (en) * | 2004-06-25 | 2007-07-10 | Siemens Medical Solutions Usa, Inc. | System and method for fast volume rendering |
-
2018
- 2018-11-13 CN CN201811348909.0A patent/CN109685881B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633196A (zh) * | 2017-06-14 | 2018-01-26 | 电子科技大学 | 一种基于卷积神经网络的眼球移动预测方案 |
CN107875526A (zh) * | 2017-11-27 | 2018-04-06 | 温州医科大学附属第医院 | 一种眼部肿瘤自适应放射治疗时放疗仪器的精准控制方法 |
Non-Patent Citations (1)
Title |
---|
虚拟现实综述;赵沁平;《中国科学(F辑:信息科学)》;20090131(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109685881A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11205282B2 (en) | Relocalization method and apparatus in camera pose tracking process and storage medium | |
US11367307B2 (en) | Method for processing images and electronic device | |
CN109712224B (zh) | 虚拟场景的渲染方法、装置及智能设备 | |
CN110502954B (zh) | 视频分析的方法和装置 | |
CN111324250B (zh) | 三维形象的调整方法、装置、设备及可读存储介质 | |
CN112287852B (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
CN110599593B (zh) | 数据合成的方法、装置、设备及存储介质 | |
CN113763228B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
CN110956580B (zh) | 图像换脸的方法、装置、计算机设备以及存储介质 | |
CN112581358B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN111680758B (zh) | 图像训练样本生成方法和装置 | |
CN111897429A (zh) | 图像显示方法、装置、计算机设备及存储介质 | |
CN110796083B (zh) | 图像显示方法、装置、终端及存储介质 | |
CN113160031B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110728744B (zh) | 一种体绘制方法、装置及智能设备 | |
CN109685881B (zh) | 一种体绘制方法、装置及智能设备 | |
CN111860064B (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
CN111784841A (zh) | 重建三维图像的方法、装置、电子设备及介质 | |
CN114115544B (zh) | 人机交互方法、三维显示设备及存储介质 | |
WO2018192455A1 (zh) | 一种生成字幕的方法及装置 | |
CN112967261B (zh) | 图像融合方法、装置、设备及存储介质 | |
WO2021218926A1 (zh) | 图像显示方法、装置和计算机设备 | |
CN109472855B (zh) | 一种体绘制方法、装置及智能设备 | |
CN110335224B (zh) | 图像处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218 Applicant after: Hisense Video Technology Co.,Ltd. Applicant after: BEIHANG University Address before: 266555 Qingdao economic and Technological Development Zone, Shandong, Hong Kong Road, No. 218 Applicant before: QINGDAO HISENSE ELECTRONICS Co.,Ltd. Applicant before: BEIHANG University |
|
GR01 | Patent grant | ||
GR01 | Patent grant |