CN110728749B - 虚拟三维图像显示系统及方法 - Google Patents

虚拟三维图像显示系统及方法 Download PDF

Info

Publication number
CN110728749B
CN110728749B CN201910960912.6A CN201910960912A CN110728749B CN 110728749 B CN110728749 B CN 110728749B CN 201910960912 A CN201910960912 A CN 201910960912A CN 110728749 B CN110728749 B CN 110728749B
Authority
CN
China
Prior art keywords
data
pose
user
state
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910960912.6A
Other languages
English (en)
Other versions
CN110728749A (zh
Inventor
周显军
董蒨
刘帅
陈鑫
郝希伟
魏宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Affiliated Hospital of University of Qingdao
Original Assignee
Affiliated Hospital of University of Qingdao
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Affiliated Hospital of University of Qingdao filed Critical Affiliated Hospital of University of Qingdao
Priority to CN201910960912.6A priority Critical patent/CN110728749B/zh
Publication of CN110728749A publication Critical patent/CN110728749A/zh
Application granted granted Critical
Publication of CN110728749B publication Critical patent/CN110728749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Abstract

本发明的实施例公开了一种虚拟三维图像显示系统及方法。所述图像显示方法包括以下步骤:惯性测量单元获取使用者头部的实时状态数据;姿态解算单元对上述实时状态数据进行处理得到姿态解算数据;判断单元对姿态解算数据进行分析,从而判断使用者的状态;传输函数调整单元根据使用者的状态调用不同的传输函数;场景渲染单元根据调用的传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像。根据本发明的实施例,可以选择不同的传输函数进行画面渲染,以提高图像渲染引擎的计算效率。

Description

虚拟三维图像显示系统及方法
技术领域
本发明的实施例涉及图像处理技术,具体的说是一种虚拟三维图像显示系统及方法。
背景技术:
虚拟现实技术,又称灵境技术,是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,使用户沉浸到虚拟环境中。虚拟现实技术中创建虚拟世界的方法是一种基于光线投射的体绘制技术,虚拟现实技术创造出的图像通常通过头戴式显示端(例如VR眼镜)来展现给使用者,使用者穿戴好设备后所看到的图像还原度高,真实性强,虚拟现实技术呈现的图像具有很强的沉浸感和用户的融入感。
为了达到这种视觉效果,虚拟现实技术呈现的图像通常图像质量高,对图像渲染引擎提出了很高的要求,图像渲染引擎需要处理的数据量大;同时,为了能够使图像与使用者之间具有实时交互性,虚拟现实技术对数据的传输速度以及传输质量都提出了更高的要求。
虚拟现实技术的数据通过图像渲染引擎进行图像的数据处理,之后将处理后的图像数据传输到显示端,在显示端呈现三维图像。然而依照使用者现在对于图像渲染引擎的使用方式,图像渲染引擎需要处理的数据量大,处理延迟高,即使是高端的图像渲染引擎也无法提供给使用者最优的虚拟现实体验。如何在优化图像渲染引擎的运算效率,在保证图像渲染引擎的运算延迟的前提下提供符合人眼感知的高质量的三维图像是关键问题。
发明内容
本发明的实施例的目的是提供一种虚拟三维图像显示系统及方法,由此通过对使用者进行状态判断,不同的状态下调用不同的传输函数,从而提高图像渲染引擎的运算能力。
本发明的实施例提供了一种虚拟三维图像显示方法,包括以下步骤:惯性测量单元获取使用者头部的实时状态数据;姿态解算单元对上述实时状态数据进行处理得到姿态解算数据;判断单元对姿态解算数据进行分析,从而判断使用者的状态;传输函数调整单元根据使用者的状态调用不同的传输函数;场景渲染单元根据调用的传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像。
本发明的实施例提供了一种虚拟三维图像显示方法,包括以下步骤:状态获取单元获取使用者头部的实时状态数据;位姿预测单元对上述头部实时状态数据进行处理得到位姿解算数据,根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据;判断单元对位姿解算数据以及位姿预测数据进行分析,从而判断使用者的状态;传输函数调整单元根据使用者的状态调用不同的传输函数;场景渲染单元根据调用的传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像。
根据本发明的实施例,判断单元对姿态解算数据进行分析,从而判断使用者的状态的步骤包括:在判断单元中预设判断阈值;判断单元根据姿态解算数据与预设判断阈值进行比较确定使用者的状态。
根据本发明的实施例,传输函数调整单元根据使用者的状态调用不同的传输函数的步骤包括:向传输函数调整单元中预设对应判断单元中预设的不同状态结果的传输函数;判断单元判断出的状态结果输入传输函数调整单元中,传输函数调整单元根据状态结果调用对应的传输函数。
根据本发明的实施例,同一阈值两侧的状态对应的两个传输函数之间存在指数或/和线性关系。
根据本发明的实施例,传输函数调整单元中所有的传输函数均对图像的关键部分进行标注,场景渲染单元调用任一传输函数进行渲染均可清晰显示关键部分的图像。
根据本发明的实施例,状态获取单元获取使用者头部的实时状态数据的步骤包括:状态获取单元获取使用者头部的位置实时数据;以及状态获取单元获取使用者头部的姿态实时数据。
根据本发明的实施例,位姿预测单元对上述头部实时状态数据进行处理得到位姿解算数据,根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据的步骤包括:在位姿解算模块中预设预测函数以及预测时间;将位姿解算数据以及预测时间带入预测函数中进行计算,从而计算出位姿预测数据。
本发明的实施例提供了一种虚拟三维图像显示系统,包括:惯性测量单元,所述惯性测量单元用于获取使用者头部的实时状态数据;姿态解算单元,所述姿态解算单元用于对上述实时状态数据进行处理得到姿态解算数据;判断单元,所述判断单元用于对姿态解算数据进行分析,从而判断使用者的状态;传输函数调整单元,所述传输函数单元根据使用者的状态调用不同的传输函数;以及场景渲染单元,所述场景渲染单元根据调用的传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像。
本发明的实施例提供了一种虚拟三维图像显示系统,包括:状态获取单元,所述状态获取单元用于获取使用者头部的实时状态数据;位姿预测单元,所述位姿预测单元用于对上述实时状态数据进行处理得到位姿解算数据,并根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据;判断单元,所述判断单元用于对位姿解算数据以及位姿预测数据进行分析,从而判断使用者的状态;传输函数调整单元,所述传输函数调整单元根据使用者的状态调用不同的传输函数;以及场景渲染单元,所述场景渲染单元根据调用的传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像。
根据本发明的实施例,判断单元中预设有判断阈值,判断单元根据姿态解算数据与预设判断阈值进行比较确定使用者的状态。
根据本发明的实施例,传输函数调整单元中预设有对应判断单元中预设的不同状态结果的传输函数;判断单元判断出的状态结果输入传输函数调整单元中,传输函数调整单元根据状态结果调用对应的传输函数。
根据本发明的实施例,判断单元中同一阈值两侧的状态对应传输函数调整单元中预设的两个传输函数之间存在指数或/和线性关系。
根据本发明的实施例,传输函数调整单元中预设的所有传输函数均对图像的关键部分进行标注,场景渲染单元调用任一传输函数进行渲染均可清晰显示关键部分的图像。
根据本发明的实施例,所述状态获取单元包括:位置测量单元,所述位置获取单元用于获取使用者头部的位置数据;以及惯性测量单元,所述惯性测量单元用于获取使用者头部的姿态数据。
根据本发明的实施例,位姿预测单元中预设有预测函数以及预测时间;将位姿解算数据以及预测时间带入预测函数中进行计算,从而计算出位姿预测数据。
附图说明
下面的附图表明了本发明的实施方式。这些附图和实施方式以非限制性、非穷举性的方式提供了本发明的一些实施例,其中:
图1为根据本发明实施例1的虚拟三维图像显示系统的显示方法的流程图;
图2为根据本发明实施例1的虚拟三维图像显示系统的整体示意图;
图3为根据本发明实施例2的虚拟三维图像显示系统的显示方法的流程图;
图4为根据本发明实施例2的虚拟三维图像显示系统的整体示意图。
具体实施方式
下面结合说明书附图来说明本发明的具体实施方式。
实施例1
如图1所示,本发明实施例提供的虚拟三维图像显示方法及系统,用以优化图像渲染引擎(GPU)的运算方式,提高GPU的运算效率,本发明的虚拟三维图像显示方法主要包括以下步骤:
S101惯性测量单元获取使用者头部的实时状态数据。
所述惯性测量单元包括陀螺仪以及加速度计,陀螺仪可以测量使用者头部的角速度数值;加速度计可以测量使用者头部的加速度数值,加速度计测量的加速度数值包含重力加速度。
S102姿态解算单元对上述实时状态数据进行处理得到姿态解算数据。
所述姿态解算单元对上述测量到的实时角速度数值进行积分,通过积分角速度可以得到使用者头部的实时姿态数据;为减小角速度积分的误差,可以通过加速度计中测量的加速度数值来矫正实时姿态数据中与重力方向相关的姿态偏差,经过矫正后的实时姿态数据即为姿态解算数据。
S103判断单元对姿态解算数据进行分析,从而判断使用者的状态。
姿态解算数据中的实时角速度大小,可以用于判断使用者头部的状态,在判断单元中以角速度预设有判断阈值,判断阈值的数量、大小均不做限定,例如,角速度<0.001时,使用者头部为注视状态;角速度>5时,使用者头部为快速浏览状态。阈值将角速度划分为不同的区间,每一个区间对应一种状态,状态的种类以及命名均不作限定,例如,注视状态、快速浏览状态等。判断单元将姿态解算数据中的实时角速度大小与判断阈值进行比较,得出实时角速度所在区间,所在区间对应的状态即为使用者的状态结果。
S104传输函数调整单元根据使用者的状态调用不同的传输函数。
在虚拟现实技术中,传输函数是密度值对颜色的一个映射函数,传输函数将三维数据中的不同的点根据其密度值映射成为颜色信息(RGB),映射的颜色不作限定,例如,在人体的三维数据中,人体的骨骼、肌肉以及血管的密度不同,根据传输函数,使用者可以将骨骼密度值范围内的点映射为红色(RGB:255,0,0),将肌肉密度值范围内的点映射为绿色(RGB:0,255,0),将血管密度值范围内映射为蓝色(RGB:255,0,0),在经过传输函数映射后,人体的三维数据就变为了具有颜色信息的三维数据,在经过渲染后就可以呈现具有色彩区分的图像。不同的传输函数代表不同的映射,简单的传输函数将大部分密度值设置为同一颜色,在进行图像渲染时图像渲染引擎的需要计算的数据量少,计算速度快,能够加速图像渲染;复杂的传输函数对每个密度值范围都进行不同的颜色设定,在进行图像渲染时图像渲染引擎需要计算的数据量大,计算速度慢,但复杂的传输函数渲染出的图像画面质量高。。
使用者完成判断阈值的预设后,在传输函数调整单元中对应不同的状态预设对应的传输函数。在判断单元完成状态判断后,状态结果输入传输函数调整单元中,传输函数调整单元调用与状态结果对应的传输函数,并将传输函数输入场景渲染单元中。
使用者头部处于运动状态时,使用者的眼球处在浏览画面的状态,运动状态下的眼球捕捉画面的能力降低,在眼球处在浏览画面的状态时,使用者对于图像的清晰度的要求低,此时只需要使用较为简单的传输函数进行图像渲染即可满足使用者浏览画面的要求。同一阈值两侧的状态对应的两个传输函数之间应存在指数或/和线性关系,若相邻状态的两个传输函数之间的差距过大,使用者通过显示端看到的图像会引起锯齿甚至发生撕裂,画面引起锯齿或发生撕裂会严重影响使用者的画面观看效果,因此同一阈值两侧的状态对应的两个传输函数之间应当存在指数或/和线性关系。
使用者头部处于静止状态时,使用者注视画面,此时对画面的分辨率和清晰度要求高,此时需要选取较为复杂的传输函数进行图像渲染,这个传输函数需要能够渲染出画面质量高的画面满足使用者注视画面的要求,优选地,使用者头部处于静止状态时,可以选用按照全局传输函数来设置传输函数,此时的传输函数所渲染出的图像每个部分的清晰度相同,能够清晰显示图像。
使用者处于任何状态时,使用者对于图像中的关键部分都很敏感,使用者不希望因传输函数的改变导致关键部分的观察出现模糊。因此,使用者在预设传输函数时,将传输函数中关于关键部分的显示进行标注,无论使用者处于什么状态,经过任一传输函数渲染后的图像均可以清晰显示关键部分的图像。
优选地,使用者处于运动状态时,传输函数可以仅对关键部分进行渲染,在设置传输函数时可以将图像的其余部分的透明度提高或直接进行默认绘制。
S105场景渲染单元根据调用的传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像。
如图2所示,为实现上述虚拟三维图像显示方法,本发明的实施例提供一种虚拟三维图像显示系统,该虚拟三维图像显示系统包括:
惯性测量单元,所述惯性测量单元用于获取使用者头部的实时状态数据;姿态解算单元,所述姿态解算单元用于对上述实时状态数据进行处理得到姿态解算数据;判断单元,所述判断单元用于对姿态解算数据进行分析,从而判断使用者的状态;传输函数调整单元,所述传输函数单元根据使用者的状态调用不同的传输函数;以及场景渲染单元,所述场景渲染单元根据调用的传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像。
其中,判断单元中预设有判断阈值,判断单元根据姿态解算数据与预设判断阈值进行比较确定使用者的状态,得出状态结果。
状态结果输入进入传输函数调整单元中,传输函数调整单元中对应状态结果预设有传输函数,状态结果输入进入传输函数调整单元后,传输函数调整单元识别状态结果并调用与该状态结果对应的传输函数,将调用的传输函数输入值场景渲染单元中,场景渲染单元根据该传输函数进行画面渲染。
使用者设置传输函数时,为保证系统稳定运行,保证系统渲染的画面的质量,同一阈值两侧的状态对应的两个传输函数应存在指数或/和线性关系,传输函数之间存在指数或/和线性关系,保证系统渲染的画面不会发生锯齿或撕裂。
使用者设置传输函数时,对所有传输函数都进行图像关键部分的标注,无论使用者处于什么状态,任一的传输函数均可以清晰地显示关键部分的图像。
实施例二
使用者除了可能会进行头部转动之外,可能还会进行位置的移动,实施例二的显示方法与实施例一的显示方法从S104传输函数调整单元根据使用者的状态调用不同的传输函数之后均相同,在此不做叙述,仅对实施例二的方法与实施例一的方法不同之处进行叙述。
如图3所示,本发明的实施例公开了一种虚拟三维图像显示方法,其包括以下步骤:
S201状态获取单元获取使用者头部的实时状态数据。
状态获取单元除了能够获取使用者的实时姿态数据(实时角速度数据以及实时加速度数据)外,还可以获取使用者的实时位置数据,状态获取单元获取的实时位置数据为使用者的实时三维坐标,获取的方式不作限定,例如使用者的实时三维坐标是通过视觉定位或激光定位获得的。
S202位姿预测单元对上述头部实时状态数据进行处理得到位姿解算数据,根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据。
位姿预测单元对上述头部实时状态数据进行处理得到位姿解算数据的步骤包括实施例一中对姿态解算单元的工作过程,除此之外还包括位置解算的过程,位姿预测单元收集头部实时位置数据,位置数据中包括位置信息与速度信息。位姿解算数据包括位置解算数据与姿态解算数据。
根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据的步骤包括在位姿解算模块中预设函数以及预测时间;将位姿解算数据以及预测时间带入预测函数中进行计算,从而计算出位姿预测数据。
上述预测函数包括位置预测函数与姿态预测函数,其中位置预测函数对使用者的位置信息进行预测;姿态预测函数对使用者的姿态进行预测。位置预测有多种方式,本发明对位置预测函数不作限定,例如可以根据如下公式进行计算:
式中S0代表使用者头部的实时位置;v0代表使用者头部的位移速度;a代表使用者头部的位移加速度;t代表预测时间;St代表使用者头部的预测位置。
优选地,位姿预测单元在进行位置预测时可能会因为计算误差的累计出现一些误差数据,此时位置预测可以根据使用者位置的历史信息进行优化,本发明对历史信息进行优化的方式不作限定,例如选取使用者最近的3个历史位置数据求取平均值作为当前位置再代入位置预测函数中进行预测。历史信息优化后的位置预测数据可以去除预测过程中产生的误差数据,优化位置预测数据。
姿态预测函数的预测方法可以根据以下公式进行预测:
Q0×dq=Qt
式中Q0代表使用者头部的初始位姿;dq代表使用者头部的姿态变化量;Qt代表使用者头部的预测位姿,其中Q0、dq以及Qt均为四元数(四元数为拥有三个虚部和一个实部的复数,例如q=1+2i+3j+4k,四元数在坐标轴中也可以表示为q=((x,y,z),w)=(v,w),其中x、y、z为虚部,v为向量,w为实部)。
其中dq是根据使用者的实时角速度以及预测时间得到的,具体计算过程如下:
将角速度放置于空间坐标系中并将角速度分解为x方向的角速度、y方向的角速度以及z方向的角速度;将分解后的角速度与预测时间一起转变为一个四元数(预测时间为该四元数中的一项),计算出角速度的模的大小;将角速度的模与预测时间相乘在除以2得到变化值;求取变化值的正弦值与余弦值;变化值的正弦值与角速度三个方向的分量相乘得到姿态变化量dq(四元数)中的x、y、z;变化量的余弦值即为姿态变化量dq的w,从而求出了姿态变化量dq。
S203判断单元对位姿解算数据以及位姿预测数据进行分析,从而判断使用者的状态。
判断单元中预设的判断阈值相较于实施例一来说,除了有角速度外还有位移速度,判断阈值的大小、数量不做限定,但角速度与位移速度同时都会影响判断单元的状态判断结果。例如,位移速度>5m/s或角速度>5时,使用者处于移动状态;位移速度<0.02m/s且角速度<0.001时,使用者处于静止状态。
S204传输函数调整单元根据使用者的状态调用不同的传输函数。
S205场景渲染单元根据调用的传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像。
S204与S205步骤与实施例一相同,这里不再赘述。
参照图4,为实现本实施例中的虚拟三维图像显示方法,设计了一种虚拟三维图像显示系统,包括:
状态获取单元,所述状态获取单元用于获取使用者头部的实时状态数据;位姿预测单元,所述位姿预测单元用于对上述实时状态数据进行处理得到位姿解算数据,并根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据;判断单元,所述判断单元用于对位姿解算数据以及位姿预测数据进行分析,从而判断使用者的状态;传输函数调整单元,所述传输函数调整单元根据使用者的状态调用不同的传输函数;以及场景渲染单元,所述场景渲染单元根据调用的传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像。
其中,状态获取单元包括位置测量单元,所述位置获取单元用于获取使用者头部的位置数据;以及惯性测量单元,所述惯性测量单元用于获取使用者头部的姿态数据。
位姿预测单元中预设有预测函数以及预测时间,将位姿解算数据以及预测时间带入预测函数中进行计算,从而计算出位姿预测数据。位子单元中的预测函数包括位置预测函数与姿态预测函数,得出的位姿预测数据进入判断单元中进行使用者状态判断。
传输函数调整单元与场景渲染单元均与实施例一中相同,在此不再赘述。
本发明提供的两个实施例中的虚拟三维图像显示方法相比于现有的虚拟三维图像显示方法的优点在于:本发明的方法能够通过改变传输函数来降低GPU在成像过程中的计算负担,优化GPU的运算效率。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种虚拟三维图像显示方法,其特征在于包括以下步骤:
状态获取单元获取使用者头部的实时状态数据;
位姿预测单元对所述头部实时状态数据进行处理得到位姿解算数据,根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据;
判断单元对所述位姿解算数据以及所述位姿预测数据进行分析,从而判断使用者的状态;
传输函数调整单元根据所述使用者的状态调用不同的传输函数,其中,所述传输函数是密度值对颜色的映射函数,所述传输函数将三维数据中的不同的点根据其密度值映射成为颜色信息,简单的所述传输函数将大部分密度值设置为同一颜色,复杂的所述传输函数对每个密度值范围都进行不同的颜色设定;
场景渲染单元根据调用的所述传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像;
其中,所述传输函数调整单元根据所述使用者的状态调用不同的传输函数的步骤包括:
向所述传输函数调整单元中预设对应所述判断单元中预设的不同状态结果的所述传输函数;
所述判断单元判断出的所述状态结果输入所述传输函数调整单元中,所述传输函数调整单元根据所述状态结果调用对应的所述传输函数;
其中,所述传输函数调整单元中所有的所述传输函数均对所述图像的关键部分进行标注,所述场景渲染单元调用任一所述传输函数进行渲染均可清晰显示所述关键部分的所述图像;
所述使用者头部处于静止状态时,选用按照全局传输函数来设置传输函数,此时的传输函数所渲染出的图像每个部分的清晰度相同;
所述使用者处于运动状态时,所述传输函数仅对所述关键部分进行渲染,在设置所述传输函数时将所述图像的其余部分的透明度提高或直接进行默认绘制;
在所述位姿预测单元对上述头部实时状态数据进行处理得到位姿解算数据的步骤包括对姿态解算单元的工作过程,还包括位置解算的过程,所述位姿预测单元收集头部实时位置数据,所述位置数据中包括位置信息与速度信息,所述位姿解算数据包括位置解算数据与姿态解算数据;
根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据的步骤包括在位姿解算模块中预设函数以及预测时间;将位姿解算数据以及预测时间带入预测函数中进行计算,从而计算出位姿预测数据;
所述姿态预测函数的预测方法根据以下公式进行预测:
Q0×dq=Qt
式中Q0代表使用者头部的初始位姿;dq代表使用者头部的姿态变化量;Qt代表使用者头部的预测位姿,其中Q0、dq以及Qt均为四元数,q=((x,y,z),w)=(v,w),其中x、y、z为虚部,v为向量,w为实部;
其中dq是根据使用者的实时角速度以及预测时间得到的,具体计算过程如下:
将角速度放置于空间坐标系中并将角速度分解为x方向的角速度、y方向的角速度以及z方向的角速度;将分解后的角速度与预测时间一起转变为一个四元数,计算出所述角速度的模的大小;将所述角速度的模与所述预测时间相乘在除以2得到变化值;求取所述变化值的正弦值与余弦值;所述变化值的正弦值与角速度三个方向的分量相乘得到姿态变化量dq中的x、y、z;所述变化量的余弦值即为姿态变化量d的w,从而求出了姿态变化量dq。
2.根据权利要求1所述的虚拟三维图像显示方法,其中:
所述判断单元对所述姿态解算数据进行分析,从而判断使用者的状态的步骤包括:
在所述判断单元中预设判断阈值;
所述判断单元根据所述姿态解算数据与所述预设判断阈值进行比较确定使用者的状态。
3.根据权利要求2所述的虚拟三维图像显示方法,其中:
同一阈值两侧的状态对应的两个所述传输函数之间存在指数或/和线性关系。
4.根据权利要求1所述的虚拟三维图像显示方法,其中:
所述状态获取单元获取使用者头部的实时状态数据的步骤包括:
所述状态获取单元获取使用者头部的位置实时数据;以及
所述状态获取单元获取使用者头部的姿态实时数据。
5.根据权利要求1所述的虚拟三维图像显示方法,其中:
所述位姿预测单元对所述头部实时状态数据进行处理得到位姿解算数据,根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据的步骤包括:
在所述位姿解算模块中预设预测函数以及预测时间;
将所述位姿解算数据以及所述预测时间带入所述预测函数中进行计算,从而计算出所述位姿预测数据。
6.一种虚拟三维图像显示系统,包括:
状态获取单元,所述状态获取单元用于获取使用者头部的实时状态数据;
位姿预测单元,所述位姿预测单元用于对所述实时状态数据进行处理得到位姿解算数据,并根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据;
判断单元,所述判断单元用于对所述位姿解算数据以及所述位姿预测数据进行分析,从而判断使用者的状态;
传输函数调整单元,所述传输函数调整单元根据所述使用者的状态调用不同的传输函数,其中,所述传输函数是密度值对颜色的映射函数,所述传输函数将三维数据中的不同的点根据其密度值映射成为颜色信息,简单的所述传输函数将大部分密度值设置为同一颜色,复杂的所述传输函数对每个密度值范围都进行不同的颜色设定;以及
场景渲染单元,所述场景渲染单元根据调用的所述传输函数进行场景渲染,在使用者的显示端显示虚拟三维图像;
其中,所述传输函数调整单元中预设有对应所述判断单元中预设的不同状态结果的所述传输函数;
所述判断单元判断出的所述状态结果输入所述传输函数调整单元中,所述传输函数调整单元根据所述状态结果调用对应的所述传输函数;
其中,所述传输函数调整单元中预设的所有所述传输函数均对所述图像的关键部分进行标注,所述场景渲染单元调用任一所述传输函数进行渲染均可清晰显示所述关键部分的图像;
所述使用者头部处于静止状态时,选用按照全局传输函数来设置传输函数,此时的传输函数所渲染出的图像每个部分的清晰度相同;
所述使用者处于运动状态时,所述传输函数仅对所述关键部分进行渲染,在设置所述传输函数时将所述图像的其余部分的透明度提高或直接进行默认绘制;
在所述位姿预测单元对上述头部实时状态数据进行处理得到位姿解算数据的步骤包括对姿态解算单元的工作过程,还包括位置解算的过程,所述位姿预测单元收集头部实时位置数据,所述位置数据中包括位置信息与速度信息,所述位姿解算数据包括位置解算数据与姿态解算数据;
根据位姿解算数据对使用者头部的位姿进行预测得到位姿预测数据的步骤包括在位姿解算模块中预设函数以及预测时间;将位姿解算数据以及预测时间带入预测函数中进行计算,从而计算出位姿预测数据;
所述姿态预测函数的预测方法根据以下公式进行预测:
Q0×dq=Qt
式中Q0代表使用者头部的初始位姿;dq代表使用者头部的姿态变化量;Qt代表使用者头部的预测位姿,其中Q0、dq以及Qt均为四元数,q=((x,y,z),w)=(v,w),其中x、y、z为虚部,v为向量,w为实部;
其中dq是根据使用者的实时角速度以及预测时间得到的,具体计算过程如下:
将角速度放置于空间坐标系中并将角速度分解为x方向的角速度、y方向的角速度以及z方向的角速度;将分解后的角速度与预测时间一起转变为一个四元数,计算出所述角速度的模的大小;将所述角速度的模与所述预测时间相乘在除以2得到变化值;求取所述变化值的正弦值与余弦值;所述变化值的正弦值与角速度三个方向的分量相乘得到姿态变化量dq中的x、y、z;所述变化量的余弦值即为姿态变化量d的w,从而求出了姿态变化量dq。
7.根据权利要求6所述的虚拟三维图像显示系统,其中:
所述判断单元中预设有判断阈值,所述判断单元根据所述姿态解算数据与所述预设判断阈值进行比较确定使用者的状态。
8.根据权利要求7所述的虚拟三维图像显示系统,其中:
所述判断单元中同一阈值两侧的状态对应所述传输函数调整单元中预设的两个所述传输函数之间存在指数或/和线性关系。
9.根据权利要求7所述的虚拟三维图像显示系统,其中:
所述状态获取单元包括:
位置测量单元,所述位置获取单元用于获取使用者头部的位置数据;以及
惯性测量单元,所述惯性测量单元用于获取使用者头部的姿态数据。
10.根据权利要求7所述的虚拟三维图像显示系统,其中:
所述位姿预测单元中预设有预测函数以及预测时间;
将所述位姿解算数据以及所述预测时间带入所述预测函数中进行计算,从而计算出所述位姿预测数据。
CN201910960912.6A 2019-10-10 2019-10-10 虚拟三维图像显示系统及方法 Active CN110728749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910960912.6A CN110728749B (zh) 2019-10-10 2019-10-10 虚拟三维图像显示系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910960912.6A CN110728749B (zh) 2019-10-10 2019-10-10 虚拟三维图像显示系统及方法

Publications (2)

Publication Number Publication Date
CN110728749A CN110728749A (zh) 2020-01-24
CN110728749B true CN110728749B (zh) 2023-11-07

Family

ID=69219902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910960912.6A Active CN110728749B (zh) 2019-10-10 2019-10-10 虚拟三维图像显示系统及方法

Country Status (1)

Country Link
CN (1) CN110728749B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429519B (zh) * 2020-03-27 2021-07-16 贝壳找房(北京)科技有限公司 三维场景显示方法、装置、可读存储介质及电子设备
JP2023011263A (ja) * 2021-07-12 2023-01-24 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム
CN117764541A (zh) * 2024-02-22 2024-03-26 湖南必和必拓科技发展有限公司 一种基于三维可视化技术的交互式工厂管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976424A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技(天津)有限公司 一种图像渲染处理的方法及装置
CN106569763A (zh) * 2016-10-19 2017-04-19 华为机器有限公司 一种图像显示方法及终端
CN109712224A (zh) * 2018-12-29 2019-05-03 青岛海信电器股份有限公司 虚拟场景的渲染方法、装置及智能设备
CN109887061A (zh) * 2019-02-19 2019-06-14 青岛海信电器股份有限公司 场景渲染方法、装置以及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170094227A1 (en) * 2015-09-25 2017-03-30 Northrop Grumman Systems Corporation Three-dimensional spatial-awareness vision system
US10019831B2 (en) * 2016-10-20 2018-07-10 Zspace, Inc. Integrating real world conditions into virtual imagery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976424A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技(天津)有限公司 一种图像渲染处理的方法及装置
CN106569763A (zh) * 2016-10-19 2017-04-19 华为机器有限公司 一种图像显示方法及终端
CN109712224A (zh) * 2018-12-29 2019-05-03 青岛海信电器股份有限公司 虚拟场景的渲染方法、装置及智能设备
CN109887061A (zh) * 2019-02-19 2019-06-14 青岛海信电器股份有限公司 场景渲染方法、装置以及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Cheuk yiu lp.Hierarchical Exploration of Volumes Using Multilevel Segmentation of the Intensity-Gradient Histograms.IEEE.2012,第1-3页. *

Also Published As

Publication number Publication date
CN110728749A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN110728749B (zh) 虚拟三维图像显示系统及方法
US10372205B2 (en) Reducing rendering computation and power consumption by detecting saccades and blinks
US8760470B2 (en) Mixed reality presentation system
EP3070680B1 (en) Image-generating device and method
US9595083B1 (en) Method and apparatus for image producing with predictions of future positions
US20170287112A1 (en) Selective peripheral vision filtering in a foveated rendering system
CN107395958B (zh) 一种图像处理方法、装置、电子设备及存储介质
KR20180136445A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN114897754B (zh) 使用来自先前视角的渲染内容和非渲染内容生成新帧
US9030478B2 (en) Three-dimensional graphics clipping method, three-dimensional graphics displaying method, and graphics processing apparatus using the same
KR20140017527A (ko) 화상 처리 장치, 표시 제어 방법 및 프로그램
CN109696953B (zh) 虚拟现实文字显示的方法、装置和虚拟现实设备
CN111275801A (zh) 一种三维画面渲染方法及装置
CN111868789A (zh) 信息处理设备、信息处理方法以及程序
CN111290581A (zh) 虚拟现实显示方法、显示装置及计算机可读介质
CN107204044A (zh) 一种基于虚拟现实的画面显示方法及相关设备
CN111833403A (zh) 用于空间定位的方法和装置
KR101631514B1 (ko) 전자기기에서 3차원 컨텐츠 생성 방법 및 장치
CN111652959B (zh) 图像处理方法、近眼显示设备、计算机设备和存储介质
CN110767144B (zh) 移动终端屏幕显示防抖方法、装置、移动终端及存储介质
WO2005076122A1 (en) Method of performing a panoramic demonstration of liquid crystal panel image simulation in view of observer's viewing angle
US11521297B2 (en) Method and device for presenting AR information based on video communication technology
TW201935188A (zh) 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體
CN108628453A (zh) 虚拟现实图像显示方法及终端
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Chen Xin

Inventor after: Zhou Xianjun

Inventor after: Dong San

Inventor after: Liu Shuai

Inventor after: Hao Xiwei

Inventor after: Wei Bin

Inventor before: Zhou Xianjun

Inventor before: Dong San

Inventor before: Liu Shuai

Inventor before: Chen Xin

Inventor before: Hao Xiwei

Inventor before: Wei Bin

CB03 Change of inventor or designer information