CN106774862B - 基于视线的vr显示方法及vr设备 - Google Patents

基于视线的vr显示方法及vr设备 Download PDF

Info

Publication number
CN106774862B
CN106774862B CN201611098202.XA CN201611098202A CN106774862B CN 106774862 B CN106774862 B CN 106774862B CN 201611098202 A CN201611098202 A CN 201611098202A CN 106774862 B CN106774862 B CN 106774862B
Authority
CN
China
Prior art keywords
pupil
points
image
user
center point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611098202.XA
Other languages
English (en)
Other versions
CN106774862A (zh
Inventor
张亮
单瑚
左瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuenengtong (Shandong) Intelligent Equipment Co., Ltd
Original Assignee
Xuenengtong Shandong Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuenengtong Shandong Intelligent Equipment Co Ltd filed Critical Xuenengtong Shandong Intelligent Equipment Co Ltd
Priority to CN201611098202.XA priority Critical patent/CN106774862B/zh
Publication of CN106774862A publication Critical patent/CN106774862A/zh
Application granted granted Critical
Publication of CN106774862B publication Critical patent/CN106774862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种基于视线的VR局部显示方法及VR设备。该方法包括：接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化；播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面。本发明通过采用眼球追踪技术，精确定位视场内的观测点并以视线滞留作为视频播放中局部放大的操作，解决了当前VR设备播放视频无法局部放大的问题。

Description

基于视线的VR显示方法及VR设备
技术领域
本发明属于眼球追踪技术领域，具体涉及一种基于视线的VR显示方法及VR设备。
背景技术
互联网时代的来临使得人类的交流采用了新的方式，进入了新的领域。具体发展过程如下：命令界面—图形用户界面—多媒体界面—虚拟现实。虚拟现实(VirtualReality,简称VR)，是利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。目前，VR虚拟现实技术可广泛地应用于城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、水利电力、地质灾害等众多领域，能够提供切实可行的解决方案。
目前，VR头戴设备的市场正在逐步扩大，对应的应用方式也在不断扩大。其中，通过VR头戴设备可对播放的视频进行暂停、快进、快退等操作，但操作方式只能是利用体感手柄，体感戒指，体感手环等外部设备完成。另外，若用户需要查看视频画面中的某个细节，更是无法实现的，因此现有VR头戴设备是无法实现VR显示的具体化，用户体验性较差。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于视线的VR显示方法及VR设备。
本发明的一个实施例提供了一种基于视线的VR显示方法，应用于VR设备的局部显示控制，包括：
接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化；
播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；
判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面。
在本发明的一个实施例中，接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化，包括：
接收初始化指令后在视场范围内按照预设的程序依次显示M个观测点以引导所述用户依次观察所述M个观测点；
采集所述用户在M个观测点的所述第一瞳孔图像；
根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点；
根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化。
在本发明的一个实施例中，根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点，包括：
处理所述第一瞳孔图像形成第一灰度图像；
从所述第一灰度图像中获取所述第一瞳孔的边缘点，并根据所述边缘点拟合形成第一类椭圆曲线；
将所述第一类椭圆曲线的中心作为所述第一瞳孔中心点。
在本发明的一个实施例中，根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化，包括：
选取观测点与对应的第一瞳孔中心点之间的映射模型，所述映射模型为：
Figure BDA0001170100510000021
其中(X,Y)为观测点在自设坐标系下的坐标信息，(x,y)为第一瞳孔中心点在自设坐标系下的坐标信息，a、b、c、d、e、f、g、h、k、l、m及n为所述映射模型的参数；
根据所述M个观测点的坐标和所述M个观测点对应的所述第一瞳孔中心点的坐标计算所述映射模型中的参数以完成所述映射模型的设立。
在本发明的一个实施例中，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点，包括：
采集所述第二第二瞳孔图像并对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；
从所述第二灰度图像中获取第二瞳孔的边缘点，并根据所述边缘点拟合形成第二类椭圆曲线；
将所述第二类椭圆曲线的中心作为所述第二瞳孔中心点。
在本发明的一个实施例中，判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，包括：
步骤a、将当前时刻采集的所述第二瞳孔图像与前一时刻采集的所述第二瞳孔图像进行第二瞳孔中心点比对；
步骤b、若无变化，从前一时刻开始记录时间；
步骤c、采集下一时刻的所述第二瞳孔图像；
步骤d、将下一时刻采集的所述第二瞳孔图像与当前时刻采集的所述第二瞳孔图像进行第二瞳孔中心点比对；
如无变化，则累加时间并判断累计时长是否大于等于所述设定的时间阈值，若是，则停止；若否，继续执行步骤c；
若有变化，则重新执行步骤a。
在本发明的一个实施例中，局部放大当前视线方向的视频画面，包括：
根据所述视线定位初始化中确定的映射模型及所述第二瞳孔中心点获得对应在视场画面中的观测点；
调用内存资源局部放大所述观测点位置处的视频画面。
在本发明的一个实施例中，所述映射模型为：
Figure BDA0001170100510000041
其中(X,Y)为观测点在自设坐标系下的坐标信息，(x,y)为第二瞳孔中心点在自设坐标系下的坐标信息，a、b、c、d、e、f、g、h、k、l、m及n为所述映射模型的参数。
在本发明的一个实施例中，调用内存资源局部放大所述观测点位置处的视频画面，包括：
以观测点为中心，调用所述VR设备的内存资源，以视场形状按照预设规则扩大局部的视频画面；其中，用于局部放大的视频画面所采用的内存资源为由放大后已不在视场范围的视频画面所采用的内存资源形成。
本发明的另一个实施例提供了一种VR设备，包括：处理器及瞳孔图像采集设备；其中，所述处理器用于执行上述实施例中的任一方法。
本发明实施例，通过采用眼球追踪技术，精确定位视场内的观测点并以视线滞留作为视频播放中的局部放大操作，解决了当前VR设备播放视频无法局部放大的问题。
附图说明
图1为本发明实施例提供的一种VR设备的外形结构示意图；
图2为本发明实施例提供的一种基于视线的VR显示方法的示意图；
图3为本发明实施例提供的一种视线定位的初始化方法示意图；
图4为本发明实施例提供的一种第二瞳孔中心的定位方法示意图；以及
图5为本发明实施例提供的一种视线滞留判断方法的示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1为本发明实施例提供的一种VR设备的外形结构示意图。该VR设备10包括本体11、处理器12和瞳孔图像采集设备13。其中，瞳孔图像采集设备13为包括至少一个红外光源的图像采集设备。因为红外光源对瞳孔内、外的反射有很明显的差异，在瞳孔区域光线较强，亮度高；在非瞳孔区则图像较暗，亮度低，因此可以有效协助图像采集设备完成瞳孔处的拍摄。该VR设备10例如为头戴式设备，当然本发明不限于图中所示的外形结构，任何可以实现VR显示功能的设备均为本发明的保护范围。
请参见图2，图2为本发明实施例提供的一种基于视线的VR显示方法的示意图。该方法可以包括：
初始化阶段：接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化。
播放阶段：播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；
局部放大阶段：判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面。
其中，请参见图3，图3为本发明实施例提供的一种视线定位的初始化方法示意图。在初始化阶段，具体方法包括如下步骤：
步骤1、接收初始化指令后在视场范围内按照预设的程序依次显示M个观测点以引导所述用户依次观察所述M个观测点；
步骤2、采集所述用户在M个观测点的所述第一瞳孔图像；
步骤3、根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点；
步骤4、根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化。
其中，步骤3可以包括：
步骤31、处理所述第一瞳孔图像形成第一灰度图像；
步骤32、从所述第一灰度图像中获取所述第一瞳孔的边缘点，并根据所述边缘点拟合形成第一类椭圆曲线；
步骤33、将所述第一类椭圆曲线的中心作为所述第一瞳孔中心点。
具体地，在步骤31中，首先对瞳孔图像进行预处理形成修正后的红外图像，采用增强算子作用在所述红外图像的每个像素以使图像亮度增强进而实现灰度对比度的增大，之后对所述红外图像采用拉普拉斯法进行图像滤波处理；其中，所述增强算子的公式为：En＝c*lg(1+double(f0))；其中，En为增强算子，f0为原函数灰度值，c是常系数。其中，c的具体取值可根据实际情况设置，本发明在此不做限制。
步骤32中，首先估算瞳孔中心点的初步位置，假设采用灰度积分法的方式完成：
Figure BDA0001170100510000061
Figure BDA0001170100510000062
其中，(xmin，ymin)为估算瞳孔中心点的初步坐标，min表示取最小值运算，sum表示求和运算，f(i,j)表示在坐标(x，y)处图像的灰度值。
其次，找出边缘点：
以坐标(xmin，ymin)为起点沿指定射线方向在所述修正红外图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置。
之后，根据多个边缘点拟合类椭圆曲线：
第一步、从N个边缘点中选取任意5个点，使用最小二乘法进行椭圆拟合形成类椭圆方程1；
第二步、对N个边缘点利用随机采样一致性算法通过所述类椭圆方程1进行局内点和局外点甄别，统计得到K个局内点和N-K个局外点；
落在所述类椭圆上的点，视为局内点。
第三步、判断局内点占有率σ＝K/N是否小于阈值t1；若是，则确定这5个点为非典型特征点，拟合椭圆为非典型特征椭圆，则重新执行第一步；若否，则确定所述5个点为典型特征点，则执行第四步；
第四步、从K个局内点任意选取5个点，利用最小二乘法对类椭圆方程1进行优化形成类椭圆方程2，并对N个边缘点利用随机采样一致性算法通过类椭圆方程2进行局内点和局外点甄别，最终统计得到K1个局内点和N-K1局外点；
第五步、判断局内点占有率σ＝K1/N是否大于第二阈值t2；如是，则终止迭代，认为所述类椭圆方程2为最优方程；若否，则执行第四步。
步骤33具体为：从类椭圆方程2中找到长轴和短轴的交点，作为瞳孔中心点。
可选地，步骤4可以包括：
选取观测点与对应的第一瞳孔中心点之间的映射模型，所述映射模型为：
Figure BDA0001170100510000071
其中(X,Y)为观测点在自设坐标系下的坐标信息，(x,y)为第一瞳孔中心点在自设坐标系下的坐标信息，a、b、c、d、e、f、g、h、k、l、m及n为所述映射模型的参数；
根据所述M个观测点的坐标和所述M个观测点对应的所述第一瞳孔中心点的坐标计算所述映射模型中的参数以完成所述映射模型的设立。
具体地，假设视场中依次出现的M个点的坐标记录为X＝(X1,X2,X3…Xk),Y＝(Y1,Y2,Y3…Yk)，对应的瞳孔中心坐标为x＝(x1,x2,x3…xk),y＝(y1,y2,y3…yk)，模型的建立则可以用下面的矩阵表达：
Figure BDA0001170100510000081
f(x,y)表示x和y的一种关系，代表着映射关系函数F绝非简单的一次线性关系，[M]表示瞳孔中心位置和屏幕坐标之间的映射参数。
本发明建立的模型如下：
Figure BDA0001170100510000082
将该模型使用矩阵形式表达为：
Figure BDA0001170100510000083
则
Figure BDA0001170100510000084
在本模型中，取M＝6时，X，Y对应有6个观测点坐标，瞳孔相应也有6个对应中心坐标，X＝|X1,X2,X3,X4,X5,X6|，Y＝|Y1,Y2,Y3,Y4,Y5,Y6|，同理，x＝|x1,x2,x3,x4,x5,x6|，y＝|y1,y2,y3,y4,y5,y6|，那么上面的矩阵可以进一步改写为：
Figure BDA0001170100510000091
通过方程组求出a、b、c、d、e、f、g、h、k、l、m及n，进而得到所述映射模型。
对于播放阶段，请参见图4，图4为本发明实施例提供的一种第二瞳孔中心的定位方法示意图。对于瞳孔的定位包括如下步骤：
采集所述第二瞳孔图像并对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；
从所述第二灰度图像中获取第二瞳孔的边缘点，并根据所述边缘点拟合形成第二类椭圆曲线；
将所述第二类椭圆曲线的中心作为所述第二瞳孔中心点。
其中，对于第二瞳孔中心点的确定方式类似于上述的步骤3中的方法，此处不再赘述。
在局部放大阶段，请参见图5，图5为本发明实施例提供的一种视线滞留判断方法的示意图。判断所述瞳孔中心点在设定时间阈值内是否发生变化，可以包括如下步骤：
步骤a、将当前时刻采集的所述第二瞳孔图像与前一时刻采集的所述第二瞳孔图像进行第二瞳孔中心点比对；
步骤b、若无变化，从前一时刻开始记录时间；
步骤c、采集下一时刻的所述第二瞳孔图像；
步骤d、将下一时刻采集的所述第二瞳孔图像与当前时刻采集的所述第二瞳孔图像进行第二瞳孔中心点比对；
如无变化，则累加时间并判断累计时长是否大于等于所述设定的时间阈值，若是，则停止；若否，继续执行步骤c；
若有变化，则重新执行步骤a。
在上述判断中确定第二瞳孔中心点未发生变化时，局部放大当前视线方向的视频画面。具体地：
首先，根据所述视线定位初始化中确定的映射模型及所述第二瞳孔中心点获得对应在视场画面中的观测点。其中，映射模型与前述的映射模型一致，此处不再赘述。
其次，调用内存资源局部放大所述观测点位置处的视频画面。即以观测点为中心，调用所述VR设备的内存资源，以视场形状按照预设规则扩大局部的视频画面；其中，用于局部放大的视频画面所采用的内存资源为由放大后已不在视场范围的视频画面所采用的内存资源形成。
对于VR设备，尤其是头戴设备，其视场空间是一定的，如果局部放大视频画面的话，就必然有原视频画面中的部分画面不在视场内。为了节省内存空间，可以将不在视场内的视频画面所使用的内存资源释放，同时由处理器控制将释放的内存资源用于实现被放大的部分，这样的内存调用可以节省内存占用率，降低VR设备的内存成本。至于放大倍数和放大范围可以根据实际情况进行设定，此处不作任何限制。
本发明实施例的VR显示方法的应用例如是：用户在VR场景下观看视频时，如果对某一处视频比较感兴趣的话，可以利用视线滞留这种方式来让VR设备执行局部放大的功能，提高用户的体验感。同时，该操作可以不暂停视频的播放，类似于用户在模拟世界感观的真实体验，扩大VR设备的应用场景。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于视线的VR局部显示方法，应用于VR设备的局部显示控制，其特征在于，包括：
接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化；
播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；
判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面；
其中，接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化，包括：
采集用户依次观察M个观测点时的第一瞳孔图像；
处理所述第一瞳孔图像形成修正后的红外图像，采用增强算子作用在所述红外图像的每个像素以使图像亮度增强、灰度对比度增大，得到第一灰度图像；其中，所述增强算子的公式为：En＝c*lg(1+double(f0))；En为增强算子，f0为原函数灰度值，c为常系数；
采用灰度积分法，从所述第一灰度图像中估算瞳孔中心点的初步坐标(xmin，ymin)，其中，
Figure FDA0002456239690000011
Figure FDA0002456239690000012
min表示取最小值运算，sum表示求和运算，f(i,j)表示在坐标(x，y)处图像的灰度值；
以(xmin，ymin)为起点沿指定射线方向在所述第一灰度图像上计算灰度的梯度值，将梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置；
根据所述边缘点拟合形成第一类椭圆曲线；包括：
第一步、从N个边缘点中选取任意5个点，使用最小二乘法进行椭圆拟合形成类椭圆方程1；
第二步、对N个边缘点利用随机采样一致性算法通过所述类椭圆方程1进行局内点和局外点甄别，统计得到K个局内点和N-K个局外点；落在所述类椭圆方程1对应类椭圆上的点，视为局内点；
第三步、判断局内点占有率σ＝K/N是否小于阈值t1；若是，则确定这5个点为非典型特征点，拟合椭圆为非典型特征椭圆，则重新执行第一步；若否，则确定所述5个点为典型特征点，则执行第四步；
第四步、从K个局内点任意选取5个点，利用最小二乘法对类椭圆方程1进行优化形成类椭圆方程2，并对N个边缘点利用随机采样一致性算法通过类椭圆方程2进行局内点和局外点甄别，最终统计得到K1个局内点和N-K1局外点；
第五步、判断局内点占有率σ＝K1/N是否大于第二阈值t2；如是，则终止迭代，认为所述类椭圆方程2为最优方程；若否，则执行第四步；
从所述类椭圆方程2中找到长轴和短轴的交点，作为第一瞳孔中心点；
选取观测点与对应的第一瞳孔中心点之间的映射模型；根据所述M个观测点的坐标和所述M个观测点对应的所述第一瞳孔中心点的坐标，以及所述映射模型的矩阵表达形式，通过方程组求解计算所述映射模型中的a、b、c、d、e、f、g、h、k、l、m及n参数以完成所述映射模型的设立；所述映射模型的矩阵表达形式为：
Figure FDA0002456239690000031
其中，(X,Y)为观测点的坐标；(x,y)为观测点对应的所述第一瞳孔中心点的坐标。
2.根据权利要求1所述的方法，其特征在于，接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化，包括：
接收初始化指令后在视场范围内按照预设的程序依次显示M个观测点以引导所述用户依次观察所述M个观测点；
采集所述用户在M个观测点的所述第一瞳孔图像；
根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点；
根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化。
3.根据权利要求1所述的方法，其特征在于，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点，包括：
采集所述第二瞳孔图像并对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；
从所述第二灰度图像中获取第二瞳孔的边缘点，并根据所述边缘点拟合形成第二类椭圆曲线；
将所述第二类椭圆曲线的中心作为所述第二瞳孔中心点。
4.根据权利要求1所述的方法，其特征在于，判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，包括：
步骤a、将当前时刻采集的所述第二瞳孔图像与前一时刻采集的所述第二瞳孔图像进行所述第二瞳孔中心点比对；
步骤b、若无变化，从前一时刻开始记录时间；
步骤c、采集下一时刻的所述第二瞳孔图像；
步骤d、将下一时刻采集的所述第二瞳孔图像与当前时刻采集的所述第二瞳孔图像进行所述第二瞳孔中心点比对；
如无变化，则累加时间并判断累计时长是否大于等于所述设定的时间阈值，若是，则停止；若否，继续执行步骤c；
若有变化，则重新执行步骤a。
5.根据权利要求1所述的方法，其特征在于，局部放大当前视线方向的视频画面，包括：
根据所述视线定位初始化中确定的映射模型及所述第二瞳孔中心点获得对应在视场画面中的观测点；
调用内存资源局部放大所述观测点位置处的视频画面。
6.根据权利要求5所述的方法，其特征在于，所述映射模型为：
Figure FDA0002456239690000041
其中(X,Y)为观测点在自设坐标系下的坐标信息，(x,y)为第二瞳孔中心点在自设坐标系下的坐标信息，a、b、c、d、e、f、g、h、k、l、m及n为所述映射模型的参数。
7.根据权利要求5所述的方法，其特征在于，调用内存资源局部放大所述观测点位置处的视频画面，包括：
以观测点为中心，调用所述VR设备的内存资源，以视场形状按照预设规则放大局部的视频画面；其中，用于局部放大的视频画面所采用的内存资源为由放大后已不在视场范围的视频画面所采用的内存资源形成。
8.一种VR设备，其特征在于，包括处理器及瞳孔图像采集设备；其中，所述处理器用于执行如权利要求1～7任一项所述的方法。
CN201611098202.XA 2016-12-03 2016-12-03 基于视线的vr显示方法及vr设备 Active CN106774862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611098202.XA CN106774862B (zh) 2016-12-03 2016-12-03 基于视线的vr显示方法及vr设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611098202.XA CN106774862B (zh) 2016-12-03 2016-12-03 基于视线的vr显示方法及vr设备

Publications (2)

Publication Number Publication Date
CN106774862A CN106774862A (zh) 2017-05-31
CN106774862B true CN106774862B (zh) 2020-07-31

Family

ID=58884299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611098202.XA Active CN106774862B (zh) 2016-12-03 2016-12-03 基于视线的vr显示方法及vr设备

Country Status (1)

Country Link
CN (1) CN106774862B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065197B (zh) * 2017-06-20 2020-02-18 合肥工业大学 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统
CN107463653A (zh) * 2017-07-27 2017-12-12 姜汉龙 一种视频的类型的鉴定方法以及设备
CN107833251B (zh) 2017-11-13 2020-12-04 京东方科技集团股份有限公司 瞳孔定位装置和方法、虚拟现实设备的显示驱动器
CN108491068B (zh) * 2018-02-08 2020-11-17 东南大学 一种眼动信号控制的交互方法
CN108337573A (zh) * 2018-03-26 2018-07-27 京东方科技集团股份有限公司 一种赛事实时解说的实现方法和介质
US11683464B2 (en) * 2018-12-28 2023-06-20 Canon Kabushiki Kaisha Electronic device, control method, and non-transitorycomputer readable medium
CN113031269B (zh) * 2021-03-08 2022-09-20 北京正远展览展示有限公司 一种vr显示防眩晕调节系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957931A (zh) * 2012-11-02 2013-03-06 京东方科技集团股份有限公司 一种3d显示的控制方法和装置、及视频眼镜
CN103067662A (zh) * 2013-01-21 2013-04-24 天津师范大学 一种自适应视线跟踪系统
CN103679180A (zh) * 2012-09-19 2014-03-26 武汉元宝创意科技有限公司 一种基于单摄像头单光源的视线追踪方法
CN104182720A (zh) * 2013-05-22 2014-12-03 北京三星通信技术研究有限公司 瞳孔检测方法和装置
CN105138965A (zh) * 2015-07-31 2015-12-09 东南大学 一种近眼式视线跟踪方法及其系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
CN103176607B (zh) * 2013-04-16 2016-12-28 重庆市科学技术研究院 一种眼控鼠标实现方法及系统
CN104090659B (zh) * 2014-07-08 2017-04-05 重庆金瓯科技发展有限责任公司 基于人眼图像和视线追踪的操作指针指示控制设备
CN106020461A (zh) * 2016-05-13 2016-10-12 陈盛胜 基于眼球追踪技术的视频交互方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679180A (zh) * 2012-09-19 2014-03-26 武汉元宝创意科技有限公司 一种基于单摄像头单光源的视线追踪方法
CN102957931A (zh) * 2012-11-02 2013-03-06 京东方科技集团股份有限公司 一种3d显示的控制方法和装置、及视频眼镜
CN103067662A (zh) * 2013-01-21 2013-04-24 天津师范大学 一种自适应视线跟踪系统
CN104182720A (zh) * 2013-05-22 2014-12-03 北京三星通信技术研究有限公司 瞳孔检测方法和装置
CN105138965A (zh) * 2015-07-31 2015-12-09 东南大学 一种近眼式视线跟踪方法及其系统

Also Published As

Publication number Publication date
CN106774862A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106774862B (zh) 基于视线的vr显示方法及vr设备
CN110221690B (zh) 基于ar场景的手势交互方法及装置、存储介质、通信终端
US11238666B2 (en) Display of an occluded object in a hybrid-reality system
EP3467707A1 (en) System and method for deep learning based hand gesture recognition in first person view
JP7339386B2 (ja) 視線追跡方法、視線追跡装置、端末デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
US10373357B2 (en) Device and method for displaying screen based on event
CN108594999B (zh) 用于全景图像展示系统的控制方法和装置
CN109176512A (zh) 一种体感控制机器人的方法、机器人及控制装置
US10254831B2 (en) System and method for detecting a gaze of a viewer
CN111062981A (zh) 图像处理方法、装置及存储介质
CN110443230A (zh) 人脸融合方法、装置以及电子设备
US20200336656A1 (en) Systems and methods for real time screen display coordinate and shape detection
CN105354812B (zh) 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法
RU2667720C1 (ru) Способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве
KR20160060582A (ko) 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품
CN111145135A (zh) 一种图像去扰处理方法、装置、设备及存储介质
CN114747200A (zh) 点击锁定变焦相机用户界面
CN116309983A (zh) 虚拟人物模型的训练方法、生成方法、装置和电子设备
CN107065164B (zh) 图像展示方法及装置
JP6448005B2 (ja) 対象物の視覚追跡
CN114358822A (zh) 一种广告展示方法、装置、介质及设备
CN108027647B (zh) 用于与虚拟对象交互的方法和设备
CN103440036A (zh) 三维图像的显示和交互操作方法及装置
CN110728630A (zh) 基于增强现实的互联网图像处理方法及增强现实眼镜
CN111027387A (zh) 人数评估及评估模型获取方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200706

Address after: 2 / F, building 4, high level talent innovation and entrepreneurship Industrial Park, Shuangshan street, Zhangqiu District, Jinan City, Shandong Province

Applicant after: Xuenengtong (Shandong) Intelligent Equipment Co., Ltd

Address before: 710071 Shaanxi city of Xi'an province high tech Zone Road No. 86 leading Times Square (B) second building 1 unit 22 floor room 12202 No. 51

Applicant before: Xi'an Cresun Innovation Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant