基于眼球追踪的个人全息三维显示方法及设备
技术领域
本发明涉及个人全息显示技术领域,特别是涉及一种基于眼球追踪的个人全息三维显示方法及设备。
背景技术
随着电子技术的发展和进步和用户要求的提高,目前判断电子产品优劣的条件已经远远不是停留在硬件指标和技术指标上,注重用户体验和感受才是厂商赢得市场的关键。
现在的很多电子产品比如手机、平板电脑、游戏机等都能根据用户的相应动作做出相应的操作,如当用户移动时自动改变显示屏的显示角度,甩动机身时切换界面、歌曲、视频,倾斜机身显示屏中图像随之移动,赛车游戏中根据用户对机身左右摇摆控制显示屏中赛车方向等。
现有技术实现上述功能的方法多事基于重力感应原理,即通过内部重力感应芯片判断用户的动作。重力感应的缺陷在于产品在重力范围内使用,脱离重力方位则会丧失这些功能。
发明内容
本发明主要解决的技术问题是提供一种基于眼球追踪的个人全息三维显示方法及设备,能够实现多方位、远近自适应的用户观看全息效果。
为解决上述技术问题,本发明采用的一个技术方案是,提供一种基于眼球追踪的个人全息三维显示方法,该方法包括:
对用户进行人脸检测,获得人双眼位置,双眼位置包括双眼相对于显示屏的夹角、双眼与显示屏之间的距离;
根据夹角得到相应夹角的全息三维显示的视点,根据距离调整全息三维显示中物体在全息场景的z轴方向上的大小,根据全息三维显示的视点和物体在全息场景的z轴方向上的大小调整需投射到双眼中左眼、右眼的不同个人全息三维图像的第一内容,并在显示屏中显示;
将显示屏光线出射方向调整至朝向双眼中左眼、右眼方向,以使得左眼、右眼的不同个人全息三维图像分别成像到左眼、右眼;
跟踪双眼位置的变化,重复上述各个步骤以动态获得相应的左眼、右眼的不同个人全息三维图像,以使得双眼移动时左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
其中,根据距离调整全息三维显示中物体在全息场景的z轴方向上的大小还包括调整全息三维显示中物体在全息场景的第二内容,其中,物体在全息场景的内容为人双眼视线所能包覆物体的范围内的物体外观内容,根据距离调整个人全息三维显示中物体在全息场景的z轴方向上的大小的步骤包括:
判断距离是变大还是变小;
若距离变大,则缩小全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆物体的范围扩大,得到调整后的全息三维显示中物体在全息场景的第二内容;反之则放大全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆物体的范围缩小,得到调整后的全息三维显示中物体在全息场景的第二内容。
其中,判断距离是变大还是变小的步骤进一步包括:判断距离是否小于第一阈值,若距离小于第一阈值时,距离变小,则不放大全息三维显示中物体在全息场景的z轴方向上的大小,也不调整全息三维显示中物体在全息场景的第二内容;判断距离是否大于第二阈值,若距离大于第二阈值时,距离变大,则不缩小全息三维显示中物体在全息场景的z轴方向上的大小,也不调整全息三维显示中物体在全息场景的第二内容。
其中,双眼移动时各个距离采用如下方法获得:
根据人脸检测的数据,获得双眼的两眼球对应坐标值(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,n表示双眼从位置1到位置n,采用三维标准坐标系;
根据两眼球对应坐标值得到两眼球之间的距离L1,L2,...Ln;
根据红外测距仪测得所述双眼移动时所述红外测距仪与所述双眼之间的距离、所述红外测距仪在所述坐标系中的坐标值、所述双眼的两眼球对应坐标值获得所述双眼与显示屏之间的距离Z或根据所述红外测距仪与所述双眼之间的距离、所述红外测距仪光轴相对于所述显示屏平面的夹角获得所述双眼与显示屏之间的距离Z或直接将所述红外测距仪与所述双眼之间的距离作为所述双眼与显示屏之间的距离Z;
根据两眼球之间的距离及红外测距仪与双眼之间的距离,计算得双眼移动时各个夹角θ1,θ2,...,θn,计算公式如下所示:
其中L是双眼之间的距离,Z是双眼与显示屏的距离。
其中,还包括步骤:
根据全息三维显示的视点和物体在全息场景的z轴方向上的大小获得需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应左耳、右耳的不同个人全息声音。
为解决上述技术问题,本发明采用的另一个技术方案是,提供一种基于眼球追踪的个人全息三维显示设备,该设备包括:位置获取模块、显示模块、调整模块。
位置获取模块,位置获取模块用于对用户进行人脸检测,获得人双眼位置,双眼位置包括双眼相对于显示屏的夹角、双眼与显示屏之间的距离;
显示模块,显示模块用于根据夹角得到相应夹角的全息三维显示的视点,根据距离调整全息三维显示中物体在全息场景的z轴方向上的大小,根据全息三维显示的视点和物体在全息场景的z轴方向上的大小调整需投射到双眼中左眼、右眼的不同个人全息三维图像的视点,并在显示屏中显示;
调整模块,调整模块用于将显示屏光线出射方向调整至朝向双眼中左眼、右眼方向,以使得左眼、右眼的不同个人全息三维图像分别成像到左眼、右眼;
位置获取模块还用于跟踪双眼位置,显示模块以动态调整相应的左眼、右眼的不同个人全息三维图像,以使得双眼移动时在调整模块作用下左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
其中,显示模块包括显示单元、调整单元、第一判断单元,调整单元用于根据距离调整全息三维显示中物体在全息场景的z轴方向上的大小和全息三维显示中物体在全息场景的第二内容,其中,物体在全息场景的内容为人双眼视线所能包覆物体的范围内的物体外观内容;
第一判断单元用于判断距离是变大还是变小;
若第一判断单元判断结果为距离变大,则控制调整单元缩小全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆物体的范围扩大,得到调整后的全息三维显示中物体在全息场景的第二内容;反之则控制调整单元放大全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆物体的范围缩小,得到调整后的全息三维显示中物体在全息场景的第二内容;
显示单元用于显示调整单元调整后的全息三维图像。
其中,显示模块进一步包括第二判断单元,第二判断单元用于判断距离是否小于第一阈值,若距离小于第一阈值时,距离变小,则控制调整单元不放大全息三维显示中物体在全息场景的z轴方向上的大小,也不调整全息三维显示中物体在全息场景的内容;判断距离是否大于第二阈值,若距离大于第二阈值时,距离变大,则控制调整单元不缩小全息三维显示中物体在全息场景的z轴方向上的大小。
其中,位置获取模块包括测距单元、摄像单元、计算单元,计算模块具体用于:
根据摄像单元对人脸检测的数据,获得双眼的两眼球对应的坐标值(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,n表示双眼从位置1到位置n,xy坐标平面平行于显示屏的表面,采用三维标准坐标系;
根据两眼球对应坐标值得到两眼球之间的距离L1,L2,...Ln;
根据测距单元测得双眼移动时测距单元与双眼之间的距离、测距单元在坐标系中的坐标值、双眼的两眼球对应坐标值获得双眼与显示屏之间的距离Z或根据测距单元与所述双眼之间的距离、测距单元光轴相对于显示屏平面的夹角获得双眼与显示屏之间的距离Z或直接将测距单元与双眼之间的距离作为双眼与显示屏之间的距离Z;
根据两眼球之间的距离及测距单元与双眼之间的距离,计算得双眼移动时各个夹角θ1,θ2,...,θn,计算公式如下所示:
其中L是双眼之间的距离,Z是双眼与显示屏的距离。
其中,设备还包括声音调节模块,声音调节模块具体用于根据全息三维显示的视点和物体在全息场景的z轴方向上的大小调节需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应左耳、右耳的不同个人全息声音。
本发明的有益效果是:本发明通过获得人双眼相对显示屏的夹角、双眼与显示屏之间的距离,根据人双眼与显示屏之间的距离不同、双眼相对显示屏的夹角不同,看到人双眼看到物体成像的大小不同、视线包覆物体范围不一样的原理,比如当某用户双眼到物体的距离相同时,在物体正前方位置观看看到物体正面,在物体正前方偏左/右某位置看到物体正面和至少部分左/右面内容,当某用户在物体正前方,在离物体比较近的位置物体在眼球上的成像比较大且可能只看到物体正面的一部分,在离物体比较远的位置物体在眼球上的成像比较小且可以看全物体的正面,当双眼间距不一样的两用户在同一位置,双眼与显示屏的夹角不同,眼球成像大小不同且视线包覆的物体范围不同,对应调节显示视点和显示屏上全息场景在z轴方向上的大小和物体在全息场景的内容,无需使用重力感应和人工操作,能够自动适应不同人群的不同距离、角度观看,逼近最真实的个人全息三维图像显示。
附图说明
图1是本发明基于眼球追踪的个人全息三维显示方法第一实施方式中人双眼离显示屏距离不同所覆盖物体的视角、大小不同的原理示意图;
图2是本发明基于眼球追踪的个人全息三维显示方法第一实施方式的流程示意图;
图3是本发明基于眼球追踪的个人全息三维显示方法第一实施方式的人双眼追踪、测距示意图;
图4是本发明基于眼球追踪的个人全息三维显示方法第二实施方式的流程示意图;
图5是本发明基于眼球追踪的个人全息三维显示方法第二实施方式的人双眼追踪、测距示意图;
图6是本发明基于眼球追踪的个人全息三维显示方法第三实施方式的流程示意图;
图7是本发明基于眼球追踪的个人全息三维显示方法第四实施方式的流程示意图;
图8是本发明基于眼球追踪的个人全息三维显示设备一实施方式的结构示意图;
图9是本发明基于眼球追踪的个人全息三维显示设备另一实施方式的结构示意图;
图10是本发明基于眼球追踪的个人全息三维显示方法一人眼位置坐标变化示意图。
具体实施方式
下面结合附图和实施方式对本发明进行详细说明。
为保证本发明能正常实施,本发明设备为能够调节全息三维显示的视点的设备。一般同款设备可能会有不同年龄的不同人群、不同年龄的同种人群、相同年龄的相同人群使用,而不同年龄的不同人群、不同年龄的同种人群、相同年龄的相同人群双眼距离一般不同,观看位置不同,从而导致物体在人双眼成像大小不同,视线包覆物体的区域不同。比如,请参阅图1,图1是本发明基于眼球追踪的个人全息三维显示方法第一实施方式中人双眼离显示屏距离不同所覆盖物体的视角、大小不同的原理示意图。在位置a时,双眼间距为L的用户看到一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点121到过右眼到物体右边的切点120之间面向用户一方的区域;在离显示屏与位置a同样远但角度不同的位置b时,双眼间距为L的用户看到同一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点111到过右眼到物体右边的切点110之间面向用户一方的区域;在离显示屏比a更远的位置c时,双眼间距为L的用户看到同一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点131到过右眼到物体右边的切点130面向用户一方的区域,此位置c的人双眼视线所能包覆所述物体的范围,比位置a的人双眼视线所能包覆所述物体的范围大。
请同时参阅图2和图3,图2是本发明基于眼球追踪的个人全息三维显示方法第一实施方式的流程示意图。图3是本发明基于眼球追踪的个人全息三维显示方法第一实施方式的人双眼追踪、测距示意图。该方法包括以下步骤:
S101:对用户进行人脸检测,获得人双眼位置,所述双眼位置包括双眼相对于显示屏的夹角、双眼与显示屏之间的距离。
以显示显示屏230中点为原点,xy坐标平面平行于显示屏230,水平向右为x轴正方向,垂直x轴向下为y轴正方向,指向人眼方向为z轴正方向建立三维标准坐标系。具体实施中还可以显示屏230左下角、左上角等其他位置为原点,其他方向为正方向建立空间坐标系。比如图3a中在显示屏230或者机身上安装人脸追踪摄像头210和测距仪220。假设本实施方式中测距仪220采用红外测距仪,并且位于坐标系y轴上,本实施中将红外测距仪和摄像头210相对固定设置在相邻位置,使得摄像头210跟随人观看位置的变化相应移动或不移动时,同时也可以带动红外测距仪转动,方便红外测距仪能快速找到人双眼位置。当然,红外测距仪也可以不转动。具体实施中也可将测距仪220和摄像头210分开设置,本实施方式中使用的红外测距仪也可以使用其他类似功能的设备。可采用人脸识别技术首先对用户进行人脸检测,根据人脸检测的数据和坐标系获得人双眼位置,启动红外测距仪测得人眼和红外测距仪的距离。然后根据建立的坐标系转换为对应坐标。如图3b所示,点Q为红外测距仪220,点A为人眼,根据摄像头210拍摄照片的数据和坐标系获得点A在坐标系中的xy平面坐标,点B为人眼A在yz平面上的投影,点C是人眼A在xy平面上的投影。根据红外测距仪测得人眼与红外测距仪的距离QA、红外测距仪光轴QA相对于显示屏平面(xy平面)的夹角∠AQC、因为点B、C分别为人眼A在yz、xy平面上的投影,所以红外测距仪点Q坐标、点C坐标,三角形AQC为直角三角形,利用直角三角形性质可知眼球A与显示屏之间的距离Z=AC=QA*sin∠AQC。对于人双眼在不同位置时,双眼在位置1到位置n的坐标分别为(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,通过红外测距仪测得所述双眼移动时不同距离Z1,Z2,...Zn。具体实施中可还有其他计算方式比如直接将红外测距仪与双眼之间的距离作为双眼与显示屏230之间的距离Z或根据建立的坐标系中测距仪、双眼的坐标根据直角三角形关系计算双眼与显示屏230之间的距离Z实现本步骤的目的,获得人眼与显示屏230之间的距离Z。
根据两眼球对应坐标值得到两眼球之间的距离L1,L2,...Ln;根据所述两眼球对应坐标值及距离,计算得双眼移动时各个所述夹角θ1,θ2,...,θn,请参阅图10,一般观看时人双眼中点与屏幕上视点的连线垂直人双眼的连线,根据直角三角形性质,计算公式如下所示:
其中L是双眼之间的距离,Z是双眼与显示屏230之间的距离。
S102:根据所述夹角得到相应所述夹角的全息三维显示的视点和物体在全息场景的内容,根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小,根据所述全息三维显示的视点和物体在全息场景的z轴方向上的大小调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
一般人与物体距离远时,物体在人双眼上的成像比较小,人与物体距离近时,物体在人双眼上的成像比较大,物体与人双眼距离越近,物体在人双眼上的成像越大。比如,在站在高楼往下看,看到地面的人非常小,可能和我们平时站在地面上看到的蚂蚁大小相近。请同时参阅图1,图1是本发明基于眼球追踪的个人全息三维显示方法第一实施方式中人双眼离显示屏距离不同所覆盖物体的视角、大小不同的原理示意图。在离显示屏与位置a同样远但角度不同的位置b时,双眼间距为L的用户看到同一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点111到过右眼到物体右边的切点110之间面向用户一方的区域,在双眼与显示屏之间的距离相同的两个不同的位置a和b,人双眼相对显示屏的夹角不同,人双眼所看到的物体的区域不同。根据步骤S101中获得的夹角得到相应夹角的全息三维显示的视点和物体在全息场景的内容,根据步骤S101中获得的人双眼与显示屏之间的距离调整全息三维显示中物体在全息场景的z轴方向上的大小,并调节人双眼视线所能包覆物体的范围,比如,请参阅图10,当用户在离显示屏的距离为Z1的位置1移动到离显示屏的距离更远的位置2,在位置2时用户与离显示屏的距离为Z2,调整全息三维显示中物体在全息场景的z轴方向上变小,并调节人双眼视线所能包覆全息三维显示中物体在全息场景的范围变小;当用户在离显示屏的距离为Z3的位置3移动到离显示屏的距离更近的位置2,在位置2时用户与离显示屏的距离为Z2,调整全息三维显示中物体在全息场景的z轴方向上变大,并调节人双眼视线所能包覆全息三维显示中物体在全息场景的范围变小。根据全息三维显示的视点和物体在全息场景的z轴方向上的大小调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
S103:将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼。
根据步骤S102获得的双眼中左眼、右眼的不同个人全息三维图像的视点,控制显示器中动态光栅,使得光栅的明暗条纹位置发生适应性改变,即将显示屏光线出射方向调整至朝向双眼中左眼、右眼方向,以使得左眼、右眼的不同个人全息三维图像经由动态光栅分别成像到左眼、右眼。
S104:跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
根据步骤S101获得的双眼与显示屏中心连线与显示屏法线之间的夹角和双眼移动时双眼与显示屏之间的距离Z,跟踪双眼位置的变化,同时参阅图10,图10是本发明基于眼球追踪的个人全息三维显示方法一人眼位置坐标变化示意图。当用户在位置1距离显示屏Z1时,根据步骤S101至S103获得左眼、右眼的不同个人全息三维图像和物体在全息场景的内容,调节物体在全息场景的z轴方向上的大小的个人全息三维图像。在位置2距离显示屏Z2时,双眼间距为L1的用户和在位置1的用户是同一用户,双眼间距为L2的用户和在位置1的用户是不同人群或不同年龄,重复步骤S101至S103以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。比如在距离显示屏Z2位置,双眼间距为L1、L2的用户,经前述步骤获得相应调节视点和调节物体在全息场景的z轴方向上的大小和物体在全息场景的内容,可分别适应双眼间距不同的不同年龄、不同人群观看。
本实施方式中摄像头追踪人双眼位置的变化时会带动测距仪一起移动使得,根据动态测得的位置变化计算转换成系统需要的数据,根据人观看距离大时观看物体小;观看距离小时,观看物体大的视觉观看原理,通过数据的变化实时获得全息三维显示的视点和调节物体在全息场景的z轴方向上的大小,适应不同人群不同距离观看,提高了用户体验。
请参阅图4,图4是本发明基于眼球追踪的个人全息三维显示方法第二实施方式的流程示意图。该方法包括以下步骤:
S301:对用户进行人脸检测,获得人双眼位置,所述双眼位置包括双眼相对于显示屏的夹角、双眼与显示屏之间的距离。
以显示显示屏中点为原点,xy坐标平面平行于显示屏,水平向右为x轴正方向,垂直x周向下为y轴正方向,指向人眼方向为z轴正方向建立三维标准坐标系。具体实施中还可以显示屏左下角等其他位置为原点建立空间坐标系。请同时参阅图5,图5是本发明基于眼球追踪的个人全息三维显示方法第二实施方式的人双眼追踪、测距示意图。比如图5a中在显示器430或者机身上分开安装人脸追踪摄像头410和测距仪420。人脸追踪摄像头410和测距仪420以y轴为对称轴对称设置,使得人脸追踪摄像头410追踪拍摄到人脸时,摄像头也可以根据对称快速定位人眼。具体实施中可不对称设置,根据人脸追踪摄像头410对人脸进行检测的数据与空间坐标系,获得双眼在坐标系中的位置(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,n表示所述双眼从位置1到位置n,调整测距仪420坐标,测得人眼与测距仪420之间的距离。根据直角三角关系计算出人双眼与显示屏之间的距离具体实施中,一般用户在观看时,用户人脸中心会与显示屏中心连线与坐标z轴平行,人在不同位置移动时,还可以直接将红外测距仪与双眼之间的距离作为双眼与显示屏之间的距离Z。一般用户在观看时,用户人脸中心会与显示屏中心连线与坐标z轴平行。人在不同位置移动时,还可以直接将红外测距仪与双眼之间的距离作为双眼与显示屏之间的距离Z。根据两眼球对应坐标值得到两眼球之间的距离L1,L2,...Ln;根据两眼球之间的距离、测距仪与双眼之间的距离,计算得双眼移动时各个所述夹角θ1,θ2,...,θn,请参阅图10,人双眼中点与屏幕上视点的连线垂直人双眼的连线,根据直角三角形性质,计算公式如下所示:
其中L是双眼之间的距离,Z是双眼与显示屏230之间的距离。
S302:判断所述距离是否小于第一阈值,若所述距离小于第一阈值时,所述距离变小,则不放大所述全息三维显示中物体在全息场景的z轴方向上的大小,也不调整所述全息三维显示中物体在全息场景的第二内容;判断所述距离是否大于第二阈值,若所述距离大于第二阈值时,所述距离变大,则不缩小所述全息三维显示中物体在全息场景的z轴方向上的大小,也不调整所述全息三维显示中物体在全息场景的第二内容。
为避免用户观看距离过近损害用户视力和观看效果,观看距离过远导致观看不清楚。设定最佳观看范围保证用户观看效果。根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小还包括调整所述全息三维显示中物体在全息场景的内容,其中,所述物体在全息场景的内容为人双眼视线所能包覆所述物体的范围内的所述物体外观内容,在调节物体在全息场景的z轴方向上的大小的步骤之前,进行判断,判断双眼与显示屏的之间的距离是否小于第一阈值,若双眼与显示屏的之间的距离小于第一阈值时,双眼与显示屏的之间的距离变小,则不放大全息三维显示中物体在全息场景的z轴方向上的大小;判断双眼与显示屏的之间的距离是否大于第二阈值,若距离大于第二阈值时,双眼与显示屏的之间的距离变大,则不缩小全息三维显示中物体在全息场景的z轴方向上的大小。其中第一阈值是指最佳观看范围的最小距离,第二阈值是指最佳观看范围的最大距离。
S303:判断所述距离是变大还是变小;若所述距离变大,则缩小所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围扩大,得到调整后的所述全息三维显示中物体在全息场景的第二内容;反之则放大所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围缩小,得到调整后的所述全息三维显示中物体在全息场景的第二内容。
当人双眼与显示屏之间的观看距离处于预设的最佳观看距离范围时,判断人双眼与显示屏之间的观看距离是变大还是变小,若人双眼与显示屏之间的距离变大,则缩小全息三维显示中物体在全息场景的z轴方向上的大小并调节人双眼视线所能包覆全息三维显示中物体在全息场景的范围变大,反之则放大全息三维显示中物体在全息场景的z轴方向上的大小并调节人双眼视线所能包覆全息三维显示中物体在全息场景的范围变小。符合人观看物体近时,物体大,观看物体远时,物体小,同时当人与观看物体距离不同时双眼视线所能包覆所述物体的范围有差异的观看原理,比如,参阅图1,在位置a时,双眼间距为L的用户看到一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点121到过右眼到物体右边的切点120之间面向用户一方的区域;在离显示屏比a更远的位置c时,双眼间距为L的用户看到同一物体,此时人视线包覆物体的范围为过左眼中心到物体左边的切点131到过右眼到物体右边的切点130面向用户一方的区域,此位置c的人双眼视线所能包覆所述物体的范围,比位置a的人双眼视线所能包覆所述物体的范围大,在位置c物体在双眼上的成像比在位置a时物体在双眼上的成像小。具体调节可参考本发明个人全息三维显示方法第一实施方式的步骤S104。
S304:根据所述夹角得到相应所述夹角的全息三维显示的视点和物体在全息场景的内容,根据所述全息三维显示的视点和物体在全息场景的z轴方向上的大小和物体在全息场景的内容调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
S305:将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼。
步骤S304和S305与前述第一实施方式中步骤S102和S103相似,这里不再赘述。根据步骤S301至步骤303获得的数据,将物体在全息场景的z轴方向上的大小和物体在全息场景的内容调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。其中,物体在全息场景的内容是指人双眼视线包覆所述物体的内容,可参阅图1及其说明,此处不再赘述。在双眼与显示屏距离比较近时,调节物体在全息场景的z轴方向上变大,并适应调节人双眼视线所能包覆全息三维显示中物体在全息场景的范围变小,比如放大全息场景中位于前方的物体,前方放大的物体遮挡视线后面的内容,并缩小人双眼视线所能包覆全息三维显示中物体在全息场景的范围,在双眼与显示屏距离比较远时,调节物体在全息场景的z轴方向上变小,并适应调节人双眼视线所能包覆全息三维显示中物体在全息场景的范围变大,比如将位于全息场景中前方的物体缩小速度大于位于息场景中后方的物体的缩小速度,将原遮挡的内容重新显示,并放大人双眼视线所能包覆全息三维显示中物体在全息场景的范围。
S306:跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
摄像头实时跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
本实施方式中根据获得的测距仪、双眼的坐标计算人眼与显示屏之间的距离,或者直接将测距单元与双眼作为双眼与显示屏之间的距离Z,通过设置最佳观看距离,当用户在最佳观看距离范围内时,若距离变大,则缩小全息三维显示中物体在全息场景的z轴方向上的大小,反之则放大全息三维显示中物体在全息场景的z轴方向上的大小。同时根据人双眼离物体位置不同,双眼视线所包覆物体的范围不同,调节物体在全息场景中的内容,获得正确的全息三维显示的视点,适应不同人群最佳观看。
请参阅图6,图6是本发明基于眼球追踪的个人全息三维显示方法第三实施方式的流程示意图。本发明提供一种个人全息三维显示方法,包括以下步骤:
S501:对用户进行人脸检测,获得人双眼位置,所述双眼位置包括双眼相对于显示屏的夹角、双眼与显示屏之间的距离。
具体实施中步骤S501可以和第二实施方式中步骤S301采用根据测距单元与双眼之间的距离、测距单元在坐标系中的坐标值、双眼的两眼球对应坐标值获得双眼与显示屏之间的距离Z或直接将测距单元与双眼之间的距离作为双眼与显示屏之间的距离Z或采用第一实施方式中步骤S101根据测距单元与所述双眼之间的距离、测距单元光轴相对于显示屏平面的夹角获得双眼与显示屏之间的距离Z。
S502:判断所述距离是否小于第一阈值,若所述距离小于第一阈值时,所述距离变小,则不放大所述全息三维显示中物体在全息场景的z轴方向上的大小,也不调整所述全息三维显示中物体在全息场景的第二内容;判断所述距离是否大于第二阈值,若所述距离大于第二阈值时,所述距离变大,则不缩小所述全息三维显示中物体在全息场景的z轴方向上的大小,也不调整所述全息三维显示中物体在全息场景的第二内容。
S503:判断所述距离是变大还是变小;若所述距离变大,则缩小所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围扩大,得到调整后的所述全息三维显示中物体在全息场景的第二内容;反之则放大所述全息三维显示中物体在全息场景的z轴方向上的大小,同时将人双眼视线所能包覆所述物体的范围缩小,得到调整后的所述全息三维显示中物体在全息场景的第二内容。
S504:根据所述夹角得到相应所述夹角的全息三维显示的视点和物体在全息场景的内容,根据所述全息三维显示的视点和物体在全息场景的z轴方向上的大小和物体在全息场景的内容调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
S505:将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼。
S506:跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
步骤S502至S506与前述第一实施方式中步骤S302至S306相似,这里不再赘述。
S507:根据所述全息三维显示的视点和物体在全息场景的z轴方向上的大小获得需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应所述左耳、右耳的不同个人全息声音。
为提高观看效果,根据全息三维显示的视点和物体在全息场景的z轴方向上的大小获得需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应左耳、右耳的不同个人全息声音,放大用户位置靠显示屏近的一侧听到的声音,减小远离显示屏的一侧听到的声音。比如当用户位置靠右时,放大右声道音量,减小左声道音量;当用户位置靠左时,放大左声道音量,减小右声道音量;比如当用户位置居中,远离显示屏时,同时减小左右声道音量。
本实施方式中在用户最佳观看距离范围,当用户在最佳观看距离范围内时,若距离变大,则缩小全息三维显示中物体在全息场景的z轴方向上的大小,反之则放大全息三维显示中物体在全息场景的z轴方向上的大小。同时根据人双眼和显示屏的夹角得正确的全息三维显示的视点,并获得需投射到双耳中左耳、右耳的不同个人全息声音分别输出对应左耳、右耳。符合人观看原理,同时对应调节输出声音,使得输出声音贴近现实,提高了用户体验。
请参阅图7,图7是本发明基于眼球追踪的个人全息三维显示方法第四实施方式的流程示意图。本发明提供一种个人全息三维显示方法,包括以下步骤:
S601:启动追踪摄像头,对用户进行人脸检测。
接通设备电源后启动追踪摄像头,对用户进行人脸检测,初步确定用户位置。
S602:获得人双眼位置。
根据步骤S601获得的图片,进行人脸检测,找出人双眼特征,获得人双眼位置。
S603:启动红外测距仪,获得双眼到测距仪的之间的距离。
同时或不同时启动红外测距仪,根据步骤S602获得的人双眼位置获得双眼与测距仪的之间的距离。
S604:获得用户双眼与显示屏之间的距离Z。
根据步骤S603获得的用户双眼位置和步骤S602获得双眼到测距仪的之间的距离,获得用户双眼与显示屏之间的距离Z。
S605:获得双眼相对显示屏的夹角θ。
S606:根据所述夹角得到相应所述夹角的全息三维显示的视点,根据所述距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小,根据所述全息三维显示的视点和物体在全息场景的z轴方向上的大小调整需投射到所述双眼中左眼、右眼的不同个人全息三维图像的视点,并在所述显示屏中显示。
S607:将所述显示屏光线出射方向调整至朝向所述双眼中左眼、右眼方向,以使得所述左眼、右眼的不同个人全息三维图像分别成像到所述左眼、右眼。
S608:跟踪所述双眼位置的变化,重复上述各个步骤以动态获得相应的所述左眼、右眼的不同个人全息三维图像,以使得所述双眼移动时所述左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
本实施方式中建立坐标系、计算人眼相对显示屏夹角和双眼与显示屏之间的距离的步骤和第一实施方式步骤类似,此处不再赘述。
请参阅图8,图8是本发明基于眼球追踪的个人全息三维显示设备一实施方式的结构示意图。本发明提供一种人机交互设备,包括:位置获取模块710、显示模块720、调整模块730,显示模块720分别与位置获取模块710、调整模块730相连。
位置获取模块710用于对用户进行人脸检测,获得人双眼位置,双眼位置包括双眼相对于显示屏的夹角、双眼与显示屏之间的距离。
显示模块720用于根据位置获取模块710获得的夹角得到相应夹角的全息三维显示的视点,根据获取模块710获得的距离调整全息三维显示中物体在全息场景的z轴方向上的大小,根据全息三维显示的视点和物体在全息场景的z轴方向上的大小调整需投射到双眼中左眼、右眼的不同个人全息三维图像的视点,并在显示屏中显示,不同位置的具体调节可参阅图10的说明,此处不再赘述。
调整模块730用于将显示屏光线出射方向调整至朝向双眼中左眼、右眼方向,以使得左眼、右眼的不同个人全息三维图像分别成像到左眼、右眼。
位置获取模块710还用于跟踪双眼位置动态获得人双眼位置,显示模块720以动态调整相应的左眼、右眼的不同个人全息三维图像,以使得双眼移动时在调整模块730作用下左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
请参阅图9,图9是本发明基于眼球追踪的个人全息三维显示设备另一实施方式的结构示意图。本发明提供一种个人全息三维显示设备,包括:位置获取模块810、显示模块820、调整模块830、声音调整模块840,位置获取模块810还包括计算单元811、摄像单元812、测距单元813,显示模块820包括第一判断单元821、第二判断单元822、显示单元823、调整单元824。计算单元811分别与摄像单元812、测距单元813、调整模块830、第一判断单元821相连,第一判断模块821还与第二判断单元822、声音调节模块840、显示单元823相连,显示模块820还与调整模块830相连。
摄像单元812用于对用户进行人脸检测,测距单元813用于测得人双眼与测距单元813的之间的距离,将测得数据输送给计算单元811计算获得人双眼位置。
计算单元811,用于根据摄像单元812对人脸进行人脸检测的数据,获得双眼的两眼球对应的坐标值(xL1,yL1)和(xR1,yR1),(xL2,yL2)和(xR2,yR2),...,(xLn,yLn)和(xRn,yRn),其中L表示左眼,R表示右眼,n表示双眼从位置1到位置n,xy坐标平面平行于显示屏的表面,采用三维标准坐标系,坐标系建立的具体方式和本发明个人全息三维显示方法第一实施方式相同,这里不再赘述;
根据两眼球对应坐标值得到两眼球之间的距离L1,L2,...Ln;
根据测距单元813测得所述双眼移动时双眼与测距单元813之间的不同距离、测距单元813在坐标系中的坐标值、双眼的两眼球对应坐标值获得双眼与显示屏之间的距离Z或根据测距单元813与双眼之间的距离、测距单元813光轴相对于显示屏平面的夹角获得双眼与显示屏之间的距离Z或直接将测距单元813与双眼之间的距离作为双眼与显示屏之间的距离Z;
根据两眼球对应坐标值及双眼与显示屏之间的距离,计算得双眼移动时各个夹角θ1,θ2,...,θn,计算公式如下所示:
其中L是双眼之间的距离,Z是双眼与显示屏之间的距离。
显示模块820用于根据位置获取模块810获得的夹角θ得到相应夹角θ的全息三维显示的视点,根据获取模块810获得的距离Z调整全息三维显示中物体在全息场景的z轴方向上的大小,根据全息三维显示的视点和物体在全息场景的z轴方向上的大小调整需投射到双眼中左眼、右眼的不同个人全息三维图像的视点,并在显示屏中显示,不同位置的具体调节可参阅图10的说明,此处不再赘述。
调整模块830用于将显示屏光线出射方向调整至朝向双眼中左眼、右眼方向,以使得左眼、右眼的不同个人全息三维图像分别成像到左眼、右眼。
第一判断单元821用于判断双眼与显示屏之间的距离Z是变大还是变小,若双眼与显示屏之间的距离Z变大,则控制调整单元824缩小全息三维显示中物体在全息场景的z轴方向上的大小,反之则控制调整单元824放大全息三维显示中物体在全息场景的z轴方向上的大小。
第二判断单元822用于判断双眼与显示屏之间的距离Z是否小于第一阈值,若双眼与显示屏之间的距离Z小于第一阈值时,双眼与显示屏之间的距离变小,则控制调整单元824不放大全息三维显示中物体在全息场景的z轴方向上的大小;判断双眼与显示屏之间的距离Z是否大于第二阈值,若双眼与显示屏之间的距离大于第二阈值时,双眼与显示屏之间的距离变大,则不控制调整单元824缩小全息三维显示中物体在全息场景的z轴方向上的大小。
调节单元824用于根据第一判断模块821获得的距离调整所述全息三维显示中物体在全息场景的z轴方向上的大小和所述全息三维显示中物体在全息场景的内容,其中,物体在全息场景的内容为人双眼视线所能包覆物体的范围内的物体外观内容。
位置获取模块810还用于跟踪双眼位置,使显示模块820以动态调整相应的左眼、右眼的不同个人全息三维图像,以使得双眼移动时在调整模块830作用下左眼、右眼始终能获得正确的全息三维显示的视点、物体在全息场景的z轴方向上的大小的个人全息三维图像。
声音调节模块840用于根据全息三维显示的视点和物体在全息场景的z轴方向上的大小调节需投射到双耳中左耳、右耳的不同个人全息声音,并分别输出对应所述左耳、右耳的不同个人全息声音。放大用户位置靠显示屏近的一侧听到的声音,缩小远离显示屏的一侧听到的声音。
以上仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。