CN113660480B - 一种环视功能实现方法、装置、电子设备及存储介质 - Google Patents

一种环视功能实现方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113660480B
CN113660480B CN202110935236.4A CN202110935236A CN113660480B CN 113660480 B CN113660480 B CN 113660480B CN 202110935236 A CN202110935236 A CN 202110935236A CN 113660480 B CN113660480 B CN 113660480B
Authority
CN
China
Prior art keywords
extension area
around
determining
looking
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110935236.4A
Other languages
English (en)
Other versions
CN113660480A (zh
Inventor
夏正国
张建伟
潘熙松
蔡冬铃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Vision Technology Nanjing Co ltd
Original Assignee
Deep Vision Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Vision Technology Nanjing Co ltd filed Critical Deep Vision Technology Nanjing Co ltd
Priority to CN202110935236.4A priority Critical patent/CN113660480B/zh
Publication of CN113660480A publication Critical patent/CN113660480A/zh
Application granted granted Critical
Publication of CN113660480B publication Critical patent/CN113660480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Abstract

本发明实施例公开了一种环视功能实现方法、装置、电子设备及存储介质。其中,所述方法包括:获取用户双眼相对于屏幕的当前双眼位置;确定当前双眼位置对应的待排图编号;其中,所述待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的;根据所述当前双眼位置对应的待排图编号确定延展区,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换。通过执行本方案,可以实现节约成本,可以实现为用户提供清晰、稳定地环视功能,可以提高用户的产品使用体验。

Description

一种环视功能实现方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及3D显示技术领域,尤其涉及一种环视功能实现方法、装置、电子设备及存储介质。
背景技术
裸眼3D显示的原理一般是通过透镜将显示器显示的图像进行分光,透镜通过对光的折射作用,将不同的显示内容折射到空间中不同的地方,到达人眼时显示的内容被分开,人眼接收到两幅含有视差的图像,这样便产生了立体效果。在类似光场的3维立体显示技术中,对给定的显示物体,人眼在空间中不同的角度观看物体,可以看到物体不同的角度的立体影像,就像我们真实世界中的物体一样。把在水平方向的围绕物体移动人眼,可以看到物体不同的侧面的立体影像称为环视功能。
当前能够实现环视功能方案有:光场技术,相当不成熟,当前的实验样品支持的观看角度相当的小,分辨率损失很严重,内容制作成本高;多视点裸眼3D显示,由于屏上的视点图的数量有限,只能在屏前的有多个连续的间隔内,重复显示多视点图,实质只是很小范围有环视功能;采用多视点增加可视区域,在一定的角度分辨率下,会使得清晰度下降,使图像出现混叠影响了实际观看效果;裸眼3D显示屏根据人眼的位置,实时渲染左右图像送给人眼,来模拟所在位置看到的影像,从而可以较大角度范围内的环视功能,该方案实时渲染两幅图,为了体验真实,需要较快的人眼跟踪速度,与分光调整速度,实际上因为跟踪不够快不够稳定,移动过程中总能看到画面抖动与重影。
发明内容
本发明实施例提供一种环视功能实现方法、装置、电子设备及存储介质,可以实现节约成本,可以实现为用户提供清晰、稳定地环视功能,可以提高用户的产品使用体验。
第一方面,本发明实施例提供了一种环视功能实现方法,该方法包括:获取用户双眼相对于屏幕的当前双眼位置;
确定当前双眼位置对应的待排图编号;其中,所述待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的;
根据所述当前双眼位置对应的待排图编号确定延展区,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换。
第二方面,本发明实施例还提供了一种环视功能实现装置,该装置包括:
当前双眼位置获取模块,用于获取用户双眼相对于屏幕的当前双眼位置;
待排图编号确定模块,用于确定当前双眼位置对应的待排图编号;其中,所述待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的;
环视功能实现模块,用于根据所述当前双眼位置对应的待排图编号确定延展区,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换。
第三方面,本发明实施例还提供了一种电子设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例中任一项所述的环视功能实现方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一项所述的环视功能实现方法。
本发明实施例提供的技术方案,获取用户双眼相对于屏幕的当前双眼位置;确定当前双眼位置对应的待排图编号;其中,待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的;根据当前双眼位置对应的待排图编号确定延展区,若延展区的待排图编号满足预设替换条件,则基于延展区对应的延展区环视视点图编号对延展区的待排图编号进行替换。通过执行本方案,可以实现节约成本,可以实现为用户提供清晰、稳定地环视功能,可以提高用户的产品使用体验。
附图说明
图1a是本发明实施例提供的一种环视功能实现方法的流程图;
图1b是本发明实施例提供的一种24张环视视点图按照预设排图方式进行排列的俯视效果图;
图1c是本发明实施例提供的一种8张待排图按照视点投射规则进行投射得到的俯视效果图;
图1d是本发明实施例提供的一种基于人眼跟踪实现环视功能时由8张待排图按照视点投射规则进行投射得到的俯视效果图;
图2是本发明实施例提供的又一种基于人眼跟踪实现环视功能时由8张待排图按照视点投射规则进行投射得到的俯视效果图;
图3是本发明实施例提供的一种环视功能实现装置结构示意图;
图4是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
为了清楚、明白地描述本发明实施例,下面首先将本方案的实现原理进行简单介绍:
在实现裸眼3D显示效果时,裸眼3D显示器是在液晶显示屏的前面布设一层光栅膜,每个光栅膜下面的图像像素被分成R、G、B子像素,每个子像素通过光栅膜后向不同的方向投影,将不同的显示内容折射到空间中不同的地方,用户便可从不同的方向观看到不同的视图。对于每个用户而言,左眼和右眼分别能够看到合适的图像,从而形成双目视差,产生纵深感和空间感,体验到裸眼3D的显示效果。
其中,经过光栅膜分光后,存在多个视角。对于每个视角而言,存在多个区域,多个视点图周期性地排布在这多个区域中。在每个区域内,如果相邻视点图之间有效叠加,不存在图像混叠和反转,则该区域可被视为可视区域。在可视区域内的视点图按照预设排图方式进行排图后,用户可观看到理想的3D显示效果。由于左右视图格式采用左视图和右视图并排传输的方式,左眼所观看的左视图和右眼所观看的右视图随着观看者的位置变化,也需要进行调整。如果各个视点图的排图方式不随用户双眼位置发生改变,则用户双眼可能从对应的可视区域移动到不可视区域内。在不可视区域内,图像存在混叠或反转现象,用户不能够观看到3D显示效果,甚至会出现眩晕等症状。
相关技术中,由于人眼移动速度过快,在人眼跟踪过程中可能会出现画面抖动与重影。另外,在实现裸眼3D显示效果时,视点图的数量越多,环视角度越大,但是视点图的数量如果太多,会导致各视点图的分辨率低,即有效像素少,图像显示的效果差。因此,需要一种既可以实现人眼跟踪又能实现环视功能又能有质量较高的图像显示效果的方案。
图1a是本发明实施例提供的环视功能实现方法的流程图,所述方法可以由环视功能实现装置来执行,所述装置可以由软件和/或硬件的方式实现,所述装置可以配置在用于实现环视功能的电子设备中。所述方法应用于用户使用裸眼3D显示屏进行环视的场景中。如图1a所示,本发明实施例提供的技术方案具体包括:
S110:获取用户双眼相对于屏幕的当前双眼位置。
具体的,可以是以屏幕的中心点为顶点,环视空间范围的中点为另一个顶点,以双眼位置所在的点为第三个顶点,构造直角三角形,通过人眼跟踪系统确定人眼相对于直角边的倾斜角度,进而确定当前双眼位置。其中,人眼跟踪系统中可以包括多个摄像头,也可以包括雷达,还可以包括红外感应。
在一个可行的实施方式中,可选的,在获取用户双眼相对于屏幕的当前双眼位置之前,所述方法还包括:根据目标环视角度,确定与所述目标环视角度匹配的环视视点图数量;基于所述环视视点图数量确定所述环视视点图的预设排图方式;基于所述环视视点图数量建立视点图存储区域,并基于所述预设排图方式向所述视点图存储区域中顺序存放所述环视视点图;其中,每个环视视点图关联一个环视视点图编号;建立各所述环视视点图编号相对于屏幕环视角度的对应位置关系。
其中,目标环视角度可以是根据用户的实际显示需求确定的环视范围,例如目标环视角度可以是90度,目标环视角度也可以是120度,可以根据实际需要对目标环视角度进行设置。环视视点图可以是摄像机从不同的拍摄角度拍摄的图片。环视视点图数量可以根据目标环视角度进行确定,环视视点图数量越多,其达到的目标环视范围越大。环视视点图数量可以根据实际需要进行确定,例如,环视视点图数量可以是24,环视视点图数量也可以是180。视点图存储区域是用于存储所有环视视点图的区域,本方案可以从存储区域中获取需要的视点图进行显示。预设排图方式可以是根据环视效果设定的各环视视点图显示的先后顺序。按照各环视视点图显示的先后顺序为各环视视点图分别编号,并且本方案将各环视视点图按照编号顺序在存储区域中顺序存储。
本方案可以在获取用户双眼相对于屏幕的当前双眼位置之前,根据目标环视角度,确定与目标环视角度匹配的环视视点图数量,基于环视视点图数量确定环视视点图的预设排图方式。例如当环视视点图数量为24时,环视视点图的预设排图方式为24张环视视点图中各图片显示的先后顺序。当环视视点图数量为180时,环视视点图的预设排图方式为180张环视视点图中各图片显示的先后顺序。基于确定的环视视点图数量建立与各环视视点图分别对应的视点图存储区域,并基于预设排图方式向视点图存储区域中顺序存放环视视点图。以屏幕长度为32cm,环视视点图的数量为24为例,如图1b所示,可以根据环视视点图的预设排图方式建立各环视视点图编号相对于屏幕环视角度的对应位置关系。
由此,通过目标环视角度确定环视视点图数量,基于环视视点图数量确定环视视点图的预设排图方式,并基于环视视点图数量建立视点图存储区域,基于预设排图方式向视点图存储区域中顺序存放环视视点图;并建立各环视视点图编号相对于屏幕环视角度的对应位置关系。可以实现对环视视点图按显示顺序进行存储,可以为实现裸眼3D显示屏的环视功能提供图片数据,可以实现将各环视视点图编号与屏幕环视角度建立映射关系,进而可以实现人眼跟踪。
在本实施例中,可选的,在根据目标环视角度,确定与所述目标环视角度匹配的环视视点图数量之前,所述方法还包括:根据屏幕的屏幕分辨率,确定目标相位;根据所述目标相位确定所述目标环视角度。
其中,屏幕分辨率可以是3D裸眼显示屏的分辨率,例如可以是4k。对于不同分辨率的显示屏,用户在使用显示屏的时候都有一个最佳的观看位置,即目标相位。例如用户距离显示屏的距离可以是3米,用户距离显示屏的距离也可以是5米,目标相位可以是根据用户的观看习惯进行统计确定。当目标相位不同时,在目标相位下的环视效果也不相同。因此,可以根据目标相位确定目标环视角度。
由此,通过根据屏幕的屏幕分辨率,确定目标相位;根据目标相位确定目标环视角度,可以实现给用户提供最佳的观看体验,可以提高用户的产品使用体验。
在本实施例中,可选的,确定与所述目标环视角度匹配的环视视点图数量,包括:基于设定距离确定与所述目标环视角度匹配的环视视点图数量。
其中,如图1b所示,在确定与目标环视角度匹配的环视视点图数量时,可以根据目标环视角度确定环视空间范围,并确定该环视空间范围长度,然后基于设定距离对环视空间范围长度进行等距离划分,得到环视视点图数量。其中各环视视点图之间的设定距离要小于左右眼之间的距离,即平均瞳距。例如平均瞳距可以是6cm,也可以是6.5cm,可以根据实际需要进行设置。
由此,通过基于设定距离确定与目标环视角度匹配的环视视点图数量,可以实现保证两个眼睛可以看到不同的图,进而可以保证用户的左眼和右眼分别能够看到合适的图像,从而形成双目视差,体验到理想的裸眼3D显示效果。
S120:确定当前双眼位置对应的待排图编号。
其中,所述待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的。
具体的,待排图可以是屏幕上每次同时显示的各视点图,待排图的预设数量可以是7,待排图的预设数量也可以是8,可以根据实际需要进行确定。通常,预设数量是基于屏幕的屏幕分辨率进行确定的。例如,在特定分辨率的屏幕上同时显示多少张图像可以达到最优的显示效果。视点投射规则即裸眼3D显示屏的成像原理。以待排图的预设数量为8为例,待排图编号1-8按照视点投射规则进行投射得到的效果图如图1c所示。从图1c可以看出,待排图编号1-8周期性地排布在由目标环视角度确定的空间范围中。因此,可以确定当前双眼位置对应的待排图编号,例如在图1c中,双眼位置对应的待排图编号为5和6。而在图1d中,双眼位置对应的待排图编号为7和8。
S130:根据所述当前双眼位置对应的待排图编号确定延展区,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换。
其中,延展区可以是双眼位于特定位置时能够到的一个可视区域,延展区中有预设数量的待排图。预设替换条件可以是延展区的待排图编号随着人眼移动无法实现环视功能,即只能显示延展区中的待排图。延展区环视视点图可以随着人眼移动显示环视范围内对应位置处的图像,即可以实现环视功能。可以基于延展区对应的延展区环视视点图编号对延展区的待排图编号进行替换,以实现环视功能。
在一个可行的实施方式中,可选的,确定当前双眼位置对应的待排图编号,包括:分别确定当前双眼位置对应的左待排图编号和右待排图编号;相应的,根据所述当前双眼位置对应的待排图编号确定延展区,包括:根据所述左待排图编号、所述右待排图编号以及所述预设数量的待排图确定所述延展区;基于所述延展区确定所述延展区内的待排图编号。
示例性的,在图1c中,以待排图的数量为8作为示例,当前双眼位置对应的左待排图编号为5,当前双眼位置对应的右待排图编号为6,分别以左待排图编号5和右待排图编号6为起点,向前向后各取4个待排图,即为由当前双眼位置确定的延展区。在图1c中,由当前双眼位置确定的延展区中待排图编号为2、3、4、5、6、7、8、1。
由此,通过确定当前双眼位置对应的左待排图编号和右待排图编号;根据左待排图编号、右待排图编号以及预设数量的待排图确定延展区;基于延展区确定延展区内的待排图编号,可以实现确定当前双眼位置的可视区域以及可视区域中待排图的编号信息,可以为进一步实现环视功能提供替换目标。
在本实施例中,可选的,基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换,包括:基于所述延展区确定用户相对于屏幕的延展区目标环视角度;基于所述延展区目标环视角度确定延展区环视视点图编号;基于所述延展区环视视点图编号对所述延展区内的各待排图编号进行替换。
其中,本方案可以根据延展区中各个待排图以及屏幕中心点确定用户在延展区中相对于屏幕的各个环视角度,即延展区目标环视角度。本方案可以根据各环视视点图编号与屏幕环视角度的映射关系,确定延展区目标环视角度对应的延展区环视视点图编号,将延展区环视视点图编号对延展区内的各待排图编号进行替换。
示例性的,以图1d为例,当前双眼位置为7和8,基于当前双眼位置以及待排图的预设数量8可以确定延展区内的待排图编号为4、5、6、7、8、1、2、3。由于编号为1、2、3的待排图相对于屏幕的环视角度与映射关系中编号为9、10、11的环视视点图所对应的环视角度一致,因此,可以用用环视视点图9、10、11分别对待排图1、2、3进行替换。
由此,通过基于延展区确定用户相对于屏幕的延展区目标环视角度;基于延展区目标环视角度确定延展区环视视点图编号;基于延展区环视视点图编号对延展区内的各待排图编号进行替换,可以实现在人眼跟踪时实现环视功能。
在一个可行的实施方式中,可选的,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换,包括:若所述延展区的待排图编号未按顺序进行编号,并且当前双眼位置相对于所述延展区中间位置的移动变化量大于预设阈值,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换。
其中,预设阈值的取值可以是1,预设阈值的取值也可以是4,预设阈值的取值可以根据实际需要进行设置。如图1c所示,以预设阈值为3为例,当前双眼位置位于5、6之间,相对于延展区1-8的中间位置4、5的移动变化量为1,小于预设阈值。如图1d所示,当前双眼位置位于7、8之间,相对于延展区1-8的中间位置4、5的移动变化量为3,等于预设阈值。事实上,以待排图的数量为8作为示例,只要用户的双眼位置落在第一个(图中最下方)编号为1-8的有效投射范围之间,用户看到的图像就是正确的,可以不用对延展区中的待排图进行替换。但是,如果当前双眼位置移动至有效范围外,例如图1c中的8和1之间,此时,相对于延展区1-8的中间位置4、5的移动变化量为4,大于预设阈值3,那么此时用户看到的图像就出现错误,无法实现环视功能。此时延展区中待排图并未按顺序进行编号,并且当前双眼位置相对于延展区中间位置的移动变化量大于预设阈值3。由当前双眼位置确定的延展区中待排图的编号为5、6、7、8、1、2、3、4,由延展区确定的延展区环视视点图编号为5、6、7、8、9、10、11、12,将延展区环视视点图对延展区中待排图对应地进行替换,以实现环视功能。
由此,通过若延展区的待排图编号未按顺序进行编号,并且当前双眼位置相对于延展区中间位置的移动变化量大于预设阈值,则基于延展区对应的延展区环视视点图编号对延展区的待排图编号进行替换,可以实现只有当人眼移动量较大,人更可能要移动多视图边界处才进行视图替换,可以避免跟随人眼移动频繁地进行图像替换导致的资源占用,可以实现稳定、流畅的环视功能。
本发明实施例提供的技术方案,获取用户双眼相对于屏幕的当前双眼位置;确定当前双眼位置对应的待排图编号;其中,待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的;根据当前双眼位置对应的待排图编号确定延展区,若延展区的待排图编号满足预设替换条件,则基于延展区对应的延展区环视视点图编号对延展区的待排图编号进行替换。通过执行本方案,可以实现节约成本,可以实现为用户提供清晰、稳定地环视功能,可以提高用户的产品使用体验。
相关技术中,能够实现环视功能的方案有:1、光场技术,相当不成熟,当前的实验样品支持的观看角度相当的小,分辨率损失很严重,内容制作成本高。2、多视点裸眼3D显示,由于屏幕上的视点图的数量有限,只能在屏幕前的有多个连续的间隔内,重复显示多视图,实质只是很小范围有环视功能。3、裸眼3D显示屏根据人眼的位置,实时渲染左右图像送给人眼,来模拟所在位置看到的影像,从而可以较大角度范围内的环视功能,该方案实时渲染两幅图,为了体验真实,需要较快的人眼跟踪速度,与分光调整速度,实际上因为跟踪不够快不够稳定,移动过程中总能看到画面抖动与重影。
为了更清楚的表述本发明的技术方案,本发明实施例提供的技术方案可以包括如下步骤:
步骤1、将显示屏前要环视的空间范围的远端,按小于6cm的间隔等分成若干份,示例24份,以图1b为例,编号为1~24。以便当用户在不同位置时,可以看到对应位置处视角的内容。24张视图可是事先制作而成,也可以利用其它工具或软件根据需要实时渲染输出。
步骤2、如图1b所示,如果要实现环视功能,屏幕上要同时显示24张不同角度的视点图,这样做会因为视点图数量太多,导致分辨率下降。所以实际排列张数远少于24,例如实际只显示相邻的8张视点图,视点图分布如图1c所示,屏、屏幕上同时排列1~8幅图,空间上光线分布是依顺次序可以分别看到这8幅图重复出现。此时,只有当用户在1~8编号的位置上能看到正确的1~8编号位置应该看到的内容。
步骤3、为了使用户移动到图1b的9~24位置处时,能够看到对应位置处的正确视图,加入了人眼跟踪功能,实时跟踪人眼位置。当用户位置移动到位置7、8时,显示屏实时地将编号为4、5、6、7、8、9、10、11的环视视点图替换掉原来8个环视视点图,这样用户在位置7、8处时能看到正确的视图,邻近的4、5、6,9、10、11等环视视点图位置提供了移动缓冲空间,如图1d所示。
步骤4、在人眼移动过程中,为了防止人眼移动过快,增加移动缓存冲空间,进行实时跟踪与替换。替换策略为:根据人眼中心实时位置,先计算对应的视点图序号view_no(0.0<view_no<24.0),该序号一般为小数。将这个小数向上向下取整,得到viewno1和viewno2,再加上6个视点图:viewno1-3、viewno1-2、viewno1-1、viewno2+1、viewno2+2和viewno2+3,替换原来的8个视点图。替换方法为:先假定原来最原始视点图1~视点图8对应的存储位置为p[0],p[1],p[2]……p[7];如果新的8个视点图序号与原8个待排图一样,就不用操作;如果新的8个视点图与旧的不同,替换算法为,将新得到的8个视点图序号分别对8取余数得到的值,就是要替换存储位置的下标,替换到图片数组p中。
如图2所示,该序号介于12和13之间。将这个小数向上向下取整,得到12和13,再加上6个视点图:9、10、11、14、15和16。结合图1d可知,原8个待排图编号为9、10、11、4、5、6、7和8。分别用新的8个视点图代替旧的8个待排图。
本发明实施例提供的技术方案,显示屏只能排列8张图并顺序分布到空间中,用人眼跟踪功能得到人眼的空间位置,再将位置附近的8个视图实时替进来。让用户始终看到与位置视角相应的正确视图,从而实现环视功能。同时因为用户看到当前视图的同时,附近的视图也已经生成,这样人眼跟踪速度跟不上时,附近视图的空间为用户提供了缓冲。从而改善人眼跟踪不够快带来画面抖动问题。结合人眼位置跟踪和多视点显示方法,实现裸眼3D显示的环视功能,同时可以有效善人眼跟踪慢和不稳定带来的负面影响。
图3是本发明实施例提供的环视功能实现装置结构示意图,所述装置可以由软件和/或硬件的方式实现,所述装置可以配置在用于实现环视功能的电子设备中。如图3所示,所述装置包括:
当前双眼位置获取模块310,用于获取用户双眼相对于屏幕的当前双眼位置;
待排图编号确定模块320,用于确定当前双眼位置对应的待排图编号;其中,所述待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的;
环视功能实现模块330,用于根据所述当前双眼位置对应的待排图编号确定延展区,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换。
可选的,待排图编号确定模块320,具体用于:分别确定当前双眼位置对应的左待排图编号和右待排图编号;相应的,环视功能实现模块330,具体用于:根据所述左待排图编号、所述右待排图编号以及所述预设数量的待排图确定所述延展区;基于所述延展区确定所述延展区内的待排图编号。
可选的,所述装置还包括存储区域构建模块,用于在获取用户双眼相对于屏幕的当前双眼位置之前,根据目标环视角度,确定与所述目标环视角度匹配的环视视点图数量;基于所述环视视点图数量确定所述环视视点图的预设排图方式;基于所述环视视点图数量建立视点图存储区域,并基于所述预设排图方式向所述视点图存储区域中顺序存放所述环视视点图;其中,每个环视视点图关联一个环视视点图编号;建立各所述环视视点图编号相对于屏幕环视角度的对应位置关系。
可选的,环视功能实现模块330,具体用于:基于所述延展区确定用户相对于屏幕的延展区目标环视角度;基于所述延展区目标环视角度确定延展区环视视点图编号;基于所述延展区环视视点图编号对所述延展区内的各待排图编号进行替换。
可选的,环视功能实现模块330,具体用于:若所述延展区的待排图编号未按顺序进行编号,并且当前双眼位置相对于所述延展区中间位置的移动变化量大于预设阈值,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换。
可选的,所述装置还包括目标相位确定模块,用于在根据目标环视角度,确定与所述目标环视角度匹配的环视视点图数量之前,根据屏幕的屏幕分辨率,确定目标相位;根据所述目标相位确定所述目标环视角度。
可选的,所述存储区域构建模块,具体用于基于设定距离确定与所述目标环视角度匹配的环视视点图数量。
上述实施例所提供的装置可以执行本发明任意实施例所提供的环视功能实现方法,具备执行方法相应的功能模块和有益效果。
图4是本发明实施例提供的一种电子设备结构示意图,如图4所示,该设备包括:
一个或多个处理器410,图4中以一个处理器410为例;
存储器420;
所述设备还可以包括:输入装置430和输出装置440。
所述设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接,图4中以通过总线连接为例。
存储器420作为一种非暂态计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的一种环视功能实现方法对应的程序指令/模块。处理器410通过运行存储在存储器420中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述方法实施例的一种环视功能实现方法,即:
获取用户双眼相对于屏幕的当前双眼位置;
确定当前双眼位置对应的待排图编号;其中,所述待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的;
根据所述当前双眼位置对应的待排图编号确定延展区,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换。
存储器420可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非暂态性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中,存储器420可选包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例提供的一种环视功能实现方法:
获取用户双眼相对于屏幕的当前双眼位置;
确定当前双眼位置对应的待排图编号;其中,所述待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的;
根据所述当前双眼位置对应的待排图编号确定延展区,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种环视功能实现方法,其特征在于,包括:
获取用户双眼相对于屏幕的当前双眼位置;
确定当前双眼位置对应的待排图编号;其中,所述待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的,待排图是屏幕上每次同时显示的各视点图,待排图周期性地排布在由目标环视角度确定的空间范围中;
根据所述当前双眼位置对应的待排图编号确定延展区,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换,其中,延展区是用户双眼位于特定位置时能够到的一个可视区域,延展区中有预设数量的待排图;
在获取用户双眼相对于屏幕的当前双眼位置之前,所述方法还包括:
根据目标环视角度,确定与所述目标环视角度匹配的环视视点图数量;
基于所述环视视点图数量确定所述环视视点图的预设排图方式;
基于所述环视视点图数量建立视点图存储区域,并基于所述预设排图方式向所述视点图存储区域中顺序存放所述环视视点图;其中,每个环视视点图关联一个环视视点图编号;
建立各所述环视视点图编号相对于屏幕环视角度的对应位置关系;
基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换,包括:
基于所述延展区确定用户相对于屏幕的延展区目标环视角度;
基于所述延展区目标环视角度确定延展区环视视点图编号;
基于所述延展区环视视点图编号对所述延展区内的各待排图编号进行替换。
2.根据权利要求1所述的方法,其特征在于,确定当前双眼位置对应的待排图编号,包括:
分别确定当前双眼位置对应的左待排图编号和右待排图编号;
相应的,根据所述当前双眼位置对应的待排图编号确定延展区,包括:
根据所述左待排图编号、所述右待排图编号以及所述预设数量的待排图确定所述延展区;
基于所述延展区确定所述延展区内的待排图编号。
3.根据权利要求2所述的方法,其特征在于,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换,包括:
若所述延展区的待排图编号未按顺序进行编号,并且当前双眼位置相对于所述延展区中间位置的移动变化量大于预设阈值,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换。
4.根据权利要求1所述的方法,其特征在于,在根据目标环视角度,确定与所述目标环视角度匹配的环视视点图数量之前,还包括:
根据屏幕的屏幕分辨率,确定目标相位;
根据所述目标相位确定所述目标环视角度。
5.根据权利要求1所述的方法,其特征在于,确定与所述目标环视角度匹配的环视视点图数量,包括:
基于设定距离确定与所述目标环视角度匹配的环视视点图数量。
6.一种环视功能实现装置,其特征在于,包括:
当前双眼位置获取模块,用于获取用户双眼相对于屏幕的当前双眼位置;
待排图编号确定模块,用于确定当前双眼位置对应的待排图编号;其中,所述待排图编号是基于预设数量的待排图按照视点投射规则进行投射得到的,待排图是屏幕上每次同时显示的各视点图,待排图周期性地排布在由目标环视角度确定的空间范围中;
环视功能实现模块,用于根据所述当前双眼位置对应的待排图编号确定延展区,若所述延展区的待排图编号满足预设替换条件,则基于所述延展区对应的延展区环视视点图编号对所述延展区的待排图编号进行替换,其中,延展区是用户双眼位于特定位置时能够到的一个可视区域,延展区中有预设数量的待排图;
存储区域构建模块,用于在获取用户双眼相对于屏幕的当前双眼位置之前,根据目标环视角度,确定与所述目标环视角度匹配的环视视点图数量;
基于所述环视视点图数量确定所述环视视点图的预设排图方式;
基于所述环视视点图数量建立视点图存储区域,并基于所述预设排图方式向所述视点图存储区域中顺序存放所述环视视点图;其中,每个环视视点图关联一个环视视点图编号;
建立各所述环视视点图编号相对于屏幕环视角度的对应位置关系;
环视功能实现模块,用于基于所述延展区确定用户相对于屏幕的延展区目标环视角度;
基于所述延展区目标环视角度确定延展区环视视点图编号;
基于所述延展区环视视点图编号对所述延展区内的各待排图编号进行替换。
7.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5任一项所述的方法。
CN202110935236.4A 2021-08-16 2021-08-16 一种环视功能实现方法、装置、电子设备及存储介质 Active CN113660480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110935236.4A CN113660480B (zh) 2021-08-16 2021-08-16 一种环视功能实现方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110935236.4A CN113660480B (zh) 2021-08-16 2021-08-16 一种环视功能实现方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113660480A CN113660480A (zh) 2021-11-16
CN113660480B true CN113660480B (zh) 2023-10-31

Family

ID=78479159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110935236.4A Active CN113660480B (zh) 2021-08-16 2021-08-16 一种环视功能实现方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113660480B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148763A (ja) * 1992-11-12 1994-05-27 Hitachi Ltd 多人数観測用レンチキュラ立体表示方式
JP2008170841A (ja) * 2007-01-15 2008-07-24 Epson Imaging Devices Corp 電気光学装置及び電子機器
CN102547348A (zh) * 2012-01-20 2012-07-04 深圳超多维光电子有限公司 一种裸眼立体显示调整方法、调整装置及相应设备、系统
CN102572484A (zh) * 2012-01-20 2012-07-11 深圳超多维光电子有限公司 立体显示控制方法、立体显示控制装置和立体显示系统
CN103293692A (zh) * 2013-06-19 2013-09-11 青岛海信电器股份有限公司 一种裸眼立体图像显示控制方法及装置
CN104137538A (zh) * 2011-12-23 2014-11-05 韩国科学技术研究院 可应用于多个观察者的用于使用动态视区扩展来显示多视点3d图像的装置及其方法
CN104702940A (zh) * 2015-03-25 2015-06-10 中山大学 一种无逆视的多视点裸眼立体显示系统及其控制方法
CN108307187A (zh) * 2016-09-28 2018-07-20 擎中科技(上海)有限公司 裸眼3d显示设备及其显示方法
CN108769664A (zh) * 2018-05-28 2018-11-06 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法、装置、设备及介质
CN108881893A (zh) * 2018-07-23 2018-11-23 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
WO2019080295A1 (zh) * 2017-10-23 2019-05-02 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法及控制系统
WO2021103270A1 (zh) * 2019-11-28 2021-06-03 歌尔股份有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
WO2021110034A1 (zh) * 2019-12-05 2021-06-10 北京芯海视界三维科技有限公司 眼部定位装置、方法及3d显示设备、方法
CN113253845A (zh) * 2021-06-01 2021-08-13 纵深视觉科技(南京)有限责任公司 一种基于人眼追踪视图显示方法、装置、介质及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148763A (ja) * 1992-11-12 1994-05-27 Hitachi Ltd 多人数観測用レンチキュラ立体表示方式
JP2008170841A (ja) * 2007-01-15 2008-07-24 Epson Imaging Devices Corp 電気光学装置及び電子機器
CN104137538A (zh) * 2011-12-23 2014-11-05 韩国科学技术研究院 可应用于多个观察者的用于使用动态视区扩展来显示多视点3d图像的装置及其方法
CN102547348A (zh) * 2012-01-20 2012-07-04 深圳超多维光电子有限公司 一种裸眼立体显示调整方法、调整装置及相应设备、系统
CN102572484A (zh) * 2012-01-20 2012-07-11 深圳超多维光电子有限公司 立体显示控制方法、立体显示控制装置和立体显示系统
CN103293692A (zh) * 2013-06-19 2013-09-11 青岛海信电器股份有限公司 一种裸眼立体图像显示控制方法及装置
CN104702940A (zh) * 2015-03-25 2015-06-10 中山大学 一种无逆视的多视点裸眼立体显示系统及其控制方法
CN108307187A (zh) * 2016-09-28 2018-07-20 擎中科技(上海)有限公司 裸眼3d显示设备及其显示方法
WO2019080295A1 (zh) * 2017-10-23 2019-05-02 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法及控制系统
CN108769664A (zh) * 2018-05-28 2018-11-06 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法、装置、设备及介质
CN108881893A (zh) * 2018-07-23 2018-11-23 上海玮舟微电子科技有限公司 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
WO2021103270A1 (zh) * 2019-11-28 2021-06-03 歌尔股份有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
WO2021110034A1 (zh) * 2019-12-05 2021-06-10 北京芯海视界三维科技有限公司 眼部定位装置、方法及3d显示设备、方法
CN113253845A (zh) * 2021-06-01 2021-08-13 纵深视觉科技(南京)有限责任公司 一种基于人眼追踪视图显示方法、装置、介质及电子设备

Also Published As

Publication number Publication date
CN113660480A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
KR102030830B1 (ko) 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
CN103984108B (zh) 基于振动光栅的裸眼立体显示方法与装置
CN108769664B (zh) 基于人眼跟踪的裸眼3d显示方法、装置、设备及介质
US10721457B2 (en) Methods and apparatus for capturing images of an environment
US9530179B2 (en) Two-dimensional (2D)/three-dimensional (3D) image processing method and system
US9049435B2 (en) Image providing apparatus and image providing method based on user&#39;s location
US20140192044A1 (en) Display apparatus and display method thereof
KR102174258B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
CN109343229A (zh) 一种远视距的立体显示装置
EP3182702B1 (en) Multiview image display device and control method therefor
CN108076208B (zh) 一种显示处理方法及装置、终端
CN105793895A (zh) 用于生成和显示地理区域的立体图像对的系统和方法
CN108881880A (zh) 基于人眼跟踪的裸眼3d显示方法、装置、设备及存储介质
WO2008122838A1 (en) Improved image quality in stereoscopic multiview displays
EP2532167B1 (en) Systems and methods for presenting three-dimensional video content to a viewer
CN106559662B (zh) 多视图图像显示设备及其控制方法
CN113660480B (zh) 一种环视功能实现方法、装置、电子设备及存储介质
CN113867526A (zh) 一种基于人眼追踪的优化显示方法、装置、设备及介质
CN111683238B (zh) 基于观察跟踪的3d图像融合方法及装置
CN108696738A (zh) 一种3d及2d同屏显示的方法、装置及系统
KR101980275B1 (ko) 다시점 영상 디스플레이 장치 및 디스플레이 방법
Lee et al. Eye tracking based glasses-free 3D display by dynamic light field rendering
KR100893381B1 (ko) 실시간 입체영상 생성방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant