CN115767068A - 一种信息处理方法、装置和电子设备 - Google Patents
一种信息处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN115767068A CN115767068A CN202211510089.7A CN202211510089A CN115767068A CN 115767068 A CN115767068 A CN 115767068A CN 202211510089 A CN202211510089 A CN 202211510089A CN 115767068 A CN115767068 A CN 115767068A
- Authority
- CN
- China
- Prior art keywords
- eye
- display screen
- scene
- user
- naked eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请公开一种信息处理方法、装置和电子设备,该信息处理方法包括:获取待显示的3D场景的场景内容信息,确定用户眼部在当前空间对应的空间信息,得到用户的眼部空间信息,其中用户的眼部空间信息至少包括:用户眼部分别相对于当前空间布置的多个裸眼3D显示屏的视角,之后根据待显示3D场景的场景内容信息和用户眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的裸眼3D效果的待显示图像,最终将各个待显示图像分别输出至对应的裸眼3D显示屏进行显示。
Description
技术领域
本申请属于人机交互技术领域,尤其涉及一种信息处理方法、装置和电子设备。
背景技术
目前,在构建无需佩戴眼镜以及头戴式设备等辅助设备的沉浸式空间时,通常使用多块2D(二维)屏幕来实现沉浸式空间构建,如微软的Virtual Cube。然而,2D屏幕由于缺乏双目视差深度感知而导致临场感效果不足。
发明内容
为此,本申请公开如下技术方案:
一种信息处理方法,所述方法包括:
获取待显示的3D场景的场景内容信息;
确定用户眼部在当前空间对应的空间信息,得到用户的眼部空间信息;所述眼部空间信息至少包括:用户眼部分别相对于当前空间布置的多个裸眼3D显示屏的视角;
根据所述3D场景的场景内容信息和所述眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像;所述待显示图像为裸眼3D效果的图像;
将各个待显示图像分别输出至对应的裸眼3D显示屏。
可选的,所述为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像,包括:
为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的左视差图像和右视差图像;
对各个裸眼3D显示屏分别对应的左视差图像和右视差图像进行交织处理,得到各个裸眼3D显示屏分别对应的裸眼3D效果的交织图像,作为所述待显示图像。
可选的,所述确定用户眼部在当前空间对应的空间信息,得到用户的眼部空间信息,包括:
获取所述多个裸眼3D显示屏在当前空间分别对应的屏幕位置信息;
获取通过对用户进行人眼追踪所得的双眼位置信息;
根据所述屏幕位置信息和所述双眼位置信息,确定用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,作为所述眼部空间信息,或者,确定用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,及用户左眼和右眼分别相对于各个裸眼3D显示屏的第一距离和第二距离,作为所述眼部空间信息。
可选的,所述根据所述3D场景的场景内容信息和所述眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像,包括:
根据用户左眼相对于每个裸眼3D显示屏的第一视角,或者根据用户左眼相对于每个裸眼3D显示屏的第一视角和第一距离,对所述3D场景的场景内容信息进行2D投影处理,得到每个裸眼3D显示屏对应的左视差图像;
根据用户右眼相对于每个裸眼3D显示屏的第二视角,或者根据用户右眼相对于每个裸眼3D显示屏的第二视角和第二距离,对所述3D场景的场景内容信息进行2D投影处理,得到每个裸眼3D显示屏对应的右视差图像;
对各个裸眼3D显示屏分别对应的左视差图像和右视差图像进行交织处理,得到各个裸眼3D显示屏分别对应的裸眼3D效果的交织图像,作为所述待显示图像。
可选的,所述获取所述多个裸眼3D显示屏在当前空间分别对应的屏幕位置信息,包括:
获取通过将各个裸眼3D显示屏映射到标定空间坐标系所得的各个屏幕位置信息;其中,各个裸眼3D显示屏在当前空间下按预设位置关系布局。
可选的,所述为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像,包括:
在多屏统一场景模式下,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的完整区域图像,作为所述待显示图像;
在多屏独立场景模式下,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的不同局部区域图像,作为所述待显示图像。
可选的,所述为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的不同局部区域图像,包括:
基于预设分割策略对所述3D场景的场景内容信息进行分割,得到数量为裸眼3D显示屏个数的多个子场景的子场景内容信息;
基于所述多个子场景的子场景内容信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的不同子场景的子场景区域图像。
可选的,各个子场景的子场景内容信息相互之间不存在重叠,或相邻子场景的子场景内容信息存在部分重叠。
一种信息处理装置,所述装置包括:
获取单元,用于获取待显示的3D场景的场景内容信息;
确定单元,用于确定用户眼部在当前空间对应的空间信息,得到用户的眼部空间信息;所述眼部空间信息至少包括:用户眼部分别相对于当前空间布置的多个裸眼3D显示屏的视角;生成单元,用于根据所述3D场景的场景内容信息和所述眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像;所述待显示图像为裸眼3D效果的图像;
输出单元,用于将各个待显示图像分别输出至对应的裸眼3D显示屏。
一种电子设备,包括:
存储器,用于至少存储一组计算机指令集;
处理器,用于通过调用并执行所述存储器中存储的所述指令集,实现如上文任一项所述的信息处理方法。
由以上方案可知,本申请公开的信息处理方法、装置和电子设备,获取待显示的3D场景的场景内容信息,确定用户眼部在当前空间对应的空间信息,得到用户的眼部空间信息,其中用户的眼部空间信息至少包括:用户眼部分别相对于当前空间布置的多个裸眼3D显示屏的视角,之后根据待显示3D场景的场景内容信息和用户眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的裸眼3D效果的待显示图像,最终将各个待显示图像分别输出至对应的裸眼3D显示屏进行显示。
针对待显示的3D场景,本申请通过采用多个裸眼3D显示屏对其进行信息显示,并具体为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的裸眼3D效果的待显示图像,实现了基于多个裸眼3D显示屏的沉浸式空间构建,及基于沉浸式空间对待显示3D场景的多屏幕多视角的裸眼3D效果显示。裸眼3D显示屏通过双目视差带来的深度感会使用户拥有极强的临场感效果,且通过多个裸眼3D显示屏进行沉浸式空间构建,能够给用户更大的视场范围,整体沉浸感会更加的强烈。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请提供的信息处理方法的流程示意图;
图2是本申请提供的确定用户眼部在当前空间对应的眼部空间信息的流程示意图;
图3是本申请提供的对3个裸眼3D显示屏按预设位置关系进行布局的一示例图;
图4是本申请提供的为各个裸眼3D显示屏分别生成待显示图像的流程示意图;
图5是本申请提供的针对图3的示例为每个裸眼3D显示屏生成待显示图像的处理逻辑图;
图6是本申请提供的多屏统一场景模式下为每个裸眼3D显示屏生成待显示图像的处理逻辑图;
图7是本申请提供的多屏独立场景模式下为每个裸眼3D显示屏生成待显示图像的处理逻辑图;
图8是本申请提供的信息处理装置的组成结构图;
图9是本申请提供的电子设备的组成结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请公开一种信息处理方法、装置和电子设备,用于基于多个裸眼3D显示屏构建无需佩戴眼镜以及头戴式设备的沉浸式空间,并基于构建的沉浸式空间实现对待显示3D场景的多屏幕多视角的裸眼3D效果显示。所公开的信息处理方法,可应用于但不限于众多通用或专用的计算装置环境或配置下的电子设备,例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置等等。
参见图1提供的信息处理方法流程图,本申请实施例公开的信息处理方法,可以包括如下的处理过程:
步骤101、获取待显示的3D场景的场景内容信息。
待显示的3D场景的场景内容信息,可以但不限于是3D游戏、3D建模(如,VR看房中的3D房间模型)等场景的三维立体场景内容信息,具体可以视用户当前的实际应用情况而定。
以3D游戏场景为例,所获取的3D场景的场景内容信息,可以包括当前待显示的3D游戏场景中的人物、装备、背景对象等各种场景对象的三维模型,以及各种场景对象的三维模型分别包含的各个可显示结构面的贴图、纹理、颜色等信息,这些信息均可视为3D游戏场景的三维立体场景内容信息。
步骤102、确定用户眼部在当前空间对应的空间信息,得到用户的眼部空间信息。
其中,用户的眼部空间信息至少包括:用户眼部分别相对于当前空间布置的多个裸眼3D显示屏的视角。可选的,用户眼部相对于裸眼3D显示屏的视角,可以分为用户左眼相对于裸眼3D显示屏的第一视角,和右眼相对于裸眼3D显示屏的第二视角。
且可选的,用户眼部相对于裸眼3D显示屏的视角,如,第一视角、第二视角,可以进一步包括用户眼部(左眼或右眼)相对于裸眼3D显示屏的视角方向及视角角度,视角方向可以是正视、侧视、站立俯视等中的相应一种,其中,侧视又分为左侧视和右侧视,视角角度则为在所对应视角方向下人眼(左眼或右眼)相对于裸眼3D显示屏的实际观看角度,如左眼/右眼相对于某裸眼3D显示屏为正视90°视角,相对于另一裸眼3D显示屏为左侧视30°视角等等。
除了包括用户眼部分别相对于多个裸眼3D显示屏的视角,如,第一视角和第二视角,在其他实施方式中,用户的眼部空间信息,还可以包括用户左眼和右眼分别相对于各个裸眼3D显示屏的第一距离和第二距离。
参见图2所示,本步骤102具体可通过以下处理过程,确定用户眼部在当前空间对应的空间信息:
步骤201、获取多个裸眼3D显示屏在当前空间分别对应的屏幕位置信息。
本申请实施例采用多个裸眼3D显示屏,构建无需佩戴眼镜以及头戴式设备等辅助设备的沉浸式空间,其中多个裸眼3D显示屏在当前空间下按预设位置关系布局,示例性的,可以将各个裸眼3D显示屏中的每两个相邻屏幕按设定夹角(如120°或135°)与设定距离,依次排列式布局,以采用3个裸眼3D显示屏为例,如图3所示,提供了将每两个相邻屏幕之间按135°夹角与一定距离,将3个裸眼3D显示屏依次排列式布局的一个布局效果图。
其中,各个裸眼3D显示屏由具备处理功能的同一电子设备(如,PC主机)进行驱动与信息处理。
在一实施方式中,可以由用户按需配置相邻屏幕之间的夹角、距离等位置布局信息,并按配置的信息将各个裸眼3D显示屏在对应位置进行摆放、布局。在此基础上,电子设备如PC主机,根据配置的各屏幕位置布局信息,将各个裸眼3D显示屏映射到所构建的标定空间坐标系下,得到各个裸眼3D显示屏在标定空间坐标系下对应的空间位置信息。
示例性的,标定空间坐标系,可以但不限于为:以位于中间位置的显示屏(如图3中的显示屏2)的屏幕中心(屏幕的几何中心)为原点,以该中间位置的显示屏的宽高方向分别为x、y轴方向,以垂直于该显示屏平面的方向为z轴方向的三维空间坐标系。
在其他实施方式中,也可以由用户直接根据需求,将各个裸眼3D显示屏按所需角度、距离进行摆放,而不进行位置信息配置,由电子设备使用设置的RGB摄像头、红外摄像头和/或距离传感器等采集组件,采集各个裸眼3D显示屏的图像信息和/或距离信息,并根据采集的信息检测各个裸眼3D显示屏的相对位置信息,如相邻屏幕之间的夹角、距离等信息,进而基于检测得到的各显示屏间的相对位置信息,将各个显示屏映射到所构建的标定空间坐标系下。
本步骤201中,相应可获取通过上述任一实施方式,将各个裸眼3D显示屏映射到标定空间坐标系下所得的各个屏幕的空间位置信息,并将各个裸眼3D显示屏在标定空间坐标系下分别对应的位置信息,作为各自在当前空间分别对应的屏幕位置信息。
其中,裸眼3D显示屏在当前空间对应的屏幕位置信息,可以但不限于采用显示屏各个顶点的三维位置坐标表示。
步骤202、获取通过对用户进行人眼追踪所得的双眼位置信息。
可选的,本申请预先在当前空间设置一个或多个人眼追踪组件,人眼追踪组件,具体可以设置于裸眼3D显示屏内部(即人眼追踪组件属于裸眼3D显示屏的一个组成部分),例如分别在各个裸眼3D显示屏的屏幕上边框相应区域内设置人眼追踪组件等,但不限于此,也可以将人眼追踪组件设置于裸眼3D显示屏外部,使其独立于裸眼3D显示屏,对此不作限制。
在此基础上,可利用设置的各个人眼追踪组件进行人眼追踪,得到用户的双眼位置信息。
容易理解,用户的双眼位置信息,可以包括用户左眼和右眼在所构建的标定坐标系下分别对应的空间位置信息,具体可以但不限于采用人眼(左眼、右眼)几何中心的三维位置坐标表示。
其中,所设置的人眼追踪组件可以但不限于为摄像头,如红外摄像头和/或RGB摄像头,且可以是单目或双目摄像头。优选的,所设置的人眼追踪组件为双目红外摄像头,通过利用设置的多个双目红外摄像头采集人眼的红外图像信息,并基于采集的红外图像信息进行人眼位置分析,实现人眼追踪,得到用户的双眼位置信息。
步骤203、根据获取的屏幕位置信息和用户的双眼位置信息,确定用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,作为用户的眼部空间信息,或者,确定用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,及用户左眼和右眼分别相对于各个裸眼3D显示屏的第一距离和第二距离,作为用户的眼部空间信息。
之后,可根据获取的各个裸眼3D显示屏的屏幕位置信息,及用户的左右眼双眼位置信息,确定用户左眼相对于各个裸眼3D显示屏的第一视角和右眼相对于各个裸眼3D显示屏的第二视角,以左眼为例,具体可确定用户左眼相对于各个裸眼3D显示屏的视角方向,如正视、侧视(左侧视、右侧视)或俯视等,以及在所对应视角方向下的具体视角角度,所确定出的视角方向和视角角度构成用户左眼相对于各个裸眼3D显示屏的第一视角。右眼对应的第二视角的确定过程类似,所确定出的用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,作为用户的眼部空间信息。
在其他实施方式中,除了确定用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,还可以根据获取的各个裸眼3D显示屏的屏幕位置信息,及用户的左右眼双眼位置信息,计算用户左眼相对于各个裸眼3D显示屏的第一距离,和右眼相对于各个裸眼3D显示屏的第二距离,并将确定出的用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,以及第一距离和第二距离,作为用户的眼部空间信息。
步骤103、根据上述3D场景的场景内容信息和用户的眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像;所生成的待显示图像为裸眼3D效果的图像。
在获取待显示的3D场景的场景内容信息,并确定用户眼部在当前空间对应的眼部空间信息之后,电子设备如PC主机,可根据获取的待显示3D场景的场景内容信息,以及用户眼部在当前空间对应的眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的左视差图像和右视差图像,并对各个裸眼3D显示屏分别对应的左视差图像和右视差图像进行交织处理,得到各个裸眼3D显示屏分别对应的裸眼3D效果的交织图像,作为各自的待显示图像。
针对用户的眼部空间信息,包括上述的第一视角和第二视角,或者包括上述的第一视角和第二视角以及第一距离和第二距离的情况,参见图4,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像的过程,可进一步实现为:
步骤401、根据用户左眼相对于每个裸眼3D显示屏的第一视角,或者根据用户左眼相对于每个裸眼3D显示屏的第一视角和第一距离,对待显示3D场景的场景内容信息进行2D投影处理,得到每个裸眼3D显示屏对应的左视差图像。
用户的眼部空间信息,包括用户的左眼眼部空间信息和右眼眼部空间信息,如左眼相对于各个裸眼3D显示屏的第一视角,或左眼相对于各个裸眼3D显示屏的第一视角和第一距离,以及右眼相对于各个裸眼3D显示屏的第二视角,或右眼相对于各个裸眼3D显示屏的第二视角和第二距离。待显示的3D场景的场景内容信息,包括该3D场景的全方位视角的立体场景内容信息,如3D游戏场景中人物、装备、背景对象等各种场景对象的三维模型,以及各场景对象所有可显示结构面的贴图、纹理、颜色等信息。本申请实施例通过将待显示的3D场景,分别进行匹配于用户左眼相对于各个裸眼3D显示屏的左眼眼部空间信息的二维投影处理,得到各个裸眼3D显示屏的匹配于用户左眼的左视差图像。以及,通过将待显示的3D场景,分别进行匹配于用户右眼相对于各个裸眼3D显示屏的右眼眼部空间信息的二维投影处理,得到各个裸眼3D显示屏的匹配于用户右眼的右视差图像。
具体的,对于用户的左眼眼部空间信息,仅包括用户左眼相对于各个裸眼3D显示屏的第一视角的情况,具体可根据用户左眼相对于每个裸眼3D显示屏的第一视角包含的视角方向(正视、侧视、俯视等)及在所对应视角方向的视角角度,将待显示的3D场景向该第一视角进行二维投影,如将3D场景中各个场景对象的三维模型、模型上各结构面的贴图、纹理、颜色等信息向该第一视角进行二维投影等,得到每个裸眼3D显示屏对应的匹配于用户左眼第一视角的左视差图像。
对于用户的左眼眼部空间信息,包括用户左眼相对于各个裸眼3D显示屏的第一视角和第一距离的情况,在对待显示的3D场景进行投影处理时,除了以第一视角包含的视角方向、角度等信息为投影依据,还结合考虑用户左眼相对于各个裸眼3D显示屏的第一距离,具体根据第一距离控制进行左眼视角投影时的场景深度,其中,第一距离越小,场景深度越小,第一距离越大,场景深度越大,以使用户处于与裸眼3D显示屏的不同距离时,能够对当前视角下的3D场景有不同的深度感知。
步骤402、根据用户右眼相对于每个裸眼3D显示屏的第二视角,或者根据用户右眼相对于每个裸眼3D显示屏的第二视角和第二距离,对待显示3D场景的场景内容信息进行2D投影处理,得到每个裸眼3D显示屏对应的右视差图像。
同理,对于用户的右眼眼部空间信息,仅包括用户右眼相对于各个裸眼3D显示屏的第二视角的情况,具体可根据用户右眼相对于每个裸眼3D显示屏的第二视角包含的视角方向(正视、侧视、俯视等)及在所对应视角方向的视角角度,将待显示的3D场景向该第二视角进行二维投影,如将3D场景中各个场景对象的三维模型、模型上各结构面的贴图、纹理、颜色等信息向该第二视角进行二维投影等,得到每个裸眼3D显示屏对应的匹配于用户右眼第二视角的右视差图像。
对于用户的右眼眼部空间信息,包括用户右眼相对于各个裸眼3D显示屏的第二视角和第二距离的情况,在对待显示的3D场景进行投影处理时,除了以第二视角包含的视角方向、角度等信息为投影依据,还结合考虑用户右眼相对于各个裸眼3D显示屏的第二距离,具体根据第二距离控制进行右眼视角投影时的场景深度,与左眼投影时的深度控制类似,第二距离越小,场景深度越小,第二距离越大,场景深度越大,使用户处于与裸眼3D显示屏的不同距离时,能够对当前视角下的3D场景有不同的深度感知。
步骤403、对各个裸眼3D显示屏分别对应的左视差图像和右视差图像进行交织处理,得到各个裸眼3D显示屏分别对应的裸眼3D效果的交织图像,作为各自的待显示图像。
在得到每个裸眼3D显示屏对应的左视差图像和右视差图像后,进一步对每个裸眼3D显示屏对应的左右视差图像进行交织处理,生成每个裸眼3D显示屏对应的交织图像。
其中,交织图像为裸眼3D效果的图像,在展示时能呈现裸眼3D效果。
本申请实施例具体利用预设交织算法,根据每个裸眼3D显示屏对应的左视差图像和右视差图像,以及每个裸眼3D显示屏的裸眼3D特征参数数据、人眼与该裸眼3D显示屏间的相对位置信息,为每个裸眼3D显示屏生成能呈现裸眼3D效果的交织图像。
可选的,本申请实施例中,裸眼3D显示屏的表面设置有多个用于实现裸眼3D效果的光学组件,所设置的光学组件,可以但不限于为用于实现裸眼3D效果的一系列柱状液晶透镜。裸眼3D显示屏的裸眼3D特征参数,可以为裸眼3D显示屏的表面设置的光学组件的相关参数,具体可以包括但不限于,单一液晶透镜在显示屏所覆盖的像素数,以及液晶透镜的光学参数等信息。液晶透镜的光学参数可以是透镜自身的焦距、厚度等参数信息。
步骤104、将各个待显示图像分别输出至对应的裸眼3D显示屏。
为各个裸眼3D显示屏生成的交织图像作为各个裸眼3D显示屏的待显示图像,相应可将生成的各个交织图像,分别一对一输出至对应的裸眼3D显示屏,进行裸眼3D效果的图像信息展示。
参见图5,提供了针对图3的示例,为每个裸眼3D显示屏生成裸眼3D效果的待显示图像的处理逻辑图,其中,分别通过对待显示的3D场景的投影处理,为图3中的裸眼3D显示屏1、2、3生成相匹配的左、右视差图像,并通过对每个裸眼3D显示屏的左、右视差图像进行交织处理,得到各显示屏分别对应的裸眼3D效果的交织图像,最终将各个交织图像向对应显示屏进行输出,实现在各个显示屏的裸眼3D效果的图像信息显示。
其中,各个裸眼3D显示屏上所显示的裸眼3D效果的图像,在用户视角发生变化时,能基于人眼追踪技术而匹配于用户视角同步变化,除此之外,可选的,当用户眼部相对于裸眼3D显示屏的距离发生变化时,所展示图像的深度也会匹配于距离同步变化,并随着深度变化产生裸眼3D画面的放大/缩小效果,从而实现构建无需佩戴眼镜以及头戴式设备的沉浸式空间,并模拟真实场景中人眼对3D场景的不同视角、距离下的观看效果。
综上所述,本申请的信息处理方法,针对待显示的3D场景,通过采用多个裸眼3D显示屏对其进行信息显示,并具体为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的裸眼3D效果的待显示图像,实现了基于多个裸眼3D显示屏的沉浸式空间构建,及基于沉浸式空间对待显示3D场景的多屏幕多视角的裸眼3D效果显示。裸眼3D显示屏通过双目视差带来的深度感会使用户拥有极强的临场感效果,且通过多个裸眼3D显示屏进行沉浸式空间构建,能够给用户更大的视场范围,整体沉浸感会更加的强烈。
在一实施例中,可选的,在基于多个裸眼3D显示屏实现对3D场景的多屏多视角裸眼3D效果显示时,可以有不同的应用模式,主要包括多屏统一场景模式和多屏独立场景模式。
其中,多屏统一场景模式下,各个裸眼3D显示屏分别显示至少匹配于各自所对应用户视角的待显示3D场景的完整区域图像,也即,该模式下,各个裸眼3D显示屏分别显示的场景区域是相同的,均为待显示3D场景的完整区域,区别在于,各个裸眼3D显示屏对待显示3D场景的完整区域的显示视角互不相同。
多屏独立场景模式下,各个裸眼3D显示屏分别显示至少匹配于各自所对应用户视角的待显示3D场景的不同局部区域图像,该模式下,各个裸眼3D显示屏除了显示视角互不相同,分别显示的场景区域也互不相同,所显示的场景区域分别为待显示3D场景的不同局部区域,且所显示的局部区域图像与用户相对于该裸眼3D显示屏的视角(或者视角与距离)相匹配。
实际应用中,用户可按需进行模式配置。其中,基于所配置的模式,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像,可进一步实现为如下的相应一种:
11)在多屏统一场景模式下,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的完整区域图像,作为各自的待显示图像。
该模式下,无需对待显示的3D场景进行场景分割,结合参见图6,直接根据各个裸眼3D显示屏分别对应的用户视角(如左眼对应的第一视角、右眼对应的第二视角),或者分别对应的用户视角与距离(如左眼对应的第一视角和第一距离、右眼对应的第二视角和第二距离),对待显示3D场景的完整场景区域进行匹配于各裸眼3D显示屏分别所对应用户视角或者分别所对应用户视角与距离的投影,即可为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的裸眼3D效果的待显示图像。
12)在多屏独立场景模式下,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的不同局部区域图像,作为各自的待显示图像。
与上一模式相区别,多屏独立场景模式下,可首先基于预设分割策略对待显示的3D场景的场景内容信息进行分割,得到数量为裸眼3D显示屏个数的多个子场景的子场景内容信息,之后基于多个子场景的子场景内容信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的不同子场景的子场景区域图像。
示例性的,上述预设分割策略,可以但不限于为:基于裸眼3D显示屏的数量,将待显示的3D场景的场景内容信息,按一定顺序(如,按场景对象布局位置从左至右或从右至左的顺序),分割成裸眼3D显示屏个数的多个子场景,且在分割时使各个子场景的子场景内容信息相互之间不存在重叠,或相邻子场景的子场景内容信息存在部分重叠。
各个裸眼3D显示屏与各个子场景一一对应,在基于预设分割策略对待显示3D场景的场景内容信息进行分割的基础上,如图7所示,可进一步针对每一裸眼3D显示屏,获取其对应的子场景的场景内容信息,并对该子场景进行匹配于其所对应用户视角(或视角与距离)的投影处理,得到每一裸眼3D显示屏的对应于其子场景的左、右视差图像,之后通过对左、右视差图像的交织处理,得到每一裸眼3D显示屏的对应于其子场景的交织图像,并在每一裸眼3D显示屏对为其生成的交织图像进行裸眼3D效果的图像显示。
可选的,可通过多屏幕同步渲染的技术,在多个裸眼3D显示屏对各自对应的交织图像进行裸眼3D效果的同步显示。
本实施例通过提供不同的多屏裸眼3D应用模式,可支持用户按需选择对应的模式,构建无需佩戴眼镜以及头戴式设备的沉浸式空间,并对待显示的3D场景进行多屏裸眼3D显示,使得多块裸眼3D屏幕呈现同一全局场景区域的多角度裸眼3D画面,或者呈现全局场景中不同子场景区域的对应角度裸眼3D画面,满足了用户对3D场景的多样化沉浸式空间构建需求,同时,采用本申请的方案后,裸眼3D显示屏通过双目视差带来的深度感会使用户拥有极强的临场感效果,并通过多屏幕同步渲染的技术,能够给用户更大的视场范围,整体沉浸感会更加的强烈。
对应于上述的信息处理方法,本申请实施例还提供一种信息处理装置,该装置的组成结构如图8所示,包括:
获取单元801,用于获取待显示的3D场景的场景内容信息;
确定单元802,用于确定用户眼部在当前空间对应的空间信息,得到用户的眼部空间信息;所述眼部空间信息至少包括:用户眼部分别相对于当前空间布置的多个裸眼3D显示屏的视角;
生成单元803,用于根据所述3D场景的场景内容信息和所述眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像;所述待显示图像为裸眼3D效果的图像;
输出单元804,用于将各个待显示图像分别输出至对应的裸眼3D显示屏。
在一实施方式中,生成单元803,具体用于:为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的左视差图像和右视差图像;对各个裸眼3D显示屏分别对应的左视差图像和右视差图像进行交织处理,得到各个裸眼3D显示屏分别对应的裸眼3D效果的交织图像,作为所述待显示图像。
在一实施方式中,确定单元802,具体用于:
获取所述多个裸眼3D显示屏在当前空间分别对应的屏幕位置信息;
获取通过对用户进行人眼追踪所得的双眼位置信息;
根据所述屏幕位置信息和所述双眼位置信息,确定用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,作为所述眼部空间信息,或者,确定用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,及用户左眼和右眼分别相对于各个裸眼3D显示屏的第一距离和第二距离,作为所述眼部空间信息。
在一实施方式中,生成单元803,具体用于:
根据用户左眼相对于每个裸眼3D显示屏的第一视角,或者根据用户左眼相对于每个裸眼3D显示屏的第一视角和第一距离,对所述3D场景的场景内容信息进行2D投影处理,得到每个裸眼3D显示屏对应的左视差图像;
根据用户右眼相对于每个裸眼3D显示屏的第二视角,或者根据用户右眼相对于每个裸眼3D显示屏的第二视角和第二距离,对所述3D场景的场景内容信息进行2D投影处理,得到每个裸眼3D显示屏对应的右视差图像;
对各个裸眼3D显示屏分别对应的左视差图像和右视差图像进行交织处理,得到各个裸眼3D显示屏分别对应的裸眼3D效果的交织图像,作为所述待显示图像。
在一实施方式中,确定单元802,在获取多个裸眼3D显示屏在当前空间分别对应的屏幕位置信息时,具体用于:
获取通过将各个裸眼3D显示屏映射到标定空间坐标系所得的各个屏幕位置信息;其中,各个裸眼3D显示屏在当前空间下按预设位置关系布局。
在一实施方式中,生成单元803,具体用于:
在多屏统一场景模式下,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的完整区域图像,作为所述待显示图像;
在多屏独立场景模式下,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的不同局部区域图像,作为所述待显示图像。
在一实施方式中,生成单元803,在为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的不同局部区域图像时,具体用于:
基于预设分割策略对所述3D场景的场景内容信息进行分割,得到数量为裸眼3D显示屏个数的多个子场景的子场景内容信息;
基于所述多个子场景的子场景内容信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的不同子场景的子场景区域图像。
在一实施方式中,各个子场景的子场景内容信息相互之间不存在重叠,或相邻子场景的子场景内容信息存在部分重叠。
对于本申请实施例公开的信息处理装置而言,由于其与上文方法实施例公开的信息处理方法相对应,所以描述的比较简单,相关相似之处请参见上文方法实施例的说明即可,此处不再详述。
本申请实施例还公开一种电子设备,具体可以是但不限于众多通用或专用的计算装置环境或配置下的设备,例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置等等。
电子设备的组成结构,如图9所示,至少包括:
存储器10,用于存放计算机指令集。
计算机指令集可以通过计算机程序的形式实现。
处理器20,用于通过执行计算机指令集,实现如上文任一方法实施例公开的信息处理方法。
处理器20可以为中央处理器(Central Processing Unit,CPU),特定应用集成电路(application-specific integrated circuit,ASIC),数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件等。
电子设备具备显示装置和/或具备显示接口、能外接显示装置。
可选的,电子设备还包括摄像头组件,和/或连接有外置摄像头组件。
除此之外,电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。
通信接口用于电子设备与其他设备之间的通信。通信总线可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,EISA)总线等,该通信总线可以分为地址总线、数据总线、控制总线等。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种信息处理方法,所述方法包括:
获取待显示的3D场景的场景内容信息;
确定用户眼部在当前空间对应的空间信息,得到用户的眼部空间信息;所述眼部空间信息至少包括:用户眼部分别相对于当前空间布置的多个裸眼3D显示屏的视角;
根据所述3D场景的场景内容信息和所述眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像;所述待显示图像为裸眼3D效果的图像;
将各个待显示图像分别输出至对应的裸眼3D显示屏。
2.根据权利要求1所述的方法,所述为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像,包括:
为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的左视差图像和右视差图像;
对各个裸眼3D显示屏分别对应的左视差图像和右视差图像进行交织处理,得到各个裸眼3D显示屏分别对应的裸眼3D效果的交织图像,作为所述待显示图像。
3.根据权利要求1所述的方法,所述确定用户眼部在当前空间对应的空间信息,得到用户的眼部空间信息,包括:
获取所述多个裸眼3D显示屏在当前空间分别对应的屏幕位置信息;
获取通过对用户进行人眼追踪所得的双眼位置信息;
根据所述屏幕位置信息和所述双眼位置信息,确定用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,作为所述眼部空间信息,或者,确定用户左眼和右眼分别相对于各个裸眼3D显示屏的第一视角和第二视角,及用户左眼和右眼分别相对于各个裸眼3D显示屏的第一距离和第二距离,作为所述眼部空间信息。
4.根据权利要求3所述的方法,所述根据所述3D场景的场景内容信息和所述眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像,包括:
根据用户左眼相对于每个裸眼3D显示屏的第一视角,或者根据用户左眼相对于每个裸眼3D显示屏的第一视角和第一距离,对所述3D场景的场景内容信息进行2D投影处理,得到每个裸眼3D显示屏对应的左视差图像;
根据用户右眼相对于每个裸眼3D显示屏的第二视角,或者根据用户右眼相对于每个裸眼3D显示屏的第二视角和第二距离,对所述3D场景的场景内容信息进行2D投影处理,得到每个裸眼3D显示屏对应的右视差图像;
对各个裸眼3D显示屏分别对应的左视差图像和右视差图像进行交织处理,得到各个裸眼3D显示屏分别对应的裸眼3D效果的交织图像,作为所述待显示图像。
5.根据权利要求3所述的方法,所述获取所述多个裸眼3D显示屏在当前空间分别对应的屏幕位置信息,包括:
获取通过将各个裸眼3D显示屏映射到标定空间坐标系所得的各个屏幕位置信息;其中,各个裸眼3D显示屏在当前空间下按预设位置关系布局。
6.根据权利要求1所述的方法,所述为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像,包括:
在多屏统一场景模式下,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的完整区域图像,作为所述待显示图像;
在多屏独立场景模式下,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的不同局部区域图像,作为所述待显示图像。
7.根据权利要求6所述的方法,所述为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的所述3D场景的不同局部区域图像,包括:
基于预设分割策略对所述3D场景的场景内容信息进行分割,得到数量为裸眼3D显示屏个数的多个子场景的子场景内容信息;
基于所述多个子场景的子场景内容信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的不同子场景的子场景区域图像。
8.根据权利要求7所述的方法,其中,各个子场景的子场景内容信息相互之间不存在重叠,或相邻子场景的子场景内容信息存在部分重叠。
9.一种信息处理装置,所述装置包括:
获取单元,用于获取待显示的3D场景的场景内容信息;
确定单元,用于确定用户眼部在当前空间对应的空间信息,得到用户的眼部空间信息;所述眼部空间信息至少包括:用户眼部分别相对于当前空间布置的多个裸眼3D显示屏的视角;生成单元,用于根据所述3D场景的场景内容信息和所述眼部空间信息,为各个裸眼3D显示屏分别生成至少匹配于各自所对应用户视角的待显示图像;所述待显示图像为裸眼3D效果的图像;
输出单元,用于将各个待显示图像分别输出至对应的裸眼3D显示屏。
10.一种电子设备,包括:
存储器,用于至少存储一组计算机指令集;
处理器,用于通过调用并执行所述存储器中存储的所述指令集,实现如权利要求1-8任一项所述的信息处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211510089.7A CN115767068A (zh) | 2022-11-29 | 2022-11-29 | 一种信息处理方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211510089.7A CN115767068A (zh) | 2022-11-29 | 2022-11-29 | 一种信息处理方法、装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115767068A true CN115767068A (zh) | 2023-03-07 |
Family
ID=85340085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211510089.7A Pending CN115767068A (zh) | 2022-11-29 | 2022-11-29 | 一种信息处理方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115767068A (zh) |
-
2022
- 2022-11-29 CN CN202211510089.7A patent/CN115767068A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9684994B2 (en) | Modifying perspective of stereoscopic images based on changes in user viewpoint | |
US7796134B2 (en) | Multi-plane horizontal perspective display | |
US20130234934A1 (en) | Three-Dimensional Collaboration | |
US20120162384A1 (en) | Three-Dimensional Collaboration | |
Tomioka et al. | Approximated user-perspective rendering in tablet-based augmented reality | |
US20060250391A1 (en) | Three dimensional horizontal perspective workstation | |
CN107193372A (zh) | 从多个任意位置矩形平面到可变投影中心的投影方法 | |
KR20170134513A (ko) | 오브젝트를 표시하는 방법 | |
WO2006104493A2 (en) | Horizontal perspective display | |
CN109598796A (zh) | 将真实场景与虚拟物体进行3d融合显示的方法和装置 | |
CN105704479A (zh) | 3d显示系统用的测量人眼瞳距的方法及系统和显示设备 | |
CN108076208B (zh) | 一种显示处理方法及装置、终端 | |
US9933626B2 (en) | Stereoscopic image | |
WO2010085549A1 (en) | System and method for three-dimensional visualization of geographical data | |
EP3435670A1 (en) | Apparatus and method for generating a tiled three-dimensional image representation of a scene | |
CN112929651A (zh) | 一种显示方法、装置、电子设备及存储介质 | |
CN115529835A (zh) | 用于新颖视图合成的神经混合 | |
WO2017062730A1 (en) | Presentation of a virtual reality scene from a series of images | |
Mulligan et al. | Stereo-based environment scanning for immersive telepresence | |
US20190281280A1 (en) | Parallax Display using Head-Tracking and Light-Field Display | |
US20200285308A1 (en) | A method of modifying an image on a computational device | |
CN102780900B (zh) | 一种多人多视角立体显示器影像显示方法 | |
CN115767068A (zh) | 一种信息处理方法、装置和电子设备 | |
CN110390686A (zh) | 裸眼3d显示方法及系统 | |
Miyashita et al. | Perceptual Assessment of Image and Depth Quality of Dynamically Depth-compressed Scene for Automultiscopic 3D Display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |