发明内容
本申请的目的在于,提供一种基于三维场景的界面切换方法、车机设备及车辆,其可以解决上述技术问题,实现界面的无边界切换,使界面切换不受二维空间及视角的限制,具有更加真实且人性化的切换体验,临近感增强。
为解决上述技术问题,本申请提供一种基于三维场景的界面切换方法,包括:
在当前的三维场景显示界面上实时检测预设的操作信息;
当检测到预设的操作信息时,根据所述操作信息产生界面切换指令;
根据所述界面切换指令对应的镜头转换动作切换当前的三维场景显示界面中的组件以展示切换后的三维场景显示界面。
其中,所述预设的操作信息包括在当前的三维场景显示界面上进行点击操作、转动操作、滑动操作、语音控制操作和/或体感操作。
其中,所述点击操作,包括在当前的三维场景显示界面上检测到通过触摸手势点击用于进行界面切换的组件;
所述转动操作,包括在当前的三维场景显示界面上检测到通过触摸手势以弧线方式连续移动;
所述滑动操作,包括在当前的三维场景显示界面上检测到通过触摸手势沿预设直线方向连续移动;
所述语音控制操作,包括在当前的三维场景显示界面上检测到通过语音进行界面切换的控制信息;
所述体感操作,包括在当前的三维场景显示界面上检测到通过身体动作进行界面切换的控制信息。
其中,所述根据所述界面切换指令对应的镜头转换动作切换当前的三维场景显示界面中的组件以展示切换后的三维场景显示界面,包括:
确定所述界面切换指令的切换类型,所述切换类型包括切换应用、切换菜单级别;
根据所述切换类型获取对应的镜头转换动作以切换当前的三维场景显示界面中的组件;
展示切换后的三维场景显示界面。
其中,所述根据所述切换类型获取对应的镜头转换动作以切换当前的三维场景显示界面中的组件,包括:
若所述切换类型为切换应用,则获取待切换应用,根据所述待切换应用对应的镜头转换动作控制当前的三维场景显示界面中的原有组件进行显示变化并将所述待切换应用的组件加入当前的三维场景显示界面中;
若所述切换类型为切换菜单级别,则根据菜单级别的变化获取待展示菜单,根据所述待展示菜单对应的镜头转换动作控制当前的三维场景显示界面中的原有组件退出显示并将所述待展示菜单的组件加入当前的三维场景显示界面中。
其中,所述镜头转换动作包括推镜头、拉镜头、摇镜头、移镜头、升降镜头、景深变化中的至少一种。
其中,所述在当前的三维场景显示界面上实时检测预设的操作信息之前,所述方法还包括:
获取二维显示界面;
根据所述二维显示界面获取对应的现实场景;
对所述现实场景进行模拟以得到所述现实场景的模拟场景;
对所述模拟场景进行第三维度纵深处理、透视处理和光影处理以得到三维场景显示界面。
其中,所述第三维度纵深处理,包括:
将所述二维显示界面和所述现实场景结合并以三维立体的形式显示,并突出第三维度的深度空间。
本申请还提供一种车机设备,所述车机设备包括处理器,所述处理器用于执行程序数据,以实现如上所述的基于三维场景的界面切换方法。
本申请还提供一种车辆,所述车辆配置有如上所述的车机设备。
本申请的基于三维场景的界面切换方法、车机设备及车辆,在当前的三维场景显示界面上实时检测预设的操作信息;当检测到预设的操作信息时,根据操作信息产生界面切换指令;根据界面切换指令对应的镜头转换动作切换当前的三维场景显示界面中的组件以展示切换后的三维场景显示界面。通过这种方式,本申请能够实现界面的无边界切换,使界面切换不受二维空间及视角的限制,具有更加真实且人性化的切换体验,临近感增强。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
具体实施方式
为更进一步阐述本申请为达成预定申请目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本申请基于三维场景的界面切换方法、车机设备及车辆提出的具体实施方式、方法、步骤、结构、特征及其效果,详细说明如下。
有关本申请的前述及其他技术内容、特点及功效,在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明,当可对本申请为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解,然而所附图式仅是提供参考与说明之用,并非用来对本申请加以限制。
图1是根据一示例性实施例示出的一种基于三维场景的界面切换方法的流程示意图。请参考图1,本实施例的基于三维场景的界面切换方法,包括但不限于以下步骤:
步骤110,在当前的三维场景显示界面上实时检测预设的操作信息。
在一实施方式中,三维场景显示界面通过以下步骤实现:
获取二维显示界面;
根据二维显示界面获取对应的现实场景;
对现实场景进行模拟以得到现实场景的模拟场景;
对模拟场景进行第三维度纵深处理、透视处理和光影处理以得到三维场景显示界面。
其中,第三维度纵深处理,包括:将二维显示界面和现实场景结合并以三维立体的形式显示,并突出第三维度的深度空间。例如通过灰度渲染的方式突出透视效果、光影效果。
其中,根据二维显示界面获取对应的现实场景,具体包括:
使用深度相机采集深度现实场景视频和彩色现实场景数据,当接收到一帧新的彩色图像数据/深度图像数据时,将图像数据保存到数组中,并启动一个新线程异步对当前的彩色图像数据进行图像处理,图像处理具体为将当前图片的像素数据绘制到用户界面的位图当中,并根据深度现实场景视频和彩色视频的每一帧图像的详细信息滤除深度现实场景视频和彩色视频的部分图像,从而实现过滤处理;
结合平面坐标和深度值将经过滤除处理的深度现实场景视频转换为三维点云数据,再根据三维点云数据建立虚拟场景模型;
从经过滤除处理的彩色现实场景数据中获取三维点云数据中每个点对应的颜色,并应用于虚拟场景模型之中,得到彩色虚拟场景模型;
将彩色虚拟场景模型的数据转换为3D(三维)文件格式。
实际实现时,使用深度相机采集深度现实场景视频和彩色现实场景数据,具体包括如下过程:
使用深度相机采集深度现实场景视频和彩色现实场景数据;
读取深度相机采集的深度现实场景视频和彩色现实场景数据的视频流;
读取深度相机采集的深度现实场景视频和彩色视频的每一帧图像的详细信息,并根据每一帧图像的详细信息滤除深度现实场景视频和彩色视频的部分图像。
在一实施方式中,对模拟场景进行第三维度纵深处理、透视处理和光影处理以得到三维场景显示界面之后,还包括:对三维场景显示界面进行可操作性优化处理,以优化与用户之间的交互操作性能。
其中,对三维场景显示界面进行可操作性优化处理,具体包括:利用模拟场景处理以得到具有类似真实物体的视觉模拟效果。
在一实施方式中,对三维场景显示界面进行可操作性优化处理,以优化与用户之间的交互操作性能之后,还包括:
接收表示第一目标图像和第二目标图像的第一目标图像数据和第二目标图像数据以供在三维场景显示界面上同时显示,其中,第一目标图像数据和第二目标图像数据中的至少一个表示三维立体图像数据;
确定第一目标图像的感知深度,并确定第二目标图像的感知深度,其中,确定第一目标图像的感知深度和确定第二目标图像的感知深度中的至少一个是通过读取与第一目标图像和第二目标图像中的至少一个相关联的元数据或通过对第一目标图像数据和第二目标图像数据中的至少一个的深度分析而得到的;
在第一目标图像数据和第二目标图像数据存在深度重叠的情况下,通过压缩第一目标图像数据和第二目标图像数据中的至少一个的感知深度来转换第一目标图像数据和第二目标图像数据中的至少一个的感知深度;
转换第一目标图像数据和第二目标图像数据中的至少一个,以便将所感知的第二目标图像定位于当在立体显示器上被观看时将被用户感知为位于一深度处的位置,使得第二目标图像当被立体地观看时看起来完全位于第一目标图像和用户之间。
在一实施方式中,对三维场景显示界面进行可操作性优化处理,以优化与用户之间的交互操作性能之后,还包括:
车机设备接收用于将屏幕转换为第一目标图像的屏幕的信号;
计算第一目标图像与当前正显示的第二目标图像之间的按照频道顺序的关系;
根据计算出的关系,将第一目标图像的一部分图像输出到输出第二目标图像的图像的区域上;
输出第一目标图像的图像,不输出第二目标图像的图像,并将第二目标图像的缩小屏幕输出到屏幕,且输出第一目标图像以使其与第二目标图像相连。
其中,将第二目标图像的缩小屏幕输出到屏幕,且输出第一目标图像以使其与第二目标图像相连的步骤,还包括:
将第一目标图像的图像输出在第二目标图像的图像的上下方向上或左右方向上,从而使第一目标图像的图像与第二目标图像的图像交迭;
或,将第一目标图像的图像输出在第二目标图像的上下方向上或左右方向上,从而根据第一目标图像的输出,第二目标图像的一部分图像从屏幕上消失。
不难理解的是,通过上述方式能够把二维的UI用户界面设计以三维立体的形式展现,突出第三维度的深度空间,并且通过对现实场景拍摄的模拟,增强了透视效果,展现全方位空间,不受场景限制,扩大了用户对界面的控制。
具体来说,上述三维立体化UI是将二维平面设计与三维立体化相结合,打造具有空间立体感、以及自然光影效果的界面视觉表现新形式。同时,三维场景显示界面具有模拟真实物体的视觉效果,具备真实性、可操作性利于用户的交互操作。此外,上述场景化UI的设计,可以实现新形式的用户体验效果,用户可以体验沉浸式视觉体验,三维全景展现能给人临近感,同时,用户对于界面中的信息可以浏览的更加透彻,不会受到视角限制。
通过上述方式能够将三维立体化用户界面与二维平面设计相结合,打造具有空间立体感、以及自然光影效果的界面的视觉表现新形式,而且视觉效果好,用户可操作性强,增强了用户体验。
在展示三维场景显示界面后,用户可以在界面上进行界面切换操作以打开相应的应用程序、获取关注的内容或切换操作菜单等,当前三维场景显示界面上展示的组件不限于包括应用程序图标、应用程序窗口、应用程序的三维简化图像、用于进行界面切换的控件等。
在一实施方式中,预设的操作信息包括在当前的三维场景显示界面上进行点击操作、转动操作、滑动操作、语音控制操作和/或体感操作。
其中,点击操作包括在当前的三维场景显示界面上检测到通过触摸手势点击用于进行界面切换的组件,例如点击展示在三维场景显示界面上的切换控件以发出向左切换、向右切换、向上切换、向下切换的操作信息,点击操作还可以包括在当前的三维场景显示界面上检测到通过触摸手势点击目标组件以打开对应应用程序的窗口组件;转动操作包括在当前的三维场景显示界面上检测到通过触摸手势以弧线方式连续移动,例如通过一个手指在屏幕上以弧线的方式向左、向右滑动以发出向左转动切换、向右转动切换的操作信息;滑动操作包括在当前的三维场景显示界面上检测到通过触摸手势沿预设直线方向连续移动,例如通过一个手指沿直线方向向左、向右滑动以发出向左切换、向右切换、上级菜单、下级菜单的操作信息;语音控制操作包括在当前的三维场景显示界面上检测到通过语音进行界面切换的控制信息,例如通过语音说“打开导航”发出打开导航应用的控制信息,或者通过语音说“打开主页”发出切换菜单级别的控制信息;体感操作包括在当前的三维场景显示界面上检测到通过身体动作进行界面切换的控制信息,例如通过点头发出打开位于界面最前端的应用程序的控制信息,或通过点头发出关闭位于界面最前端的应用程序的控制信息。应理解,预设的操作信息不以此为限。
步骤120,当检测到预设的操作信息时,根据操作信息产生界面切换指令。
其中,通过点击操作可发出向左切换、向右切换、向上切换、向下切换的操作信息,对应的界面切换指令例如为同级菜单切换指令,通过点击操作还可发出启动应用的操作信息,对应的界面切换指令为启动应用指令,转动操作可以发出向左转动切换、向右转动切换的操作信息,对应的界面切换指令例如为同级菜单切换指令、上下级菜单切换指令,滑动操作可以发出向左切换、向右切换、上级菜单、下级菜单的操作信息,对应的界面切换指令例如为同级菜单切换指令、上下级菜单切换指令,语音控制操作可以发出启动应用的操作信息、切换菜单的操作信息,对应的界面切换指令例如为启动应用指令、同级菜单切换指令、上下级菜单切换指令,体感操作同样可以发出启动应用的操作信息、切换菜单的操作信息,对应的界面切换指令例如为启动应用指令、同级菜单切换指令、上下级菜单切换指令。应理解,界面切换指令与操作信息的对应关系不以此为限。
步骤130,根据界面切换指令对应的镜头转换动作切换当前的三维场景显示界面中的组件以展示切换后的三维场景显示界面。
其中,镜头转换动作是指模拟摄影技巧中的镜头转换动作对当前的三维场景显示界面进行视角变化、距离变化、虚实变化的过程,不同的界面切换指令对应不同的镜头转换动作,相同类型的界面切换指令则可对应相同的镜头转换动作,以使界面切换的过程符合用户操作的感官认知,从而赋予用户沉浸式的操作体验。实际实现时,语音控制操作与体感操作产生的界面切换指令所对应的镜头转换动作与通过触摸手势产生的同类型的界面切换指令的镜头转换动作相同。
在一实施方式中,镜头转换动作包括推镜头、拉镜头、摇镜头、移镜头、升降镜头、景深变化中的至少一种,但不以此为限。
在一实施方式中,根据界面切换指令对应的镜头转换动作切换当前的三维场景显示界面中的组件以展示切换后的三维场景显示界面,包括:
确定界面切换指令的切换类型,切换类型包括切换应用、切换菜单级别;
根据切换类型获取对应的镜头转换动作以切换当前的三维场景显示界面中的组件;
展示切换后的三维场景显示界面。
在一实施方式中,根据切换类型获取对应的镜头转换动作以切换当前的三维场景显示界面中的组件,包括:
若切换类型为切换应用,则获取待切换应用,根据待切换应用对应的镜头转换动作控制当前的三维场景显示界面中的原有组件进行显示变化并将待切换应用的组件加入当前的三维场景显示界面中;
若切换类型为切换菜单级别,则根据菜单级别的变化获取待展示菜单,根据待展示菜单对应的镜头转换动作控制当前的三维场景显示界面中的原有组件退出显示并将待展示菜单的组件加入当前的三维场景显示界面中。
其中,以启动导航应用为例对切换类型为切换应用的界面切换过程进行描述,当用户通过语音“打开导航”唤醒导航应用时,导航应用组件进入当前的三维场景显示界面中,切换过程中,控制当前的三维场景显示界面中的原有组件进行显示变化并将待切换应用的组件加入当前的三维场景显示界面中,具体而言,当前的三维场景显示界面中的原有组件,例如日历窗口、天气窗口等组件通过景深变化或拉镜头的方式后移至离用户较远的深度处而作为导航应用组件的背景,随着景深或距离的变化,导航应用组件进入镜头取景范围内且镜头的焦点转移到导航应用组件上,导航应用组件采用三维立体模型呈现,其中的建筑和道路从三维场景内自然生长出现,可以和其他组件很好的融合到画面中。实际实现时,不同待切换应用对应的镜头转换动作不同,使用户在虚拟的三维界面中可根据镜头转换实现不同模块的切换体验。
其中,切换菜单级别可以包括同级菜单切换、上下级菜单切换,在确定切换菜单级别的变化情况后可获取待展示的菜单,进而根据待展示菜单对应的镜头转换动作控制当前的三维场景显示界面中的原有组件退出显示并将待展示菜单的组件加入当前的三维场景显示界面中,例如,通过摇镜头的方式使原有组件离开取景范围而消失并使同级菜单的组件进入镜头取景范围以显示在当前的三维场景显示界面中,或者通过拉镜头的方式使原有组件逐渐变小而消失并使同级菜单的组件进入镜头取景范围以显示在当前的三维场景显示界面中。实际实现时,不同待展示的菜单对应的镜头转换动作不同,例如A菜单采用摇镜头的方式切换进行显示,B菜单采用拉镜头的方式切换进行显示,使用户在虚拟的三维界面中可根据镜头转换实现不同模块的切换体验。
通过上述方式,在整个切换界面的过程中,没有明显的界面切换感,通过在三维场景中通过纵深摄像的手段对用户进行信息指引在视觉感知中更直观形象,更精确科学。此外,创新的三维界面体验,三维无边界的场景切换方式更加自然的展示了界面切换转场,用户沉浸感增强。
不难理解的是,本申请通过在三维空间中对镜头推、拉、摇、移以及景深的虚实变化等控制实现界面主体的切换,使得用户在实际体验中以更为立体、直观的临近感得以清晰的接收界面信息。
本申请的基于三维场景的界面切换方法、车机设备及车辆,在当前的三维场景显示界面上实时检测预设的操作信息,当检测到预设的操作信息时,根据操作信息产生界面切换指令,以及,根据界面切换指令对应的镜头转换动作切换当前的三维场景显示界面中的组件以展示切换后的三维场景显示界面。通过这种方式,本申请能够实现界面的无边界切换,使界面切换不受二维空间及视角的限制,具有更加真实且人性化的切换体验,临近感增强。
图2是根据一示例性实施例示出的一种车机设备的模块示意图。如图2所示,本实施例的车机设备包括存储器210和处理器220,存储器210存储有至少一条程序指令,处理器220通过加载并执行所述至少一条程序指令以实现的图1及其实施方式所述的三维场景的界面切换方法。
在一实施方式中,所述车机设备还可以设有车机通讯模块,所述车机通讯模块支持3G网络、4G网络、5G网络、WIFI网络和/或蓝牙。
在一实施方式中,所述车机设备通过物理屏幕或者虚拟屏幕投影的方式显示所述三维场景显示界面。
本实施例的处理器220的具体工作过程及步骤请参考图1及其实施方式的描述,在此不再赘述。
本申请还提供一种车辆,所述车辆配置有如上所述的车机设备。
需要说明的是,本实施方式车机设备、车辆均可以采用WIFI技术或5G技术等,比如利用5G车联网网络实现与服务器、其他车机设备、终端的网络连接,5G技术可以是一个面向场景化的技术,利用5G技术对车辆起到关键的支持作用,其同时实现连接人、连接物或连接车辆,其具体可以采用下述三个典型应用场景组成。
第一个是eMBB(Enhance Mobile Broadband,增强移动宽带),使用户体验速率在0.1~1gpbs,峰值速率在10gbps,流量密度在10Tbps/km2;
第二个超可靠低时延通信,本申请可以实现的主要指标是端到端的时间延迟为ms(毫秒)级别;可靠性接近100%;
第三个是mMTC(海量机器类通信),本申请可以实现的主要指标是连接数密度,每平方公里连接100万个其他终端,10^6/km2。
本申请的车机设备及车辆,在当前的三维场景显示界面上实时检测预设的操作信息,当检测到预设的操作信息时,根据操作信息产生界面切换指令,以及,根据界面切换指令对应的镜头转换动作切换当前的三维场景显示界面中的组件以展示切换后的三维场景显示界面。通过这种方式,本申请能够实现界面的无边界切换,使界面切换不受二维空间及视角的限制,具有更加真实且人性化的切换体验,临近感增强。
以上所述,仅是本申请的较佳实施例而已,并非对本申请作任何形式上的限制,虽然本申请已以较佳实施例揭露如上,然而并非用以限定本申请,任何熟悉本专业的技术人员,在不脱离本申请技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本申请技术方案内容,依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本申请技术方案的范围内。