CN113223186B - 实现增强现实的处理方法、设备、产品和装置 - Google Patents
实现增强现实的处理方法、设备、产品和装置 Download PDFInfo
- Publication number
- CN113223186B CN113223186B CN202110767428.9A CN202110767428A CN113223186B CN 113223186 B CN113223186 B CN 113223186B CN 202110767428 A CN202110767428 A CN 202110767428A CN 113223186 B CN113223186 B CN 113223186B
- Authority
- CN
- China
- Prior art keywords
- camera
- scene
- processing
- rendering
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种实现增强现实的处理方法、设备、产品和装置,用于终端,所述终端连接摄像头并通过所述摄像头获取现实场景,所述终端与独立应用通信,独立应用包括预设独立应用窗口,其中,所述实现增强现实的处理方法包括:获取待转换场景的类型,根据待转换场景的类型对待转换场景设置虚拟相机,虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机;根据待转换场景对背景相机和物体相机分别设置渲染纹理;获取预设着色程序,通过预设着色程序对添加渲染纹理后的背景相机进行着色程序处理;融合物体相机的渲染纹理、经过着色程序处理的背景相机的渲染纹理以及现实场景,通过预设独立应用窗口输出显示场景。本发明实现共享AR效果。
Description
技术领域
本发明涉及互联网领域,尤其涉及一种实现增强现实的处理方法、设备、产品和装置。
背景技术
增强现实(AR)技术是一种实时计算摄像机影像并加上相应图像、视频、3D模型的技术,它可以在屏幕上把虚拟世界套在现实世界并进行互动。近年来,AR在移动设备上应用广泛,但是移动端由于设备的限制,因此难以连接多端进行同时观看或同时进行人机交互,导致AR难以大规模普及。
发明内容
本发明的主要目的在于提供一种增强现实的处理方法、设备、产品和装置,可应用于共享显示AR效果。
为实现上述目的,本发明提供一种实现增强现实的处理方法,用于终端,所述终端连接摄像头并通过所述摄像头获取现实场景,所述终端与独立应用通信,独立应用包括预设独立应用窗口,其中,所述实现增强现实的处理方法包括以下步骤:
获取待转换场景的类型,根据所述待转换场景的类型对待转换场景设置虚拟相机,所述虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机;
根据所述待转换场景对所述背景相机和所述物体相机分别设置渲染纹理;
获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理;
融合物体相机的渲染纹理、经过着色程序处理的背景相机的渲染纹理以及所述现实场景,通过所述预设独立应用窗口输出显示场景。
可选地,所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤包括:
根据所需实现效果创建着色器,并通过所述着色器对背景相机中的渲染纹理进行处理;
所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤之后还包括步骤:
将所述物体相机中的渲染纹理以及经过所述着色器处理的背景相机中的渲染纹理传送至预设独立应用窗口;
将所述独立应用窗口内的物体相机的渲染纹理、经过着色器处理的背景相机中的渲染纹理与所述现实场景进行融合,输出显示场景。
可选地,所述根据所述待转换场景对所述背景相机和所述物体相机分别设置渲染纹理的步骤之后,还包括:
将所述物体相机中的渲染纹理以及所述背景相机中的渲染纹理传送至预设独立应用窗口;
所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤包括:
创建着色器,并通过所述着色器对所述独立应用窗口内背景相机的渲染纹理进行处理。
可选地,所述获取待转换场景的类型,根据所述待转换场景的类型对待转换场景设置虚拟相机,所述虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机的步骤之前,包括:
创建用于校准场景和输出场景的独立应用窗口。
可选地,所述创建用于校准场景和输出场景的独立应用窗口的步骤包括:
基于光学识别技术确定当前屏幕的参数,根据所述当前屏幕的参数确定渲染参数;
根据所述渲染参数确认显示场景的参数;
所述通过所述预设独立应用窗口输出显示场景的步骤包括:
通过所述预设独立应用窗口输出与所述当前屏幕参数对应的显示场景。
可选地,所述获取待转换场景的类型,根据所述待转换场景的类型对待转换场景设置虚拟相机,所述虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机的步骤包括:
根据待转换场景的类型在待转换场景中创建多台虚拟相机,对多台所述虚拟相机设置渲染背景的图层,生成背景相机,对多台所述虚拟相机设置渲染物体的图层,生成物体相机;和/或,
根据待转换场景的类型在待转换场景中创建多台虚拟相机,多台所述虚拟相机包括用于处理背景的背景相机和用于处理物体的物体相机,按预设位置和预设方向调整多台所述虚拟相机的位置和方向。
可选地,通过所述预设独立应用窗口输出显示场景的步骤之后,包括:
根据获取的操作指令更新输出的显示场景。
本发明还提供一种实现增强现实的处理设备,其特征在于,所述实现增强现实的处理设备包括第一客户端,所述第一客户端连接摄像头并搭载3D处理引擎,所述3D处理引擎在处理待处理场景时应用上述实现增强现实的处理方法。
可选地,所述实现增强现实的处理设备还包括第二客户端,所述第二客户端连接于所述第一客户端,所述第二客户端接收并输出所述显示场景。
本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述实现增强现实的处理方法的步骤。
本发明还提供一种实现增强现实的处理装置,所述实现增强现实的处理装置包括:
获取模块,用于获取待转换场景和现实场景;
渲染模块,用于获取待转换场景的类型,根据所述待转换场景的类型对待转换场景设置虚拟相机,所述虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机;根据所述待转换场景对所述背景相机和所述物体相机分别设置渲染纹理;获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理;融合物体相机的渲染纹理、经过着色程序处理的背景相机的渲染纹理以及所述现实场景;
显示模块,用于通过预设独立应用窗口输出显示场景。
本发明通过创建背景相机和物体相机,渲染处理导入或获取的待处理场景,包括待处理场景中的物体和背景,其中,在背景相机和物体相机分别添加渲染纹理,并对背景相机进一步添加着色器进行处理,从而得到实时更新并具有渲染效果和渲染色彩的场景,通过进一步在独立应用窗口融合物体相机的渲染纹理、经过着色器处理的背景相机的渲染纹理以及现实场景,可通过独立应用窗口输出显示场景,从而共享AR显示效果。
附图说明
图1是本发明实现增强现实的处理方法涉及的硬件运行环境的终端结构示意图;
图2为本发明实现增强现实的处理方法一实施例的流程示意图;
图3为本发明实现增强现实的处理设备一实施例的系统结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为PC端、手机、显示设备等。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在终端设备移动到耳边时,关闭显示屏和/或背光。当然,终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及实现增强现实的处理程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的实现增强现实的处理程序,并执行以下操作:
获取待转换场景的类型,根据所述待转换场景的类型对待转换场景设置虚拟相机,所述虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机;
根据所述待转换场景对所述背景相机和所述物体相机分别设置渲染纹理;
获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理;
融合物体相机的渲染纹理、经过着色程序处理的背景相机的渲染纹理以及所述现实场景,通过所述预设独立应用窗口输出显示场景。
进一步地,处理器1001可以用于调用存储器1005中存储的实现增强现实的处理程序,并执行以下操作:
根据所需实现效果创建着色器,并通过所述着色器对背景相机中的渲染纹理进行处理;
所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤之后还包括步骤:
将所述物体相机中的渲染纹理以及经过所述着色器处理的背景相机中的渲染纹理传送至预设独立应用窗口;
将所述独立应用窗口内的物体相机的渲染纹理、经过着色器处理的背景相机中的渲染纹理与所述现实场景进行融合,输出显示场景。
进一步地,处理器1001可以用于调用存储器1005中存储的实现增强现实的处理程序,并执行以下操作:
将所述物体相机中的渲染纹理以及所述背景相机中的渲染纹理传送至预设独立应用窗口;
所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤包括:
创建着色器,并通过所述着色器对所述独立应用窗口内背景相机的渲染纹理进行处理。
进一步地,处理器1001可以用于调用存储器1005中存储的实现增强现实的处理程序,并执行以下操作:
基于光学识别技术确定当前屏幕的参数,根据所述当前屏幕的参数确定渲染参数;
根据所述渲染参数确认显示场景的参数;
所述通过所述预设独立应用窗口输出显示场景的步骤包括:
通过所述预设独立应用窗口输出与所述当前屏幕参数对应的显示场景。
进一步地,处理器1001可以用于调用存储器1005中存储的实现增强现实的处理程序,并执行以下操作:
根据待转换场景的类型在待转换场景中创建多台虚拟相机,对多台所述虚拟相机设置渲染背景的图层,生成背景相机,对多台所述虚拟相机设置渲染物体的图层,生成物体相机;和/或,
根据待转换场景的类型在待转换场景中创建多台虚拟相机,多台所述虚拟相机包括用于处理背景的背景相机和用于处理物体的物体相机,按预设位置和预设方向调整多台所述虚拟相机的位置和方向。
进一步地,处理器1001可以用于调用存储器1005中存储的实现增强现实的处理程序,并执行以下操作:
创建用于校准场景和输出场景的独立应用窗口。
进一步地,处理器1001可以用于调用存储器1005中存储的实现增强现实的处理程序,并执行以下操作:
根据获取的操作指令更新输出的显示场景。
本发明提供一种实现增强现实的处理方法,在实现增强现实的处理方法一实施例中,参考图2,实现增强现实的处理方法包括以下步骤:
步骤S10,获取待转换场景的类型,根据所述待转换场景的类型对待转换场景设置虚拟相机,所述虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机。
需要说明的是,Unity(游戏引擎)可供创作者制作3D互动内容的开发工具,并将3D互动内容可适用于多种不同的手机客户端、PC端、增强现实(AR),虚拟现实设备,由于Unity可匹配当前主流平台,因此通过Unity制作处的3D互动内容可直接发布并应用于相关平台,节省对不同平台进行创造并进行移植的时间,进一步的,AR(增强现实)将虚拟信息与现实场景进行融合,使使用者获得沉浸式体验,通过Unity与AR设备的结合,可实现使用者与虚拟信息进行交互,本实施例中以Unity引擎进行说明,当然,在其他实施例中,还可通过其他引擎处理,如UE4引擎等。其中,待转换场景可通过其他绘图工具导入,也可直接在Unity中创建,待转换场景包括但不限于图片、文字以及物体模型等,本实施例中以物体模型为例,物体模型中包括物体以及物体所处的背景,而在输出时,物体的背景可进行选择性的输出,如应用于展示零部件的AR设备,只需物体与现实场景进行融合,在一些实施例中,可通过Render Texture将物体背景渲染为透明纹理将物体输出,然而物体的背景仍然存在,占用内存。
可以理解的,结合所需的成像效果以及人眼的视觉条件,可在场景中设置一个或多个相机进行拍摄和渲染。
步骤S20,根据所述待转换场景对所述背景相机和所述物体相机分别设置渲染纹理。
需要说明的是,渲染纹理或渲染贴图Render Texture能呈现相机实时渲染效果且在运行时不断更新,通过对制定相机制定渲染纹理Render Texture可使相机对带处理场景具有一定纹理效果,如渲染黑白场景、添加材质的纹理等。
步骤S30,获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理。
其中,着色器Shader为着色器程序,可对渲染场景进行顶点着色、像素着色等,由于着色器Shader处理是CPU和GPU配合执行的,而着色器Shader处理根据设定可实现不同的效果,如像素叠加、滤色、颜色的线性变化等,其处理过程复杂,因此着色器Shader的运行、转换以及计算易引起内存占用引起的卡顿,从而导致实现增强现实的处理设备画面卡顿以及发热。
步骤S40,融合物体相机的渲染纹理、经过着色程序处理的背景相机的渲染纹理以及所述现实场景,通过所述预设独立应用窗口输出显示场景。
可以理解的,通过对相机进行分类以及对待转换场景分步进行Render Texture和着色器Shader处理,从而得到实时更新并具有渲染效果和渲染色彩的场景,通过独立应用窗口对物体相机的渲染纹理、经过着色器处理的背景相机的渲染纹理以及现实场景进行融合,可得到虚实结合的AR效果,进一步通过独立应用窗口输出显示场景,实现共享AR效果。
进一步地,步骤S30包括:
步骤S301,根据所需实现效果创建着色器,并通过所述着色器对背景相机中的渲染纹理进行处理。
所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤之后还包括步骤:
步骤S31,将所述物体相机中的渲染纹理以及经过所述着色器处理的背景相机中的渲染纹理传送至预设独立应用窗口。
本实施例中,将着色器Shader用作于背景相机,通过着色器Shader对待处理场景中不需要的背景进行裁剪或遮罩,从而通过减少着色器Shader的计算量对GPU进行优化,以减少对GPU的影响,避免实现增强现实的处理设备的发热情况。
进一步地,基于前述实施例,提出第一实施例,步骤S20之后包括:
步骤S21,将所述物体相机中的渲染纹理以及所述背景相机中的渲染纹理传送至预设独立应用窗口。
步骤S30包括:
步骤S302,创建着色器,并通过所述着色器对所述独立应用窗口内背景相机的渲染纹理进行处理。
可以理解的,通过先将将物体相机中的渲染纹理Render Texture以及经过着色器Shader处理的背景相机中的渲染纹理Render Texture传送至独立应用窗口,再对独立应用窗口内的背景相机进行处理并将三者进行融合,可同样的得到输出显示场景。
进一步地,在本发明实现增强现实的处理方法又一实施例中,步骤S10之前还包括:
步骤S5,创建用于校准场景和输出场景的独立应用窗口。
具体的,以PC端为例,在步骤S10之前,应将搭载Unity引擎的PC端与显示设备相连接,并设置配合Unity引擎的独立应用窗口,以对Unity输出的场景进行融合与输出,其中,独立应用窗口为在制作的App或在Unity中创建的窗口,显示设备可通过与独立应用窗口进行通信实现AR效果的共享,其中,显示设备可以为一个或多个,独立应用窗口可将显示场景输出至一个或多个显示设备进行显示,不仅如此,在制作的APP中,还可以通过对独立应用窗口进行屏幕切换、录制或截取,从而实现在2D显示画面和3D显示画面之间切换,或者获得具有3D显示效果的视频或图像,其中,校准场景可对输出的场景进行校准,使其符合显示设备的显示参数,如分辨率、显示方向、显示位置等。
进一步地,步骤S5包括:
步骤S5-1,基于光学识别技术确定当前屏幕的参数,根据所述当前屏幕的参数确定渲染参数;
步骤S5-2,根据所述渲染参数确认显示场景的参数。
所述通过所述预设独立应用窗口输出显示场景的步骤包括:
步骤S401,通过所述预设独立应用窗口输出与所述当前屏幕参数对应的显示场景。
可以理解的,由于不同设备之间显示设备的差异性以及安装位置的不同,因此在输出画面前因输出符合当前显示设备的显示场景,光学识别技术即OCR(光学字符识别)识别技术,通过OCR识别技术可确定显示设备的位置以及屏幕尺寸,通过对文本或图像进行分析处理而获得其内在信息的方式,本实施例中,通过在显示设备生成多个二维码,进一步对二维码进行扫描,即可活获得显示设备的大小和位置,从而使输出画面匹配显示设备。
相同的,在存在多个显示设备的情况中,可将二维码设置于主显示器或每个显示设备分别设置二维码并进行扫描,从而确定各个显示设备的位置和尺寸,以输出适当观看的显示场景。
进一步地,在本发明实现增强现实的处理方法又一实施例中,步骤S20还包括:
步骤S201,根据待转换场景的类型在待转换场景中创建多台虚拟相机,对多台所述虚拟相机设置渲染背景的图层,生成背景相机,对多台所述虚拟相机设置渲染物体的图层,生成物体相机;和/或,
步骤S202,根据待转换场景的类型在待转换场景中创建多台虚拟相机,多台所述虚拟相机包括用于处理背景的背景相机和用于处理物体的物体相机,按预设位置和预设方向调整多台所述虚拟相机的位置和方向。
可以理解的,由于每个相机拍摄的范围有限,只在其可视的角度范围内以及设定的图层进行渲染,因此,不同的相机可用来拍摄或渲染场景中不同的位置,因此通过对相机设定不同的图层和方向,可得到实际所需的显示场景,本实施例中,通过对待转换成场景中设置双相机,即背景相机和物体相机,可分别用于渲染待转换场景中背景图层和物体图层,通过进一步设定背景相机和物体相机的参数,如预设位置和预设方向以及所显示的图层等,可在两者与现实场景进行融合后,得到所设定的显示效果。
进一步地,在本发明实现增强现实的处理方法又一实施例中,步骤S40之后,包括:
步骤S41,根据获取的操作指令更新输出的显示场景。
需要说明的是,操作指令即为使用者通过屏幕触摸、键盘、鼠标、肢体动作、红外信号等方式实现,客户端通过对上述方式进行识别,如图像识别、信号检测等,可作出与上述动作内容一致的更新,如使用者对输出画面进行移动或缩放,则显示设备控制显示场景进行相应的移动或缩放。
此外,为实现上述目的,本发明还提供一种实现增强现实的处理设备,所述实现增强现实的处理设备包括第一客户端,所述第一客户端连接摄像头并搭载3D处理引擎,所述3D处理引擎在处理待处理场景时应用前述实现增强现实的处理方法;由于AR实现增强现实的处理设备实现上述实现增强现实的处理方法的全部实施例,因此不再一一赘述。
进一步地,所述AR实现增强现实的处理设备还包括第二客户端,所述第二客户端连接于所述第一客户端,所述第二客户端接收并输出所述显示场景。
可选地,所述3D处理引擎包括但不限于上述Unity3D引擎或UE4引擎。
可以理解的,通过与第一客户端连接,独立窗口应用可将显示场景传送至第二客户端,从而使显示场景可以共享,实现多人同步观看以及互动,在教育、培训、医疗、设计、广告等行业中可以被广泛应用,相比于移动端独立设备实现AR效果,本发明的应用范围更广泛。
此外,为实现上述目的,如图3所示,本发明还提供一种实现增强现实的处理装置,所述实现增强现实的处理装置包括:
获取模块10,用于获取待转换场景和现实场景;
渲染模块20,用于获取待转换场景的类型,根据所述待转换场景的类型对待转换场景设置虚拟相机,所述虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机;根据所述待转换场景对所述背景相机和所述物体相机分别设置渲染纹理;获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理;融合物体相机的渲染纹理、经过着色程序处理的背景相机的渲染纹理以及所述现实场景;
显示模块30,用于通过预设独立应用窗口输出显示场景。
可选地,所述渲染模块,还用于:
根据所需实现效果创建着色器,并通过所述着色器对背景相机中的渲染纹理进行处理;
所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤之后还包括步骤:
将所述物体相机中的渲染纹理以及经过所述着色器处理的背景相机中的渲染纹理传送至预设独立应用窗口。
可选地,所述渲染模块,还用于:
将所述物体相机中的渲染纹理以及所述背景相机中的渲染纹理传送至预设独立应用窗口;
所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤包括:
创建着色器,并通过所述着色器对所述独立应用窗口内背景相机的渲染纹理进行处理
可选地,所述获取模块,还用于:
基于光学识别技术确定当前屏幕的参数,根据所述当前屏幕的参数确定渲染参数;
根据所述渲染参数确认显示场景的参数。
可选地,所述渲染模块,还用于:
根据待转换场景的类型在待转换场景中创建多台虚拟相机,对多台所述虚拟相机设置渲染背景的图层,生成背景相机,对多台所述虚拟相机设置渲染物体的图层,生成物体相机;和/或,
根据待转换场景的类型在待转换场景中创建多台虚拟相机,多台所述虚拟相机包括用于处理背景的背景相机和用于处理物体的物体相机,按预设位置和预设方向调整多台所述虚拟相机的位置和方向。
可选地,所述显示模块,还用于:
根据获取的操作指令更新输出的显示场景。
本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上述所述的实现增强现实的处理方法的步骤,所述计算机程序被处理器执行时所实现的方法可参照本发明实现增强现实的处理方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种实现增强现实的处理方法,用于终端,所述终端连接摄像头并通过所述摄像头获取现实场景,所述终端与独立应用通信,所述独立应用包括预设独立应用窗口,其特征在于,所述实现增强现实的处理方法包括以下步骤:
创建用于校准场景和输出场景的预设独立应用窗口,其中,所述校准场景包括:基于光学识别技术确定当前屏幕参数;
获取待转换场景的类型,根据所述待转换场景的类型对待转换场景设置虚拟相机,所述虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机;
根据所述待转换场景对所述背景相机和所述物体相机分别设置渲染纹理;
获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理;
融合物体相机的渲染纹理、经过着色程序处理的背景相机的渲染纹理以及所述现实场景,通过所述预设独立应用窗口输出与所述当前屏幕参数对应的显示场景。
2.如权利要求1所述的实现增强现实的处理方法,其特征在于,所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤包括:
根据所需实现效果创建着色器,并通过所述着色器对背景相机中的渲染纹理进行处理;
所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤之后还包括步骤:
将所述物体相机中的渲染纹理以及经过所述着色器处理的背景相机中的渲染纹理传送至预设独立应用窗口。
3.如权利要求1所述的实现增强现实的处理方法,其特征在于,所述根据所述待转换场景对所述背景相机和所述物体相机分别设置渲染纹理的步骤之后,还包括:
将所述物体相机中的渲染纹理以及所述背景相机中的渲染纹理传送至预设独立应用窗口;
所述获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理的步骤包括:
创建着色器,并通过所述着色器对所述独立应用窗口内背景相机的渲染纹理进行处理。
4.如权利要求1至3任一项所述的实现增强现实的处理方法,其特征在于,所述创建用于校准场景和输出场景的预设独立应用窗口的步骤还包括:
根据所述当前屏幕参数确定渲染参数;
根据所述渲染参数确认显示场景的参数。
5.如权利要求1至3任一项所述的实现增强现实的处理方法,其特征在于,所述获取待转换场景的类型,根据所述待转换场景的类型对待转换场景设置虚拟相机,所述虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机的步骤包括:
根据待转换场景的类型在待转换场景中创建多台虚拟相机,对多台所述虚拟相机设置渲染背景的图层,生成背景相机,对多台所述虚拟相机设置渲染物体的图层,生成物体相机;和/或,
根据待转换场景的类型在待转换场景中创建多台虚拟相机,多台所述虚拟相机包括用于处理背景的背景相机和用于处理物体的物体相机,按预设位置和预设方向调整多台所述虚拟相机的位置和方向。
6.一种实现增强现实的处理设备,其特征在于,所述实现增强现实的处理设备包括第一客户端,所述第一客户端连接摄像头并搭载3D处理引擎,所述3D处理引擎在处理待处理场景时应用如权利要求1至5任意一项所述的实现增强现实的处理方法。
7.如权利要求6所述的实现增强现实的处理设备,其特征在于,所述实现增强现实的处理设备还包括第二客户端,所述第二客户端连接于所述第一客户端,所述第二客户端接收并输出所述显示场景。
8.一种计算机程序产品,所述计算机程序产品包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述的实现增强现实的处理方法的步骤。
9.一种实现增强现实的处理装置,其特征在于,所述实现增强现实的处理装置包括:
创建模块,用于创建用于校准场景和输出场景的预设独立应用窗口,其中,所述校准场景包括:基于光学识别技术确定当前屏幕参数;
获取模块,用于获取待转换场景和现实场景;
渲染模块,用于获取待转换场景的类型,根据所述待转换场景的类型对待转换场景设置虚拟相机,所述虚拟相机包括用于处理其背景的背景相机和用于处理物体的物体相机;根据所述待转换场景对所述背景相机和所述物体相机分别设置渲染纹理;获取预设着色程序,通过所述预设着色程序对添加渲染纹理后的背景相机进行着色程序处理;融合物体相机的渲染纹理、经过着色程序处理的背景相机的渲染纹理以及所述现实场景;
显示模块,用于通过预设独立应用窗口输出与所述当前屏幕参数对应的显示场景。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110767428.9A CN113223186B (zh) | 2021-07-07 | 2021-07-07 | 实现增强现实的处理方法、设备、产品和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110767428.9A CN113223186B (zh) | 2021-07-07 | 2021-07-07 | 实现增强现实的处理方法、设备、产品和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113223186A CN113223186A (zh) | 2021-08-06 |
CN113223186B true CN113223186B (zh) | 2021-10-15 |
Family
ID=77081194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110767428.9A Active CN113223186B (zh) | 2021-07-07 | 2021-07-07 | 实现增强现实的处理方法、设备、产品和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113223186B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116400878B (zh) * | 2023-06-07 | 2023-09-08 | 优奈柯恩(北京)科技有限公司 | 头戴显示设备的显示方法、装置、电子设备以及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378990A (zh) * | 2019-07-03 | 2019-10-25 | 北京悉见科技有限公司 | 增强现实场景展现方法、装置及存储介质 |
CN111383343A (zh) * | 2018-12-29 | 2020-07-07 | 江苏赞奇科技股份有限公司 | 一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法 |
CN112041884A (zh) * | 2018-04-20 | 2020-12-04 | 索尼公司 | 通过背景图像和背景深度校正在彩色图像帧序列中进行对象分割 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6760026B2 (en) * | 2001-01-02 | 2004-07-06 | Microsoft Corporation | Image-based virtual reality player with integrated 3D graphics objects |
US8565520B2 (en) * | 2011-06-10 | 2013-10-22 | Microsoft Corporation | Determining foreground regions and background regions in an image |
CN102509348B (zh) * | 2011-09-26 | 2014-06-25 | 北京航空航天大学 | 一种共享增强现实场景的真实物体多方位表示方法 |
CN106683161B (zh) * | 2016-12-13 | 2020-06-05 | 中国传媒大学 | 基于图像分割与自定义图层法的增强现实遮挡方法 |
CN107396084A (zh) * | 2017-07-20 | 2017-11-24 | 广州励丰文化科技股份有限公司 | 一种基于双摄像头的mr实现方法及设备 |
CN107918949A (zh) * | 2017-12-11 | 2018-04-17 | 网易(杭州)网络有限公司 | 虚拟资源对象的渲染方法、存储介质、处理器及终端 |
WO2020141344A2 (en) * | 2018-07-20 | 2020-07-09 | Tobii Ab | Distributed foveated rendering based on user gaze |
-
2021
- 2021-07-07 CN CN202110767428.9A patent/CN113223186B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112041884A (zh) * | 2018-04-20 | 2020-12-04 | 索尼公司 | 通过背景图像和背景深度校正在彩色图像帧序列中进行对象分割 |
CN111383343A (zh) * | 2018-12-29 | 2020-07-07 | 江苏赞奇科技股份有限公司 | 一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法 |
CN110378990A (zh) * | 2019-07-03 | 2019-10-25 | 北京悉见科技有限公司 | 增强现实场景展现方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113223186A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829981B (zh) | 三维场景呈现方法、装置、设备及存储介质 | |
CN111414225B (zh) | 三维模型远程展示方法、第一终端、电子设备及存储介质 | |
CN109064390B (zh) | 一种图像处理方法、图像处理装置及移动终端 | |
CN108989678B (zh) | 一种图像处理方法、移动终端 | |
JP7270661B2 (ja) | ビデオの処理方法および装置、電子機器、記憶媒体並びにコンピュータプログラム | |
CN109582122B (zh) | 增强现实信息提供方法、装置及电子设备 | |
US10810801B2 (en) | Method of displaying at least one virtual object in mixed reality, and an associated terminal and system | |
CN111833461B (zh) | 一种图像特效的实现方法、装置、电子设备及存储介质 | |
CN108615261B (zh) | 增强现实中图像的处理方法、处理装置及存储介质 | |
CN110262763B (zh) | 基于增强现实的显示方法和装置以及存储介质和电子设备 | |
CN113965773A (zh) | 直播展示方法和装置、存储介质及电子设备 | |
CN113327316A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN113223186B (zh) | 实现增强现实的处理方法、设备、产品和装置 | |
CN114842120A (zh) | 一种图像渲染处理方法、装置、设备及介质 | |
CN114900625A (zh) | 虚拟现实空间的字幕渲染方法、装置、设备及介质 | |
CN103674274A (zh) | 热像记录控制装置和热像记录控制方法 | |
CN115861503A (zh) | 虚拟物体的渲染方法、装置、设备及存储介质 | |
KR20150116032A (ko) | 증강현실 제공방법 | |
CN110807728B (zh) | 对象的显示方法、装置、电子设备及计算机可读存储介质 | |
CN108921097B (zh) | 人眼视角检测方法、装置及计算机可读存储介质 | |
CN111524240A (zh) | 场景切换方法、装置及增强现实设备 | |
CN109862286B (zh) | 图像显示方法、装置、设备和计算机存储介质 | |
KR102534449B1 (ko) | 이미지 처리 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체 | |
CN112764649B (zh) | 虚拟形象的生成方法、装置、设备及存储介质 | |
WO2021179919A1 (en) | System and method for virtual fitting during live streaming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |