CN109255841A - Ar图像呈现方法、装置、终端及存储介质 - Google Patents

Ar图像呈现方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN109255841A
CN109255841A CN201810989948.2A CN201810989948A CN109255841A CN 109255841 A CN109255841 A CN 109255841A CN 201810989948 A CN201810989948 A CN 201810989948A CN 109255841 A CN109255841 A CN 109255841A
Authority
CN
China
Prior art keywords
image
real scene
dummy model
scene image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810989948.2A
Other languages
English (en)
Inventor
庞文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810989948.2A priority Critical patent/CN109255841A/zh
Publication of CN109255841A publication Critical patent/CN109255841A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本发明提供一种AR图像呈现方法、装置、终端及存储介质,该方法包括:获取实景图像;构建包含所述实景图像和虚拟模型的初始AR图像;采集所述实景图像所在环境下的光线信息;根据所述光线信息调整所述初始AR图像,得到调整后的AR图像;显示所述调整后的AR图像。从而可以将真实环境中的光线信息添加在虚拟模型中,使得呈现的AR图像更加真实生动,提升用户的观感效果。

Description

AR图像呈现方法、装置、终端及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种增强现实(Augmented Reality,AR)图像呈现方法、装置、终端及存储介质。
背景技术
随着电子技术的发展,为了增强用户的视觉体验,增强现实(Augmented Reality,AR)技术应运而生,该技术可以将虚拟场景与真实场景融合呈现,从而给人们带来一种全新的感官体验。
目前,AR技术是将虚拟信息和真实信息显示在同一画面中,而虚拟信息一般是预先建立的虚拟模型。通过将虚拟模型在实景图像中显示,来达到虚实结合的效果。
但是,现有的虚拟模型是固定不变的,当在实景图像中显示时,虚拟模型的光线信息与实景图像中的光线信息往往不相符,从而使得呈现的AR图像不够真实,用户观感效果不佳。
发明内容
本发明提供一种AR图像呈现方法、装置、终端及存储介质,可以将真实环境中的光线信息添加在虚拟模型中,从而使得呈现的AR图像更加真实生动,提升用户的观感效果。
第一方面,本发明实施例提供一种AR图像呈现方法,包括:
获取实景图像;
构建包含所述实景图像和虚拟模型的初始AR图像;
采集所述实景图像所在环境下的光线信息;
根据所述光线信息调整所述初始AR图像,得到调整后的AR图像;
显示所述调整后的AR图像。
在一种可能的设计中,所述获取实景图像,包括:通过单目,或者多目摄像头采集真实环境中的实景图像。
在一种可能的设计中,构建包含所述实景图像和虚拟模型的初始AR图像,包括:
按照实景图像中的比例尺,将所述虚拟模型进行缩放处理;
将缩放处理后的所述虚拟模型合成在所述实景图像上,得到初始AR图像。
在一种可能的设计中,所述将缩放处理后的所述虚拟模型合成在所述实景图像上,包括:
将缩放处理后的所述虚拟模型直接叠加在所述实景图像上,或者用所述缩放处理后的所述虚拟模型替换所述实景图像中的真实对象。
在一种可能的设计中,采集所述实景图像所在环境下的光线信息,包括:
通过摄像头采集所述实景图像所在环境下的光线信息,或者,对所述实景图像进行分析,得到所述实景图像所在环境下的光线信息;
其中,所述光线信息包括:光线强度、光线照射角度、光线颜色。
在一种可能的设计中,根据所述光线信息调整所述初始AR图像,得到调整后的AR图像,包括:
根据所述光线信息,调整所述初始AR图像中虚拟模型的光源参数,得到调整后的虚拟模型;所述光源参数包括:光源的辐射光线强度、光源的位置、光源的颜色;
将调整后的虚拟模型合成在所述实景图像上,得到调整后的AR图像。
在一种可能的设计中,据所述光线信息,调整所述初始AR图像中虚拟模型的光源参数,包括:
根据所述实景图像所在环境下的光线强度,调整所述虚拟模型中光源的辐射光线强度;
根据所述实景图像所在环境下的光线照射角度,调整所述虚拟模型中光源的位置;
根据所述实景图像所在环境下的光线颜色,调整所述虚拟模型中光源的颜色。
在一种可能的设计中,根据所述光线信息调整所述初始AR图像,得到调整后的AR图像,包括:根据所述光线信息调整所述初始AR图像中虚拟模型的明暗比例,以及所述虚拟模型的阴影区域面积、方向。
在一种可能的设计中,在显示所述调整后的AR图像之后,还包括:
根据用户输入的操作信息,控制所述虚拟模型完成预设动作。
第二方面,本发明实施例提供一种AR图像呈现装置,包括:
获取模块,用于获取实景图像;
处理模块,用于构建包含所述实景图像和虚拟模型的初始AR图像;
采集模块,用于采集所述实景图像所在环境下的光线信息;
调整模块,用于根据所述光线信息调整所述初始AR图像,得到调整后的AR图像;
显示模块,用于显示所述调整后的AR图像。
在一种可能的设计中,所述获取模块,具体用于:
通过单目,或者多目摄像头采集真实环境中的实景图像。
在一种可能的设计中,所述处理模块,具体用于:
按照实景图像中的比例尺,将所述虚拟模型进行缩放处理;
将缩放处理后的所述虚拟模型合成在所述实景图像上,得到初始AR图像。
在一种可能的设计中,所述将缩放处理后的所述虚拟模型合成在所述实景图像上,包括:
将缩放处理后的所述虚拟模型直接叠加在所述实景图像上,或者用所述缩放处理后的所述虚拟模型替换所述实景图像中的真实对象。
在一种可能的设计中,所述采集模块,具体用于:
通过摄像头采集所述实景图像所在环境下的光线信息,
或者,对所述实景图像进行分析,得到所述实景图像所在环境下的光线信息;其中,所述光线信息包括:光线强度、光线照射角度、光线颜色。
在一种可能的设计中,所述调整模块,具体用于:
根据所述光线信息,调整所述初始AR图像中虚拟模型的光源参数,得到调整后的虚拟模型;所述光源参数包括:光源的辐射光线强度、光源的位置、光源的颜色;
将调整后的虚拟模型合成在所述实景图像上,得到调整后的AR图像。
在一种可能的设计中,据所述光线信息,调整所述初始AR图像中虚拟模型的光源参数,包括:
根据所述实景图像所在环境下的光线强度,调整所述虚拟模型中光源的辐射光线强度;
根据所述实景图像所在环境下的光线照射角度,调整所述虚拟模型中光源的位置;
根据所述实景图像所在环境下的光线颜色,调整所述虚拟模型中光源的颜色。
在一种可能的设计中,所述调整模块,还用于:
根据所述光线信息调整所述初始AR图像中虚拟模型的明暗比例,以及所述虚拟模型的阴影区域面积、方向。
在一种可能的设计中,还包括:
交互模块,用于在显示所述调整后的AR图像之后,根据用户输入的操作信息,控制所述虚拟模型完成预设动作。
第三方面,本发明实施例提供一种AR眼镜,包括:显示器、存储器、处理器;存储器中存储有所述处理器的可执行指令;其中,所述处理器调取所述可执行指令,以联合所述显示器执行第一方面中任一项所述的AR图像呈现方法。
第四方面,本发明实施例提供一种终端,包括:存储器和处理器,存储器中存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的AR图像呈现方法。
第五方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如第一方面中任一项所述的AR图像呈现方法。
第六方面,本发明实施例提供一种程序产品,所述程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,服务器的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得服务器执行第一方面中任一所述的AR图像呈现方法。
本发明提供的一种图像处理方法、装置、设备及存储介质,通过获取实景图像;构建包含所述实景图像和虚拟模型的初始AR图像;采集所述实景图像所在环境下的光线信息;根据所述光线信息调整所述初始AR图像,得到调整后的AR图像;显示所述调整后的AR图像。从而可以将真实环境中的光线信息添加在虚拟模型中,使得呈现的AR图像更加真实生动,提升用户的观感效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一应用场景的原理示意图;
图2为本发明实施例一提供的AR图像呈现方法的流程图;
图3为本发明实施例二提供的AR图像呈现方法的流程图;
图4为本发明实施例三提供的AR图像呈现装置的结构示意图;
图5为本发明实施例四提供的AR图像呈现装置的结构示意图;
图6为本发明实施例五提供的终端的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解:
1)增强现实(Augmented Reality,AR)技术,也被称之为混合现实。它通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。AR提供了在一般情况下,不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。
具体地,在视觉化的增强现实中,用户利用头盔显示器,把真实世界与电脑图形多重合成在一起,便可以看到真实的世界围绕着它。
2)终端,是指向用户提供语音和/或数据连通性的设备,例如具有无线和/或有线连接功能的手持设备、车载设备等。常见的终端包括:手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备、可穿戴设备等。需要指出的是,本发明中的终端是指具备AR图像显示功能的电子设备,例如AR眼镜、智能手机、平板电脑、全息投影仪等等。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
现有技术中,AR技术是将虚拟信息和真实信息显示在同一画面中,而虚拟信息一般是预先建立的虚拟模型。通过将虚拟模型在实景图像中显示,来达到虚实结合的效果。但是,现有的虚拟模型是固定不变的,当在实景图像中显示时,虚拟模型的光线信息与实景图像中的光线信息往往不相符,从而使得呈现的AR图像不够真实,用户观感效果不佳。
图1为本发明一应用场景的原理示意图,如图1所示,首先可以通过单目,或者多目摄像头采集真实环境中的实景图像10。当采用多目摄像头采集时,可以得到三维的实景图像。在将实景图像10和虚拟模型30进行融合时,通过实景图像10所在环境下的光线信息20来调整虚拟模型30;使得虚拟模型30的光线信息与实景图像10所在的环境的真实光线信息相近,从而使得最终呈现的AR图像40更加真实生动,提升用户的观感效果。
在一种可选的实施方式中,可以通过摄像头采集实景图像10所在环境下的光线信息20,或者,对实景图像10进行分析,得到实景图像所在环境下的光线信息20;其中,光线信息20包括:光线强度、光线照射角度、光线颜色。根据光线强度、光线照射角度、光线颜色等等来调整虚拟模型30的光源参数,得到调整后的虚拟模型;其中,光源参数包括:光源的辐射光线强度、光源的位置、光源的颜色。
具体地,可以根据实景图像所在环境下的光线强度,调整虚拟模型中光源的辐射光线强度;根据实景图像所在环境下的光线照射角度,调整虚拟模型中光源的位置;根据实景图像所在环境下的光线颜色,调整虚拟模型中光源的颜色。最后,将调整后的虚拟模型30合成在实景图像10上,得到AR图像40。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
图2为本发明实施例一提供的AR图像呈现方法的流程图,如图2所示,本实施例中的方法可以包括:
S101、获取实景图像。
本实施例中,可以通过单目,或者多目摄像头采集真实环境中的实景图像。本实施例中的实景图像指的是根据真实环境信息再现的场景,例如拍摄的真实环境的照片、视频等等。
具体地,当使用单目摄像头时,可以获取真实环境的二维实景图像,当使用多目摄像头时,可以获取真实环境的三维实景图像。
S102、构建包含实景图像和虚拟模型的初始AR图像。
在一种可选的实施方式中,可以按照实景图像中的比例尺,将虚拟模型进行缩放处理;将缩放处理后的虚拟模型合成在实景图像上,得到初始AR图像。
具体地,可以将缩放处理后的虚拟模型直接叠加在实景图像上,或者用缩放处理后的虚拟模型替换实景图像中的真实对象。
在另一种可选的实施方式中,也可以按照虚拟模型的尺寸,对实景图像进行缩放处理,然后将虚拟模型合成在进行缩放处理之后的实景图像上,得到初始AR图像。
具体地,可以将虚拟模型直接叠加在缩放处理后的实景图像上,或者用虚拟模型替换实景图像中的真实对象。
S103、采集实景图像所在环境下的光线信息。
在一种可选的实施方式中,可以通过摄像头采集实景图像所在环境下的光线信息,或者,对实景图像进行分析,得到实景图像所在环境下的光线信息;其中,光线信息包括:光线强度、光线照射角度、光线颜色。
具体地,当选择的实景图像是用户当前的环境时,可以直接通过终端的摄像头采集用户当前环境的光线信息;或者,从拍摄当前环境的图像,并从中提取出光线信息。
需要说明的是,光线信息提取和分析技术是常规技术,可以根据图像的像素点的亮度值,图像对测试光线的反射光线强度等等进行分析得到。本实施例不限定提取当前环境的光线信息的具体方式。
S104、根据光线信息调整初始AR图像,得到调整后的AR图像。
在一种可选地实施方式中,根据光线信息,调整初始AR图像中虚拟模型的光源参数,得到调整后的虚拟模型;光源参数包括:光源的辐射光线强度、光源的位置、光源的颜色;将调整后的虚拟模型合成在实景图像上,得到调整后的AR图像。
具体地,根据实景图像所在环境下的光线强度,调整虚拟模型中光源的辐射光线强度;根据实景图像所在环境下的光线照射角度,调整虚拟模型中光源的位置;根据实景图像所在环境下的光线颜色,调整虚拟模型中光源的颜色。
在一实际应用场景中,可以通过摄像头采集实景图像所在环境下的光线信息,或者,对实景图像进行分析,得到实景图像所在环境下的光线强度、光线照射角度、光线颜色等等信息。然后根据光线强度、光线照射角度、光线颜色等等来调整虚拟模型的光源参数,得到调整后的虚拟模型;其中,光源参数包括:光源的辐射光线强度、光源的位置、光源的颜色。
具体地,可以根据实景图像所在环境下的光线强度,调整虚拟模型中光源的辐射光线强度;根据实景图像所在环境下的光线照射角度,调整虚拟模型中光源的位置;根据实景图像所在环境下的光线颜色,调整虚拟模型中光源的颜色。最后,将调整后的虚拟模型合成在实景图像上,得到AR图像。
在另一种可选的实施方式中,还可以根据光线信息调整初始AR图像中虚拟模型的明暗比例,以及虚拟模型的阴影区域面积、方向。
在一实际应用场景中,用户终端首先获得一实景图像,在该实景场景中可以包括各种对象信息,例如一个房间,在房间内有桌子、椅子、沙发、电视等等家具,地板上铺设者地毯。实景图像一般是通过摄像头拍摄的真实环境中的场景。
具体地,终端可以通过终端自身的图像传感器(例如摄像头)拍摄获得实景场景的实景图像,或者也可以通过接收其它终端拍摄并发送的实景图像等等。
具体地,以终端所处真实环境进行AR增强处理为例进行详细说明。本实施例中的实景图像可以是通过终端自身的图像传感器即时获得的。虚拟模型是预先存储的模型库中三维模型(为了方便区分,这里称为初始三维模型)。初始三维模型中的各个参数是默认值,因此其与实景图像所在环境中的环境信息可能不相符。
具体地,例如不同光照条件下,虚拟模型会产生明暗变化,并在实景图像中形成阴影区域。由于光照而产生的阴影,或者由于迎着大风行走而导致虚拟模型中人物的头发向后飘洒,或者由于障碍物的部分遮挡而使得虚拟模型的一部分较暗。此时,就可以应用本实施例中的方法将实景图像所在环境中获取到的光线信息来调整虚拟模型的明暗比例,以及虚拟模型的阴影区域面积、方向。从而使得虚拟模型的光线信息与实景图像更好地匹配。
S105、显示调整后的AR图像。
本实施例中,可以在将调整后的AR图像发送给用户的终端,在用户终端上显示,用户终端可以包括:AR眼镜、智能手机、平板电脑等具备播放AR图像的设备。
具体地,为了方便理解,以AR眼镜显示为例进行详细说明。AR眼镜一般包括:壳体、裸眼3D显示屏、半透半反平面镜、遮光板,显示屏固定于显示装置壳体内的顶部,用于显示AR画面;半透半反平面镜,安装于壳体内。半透半反平面镜的反射面朝向裸眼3D显示屏,用于反射三维画面和使外界光线透过,透过的外界光线与反射的三维画面叠加后进入人眼;遮光板与壳体活动相连,遮光板与半透半反平面镜位置相适应,用于在打开时使外界光线透过半透半反平面镜以及在关闭时阻挡外界光线进入半透半反平面镜。将本实施例中调整后的AR图像发送给AR眼镜,通过AR眼镜的显示屏呈现AR图像。
当然,随着AR技术的发展,许多AR图像已经不再依赖于AR眼镜来进行投放了,例如许多智能手机也具备播放AR图像资源的能力。因此,本实施例中的方法可以在任何可以播放AR图像的设备上进行展示。
本实施例,通过获取实景图像;构建包含实景图像和虚拟模型的初始AR图像;采集实景图像所在环境下的光线信息;根据光线信息调整初始AR图像,得到调整后的AR图像;显示调整后的AR图像。从而可以将真实环境中的光线信息添加在虚拟模型中,使得呈现的AR图像更加真实生动,提升用户的观感效果。
图3为本发明实施例二提供的AR图像呈现方法的流程图,如图3所示,本实施例中的方法可以包括:
S201、获取实景图像。
S202、构建包含实景图像和虚拟模型的初始AR图像。
S203、采集实景图像所在环境下的光线信息。
S204、根据光线信息调整初始AR图像,得到调整后的AR图像。
S205、显示调整后的AR图像。
本实施例中,步骤S201~步骤S205的具体实现过程和技术原理请参见图2所示的方法中步骤S101~步骤S105中的相关描述,此处不再赘述。
S206、根据用户输入的操作信息,控制虚拟模型完成预设动作。
本实施例中,用户可以通过终端(例如AR眼镜、智能手机、平板电脑等具备播放AR图像的设备)接收用户输入的操作信息,该操作信息可以是单击、双击、滑动操作,虚拟模型根据操作信息做出相应的反馈。从而使得用户可以与AR图像中的虚拟模型进行互动,提升用户的感官效果。
在一实际应用场景中,用户终端首先获得一实景图像,在该实景场景中可以包括森林、草地、动物,例如以亚马逊丛林作为实景图像。
具体地,可以预先建立一个包含各种实景图像的素材库。实景图像可以是静态图像,也可以是一段视频。
具体地,假设需要结合的虚拟模型是一头狮子。首先将狮子与亚马逊丛林的实景图像结合,例如采用图像叠加技术将狮子叠加在实景图像上。进一步地,可以提取亚马逊丛林的实景图像中的光线信息,根据该光线信息来调整狮子的模型。
具体地,假设实景图像中显示的天气是晴天,太阳入射方向角度为东南47度,光线颜色偏红。此时,可以调整狮子的光源参数,例如选择自然光,入射角度为东南47度,然后调整狮子的明暗比例,以及狮子在地面上投射的影子的面积、方向。从而使得最终呈现的效果更加真实。
本实施例,通过获取实景图像;构建包含实景图像和虚拟模型的初始AR图像;采集实景图像所在环境下的光线信息;根据光线信息调整初始AR图像,得到调整后的AR图像;显示调整后的AR图像。从而可以将真实环境中的光线信息添加在虚拟模型中,使得呈现的AR图像更加真实生动,提升用户的观感效果。
图4为本发明实施例三提供的AR图像呈现装置的结构示意图,如图4所示,本实施例的AR图像呈现装置可以包括:
获取模块51,用于获取实景图像;
处理模块52,用于构建包含实景图像和虚拟模型的初始AR图像;
采集模块53,用于采集实景图像所在环境下的光线信息;
调整模块54,用于根据光线信息调整初始AR图像,得到调整后的AR图像;
显示模块55,用于显示调整后的AR图像。
在一种可能的设计中,获取模块51,具体用于:
通过单目,或者多目摄像头采集真实环境中的实景图像。
在一种可能的设计中,处理模块52,具体用于:
按照实景图像中的比例尺,将虚拟模型进行缩放处理;
将缩放处理后的虚拟模型合成在实景图像上,得到初始AR图像。
在一种可能的设计中,将缩放处理后的虚拟模型合成在实景图像上,包括:
将缩放处理后的虚拟模型直接叠加在实景图像上,或者用缩放处理后的虚拟模型替换实景图像中的真实对象。
在一种可能的设计中,采集模块53,具体用于:
通过摄像头采集实景图像所在环境下的光线信息,或者,对实景图像进行分析,得到实景图像所在环境下的光线信息;其中,光线信息包括:光线强度、光线照射角度、光线颜色。
在一种可能的设计中,调整模块54,具体用于:
根据光线信息,调整初始AR图像中虚拟模型的光源参数,得到调整后的虚拟模型;光源参数包括:光源的辐射光线强度、光源的位置、光源的颜色;
将调整后的虚拟模型合成在实景图像上,得到调整后的AR图像。
在一种可能的设计中,据光线信息,调整初始AR图像中虚拟模型的光源参数,包括:
根据实景图像所在环境下的光线强度,调整虚拟模型中光源的辐射光线强度;
根据实景图像所在环境下的光线照射角度,调整虚拟模型中光源的位置;
根据实景图像所在环境下的光线颜色,调整虚拟模型中光源的颜色。
在一种可能的设计中,调整模块54,还用于:
根据光线信息调整初始AR图像中虚拟模型的明暗比例,以及虚拟模型的阴影区域面积、方向。
本实施例的AR图像呈现装置,可以通过获取实景图像;构建包含所述实景图像和虚拟模型的初始AR图像;采集所述实景图像所在环境下的光线信息;根据所述光线信息调整所述初始AR图像,得到调整后的AR图像;显示所述调整后的AR图像。从而可以将真实环境中的光线信息添加在虚拟模型中,使得呈现的AR图像更加真实生动,提升用户的观感效果。本实施例的AR图像呈现装置,可以执行图2、图3所示方法中的技术方案,其具体实现过程和技术原理参见图2、图3所示方法中的相关描述,此处不再赘述。
图5为本发明实施例四提供的AR图像呈现装置的结构示意图,如图5所示,本实施例的AR图像呈现装置在图4所示装置的基础上,还可以包括:
交互模块56,用于根据用户输入的操作信息,控制虚拟模型完成预设动作。
本实施例的AR图像呈现装置,通过终端(例如AR眼镜、智能手机、平板电脑等具备播放AR图像的设备)接收用户输入的操作信息,该操作信息可以是单击、双击、滑动操作,虚拟模型根据操作信息做出相应的反馈。从而使得用户可以与AR图像中的虚拟模型进行互动,提升用户的感官效果。本实施例的AR图像呈现装置,可以执行图2、图3所示方法中的技术方案,其具体实现过程和技术原理参见图2、图3所示方法中的相关描述,此处不再赘述。
图6为本发明实施例五提供的终端的结构示意图,如图6所示,本实施例的终端60可以包括:处理器61和存储器62。
存储器62,用于存储计算机程序(如实现上述AR图像呈现方法的应用程序、功能模块等)、计算机指令等;
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器62中。并且上述的计算机程序、计算机指令、数据等可以被处理器61调用。
处理器61,用于执行存储器62存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器61和存储器62可以是独立结构,也可以是集成在一起的集成结构。当处理器61和存储器62是独立结构时,存储器62、处理器61可以通过总线63耦合连接。
本实施例的服务器可以执行图2、图3所示方法中的技术方案,其具体实现过程和技术原理参见图2、图3所示方法中的相关描述,此处不再赘述。
本发明还提供一种AR眼镜,其特征在于,包括:显示器、存储器、处理器;存储器中存储有处理器的可执行指令;其中,处理器调取可执行指令,以联合显示器执行上述任一方法实施例的方法中的技术方案,其实现原理和技术效果类似,此处不再赘述。
此外,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当用户设备的至少一个处理器执行该计算机执行指令时,用户设备执行上述各种可能的方法。
其中,计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于通信设备中。
本申请还提供一种程序产品,程序产品包括计算机程序,计算机程序存储在可读存储介质中,服务器的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得服务器实施上述本发明实施例任一的AR图像呈现方法方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或对其中部分或全部技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

1.一种AR图像呈现方法,其特征在于,包括:
获取实景图像;
构建包含所述实景图像和虚拟模型的初始AR图像;
采集所述实景图像所在环境下的光线信息;
根据所述光线信息调整所述初始AR图像,得到调整后的AR图像;
显示所述调整后的AR图像。
2.根据权利要求1所述的方法,其特征在于,所述获取实景图像,包括:
通过单目,或者多目摄像头采集真实环境中的实景图像。
3.根据权利要求1所述的方法,其特征在于,构建包含所述实景图像和虚拟模型的初始AR图像,包括:
按照实景图像中的比例尺,将所述虚拟模型进行缩放处理;
将缩放处理后的所述虚拟模型合成在所述实景图像上,得到初始AR图像。
4.根据权利要求3所述的方法,其特征在于,所述将缩放处理后的所述虚拟模型合成在所述实景图像上,包括:
将缩放处理后的所述虚拟模型直接叠加在所述实景图像上,或者用所述缩放处理后的所述虚拟模型替换所述实景图像中的真实对象。
5.根据权利要求1所述的方法,其特征在于,采集所述实景图像所在环境下的光线信息,包括:
通过摄像头采集所述实景图像所在环境下的光线信息,或者,对所述实景图像进行分析,得到所述实景图像所在环境下的光线信息;其中,所述光线信息包括:光线强度、光线照射角度、光线颜色。
6.根据权利要求1-5中任一项所述的方法,其特征在于,根据所述光线信息调整所述初始AR图像,得到调整后的AR图像,包括:
根据所述光线信息,调整所述初始AR图像中虚拟模型的光源参数,得到调整后的虚拟模型;所述光源参数包括:光源的辐射光线强度、光源的位置、光源的颜色;
将调整后的虚拟模型合成在所述实景图像上,得到调整后的AR图像。
7.根据权利要求6所述的方法,其特征在于,据所述光线信息,调整所述初始AR图像中虚拟模型的光源参数,包括:
根据所述实景图像所在环境下的光线强度,调整所述虚拟模型中光源的辐射光线强度;
根据所述实景图像所在环境下的光线照射角度,调整所述虚拟模型中光源的位置;
根据所述实景图像所在环境下的光线颜色,调整所述虚拟模型中光源的颜色。
8.根据权利要求1-5中任一项所述的方法,其特征在于,根据所述光线信息调整所述初始AR图像,得到调整后的AR图像,包括:
根据所述光线信息调整所述初始AR图像中虚拟模型的明暗比例,以及所述虚拟模型的阴影区域面积、方向。
9.根据权利要求1所述的方法,其特征在于,在显示所述调整后的AR图像之后,还包括:
根据用户输入的操作信息,控制所述虚拟模型完成预设动作。
10.一种AR图像呈现装置,其特征在于,包括:
获取模块,用于获取实景图像;
处理模块,用于构建包含所述实景图像和虚拟模型的初始AR图像;
采集模块,用于采集所述实景图像所在环境下的光线信息;
调整模块,用于根据所述光线信息调整所述初始AR图像,得到调整后的AR图像;
显示模块,用于显示所述调整后的AR图像。
11.根据权利要求10所述的装置,其特征在于,所述获取模块,具体用于:
通过单目,或者多目摄像头采集真实环境中的实景图像。
12.根据权利要求10所述的装置,其特征在于,所述处理模块,具体用于:
按照实景图像中的比例尺,将所述虚拟模型进行缩放处理;
将缩放处理后的所述虚拟模型合成在所述实景图像上,得到初始AR图像。
13.根据权利要求12所述的装置,其特征在于,所述将缩放处理后的所述虚拟模型合成在所述实景图像上,包括:
将缩放处理后的所述虚拟模型直接叠加在所述实景图像上,或者用所述缩放处理后的所述虚拟模型替换所述实景图像中的真实对象。
14.根据权利要求10所述的装置,其特征在于,所述采集模块,具体用于:
通过摄像头采集所述实景图像所在环境下的光线信息,或者,对所述实景图像进行分析,得到所述实景图像所在环境下的光线信息;其中,所述光线信息包括:光线强度、光线照射角度、光线颜色。
15.根据权利要求10-14中任一项所述的装置,其特征在于,所述调整模块,具体用于:
根据所述光线信息,调整所述初始AR图像中虚拟模型的光源参数,得到调整后的虚拟模型;所述光源参数包括:光源的辐射光线强度、光源的位置、光源的颜色;
将调整后的虚拟模型合成在所述实景图像上,得到调整后的AR图像。
16.根据权利要求15所述的装置,其特征在于,据所述光线信息,调整所述初始AR图像中虚拟模型的光源参数,包括:
根据所述实景图像所在环境下的光线强度,调整所述虚拟模型中光源的辐射光线强度;
根据所述实景图像所在环境下的光线照射角度,调整所述虚拟模型中光源的位置;
根据所述实景图像所在环境下的光线颜色,调整所述虚拟模型中光源的颜色。
17.根据权利要求10-14中任一项所述的装置,其特征在于,所述调整模块,还用于:
根据所述光线信息调整所述初始AR图像中虚拟模型的明暗比例,以及所述虚拟模型的阴影区域面积、方向。
18.根据权利要求10所述的装置,其特征在于,还包括:
交互模块,用于在显示所述调整后的AR图像之后,根据用户输入的操作信息,控制所述虚拟模型完成预设动作。
19.一种终端,其特征在于,包括:存储器和处理器,存储器中存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-9任一项所述的AR图像呈现方法。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-9任一项所述的AR图像呈现方法。
CN201810989948.2A 2018-08-28 2018-08-28 Ar图像呈现方法、装置、终端及存储介质 Pending CN109255841A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810989948.2A CN109255841A (zh) 2018-08-28 2018-08-28 Ar图像呈现方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810989948.2A CN109255841A (zh) 2018-08-28 2018-08-28 Ar图像呈现方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN109255841A true CN109255841A (zh) 2019-01-22

Family

ID=65050284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810989948.2A Pending CN109255841A (zh) 2018-08-28 2018-08-28 Ar图像呈现方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN109255841A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273885A (zh) * 2020-02-28 2020-06-12 维沃移动通信有限公司 一种ar图像显示方法及ar设备
CN111340931A (zh) * 2020-02-17 2020-06-26 广州虎牙科技有限公司 场景处理方法、装置、用户端及存储介质
CN111815785A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 现实模型的呈现方法、装置、电子设备及存储介质
CN112807683A (zh) * 2019-11-18 2021-05-18 深圳云天励飞技术有限公司 游戏角色调整方法及相关装置
CN113483781A (zh) * 2021-06-02 2021-10-08 深圳市御嘉鑫科技股份有限公司 智能多维立体空间gps导航系统及方法
CN113641325A (zh) * 2021-10-19 2021-11-12 深圳市联志光电科技有限公司 一种用于ar显示的图像采集方法及系统
CN115396656A (zh) * 2022-08-29 2022-11-25 歌尔科技有限公司 基于ar sdk的增强现实方法、系统、设备及介质
WO2023142264A1 (zh) * 2022-01-28 2023-08-03 歌尔股份有限公司 一种图像显示方法、装置、ar头戴设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105741343A (zh) * 2016-01-28 2016-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
US20160284132A1 (en) * 2015-03-23 2016-09-29 Electronics And Telecommunications Research Institute Apparatus and method for providing augmented reality-based realistic experience
CN106548455A (zh) * 2015-09-17 2017-03-29 三星电子株式会社 用于调整图像的亮度的设备和方法
CN107945283A (zh) * 2017-12-06 2018-04-20 河南省水利勘测设计研究有限公司 基于移动增强现实技术和bim的工程展示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160284132A1 (en) * 2015-03-23 2016-09-29 Electronics And Telecommunications Research Institute Apparatus and method for providing augmented reality-based realistic experience
CN106548455A (zh) * 2015-09-17 2017-03-29 三星电子株式会社 用于调整图像的亮度的设备和方法
CN105741343A (zh) * 2016-01-28 2016-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
CN107945283A (zh) * 2017-12-06 2018-04-20 河南省水利勘测设计研究有限公司 基于移动增强现实技术和bim的工程展示方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112807683A (zh) * 2019-11-18 2021-05-18 深圳云天励飞技术有限公司 游戏角色调整方法及相关装置
CN112807683B (zh) * 2019-11-18 2024-01-16 深圳云天励飞技术有限公司 游戏角色调整方法及相关装置
CN111340931A (zh) * 2020-02-17 2020-06-26 广州虎牙科技有限公司 场景处理方法、装置、用户端及存储介质
CN111273885A (zh) * 2020-02-28 2020-06-12 维沃移动通信有限公司 一种ar图像显示方法及ar设备
CN111815785A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 现实模型的呈现方法、装置、电子设备及存储介质
CN113483781A (zh) * 2021-06-02 2021-10-08 深圳市御嘉鑫科技股份有限公司 智能多维立体空间gps导航系统及方法
CN113641325A (zh) * 2021-10-19 2021-11-12 深圳市联志光电科技有限公司 一种用于ar显示的图像采集方法及系统
CN113641325B (zh) * 2021-10-19 2022-02-08 深圳市联志光电科技有限公司 一种用于ar显示的图像采集方法及系统
WO2023142264A1 (zh) * 2022-01-28 2023-08-03 歌尔股份有限公司 一种图像显示方法、装置、ar头戴设备及存储介质
CN115396656A (zh) * 2022-08-29 2022-11-25 歌尔科技有限公司 基于ar sdk的增强现实方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN109255841A (zh) Ar图像呈现方法、装置、终端及存储介质
CN110515452B (zh) 图像处理方法、装置、存储介质和计算机设备
CN110517355B (zh) 用于照明混合现实对象的环境合成
CN107529091B (zh) 视频剪辑方法及装置
CN111145330B (zh) 人体模型渲染方法、装置、电子设备及存储介质
KR20220051376A (ko) 메시징 시스템에서의 3d 데이터 생성
CN108109161B (zh) 基于自适应阈值分割的视频数据实时处理方法及装置
US11270500B2 (en) Methods and systems for using directional occlusion shading for a virtual object model
CN111862866B (zh) 图像显示方法、装置、设备及计算机可读存储介质
CN108043027B (zh) 存储介质、电子装置、游戏画面的显示方法和装置
CN108111911B (zh) 基于自适应跟踪框分割的视频数据实时处理方法及装置
WO2012007795A1 (en) Three dimensional face modeling and sharing based on two dimensional images
US11562531B1 (en) Cascading shadow maps in areas of a three-dimensional environment
CN111815786A (zh) 信息显示方法、装置、设备和存储介质
US11328437B2 (en) Method for emulating defocus of sharp rendered images
CN114332374A (zh) 一种虚拟显示方法、设备以及存储介质
CN111047506A (zh) 环境图生成和孔填充
CN111199573B (zh) 一种基于增强现实的虚实互反射方法、装置、介质及设备
US9897806B2 (en) Generation of three-dimensional imagery to supplement existing content
CN111862339A (zh) 虚拟标签展示方法、装置、设备及计算机可读存储介质
WO2023116396A1 (zh) 一种渲染显示方法、装置、计算机设备及存储介质
US11704864B1 (en) Static rendering for a combination of background and foreground objects
US11711494B1 (en) Automatic instancing for efficient rendering of three-dimensional virtual environment
US11593989B1 (en) Efficient shadows for alpha-mapped models
US20230152883A1 (en) Scene processing for holographic displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190122

RJ01 Rejection of invention patent application after publication