CN113552942B - 一种基于光照强度显示虚拟对象的方法及设备 - Google Patents

Abstract

本申请涉及AR技术领域，提供一种基于光照强度显示虚拟对象的方法及设备，具体的，获取真实场景图像中虚拟对象的位置信息，截取所述虚拟对象的局部图像；根据所述真实场景图像中的预设通道数据，确定真实场景的光照强度，以及根据所述局部图像中的预设通道数据，确定所述虚拟对象的光照强度；根据所述真实场景的光照强度和所述虚拟对象的光照强度，确定所述虚拟对象的目标光照强度；将所述虚拟对象的光照强度调整至所述目标光照强度，并显示调整后的真实场景图像，由于虚拟对象的目标光照强度是由真实场景的光照强度和虚拟对象的光照强度联合确定的，使得虚拟对象与真实场景的光照强度一致，提高了虚拟对象与真实场景融合的真实感。

Description

一种基于光照强度显示虚拟对象的方法及设备

技术领域

本申请涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种基于光照强度显示虚拟对象的方法及设备。

背景技术

AR技术是一种将虚拟对象与真实场景巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、三维模型、音频等虚拟对象模拟仿真后，应用到真实场景中，两种信息互为补充，从而实现对真实场景的“增强”，达到AR效果。

AR效果的真实性主要体现在几何一致性、时间一致性、光照一致性上。其中，几何一致性是指计算机生成的虚拟对象在真实场景中的位置、透视和遮挡关系等准确无误；时间一致性是指虚拟对象与真实场景中的物体运动状态相互协调；光照一致性是指虚拟对象与真实场景中物体的明暗关系相互匹配。

在AR体验中，用户对真实场景的照明有微妙的感觉，当显示的虚拟对象没有光影或光影没有反映真实场景中的光照强度时，会造成该虚拟对象并非属于该真实环境的视觉效果，严重影响用户的真实体验。

目前，虚拟对象光照强度的确定方式主要有两种，一种是通过光传感器来获取虚拟对象所在真实场景的光照强度，但设备成本较高；另一种是将虚拟物体的光照强度设为一个固定值，这会导致虚拟对象的表面亮度与真实场景的亮度不匹配，用户观看增强后的画面时一眼便可看出哪个是虚拟对象，画面不够真实。

发明内容

本申请实施例提供了一种基于光照强度显示虚拟对象的方法及设备，用于提高虚拟对象与真实场景融合的真实感。

第一方面，本申请实施例提供一种基于光照强度显示虚拟对象的方法，包括：

获取真实场景图像中虚拟对象的位置信息，截取所述虚拟对象的局部图像；

根据所述真实场景图像中的预设通道数据，确定真实场景的光照强度，以及根据所述局部图像中的预设通道数据，确定所述虚拟对象的光照强度；

根据所述真实场景的光照强度和所述虚拟对象的光照强度，确定所述虚拟对象的目标光照强度；

将所述虚拟对象的光照强度调整至所述目标光照强度，并显示调整后的真实场景图像。

第二方面，本申请实施例提供一种基于光照强度显示虚拟对象的设备，包括显示器、通信接口、存储器、处理器；

所述显示器，与所述处理器连接，被配置为显示增强的真实场景图像；

所述存储器，与所述处理器连接，被配置为存储计算机程序指令；

所述处理器，被配置为根据所述计算机程序指令执行以下操作：

获取真实场景图像中虚拟对象的位置信息，截取所述虚拟对象的局部图像；

根据所述真实场景图像中的预设通道数据，确定真实场景的光照强度，以及根据所述局部图像中的预设通道数据，确定所述虚拟对象的光照强度；

根据所述真实场景的光照强度和所述虚拟对象的光照强度，确定所述虚拟对象的目标光照强度；

将所述虚拟对象的光照强度调整至所述目标光照强度，并显示调整后的真实场景图像。

第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的基于光照强度显示虚拟对象的方法。

本申请的上述实施例中，根据虚拟对象在真实场景图像中的位置信息截取得到局部图像，根据真实场景图像和局部图像各自的预设通道数据，分别确定真实场景的光照强度和虚拟对象的光照强度，进一步地，将虚拟对象的光照强度调整至两个光照强度确定的目标光照强度，并显示调整后的真实场景图像，由于虚拟对象的目标光照强度是由真实场景的光照强度和虚拟对象的光照强度联合确定的，使得虚拟对象与真实场景的光照强度一致，提高了虚拟对象与真实场景融合的真实感。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请实施例提供的应用场景示意图；

图2示例性示出了本申请实施例提供的基于光照强度显示虚拟对象的方法流程图；

图3示例性示出了本申请实施例提供的截取虚拟对象的局部图像的示意图；

图4示例性示出了本申请实施例提供的不规范放置虚拟对象的示意图；

图5示例性示出了本申请实施例提供的基于光照强度显示虚拟对象的完整方法流程图；

图6示例性示出了本申请实施例提供的基于光照强度显示虚拟对象的设备结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

由于用户所处环境的不同，环境亮度会有所差异，因此需要调整虚拟对象的亮度以提高增强画面的真实感。本申请实施例提供一种基于光照强度显示虚拟对象的方法及设备，通过摄像头采集的真实场景图像，确定虚拟对象所在位置的目标光照强度，并根据确定的目标光照强度自动调整虚拟对象的光照强度，以使虚拟对象与真实场景的光照亮度相匹配，提高画面的真实感，进而提升用户体验。

本申请实施例提供一种基于光照强度显示虚拟对象的方法及设备，可应用于多种AR场景。

例如，用户打开智能终端(例如手机、平板等)中的AR应用程序，用户界面会显示摄像头拍摄到的真实场景画面，用户可通过点击触摸屏将虚拟对象放置在真实场景图像中相应的位置上(如图1将虚拟茶壶放置在书桌上)，通过本申请实施例提供的方法调整虚拟对象的光照强度，使得虚拟对象表面的亮度与真实场景相一致，提高虚拟对象与真实场景融合的真实感。

再例如，用户配戴AR眼镜，AR眼镜的镜片具有透视效果，用户可透过AR眼镜看到眼前真实场景，利用AR应用程序将虚拟对象呈现在AR眼镜的镜片上，通过本申请实施例提供的方法调整虚拟对象的光照强度，以使增强画面具备真实感。

需要说明的是，上述两种场景仅作为示例，其他AR场景同样适用本申请实施例提供的方法。

下面结合附图详细描述本申请的实施例。

图1示出了本申请实施例提供的应用场景示意图；如图1所示，通过人机交互，采用AR技术在真实场景中叠加一个茶壶101，该茶壶为虚拟对象，102_1至102_4为真实场景中的物体。为使虚拟茶壶101更加自然的融合到真实场景中，在较暗环境下，虚拟茶壶101的表面亮度应该偏暗一些；在较亮环境下，虚拟茶壶101表面亮度应该偏亮一些，使得虚拟茶壶101的表面亮度与真实场景的环境亮度相匹配，从而给用户带来沉浸式的真实体验。

图2示例性示出了本申请实施例提供的一种基于光照强度显示虚拟对象的方法流程图；如图2所示，该流程可由基于光照强度显示虚拟对象的设备执行，主要包括以下几步：

S201：获取真实场景图像中虚拟对象的位置信息，截取虚拟对象的局部图像。

该步骤中，用户通过设备的触控屏、手柄等控制单元发送虚拟对象的添加指令，所述添加指令中携带虚拟对象的位置信息，设备根据接收的添加指令在真实场景图像上添加虚拟对象。其中，虚拟对象可通过Unity或OpenGL等3D渲染引擎进行绘制，虚拟对象的位置信息包括虚拟对象对应的区域框BOX的左上角坐标(X，Y)以及虚拟对象的像素宽度W和像素高度H。设备根据获取的位置信息，从真实场景图像中截取虚拟对象的局部图像，如图3所示。

需要说明的是，本申请实施例对虚拟对象的添加方式不做限制性要求，例如，对于具有手势识别功能的设备，用户也可以通过手势发送添加指令；又例如，设备对真实场景中的平面进行识别，将虚拟对象自动放置在识别的平面上。

S202：根据真实场景图像中的预设通道数据，确定真实场景的光照强度，以及根据局部图像中的预设通道数据，确定虚拟对象的光照强度。

该步骤中，真实场景图像为YUV格式，预设通道数据为亮度(Y)通道数据。具体实施时，提取真实场景图像中每一像素点的Y通道全局数据，并确定提取的Y通道全局数据的第一均值，记为Lc，将第一均值作为真实场景的光照强度，同时，提取局部图像中每个像素点的Y通道局部数据，并确定提取的Y通道局部数据的第二均值，记为Lv，将第二均值作为虚拟对象的光照强度。

S203：根据真实场景的光照强度和虚拟对象的光照强度，确定虚拟对象的目标光照强度。

该步骤中，通常准确放置的虚拟对象的光照强度与真实场景的光照亮度几乎不会差距过大，若过大，表明虚拟对象的放置位置不正确。如图4所示，若将虚拟对象放置在图4中的虚线框位置处，计算得到的Lv会过小。因此，可根据光照强度的差值确定目标光照强度。

在执行S203时，可确定真实场景的光照强度Lc和虚拟对象的光照强度Lv的差值(Ld＝|Lc-Lv|)，将确定的差值与预设的光照强度阈值y进行比较，根据比较结果确定目标光照强度。具体的，若Ld＜y，则将虚拟对象的光照强度作为目标光照强度(lout＝Lv)。

并且，在S203中，由于真实场景图像中的光照强度不具备深度信息，因此截取的局部图像中的光照强度也不具备深度信息，也就是说，在此区域显示的虚拟对象，距离此区域1米处放置的虚拟对象与距离此区域2米处放置的虚拟对象的光照强度是一致的。考虑到通常放置虚拟对象时，一般放置在真实场景前方的，也就意味着，虚拟对象的真实亮度略高于Lv的概率较大，因此，若Ld≥y，则以截取局部图像的区域框的中心点为基准，将区域框放大预设倍数，得到放大后的局部图像，提取放大后的局部图像中每个像素点的Y通道数据，并确定Y通道数据的第三均值，得到放大后的局部图像的光照强度，并将放大后的局部图像的光照强度确定为目标光照强度。可选的，预设倍数为1.5。

S204：将虚拟对象的光照强度调整至目标光照强度，并显示调整后的真实场景图像。

该步骤中，可通过以下两种方式调整虚拟对象的光照强度：

方式一

由于虚拟对象为3D模型，可以通过旋转、移动等操作变换姿态，而不同姿态的光照强度也是不同的，例如，虚拟对象的一面朝向光线时，朝向光线的虚拟对象的表面较亮，北向光线的虚拟对象的表明较暗。因此，可在虚拟场景中设置光源，根据光源将虚拟对象的光照强度调整至目标光照强度。具体的，根据虚拟场景中虚拟对象的位置信息与光源的位置信息之间的对应关系，将虚拟对象的光照强度调整至目标光照强度，并显示调整后的真实场景图像。

方式二

虚拟对象的表面是基于提取的纹理数据渲染得到的，因此，可通过调整纹理数据的亮度进而调整虚拟对象的亮度。具体的，根据目标光照强度调整虚拟对象的纹理数据，根据调整后的纹理数据在真实场景图像中重新绘制虚拟对象，并显示绘制后的真实场景图像。

需要说明的是，本申请实施例调整的仅仅是虚拟对象的表面亮度，对于局部图像中的非虚拟对象的像素点的亮度不会进行调整。

本申请的上述实施例中，基于真实场景的环境亮度与虚拟对象的环境亮度的差值与光照强度阈值的大小，确定虚拟对象的目标光照强度，并将虚拟对象的光照强度自动调整值目标光照强度，使得调整后的目标对象的光照强度与真实场景的光照强度保持一致，使得虚拟对象更加真实的融合到真实场景中，给用户打来更加真实的沉浸式体验。

图5示例性示出了本申请实施例提供的基于光照强度显示虚拟对象的完整方法流程图。如图5所示，该流程由基于光照强度显示虚拟对象的设备执行，主要包括以下几步：

S501：根据接收的虚拟对象的添加指令添加虚拟对象，添加指令中携带虚拟对象的位置信息。

S502：根据添加指令携带的位置信息，从获取的真实场景图像中截取虚拟对象的局部图像。

S503：提取真实场景图像中每个像素点的Y通道全局数据，并确定提取的Y通道全局数据的第一均值，将第一均值确定为真实场景的光照强度。

S504：提取局部图像中每个像素点的Y通道局部数据，并确定提取的Y通道局部数据的第二均值，将第二均值确定为虚拟对象的光照强度。

S505：确定真实场景的光照强度与虚拟对象的光照强度的差值。

S506：将确定的差值与预设的光照强度亮度阈值进行比较，若差值小于光照强度亮度阈值，则执行S507，否则执行S508。

S507：将虚拟对象的光照强度作为目标光照强度。

S508：以截取局部图像的区域框的中心点为基准，将区域框放大预设倍数，得到放大后局部图像。

S509：提取放大后的局部图像中每个像素点的Y通道局部数据，并确定提取的Y通道局部数据的第三均值，将第三均值作为目标光照强度。

S510：将虚拟对象的光照强度调整至目标光照强度，并显示调整后的真实场景图像。

需要说明的是，S501～S510并非严格的执行顺序，例如，S504可以先于S503执行，也可以并行执行。

基于相同的技术构思，本申请实施例提供一种基于光照强度显示虚拟对象的设备，该设备可以是智能电视、智能手机、笔记本电脑、台式机、VR设备、AR设备等具有交互功能的显示终端，该设备可以实现本申请实施例中基于光照强度显示虚拟对象的方法，且能达到同样的技术效果，在此不再重复。

参见图6，该设备包括显示器601、存储器602、处理器603，显示器601、存储器602分别与处理器603通过总线连接(在图6中使用双向箭头表示)，显示器601被配置为显示增强后的真实场景图像；存储器602被配置为存储计算机程序指令；处理器603，被配置为根据计算机程序指令执行以下操作：

获取真实场景图像中虚拟对象的位置信息，截取虚拟对象的局部图像；

根据真实场景图像中的预设通道数据，确定真实场景的光照强度，以及根据局部图像中的预设通道数据，确定虚拟对象的光照强度；

根据真实场景的光照强度和虚拟对象的光照强度，确定虚拟对象的目标光照强度；

将虚拟对象的光照强度调整至目标光照强度，并显示调整后的真实场景图像。

可选的，处理器603具体被配置为：

确定真实场景的光照强度和虚拟对象的光照强度的差值；

将确定的差值与预设的光照强度阈值进行比较，根据比较结果确定目标光照强度。

可选的，处理器603具体被配置为：

若差值小于光照强度阈值，则将虚拟对象的光照强度作为目标光照强度；

若差值不小于光照强度阈值，则以截取局部图像的区域框的中心点为基准，将区域框放大预设倍数，得到放大后局部图像，根据放大后的局部图像的光照强度确定目标光照强度。

可选的，处理器603具体被配置为：

在虚拟场景中设置光源，根据光源将虚拟对象的光照强度调整至目标光照强度；或者

根据目标光照强度调整虚拟对象的纹理数据，根据调整后的纹理数据在真实场景图像中重新绘制虚拟对象。

可选的，处理器603具体被配置为：

根据虚拟场景中虚拟对象的位置信息与光源的位置信息之间的对应关系，将虚拟对象的光照强度调整至目标光照强度。

可选的，真实场景图像为YUV格式，处理器603具体被配置为：

提取真实场景图像中的Y通道全局数据，并确定Y通道全局数据的第一均值，将第一均值作为真实场景的光照强度；以及

提取局部图像中的Y通道局部数据，并确定Y通道局部数据的第二均值，将第二均值作为虚拟对象的光照强度。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (3)

1.一种基于光照强度显示虚拟对象的方法，其特征在于，应用于增强现实AR场景，包括：

接收用户发送的虚拟对象的添加指令，基于所述添加指令获取真实场景图像中虚拟对象的位置信息，截取所述虚拟对象的局部图像，其中，所述添加指令中携带所述虚拟对象的位置信息；

根据所述真实场景图像中的预设通道数据，确定真实场景的光照强度，以及根据所述局部图像中的预设通道数据，确定所述虚拟对象的光照强度；

根据所述真实场景的光照强度和所述虚拟对象的光照强度，确定所述真实场景的光照强度和所述虚拟对象的光照强度的差值；

若所述差值小于预设光照强度阈值，则将所述虚拟对象的光照强度作为目标光照强度；

若所述差值不小于所述光照强度阈值，则以截取所述局部图像的区域框的中心点为基准，将所述区域框放大预设倍数，得到放大后局部图像，根据放大后的局部图像的光照强度确定目标光照强度；

在虚拟场景中设置光源，根据所述虚拟场景中所述虚拟对象的位置信息与所述光源的位置信息之间的对应关系，将所述虚拟对象的光照强度调整至所述目标光照强度，或者根据所述目标光照强度调整所述虚拟对象的纹理数据，根据调整后的纹理数据在所述真实场景图像中重新绘制所述虚拟对象，并显示调整后的真实场景图像。

2.如权利要求1所述的方法，其特征在于，所述真实场景图像为YUV格式，所述根据所述真实场景图像中的预设通道数据，确定真实场景的光照强度，以及根据所述虚拟对象的区域图像中的预设通道数据，确定所述虚拟对象的光照强度，包括：

提取所述真实场景图像中的Y通道全局数据，并确定所述Y通道全局数据的第一均值，将所述第一均值作为所述真实场景的光照强度；以及

提取所述局部图像中的Y通道局部数据，并确定所述Y通道局部数据的第二均值，将所述第二均值作为所述虚拟对象的光照强度。

3.一种基于光照强度显示虚拟对象的设备，其特征在于，包括显示器、通信接口、存储器、处理器；

所述显示器，与所述处理器连接，被配置为显示增强的真实场景图像；

所述存储器，与所述处理器连接，被配置为存储计算机程序指令；

所述处理器，被配置为根据所述计算机程序指令执行以下操作：

接收用户发送的虚拟对象的添加指令，基于所述添加指令获取真实场景图像中虚拟对象的位置信息，截取所述虚拟对象的局部图像，其中，所述添加指令中携带所述虚拟对象的位置信息；

根据所述真实场景图像中的预设通道数据，确定真实场景的光照强度，以及根据所述局部图像中的预设通道数据，确定所述虚拟对象的光照强度；

根据所述真实场景的光照强度和所述虚拟对象的光照强度，确定所述真实场景的光照强度和所述虚拟对象的光照强度的差值；

若所述差值小于预设光照强度阈值，则将所述虚拟对象的光照强度作为目标光照强度；

若所述差值不小于所述光照强度阈值，则以截取所述局部图像的区域框的中心点为基准，将所述区域框放大预设倍数，得到放大后局部图像，根据放大后的局部图像的光照强度确定目标光照强度；

在虚拟场景中设置光源，根据所述虚拟场景中所述虚拟对象的位置信息与所述光源的位置信息之间的对应关系，将所述虚拟对象的光照强度调整至所述目标光照强度，或者根据所述目标光照强度调整所述虚拟对象的纹理数据，根据调整后的纹理数据在所述真实场景图像中重新绘制所述虚拟对象，并显示调整后的真实场景图像。