CN117974946A - 一种图像处理方法、系统及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法、系统及电子设备，获得目标环境的帧图像；将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；基于目标环境中的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整。通过遮挡检测网络确定目标环境的帧图像中包括的物体间的遮挡关系及遮挡边界，以便基于此对三维场景中物体间的遮挡信息进行调整，提高了遮挡关系识别的准确度，避免了三维场景中失真或穿透等情况的发生，提高了用户体验。

Description

一种图像处理方法、系统及电子设备

技术领域

本申请涉及增强现实领域，尤其涉及一种图像处理方法、系统及电子设备。

背景技术

在增强现实场景中，通常既存在现实中存在的实物，也存在虚拟对象，在虚拟对象与实物互动的过程中，由于遮挡关系识别不准确而可能存在遮挡穿透或失真等问题。

发明内容

有鉴于此，本申请提供一种图像处理方法、系统及电子设备，其具体方案如下：

一种图像处理方法，包括：

获得目标环境的帧图像；

将所述帧图像输入至预先训练的遮挡检测网络模型中，获得所述遮挡检测网络模型输出的所述帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，所述遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；

基于所述目标环境中的物体间的遮挡关系及遮挡边界对所述目标环境的三维场景中的物体的遮挡信息进行调整。

进一步的，训练遮挡检测网络模型，包括：

获得包括具有遮挡关系的多个物体的多个样本图像；

获得对每个样本图像中包括的物体间的遮挡关系及遮挡边界进行标注后的样本图像，所述遮挡边界至少包括：遮挡物体与被遮挡物体间的边界，及遮挡物体与图像背景的边界；

对多个标注后的样本图像进行模型训练，获得训练完成的遮挡检测网络模型。

进一步的，所述获得包括具有遮挡关系的多个物体的多个样本图像，包括：

获得多个原始样本图像，所述原始样本图像中包括具有遮挡关系的多个实体物体；

将虚拟对象插入至所述多个原始样本图像中，获得多个样本图像，所述样本图像中包括的多个物体包括：实体物体及虚拟对象，所述样本图像中的遮挡关系包括：实体物体与实体物体间的遮挡关系，虚拟对象与实体物体间的遮挡关系。

进一步的，基于所述目标环境中的物体间的遮挡关系及遮挡边界对所述目标环境的三维场景中的物体的遮挡信息进行调整，包括：

对所述目标环境进行三维扫描，获得所述目标环境的点云数据；

基于所述点云数据构建所述目标环境的三维轮廓；

基于所述目标环境中的物体间的遮挡关系及遮挡边界，在所述三维轮廓中构建所述三维轮廓中被遮挡物体的三维模型，生成所述目标环境的三维场景。

进一步的，还包括：

确定虚拟对象在所述目标环境的三维场景中的位置，以及所述虚拟对象与所述三维场景中物体间的遮挡关系；

将构建的虚拟对象添加至所述虚拟对象在所述三维场景中的位置处，以生成包括虚拟对象的三维场景。

进一步的，还包括：

如果确定所述三维场景的视角切换，基于切换后的视角对当前的环境进行三维扫描，以获得点云数据，以便基于获得的所述点云数据构建三维场景。

进一步的，所述基于所述目标环境中的物体间的遮挡关系及遮挡边界对所述目标环境的三维场景中的物体的遮挡信息进行调整，包括：

如果基于所述目标环境中的物体间的遮挡关系确定第一物体的至少部分被第二物体遮挡，则基于所述遮挡边界删除所述三维场景中被所述第二物体遮挡的第一物体的至少部分，其中，所述第一物体为实体物体或虚拟对象。

进一步的，还包括：

基于所述目标环境的帧图像确定所述目标环境的光照信息；

基于所述目标环境的光照信息调整所述三维场景中的物体的阴影。

一种图像处理系统，包括：

第一获得单元，用于获得目标环境的帧图像；

第二获得单元，用于将所述帧图像输入至预先训练的遮挡检测网络模型中，获得所述遮挡检测网络模型输出的所述帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，所述遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；

调整单元，用于基于所述目标环境中的物体间的遮挡关系及遮挡边界对所述目标环境的三维场景中的物体的遮挡信息进行调整。

一种电子设备，包括：

图像采集装置，用于获得目标环境的帧图像；

处理器，用于将所述帧图像输入至预先训练的遮挡检测网络模型中，获得所述遮挡检测网络模型输出的所述帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，所述遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；基于所述目标环境中的物体间的遮挡关系及遮挡边界对所述目标环境的三维场景中的物体的遮挡信息进行调整。

从上述技术方案可以看出，本申请公开的图像处理方法、系统及电子设备，获得目标环境的帧图像；将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；基于目标环境中的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整。本方案通过遮挡检测网络确定目标环境的帧图像中包括的物体间的遮挡关系及遮挡边界，以便基于此对三维场景中物体间的遮挡信息进行调整，提高了遮挡关系识别的准确度，避免了三维场景中失真或穿透等情况的发生，提高了用户体验。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种图像处理方法的流程图；

图2为本申请实施例公开的一种图像处理方法的流程图；

图3为本申请实施例公开的一种图像处理方法的流程图；

图4为本申请实施例公开的一种图像处理系统的结构示意图；

图5为本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请公开了一种图像处理方法，其流程图如图1所示，包括：

步骤S11、获得目标环境的帧图像；

步骤S12、将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的所述帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；

步骤S13、基于目标环境中的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整。

增强现实，即通过图像采集装置的位置以及角度精确计算并进行图像分析以便将虚拟环境与现实环境结合。

在增强现实的三维场景显示过程中，由于现实环境中可能存在多个物体，物体之间可能存在遮挡与被遮挡的关系，那么，在对增强现实的三维场景进行显示时，需要对环境中的多个物体的遮挡关系进行确定，以使得增强现实场景中所显示的内容能够更真实，如果环境中多个物体的遮挡关系确定的不准确，则可能存在显示失真的情况，从而降低用户的沉浸式体验。

基于此，本方案中，预先训练遮挡检测网络模型，通过遮挡检测网络模型对获得的目标环境的帧图像进行预测，以获得目标环境中物体间的遮挡关系及遮挡边界，并基于遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整，以使得三维场景中物体的遮挡信息能够符合目标环境中物体的实际情况，避免出现显示失真的情况，提高了用户的沉浸式体验。

具体的，获得目标环境的帧图像，可以通过增强现实设备中的图像采集装置采集现场图像，以获得目标环境的帧图像，以便对帧图像中的物体的遮挡关系及遮挡边界进行预测。增强现实设备中的图像采集装置可获得多帧图像，可对每一帧图像分别进行预测，以使得增强现实设备所显示的三维场景能够符合实际情况。

将目标环境的帧图像输入至预先训练完成的遮挡检测网络模型中，以获得遮挡检测网络模型的输出，其输出为预测的帧图像中包括的多个物体间的遮挡关系及遮挡边界。

遮挡关系即某个物体是否被其他物体遮挡，若被其他物体遮挡，是被哪一个物体遮挡，遮挡了该某物体的哪一部分，某物体的遮挡部分与被遮挡部分之间的边界即遮挡边界。

在基于帧图像确定目标环境中的物体间的遮挡关系及遮挡边界后，利用确定的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整，以使得调整之后的目标环境的三维场景中各物体的遮挡信息能够符合遮挡检测网络模型输出的物体间的遮挡关系及遮挡边界，以保持三维场景中的物体与现实场景中的物体间的遮挡信息一致。

其中，遮挡检测网络模型是通过对多个样本图像进行模型训练得到的，每个样本图像标注有物体间的遮挡关系及遮挡边界。使用该遮挡检测网络模型对输入的图像进行预测，是对图像进行语义分割，将属于不同遮挡物体的像素区分开，输出分割后的遮挡物体掩码结果，即该遮挡检测网络模型输出的是各个遮挡物体的像素级分割掩码，以提高遮挡检测的准确度。

在构建好遮挡检测网络模型以及目标环境的三维场景后，进入图像处理系统运行阶段。在运行过程中，通过图像采集装置获得目标环境的实时视频流，对实时视频流中的帧图像进行逐帧处理。

对于每一帧图像，使用预先训练的遮挡检测网络模型，能够确定该帧图像中的二维遮挡关系，其中，二维遮挡关系包括的物体间精确的遮挡关系及遮挡边界，利用确定出的物体间的遮挡关系及遮挡边界对三维场景中的物体的遮挡信息进行调整，以确定三维遮挡关系，并保证三维遮挡关系能够与基于帧图像确定的二维遮挡关系一致。

其中，根据三维遮挡关系，可区分不同的实例，如：当多个物体遮挡时，可确定多个物体间的前后顺序。

其代码示例可如下所示：

可重复上述操作，以实现对每帧图像的处理，保证三维场景中的三维遮挡关系能够始终与基于帧图像确定的二维遮挡关系匹配，以增强用户的沉浸式体验。

本实施例公开的图像处理方法，获得目标环境的帧图像；将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；基于目标环境中的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整。本方案通过遮挡检测网络确定目标环境的帧图像中包括的物体间的遮挡关系及遮挡边界，以便基于此对三维场景中物体间的遮挡信息进行调整，提高了遮挡关系识别的准确度，避免了三维场景中失真或穿透等情况的发生，增强了用户沉浸式体验。

本实施例公开了一种图像处理方法，其流程图如图2所示，包括：

步骤S21、获得包括具有遮挡关系的多个物体的多个样本图像；

步骤S22、获得对每个样本图像中包括的物体间的遮挡关系及遮挡边界进行标注后的样本图像，遮挡边界至少包括：遮挡物体与被遮挡物体间的边界，及遮挡物体与图像背景的边界；

步骤S23、对多个标注后的样本图像进行模型训练，获得训练完成的遮挡检测网络模型；

步骤S24、获得目标环境的帧图像；

步骤S25、将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；

步骤S26、基于目标环境中的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整。

通过模型训练获得遮挡检测网络模型，以便基于遮挡检测网络模型对目标环境的三维场景中的物体的遮挡信息进行调整。

其中，训练遮挡检测网络模型是通过多个样本图像实现的，多个样本图像中每个样本图像中均包括具有遮挡关系的多个物体，每个样本图像均可以为各种复杂的实际环境中的图像或视频，如：室内场景的图像、城市街景的图像、室外景观的图像等，以保证每个样本图像中都包括多个物体，物体之间具有遮挡关系，多个物体，如：行人、车辆、家具、树木等。

在获得多个样本图像后，可对每个样本图像中包括的遮挡关系进行标注，同时，还需要对样本图像中具有遮挡关系的物体间的遮挡边界进行标注，以便于进行模型训练。一个样本图像中可能存在多个遮挡关系，相应的，必然存在多个遮挡边界。

另外，在遮挡关系中存在静态遮挡、动态遮挡、部分遮挡、完全遮挡等形式，其中，静态遮挡是指两个静止的物体之间存在遮挡，这种情况下，一定时间之内，两个静止的物体之间的遮挡关系不会发生变化；动态遮挡是指运动的物体与其他物体之间存在遮挡，其他物体可以为静态物体，也可以为动态物体，这种情况下，一定时间之内，两个物体之间的遮挡关系会发生变化；部分遮挡是指某个物体被另一个物体遮挡，仅遮挡住了该物体的部分；而全部遮挡就是对该物体完全遮挡了，无法看到被遮挡住的物体。

如果是物体与物体之间的部分遮挡，其是存在遮挡边界的，遮挡边界是遮挡物体与被遮挡物体之间的边界；如果是物体与背景之间的部分遮挡，其也存在遮挡边界，此时遮挡边界为遮挡物体与图像背景的边界。

在确定每个样本图像中的遮挡关系及遮挡边界后，对遮挡关系及遮挡边界进行标注，标注完成后，利用标注完成的样本图像进行模型训练，即可得到遮挡检测网络模型，该遮挡检测网络模型的输入为图像，输出即为该图像中存在的遮挡关系及遮挡边界。

进一步的，获得包括具有遮挡关系的多个物体的多个样本图像，可以为：获得多个原始样本图像，原始样本图像中包括具有遮挡关系的多个实体物体；将虚拟对象插入至多个原始样本图像中，获得多个样本图像，样本图像中包括的多个物体包括：实体物体及虚拟对象，样本图像中的遮挡关系包括：实体物体与实体物体间的遮挡关系，虚拟对象与实体物体间的遮挡关系。

在原始样本图像中插入虚拟对象，并调整其位置，以适应不同的遮挡关系，并标注相应的遮挡关系及遮挡边界。确定虚拟对象的遮挡边界，能够方便后续替换背景或融合实际场景提供分割掩码，在训练数据准备阶段确定虚拟边界，即进行虚拟对象的精确分割，能够直接获得可用于遮挡处理的高质量掩码，避免在遮挡处理时再生成掩码带来的误差。

其代码示例可如下所示：

其中，图像合成的过程实际为：加载虚拟对象，即将虚拟对象的模型记载出来；数据增强，对原始样本图像进行旋转、缩放或颜色变化等增强处理；图像合成，将加载出来的虚拟对象插入至增强后的图像中，另外，还可添加各种遮挡物体，以生成样本图像，样本图像中至少包括：增强后的背景图像、插入的虚拟对象以及添加的遮挡物体。

需要说明的是，获得的原始样本图像中，本身可包括遮挡物体以及被遮挡物体，也可以仅为背景图像，而不包括遮挡物体及被遮挡物体，遮挡物体及被遮挡物体是在后续生成样本图像的过程中手动添加的。

采用上述方式能够获得不同环境下的样本图像，进行精确标注，以获得标注有遮挡关系及遮挡边界的图像。

在获得多个标注完成的样本图像后，可使用卷积神经网络深度学习方法，构建一个能够对各类环境进行遮挡检测和遮挡边界分割的网络模型，进行训练，以得到遮挡检测网络模型。

可使用Pix2Pix等包含分割模块的网络结构，该网络需要对各类环境中的遮挡进行分割和识别；网络输入为含有复杂环境的图像，输出为对遮挡物体的精确分割掩膜以及边界分类，即输出为遮挡关系及遮挡边界；利用多个样本图像进行模型训练，可采用迁移学习，使用预训练网络参数初始化，加载其参数，然后在样本图像的基础上进一步训练，以更新网络参数，使得训练完成的网络模型能够更好的适应相应的场景和目标，提升遮挡检测的效果。

其代码示例可如下所示：

python

#导入所需模块

fromtensorflow.keras import models,layers

#定义网络结构

model＝models.Sequential()

model.add(layers.Conv2D(32,3,activation＝'relu',input_shape＝(256,256,3)))

model.add(layers.MaxPooling2D(2,2))

...

#加载之前收集的数据

train_data＝load('train_data')

#划分训练集和验证集

train_set,val_set＝split_dataset(train_data)

#构建并编译模型

model.compile(optimizer＝'adam',loss＝'binary_crossentropy')

#训练网络

model.fit(train_set,epochs＝10,validation_data＝val_set)

#保存模型

model.save('occlusion_detection.h5')

采用上述方式，构建卷积神经网络，使用预先收集的样本图像进行训练，最终获得遮挡检测网络模型。

本实施例公开的图像处理方法，获得包括具有遮挡关系的多个物体的多个样本图像；获得对每个样本图像中包括的物体间的遮挡关系及遮挡边界进行标注后的样本图像，遮挡边界至少包括：遮挡物体与被遮挡物体间的边界，及遮挡物体与图像背景的边界；对多个标注后的样本图像进行模型训练，获得训练完成的遮挡检测网络模型；获得目标环境的帧图像；将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；基于目标环境中的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整。本方案通过遮挡检测网络确定目标环境的帧图像中包括的物体间的遮挡关系及遮挡边界，以便基于此对三维场景中物体间的遮挡信息进行调整，提高了遮挡关系识别的准确度，避免了三维场景中失真或穿透等情况的发生，增强了用户沉浸式体验。

本实施例公开了一种图像处理方法，其流程图如图3所示，包括：

步骤S31、获得目标环境的帧图像；

步骤S32、将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；

步骤S33、对目标环境进行三维扫描，获得目标环境的点云数据；

步骤S34、基于点云数据构建目标环境的三维轮廓；

步骤S35、基于目标环境中的物体间的遮挡关系及遮挡边界在三维轮廓中构建三维轮廓中被遮挡物体的三维模型，生成目标环境的三维场景。

要对增强现实场景中的物体的遮挡关系及遮挡边界进行调整，就需要首先构建增强现实场景中的三维场景，之后，才能基于预测得到的物体间的遮挡关系及遮挡边界对三维场景中的物体进行生成或调整。

可首先确定增强现实场景当前所在的目标环境，对目标环境进行三维扫描，以便获得目标环境的点云数据，并基于此实现目标环境的三维场景的构建，在三维场景构建完成后，基于目标环境的帧图像确定物体间的遮挡关系及遮挡边界，并基于遮挡关系及遮挡边界对三维场景中的物体间的遮挡信息进行调整，即首先生成三维场景，之后再对三维场景中的部分进行调整；

另外，还可以为：首先获得目标环境的帧图像，基于目标环境的帧图像预测物体间的遮挡关系及遮挡边界，并基于预测出的目标环境中的物体间的遮挡关系及遮挡边界直接构建新的目标环境的三维场景，此时构建的三维场景中各物体间的遮挡信息是符合预测得到的物体间的遮挡关系及遮挡边界的。

具体的，可使用结构光等设备对目标环境进行三维扫描，以获得目标环境的点云数据，对点云数据进行处理，转换为网格模型，建立目标环境的三维轮廓，根据模型输出的目标环境中的物体间的遮挡关系及遮挡边界，在三维轮廓中添加相应的物体，并且，添加的物体间的遮挡信息符合模型输出的遮挡关系及遮挡边界。

如果确定三维场景的视角切换，基于切换后的视角对当前的环境进行三维扫描，以获得点云数据，以便基于获得的点云数据构建三维场景。即当三维场景的视角发生切换时，需重新获得新视角下的点云数据，以便重新构建新的三维场景，以保证视角与三维场景匹配。

其代码示例可如下所示：

python

#导入三维重建模块

import reconstruction

#进行结构光扫描获取点云

point_cloud＝reconstruction.scan_environment(room)

#点云处理生成三维网格

mesh＝reconstruction.process_pointcloud(point_cloud)

#导入三维模型库

import model_lib

#在场景中添加遮挡物体

table＝model_lib.get_model('table')

chair＝model_lib.get_model('chair')

mesh.add_object(table)

mesh.add_object(chair)

#设置虚拟对象位置

virtual_object.set_position(x＝1,y＝0,z＝1)

#计算三维遮挡关系

relations＝mesh.calc_occlusion()

#保存三维场景

mesh.save('room_mesh.obj')

其中，在三维场景中添加虚拟对象，可以为：确定虚拟对象在目标环境的三维场景中的位置，以及虚拟对象与三维场景中物体间的遮挡关系；将构建的虚拟对象添加至虚拟对象在三维场景中的位置处，以生成包括虚拟对象的三维场景。

将虚拟对象的三维模型添加至目标环境的三维场景中，在添加虚拟对象的过程中，需考虑虚拟对象与三维场景中物体间的遮挡关系，以保证添加有虚拟对象的三维场景中，虚拟对象与其他物体之间的关系能够更自然。

在将虚拟对象的三维模型添加至目标环境的三维场景中之前，首先需确定虚拟对象，并确定虚拟对象在目标环境的三维场景中的位置，以便于能够将虚拟对象的三维模型添加至该位置处；另外，为了保证虚拟对象在三维场景中的效果，还需进一步确定虚拟对象与三维场景中各物体之间的遮挡关系及遮挡边界，并基于遮挡关系及遮挡边界调整三维场景中各物体以及虚拟对象的显示效果。

其中，确定虚拟对象，不仅需确定虚拟对象的三维模型，还需要确定虚拟对象的运动参数、渲染效果等。虚拟对象可以是增强现实应用中需要的各类三维模型，如：房间内的家居、装饰等，三维模型需准确反映虚拟对象的真实尺寸，并考虑材质参数，确保其能够合理的融入实际场景中；对于运动参数，如：家居的细微晃动，装饰的随风运动；对于渲染参数，如：光照效果需与实际光源吻合，材质参数也会影响合成效果。

不同的应用对于虚拟对象及其参数具有不同的要求。例如：对于教育应用，虚拟对象可能为人体器官、细胞结构等教学模型，此时，其参数设置需能够真实反应生物运动规律；对于文娱应用，虚拟对象可能为卡通角色或电影场景等，需具有夸张的形态和生动的运动参数；对于工业应用，虚拟对象可能为机械装置或建筑结构等，其尺寸及材质需高度精确对应实物；对于商业应用，虚拟对象可能为虚拟服饰等，其材质和渲染效果需呈现商品细节。

在确定虚拟对象在目标环境的三维场景中的位置以及与三维场景中物体间的遮挡关系后，需将虚拟对象的三维模型添加至三维场景中的相应位置处，并按照虚拟对象与三维场景中物体间的遮挡关系调整虚拟对象以及三维场景中物体的展示效果。

其代码示例可如下所示：

python

#导入虚拟对象库

frommodel_lib import Furniture

#定义虚拟家具

table＝Furniture('table')

chair＝Furniture('chair')

#设置模型参数

table.set_model('assets/table.obj')

table.set_material(wood_texture)

#设置运动参数

table.set_motion('sway',amplitude＝0.01)

#设置渲染参数

table.set_lighting(intensity＝0.8,direction＝[1,1,-1])

#将虚拟对象添加到三维场景

scene.add_model(table)

scene.add_model(chair)

#保存场景配置

scene.save('scene_config.json')

其中，在三维轮廓中添加物体时，对于被遮挡物体，可仅添加被遮挡物体的可见部分的三维模型，当遮挡关系发生变化时，再补充被遮挡物体中新增的可见部分的三维模型。

即：

如果基于目标环境中的物体间的遮挡关系确定第一物体的至少部分被第二物体遮挡，则基于遮挡边界删除三维场景中被第二物体遮挡的第一物体的至少部分，其中，第一物体为实体物体或虚拟对象。

如果第一物体被第二物体完全遮挡，则需剔除被遮挡区域的第一物体，以避免出现穿透现象；如果第一物体被第二物体部分遮挡，需准确确定遮挡边界，并将第一物体被第二物体遮挡的边界进行准确处理，删除第一物体中被遮挡的部分，以使第一物体在三维场景中的透视效果与遮挡物体相符，避免出现锯齿现象。

还需细微调整第一物体被第二物体遮挡时，第二物体中遮挡区域的颜色、对比度等，以增强遮挡效果。

对于动态遮挡，需做光照遮蔽，如果遮挡物体移动，则被遮挡物体需实时调整光照效果；遮挡的处理需持续进行，与每帧图像保持同步，以确定三维场景中各物体与实际场景的和谐呈现。

其代码示例可如下所示：

其中，对于渲染，可根据遮挡关系和环境光照，使用光线追踪等算法，确定三维场景中物体的阴影效果、环境反射等，以进行物理渲染。

关于物体阴影的确定，可以为：

基于目标环境的帧图像确定目标环境的光照信息，基于目标环境的光照信息调整三维场景中的物体的阴影。其中，三维场景中的物体可以为：三维场景中实际存在的实体物体，也可以为虚拟对象。

通过对目标环境的帧图像的分析，可确定目标环境的光照信息，从而确定三维场景中不同物体的阴影，获得的不同的目标环境的帧图像中，对于相同的物体，其光照信息会不同，那么，相应的，三维场景中该物体的阴影也会不同，需进行相应的调整。

另外，在确定三维场景中物体的阴影时，不仅需考虑光照信息，还需考虑三维场景中各物体的遮挡关系，确定出物体被遮挡区域的阴影效果，以保证物体的阴影效果能够与实际环境中的光照吻合。

进一步的，在进行渲染时，还需考虑环境中光照信息对物体的反射影响，如：地面反射等，以达到增强现实场景的身临其境的效果。

对不同材质的物体可设置相关的物理参数，进行物理渲染，以呈现其真实材质的效果。如：对于金属材质，可设置金属反射率，控制高光区域的明亮程度，还可设置粗糙度参数，以控制反射的清晰程度；对于塑料材质，可设置折射率参数，以控制光线在材质内部的折射效果；对于木材材质，可设置纹理参数，添加真实的木材纹路，还可设置各向异性参数，以控制光线反射的方向性；对于布料材质，可设置聚集参数，以模拟光线在布料织物中的散射效应；对于液体材质，可设置表面张力参数，以控制液面形态，还可设置折射率、粘度参数，其会影响光线在液体中的传输。

其代码示例可如下所示：

另外，经过物理渲染后，进行画面的输出时，可使用图像遮罩技术，将虚拟对象添加至目标环境的三维场景中，还可调整虚拟对象的无焦点模糊程度，当虚拟对象的模糊程度与同深度实体物体匹配时，可停止调整，以便于模拟镜头的景深效应，实现近大远小，实现与实景效果匹配的目的；还可根据实际取景的相机参数，得到实际场景中不同距离物体的理论模糊圈大小；对于不同距离的虚拟对象，根据其深度信息，匹配给虚拟对象相应大小的模糊核函数。

其代码示例可如下所示：

python

#获取实景图像

real_scene＝camera.get_frame()

#获取含虚拟对象的渲染图像

rendered_objs＝renderer.output

#创建图像遮罩

mask＝generate_mask(rendered_objs)

#颜色校正

color_adjust(rendered_objs,real_scene)

#调整虚拟对象焦外模糊

adjust_blur(rendered_objs,real_scene)

#图像融合

blended＝blend_images(real_scene,rendered_objs,mask)

#输出增强画面

display.show(blended)

#或投影到实际场景

projector.project(blended)

在增强现实场景中，随着视角的改变，可重复上述流程，以持续检测和响应遮挡情况，保证虚拟对象与实际的目标环境的匹配。

在系统初始化并首次输出增强画面后，需持续重复执行上述流程，以实现动态增强显示效果。系统需实时获取新的画面帧，进行遮挡检测和响应，以保证每帧输出的虚拟对象能够与实际的目标环境匹配；当检测到视角改变时，需及时更新三维场景，重新确定遮挡关系和渲染参数；需监控本实施例公开的图像处理方法所基于的系统的状态，动态调整参数，确保计算资源合理分配，避免延迟；还需定期对环境映射、虚拟对象等数据进行更新，以实现基于实际情况进行更新；还可设置有界缓存，移除视角范围外不再需要的对象，以节省资源；需持续维护软硬件系统的稳定性，处理异常情况。

其代码示例可如下所示：

本实施例公开的图像处理方法，可应用于各种增强现实系统，降低了开发难度，提升了用户体验；能够自适应遮挡变化，大幅减少了对准确环境映射的依赖，通过精确的遮挡检测与处理，解决了虚拟对象与实物物体互动时出现的穿透、遮罩失真等问题；实时性处理确保了增强现实的流畅性和互动性，为用户提供沉浸式体验。

本实施例公开的图像处理方法，获得目标环境的帧图像；将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；对目标环境进行三维扫描，获得目标环境的点云数据；基于点云数据构建目标环境的三维轮廓；基于目标环境中的物体间的遮挡关系及遮挡边界在三维轮廓中构建三维轮廓中被遮挡物体的三维模型，生成目标环境的三维场景。本方案通过遮挡检测网络确定目标环境的帧图像中包括的物体间的遮挡关系及遮挡边界，以便基于此对三维场景中物体间的遮挡信息进行调整，提高了遮挡关系识别的准确度，避免了三维场景中失真或穿透等情况的发生，提高了用户体验。

本实施例公开了一种图像处理系统，其结构示意图如图4所示，包括：

第一获得单元41，第二获得单元42及调整单元43。

其中，第一获得单元41用于获得目标环境的帧图像；

第二获得单元42用于将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；

调整单元43用于基于目标环境中的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整。

进一步的，本实施例公开的图像处理系统，还可以包括：

训练单元，用于训练遮挡检测网络模型；

训练单元用于：

获得包括具有遮挡关系的多个物体的多个样本图像；获得对每个样本图像中包括的物体间的遮挡关系及遮挡边界进行标注后的样本图像，遮挡边界至少包括：遮挡物体与被遮挡物体间的边界，及遮挡物体与图像背景的边界；对多个标注后的样本图像进行模型训练，获得训练完成的遮挡检测网络模型。

进一步的，训练单元用于：

获得多个原始样本图像，原始样本图像中包括具有遮挡关系的多个实体物体；将虚拟对象插入至多个原始样本图像中，获得多个样本图像，样本图像中包括的多个物体包括：实体物体及虚拟对象，样本图像中的遮挡关系包括：实体物体与实体物体间的遮挡关系，虚拟对象与实体物体间的遮挡关系。

进一步的，调整单元用于：

对目标环境进行三维扫描，获得目标环境的点云数据；基于点云数据构建所述目标环境的三维轮廓；基于目标环境中的物体间的遮挡关系及遮挡边界，在三维轮廓中构建三维轮廓中被遮挡物体的三维模型，生成目标环境的三维场景。

进一步的，调整单元还用于：

确定虚拟对象在目标环境的三维场景中的位置，以及虚拟对象与三维场景中物体间的遮挡关系；将构建的虚拟对象添加至虚拟对象在所述三维场景中的位置处，以生成包括虚拟对象的三维场景。

进一步的，调整单元还用于：

如果确定三维场景的视角切换，基于切换后的视角对当前的环境进行三维扫描，以获得点云数据，以便基于获得的点云数据构建三维场景。

进一步的，调整单元用于：

如果基于目标环境中的物体间的遮挡关系确定第一物体的至少部分被第二物体遮挡，则基于遮挡边界删除三维场景中被第二物体遮挡的第一物体的至少部分，其中，第一物体为实体物体或虚拟对象。

进一步的，调整单元还用于：

基于目标环境的帧图像确定目标环境的光照信息；基于目标环境的光照信息调整三维场景中的物体的阴影。

本实施例公开的图像处理系统是基于上述实施例公开的图像处理方法实现的，在此不再赘述。

本实施例公开的图像处理系统，获得目标环境的帧图像；将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；基于目标环境中的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整。本方案通过遮挡检测网络确定目标环境的帧图像中包括的物体间的遮挡关系及遮挡边界，以便基于此对三维场景中物体间的遮挡信息进行调整，提高了遮挡关系识别的准确度，避免了三维场景中失真或穿透等情况的发生，提高了用户体验。

本实施例公开了一种电子设备，其结构示意图如图5所示，包括：

图像采集装置51及处理器52。

其中，图像采集装置51用于获得目标环境的帧图像；

处理器52用于将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；基于目标环境中的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整。

本实施例公开的电子设备是基于上述实施例公开的图像处理方法实现的，在此不再赘述。

本实施例公开的电子设备，获得目标环境的帧图像；将帧图像输入至预先训练的遮挡检测网络模型中，获得遮挡检测网络模型输出的帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；基于目标环境中的物体间的遮挡关系及遮挡边界对目标环境的三维场景中的物体的遮挡信息进行调整。本方案通过遮挡检测网络确定目标环境的帧图像中包括的物体间的遮挡关系及遮挡边界，以便基于此对三维场景中物体间的遮挡信息进行调整，提高了遮挡关系识别的准确度，避免了三维场景中失真或穿透等情况的发生，提高了用户体验。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获得目标环境的帧图像；

将所述帧图像输入至预先训练的遮挡检测网络模型中，获得所述遮挡检测网络模型输出的所述帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，所述遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；

基于所述目标环境中的物体间的遮挡关系及遮挡边界对所述目标环境的三维场景中的物体的遮挡信息进行调整。

2.根据权利要求1所述的方法，其特征在于，训练遮挡检测网络模型，包括：

获得包括具有遮挡关系的多个物体的多个样本图像；

获得对每个样本图像中包括的物体间的遮挡关系及遮挡边界进行标注后的样本图像，所述遮挡边界至少包括：遮挡物体与被遮挡物体间的边界，及遮挡物体与图像背景的边界；

对多个标注后的样本图像进行模型训练，获得训练完成的遮挡检测网络模型。

3.根据权利要求2所述的方法，其特征在于，所述获得包括具有遮挡关系的多个物体的多个样本图像，包括：

获得多个原始样本图像，所述原始样本图像中包括具有遮挡关系的多个实体物体；

将虚拟对象插入至所述多个原始样本图像中，获得多个样本图像，所述样本图像中包括的多个物体包括：实体物体及虚拟对象，所述样本图像中的遮挡关系包括：实体物体与实体物体间的遮挡关系，虚拟对象与实体物体间的遮挡关系。

4.根据权利要求1所述的方法，其特征在于，基于所述目标环境中的物体间的遮挡关系及遮挡边界对所述目标环境的三维场景中的物体的遮挡信息进行调整，包括：

对所述目标环境进行三维扫描，获得所述目标环境的点云数据；

基于所述点云数据构建所述目标环境的三维轮廓；

基于所述目标环境中的物体间的遮挡关系及遮挡边界，在所述三维轮廓中构建所述三维轮廓中被遮挡物体的三维模型，生成所述目标环境的三维场景。

5.根据权利要求4所述的方法，其特征在于，还包括：

确定虚拟对象在所述目标环境的三维场景中的位置，以及所述虚拟对象与所述三维场景中物体间的遮挡关系；

将构建的虚拟对象添加至所述虚拟对象在所述三维场景中的位置处，以生成包括虚拟对象的三维场景。

6.根据权利要求1所述的方法，其特征在于，还包括：

如果确定所述三维场景的视角切换，基于切换后的视角对当前的环境进行三维扫描，以获得点云数据，以便基于获得的所述点云数据构建三维场景。

7.根据权利要求1所述的方法，其特征在于，所述基于所述目标环境中的物体间的遮挡关系及遮挡边界对所述目标环境的三维场景中的物体的遮挡信息进行调整，包括：

如果基于所述目标环境中的物体间的遮挡关系确定第一物体的至少部分被第二物体遮挡，则基于所述遮挡边界删除所述三维场景中被所述第二物体遮挡的第一物体的至少部分，其中，所述第一物体为实体物体或虚拟对象。

8.根据权利要求1所述的方法，其特征在于，还包括：

基于所述目标环境的帧图像确定所述目标环境的光照信息；

基于所述目标环境的光照信息调整所述三维场景中的物体的阴影。

9.一种图像处理系统，其特征在于，包括：

第一获得单元，用于获得目标环境的帧图像；

第二获得单元，用于将所述帧图像输入至预先训练的遮挡检测网络模型中，获得所述遮挡检测网络模型输出的所述帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，所述遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；

调整单元，用于基于所述目标环境中的物体间的遮挡关系及遮挡边界对所述目标环境的三维场景中的物体的遮挡信息进行调整。

10.一种电子设备，其特征在于，包括：

图像采集装置，用于获得目标环境的帧图像；

处理器，用于将所述帧图像输入至预先训练的遮挡检测网络模型中，获得所述遮挡检测网络模型输出的所述帧图像中包括的目标环境中的物体间的遮挡关系及遮挡边界；其中，所述遮挡检测网络模型为通过对多个样本图像进行模型训练得到的模型，每个样本图像标注有物体间的遮挡关系及遮挡边界；基于所述目标环境中的物体间的遮挡关系及遮挡边界对所述目标环境的三维场景中的物体的遮挡信息进行调整。