CN117635879A - 图像处理方法及装置 - Google Patents

Abstract

本公开涉及一种图像处理方法及装置，其中，该方法包括：通过识别正在展示的多媒体画面中的标识图案，获取标识图案所对应的标识信息；根据标识信息，获取与多媒体画面中的多媒体内容相对应的虚拟信息：再通过对现实环境进行实时采集，并将虚拟信息与实时采集的图像进行融合得到三维图像。本公开的方法通过将AR技术与多媒体内容相结合，使得用户在观看多媒体内容的过程中，能够通过识别多媒体画面中的标识图案获取与多媒体内容相关的虚拟信息，通过虚拟信息用户能够获得与多媒体内容相关联的延伸内容，增强了用户与多媒体内容之间的互动性，满足了用户观看多媒体内容时多样化的需求提升了用户体验。

Description

图像处理方法及装置

技术领域

本公开涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种图像处理方法及装置。

背景技术

电子设备通常具有播放多媒体内容的功能，用户可以通过电子设备观看各式各样的视频、图像等等，例如，综艺、电影、电视剧、健身视频等等，还可以通过点赞、分享、收藏等等形式与多媒体内容进行互动。AR是能够将虚拟信息与真实世界的信息进行融合，以达到增强现实的效果，是目前受到关注的热点技术之一。如何将AR技术与多媒体结合从而更好地满足用户在观看多媒体内容过程中多样性的需求是当前亟待解决的问题。

发明内容

为了解决上述技术问题，本公开提供了一种图像处理方法及装置。

第一方面，本公开实施例提供了一种图像处理方法，包括：

通过对多媒体画面中的标识图案进行识别，获取标识信息；

根据所述标识信息，获取与所述多媒体画面中所展示的多媒体内容相对应的虚拟信息；

获取实时采集的图像；

将所述虚拟信息与所述实时采集的图像进行融合得到三维图像。

在一些实施例中，还包括：展示所述三维图像。

在一些实施例中，所述方法应用于第一终端；其中，通过对多媒体画面中的标识图案进行识别，获取标识信息，包括：

通过所述第一终端对第二终端显示的所述多媒体画面中的二维码或者条形码图案进行识别，获取与所述多媒体画面对应的标识信息。

在一些实施例中，所述标识图案的透明度低于预设阈值。

在一些实施例中，所述根据所述标识信息，获取与所述多媒体画面中所展示的多媒体内容相对应的虚拟信息，包括：

将所述标识信息发送至服务端，以使所述服务端根据所述标识信息确定所述虚拟信息；接收所述服务端发送的所述虚拟信息。

在一些实施例中，所述三维图像包括目标虚拟对象的图像，所述方法还包括：响应于针对目标虚拟对象的调整操作，更新所述三维图像。

在一些实施例中，所述三维图像包括目标虚拟对象的图像，所述方法还包括：响应于针对目标虚拟对象的触发操作，显示所述目标虚拟对象的关联信息。

第二方面，本公开实施例提供了一种图像处理装置，包括：

识别模块，用于通过对多媒体画面中的标识图案进行识别，获取标识信息；

虚拟信息获取模块，用于根据所述标识信息，获取与所述多媒体画面中所展示的多媒体内容相对应的虚拟信息；

图像采集模块，用于获取实时采集的图像；

融合模块，用于将所述虚拟信息与所述实时采集的图像进行融合得到三维图像。

第三方面，本公开提供了一种电子设备，包括：存储器和处理器；

所述存储器被配置为存储计算机程序指令；

所述处理器被配置为执行所述计算机程序指令，使得所述电子设备实现如第一方面以及第一方面任一项所述的图像处理方法。

第四方面，本公开实施例提供了一种可读存储介质，包括：计算机程序指令；电子设备执行所述计算机程序指令，使得所述电子设备实现如第一方面以及第一方面任一项所述的图像处理方法。

第五方面，本公开实施例提供了一种计算机程序产品，当电子设备执行所述计算机程序产品，使得所述电子设备实现如第一方面以及第一方面任一项所述的图像处理方法。

本公开实施例提供一种图像处理方法及装置，其中，该方法包括：通过识别正在展示的多媒体画面中的标识图案，获取标识图案所对应的标识信息；根据标识信息，获取与多媒体画面中所展示的多媒体内容相对应的虚拟信息：再通过对现实环境进行实时采集，并将虚拟信息与实时采集的图像进行融合得到三维图像。本公开的方法通过将AR技术与多媒体内容相结合，使得用户在观看多媒体内容的过程中，能够通过识别多媒体画面中的标识图案获取与多媒体内容相关的虚拟信息，通过虚拟信息用户能够获得与多媒体内容相关联的延伸内容，增强了用户与多媒体内容之间的互动性，满足了用户观看多媒体内容时多样化的需求提升了用户体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一实施例提供的图像处理方法的应用场景示意图；

图2为本公开一实施例提供的图像处理方法的流程图；

图3a为本公开另一实施例提供的图像处理方法的流程图；

图3b为本公开另一实施例提供的图像处理方法的流程图；

图4A至图4D为本公开一实施例提供的场景及交互界面示意图；

图5A至图5D为本公开一实施例提供的场景及交互界面示意图；

图6A至图6B为本公开一实施例提供的场景及交互界面示意图；

图7A至图7C为本公开一实施例提供的场景及交互界面示意图；

图8为本公开一实施例提供的图像处理装置的结构示意图；

图9为本公开一实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

AR技术是一种将虚拟信息与现实环境进行融合的技术，将虚拟信息通过模拟仿真后，叠加到现实环境中，使得虚拟对象和现实环境两者能够在同一个画面以及空间中存在，从而实现对现实环境的“增强”；并且在这一过程中能够被用户感官所感知，从而实现超越现实的感官体验。

本公开提供的图像处理方法是通过将AR技术与视频技术相结合，使用户在观看多媒体内容的过程中，通过扫描多媒体画面，获取与多媒体画面相匹配的虚拟信息，并将虚拟信息与现实环境进行融合，得到三维图像。三维图像可以向用户展示与多媒体画面中所展示的多媒体内容相关联的延伸内容，通过虚拟信息用户能够获得与多媒体内容相关联的延伸内容，增强了用户与多媒体内容之间的互动性，满足了用户观看多媒体内容时多样化的需求；此外，三维图像更加立体，用户感知独特，从而大幅提升用户体验。其中，多媒体内容可以但不限于视频、图像等等。

其中，本公开的方法可以展示多媒体内容的终端与执行图像处理方法的终端可以为同一终端，也可以为不同的终端，本公开对此不做限定。

图1为本公开一实施例提供的图像处理方法的应用场景示意图。请参阅图1所示，该场景包括：第一终端101和第二终端102。

在一些实施例中，可以由第一终端101执行本公开的图像处理方法，由第二终端102用于展示多媒体内容。

第一终端101能够利用AR技术向用户展示具有增强效果的三维图像，其中，三维图像中可以包括一个或多个虚拟对象的图像，这些虚拟对象与第二终端102中的多媒体画面中所展示的多媒体内容相关。其中，第一终端101可以为任意类型的电子设备，例如，手机、PAD、笔记本电脑、智能可穿戴设备、AR眼镜、AR头盔等等。其中，第一终端101也可以称为AR设备、增强设备等其他名称。

第一终端101可以通过识别第二终端102所展示的多媒体画面中的标识图案从本地或者服务端获得虚拟信息，再将虚拟信息与实时采集的现实环境的图像进行融合得到具有增强效果的三维图像。其中，虚拟信息包括与视频内容相关联的一个或多个虚拟对象的信息，虚拟对象可以但不限于为计算机生成的文字、图像、三维模型、音乐、视频等等。三维模型可以为任意类型的对象对应的三维模型，例如，动物、植物、生活用品、房屋建筑、交通工具、星球、卡片、立体图形、特效动画等等。

在一些实施例中，第一终端101能够通过WiFi、3G/4G/5G等无线网络与存储有虚拟信息的服务端103进行交互，从服务端103获取相应的虚拟信息。

其中，服务端103中存储的虚拟信息可以是由视频发布者或者视频发布平台预先基于多媒体内容进行创作得到的，且发布或者存储至服务端103的，可以理解的是，服务端103中存储的虚拟信息与多媒体内容之间具有对应关系。

其中，第二终端102为具有显示功能的电子设备，能够播放带有标识图案的多媒体内容。第二终端102可以但不限于包括：智能手机、电视机、投影设备、移动终端或者其他智能设备等等电子设备。在一些实施例中，第二终端102可以但不限于通过安装的视频类应用程序(即视频类APP)播放多媒体内容，第二终端102可以从视频类应用程序对应的服务端获取多媒体内容的数据并进行播放。其中，第二终端102也可以称为显示设备、视频播放设备等等其他名称。

在另一些实施例中，播放多媒体内容以及执行图像处理方法的终端可以为同一终端，例如，可以由图1所示实施例中的第一终端101执行，第一终端101可以识别自身正在展示的多媒体画面中的标识图案从本地或者服务端获取虚拟信息，第一终端101再将虚拟信息与实时采集的环境的图像进行融合，生成三维图像并展示给用户。

下面通过几个具体实施例，结合附图对本公开提供的图像处理方法进行详细介绍。在下述实施例中以第一终端执行图像处理方法为例进行举例说明。

图2为本公开一实施例提供的图像处理方法的流程图。请参阅图2所示，本实施例的方法包括：

S201、通过对多媒体画面中的标识图案进行识别，获取标识信息。

本实施例中主要以多媒体内容为视频进行举例说明，多媒体内容为图像时的实现方式是类似的。其中，多媒体内容为视频时，多媒体画面可以理解为视频画面。

在一些实施例中，可以在第二终端播放视频，在第一终端中可以安装有指定应用程序，启动指定应用程序之后，用户可以通过指定应用程序控制第一终端的摄像头针对第二终端显示的视频画面进行扫描识别，用户可以将摄像头对准第二终端的显示屏幕，摄像头可以自动扫描视频画面中的标识图案，并对标识图案进行解码，得到标识信息。

在一些实施例中，第一终端播放视频，用户可以通过触发操作识别视频画面中的标识图案，以得到标识信息。例如，用户可以长按第一终端的屏幕达到预设时长或者用户可以通过操作第一终端的屏幕上提供的控件触发对标识图案的识别。

本公开对于第一终端或者第二终端当前正在展示的视频的时长、视频内容主题、视频的分辨率、全屏播放或者非全屏播放、当前的播放状态(暂停播放或者播放状态)等均不做限定。

本公开中，视频画面中的标识图案与虚拟信息之间存在对应关系，基于标识图案中的信息可以确定与视频画面中的视频内容匹配的虚拟信息。在一些实施例中，可以预先将虚拟信息对应的标识信息或者虚拟信息本身进行编码，生成标识图案，并将标识图案添加在相关的视频的全部视频帧图像中或者部分视频片段的视频帧图像中，因此，标识图案既能够表明用户想要获取的虚拟信息与视频之间的对应关系，也作为获取虚拟信息的入口展示给用户。需要说明的是，本公开对于对虚拟信息对应的标识信息进行编码以及对标识图案进行解码的实现方式不做限定，可以通过一些现有的编解码技术实现。

其中，标识信息可以是标识图案对应的信息，标识图案是虚拟信息对应的标识图案，标识信息是虚拟信息对应的标识信息，用于获取对应的虚拟信息。所述标识信息可以包括：虚拟信息对应的数据包名称、存储位置以及虚拟信息的相关描述信息，描述信息例如可以包括所包括的虚拟对象的数量、虚拟信息对应的场景的信息等等。

其中，标识图案可以但不限于为条形码图案、二维码图案、文本图案等等。其中，标识图案可以在视频帧图像中的位置以及显示参数(如透明度、亮度、颜色等等)可以任意设置，本公开对此不作限定。

例如，标识图案的透明度低于预设阈值，且标识图案可以尽量设置在靠近视频帧的边缘位置，以保证标识图案尽量不遮挡视频画面，减小标识图案对视频帧图像的影响，用户在观看视频的过程中既能够通过第一终端识别标识图案获取相应的虚拟信息，且不影响用户观看视频内容，能够提高用户体验。需要说明的是，标识图案可以位于视频帧图像的下层，通过设置标识图案的透明度低于预设阈值，标识图案与视频帧图像叠加之后，可以实现用户能够清楚地观看到上层的视频帧图像，下层的标识图案可以处于接近隐藏的状态，进而能够减小标识图案对于视频帧图像的遮挡。可以理解的是，预设阈值可以根据需求设定。此外，由于用户通过眼睛可能无法准确识别标识图案的位置，因此，第一终端可以向用户展示提示信息，以提示用户识别标识图案，这样也能够增加互动的趣味性。

又如，标识图案也可以设置在视频帧图像的上层，且标识图案采用较为明显的方式展示，用户在观看视频的过程中可以清楚确定标识图案的位置进行识别。

在一些实施例中，一个视频的不同视频片段中可以添加不同虚拟信息对应的标识图案，例如，视频A中包含有讲解宇宙的视频片段1以及讲解海洋相关的视频片段2，视频片段1包含100个视频帧图像，视频片段2包含150个视频帧图像，则可以在视频片段1包含的100个视频帧图像中添加基于宇宙相关的虚拟信息对应的标识图案，在视频片段2包含的150个视频帧图像中添加基于海洋相关的虚拟信息对应的标识图案。在另一些实施例中，也可以在一个视频的所有视频帧图像中添加相同的标识图案。进一步的，可以基于视频内容决定添加哪些相关的虚拟信息对应的标识图像以及标识图像所对应的视频帧图像的整个视频中的位置。

S202、根据所述标识信息，获取与所述多媒体画面中所展示的多媒体内容相对应的虚拟信息。

与多媒体画面中所展示的多媒体内容相对应的虚拟信息可以包括与多媒体内容相关联的一个或者多个虚拟对象的信息，虚拟对象可以但不限于如前所述的计算机生成的文字、图像、三维模型、音乐、视频等等。

一种可能的实施方式，第一终端本地预先存储有相应的虚拟信息，则第一终端可以在本地的存储空间中基于标识信息进行查询，获得与标识信息匹配的虚拟信息。

另一种可能的实施方式，第一终端可以将扫描得到的标识信息发送给存储有虚拟信息的服务端，服务端接收到标识信息后在数据库中进行匹配，获得与标识信息匹配的虚拟信息，并将虚拟信息下发至第一终端。

其中，上述两种方式可以单独使用，也可以结合使用，例如，首先在第一终端本地查询，如果未匹配到虚拟信息，则可以与服务端交互，从服务端获取虚拟信息。

在另一些实施例中，视频画面中的标识图案本身是基于虚拟信息进行编码得到的，则AR设备通过扫描标识图像进行解析便可直接得到虚拟信息，无需与服务端进行交互，也无需查询本地，简单快捷。

需要说明的是，第一终端还可以通过其他方式得到虚拟信息，本公开对此不作限定。

S203、获取实时采集的图像。

S204、将虚拟信息与实时采集的图像进行融合得到三维图像。

第一终端通过摄像头对现实环境进行实时采集，且将虚拟信息与实时采集的现实环境的图像进行融合得到三维图像，并展示三维图像。

其中，第一终端完成对标识图案的识别之后可以开始对所处现实环境进行实时采集，得到现实环境的图像，第一终端可以采用平面检测技术对现实环境的图像进行分析，确定参考平面，并基于确定的参考平面来确定虚拟信息包括的各虚拟对象的显示参数(如显示位置、显示尺寸、显示方向等等)，之后，第一终端基于确定的各虚拟对象的显示参数将各虚拟对象叠加在实时采集的现实环境的图像中，生成三维图像。之后，可以渲染显示生成的三维图像。

需要说明的是，第一终端可以通过摄像头以预设的周期对现实环境进行实时采集，因此，第一终端也需要不断基于实时采集的现实环境的图像进行实时计算，调整各虚拟对象的显示参数以及将虚拟对象与现实环境的图像之间的叠加融合，从而实时更新三维图像。

在一些实施例中，第一终端获取虚拟信息之后，或者扫描得到虚拟信息对应的标识信息，但未获取虚拟信息之前，第一终端可以向用户展示交互界面，在交互界面中向用户展示弹窗，弹窗中可以包括拍摄按钮，响应于用户针对拍摄按钮的触发操作，第一终端再开始通过摄像头对现实环境进行采集以及进行虚拟信息与现实环境的图像之间的叠加融合。

本实施例的方法，通过将AR技术与多媒体内容相结合，使得用户在观看多媒体内容的过程中，能够通过扫描多媒体画面中的标识图案获取与多媒体内容相关的虚拟信息，通过虚拟信息用户能够获得与多媒体内容相关联的延伸内容，增强了用户与多媒体内容之间的互动性，满足了用户观看多媒体内容时多样化的需求；此外，三维图像更加立体，用户感知独特，从而大幅提升用户体验。

第一终端生成三维图像并通过第一终端向用户展示三维图像，用户还可以与三维图像中虚拟对象的图像进行互动，趣味性更强，用户的互动积极性也会更高。其中，用户与三维图像中的虚拟对象的图像进行互动，可以是调整虚拟对象的显示参数，显示参数可以包括显示位置、显示大小以及显示方向中的一项或多项。或者，也可以触发显示与所操作的虚拟对象相关联的信息，例如，文本信息、视频信息、进入网页链接等等。

图3a为本公开另一实施例提供的图像处理方法的流程示意图。请参阅图3a所示，本实施例的方法在图2所示实施例的基础上，S204之后还包括：

S205、响应于针对目标虚拟对象的调整操作，更新所述三维图像。

第一终端所展示的三维画面是基于获取一个或多个虚拟对象与实时采集的图像进行融合生成的，三维图像中可以包括全部或者部分虚拟对象的图像，目标虚拟对象可以为三维图像中所显示出来多个虚拟对象中的任意一个，因此，也可以理解为三维图像中包括目标虚拟对象的图像。

本公开对于调整操作的触发方式不作限定。示例性地，调整操作可以是第一终端通过摄像头采集到的目标部位(如手部)动作，也可以是用户对第一终端的显示屏幕中目标虚拟对象的图像的操作。

当调整操作是基于目标部位动作触发时，例如，第一终端为手机，通过手机的后置摄像头采集现实环境的信息用于生成三维图像，通过手机的前置摄像头采集目标部位的图像，通过目标部位姿势、动作轨迹、动作时间、动作速度等等，从而确定目标部位动作。

检测到目标部位动作后，可以基于目标部位动作确定调整操作所对应的具体调整方式，并得到目标虚拟对象对应的调整后的显示参数，同时还可以获取其他虚拟对象的显示参数，并根据目标虚拟对象对应的调整后的显示参数以及其他虚拟对象的显示参数与摄像头实时采集的现实环境的图像进行叠加融合，生成更新后的三维图像，且向用户展示更新后的三维图像，用户可以通过更新后的三维图像观看调整了显示参数后的目标虚拟对象。

作为一种可能的实施方式，预先可以建立不同目标部位动作(或者动作组合)与目标虚拟对象以及调整方式三者之间的对应关系。其中，调整方式可以但不限于调整虚拟对象的显示参数。

当调整操作是基于用户操作第一终端的显示屏幕中目标虚拟对象的图像，则第一终端可以检测用户在显示屏幕上的操作位置以及操作方式，如按压、单指滑动、双指滑动等等，基于检测到的用户的操作位置确定要调整的目标虚拟对象，再基于操作方式确调整后的显示参数。类似地，可以在第一终端中配置操作方式与调整后的显示参数之间的对应关系，通过查询对应关系得到调整后的显示参数，进而更新三维图像。

图3b为本公开另一实施例提供的图像处理方法的流程示意图。请参阅图3b所示，在图2所示实施例的基础上，S204之后还包括：

S206、响应于针对目标虚拟对象的触发操作，显示所述目标虚拟对象的关联信息。

本步骤中提及的目标虚拟对象与步骤S205中提及的目标虚拟对象类似，可参照前述实施例的描述。

其中，目标虚拟对象的关联信息可以但不限于文本、图像、视频、音频、动画特效等等。

第一终端获取目标虚拟对象的触发操作的方式与前述图3a所示实施例中第一终端获取针对目标虚拟对象的调整操作类似，可参与前述图3a所示实施例的详细介绍，简明起见，此处不再赘述。

第一终端响应针对目标虚拟对象的触发操作，获取目标虚拟对象的关联信息，同时还可以获取其他虚拟对象的显示参数，并根据目标虚拟对象的关联信息以及其他虚拟对象的显示参数与摄像头实时采集的现实环境的图像进行叠加融合，生成更新后的三维图像，且向用户展示更新后的三维图像，用户可以通过更新后的三维图像观看关联信息，达到深入互动的目的。

结合图3a和图3b所示，用户通过与三维图像中的虚拟对象进行互动，能够增强互动性，满足用户的互动需求，从而提高用户体验。

此外，为了帮助用户能够清楚如何与三维图像中的虚拟对象进行互动，可以在三维图像中展示引导信息，以引导用户掌握与三维图像中的虚拟对象之间的互动方式。本公开对于引导信息的展示方式不作限定，也可以是通过文字、动画或者其他任意的方式实现。

还需要说明的是，在图2至图3b所示实施例中，若第一终端为播放视频的设备，第一终端还可以采集视频的数据，将虚拟信息、实时采集的现实环境的图像以及视频的数据进行融合，生成趣味性更强的三维图像，用户三维图像中也可以更加直观地看到视频内容，且虚拟信息与视频内容在内容上的关联性，用户体验更好。

其中，图4A至图7C为本公开提供的场景以及第一终端的界面示意图。在图4A至图7C所示实施例中，假设第一终端和第二终端可以处于同一房间中，第一终端为智能手机，手机中安装有AR程序，第二终端为固定于房间其中一面墙壁上的电视机。

其中，以电视机可以分别播放海洋主题的视频1、宇宙主题的视频2、音乐短片视频3以及美食制作视频4，用户通过手机分别扫描视频1至视频4的视频画面中的二维码图案获取相应的虚拟信息为例进行举例说明用户如何与视频进行AR互动。

情形1、电视机播放海洋主题的视频1

图4A为房间的墙壁上的电视机播放视频1的场景示意图，视频画面为海底的画面，在视频画面的右下角有当前播放位置对应的虚拟信息的二维码图案401。

用户将手机的后置摄像头对图4A所示的视频画面中的二维码图案401进行扫描的场景示意图，用户通过手机扫描二维码图案，能够通过前述实施例中所示的方式获取当前播放位置对应的虚拟信息，其中，虚拟信息包括：海豚、鲸鱼、水母、海龟等多个海洋生物的三维模型信息以及水母对应的虚拟控件的信息。手机获取到虚拟信息之后，将这些海洋生物、虚拟控件与手机的摄像头实时采集的房间的图像进行融合，并显示在手机的屏幕上。

示例性地，融合得到的三维图像可以如图4B所述，用户通过手机展示的三维图像能够感受到仿佛这些海洋生物在用户所处的房间中游动。如图4B所示，三维图像中还包括水母对应的虚拟控件，假设用户可以通过点击虚拟控件，进而触发显示介绍水母相关的多媒体内容。

如图4C所示，用户可以左手持有手机对房间进行实时采集，右手移动至手机的后置摄像头的视角范围内，且与三维图像中的虚拟控件的位置重叠，以表示用户右手的动作是针对虚拟控件的，接着，用户可以控制右手可以做出点击的动作，手机的后置摄像头采集到右手的点击动作以及分析点击动作的位置，确定是针对虚拟控件的触发，进而获取介绍水母的多媒体内容，且将获取的介绍水母的多媒体内容与摄像头实时采集的房间的图像进行融合，生成更新后的三维图像，并展示在手机屏幕上。其中，更新后的三维图像可以示例性地如图4D所示。

情形2、电视机播放宇宙主题的视频2

图5A为房间的墙壁上的电视机播放视频2的场景示意图，视频画面为宇宙的画面，在视频画面的右下角有当前播放位置对应的虚拟信息的二维码图案501。

用户将手机的后置摄像头对视频画面中的二维码图案进行扫描的场景示意图，用户通过手机扫描二维码图案，能够通过前述实施例中所示的方式获取当前播放位置对应的虚拟信息，其中，虚拟信息包括：太阳系中的多个星球(如土星、火星和月球)的三维模型的信息以及星球对应的卡片的信息，星球对应的卡片可以用于展示星球的相关介绍。手机获取到虚拟信息之后，将这些星球的3D模型以及卡片与手机的摄像头实时采集的房间的图像进行融合，并显示在手机的屏幕上。

示例性地，融合得到的三维图像可以如图5B所述，用户通过手机展示的三维图像能够感受到仿佛这些星球悬空漂浮在用户所处的房间中。且三维图像中还包括星球对应的卡片，使得用户能够同时了解星球的相关介绍。

在图5B所示实施例的基础上，用户可以通过指定动作放大星球的三维模型。如图5C所示，用户可以左手持有手机对房间进行实时采集，右手移动至手机的后置摄像头的视角范围内，且与三维图像中的月球对应的三维模型的位置重叠，以表示用户右手的动作是针对月球的，接着，用户可以控制右手可以做出指定动作(如双击以放大星球对应的三维模型)，手机的后置摄像头采集到右手的动作以及分析动作的位置，确定用户想要放大月球的三维模型，因此，手机可以放大星球的三维模型并与摄像头实时采集的房间的图像进行融合，生成更新后的三维图像，并展示在手机屏幕上。其中，更新后的三维图像可以示例性地如图5D所示，通过更新后的三维图像，用户可以查看月球的表面的细节，满足用户的需求。且在图5D所示的界面中，一些虚拟信息可以不显示，例如，星球对应的卡片、其中一些星球等等。

类似地，用户也可以通过特定动作(如单击以缩小星球对应的三维模型)，以查看星球的整体结构。

情形3、电视机播放音乐节目(视频3)

图6A为房间的墙壁上的电视机播放音乐节目的场景示意图，视频画面为歌手正在演唱音乐的画面，在视频画面的右下角有当前播放位置对应的虚拟信息的二维码图案601。

用户将手机的后置摄像头对视频画面中的二维码图案进行扫描的场景示意图，用户通过手机扫描二维码图案，能够通过前述实施例中所示的方式获取当前播放位置对应的虚拟信息，其中，虚拟信息包括：3D弹幕音乐空间所包含的3D弹幕对象的信息。手机获取到虚拟信息之后，将这些3D弹幕信息与手机的摄像头实时采集的房间的图像进行融合，并显示在手机的屏幕上。

示例性地，融合得到的三维图像可以如图6B所述，用户通过手机展示的三维图像能够感受到仿佛这些3D弹幕对象显示在用户所处的房间中，3D弹幕对象包括但不限于图6B中所示的跳动的音乐符、左下角显示歌词的元素、左上角用于显示用户发表的弹幕内容的元素、中间显示弹幕空间名称的元素等等。用户能够通过3D弹幕对象了解音乐表演节目所演唱的歌曲的歌词、观看音乐节目的用户发表的弹幕内容以及通过跳动的音乐符感受较为浓烈的音乐氛围，带给用户不同的体验。

其中，在情形1至情形3所示的场景中，用户可以通过操作手机屏幕向手机输入触发操作或者调整操作，调整目标虚拟对象如水母、月球。

情形4、电视机播放美食制作视频4

图7A为房间的墙壁上的电视机播放视频2的场景示意图，视频画面为美食制作视频的画面，在视频画面的右下角有当前播放位置对应的虚拟信息的二维码图案。

用户将手机的后置摄像头对视频画面中的二维码图案进行扫描的场景示意图，用户通过手机扫描二维码图案701，能够通过前述实施例中所示的方式获取当前播放位置对应的虚拟信息，其中，虚拟信息包括：盐瓶的三维模型的信息以及观看视频的用户发布的弹幕信息。手机获取到虚拟信息之后，将盐瓶的三维模型、弹幕信息与手机的摄像头实时采集的房间的图像进行融合，并显示在手机的屏幕上。

示例性地，融合得到的三维图像可以如图7B所示，用户通过手机展示的三维图像能够盐瓶位于美食制作视频中用于制作菜品的容器的上方(即盐瓶位于锅的上方)。

需要说明的是，可以对手机采集到的现实环境的图像进行剪辑(如裁剪、缩放等等)之后，与虚拟信息进行融合。如本实施例中，从摄像头采集到的房间的图像裁剪得到第二终端的视频画面部分即可，且将其缩放至合适比例，之后，将盐瓶以及弹幕信息与视频画面进行融合，生成三维图像并展示。图7B中叠加于视频画面的左侧、右侧以及上方的长方形方框即为展示弹幕信息的虚拟卡片。

在图7B所示实施例的基础上，用户可以通过指定动作控制盐瓶展示特效(如撒盐特效)。如图7C所示，用户可以左手持有手机对房间进行实时采集，右手移动至手机的后置摄像头的视角范围内，且与盐瓶对应的三维模型的位置重叠，以表示用户右手的动作是针对盐瓶的，接着，用户可以控制右手可以做出指定动作(如抖动盐瓶的动作)，手机的后置摄像头采集到右手的动作以及分析动作的位置，确定用户想要撒盐，因此，手机可以获取盐瓶对应的撒盐特效的数据并与摄像头实时采集的房间的图像(视频画面)进行融合，生成更新后的三维图像，并展示在手机屏幕上。通过本实施例的方式，用户可以与美食制作视频之间进行互动，仿佛用户亲身参与到美食制作过程中，有利于提升用户互动的积极性以及互动体验。

情形4所示的场景，若由手机播放美食制作视频4，第一终端可以从识别二维码的视频帧位置获取之后的视频数据，并将视频数据与手机摄像头采集的部位动作以及撒盐特效进行融合，并通过手机展示给用户。

通过在上述情形1至情形4示例性示出的场景中采用本公开提供的图像处理方法，能够使用户与第一终端/第二终端中展示的视频内容之间产生互动，还能够带给独特的感官体验，提高互动效果；此外，用户可以进一步与虚拟对象之间进行互动，能够满足用户的互动需求。

需要说明的是，本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。

示例性地，本公开还提供一种图像处理装置。

图8为本公开一实施例提供的图像处理装置的结构示意图。请参阅图8所示，本实施例提供的图像处理装置800包括：

识别模块801，用于通过对多媒体画面中的标识图案进行识别，获取标识信息。

虚拟信息获取模块802，用于根据所述标识信息，获取与所述多媒体画面中所展示的多媒体内容相对应的虚拟信息。

图像采集模块803，用于获取实时采集的图像。

融合模块804，用于将所述虚拟信息与所述实时采集的图像进行融合得到三维图像。

在一些实施例中，图像处理装置800还包括：显示模块805，用于展示三维图像。

在一些实施例中，识别模块801，通过对另一终端显示的多媒体画面中的二维码或者条形码图像进行识别，获取与所述多媒体画面对应的标识信息。

在一些实施例中，所述标识图案的透明度低于预设阈值。

在一些实施例中，虚拟信息获取模块802，具体用于将所述标识信息发送至服务端，以使所述服务端根据所述标识信息确定所述虚拟信息；接收所述服务端发送的所述虚拟信息。

在一些实施例中，所述三维图像包括目标虚拟对象的图像，融合模块804，还用于响应于针对目标虚拟对象的调整操作，更新三维图像。

在一些实施例中，所述三维图像包括目标虚拟对象的图像，融合模块804，还用于响应于针对目标虚拟对象的触发操作，显示所述目标虚拟对象的关联信息。

本实施例提供的图像处理装置可以用于执行前述任一方法实施例的技术方案，其实现原理以及技术效果类似，可参照前述方法实施例的详细描述，简明起见，此处不再赘述。

图9为本公开一实施例提供的电子设备的结构示意图。请参阅图9所示，本实施例提供的电子设备900包括：存储器901和处理器902。

其中，存储器901可以是独立的物理单元，与处理器902可以通过总线903连接。存储器901、处理器902也可以集成在一起，通过硬件实现等。

存储器901用于存储程序指令，处理器902调用该程序指令，执行以上任一方法实施例提供的图像处理方法。

可选地，当上述实施例的方法中的部分或全部通过软件实现时，上述电子设备900也可以只包括处理器902。用于存储程序的存储器901位于电子设备900之外，处理器902通过电路/电线与存储器连接，用于读取并执行存储器中存储的程序。

处理器902可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。

处理器902还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。

存储器901可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。

本公开实施例还提供一种可读存储介质，包括：计算机程序指令，所述计算机程序指令被电子设备的至少一个处理器执行时，使得所述电子设备实现如上任一方法实施例提供的图像处理方法。

本公开实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现如上任一方法实施例提供的图像处理方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

通过对多媒体画面中的标识图案进行识别，获取标识信息；

根据所述标识信息，获取与所述多媒体画面中所展示的多媒体内容相对应的虚拟信息；

获取实时采集的图像；

将所述虚拟信息与所述实时采集的图像进行融合得到三维图像。

2.根据权利要求1所述的方法，其特征在于，还包括：展示所述三维图像。

3.根据权利要求1所述的方法，其特征在于，所述方法应用于第一终端；其中，通过对多媒体画面中的标识图案进行识别，获取标识信息，包括：

通过所述第一终端对第二终端显示的所述多媒体画面中的二维码或者条形码图案进行识别，获取与所述多媒体画面对应的标识信息。

4.根据权利要求1所述的方法，其特征在于，所述标识图案的透明度低于预设阈值。

5.根据权利要求1所述的方法，其特征在于，所述根据所述标识信息，获取与所述多媒体画面中所展示的多媒体内容相对应的虚拟信息，包括：

将所述标识信息发送至服务端，以使所述服务端根据所述标识信息确定所述虚拟信息；

接收所述服务端发送的所述虚拟信息。

6.根据权利要求1所述的方法，其特征在于，所述三维图像包括目标虚拟对象的图像，所述方法还包括：

响应于针对目标虚拟对象的调整操作，更新所述三维图像。

7.根据权利要求1所述的方法，其特征在于，所述三维图像包括目标虚拟对象的图像，所述方法还包括：

响应于针对目标虚拟对象的触发操作，显示所述目标虚拟对象的关联信息。

8.一种图像处理装置，其特征在于，包括：

识别模块，用于通过对多媒体画面中的标识图案进行识别，获取标识信息；

虚拟信息获取模块，用于根据所述标识信息，获取与所述多媒体画面中所展示的多媒体内容相对应的虚拟信息；

图像采集模块，用于获取实时采集的图像；

融合模块，用于将所述虚拟信息与所述实时采集的图像进行融合得到三维图像。

9.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器被配置为存储计算机程序指令；

所述处理器被配置为执行所述计算机程序指令，使得所述电子设备实现如权利要求1至7任一项所述的图像处理方法。

10.一种可读存储介质，其特征在于，包括：计算机程序指令；

电子设备执行所述计算机程序指令，使得所述电子设备实现如权利要求1至7任一项所述的图像处理方法。

11.一种计算机程序产品，其特征在于，电子设备执行所述计算机程序指令，使得所述电子设备实现如权利要求1至7任一项所述的图像处理方法。