CN113220251A - 物体显示方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种物体显示方法、装置、电子设备及存储介质，属于计算机技术领域。本公开通过应用从多个视角所采集的物体图像，来对目标物体进行描述，这些物体图像能够充分保留目标物体的细节信息，在将该目标物体叠加在场景图像中显示时，根据场景图像所对应的目标视角，从多个物体图像中选取拍摄视角与该目标视角相邻的物体图像，基于选取出的物体图像所对应的像素点变化信息、物体图像的视角与目标视角之间的位置差异，对物体图像进行图像变换，使物体图像的视角更加符合场景图像所对应的目标视角，将变换后的物体图像叠加在场景图像上，使目标物体能够更加真实的在该场景图像中显示出来。

Description

物体显示方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及物体显示方法、装置、电子设备及存储介质。

背景技术

增强现实(Augmented Reality，AR)是一种将虚拟、现实相结合的技术，能够将任一物体叠加在真实环境中显示。目前，在真实环境中叠加显示其他物体时，需要设计人员先构建物体对应的三维模型，再将该三维模型渲染到真实场景图像中，物体的显示效果依赖于构建出的三维模型的精确度。但是由于三维模型的数据量往往会较大，在增强现实技术中，为确保物体显示的实时性，通常会控制模型的数据量，舍弃模型中的一些细节信息，这就会导致最终物体显示的效果较差。

发明内容

本公开提供一种物体显示方法、装置、电子设备及存储介质，能够提高物体在场景图像中的显示效果的真实度。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种物体显示方法，包括：

获取场景图像以及目标物体的多个物体图像，该多个物体图像在多个不同视角采集得到；

基于该场景图像的目标视角，从该多个物体图像所对应的视角中，确定至少一个参考视角，该目标视角是采集该场景图像的视角，该参考视角与该目标视角在空间位置上相邻；

基于至少一个目标像素点变化信息、该至少一个参考视角与该目标视角之间的位置差异信息，分别对该至少一个参考视角所对应的物体图像中各个像素点的位置进行变换，得到至少一个中间图像，该目标像素点变化信息用于指示参考视角与相邻视角所对应的物体图像之间的像素点变化，该相邻视角是与该参考视角在空间位置上相邻的视角，该中间图像用于指示该目标物体在该目标视角下所呈现的效果；

将该至少一个中间图像叠加显示在该场景图像上。

本公开实施例提供的技术方案，通过应用从多个视角所采集的物体图像，来对目标物体进行描述，这些物体图像能够充分保留目标物体的细节信息，在将该目标物体叠加在场景图像中显示时，根据场景图像所对应的目标视角，从多个物体图像中选取拍摄视角与该目标视角相邻的物体图像，基于选取出的物体图像所对应的像素点变化信息、物体图像的视角与目标视角之间的位置差异，对物体图像进行图像变换，使物体图像的视角更加符合场景图像所对应的目标视角，将变换后的物体图像叠加在场景图像上，使目标物体能够更加真实的在该场景图像中显示出来。

在一种可能实现方式中，该获取场景图像以及目标物体的多个物体图像，包括：

获取场景图像以及多个候选物体图像，该多个候选物体图像是在多种不同光照条件下、多个不同视角采集得到的；

确定该场景图像对应的目标光照条件；

基于该目标光照条件，在该多个候选物体图像中，确定该多个物体图像，该多个物体图像对应的光照条件与该目标光照条件之间的相似度满足第一参考条件。

在本公开实施例中，通过基于场景图像的光照条件对物体图像进行筛选，选择所对应的光照条件与场景图像的光照条件相似的物体图像执行后续的物体显示步骤，能够有效提高目标物体在场景图像中显示效果的真实性。

在一种可能实现方式中，该基于该场景图像的目标视角，从该多个物体图像所对应的视角中，确定至少一个参考视角，包括：

确定该目标物体在该场景图像中的显示位置；

基于该显示位置与该场景图像的中心点之间的位置关系，确定各个物体图像的视角相对于该场景图像的中心点的位置信息；

将与该目标视角在空间位置上相邻的至少一个位置信息所指示的视角，确定为该至少一个参考视角。

在本公开实施例中，通过选取与场景图像的观察视角相邻的参考视角，基于参考视角所对应的物体图像执行后续的物体显示步骤，能够使目标物体在场景图像上的显示角度与场景图像的观察视角相符，提高物体显示效果的真实性。

在一种可能实现方式中，该基于该显示位置与该场景图像的中心点之间的位置关系，确定各个物体图像的视角相对于该场景图像的中心点的位置信息，包括：

确定该各个物体图像的视角相对于目标物体的初始位置信息；

基于该显示位置与该场景图像的中心点之间的位置关系，确定位置变换信息；

基于该位置变换信息，对各个视角的初始位置信息进行变换，得到该各个物体图像的视角相对于该场景图像的中心点的位置信息。

在本公开实施例中，通过获取物体图像的视角相对于场景图像的中心点的位置信息，能够便于后续准确的确定出视角之间的相邻关系，也便于后续准确的确定出与目标视角相邻的参考视角。

在一种可能实现方式中，该基于至少一个目标像素点变化信息、该至少一个参考视角与该目标视角之间的位置差异信息，对该参考视角所对应的物体图像进行图像变换，得到该参考视角对应的中间图像之前，该方法还包括：

获取任一视角与相邻视角所对应的物体图像之间的像素点变化信息；

在该像素点变化信息中，确定各个该参考视角与相邻视角所对应的物体图像之间的目标像素点变化信息。

在本公开实施例中，通过筛选出参考视角与相邻视角所对应的物体图像之间的目标像素点变化信息，应用于后续的物体显示过程中，能够提高物体显示效果的真实性。

在一种可能实现方式中，该获取任一视角与相邻视角所对应的物体图像之间的像素点变化信息，包括：

分别在各个视角的物体图像中确定参考点；

对于任一视角的物体图像中的任一参考点，确定该任一参考点对应的至少一个光流信息，一个该光流信息用于指示该任一视角与相邻视角对应的物体图像在该任一参考点处的像素点变化；

基于该任一参考点对应的至少一个光流信息、该任一视角与相邻视角之间的位置差异信息，确定该任一视角与相邻视角所对应的物体图像之间的像素点变化信息。

在本公开实施例中，通过光流法得到相邻视角的物体图像之间的像素点变化信息，得到相邻视角的物体图像之间的变化情况，能够便于计算机设备准确的确定出目标物体的外观形态，便于后续更准确的在场景图像中对目标物体进行显示。

在一种可能实现方式中，该分别在各个视角的物体图像中确定参考点，包括：

对于任一物体图像，基于该任一物体图像的图像特征，在该任一物体图像中确定特征点；

基于该特征点，对该任一物体图像进行三角网格化处理，得到该任一物体图像对应的三角网格，该三角网格中各个三角形的顶点为该任一物体图像中的参考点。

在本公开实施例中，通过三角网格化处理在物体图像中确定参考点，后续可以基于参考点进行光流信息计算，而无需依次确定物体图像中各个像素点的光流信息，能够有效提高光流信息的获取效率。

在一种可能实现方式中，该基于该任一参考点对应的至少一个光流信息、该任一视角与相邻视角之间的位置差异信息，确定该任一视角与相邻视角所对应的物体图像之间的像素点变化信息，包括：

对于任一视角以及任一个相邻视角，基于该任一视角与该任一个相邻视角之间的位置差异信息、该任一视角的物体图像中各个参考点对应的光流信息，确定该各个参考点对应的初始像素变化信息；

基于该任一视角的物体图像中各个参考点对应的至少一个初始像素变化信息取平均值，得到该任一视角与相邻视角所对应的物体图像之间的该像素点变化信息。

在本公开实施例中，通过光流法能够准确、快速的确定出相邻视角之间物体图像的变化情况。

在一种可能实现方式中，该基于至少一个目标像素点变化信息、该至少一个参考视角与该目标视角之间的位置差异信息，对该参考视角所对应的物体图像进行图像变换，得到该参考视角对应的中间图像，包括：

对于任一参考视角，将该任一参考视角的物体图像对应的目标像素点变化信息与目标位置差异信息相乘，得到该任一参考视角的物体图像对应的像素点位移信息，该目标位置差异信息用于指示该任一参考视角与该目标视角之间的位置差异；

基于该任一参考视角的物体图像对应的像素点位移信息，对该任一参考视角的物体图像中各个像素点的位置进行变换，得到该参考视角对应的该中间图像。

在本公开实施例中，通过对物体图像进行变换，能够得到更加符合场景图像的观察视角的中间图像，基于中间图像进行后续的目标物体显示，能够提高目标物体的显示效果。

在一种可能实现方式中，该将该中间图像叠加显示在该场景图像上，包括：

基于各个参考视角所对应的权重，确定各个参考视角对应的中间图像的透明度，该透明度与该各个参考视角所对应的权重负相关，该权重与该参考视角和该目标视角之间的差值正相关；

将不同透明度的该中间图像叠加在该场景图像上。

在本公开实施例中，对不同视角的图像进行不同透明度处理，能够提高目标物体在场景图像中的显示效果。

根据本公开实施例的第二方面，提供一种物体显示装置，包括：

图像获取模块，被配置为获取场景图像以及目标物体的多个物体图像，该多个物体图像在多个不同视角采集得到；

视角确定模块，被配置为基于该场景图像的目标视角，从该多个物体图像所对应的视角中，确定与该目标视角相邻的至少一个参考视角，该目标视角是采集该场景图像的视角，该参考视角与该目标视角在空间位置上相邻；

图像变换模块，被配置为基于至少一个目标像素点变化信息、该至少一个参考视角与该目标视角之间的位置差异信息，分别对该至少一个参考视角所对应的物体图像中各个像素点的位置进行变换，得到至少一个中间图像，该目标像素点变化信息用于指示参考视角与相邻视角所对应的物体图像之间的像素点变化，该相邻视角是与该参考视角在空间位置上相邻的视角，该中间图像用于指示该目标物体在该目标视角下所呈现的效果；

图像显示模块，被配置为将该至少一个中间图像叠加显示在该场景图像上。

在一种可能实现方式中，该图像获取模块，被配置为执行：

获取场景图像以及多个候选物体图像，该多个候选物体图像是在多种不同光照条件下、多个不同视角采集得到的；

确定该场景图像对应的目标光照条件；

基于该目标光照条件，在该多个候选物体图像中，确定该多个物体图像，该多个物体图像对应的光照条件与该目标光照条件之间的相似度满足第一参考条件。

在一种可能实现方式中，该视角确定模块，包括：

第一确定单元，被配置为确定该目标物体在该场景图像中的显示位置；

第二确定单元，被配置为基于该显示位置与该场景图像的中心点之间的位置关系，确定各个物体图像的视角相对于该场景图像的中心点的位置信息；

第三确定单元，被配置为将与该目标视角在空间位置上相邻的至少一个位置信息所指示的视角，确定为该至少一个参考视角。

在一种可能实现方式中，该第二确定单元，被配置为执行：

确定该各个物体图像的视角相对于目标物体的初始位置信息；

基于该显示位置与该场景图像的中心点之间的位置关系，确定位置变换信息；

基于该位置变换信息，对各个视角的初始位置信息进行变换，得到该各个物体图像的视角相对于该场景图像的中心点的位置信息。

在一种可能实现方式中，该装置还包括：

信息获取模块，被配置为获取任一视角与相邻视角所对应的物体图像之间的像素点变化信息；

信息确定模块，被配置为在该像素点变化信息中，确定各个该参考视角与相邻视角所对应的物体图像之间的目标像素点变化信息。

在一种可能实现方式中，该信息获取模块，包括：

第四确定单元，被配置为分别在各个视角的物体图像中确定参考点；

第五确定单元，被配置为对于任一视角的物体图像中的任一参考点，确定该任一参考点对应的至少一个光流信息，一个该光流信息用于指示该任一视角与相邻视角对应的物体图像在该任一参考点处的像素点变化；

第六确定单元，被配置为基于该任一参考点对应的至少一个光流信息、该任一视角与相邻视角之间的位置差异信息，确定该任一视角与相邻视角所对应的物体图像之间的像素点变化信息。

在一种可能实现方式中，该第四确定单元，被配置为执行：

对于任一物体图像，基于该任一物体图像的图像特征，在该任一物体图像中确定特征点；

基于该特征点，对该任一物体图像进行三角网格化处理，得到该任一物体图像对应的三角网格，该三角网格中各个三角形的顶点为该任一物体图像中的参考点。

在一种可能实现方式中，该第六确定单元，被配置为执行：

对于任一视角以及任一个相邻视角，基于该任一视角与该任一个相邻视角之间的位置差异信息、该任一视角的物体图像中各个参考点对应的光流信息，确定该各个参考点对应的初始像素变化信息；

基于该任一视角的物体图像中各个参考点对应的至少一个初始像素变化信息取平均值，得到该任一视角与相邻视角所对应的物体图像之间的该像素点变化信息。

在一种可能实现方式中，该图像变换模块，被配置为执行：

对于任一参考视角，将该任一参考视角的物体图像对应的目标像素点变化信息与目标位置差异信息相乘，得到该任一参考视角的物体图像对应的像素点位移信息，该目标位置差异信息用于指示该任一参考视角与该目标视角之间的位置差异；

基于该任一参考视角的物体图像对应的像素点位移信息，对该任一参考视角的物体图像中各个像素点的位置进行变换，得到该参考视角对应的该中间图像。

在一种可能实现方式中，该图像显示模块，被配置为执行：

基于各个参考视角所对应的权重，确定各个参考视角对应的中间图像的透明度，该透明度与该各个参考视角所对应的权重负相关，该权重与该参考视角和该目标视角之间的差值正相关；

将不同透明度的该中间图像叠加在该场景图像上。

根据本公开实施例的第三方面，提供一种电子设备，该电子设备包括：

一个或多个处理器；

用于存储该处理器可执行程序代码的存储器；

其中，该处理器被配置为执行该程序代码，以实现上述的物体显示方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，该计算机可读存储介质包括：当该计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得电子设备可读能够执行上述的物体显示方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的物体显示方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种物体显示方法的实施环境示意图；

图2是根据一示例性实施例示出的一种物体显示方法的流程图；

图3是根据一示例性实施例示出的一种物体展示方法的流程图；

图4是根据一示例性实施例示出的一种视角空间的示意图；

图5是根据一示例性实施例示出的一种参考视角确定方法的示意图；

图6是根据一示例性实施例示出的一种物体显示方法的流程图；

图7是根据一示例性实施例示出的一种物体显示装置框图；

图8是根据一示例性实施例示出的一种计算机设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本公开所涉及的信息可以为经用户授权或者经过各方充分授权的信息。

为便于解释本公开实施例的技术过程，下面对本公开实施例所涉及的一些名词进行解释：

增强现实(Augmented Reality)：是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

图1是根据一示例性实施例示出的一种物体显示方法的实施环境示意图，参见图1，该实施环境包括终端101和服务器102。

终端101安装和运行有支持增强现实技术的目标应用程序，例如，该目标应用程序是游戏类应用程序、购物类应用程序、图像采集类应用程序等，本公开实施例对此不作限定。示例性的，该终端101能够获取真实场景的图像，将任一物体叠加现实在该真实场景的图像上。示例性的，终端101是任一用户所使用的终端，终端101中运行的目标应用程序内登录有用户账户。终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、智能眼镜等，该终端101还可以是AR互动设备等，本公开实施例对此不作限定。终端101可以泛指多个终端中的任一个，本公开实施例仅以终端101来举例说明。

服务器102用于为上述目标应用程序提供后台服务，该服务器102能够提供图像处理功能，例如，能够对物体图像和场景图像进行处理，将物体图像叠加到场景图像上，呈现出物体在场景中显示的效果。可选的，服务器102承担主要的图像处理工作，终端101承担次要的图像处理工作；或者，服务器102承担次要的图像处理工作，终端101承担主要的图像处理工作；或者，服务器102或终端101分别单独承担图像处理工作。可选的，服务器102可以是一台或多台服务器，示例性的，服务器102包括：接入服务器、图像处理服务器和数据库。接入服务器用于为终端101提供接入服务；图像处理服务器用于提供图像处理有关的后台服务器，图像处理服务器中可以设置有至少一个能够提供图像处理功能的神经网络模型。示例性的，上述服务器可以是是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。

上述终端101和服务器102之间可以通过有线或无线通信方式进行直接或间接的连接，本公开实施例对此不作限定。

本公开实施例提供了一种物体显示方法，能够与多种应用场景相结合，部署在多种应用程序中。在一种可能实现方式中，该物体显示方法能够与视频类应用程序相结合，该视频类应用程序中设置有虚拟物体道具，用户在拍摄视频时能够应用该虚拟物体道具，将该虚拟物体道具叠加显示在当前摄像头所拍摄的画面中，示例性的，该虚拟物体道具为帽子，当前摄像头所拍摄的画面中包括人物，则可以将该虚拟物体道具显示在该画面中人物的头部。当然，该方法还能够应用于游戏类应用程序、图像采集类应用程序等多种类型的应用程序中，本公开实施例对此不作限定。

图2是根据一示例性实施例示出的一种物体显示方法的流程图，如图2所示，该物体显示方法能够应用于上述实施环境，而上述终端和服务器均能够视为一种计算机设备，在本公开实施例中，以计算机设备为执行主体，对该物体显示方法进行介绍。在一种可能实现方式中，该方法包括以下步骤。

在步骤201中，获取场景图像以及目标物体的多个物体图像，该多个物体图像在多个不同视角采集得到。

在一种可能实现方式中，该场景图像和物体图像可以是存储在计算机设备中的图像，或者是分别从不同视频中所截取的图像，或者是具有图像拍摄功能的设备所拍摄的图像，或者是通过具有图像生成功能的应用程序所生成的图像，本公开实施例对此不作限定。在本公开实施例中，视角是指对物体的观察角度，多个不同视角的物体图像是指从多个不同观察角度对该目标物体进行图像采集所得到的图像，其中，具体从哪些视角采集物体图像可以由开发人员进行设置，本公开实施例对此不作限定。

在本公开实施例中，通过多个不同视角的物体图像来描述目标物体，能够充分获取到目标物体各个角度的细节信息，从而在后续基于这些物体图像将目标物体显示在场景图像中时，能够得到更具真实感的显示效果。

在步骤202中，基于该场景图像的目标视角，从该多个物体图像所对应的视角中，确定至少一个参考视角，该目标视角是采集该场景图像的视角，该参考视角与该目标视角在空间位置上相邻。

其中，该目标视角是指场景的观察角度。在本公开实施例中，每个视角对应于一个空间位置，该空间位置可以用于指示视角相对于被拍摄的目标物体的位置。在本公开实施例中，两个视角相邻是指两个视角在空间位置上相邻。在一些实施例中，该参考视角与该目标视角之间的差值满足目标条件时，可以认为参考视角与目标视角在空间位置上相邻，也即是，该参考视角所对应的观察角度与该目标视角所对应的观察角度相似。其中，两个视角之间的差值是指两个视角的空间位置之间的差值，该目标条件由开发人员进行设置。例如，该目标条件设置为差值小于参考阈值，则计算机设备可以将与该目标视角之间的差值小于参考阈值的视角，确定为参考视角；或者该目标条件设置为差值最小，则计算机设备将与该目标视角之间的差值最小的至少一个视角确定为参考视角。需要说明的是，上述参考视角的数目可以由开发人员进行设置，例如，设置为3个，本公开实施例对此不作限定。在本公开实施例中，通过确定与场景图像所对应的目标视角相邻近的参考视角，基于参考视角对应的物体图像进行后续的目标物体显示，能够确保目标物体的观察角度与场景的观察角度相符，提高目标物体该场景中显示的真实性。

在步骤203中，基于至少一个目标像素点变化信息、至少一个参考视角该目标视角之间的位置差异信息，分别对至少一个参考视角所对应的物体图像中各个像素点的位置进行变换，得到至少一个中间图像，该目标像素点变化信息用于指示参考视角与相邻视角所对应的物体图像之间的像素点变化，相邻视角是与该参考视角在空间位置上相邻的视角，中间图像用于指示该目标物体在该目标视角下所呈现的效果。

在一种可能实现方式中，计算机设备可以基于光流法来确定参考视角与相邻视角的物体图像之间的目标像素点变化信息，再基于各个参考视角对应的目标像素点变化信息、各个参考视角与目标视角之间的位置差异，对各个参考视角的物体图像中的像素点的位置进行变换，以使得各个物体图像更加符合场景的观察视角，也即是，得到目标物体在目标视角下所呈现的效果。需要说明的是，本公开实施例对获取目标像素点变化信息的方法以及图像变换的方法不作限定。

在步骤204中，将该至少一个中间图像叠加显示在该场景图像上。

在一种可能实现方式中，该计算机设备可以分别对各个中间图像进行不同的透明度处理，将处理后的中间图像叠加显示在场景图像上，得到目标物体在该场景图像中的显示的效果。需要说明的是，本公开实施例对具体的图像叠加方法不作限定。

本公开实施例提供的技术方案，通过应用从多个视角所采集的物体图像，来对目标物体进行描述，这些物体图像能够充分保留目标物体的细节信息，在将该目标物体叠加在场景图像中显示时，根据场景图像所对应的目标视角，从多个物体图像中选取拍摄视角与该目标视角相邻的物体图像，基于选取出的物体图像所对应的像素点变化信息、物体图像的视角与目标视角之间的位置差异，对物体图像进行图像变换，使物体图像的视角更加符合场景图像所对应的目标视角，将变换后的物体图像叠加在场景图像上，使目标物体能够更加真实的在该场景图像中显示出来。

上述实施例仅是对本公开实施例的简要介绍，以下结合图3，对本公开实施例的方案进行进一步阐述，图3是根据一示例性实施例示出的一种物体展示方法的流程图，参见图3，该方法包括以下步骤：

在步骤301中，获取目标物体的多个物体图像。

其中，该目标物体可以是真实物体，也可以是虚拟物体，本公开实施例对此不作限定。在一种可能实现方式中，该多个物体图像可以通过下述任一种方式获取：

方式一、该多个物体图像是通过具有图像拍摄功能的设备，从不同视角对该目标物体进行拍摄得到的。示例性的，该不同视角可以是间隔一定角度选取的，例如，可以将图像拍摄设备设置在初始位置，以该目标物体为中心，从该初始位置起，该图像拍摄设备每移动参考角度对该目标物体进行一次拍摄，得到多个不同视角的物体图像，也即是，图像拍摄设备以恒定距离，从不同拍摄角度对该目标物体进行拍摄，得到多个不同视角的物体图像。其中，该初始位置以及该参考角度可以由开发人员进行设置，本公开实施例对此不作限定。可选的，该不同视角也可以是任意选取的。可选的，该不同视角是基于目标物体的显示需求选取的，例如，在需要将目标物体的正面显示在场景图像中时，可以在该目标物体的正面选取大量拍摄角度对该目标物体进行拍摄，以全面获取到目标物体正面的细节信息，例如，在需要将目标物体的背面、侧面显示在场景图像中时，可以在该目标物体的背面、侧面等选取大量拍摄角度对该目标物体进行拍摄，以全面获取到目标物体的背面、侧面的细节信息。需要说明的是，本公开实施例对具体采集哪些视角的物体图像不作限定。

方式二、该多个物体图像是通过计算机设备生成的。在一种可能实现方式中，该物体图像是对目标物体的三维模型进行渲染得到的，例如，该计算机设备安装和运行有支持三维模型渲染的第一应用程序，该第一应用程序中包括目标物体的三维模型，该计算机设备通过该第一应用程序，从多个不同视角对该目标物体的三维模型进行渲染，得到该多个物体图像。其中，该目标物体的三维模型可以是在该第一应用程序中创建的，也可以是将已创建完成的三维模型导入该第一应用程序。上述对目标物体的三维模型进行渲染得到物体图像的过程可以基于光线跟踪算法、三角形光栅算法等实现，本公开实施例对三维模型的渲染方法不作限定。在一种可能实现方式中，该物体图像是绘制出的图像，例如，该计算机设备安装和运行有支持图像绘制的第二应用程序，用户能够通过该第二应用程序绘制在不同视角所观察到的目标物体的物体图像。需要说明的是，方式二中不同视角的选取方法与上述方式一中不同视角的确定方法同理，在此不作限定。

需要说明的是，上述对物体图像获取方法的说明，仅是一种可能实现方式的示例性说明，本公开实施例对此不作限定。

在一些实施例中，上述多个物体图像是相同光照条件下的物体图像，可选的，上述多个物体图像也可以是不同光照条件下的物体图像，也即是，计算机设备获取多组物体图像，一组物体图像包括相同光照条件下的多个物体图像，不同组物体图像对应于不同光照条件。在一种可能实现方式中，各个物体图像可以携带光照标注信息，该光照标注信息用于指示物体图像对应的光照条件，该计算机设备可以通过读取各个物体图像所携带的光照标注信息，来确定各个物体图像对应的光照条件。或者，该计算机设备设置有第一识别模型，该第一识别模型可以是卷积神经网络模型等，本公开实施例对该第一识别模型的结果不作限定。示例性的，该第一识别模型是应用不同光照条件下的图像进行训练的到的模型，该计算机设备可以将多个物体图像输入该第一识别模型，通过该第一识别模型识别出物体图像对应的光照条件。需要说明的是，本公开实施例对采用哪种方式确定物体图像对应的光照条件不作限定。

在一些实施例中，该计算机设备获取到该多个物体图像后，可以分别对各个物体图像进行去除背景处理，也即是，对各个物体图像进行抠图，得到不包括背景图像的物体图像。示例性的，该计算机设备设置有第二识别模型，该第二识别模型可以是卷积神经网络模型等，本公开实施例对该第二识别模型的结果不作限定，该第二识别模型为已训练完成的模型，能够区分图像中的前景部分和背景部分，该计算机设备可以将该多个物体图像输入该第二识别模型，由该第二识别模型识别出各个物体图像的背景部分，对各个物体图像进行背景去除处理，得到不包括背景图像、仅包括目标物体的物体图像。需要说明的，上述对物体图像进行去除背景处理的步骤是可选的步骤。

在步骤302中，确定各个物体图像所对应视角的空间位置信息。

在一种可能实现方式中，可以以目标物体为中心构建第一空间坐标系，基于各个视角与该目标物体之间的相对位置关系，也即是，基于各个视角与该第一空间坐标系的中心点之间的相对位置关系，确定各个视角在该第一空间坐标系中的空间位置信息。其中，该空间位置信息可以表示为位置坐标，即该空间位置信息能够指示各个视角在该第一空间坐标系中的具体位置；或者该空间位置信息表示为方向向量，即该空间位置信息能够指示各个视角相对于该目标物体所处的方向，本公开实施例对该空间位置信息的具体形式不作限定。在本公开实施例中，以各个物体图像的采集位置与目标物体之间的间隔距离是恒定的为例，也即是，即各个物体图像的采集位置与目标物体之间的间隔参考距离为例，上述第一空间坐标系可以是球面坐标系，该球面空间的中心为该目标物体的位置，各个视角的位置分布在一个球面上，在该球面坐标系中各个视角的位置坐标可以由经度坐标和维度坐标表示。在本公开实施例中，该球面坐标系可以称为视角空间，该视角空间中标注了各个视角的位置坐标。图4是根据一示例性实施例示出的一种视角空间的示意图，如图4中的(a)图所示，各个视角的位置分布在一个球面上。

在一种可能实现方式中，该计算机设备可以对上述视角空间进行三角化，来确定该视角空间中各个视角的相邻视角。在一种可能实现方式中，计算机设备可以先将上述球面坐标系变换成笛卡尔二维坐标系，相应的将各个视角的位置表示在该笛卡尔二维坐标系中，基于该笛卡尔二维坐标系中所标注的位置进行三角化处理，得到一个三角网格，该三角网格包括多个互不重叠的三角形，三角形的顶点即为视角所在的位置，同一个三角形的各个顶点位置的视角为相邻视角。上述三角化处理的方法可以是Delaunay三角化算法等，本公开实施例对此不作限定。当然，该计算机设备也可以直接基于球面坐标系对视角空间进行三角化处理，本公开实施例对此不作限定，三角化处理后的视角空间如图4中的(b)图所示。对于三角化处理后的视角空间，在该视角空间中任一指定一个视角，这一指定视角均能够落入一个三角形中，这个三角形的各个顶点位置的视角即为距离该指定视角最近的三个视角，也即是，这个三角形的各个顶点位置的视角是该指定视角的相邻视角。

需要说明的是，上述对获取各个物体所对应视角的空间位置信息方法的说明，仅是一种可能实现方式的示例性说明，本公开实施例对此不作限定。需要说明的是，上述确定物体所对应的空间位置信息的步骤是可选步骤，在一些实施例中，也可以仅确定出各个视角的相邻视角，无需确定出各个视角的准确空间位置信息。

在步骤303中，分别在各个视角的物体图像中确定参考点。

在一种可能实现方式中，该计算机设备确定物体图像中的参考点的过程，可以包括以下两个步骤：

步骤一、对于任一物体图像，计算机设备基于该任一物体图像的图像特征，在该任一物体图像中确定特征点。其中，该特征点是指能够标识物体图像中目标物体的点，例如，特征点是指物体图像中灰度值发生剧烈变化的点，或者在目标物体的边缘上曲率较大的点等，本公开实施例对选择物体图像中的哪些点作为特征点不作限定。在一种可能实现方式中，计算机设备可以通过一个滑动窗口在物体图像上进行滑动检测，物体图像的一个区域中，滑动窗口在该一个区域中向各个方向滑动时，若处于滑动窗口内的像素值没有发生跳变，则确定该一个区域中不包括特征点，若处于滑动窗口内的像素值发生跳变，则在发生跳变的像素值处确定一个特征点。上述特征点检测过程可以是基于Harris兴趣点检测算法、SIFT(Scale-Invariant Feature Transform，尺度不变特征转换)兴趣点检测算法以及SURF(Speeded Up Robust Features，加速稳健特征)兴趣点检测算法等方法实现的。在一些实施例中，上述特征点也可以由人工进行标注。需要说明的是，本公开实施例对计算机设备具体采用哪种方法确定物体图像中的特征点，以及，确定出的特定点的数目不作限定。

步骤二、计算机设备基于该特征点，对该任一物体图像进行三角网格化处理，得到该任一物体图像对应的三角网格，该三角网格中各个三角形的顶点为该任一物体图像中的参考点。在一种可能实现方式中，计算机设备可以通过Delaunay三角化的插点算法，以物体图像的轮廓为边界，基于物体图像中所包括的特征点，对物体图像进行至少一次三角网格化处理，在每次三角网格化处理后得到一个物体图像对应的中间三角网格，计算机设备响应于该中间三角网格满足第二参考条件，确定该中间三角网格为物体图像对应的三角网格，响应于该中间三角网格不满足第二参考条件，再在该中间三角网格的基础上，进行下一次三角网格化处理，直到得到满足第二参考条件的三角网格。该计算机设备所生成的三角网格，能够覆盖整个物体图像，且三角网格所包括的三角形互不重合。计算机设备将获取到的满足第二参考条件的三角网格中，各个三角形的顶点，确定为物体图像中的参考点。其中，上述第二参考条件可以由开发人员设置，例如，该第二参考条件可以设置为三角网格中每个三角形的边长小于或等于边长阈值，或者三角网格中所包括三角形的数据大于或等于数目阈值，或者三角网格中所包括三角形的最小角度大于或等于角度阈值等，本公开实施例对此不作限定。在一些实施例中，在每次三角网格化处理后，计算机设备还能够基于Lloyd Relaxation(一种物体表面网格化方法)来对获取到的三角网格进行优化。

需要说明的是，上述对物体图像进行三角网格化处理的方法，仅是一种可能实现方式的示例性说明，本公开实施例对具体采用哪种方法对物体图像进行三角网格化处理不作限定。在本公开实施例中，通过三角网格化处理在物体图像中确定参考点，后续可以基于参考点进行光流信息计算，而无需依次确定物体图像中各个像素点的光流信息，能够有效提高光流信息的获取效率。

在步骤304中，对于任一视角的物体图像中的任一参考点，确定该任一参考点对应的至少一个光流信息。

其中，一个该光流信息用于指示该任一视角与相邻视角对应的物体图像之间的像素点位置变化。

在一种可能实现方式中，计算机设备可以通光流法确定物体图像中任一参考点对应的光流信息。示例性的，基于上述步骤302中所得到的各个视角的空间位置信息，计算机设备能够确定出各个视角的相邻视角，一对相邻视角I和J能够表示为相邻有序视角对(I、J)，将视角I的物体图像中的任一参考点记为参考点I[k]，计算机设备在视角I的物体图像中，获取参考点I[k]的邻域区域的图像块，记为第一图像块，在视角J的图像中确定出第二图像块，该第二图像块与第一图像块之间的满足第三参考条件，其中，该第三参考条件可以由开发人员进行设置，例如，该第三参考条件设置为第二图像块与该第一图像块之间的差异值小于或等于差异阈值等，本公开实施例对此不作限定。计算机设备确定该第一图像块在视角I的物体图像中的第一位置信息，确定第二图像块在视角J的物体图像中的第二位置信息，基于该第一位置信息和第二位置信息确定一个移动向量，该移动向量即为该参考点I[k]所对应的一个光流信息，在本公开实施例中，由于该光流信息表示为向量的形式，该光流信息也可以称为光流向量。在本公开实施例中，若该视角I具有N(N为正整数)个相邻视角，则该计算机设备能够获取到该参考点I[k]所对应的N个光流信息。在一种可能实现方式中，上述获取一个参考点对应的光流信息的过程，可以表示为下述公式(1)：

min E(S(I，I[k])–S(J，I[k]+m[I，k，J])) (1)

其中，I、J表示两个相邻的视角，I[k]表示视角I的物体图像中的一个参考点；S表示取临域函数，用于确定图像中某个位置附近的邻域，S(I，I[k])表示参考点I[k]的邻域中的图像块，也即是上述第一图像块，S(J，I[k]+m[I，k，J])表示上述第二图像块；E表示评估函数，该评估函数用于确定第一图像块和第二图像块之间的差异值；m[I，k，J]表示上述光流信息，也即是，光流向量，参考点I[k]移动m[I，k，J]，到I[k]+m[I，k，J]的位置，基于这一位置在视角J的物体图像中确定一个邻域区域，该一个邻域区域中的图像块为第二图像块。在本公开实施例中，计算机设备确定出的光流信息，能够使得上述公式(1)的取值达到一个较小的数值。

需要说明的是，上述确定任一视角为物体图像中参考点所对应的光流信息的方法，仅是一种可能实现方式的示例性说明，本公开实施例对具体采用哪种方法确定参考点的光流信息不作限定。在本公开实施例中，通过光流法能够准确、快速的确定出相邻视角之间物体图像的变化情况。

在步骤305中，基于该任一参考点对应的至少一个光流信息、该任一视角与相邻视角之间的位置差异信息，确定该任一视角与相邻视角所对应的物体图像之间的像素点变化信息。

在一种可能实现方式中，对于任一视角以及任一个相邻视角，计算机设备基于该任一视角与该任一个相邻视角之间的位置差异信息、该任一视角的物体图像中各个参考点对应的光流信息，确定该各个参考点对应的初始像素变化信息；再基于该任一视角的物体图像中各个参考点对应的至少一个初始像素变化信息取平均值，得到该任一视角与相邻视角所对应的物体图像之间的该像素点变化信息。示例性的，任一视角I周围会存在至少一个相邻视角J[0]、J[1]……J[n]，对于视角I的物体图像中参考点I[k]，该参考点I[k]指向其他视角J[i]的光流信息可以通过上述步骤304确定，该光流信息表示为m[I,k,J[i]]，视角I与相邻视角J[i]之间的位置差异信息可以表示为J[i]–I，在本公开实施例中，任一视角与该任一个相邻视角之间的位置差异信息、该任一视角的物体图像中各个参考点对应的光流信息、各个参考点对应的初始像素变化信息之间的关系可以表示为下述公式(2)：

m[I，k，J[i]]＝M[I，k]*(J[i]–I) (2)

其中，i＝0，1……n，i表示与视角I相邻的视角的标号，J[i]表示视角I的相邻视角，m[I，k，J[i]]表示参考点I[k]指向视角J[i]的光流信息，M[I，k]表示参考点I[k]对应的一个初始像素点变化信息。在一种可能实现方式中，计算机设备可以通过SVD分解、广义逆矩阵求解等方法对上述公式(2)进行求解，对于与该视角I相邻的任一相邻视角J[i]，均能够确定出参考点I[k]对应的一个初始像素点变化信息M[I，k]，计算机设备对获取到的至少一个初始像素点变化信息M[I，k]取平均值，得到参考点I[k]对应的像素点变换信息，在本公开实施例中，该像素点变换信息可以表示为一个张量，该像素点变换信息也可以称为平均光流张量。

需要说明的是，上述对确定各个参考点对应的像素点变化信息的方法的说明，仅是一种可能实现方式的示例性说明，本公开实施例对具体采用哪种方法确定该像素点变化信息不作限定。上述步骤304和步骤305是获取任一视角与相邻视角所对应的物体图像之间的像素点变化信息的步骤，在本公开实施例中，计算机设备通过基于光流法来获取相邻视角的物体图像之间的像素点变化信息，能够充分相邻视角的物体图像之间的变化关系，便于后续准确的进行目标物体显示。

在步骤306中，对各个物体图像所对应视角的空间位置信息、各个物体图像、各个物体图像中的参考点的信息以及相邻视角所对应的物体图像之间的像素点变化信息进行数据压缩，存储为中间数据格式。

在一种可能实现方式中，计算机设备可以对上述各个视角的空间位置信息进行数据压缩，也即是，对上述步骤302中获取到的视角空间的三角化处理结果进行数据压缩，得到二进制流数据。该计算机设备所采用的数据压缩方法可以是对各个视角对应的空间位置信息进行按位压缩、拓扑压缩、顶点存储压缩等，本公开实施例对此不作限定。

在一种可能实现方式中，计算机设备可以对上述各个物体图像中的参考点的信息进行数据压缩，也即是，对上述步骤303中获取到的各个物体图像的三角网格化处理结果进行数据压缩，得到二进制流数据。该计算机设备所采用的数据压缩方法可以是对各个视角对应的空间位置信息进行按位压缩、拓扑压缩、顶点存储压缩等，本公开实施例对此不作限定。

在一种可能实现方式中，该计算机设备可以对相邻视角所对应的物体图像之间的像素点变化信息进行数据压缩，也即是，对上述步骤305中获取到的平均光流张量进行数据压缩，得到二进制流数据。该计算机设备所采用的数据压缩方法可以是对平均光流张量进行数值量化、二进制流压缩等，本公开实施例对此不作限定。

在一种可能实现方式中，该计算机设备可以对各个物体图像进行压缩存储。示例性的，计算机设备先按照各个视角之间的相邻关系，对各个视角的物体图像进行排序，使相邻视角的物体图像在存储时也是相邻的。可选的，各个物体图像的排列顺序可以是“之”字型排列、回型排列等，本公开实施例对此不作限定。计算机设备在对各个物体图像进行排序后，能够得到图像帧序列，该计算机设备可以按照视频压缩的方式，对该图像帧序列进行压缩，该计算机设备所采用的压缩算法可以是h264、h265等任一种视频压缩算法，本公开实施例对此不作限定。

在一种可能实现方式中，该计算机设备可以将上述经过压缩处理后的数据存储为中间数据格式，该中间数据格式能够全面包括目标物体的光线信息。在本公开实施例中，通过对目标物体相关的数据进行压缩存储，在有对目标物体进行显示的需求时，再对目标物体的数据进行解压缩、调用，能够有效降低各个目标物体的数据对存储空间的占用。

需要说明的是，上述步骤306是可选步骤，在一些实施例中，也可以不对目标物体相关的数据进行压缩存储。

在步骤307中，获取场景图像。

在一种可能实现方式中，该计算机设备响应于场景图像获取指令，获取该场景图像。示例性的，计算机设备响应于场景图像获取指令，调用摄像头，通过摄像头进行图像拍摄，将摄像头所拍摄的图像作为该场景图像。示例性的，计算机设备响应于场景图像获取指令，展示当前存储在计算机设备中的至少一幅图像，将被选中的图像确定为该场景图像。需要说明的是，本公开实施例对具体采用哪种获取场景图像不作限定。

需要说明的是，在本公开实施例中，以先执行获取目标物体的物体图像的步骤，再执行或者场景图像的步骤的执行顺序进行描述，在一些实施例中，也可以先执行获取场景图像的步骤，再执行获取目标物体的物体图像的步骤，或者两个步骤同时执行，本公开实施例对此不作限定。示例性的，在一些场景中，计算机设备中安装和运行有支持增强现实的目标应用程序，该目标应用程序中设置有目标物体，用户可以选择将该目标物体显示在场景图像中，在这种情况下，目标物体的物体图像、像素点变化信息等相关数据是预先存储在计算机设备中的，也即是，计算机设备先执行获取目标物体的物体图像的步骤以及对物体图像进行数据处理的步骤，即先执行上述步骤301至步骤306，再基于用户操作来执行场景图像获取步骤。在一些实施例中，上述目标物体的图像也可以由用户上传，本公开实施例对此不不作限定。需要说明的是，该目标应用程序中可以设置有多种虚拟物体，在本公开实施例中仅以目标物体为例进行说明。示例性的，在一些场景中，计算机设备可以获取到目标物体对应的多组物体图像，每组物体图像对应于不同的光照条件，计算机设备在获取到物体图像后可以先不对物体图像进行数据处理，基于获取到的场景图像对物体图像进行筛选，筛选出所对应的光照条件与场景图像所对应的光照条件相似的物体图像，再基于筛选出的图像执行上述步骤302至步骤305。也即是，在一种可能实现方式中，计算机设备获取场景图像以及多个候选物体图像，该多个候选物体图像是在多种不同光照条件下、多个不同视角采集得到的，计算机设备确定该场景图像对应的目标光照条件，基于该目标光照条件，在该多个候选物体图像中，确定该多个物体图像，该多个物体图像对应的光照条件与该目标光照条件之间的相似度满足第一参考条件，计算机设备基于筛选出的多个物体图像执行上述中部302至步骤305。需要说明的是，计算机设备确定图像光照条件的方法与上述步骤301中计算机设备确定图像光照条件的方法同理，在此不作赘述。在本公开实施例中，通过基于场景图像的光照条件对物体图像进行筛选，选择所对应的光照条件与场景图像的光照条件相似的物体图像执行后续的物体显示步骤，能够有效提高目标物体在场景图像中显示效果的真实性。

在步骤308中，响应于对目标物体的显示指令，对目标物体所对应的中间数据格式的数据进行解压缩，得到目标物体对应的多视角的物体图像、各个物体图像所对应视角的空间位置信息、各个物体图像中的参考点的信息以及相邻视角所对应的物体图像之间的像素点变化信息。

在一种可能实现方式中，计算机设备响应于对目标物体的显示指令，获取该目标物体对应的中间数据格式的数据，对该中间数据格式的数据进行解压缩处理。其中，该对目标物体的显示指令可以由用户触发，示例性的，终端响应于对场景图像的获取操作，调用摄像头以及显示拍摄界面，该拍摄界面中显示有摄像头实时拍摄的场景图像，在一种可能实现方式中，该拍摄界面显示有多个物体选择控件，一个物体选择控件对应于一个物体，用于对目标物体所对应的物体选择控件的触发操作，能够触发该对目标物体的显示指令。当然，该对目标物体的显示指令也可以由其他方式触发，本公开实施例对此不作限定。需要说明的是，本公开实施例对计算机设备采用哪种方式对数据进行解压缩不作限定，示例性的，数据解压缩的方法可以是与按位压缩方式、二进制流压缩方式、视频压缩方式相对应的解压缩方法。

需要说明的是，上述对数据进行解压缩的步骤是可选步骤，在一些实施例中，可以不执行对目标物体相关的数据进行压缩和解压缩的步骤。

在一些实施例中，该计算机设备在获取目标物体对应的中间数据格式的数据时，可以基于场景图像对应的目标光照条件进行数据筛选。示例性的，计算机设备在步骤301中获取了目标物体对应的多组物体图像，每组物体图像对应于不同的光照条件，计算机设备以组为单位，分别基于每组物体图像执行上述步骤302至步骤305，也即是，计算机设备能够得到每种光照条件下的多个物体图像所对应的中间数据格式的数据，在本公开实施例中，该中间数据格式的数据可以携带有对应的光照条件信息。在一种可能实现方式中，该计算机设备可以从目标物体所对应的多个中间数据格式的数据中，获取携带光照条件信息与该目标光照条件最相似的中间数据格式的数据，对获取到的中间数据格式的数据进行解压缩，基于这些数据执行后续的物体显示步骤。在本公开实施例中，通过基于场景图像的目标光照条件对中间数据格式的数据进行筛选，能够获取到与场景图像的光照条件最匹配的数据，从而在后续基于这些数据进行目标物体显示时，能够有效提高目标物体显示效果的真实性。

在步骤309中，基于该场景图像的目标视角，从该多个物体图像所对应的视角中，确定至少一个参考视角。

其中，该目标视角是采集该场景图像的视角。该参考视角与该目标视角哎空间位置上相邻，在一些实施例中，当参考视角与目标视角之间的差值满足目标条件时，可以确定该参考视角与该目标视角在空间位置上相邻，其中，两个视角之间的差值是指两个视角的空间位置之间的差值，该目标条件可以由开发人员进行设置，本公开实施例对此不作限定，例如，该目标条件设置为该参考视角与该目标视角之间的差值小于参考阈值，或者该参考视角与该目标视角之间的差值最小，在本公开实施例中，可以称为该参考视角与该目标视角相邻。

在一种可能实现方式中，该计算机设备确定该至少一个参考视角的过程包括以下步骤：

步骤一、计算机设备确定该目标物体在该场景图像中的显示位置。

在一种可能实现方式中，该计算机设备设置有图像识别模型，该图像识别模型可以卷积神经网络模型等，本公开实施例对该图像识别模型的结构不作限定，该图像识别模型是已经训练完成的模型，示例性的，该图像识别模型是基于包括参考对象的样本图像训练得到的，能够用于识别该场景图像中的参考对象，确定该参考对象在场景图像中的位置信息，该参考对象能够作为目标物体的显示载体，该目标物体显示在该参考对象上，例如，该目标物体为帽子，则该参考对象可以是头部。示例性的，计算机设备可以将该场景图像输入图像识别模型，由该图像识别模型对该场景图像进行图像识别，获取该场景图像输出的位置信息，该计算机设备基于该图像识别模型所输出的位置信息，确定该目标物体在该场景图像中的显示位置。示例性的，该计算机设备可以直接将该图像识别模型所输出的位置信息所指示的位置，作为该显示位置，也可以对该位置信息进行调整，将调整后的位置信息所指示的位置，确定为该显示位置，本公开实施例对此不作限定。在本公开实施例中，通过图像识别模型对场景图像进行识别，能够准确、快捷的确定出目标物体在场景图像中的显示位置。

在一种可能实现方式中，该场景图像携带标注信息，该标注信息用于指示该目标物体在该场景图像中的显示位置。示例性的，该计算机设备在获取到场景图像后，可以识别该场景图像所携带的该标注信息，得到该目标物体在该场景图像中的显示位置。其中，该标注信息可以是二维码、位置坐标等，本公开实施例对此不作限定。可选的，该标注信息可以由用户添加，例如，用户在场景图像中指定一个位置，计算机设备基于该位置的位置信息生成该标注信息，将该标注信息携带在该场景图像中。需要说明的是，本公开实施例对该场景信息的添加方法不作限定。在本公开实施例中，通过携带标注信息的方式，能够灵活地指定目标物体在场景图像中的显示位置。

需要说明的是，上述对确定目标物体在场景图像中的显示位置的方法的说明，仅是一种可能实现方式的示例性说明，本公开实施例对具体采用哪种方法确定该显示位置不作限定。

步骤二、计算机设备基于该显示位置与该场景图像的中心点之间的位置关系，确定各个物体图像的视角相对于该场景图像的中心点的位置信息。

在一种可能实现方式中，首先，该计算机设备确定该各个物体图像的视角相对于目标物体的初始位置信息，在本公开实施例中，该初始位置信息即为上述步骤302中所获取的各个视角的空间位置信息。然后，计算机设备基于该显示位置与该场景图像的中心点之间的位置关系，确定位置变换信息。最后，计算机设备基于该位置变换信息，对各个视角的初始位置信息进行变换，得到该各个物体图像的视角相对于该场景图像的中心点的位置信息。在一种可能实现方式中，上述位置变换信息可以表示为一个向量(Δx，Δy，Δz)，初始位置信息表示为空间位置坐标(x1，y1，z1)，该向量中的每个元素用于指示初始位置信息中各个方向的坐标的变化值，计算机设备基于该位置变换信息，对各个视角的初始位置信息进行变换，可以实现为计算机设备分别将各个视角的初始位置信息与位置变换信息相加，得到各个视角相对于场景图像的中心点的位置信息(x1+Δx，y1+Δy，z1+Δz)。在一种可能实现方式中，上述位置变换信息可以表示为一个位置变换矩阵，示例性的，该计算机设备中部署有训练好的位置变换信息生成模型，该位置变换信息生成模型能够基于输入的目标物体的显示位置以及场景图像的中心点位置进行数据处理，输出一个位置变换矩阵。示例性的，该计算机设备可以应用该位置变换信息对各个视角所处的视角空间进行变换，将该视角空间变换到场景图像所处的坐标系中，也即是，将该视角空间变换到以场景图像的中心为原点的坐标系中，从而得到各个物体图像的视角相对于该场景图像的中心点的位置信息。在本公开实施例中，通过获取物体图像的视角相对于场景图像的中心点的位置信息，也即是，获取物体图像的视角在以场景图像的中心点为中心的坐标系中的位置，将物体图像的视角与目标视角置于同一空间坐标系中，能够便于后续准确的确定出视角之间的相邻关系，也便于后续准确的确定出与目标视角相邻的参考视角。

步骤三、计算机设备将与该目标视角在空间位置上相邻的至少一个位置信息所指示的视角，确定为该至少一个参考视角。

在一种可能实现方式中，计算机设备可以获取各个物体图像的视角的位置信息与目标视角之间的空间位置之间的差值，筛选出差值满足该目标条件的至少一个位置信息所指示的视角，确定为与该目标视角相邻的至少一个参考视角。图5是根据一示例性实施例示出的一种参考视角确定方法的示意图，如图5所示，该目标视角501所在的方向能够落入视角空间502中的任一三角形503中，该任一三角形503的三个顶点所对应的视角，即为与该目标视角在空间位置上相邻的视角，也即是，该任一三角形503的三个顶点所对应的视角即为该参考视角。需要说明的是，本公开实施例对参考视角的数目不作限定。

需要说明的是，上述对确定参考视角的方法的说明，仅是一种可能实现方式的示例性说明，本公开实施例对具体采用哪种方法确定参考视角不作限定。在本公开实施例中，通过选取与场景图像的观察视角相邻的参考视角，基于参考视角所对应的相关数据执行后续的物体显示步骤，能够确保目标物体在场景图像上的显示角度与场景图像的观察视角相符，提高物体显示效果的真实性。

在步骤310中，基于至少一个目标像素点变化信息、该至少一个参考视角与该目标视角之间的位置差异信息，对该参考视角所对应的物体图像中各个像素点的位置进行变换，得到该参考视角对应的中间图像。

其中，该目标像素点变化信息用于指示参考视角与相邻视角所对应的物体图像之间的像素点变化。在一种可能实现方式中，该计算机设备可以从步骤305所获取到的像素点变化信息中，获取该参考视角与相邻视角的物体图像之间的目标像素点变化信息。示例性的，各个像素点变化信息携带有视角标识，该计算机设备可以获取携带有该参考视角的视角标识的像素点变化信息，作为该目标像素点变化信息。需要说明的是，本公开实施例对具体采用哪种方法获取像素点变化信息不作限定。在本公开实施例中，通过筛选出参考视角与相邻视角所对应的物体图像之间的目标像素点变化信息，将参考视角对应的目标像素点变化信息应用于后续的物体显示过程中，能够提高物体显示效果的真实性。

在一种可能实现方式中，对于任一参考视角，计算机设备将该任一参考视角的物体图像对应的目标像素点变化信息与目标位置差异信息相乘，得到该任一参考视角的物体图像对应的像素点位移信息，其中，该目标位置差异信息用于指示该任一参考视角与该目标视角之间的位置差异；计算机设备再基于该任一参考视角的物体图像对应的像素点位移信息，对该任一参考视角的物体图像中各个像素点的位置信息进行变换，得到一个中间图像，该中间图像能够体现出目标物体在目标视角下所呈现出的效果。在一种可能实现方式中，上述过程可以表示为下述公式(3)：

v’＝v+M[I，v]*(Q–I) (3)

其中，Q表示目标视角，I表示参考视角，(Q–I)表示目标位置差异信息；v表示参考视角I的物体图像中的一个参考点，M[I，v]表示参考视角I对应的目标像素点变化信息，v’位置移动后的参考点。在一种可能实现方式中，该计算机设备可以基于各个参考点的位置变化情况，对各个参考点周围的像素点进行相应的位置变换，得到中间图像，例如，计算机设备基于各个参考点的移动距离和方向，对各个参考点周围的像素点进行相应的位移，以达到对物体图像的各个区域进行图像扭曲的效果，本公开实施例对此不作限定。

在一些实施例中，该计算机设备还可以存储各个参考点与物体图像的纹理之间的对应关系，各个物体图像中各个参考点与物体图像的纹理之间的映射关系是不变的，该计算机设备对基于上述公式(3)对各个参考点的位置进行变换后，可以再基于各个参考点与物体图像之间的纹理，重新生成物体图形，也即相当于对物体图像中的各个像素点的位置信息进行变换，该新生成的物体图像即为该中间图像。

在本公开实施例中，通过对物体图像进行变换，能够得到更加符合场景图像的观察视角的中间图像，基于中间图像进行后续的目标物体显示，能够提高目标物体的显示效果。

在步骤311中，将获取到的至少一个中间图像叠加显示在该场景图像上。

在一种可能实现方式中，计算机设备基于各个参考视角所对应的权重，确定各个参考视角对应的中间图像的透明度，将不同透明度的该中间图像叠加在该场景图像上。其中，该透明度与各个参考视角所对应的权重负相关，该权重与该参考视角和该目标视角之间的差值正相关。在一种可能实现方式中，该计算机设备可以基于下述公式(4)确定各个参考视角对应的权重：

a*I+b*J+c*H＝Q (4)

其中，a、b、c表示权重，a+b+c＝1，H、I、J表示物体图像的视角，Q表示目标视角。该计算机设备可以通过对上述公式(4)进行求解，确定权重a、b、c。当然，该计算机设备还可以通过其他方式确定各个视角的权重，本公开实施例对此不作限定。在本公开实施例中，对不同视角的图像进行不同透明度处理，能够提高目标物体在场景图像中的显示效果。

本公开实施例提供的技术方案，通过应用从多个视角所采集的物体图像，来对目标物体进行描述，这些物体图像能够充分保留目标物体的细节信息，在将该目标物体叠加在场景图像中显示时，根据场景图像所对应的目标视角，从多个物体图像中选取拍摄视角与该目标视角相邻的物体图像，基于选取出的物体图像所对应的像素点变化信息、物体图像的视角与目标视角之间的位置差异，对物体图像进行图像变换，使物体图像的视角更加符合场景图像所对应的目标视角，将变换后的物体图像叠加在场景图像上，使目标物体能够更加真实的在该场景图像中显示出来。

图6是根据一示例性实施例示出的一种物体显示方法的流程图，以下结合图6，对上述物体显示过程进行说明，在一种可能实现方式中，计算机设备先获取目标物体在多个视角下的物体图像，再对各个视角所处的视角空间进行三角化处理，以及，对各个物体图像分别进行三角网格化处理，再基于视角空间三角化结果以及物体图像三角网格化结果，确定相邻视角的物体图像之间的光流向量，即执行上述步骤304的过程来获取到光流信息，基于相邻视角的物体图像之间的光流向量，获取相邻视角的物体图像之间的平均光流张量，即执行上述步骤305的过程来获取到像素点变化信息。该计算机设备在获取到目标物体的相关数据后，对这些数据分别进行数据压缩和存储，也即是执行上述步骤306的过程，示例性的，计算机设备对视角空间三角化结果进行压缩、对平均光流张量进行压缩、对物体图像三角网格化结果进行压缩以及对多视角的物体图像进行压缩，计算机设备将压缩后的数据存储为中间数据格式的数据。计算机设备可以通过摄像头拍摄真实场景的场景图像，确定场景图像的观察视角，也即是确定场景图像对应的目标视角。计算机设备可以对上述中间格式的数据进行解压缩，得到视角空间三角化结果、平均光流张量、物体图像三角网格化结果以及多视角的物体图像。计算机设备基于该目标视角以及视角空间三角化结果，确定参考视角以及各个参考视角所对应的权重，再基于解压缩出的平均光流张量、物体图像的三角网格化结果，对各个参考视角的物体图像所对应的三角网格进行形变，基于形变后的三角网格以及参考视角所对应的物体图像，生成中间图像，将中间图像与场景图像进行叠加显示，得到目标物体在场景图像中显示的效果。

本公开实施例提供的物体显示方法，不依赖传统的三维模型，而是通过应用多视角的物体图像作为输入，对这些多视角的物体图像进行图像处理以及与场景图像进行叠加显示，得到物体在场景图像中的显示效果。本公开实施例提供的技术方案，一方面，直接使用多视角的物体图像作为输入数据，来对物体的外观进行描述，能够有效避免复杂的建模过程，降低输入数据的获取成本，将输入数据获取的耗时降低到分钟级别，且这些物体图像中包括丰富的细节信息。另一方面，本公开实施例能够有效解决渲染结果的真实性问题和细节过少的问题，通常的三维模型渲染方法难以达到高度的真实感，且在模型渲染过程中需要耗费大量的计算时间，难以确保模型渲染的实时性，本公开实施例能够实现实时物体显示，实现照片级的真实性。另一方面，通常情况下随着大量细节信息的引入，构造出的三维模型越精确，三维模型数据所占用的存储空间会爆炸式增长，用于细节描述的几何、纹理、材质等信息均需要计算机设备提供大量的数据支撑，而本公开实施例中，无需应用三维模型，并且对目标物体相关的数据进行压缩存储，即存储空间对细节不敏感，能够在保留大量细节信息的情况下实现占用更少的存储空间。另一方面，通常的三维模型难以表达半透明等复杂光学敏感材质，例如，二次反射、半透明、衍射、散射等各种光学现象以及光学敏感材质，在通常的三维模型中都需要特殊表达、特别计算，实现难度极大，而在本公开实施例中，无需了解物体显示的光学过程，避免深入分析这些复杂光学过程，有效降低了计算机设备进行数据处理的复杂度，降低计算机设备的运算负担。

图7是根据一示例性实施例示出的一种物体显示装置框图。参照图7，该装置包括图像获取模块701、视角确定模块702、图像变换模块703和图像显示模块704。

图像获取模块701，被配置为获取场景图像以及目标物体的多个物体图像，该多个物体图像在多个不同视角采集得到；

视角确定模块702，被配置为基于该场景图像的目标视角，从该多个物体图像所对应的视角中，确定至少一个参考视角，该目标视角是采集该场景图像的视角，该参考视角与该目标视角在空间位置上相邻；

图像变换模块703，被配置为基于至少一个目标像素点变化信息、该至少一个参考视角与该目标视角之间的位置差异信息，分别对该至少一个参考视角所对应的物体图像中各个像素点的位置进行变换，得到至少一个中间图像，该目标像素点变化信息用于指示参考视角与相邻视角所对应的物体图像之间的像素点变化，该相邻视角是与该参考视角在空间位置上相邻的视角，该中间图像用于指示该目标物体在该目标视角下所呈现的效果；

图像显示模块704，被配置为将该至少一个中间图像叠加显示在该场景图像上。

在一种可能实现方式中，该图像获取模块701，被配置为执行：

获取场景图像以及多个候选物体图像，该多个候选物体图像是在多种不同光照条件下、多个不同视角采集得到的；

确定该场景图像对应的目标光照条件；

基于该目标光照条件，在该多个候选物体图像中，确定该多个物体图像，该多个物体图像对应的光照条件与该目标光照条件之间的相似度满足第一参考条件。

在一种可能实现方式中，该视角确定模块702，包括：

第一确定单元，被配置为确定该目标物体在该场景图像中的显示位置；

第二确定单元，被配置为基于该显示位置与该场景图像的中心点之间的位置关系，确定各个物体图像的视角相对于该场景图像的中心点的位置信息；

第三确定单元，被配置为将与该目标视角在空间位置上相邻的至少一个位置信息所指示的视角，确定为该至少一个参考视角。

在一种可能实现方式中，该第二确定单元，被配置为执行：

确定该各个物体图像的视角相对于目标物体的初始位置信息；

基于该显示位置与该场景图像的中心点之间的位置关系，确定位置变换信息；

基于该位置变换信息，对各个视角的初始位置信息进行变换，得到该各个物体图像的视角相对于该场景图像的中心点的位置信息。

在一种可能实现方式中，该装置还包括：

信息获取模块，被配置为获取任一视角与相邻视角所对应的物体图像之间的像素点变化信息；

信息确定模块，被配置为在该像素点变化信息中，确定各个该参考视角与相邻视角所对应的物体图像之间的目标像素点变化信息。

在一种可能实现方式中，该信息获取模块，包括：

第四确定单元，被配置为分别在各个视角的物体图像中确定参考点；

第五确定单元，被配置为对于任一视角的物体图像中的任一参考点，确定该任一参考点对应的至少一个光流信息，一个该光流信息用于指示该任一视角与相邻视角对应的物体图像在该任一参考点处的像素点变化；

第六确定单元，被配置为基于该任一参考点对应的至少一个光流信息、该任一视角与相邻视角之间的位置差异信息，确定该任一视角与相邻视角所对应的物体图像之间的像素点变化信息。

在一种可能实现方式中，该第四确定单元，被配置为执行：

对于任一物体图像，基于该任一物体图像的图像特征，在该任一物体图像中确定特征点；

基于该特征点，对该任一物体图像进行三角网格化处理，得到该任一物体图像对应的三角网格，该三角网格中各个三角形的顶点为该任一物体图像中的参考点。

在一种可能实现方式中，该第六确定单元，被配置为执行：

对于任一视角以及任一个相邻视角，基于该任一视角与该任一个相邻视角之间的位置差异信息、该任一视角的物体图像中各个参考点对应的光流信息，确定该各个参考点对应的初始像素变化信息；

基于该任一视角的物体图像中各个参考点对应的至少一个初始像素变化信息取平均值，得到该任一视角与相邻视角所对应的物体图像之间的该像素点变化信息。

在一种可能实现方式中，该图像变换模块703，被配置为执行：

对于任一参考视角，将该任一参考视角的物体图像对应的目标像素点变化信息与目标位置差异信息相乘，得到该任一参考视角的物体图像对应的像素点位移信息，该目标位置差异信息用于指示该任一参考视角与该目标视角之间的位置差异；

基于该任一参考视角的物体图像对应的像素点位移信息，对该任一参考视角的物体图像中各个像素点的位置进行变换，得到该参考视角对应的该中间图像。

在一种可能实现方式中，该图像显示模块704，被配置为执行：

基于各个参考视角所对应的权重，确定各个参考视角对应的中间图像的透明度，该透明度与该各个参考视角所对应的权重负相关，该权重与该参考视角和该目标视角之间的差值正相关；

将不同透明度的该中间图像叠加在该场景图像上。

本公开实施例提供的装置，通过应用从多个视角所采集的物体图像，来对目标物体进行描述，这些物体图像能够充分保留目标物体的细节信息，在将该目标物体叠加在场景图像中显示时，根据场景图像所对应的目标视角，从多个物体图像中选取拍摄视角与该目标视角相邻的物体图像，基于选取出的物体图像所对应的像素点变化信息、物体图像的视角与目标视角之间的位置差异，对物体图像进行图像变换，使物体图像的视角更加符合场景图像所对应的目标视角，将变换后的物体图像叠加在场景图像上，使目标物体能够更加真实的在该场景图像中显示出来。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种计算机设备的框图，该计算机设备800可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central ProcessingUnits，CPU)801和一个或多个的存储器802，其中，该一个或多个存储器802中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器801加载并执行以实现上述各个方法实施例提供的物体显示方法中计算机设备执行的过程。当然，该计算机设备800还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备800还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种包括程序代码的计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由计算机设备800的处理器801执行以完成上述信息展示方法。可选地，计算机可读存储介质可以是只读内存(read-only memory，ROM)、随机存取存储器(random access memory)，RAM)、只读光盘(compact-disc read-only memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的物体显示方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种物体显示方法，其特征在于，包括：

获取场景图像以及目标物体的多个物体图像，所述多个物体图像在多个不同视角采集得到；

基于所述场景图像的目标视角，从所述多个物体图像所对应的视角中，确定至少一个参考视角，所述目标视角是采集所述场景图像的视角所述参考视角与所述目标视角在空间位置上相邻；

基于至少一个目标像素点变化信息、所述至少一个参考视角与所述目标视角之间的位置差异信息，分别对所述至少一个参考视角所对应的物体图像中各个像素点的位置进行变换，得到至少一个中间图像，所述目标像素点变化信息用于指示所述参考视角与相邻视角所对应的物体图像之间的像素点变化，所述相邻视角是与所述参考视角在空间位置上相邻的视角，所述中间图像用于指示所述目标物体在所述目标视角下所呈现的效果；

将所述至少一个中间图像叠加显示在所述场景图像上。

2.根据权利要求1所述的物体显示方法，其特征在于，所述获取场景图像以及目标物体的多个物体图像，包括：

获取场景图像以及多个候选物体图像，所述多个候选物体图像是在多种不同光照条件下、多个不同视角采集得到的；

确定所述场景图像对应的目标光照条件；

在所述多个候选物体图像中，确定所述多个物体图像，所述多个物体图像对应的光照条件与所述目标光照条件之间的相似度满足第一参考条件。

3.根据权利要求1所述的物体显示方法，其特征在于，所述基于所述场景图像的目标视角，从所述多个物体图像所对应的视角中，确定至少一个参考视角，包括：

确定所述目标物体在所述场景图像中的显示位置；

基于所述显示位置与所述场景图像的中心点之间的位置关系，确定各个物体图像的视角相对于所述场景图像的中心点的位置信息；

将与所述目标视角在空间位置上相邻的至少一个位置信息所指示的视角，确定为所述至少一个参考视角。

4.根据权要求3所述的物体显示方法，其特征在于，所述基于所述显示位置与所述场景图像的中心点之间的位置关系，确定各个物体图像的视角相对于所述场景图像的中心点的位置信息，包括：

确定所述各个物体图像的视角相对于所述目标物体的初始位置信息；

基于所述显示位置与所述场景图像的中心点之间的位置关系，确定位置变换信息；

基于所述位置变换信息，对各个视角的初始位置信息进行变换，得到所述各个物体图像的视角相对于所述场景图像的中心点的位置信息。

5.根据权利要求1所述的物体显示方法，其特征在于，所述基于至少一个目标像素点变化信息、所述至少一个参考视角与所述目标视角之间的位置差异信息，分别对所述至少一个参考视角所对应的物体图像中各个像素点的位置进行变换，得到至少一个中间图像之前，所述方法还包括：

获取任一视角与相邻视角所对应的物体图像之间的像素点变化信息；

在所述像素点变化信息中，确定各个所述参考视角与相邻视角所对应的物体图像之间的目标像素点变化信息。

6.根据权利要求5所述的物体显示方法，其特征在于，所述获取任一视角与相邻视角所对应的物体图像之间的像素点变化信息，包括：

分别在各个视角的物体图像中确定参考点；

对于任一视角的物体图像中的任一参考点，确定所述任一参考点对应的至少一个光流信息，一个所述光流信息用于指示所述任一视角与相邻视角对应的物体图像在所述任一参考点处的像素点变化；

基于所述任一参考点对应的至少一个光流信息、所述任一视角与相邻视角之间的位置差异信息，确定所述任一视角与相邻视角所对应的物体图像之间的像素点变化信息。

7.一种物体显示装置，其特征在于，包括：

图像获取模块，被配置为获取场景图像以及目标物体的多个物体图像，所述多个物体图像在多个不同视角采集得到；

视角确定模块，被配置为基于所述场景图像的目标视角，从所述多个物体图像所对应的视角中，确定至少一个参考视角，所述目标视角是采集所述场景图像的视角，所述参考视角与所述目标视角在空间位置上相邻；

图像变换模块，被配置为基于至少一个目标像素点变化信息、所述至少一个参考视角与所述目标视角之间的位置差异信息，分别对所述至少一个参考视角所对应的物体图像中各个像素点的位置进行变换，得到至少一个中间图像，所述目标像素点变化信息用于指示所述参考视角与相邻视角所对应的物体图像之间的像素点变化，所述相邻视角是与所述参考视角在空间位置上相邻的视角，所述中间图像用于指示所述目标物体在所述目标视角下所呈现的效果；

图像显示模块，被配置为将所述至少一个中间图像叠加显示在所述场景图像上。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

用于存储所述处理器可执行程序代码的存储器；

其中，所述处理器被配置为执行所述程序代码，以实现如权利要求1至6中任一项所述的物体显示方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的物体显示方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的物体显示方法。

Images