CN113436247B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域。本公开实施例至少解决相关技术中，无法对光场数据进行重光照的技术问题。该方法包括：获取目标对象在原始光源下的光场数据、第一光源方向与第二光源方向之间的变化角度；第一光源方向为原始光源相对于目标对象的光源方向；第二光源方向为目标光源相对于目标对象的光源方向；原始光源为对目标对象进行重光照之前的光源；目标光源为对目标对象进行重光照使用的光源；从目标对象在原始光源下的光场数据中，获取在原始光源下从原始观察角度观察目标对象的原始图像数据；根据变化角度和原始图像数据，确定在目标光源下，从原始观察角度观察目标对象的目标图像数据。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备以及存储介质。

背景技术

重光照是指在识别出图像的原始光照信息后，改变该原始光照信息，从而实现对图片重新渲染的效果。

随着计算机图形学技术的发展，光场(Light Field)已经变成在学界和工业界讨论日益增多的场景表达形式。光场是一种利用离散化的图像数据表达三维场景的方式，具体指记录弥散在空间中的任意一条光线的色彩数据(包括亮度、色度等分量信息)。因此，与图像相比，光场可以比单纯的图像具有更多的信息量用于重光照。

因此，如何在光场的场景下实现重光照，是目前亟需解决的技术问题。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决现有技术中，无法对光场数据进行重光照的的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取目标对象在原始光源下的光场数据、第一光源方向与第二光源方向之间的变化角度；第一光源方向为原始光源相对于目标对象的光源方向；第二光源方向为目标光源相对于目标对象的光源方向；原始光源为对目标对象进行重光照之前的光源；目标光源为对目标对象进行重光照使用的光源；从目标对象在原始光源下的光场数据中，获取在原始光源下从原始观察角度观察目标对象的原始图像数据；根据变化角度和原始图像数据，确定在目标光源下，从原始观察角度观察目标对象的目标图像数据。

可选地，上述“根据变化角度和原始图像数据，确定在目标光源下，从原始观察角度观察目标对象的目标图像数据”的方法具体包括：获取原始图像数据中，每一像素点在原始图像数据中的位置；根据每一像素点在原始图像数据中的位置和变化角度，确定与每一像素点对应的像素点在目标图像数据中的位置；从光场数据中，获取与每一像素点对应的像素点在目标图像数据的对应位置上的颜色值，并根据获取到的颜色值确定目标图像数据。

可选地，上述“根据每一像素点在原始图像数据中的位置和变化角度，确定与每一像素点对应的像素点在目标图像数据中的位置”的方法具体包括：将变化角度按照预设规则划分为T个角度；T个角度的角度值之和等于变化角度的值；T为大于2的整数；对T个角度中的每个角度，以及每个角度对应的观察角度下观察目标对象的图像数据，重复执行目标操作，直到满足终止条件时得到终止图像数据；目标操作用于确定每个角度对应的观察角度下观察目标对象的图像数据中的每个像素点，在目标图像数据中的位置；将每个像素点在终止图像数据中的位置，确定为目标像素点在目标图像数据中的位置。

可选地，上述目标操作为：从光场数据中，获取与当前角度对应的观察角度下，观察目标对象的当前图像数据和与下一角度对应的观察角度下，观察目标对象的下一图像数据；T个角度的初始角度对应的观察角度下，观察目标对象的初始图像数据为原始图像数据；步骤B：对于下一角度为按照从小到大的顺序依次排列的T个角度中，与当前角度相邻的下一个角度；针对当前图像数据中的目标像素点，根据当前图像数据、下一图像数据、目标像素点在当前图像数据中的位置和光流算法，确定目标像素点在下一图像数据中的位置；

可选地，上述终止条件包括：当前角度为第T个角度，或者无法确定目标像素点在下一图像数据中的位置；终止图像数据为满足终止条件时，当前角度对应的观察角度下，观察目标对象的图像数据。

可选地，当T个角度为平均划分时，则每个角度对应的观察角度为((t/2T)R)；其中，t为大于或者等于0、且小于或者等于T的整数，R为变化角度。

可选地，该图像处理方法还包括：根据原始观察角度和变化角度，确定目标观察角度；目标夹角的数值与变化角度的数值满足光反射关系；目标夹角为第一观察方向与第二观察方向之间的夹角；第一观察方向为从目标观察角度观察目标对象的方向；第二观察方向为从原始观察角度观察目标对象的方向；光反射关系包括镜面反射关系或漫反射关系；从目标对象在原始光源下的光场数据中，获取在原始光源下，从目标观察角度观察目标对象的图像数据，并将获取到的图像数据确定为目标图像数据。

可选地，当目标夹角的数值与变化角度的数值满足镜面反射关系时，目标夹角的数值为变化角度的数值的一半。

根据本公开实施例的第二方面，提供一种电子设备，包括：获取单元和处理单元；获取单元，用于获取目标对象在原始光源下的光场数据、第一光源方向与第二光源方向之间的变化角度；第一光源方向为原始光源相对于目标对象的光源方向；第二光源方向为目标光源相对于目标对象的光源方向；原始光源为对目标对象进行重光照之前的光源；目标光源为对目标对象进行重光照使用的光源；获取单元，还用于从目标对象在原始光源下的光场数据中，获取在原始光源下从原始观察角度观察目标对象的原始图像数据；原始观察角度为在原始光源下观察目标对象的任意一个角度；处理单元，用于根据变化角度和原始图像数据，确定在目标光源下，从原始观察角度观察目标对象的目标图像数据。

可选地，处理单元，具体用于：获取原始图像数据中，每一像素点在原始图像数据中的位置；根据每一像素点在原始图像数据中的位置和变化角度，确定与每一像素点对应的像素点在目标图像数据中的位置；从光场数据中，获取与每一像素点对应的像素点在目标图像数据的对应位置上的颜色值，并根据获取到的颜色值确定目标图像数据。

可选地，处理单元，具体用于：将变化角度按照预设规则划分为T个角度；T个角度的角度值之和等于变化角度的值；T为大于2的整数；对T个角度中的每个角度，以及每个角度对应的观察角度下观察目标对象的图像数据，重复执行目标操作，直到满足终止条件时得到终止图像数据；目标操作用于确定每个角度对应的观察角度下观察目标对象的图像数据中的每个像素点，在目标图像数据中的位置；将每个像素点在终止图像数据中的位置，确定为目标像素点在目标图像数据中的位置。

可选地，上述目标操作为：：从光场数据中，获取与当前角度对应的观察角度下，观察目标对象的当前图像数据和与下一角度对应的观察角度下，观察目标对象的下一图像数据；T个角度的初始角度对应的观察角度下，观察目标对象的初始图像数据为原始图像数据；步骤B：对于下一角度为按照从小到大的顺序依次排列的T个角度中，与当前角度相邻的下一个角度；针对当前图像数据中的目标像素点，根据当前图像数据、下一图像数据、目标像素点在当前图像数据中的位置和光流算法，确定目标像素点在下一图像数据中的位置；

可选地，上述终止条件包括：当前角度为第T个角度，或者无法确定目标像素点在下一图像数据中的位置；终止图像数据为满足终止条件时，当前角度对应的观察角度下，观察目标对象的图像数据。

可选地，当T个角度为平均划分时，则每个角度对应的观察角度为((t/2T)R)；其中，t为大于或者等于0、且小于或者等于T的整数，R为变化角度。

可选地，处理单元，还用于根据原始观察角度和变化角度，确定目标观察角度；目标夹角的数值与变化角度的数值满足光反射关系；目标夹角为第一观察方向与第二观察方向之间的夹角；第一观察方向为从目标观察角度观察目标对象的方向；第二观察方向为从原始观察角度观察目标对象的方向；光反射关系包括镜面反射关系或漫反射关系；获取单元，还用于从目标对象在原始光源下的光场数据中，获取在原始光源下，从目标观察角度观察目标对象的图像数据，并将获取到的图像数据确定为目标图像数据。

可选地，当目标夹角的数值与变化角度的数值满足镜面反射关系时，目标夹角的数值为变化角度的数值的一半。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现如第一方面提供的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，包括指令，当指令由处理器执行时，使得处理器执行如第一方面提供的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括指令，当指令由处理器执行时，使得处理器执行如第一方面提供的图像处理方法。

本公开提供的技术方案至少带来以下有益效果：由于光场数据中包括目标对象在各个方向上的图像数据，因此，在原始光源(对目标对象进行重光照之前的光源)变化为目标光源(对目标对象进行重光照使用的光源)后，可以获取目标对象在原始光源下的光场数据，以及第一光源方向(原始光源相对于目标对象的光源方向)与第二光源方向(目标光源相对于目标对象的光源方向)之间的变化角度，并从目标对象在原始光源下的光场数据中，获取在原始光源下从原始观察角度观察目标对象的原始图像数据。后续，根据变化角度和原始图像数据，确定在目标光源下，从原始观察角度观察目标对象的目标图像数据。这样一来，本公开的技术方案可以在光场的场景下实现重光照，解决了现有技术无法在光场的场景下实现重光照的技术问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理系统的结构示意图；

图2A是根据一示例性实施例示出的一种图像处理方法的流程示意图之一；

图2B是根据一示例性实施例示出的一种图像处理方法的图像示意图之一；

图3是根据一示例性实施例示出的一种图像处理方法的流程示意图之二；

图4是根据一示例性实施例示出的一种图像处理方法的流程示意图之三；

图5A是根据一示例性实施例示出的一种图像处理方法的流程示意图之四；

图5B是根据一示例性实施例示出的一种图像处理方法的图像示意图之二；

图6是根据一示例性实施例示出的一种电子设备的结构示意图；

图7是根据一示例性实施例示出的一种终端的结构示意图；

图8是根据一示例性实施例示出的一种服务器的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

另外，在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本公开实施例的描述中，“多个”是指两个或多于两个。

本公开实施例提供的图像处理方法可以适用于图像处理系统。图1示出了该图像处理系统的一种结构示意图。如图1所示，图像处理系统10用于对目标对象的原始数据进行重光照处理，以得到目标图像数据。图像处理系统10包括电子设备11以及拍摄装置12。电子设备11与拍摄装置12连接。电子设备11与拍摄装置12之间可以采用有线方式连接，也可以采用无线方式连接，本公开实施例对此不作限定。

电子设备11可以用于接收拍摄装置12采集并发送的二维图像，并根据接收到的二维图像确定光场数据。

拍摄装置12可以用于采集并拍摄生成二维图像。例如，拍摄装置12可以为相机。

在本公开实施例涉及的第一种场景下，上述图像处理系统10中的拍摄装置12可以为具有拍摄功能以及发送功能的设备，在这种情况下，电子设备11可以是一台用于对目标对象的原始数据进行重光照处理的服务器，也可以是由多台服务器组成的服务器集群，还可以是一个云计算服务中心。

在本公开实施例涉及的第二种场景下，上述图像处理系统10中的拍摄装置12可以为执行拍摄、采集二维图像的装置或者元件，电子设备11可以为用户的个人终端，例如手机、平板电脑、掌上电脑、个人计算机(Personal Computer，PC)、可穿戴设备、智能电视等。

需要说明的，在上述第二种场景下，电子设备11和拍摄装置12可以为相互独立的设备，也可以集成于同一设备中，本公开对此不作具体限定。

当电子设备11和拍摄装置12集成于同一设备时，电子设备11和拍摄装置12之间的通信方式为该设备内部模块之间的通信。这种情况下，二者之间的通信流程与“电子设备11和拍摄装置12之间相互独立的情况下，二者之间的通信流程”相同。

在本公开提供的以下实施例中，本公开以电子设备11和拍摄装置12相互独立设置为例进行说明。

下面结合附图，对本公开实施例提供的图像处理方法进行描述。

如图2A所示，本公开实施例提供的图像处理方法包括下述S201-S203。

S201、电子设备获取目标对象在原始光源下的光场数据、第一光源方向与第二光源方向之间的变化角度。

其中，第一光源方向为原始光源相对于目标对象的光源方向；第二光源方向为目标光源相对于目标对象的光源方向；原始光源为对目标对象进行重光照之前的光源；目标光源为对目标对象进行重光照使用的光源。

具体的，重光照是指给定一副照片或其他数据形式，在新的光照下重新渲染真实感图像。因此，当需要对图像进行重光照时，电子设备可以获取目标对象在原始光源下的光场数据、以及原始光源相对于目标对象的光源方向(即第一光源方向)。相应的，电子设备还可以获取到目标光源相对于目标对象的光源方向(即第二光源方向)。在这种情况下，电子设备可以获取第一光源方向与第二光源方向之间的变化角度。

S202、电子设备从目标对象在原始光源下的光场数据中，获取在原始光源下从原始观察角度观察目标对象的原始图像数据。

其中，原始观察角度为在原始光源下观察目标对象的任意一个角度。

电子设备还可以从目标对象在原始光源下的光场数据中，获取在原始光源下从原始观察角度观察目标对象的原始图像数据。

具体的，光场可以看作是拍摄装置(包含位置和各种光学指标)在固定光照环境下，旋转被拍摄物体(目标对象)所得到的物体在各个姿态(物体的姿态有两个自由度，可以认为是被拍摄物体围绕其中心做水平旋转(经度)和竖直旋转(纬度)运动)的拍摄图像的集合。也就是说，光场的自由度是四维的，包含物体转动的两个维度(经度和纬度)以及各个角度所拍摄的图像的两个维度(X和Y)。

示例性的，当拍摄装置为摄像机时，如图2B所示，光场L可以看作一个映射：L(θ，φ，x，y)＝>C。其中，θ是物体转动的经度，φ是物体转动的纬度，x和y分别是图像横坐标和纵坐标的值，C是一个颜色值，表示当物体处于(θ，φ)确定的姿态时，通过拍摄得到的图像中(x，y)坐标的颜色值。在实际场景中，光场中的数据往往包含若干特定角度拍摄的图像(一般是密集拍摄得到的)，对于任意给定的θ，φ，x，y都可以通过高阶连续的差值计算得到一个颜色值，因此可以认为光场是一个连续可微(也就是随着θ，φ，x，y的变化，颜色值的变化都是连续的且不跳变)的映射。

S203、电子设备根据变化角度和原始图像数据，确定在目标光源，从与原始观察角度观察目标对象的目标图像数据。

具体的，在获取目标对象在原始光源下的光场数据、第一光源方向与第二光源方向之间的变化角度，以及从目标对象在原始光源下的光场数据中，获取在原始光源下从原始观察角度观察目标对象的原始图像数据后，电子设备根据变化角度和原始图像数据，确定在目标光源，从与原始观察角度观察目标对象的目标图像数据。

结合上述图2B，由于光场包括从各个方向获取目标对象的图像数据，因此，原始方向可以用(θ，φ)来表示。

假定场景的光源是在被拍摄物体(目标对象)之外的无穷远处的环境光。可以用一个映射E(θ，φ)＝>C来表示环境光，表示以被拍摄物体为中心，在θ，φ表示的经度和纬度方向上，环境光对应的颜色值。

所谓重光照，本公开中特指存在一个变换R(可以是上述的变化角度，也可是该变化角度对应的函数)，使得E'(θ，φ)＝E(R(θ，φ))，其中R(θ，φ)得到(θ'，φ')，是一个二维坐标向二维坐标的变换。例如，沿着某个方向转动整个环境光，就可以得到一个R。R的变换公式定义随着不同的环境光重定义(例如如何旋转)有关，是一个泛化的函数，这里不做统一要求。R的能力是有限制的，也就是在本公开中，只讨论R让整个环境发生整体转动的变换。

本公开提供的技术方案至少带来以下有益效果：由于光场数据中包括目标对象在各个方向上的图像数据，因此，在原始光源(对目标对象进行重光照之前的光源)变化为目标光源(对目标对象进行重光照使用的光源)后，可以获取目标对象在原始光源下的光场数据，以及第一光源方向(原始光源相对于目标对象的光源方向)与第二光源方向(目标光源相对于目标对象的光源方向)之间的变化角度，并从目标对象在原始光源下的光场数据中，获取在原始光源下从原始观察角度观察目标对象的原始图像数据。后续，根据变化角度和原始图像数据，确定在目标光源下，从原始观察角度观察目标对象的目标图像数据。这样一来，本公开的技术方案可以在光场的场景下实现重光照，解决了现有技术无法在光场的场景下实现重光照的技术问题。

在一种设计中，如图3所示，上述S203具体包括：S301-S303。

S301、电子设备获取原始图像数据中，每一像素点在原始图像数据中的位置。

具体的，原始图像数据由多个像素点组成。在确定目标图像数据时，电子设备获取原始图像数据中，每一像素点在原始图像数据中的位置。

示例性的，原始图像数据的分辨率为256*128，说明原始图像数据包括256*128个像素点。电子设备可以获取256*128个像素点中的每一像素点在原始图像数据中的位置。

S302、电子设备根据每一像素点在原始图像数据中的位置和变化角度，确定与每一像素点对应的像素点在目标图像数据中的位置。

具体的，在获取原始图像数据中，每一像素点在原始图像数据中的位置后，电子设备根据每一像素点在原始图像数据中的位置和变化角度，确定与每一像素点对应的像素点在目标图像数据中的位置。

S303、电子设备从光场数据中，获取与每一像素点对应的像素点在目标图像数据的对应位置上的颜色值，并根据获取到的颜色值确定目标图像数据。

具体的，在根据每一像素点在原始图像数据中的位置和变化角度，确定与每一像素点对应的像素点在目标图像数据中的位置后，由于光场数据中包括每个方向对应的图像数据，因此，电子设备从光场数据中，获取与每一像素点对应的像素点在目标图像数据的对应位置上的颜色值，并根据获取到的颜色值确定目标图像数据。

示例性的，预设原始图像数据为L(V)，目标图像数据为L'(V)。原始图像数据L(V)与目标图像数据L'(V)具有相同的图像宽度(W)和高度(H)。枚举所有x＝0，1，...W-1；y＝0，1，...H-1，计算L'(V)中的每个像素点的颜色值。当所有颜色值都计算完成后，这些颜色值对应像素构成的图像就是要输出的L'(V)。

上述实施例提供的技术方案至少具有以下有益效果：在确定目标图像数据时，可以获取每一像素点在目标图像上的颜色值，并将获取到的数据确定为目标图像数据，提高了确定目标图像数据的准确性。

在一种设计中，如图4所示，上述S302具体包括：

S401、电子设备将变化角度按照预设规则划分为T个角度。

其中，T个角度的角度值之和等于变化角度的值；T为大于2的整数。

可选的，当T个角度为平均划分时，则每个角度对应的观察角度为((t/2T)R)；其中，t为大于或者等于0、且小于或者等于所述T的整数，R为所述变化角度。这样一来，在T个角度为平均划分的情况下，电子设备可以快速、准确的确定每个角度对应的观察角度的数值。

S402、电子设备对T个角度中的每个角度，以及每个角度对应的观察角度下观察目标对象的图像数据，重复执行目标操作，直到满足终止条件时得到终止图像数据。

其中，目标操作用于确定每个角度对应的观察角度下观察目标对象的图像数据中的每个像素点，在目标图像数据中的位置。

具体的，将变化角度按照预设规则划分为T个角度后，电子设备可以对T个角度中的每个角度，以及每个角度对应的观察角度下观察目标对象的图像数据，重复执行目标操作，直到满足终止条件时得到终止图像数据。

S403、电子设备将每个像素点在终止图像数据中的位置，确定为目标像素点在目标图像数据中的位置。

具体的，在对T个角度中的每个角度，以及每个角度对应的观察角度下观察目标对象的图像数据，重复执行目标操作，直到满足终止条件时得到终止图像数据后，电子设备将每个像素点在终止图像数据中的位置，确定为目标像素点在目标图像数据中的位置。

这样一来，电子设备可以准确的确定每一像素点在目标图像数据中的位置，提高了确定像素点位置的准确性。

在一种可以实现的方式中，目标操作为：从光场数据中，获取与当前角度对应的观察角度下，观察目标对象的当前图像数据和与下一角度对应的观察角度下，观察目标对象的下一图像数据；T个角度的初始角度对应的观察角度下，观察目标对象的初始图像数据为原始图像数据；下一角度为按照从小到大的顺序依次排列的T个角度中，与当前角度相邻的下一个角度；针对当前图像数据中的目标像素点，根据当前图像数据、下一图像数据、目标像素点在当前图像数据中的位置和光流算法，确定目标像素点在下一图像数据中的位置；

在一种可以实现的方式中，终止条件包括：当前角度为第T个角度，或者无法确定目标像素点在下一图像数据中的位置；终止图像数据为满足终止条件时，当前角度对应的观察角度下，观察目标对象的图像数据。

示例性的，以目标光源与原始光源相对于目标对象的变化角度为α角度，T个角度为平均划分为例。预设原始图像数据为L(V)，目标图像数据为L'(V)。应理解，当目标光源与原始光源相对于目标对象的变化角度为α角度时，近似等同于目标对象近似转动α/2角度。通过步进跟踪法可以确定每一像素点在每一像素点对应的像素点在目标图像数据的对应位置上的颜色值。

步进跟踪法的具体过程为：

跟踪L(V)中的(x0，y0)像素在转动R给定的一半角度后，对应光场数据中的哪个像素，用那个像素的图像作为这一点的新的颜色值。因此，假设一共通过T步跟踪这个点的运动(T是一个由用户选定的值，保证跟踪不要丢失即可，这个参数可以由用户调整得到)。我们假定从原始方向V到目标方向R(V)(由于R表示一个对方向矢量的变换，所以对环境的变换约等于对物体转动一半的变换，因此R(V)表示对V这个方向矢量进行旋转的变换)等分为T份，从第0份位置(记做I(0)＝L(V))到第T份位置(记做I(T)＝L(R(V)))，均匀移动得到了一个图像的序列，即I(t)＝L(((t/2T)R)(V))，其中t＝0，1，...，T，且((t/2T)R)表示转动过程中角度从0变化到α/2的均匀变化过程，α是R变换对应的旋转角度。迭代的初始值是I(0)＝L(V)，x＝x0，y＝y0。

通过光流算法，得到L(t-1)的(x，y)位置对应于L(t)的(x'，y')位置，即在(x，y)附近，L(t)图中的(x'，y')邻域与L(t-1)的(x，y)邻域最接近(或较接近)。光流算法的输入是L(t-1)、L(t)两个图像，以及(x，y)的位置值，如果光流算法计算成功，其将输出(x'，y')位置值，如果失败，则表明该点已经转动到了物体后面。对于这种特殊情况，直接需要结束循环，将L(t-1)(x，y)的值作为最终的像素颜色值。

迭代x，y＝x'，y'，即下一次跟踪的起点是最近一次跟踪的结果。求出最后一次迭代的像素点的颜色值I(T)(x'，y')，并将这个点的颜色值作为输出图像L’(V)的(x0，y0)位置的颜色值。

上述实施例提供的技术方案至少具有以下有益效果：通过步进跟踪法确定像素点在目标图像数据中的位置的具体实现方式，保证了可以准确的确定每一像素点在目标图像数据中的位置，防止光源变化角度过大时，无法准确的获取到像素点的位置，提高了确定像素点位置的准确性。

在一种设计中，如图5A所示，该图像处理方法还包括：

S501、电子设备根据原始观察角度和变化角度，确定目标观察角度。

其中，目标夹角的数值与变化角度的数值满足光反射关系；目标夹角为第一观察方向与第二观察方向之间的夹角；第一观察方向为从目标观察角度观察目标对象的方向；第二观察方向为从原始观察角度观察目标对象的方向；光反射关系包括镜面反射关系或漫反射关系。

具体的，光反射关系是指在计算光反射的过程中，入射光线与物体之间角度以及反射光线与物体之间角度的数值关系。该数值关系的具体算法可以参考现有技术中的光反射算法，在此不再赘述。

本申请实施例中，目标夹角的数值与变化角度的数值可以看做是光反射关系对应的算法公式中的两个参数。在已知变化角度的数值的情况下，通过现有的光反射的具体算法公式，可以得到目标夹角的数值。可选的，当目标夹角的数值与变化角度的数值满足镜面反射关系时，目标夹角的数值为变化角度的数值的一半。这样一来，电子设备可以快速、准确的确定夹角的数值。

示例性的，如图5B所示，若摄像机不动，当原光源方向相对于物体转到α角度，以得到新光源方向时，相当于物体转动了α/2角度。S502、电子设备从目标对象在原始光源下的光场数据中，获取在原始光源下，从目标观察角度观察目标对象的图像数据，并将获取到的图像数据确定为目标图像数据。

具体的，在根据原始观察角度和变化角度，确定目标观察角度后，电子设备从目标对象在原始光源下的光场数据中，获取在原始光源下，从目标观察角度观察目标对象的图像数据，并将获取到的图像数据确定为目标图像数据。

需要说明的是，上述实施例适用于变化角度较小的场景。当变化角度较小时，原始图像数据中的像素点的位置与目标图像数据中的像素点的位置几乎无变化，因此，电子设备可以直接将与变化角度对应的方向的图像数据确定为目标图像数据，提高了确定目标图像数据的效率。

上述实施例提供的技术方案至少具有以下有益效果：在确定目标图像数据时，可以直接将与变化角度对应的方向的图像数据确定为目标图像数据，提高了确定目标图像数据的效率。

另外，本公开还提供一种电子设备，用于执行本公开实施例提供的图像处理方法，以解决现有技术无法在光场的场景下实现重光照的技术问题。参照图6所示，该电子设备包括：获取单元601和处理单元602。

获取单元601，用于获取目标对象在原始光源下的光场数据、第一光源方向与第二光源方向之间的变化角度；第一光源方向为原始光源相对于目标对象的光源方向；第二光源方向为目标光源相对于目标对象的光源方向；原始光源为对目标对象进行重光照之前的光源；目标光源为对目标对象进行重光照使用的光源。例如，结合图2A，获取单元601用于执行S201。

获取单元601，还用于从目标对象在原始光源下的光场数据中，获取在原始光源下从原始观察角度观察目标对象的原始图像数据；原始观察角度为在原始光源下观察目标对象的任意一个角度。例如，结合图2A，获取单元601用于执行S202。

处理单元602，用于根据变化角度和原始图像数据，确定在目标光源下，从原始观察角度观察目标对象的目标图像数据。例如，结合图2A，处理单元602用于执行S203。

可选的，处理单元602，具体用于：

获取原始图像数据中，每一像素点在原始图像数据中的位置。例如，结合图3，处理单元602用于执行S301。

根据每一像素点在原始图像数据中的位置和变化角度，确定与每一像素点对应的像素点在目标图像数据中的位置。例如，结合图3，处理单元602用于执行S302。

从光场数据中，获取与每一像素点对应的像素点在目标图像数据的对应位置上的颜色值，并根据获取到的颜色值确定目标图像数据。例如，结合图3，处理单元602用于执行S303。

可选地，处理单元602，具体用于：

将变化角度按照预设规则划分为T个角度；T个角度的角度值之和等于变化角度的值；T为大于2的整数。例如，结合图4，处理单元602用于S401。

对T个角度中的每个角度，以及每个角度对应的观察角度下观察目标对象的图像数据，重复执行目标操作，直到满足终止条件时得到终止图像数据；目标操作用于确定每个角度对应的观察角度下观察目标对象的图像数据中的每个像素点，在目标图像数据中的位置。例如，结合图4，处理单元602用于S402。

将每个像素点在终止图像数据中的位置，确定为目标像素点在目标图像数据中的位置。例如，结合图4，处理单元602用于S403。

可选的，目标操作为：从光场数据中，获取与当前角度对应的观察角度下，观察目标对象的当前图像数据和与下一角度对应的观察角度下，观察目标对象的下一图像数据；T个角度的初始角度对应的观察角度下，观察目标对象的初始图像数据为原始图像数据；下一角度为按照从小到大的顺序依次排列的T个角度中，与当前角度相邻的下一个角度；针对当前图像数据中的目标像素点，根据当前图像数据、下一图像数据、目标像素点在当前图像数据中的位置和光流算法，确定目标像素点在下一图像数据中的位置；

可选的，终止条件包括：当前角度为第T个角度，或者无法确定目标像素点在下一图像数据中的位置；终止图像数据为满足终止条件时，当前角度对应的观察角度下，观察目标对象的图像数据。

可选的，当T个角度为平均划分时，则每个角度对应的观察角度为((t/2T)R)；其中，t为大于或者等于0、且小于或者等于T的整数，R为变化角度。

可选的，处理单元602，还用于根据原始观察角度和变化角度，确定目标观察角度；目标夹角的数值与变化角度的数值满足光反射关系；目标夹角为第一观察方向与第二观察方向之间的夹角；第一观察方向为从目标观察角度观察目标对象的方向；第二观察方向为从原始观察角度观察目标对象的方向；光反射关系包括镜面反射关系或漫反射关系。例如，结合图5A，处理单元602用于执行S501。

获取单元，还用于从目标对象在原始光源下的光场数据中，获取在原始光源下，从目标观察角度观察目标对象的图像数据，并将获取到的图像数据确定为目标图像数据。例如，结合图5A，获取单元601用于执行S502。

可选的，当目标夹角的数值与变化角度的数值满足镜面反射关系时，目标夹角的数值为变化角度的数值的一半。

如上所述，本公开实施例可以根据上述方法示例对电子设备进行功能模块的划分。其中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，还需要说明的是，本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。

关于上述实施例中的电子设备，其中各个模块执行操作的具体方式、以及具备的有益效果，均已经在前述方法实施例中进行了详细描述，此处不再赘述。

当上述电子设备为终端时，本公开实施例还提供一种终端，终端可以是手机、电脑等用户终端。图7示出了本公开实施例提供的终端的结构示意图。该终端可以是图像处理装置可以包括至少一个处理器61，通信总线62，存储器63以及至少一个通信接口64。

处理器61可以是一个处理器(central processing units，CPU)，微处理单元，ASIC，或一个或多个用于控制本公开方案程序执行的集成电路。作为一个示例，结合图6，电子设备中的获取单元601和处理单元602实现的功能与图7中的处理器61实现的功能相同。

通信总线62可包括一通路，在上述组件之间传送信息。

通信接口64，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如服务器、以太网，无线接入网(radio access network，RAN)，无线局域网(wireless localarea networks，WLAN)等。

存储器63可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。

其中，存储器63用于存储执行本公开方案的应用程序代码，并由处理器61来控制执行。处理器61用于执行存储器63中存储的应用程序代码，从而实现本公开方法中的功能。

在具体实现中，作为一种实施例，处理器61可以包括一个或多个CPU，例如图7中的CPU0和CPU1。

在具体实现中，作为一种实施例，终端可以包括多个处理器，例如图7中的处理器61和处理器65。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，终端还可以包括输入设备66和输出设备67。输入设备66和输出设备67通信，可以以多种方式接受用户的输入。例如，输入设备66可以是鼠标、键盘、触摸屏设备或传感设备等。输出设备67和处理器61通信，可以以多种方式来显示信息。例如，输出设备61可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备等。

本领域技术人员可以理解，图7中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本公开实施例还提供一种服务器。图8示出了本公开实施例提供的服务器的结构示意图。该服务器可以是图像处理装置。该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器71和一个或一个以上的存储器72。其中，存储器72中存储有至少一条指令，至少一条指令由处理器71加载并执行以实现上述各个方法实施例提供的图像处理方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

本公开还提供了一种包括指令的计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由计算机设备的处理器执行时，使得计算机能够执行上述所示实施例提供的图像处理方法。例如，计算机可读存储介质可以为包括指令的存储器63，上述指令可由终端的处理器61执行以完成上述方法。又例如，计算机可读存储介质可以为包括指令的存储器72，上述指令可由服务器的处理器71执行以完成上述方法。可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

本公开还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行上述图1-图5B任一附图所示的图像处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取目标对象在原始光源下的光场数据、第一光源方向与第二光源方向之间的变化角度；所述第一光源方向为所述原始光源相对于所述目标对象的光源方向；所述第二光源方向为目标光源相对于所述目标对象的光源方向；所述原始光源为对所述目标对象进行重光照之前的光源；所述目标光源为对所述目标对象进行所述重光照使用的光源；

从所述目标对象在所述原始光源下的光场数据中，获取在所述原始光源下从原始观察角度观察所述目标对象的原始图像数据；所述原始观察角度为在所述原始光源下观察所述目标对象的任意一个角度；

获取所述原始图像数据中，每一像素点在所述原始图像数据中的位置；

将所述变化角度按照预设规则划分为T个角度；所述T个角度的角度值之和等于所述变化角度的值；所述T为大于2的整数；

根据所述每一像素点在所述原始图像数据中的位置，对所述T个角度中的每个角度，以及所述每个角度对应的观察角度下观察所述目标对象的图像数据，重复执行目标操作，直到满足终止条件时得到所述每个像素点在终止图像数据中的位置；所述目标操作用于确定所述每个角度对应的观察角度下观察所述目标对象的图像数据中的每个像素点，在目标图像数据中的位置；

将所述每个像素点在所述终止图像数据中的位置，确定为目标像素点在所述目标图像数据中的位置；

从所述光场数据中，获取与所述每一像素点对应的像素点在所述目标图像数据的对应位置上的颜色值，并根据获取到的颜色值确定所述目标图像数据。

2.根据权利要求1所述的图像处理方法，其特征在于，

所述目标操作为：从所述光场数据中，获取与当前角度对应的观察角度下，观察所述目标对象的当前图像数据和与下一角度对应的观察角度下，观察所述目标对象的下一图像数据；所述T个角度的初始角度对应的观察角度下，观察所述目标对象的初始图像数据为所述原始图像数据；所述下一角度为按照从小到大的顺序依次排列的所述T个角度中，与所述当前角度相邻的下一个角度；针对所述当前图像数据中的目标像素点，根据所述当前图像数据、所述下一图像数据、所述目标像素点在所述当前图像数据中的位置和光流算法，确定所述目标像素点在所述下一图像数据中的位置。

3.根据权利要求2所述的图像处理方法，其特征在于，

所述终止条件包括：所述当前角度为第T个角度，或者无法确定所述目标像素点在所述下一图像数据中的位置；所述终止图像数据为满足所述终止条件时，所述当前角度对应的观察角度下，观察所述目标对象的图像数据。

4.根据权利要求1所述的图像处理方法，其特征在于，当所述T个角度为平均划分时，则每个角度对应的观察角度为((t/2T)R)；其中，t为大于或者等于0、且小于或者等于所述T的整数，R为所述变化角度。

5.根据权利要求1所述的图像处理方法，其特征在于，还包括：

根据所述原始观察角度和所述变化角度，确定目标观察角度；目标夹角的数值与所述变化角度的数值满足光反射关系；所述目标夹角为第一观察方向与第二观察方向之间的夹角；所述第一观察方向为从所述目标观察角度观察所述目标对象的方向；所述第二观察方向为从所述原始观察角度观察所述目标对象的方向；所述光反射关系包括镜面反射关系或漫反射关系；

从所述目标对象在所述原始光源下的光场数据中，获取在所述原始光源下，从所述目标观察角度观察所述目标对象的图像数据，并将获取到的图像数据确定为所述目标图像数据。

6.根据权利要求5所述的图像处理方法，其特征在于，当所述目标夹角的数值与所述变化角度的数值满足所述镜面反射关系时，所述目标夹角的数值为所述变化角度的数值的一半。

7.一种图像处理装置，其特征在于，包括：获取单元和处理单元；

所述获取单元，用于获取目标对象在原始光源下的光场数据、第一光源方向与第二光源方向之间的变化角度；所述第一光源方向为所述原始光源相对于所述目标对象的光源方向；所述第二光源方向为目标光源相对于所述目标对象的光源方向；所述原始光源为对所述目标对象进行重光照之前的光源；所述目标光源为对所述目标对象进行所述重光照使用的光源；

所述获取单元，还用于从所述目标对象在所述原始光源下的光场数据中，获取在所述原始光源下从原始观察角度观察所述目标对象的原始图像数据；所述原始观察角度为在所述原始光源下观察所述目标对象的任意一个角度；

所述获取单元，还用于获取所述原始图像数据中，每一像素点在所述原始图像数据中的位置；

所述处理单元，用于将所述变化角度按照预设规则划分为T个角度；所述T个角度的角度值之和等于所述变化角度的值；所述T为大于2的整数；

所述处理单元，还用于根据所述每一像素点在所述原始图像数据中的位置，对所述T个角度中的每个角度，以及所述每个角度对应的观察角度下观察所述目标对象的图像数据，重复执行目标操作，直到满足终止条件时得到所述每个像素点在终止图像数据中的位置；所述目标操作用于确定所述每个角度对应的观察角度下观察所述目标对象的图像数据中的每个像素点，在目标图像数据中的位置；

所述处理单元，还用于将所述每个像素点在所述终止图像数据中的位置，确定为目标像素点在所述目标图像数据中的位置；

所述处理单元，还用于从所述光场数据中，获取与所述每一像素点对应的像素点在所述目标图像数据的对应位置上的颜色值，并根据获取到的颜色值确定所述目标图像数据。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述目标操作为：从所述光场数据中，获取与当前角度对应的观察角度下，观察所述目标对象的当前图像数据和与下一角度对应的观察角度下，观察所述目标对象的下一图像数据；所述T个角度的初始角度对应的观察角度下，观察所述目标对象的初始图像数据为所述原始图像数据；所述下一角度为按照从小到大的顺序依次排列的所述T个角度中，与所述当前角度相邻的下一个角度；针对所述当前图像数据中的目标像素点，根据所述当前图像数据、所述下一图像数据、所述目标像素点在所述当前图像数据中的位置和光流算法，确定所述目标像素点在所述下一图像数据中的位置。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述终止条件包括：所述当前角度为第T个角度，或者无法确定所述目标像素点在所述下一图像数据中的位置；所述终止图像数据为满足所述终止条件时，所述当前角度对应的观察角度下，观察所述目标对象的图像数据。

10.根据权利要求7所述的图像处理装置，其特征在于，当所述T个角度为平均划分时，则每个角度对应的观察角度为((t/2T)R)；其中，t为大于或者等于0、且小于或者等于所述T的整数，R为所述变化角度。

11.根据权利要求7所述的图像处理装置，其特征在于，

所述处理单元，还用于根据所述原始观察角度和所述变化角度，确定目标观察角度；目标夹角的数值与所述变化角度的数值满足光反射关系；所述目标夹角为第一观察方向与第二观察方向之间的夹角；所述第一观察方向为从所述目标观察角度观察所述目标对象的方向；所述第二观察方向为从所述原始观察角度观察所述目标对象的方向；所述光反射关系包括镜面反射关系或漫反射关系；

所述获取单元，还用于从所述目标对象在所述原始光源下的光场数据中，获取在所述原始光源下，从所述目标观察角度观察所述目标对象的图像数据，并将获取到的图像数据确定为所述目标图像数据。

12.根据权利要求11所述的图像处理装置，其特征在于，当所述目标夹角的数值与所述变化角度的数值满足所述镜面反射关系时，所述目标夹角的数值为所述变化角度的数值的一半。

13.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1-6中任一项所述的图像处理方法。

14.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-6中任一项所述的图像处理方法。