CN106652013A - 图像处理方法及系统 - Google Patents

Abstract

本发明提供一种图像处理方法及系统，所述图像处理方法包括：获取当前太阳的位置信息，以作为渲染光源的位置信息；获取包含虚拟物体的图片；根据所述虚拟物体在所述图片中的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。本发明中的图像处理方法及系统，通过将当前太阳的位置信息来作为渲染光源的位置信息，使得虚拟物体渲染时的光源位置与图片当中真实场景中的光源位置一致，当根据渲染光源与图片当中的虚拟物体之间的位置关系，将虚拟物体渲染在图片当中时，由于渲染时的光源位置与图片当中真实场景中的光源位置一致，虚拟物体将完全真实的与所述图片当中的真实场景融合在一起。

Description

图像处理方法及系统

技术领域

本发明涉及增强现实技术领域，特别涉及一种图像处理方法及系统。

背景技术

随着摄影及图像处理技术的不断发展，增强现实技术也逐渐成熟，增强现实技术是通过实时地计算摄影机影像的位置及角度并加上相应图像的技术，以实现在拍摄得到的图片上把虚拟物体渲染在真实场景并进行互动的一种高科技技术，被广泛运用在生活当中。

其中，为了使得虚拟物体更加真实地与现实场景融合，最好是使虚拟物体渲染时的光源与真实场景中的光源位置一致，因此如何获取最佳渲染光源的位置信息成为增强现实技术的关键。

现有技术中，目前使用的增强现实技术，在获取渲染光源的位置信息时，通常是通过分析拍摄得到的相片当中各个像素点的亮度来反推当前光源的位置信息，从而将反推估算出的光源的位置信息作为虚拟物体渲染时的渲染光源，而这种通过反推估算的方法获取的光源位置信息存在较大的误差，使得当虚拟物体以这种方法估算出的光源进行渲染时，无法真实的与相片当中的真实场景进行融合，从而严重影响增强现实技术的效果。

发明内容

基于此，本发明的目的是提供一种虚拟物体与现实场景能够真实融合的图像处理方法及系统。

根据本发明实施例的一种图像处理方法，包括：

获取当前太阳的位置信息，以作为渲染光源的位置信息；

获取包含虚拟物体的图片；

根据所述虚拟物体在所述图片中的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

另外，根据本发明上述实施例的一种图像处理方法，还可以具有如下附加的技术特征：

所述渲染光源的位置信息为在全局坐标系下的位置信息，所述根据所述虚拟物体在所述图片中的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染的步骤包括：

获取所述虚拟物体在所述图片上的位置，以得到所述虚拟物体在局部坐标系下的位置信息；

将所述局部坐标系转化为所述全局坐标系，以获得所述虚拟物体在所述全局坐标系下的位置信息；

根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

所述根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染的步骤包括：

根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，计算出所述虚拟物体在所述渲染光源照射下的各像素点的亮度值；

根据所述虚拟物体上各像素点的亮度值将所述虚拟物体在所述图片上进行渲染。

所述太阳的位置信息包括太阳高度角及太阳方向角。

所述获取当前太阳的位置信息，以作为渲染光源的位置信息的步骤包括：

获取当前的太阳赤纬角δ、太阳纬度以及太阳时角ω，以计算出所述太阳高度角h和所述太阳方向角α，

所述太阳高度角h满足，

所述太阳方向角α满足，

将所述太阳高度角和所述太阳方向角设置为所述渲染光源的位置信息。

根据本发明实施例的一种图像处理系统，包括：

第一获取模块，用于获取当前太阳的位置信息，以作为渲染光源的位置信息；

第二获取模块，用于获取包含虚拟物体的图片；

渲染模块；用于根据所述虚拟物体在所述图片中的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

另外，根据本发明上述实施例的一种图像处理系统，还可以具有如下附加的技术特征：

所述渲染光源的位置信息为在全局坐标系下的位置信息，所述渲染模块包括：

第三获取模块，用于获取所述虚拟物体在所述图片上的位置，以得到所述虚拟物体在局部坐标系下的位置信息；

坐标转化模块，用于将所述局部坐标系转化为所述全局坐标系，以获得所述虚拟物体在所述全局坐标系下的位置信息；

渲染子模块，用于根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

所述渲染子模块包括：

计算单元，用于根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，计算出所述虚拟物体在所述渲染光源照射下的各像素点的亮度值；

渲染子单元，用于根据所述虚拟物体上各像素点的亮度值将所述虚拟物体在所述图片上进行渲染。

所述太阳的位置信息包括太阳高度角及太阳方向角。

所述第一获取模块包括：

第一获取子单元，获取当前的太阳赤纬角δ、太阳纬度以及太阳时角ω，以计算出所述太阳高度角h和所述太阳方向角α，

所述太阳高度角h满足，

所述太阳方向角α满足，

位置设置单元，用于将所述太阳高度角和所述太阳方向角设置为所述渲染光源的位置信息。

上述图像处理方法及系统，通过将当前太阳的位置信息来作为所述渲染光源的位置信息，使得所述虚拟物体渲染时的光源位置与所述图片当中真实场景中的光源位置一致，当根据所述渲染光源与所述图片当中的所述虚拟物体之间的位置关系，将所述虚拟物体渲染在所述图片当中时，由于渲染时的光源位置与所述图片当中真实场景中的光源位置一致，所述虚拟物体将完全真实的与所述图片当中的真实场景融合在一起。

附图说明

图1为本发明第一实施例中图像处理方法的流程图。

图2为本发明第二实施例中图像处理方法的流程图。

图3为本发明第一实施例中图像处理系统的结构示意图。

主要元件符号说明

图像处理系统	10	第一获取模块	11
				第二获取模块	12	渲染模块	13
第三获取模块	131	坐标转化模块	132
				渲染子模块	133	计算单元	1331
渲染子单元	1332	第一获取子单元	111
				位置设置单元	112

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，所示为本发明第一实施例中图像处理方法的流程图，所述变频微波电源与功率校准装置电性连接，包括步骤S01至S03。

步骤S01，获取当前太阳的位置信息，以作为渲染光源的位置信息。

需要指出的是，由于将当前太阳的位置信息作为所述渲染光源的位置信息，因此所述渲染光源的位置信息为在全局坐标系下的位置信息。

其中，所述太阳的位置信息包括太阳高度角及太阳方向角，对于地球上的某个地点，太阳高度角是指该地点的地平面与太阳光的入射方向之间的夹角，太阳方向角是指太阳相对该地点所在的方位，因此通过太阳高度角及太阳方向角即可得到太阳相对于地球上的某个地点的位置。

其中，所述渲染光源为虚拟物体渲染时的参考光源，所述渲染光源不确实存在，只是作为虚拟物体渲染时的光源参考，并且将当前太阳的位置信息作为所述渲染光源在全局坐标系下的位置信息，即将所述渲染光源的位置调整到与太阳的当前位置一致，相当于将太阳光作为虚拟物体渲染时的渲染光源。

可以理解的，相对于地球上的某个地点，太阳相当于一个点，因此太阳为点光源，从而使得所述渲染光源也为点光源。

步骤S02，获取包含虚拟物体的图片。

具体的，所述图片可通过拍摄设备拍摄而来，所述虚拟物体设于所述图片当中。

需要指出的是，所述图片为在户外环境下拍摄而来，且所述图片当中的真实场景的光源位置信息同样是当前太阳的位置信息。

可以理解的，由于所述图像处理方法将太阳的位置作为所述虚拟物体渲染时的光源位置，相当于将太阳光作为所述虚拟物体渲染时的渲染光源，因此所述图片需要在户外环境下拍摄而来，且所述图片当中的真实场景的光源位置信息同样是当前太阳的位置信息，从而确保在后期进行渲染时，所述虚拟物体完全与真实场景融合。

步骤S03，根据所述虚拟物体在所述图片中的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

具体的，所述步骤S03可以按照以下步骤进行具体实施：首先获取所述虚拟物体在所述图片上的位置，可以理解的，此时获取的所述虚拟物体的位置信息为在局部坐标系下的位置信息，而所述渲染光源的位置信息时在全局坐标系下的，此时需要将所述虚拟物体在局部坐标系下的位置信息转换为在全局坐标系下的位置信息，从而使得与所述渲染光源处于同一坐标系下，然后根据在全局坐标系下所述渲染光源与所述虚拟物体的位置关系，且结合光的投影关系，计算出所述虚拟物体各像素点的亮度值，根据所述虚拟物体各像素点的亮度值通过图片渲染技术将所述虚拟物体各个部位点亮在所述图片当中，从而将所述虚拟物体渲染在所述图片当中。

由于所述渲染光源的位置信息与所述图片当中真实场景的渲染光源位置信息均为当前太阳的位置信息，从而使得所述虚拟物体以所述渲染光源作为参考光源进行渲染时，能够使所述虚拟物体完全真实的与所述图片当中的真实场景融合。

可以理解的，根据所述渲染光源与所述虚拟物体在全局坐标系下的位置关系，可以分析出所述虚拟物体上的像素点与所述渲染光源的距离，且可以分析出所述渲染光源与所述虚拟物体的投影关系，根据像素点与所述渲染光源的距离可以计算出像素点的亮度值，距离所述渲染光源越近则越亮，同时根据所述渲染光源与所述虚拟物体的投影关系，可以分析出所述虚拟物体上的阴影像素区域，这些像素区域里的像素点的亮度值为零，不被显示，因此根据所述渲染光源与所述虚拟物体在全局坐标系下的位置关系，可以分析出所述虚拟物体上所有像素点的亮度值。例如，所述虚拟物体为一篮球，所述渲染光源设于所述篮球的上方，可以理解的，所述篮球的上半区域将被显示，并且离所述渲染光源越近的则越亮，同时，由于光的投影关系，所述篮球的下半区域将处于阴影状态，因此根据篮球与所述渲染光源的位置可以得出所述篮球各像素点的亮度值。

综上，上述图像处理方法，通过将当前太阳的位置信息来作为所述渲染光源的位置信息，使得所述虚拟物体渲染时的光源位置与所述图片当中真实场景中的光源位置一致，当根据所述渲染光源与所述图片当中的所述虚拟物体之间的位置关系，将所述虚拟物体渲染在所述图片当中时，由于渲染时的光源位置与所述图片当中真实场景中的光源位置一致，所述虚拟物体将完全真实的与所述图片当中的真实场景融合在一起。

请参阅图2，所示为本发明第二实施例中图像处理方法的流程图，所述变频微波电源与功率校准装置电性连接，包括步骤S11至S17。

步骤S11，获取当前的太阳赤纬角、太阳纬度以及太阳时角，以计算出太阳高度角和太阳方向角。

具体的，太阳高度角h与太阳赤纬角δ、太阳纬度以及太阳时角ω满足，并且太阳方向角α与太阳赤纬角δ、太阳纬度以及太阳高度角h之间满足，因此通过所述步骤S11获取的当前的太阳赤纬角、太阳纬度以及太阳时角，能够计算出当前的太阳高度角及太阳方向角，而计算出的当前的太阳高度角及太阳方向角即为太阳的当前位置信息，通过当前的太阳高度角及太阳方向角可以确定太阳的当前位置。

其中，所述太阳赤纬角、太阳纬度以及太阳时角可通过卫星获取。

步骤S12，将所述太阳高度角和所述太阳方向角设置为所述渲染光源的位置信息。

其中，所述渲染光源的位置信息为在全局坐标系下的位置信息。

可以理解的，通过当前的太阳高度角及太阳方向角可以确定太阳的当前位置，因此将当前的太阳高度角和太阳方向角设置为所述渲染光源在所述全局坐标下的位置信息，相当于是将所述渲染光源的位置调整到与太阳的当前位置一致。

步骤S13，获取包含虚拟物体的图片。

步骤S14，获取所述虚拟物体在所述图片上的位置，以得到所述虚拟物体在局部坐标系下的位置信息。

可以理解的，从所述图片当中获取出的所述虚拟物体的位置信息必然是在局部坐标系下的位置信息。

步骤S15，将所述局部坐标系转化为所述全局坐标系，以获得所述虚拟物体在所述全局坐标系下的位置信息。

需要指出的是，由于所述步骤S14获取的所述虚拟物体的位置信息是在局部坐标系下的位置信息，而所述渲染光源的位置信息为在全局坐标系下的位置信息，根据局部坐标与全局坐标的转化关系，可以将所述虚拟物体在局部坐标下的位置信息转化为在全局坐标下的位置信息，从而使得所述虚拟物体与所述渲染光源的位置均处于全局坐标下，便于后续的计算和比较。

步骤S16，根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，计算出所述虚拟物体在所述渲染光源照射下的各像素点的亮度值。

可以理解的，根据所述渲染光源与所述虚拟物体在全局坐标系下的位置关系，可以分析出所述虚拟物体上的像素点与所述渲染光源的距离，且可以分析出所述渲染光源与所述虚拟物体的投影关系，根据像素点与所述渲染光源的距离可以计算出像素点的亮度值，距离所述渲染光源越近则越亮，同时根据所述渲染光源与所述虚拟物体的投影关系，可以分析出所述虚拟物体上的阴影像素区域，这些像素区域里的像素点的亮度值为零，不被显示，因此根据所述渲染光源与所述虚拟物体在全局坐标系下的位置关系，可以分析出所述虚拟物体上所有像素点的亮度值。

步骤S17，根据所述各像素点的亮度值将所述虚拟物体渲染在所述图片当中。

可以理解的，由于所述虚拟物体上各像素点的亮度值均已经计算出，通过图片渲染技术将所述虚拟物体各个像素点按照计算出的对应亮度值进行点亮，从而将所述虚拟物体真实的渲染在所述图片上的真实场景当中。

本发明另一方面，还提供一种图像处理系统，请参阅图3，所示为本发明第一实施例中图像处理系统的结构示意图，所述图像处理系统10包括第一获取模块11、第二获取模块12及渲染模块13。

所述第一获取模块11用于获取当前太阳的位置信息，以作为渲染光源的位置信息。

其中，所述太阳的位置信息包括太阳高度角及太阳方向角，所述渲染光源的位置信息为在全局坐标系下的位置信息

所述第二获取模块12用于获取包含虚拟物体的图片。

所述第二获取模块12可以为摄像机、手机、电脑或其他可拍照设备，可以在这些拍照设备的摄像头上设置虚拟物体，使得拍照设备无论采取任何拍摄角度进行拍摄，所述获取模块12均能够获取包含虚拟物体的图片。

所述渲染模块13与所述第一获取模块11和所述第二获取模块12电性连接，用于根据所述虚拟物体在所述图片中的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

进一步地，所述渲染模块13包括第三获取模块131、坐标转化模块132及渲染子模块133。

所述第三获取模块131与所述第二获取模块12电性连接，用于获取所述虚拟物体在所述图片上的位置，以得到所述虚拟物体在局部坐标系下的位置信息。

所述坐标转化模块132与所述第三获取模块131电性连接，用于将所述局部坐标系转化为所述全局坐标系，以获得所述虚拟物体在所述全局坐标系下的位置信息。

所述渲染子模块133与所述坐标转化模块132和所述第一获取模块11电性连接，用于根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

进一步地，所述渲染子模块133包括计算单元1331及渲染子单元1332。

所述计算单元1331与所述坐标转化模块132和所述第一获取模块11电性连接，用于根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，计算出所述虚拟物体在所述渲染光源照射下的各像素点的亮度值。

所述渲染子单元1332与所述计算单元1331电性连接，用于根据所述虚拟物体上各像素点的亮度值将所述虚拟物体在所述图片上进行渲染。

进一步地，所述第一获取模块11包括第一获取子单元111及位置设置单元112。

所述第一获取子单元111用于获取当前的太阳赤纬角δ、太阳纬度以及太阳时角ω，以计算出所述太阳高度角h和所述太阳方向角α。

具体的，所述太阳高度角h满足，所述太阳方向角α满足，

其中，所述太阳赤纬角δ、太阳纬度以及太阳时角ω通过卫星获取。

所述位置设置单元112与所述第一获取子单元111电性连接，用于将所述太阳高度角和所述太阳方向角设置为所述渲染光源的位置信息。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图片处理方法，其特征在于，包括：

获取当前太阳的位置信息，以作为渲染光源的位置信息；

获取包含虚拟物体的图片；

根据所述虚拟物体在所述图片中的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

2.根据权利要求1所述的图像处理方法，其特征在于，所述渲染光源的位置信息为在全局坐标系下的位置信息，所述根据所述虚拟物体在所述图片中的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染的步骤包括：

获取所述虚拟物体在所述图片上的位置，以得到所述虚拟物体在局部坐标系下的位置信息；

将所述局部坐标系转化为所述全局坐标系，以获得所述虚拟物体在所述全局坐标系下的位置信息；

根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染的步骤包括：

根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，计算出所述虚拟物体在所述渲染光源照射下的各像素点的亮度值；

根据所述虚拟物体上各像素点的亮度值将所述虚拟物体在所述图片上进行渲染。

4.根据权利要求1所述的图像处理方法，其特征在于，所述太阳的位置信息包括太阳高度角及太阳方向角。

5.根据权利要求4所述的图像处理方法，其特征在于，所述获取当前太阳的位置信息，以作为渲染光源的位置信息的步骤包括：

获取当前的太阳赤纬角δ、太阳纬度以及太阳时角ω，以计算出所述太阳高度角h和所述太阳方向角α，

所述太阳高度角h满足，

所述太阳方向角α满足，

将所述太阳高度角和所述太阳方向角设置为所述渲染光源的位置信息。

6.一种图片处理系统，其特征在于，包括：

第一获取模块，用于获取当前太阳的位置信息，以作为渲染光源的位置信息；

第二获取模块，用于获取包含虚拟物体的图片；

渲染模块，用于根据所述虚拟物体在所述图片中的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

7.根据权利要求6所述的图像处理系统，其特征在于，所述渲染光源的位置信息为在全局坐标系下的位置信息，所述渲染模块包括：

第三获取模块，用于获取所述虚拟物体在所述图片上的位置，以得到所述虚拟物体在局部坐标系下的位置信息；

坐标转化模块，用于将所述局部坐标系转化为所述全局坐标系，以获得所述虚拟物体在所述全局坐标系下的位置信息；

渲染子模块，用于根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，将所述虚拟物体在所述图片上进行渲染。

8.根据权利要求7所述的图像处理系统，其特征在于，所述渲染子模块包括：

计算单元，用于根据所述虚拟物体在所述全局坐标系下的位置信息与所述渲染光源的位置信息之间的关系，计算出所述虚拟物体在所述渲染光源照射下的各像素点的亮度值；

渲染子单元，用于根据所述虚拟物体上各像素点的亮度值将所述虚拟物体在所述图片上进行渲染。

9.根据权利要求6所述的图像处理系统，其特征在于，所述太阳的位置信息包括太阳高度角及太阳方向角。

10.根据权利要求9所述的图像处理系统，其特征在于，所述第一获取模块包括：

第一获取子单元，获取当前的太阳赤纬角δ、太阳纬度以及太阳时角ω，以计算出所述太阳高度角h和所述太阳方向角α，

所述太阳高度角h满足，

所述太阳方向角α满足，

位置设置单元，用于将所述太阳高度角和所述太阳方向角设置为所述渲染光源的位置信息。