CN111295693B - 影像处理方法及装置 - Google Patents

Abstract

本发明公开的渲染增强现实影像的影像处理装置执行的影像处理方法，包括：从影像处理装置朝向第一方向侧获取第一现实影像的步骤；从影像处理装置朝向与第一方向不同的第二方向侧获取第二现实影像的步骤；对增强现实影像内的虚拟对象，识别对象表面的反射率的步骤；以及根据反射率，使用基于第一现实影像和第二现实影像生成的环境纹理来渲染虚拟对象的表面的步骤。

Description

影像处理方法及装置

技术领域

本发明涉及一种显示增强现实(Augmented Reality，AR)影像的方法及装置，该增强现实影像在背景影像中包含了虚拟对象。作为参考，本申请基于2017年10月31日申请的韩国专利申请(申请号10-2017-0143267)主张优先权。在本申请中，成为这种优先权的基础的该申请的全部内容作为参考文献被引用。

背景技术

增强现实技术作为一种通过在现实的背景影像中一起表达虚拟对象来提供特殊效果的技术，引起一种错觉，感觉虚拟对象存在于现实世界中。

在这种增强现实技术领域中，为了提高增强现实影像的真实感，而将现实的周边环境反映到虚拟对象上来进行渲染。作为一种用于将周边环境反映到增强现实影像中的技术有环境映射，可以用来在固定的视点容易地环视整个周边环境。所谓环境映射是通过在影像中使用纹理映射方法来给予真实感的方法，其模拟光滑的对象反射周边环境的现象。

依据现有技术，为了表达周边环境，赋予反射对象虚拟观察者的角色，并通过2D投影表达了在观察者的视点交会的环境地图的一部分。

但是，现有技术中存在一个问题，即，从用户对增强现实影像内的背景影像的视点，从用户的前面获取的现实影像利用于环境映射，所以提高增强现实影像的真实感是有局限性的。

例如，当搭载后置摄像头的移动通信终端将增强现实影像输出成画面时，仅将由后置摄像头拍摄的后方的现实影像使用为环境纹理。因此，仅有位于移动通信终端的后方的现实对象根据虚拟对象的表面反射率被投影到虚拟对象的表面上而渲染。然而，当在现实世界中用户看着具有反射表面的现实对象时，现实对象上不仅可以投影周边的事物，还可以投影用户的样子。但是，由于以往在增强现实影像内的虚拟对象的表面上未投影用户的样子，所以用户会感觉增强现实影像与现实环境不同，这成为感觉增强现实影像的真实感低的主要因素。

发明内容

依据本发明的实施例，提供一种影像处理方法及装置，其使用不仅依据根据用户视点的现实影像，还依据其它方向的现实影像的环境纹理来渲染虚拟现实影像内的虚拟对象的表面。

根据本发明的一个观点的渲染增强现实影像的影像处理装置执行的影像处理方法，包括：从上述影像处理装置朝向第一方向侧获取第一现实影像的步骤；从上述影像处理装置朝向与上述第一方向不同的第二方向侧获取第二现实影像的步骤；对上述增强现实影像内的虚拟对象，识别对象表面的反射率的步骤；以及根据上述反射率，使用基于上述第一现实影像和上述第二现实影像生成的环境纹理来渲染上述虚拟对象的表面的步骤。

根据本发明的另一观点的影像处理装置，包括：影像获取部，其从影像处理装置朝向第一方向侧获取第一现实影像，并且从上述影像处理装置朝向与上述第一方向不同的第二方向侧获取第二现实影像；存储部，其存储与增强现实影像内的虚拟对象对应的三维模型数据；以及控制部，其对上述增强现实影像内的虚拟对象，基于上述三维模型数据识别对象表面的反射率，并且根据上述反射率，使用基于上述第一现实影像和上述第二现实影像生成的环境纹理来渲染上述虚拟对象的表面。

依据本发明的实施例，使用不仅依据根据用户视点的现实影像，还依据其它方向(比如，反方向)的现实影像的环境纹理来渲染虚拟现实影像内的虚拟对象的表面。因此，具有相比于现有技术提高用户对增强现实影像感觉到的真实感的效果。

例如，当搭载后置摄像头及前置摄像头的移动通信终端将增强现实影像输出成画面时，使用不仅依据由后置摄像头拍摄的后方的现实影像，还依据由前置摄像头拍摄的前方的现实影像的环境纹理来渲染虚拟现实影像。因此，不仅是位于移动通信终端的后方的现实对象，连位于移动通信终端的前方的用户的样子也可以投影到虚拟对象的表面上而渲染。即，增强现实影像显示成接近现实环境，相应地，用户会感觉到增强现实影像的真实感强。

附图说明

图1是根据本发明一实施例的影像处理装置的方框结构图。

图2是用于说明根据本发明一实施例的影像处理装置执行的影像处理方法的一例的流程图。

图3是展示在根据本发明一实施例的影像处理装置执行的影像处理方法中渲染虚拟对象的表面的过程的一例的流程图。

图4是展示在根据本发明一实施例的影像处理装置执行的影像处理方法中设定影像连接区域的过程的一例的流程图。

图5是展示在根据本发明一实施例的影像处理装置执行的影像处理方法中设定影像连接区域的过程的另一例的流程图。

图6是用于说明根据本发明一实施例的影像处理装置执行的影像处理方法的另一例的流程图。

图7是通过根据本发明一实施例的影像处理装置执行的影像处理方法输出的虚拟现实画面的示例图。

图8和图9是用于说明在根据本发明一实施例的影像处理装置执行的影像处理方法中设定影像连接区域的过程的示例图。

图10是通过根据本发明一实施例的影像处理装置执行的影像处理方法的另一例输出的虚拟现实画面的示例图。

具体实施方式

本发明的优点及特征、还有达成其的方法，通过参照附图和之后详细说明的实施例得以明确。但是，本发明不限定于在以下公开的实施例，而是可以实现为彼此不同的多种形态，本实施例仅仅为了使本发明的公开完整，并向在本发明所属的技术领域具有一般知识的人充分告知发明的范畴而提供，本发明仅仅依据权利要求的范畴而定义。

在说明本发明的实施例时，若认为公之于众的功能或对构成的具体说明可能不必要地模糊本发明的要点，则省略详细说明。另外，后述的术语为鉴于本发明的实施例中的功能而定义的术语，其可能会根据用户、运营者的用意或惯例等而变得不同。因此，其应以本说明书的全部内容为基础来定义。

图1是根据本发明一实施例的影像处理装置的方框结构图。

如图1所示，根据一实施例的影像处理装置100包括影像获取部110、存储部120、控制部130、以及显示部140。

影像获取部110从影像处理装置100朝向第一方向侧获取第一现实影像，并且从上述影像处理装置100朝向与上述第一方向不同的第二方向侧获取第二现实影像。例如，影像获取部110可以获取彼此间为反方向的第一现实影像和第二现实影像。比如，影像处理装置100可以由具备前置摄像头和后置摄像头的智能手机实现，在这种情况下，前置摄像头和后置摄像头可以执行影像获取部110的功能。或者，影像获取部110可以包括通信接口，该通信接口可以通过与影像处理装置100分开具备的摄像头接收输入。若是这种情况，则由另外的摄像头生成第一现实影像和第二现实影像，影像获取部110则通过通信接口生成第一现实影像和第二现实影像。

存储部120在依据控制部130的运行中，存储计算机可运行指令，该计算机可运行指令执行能够控制整个影像处理过程的进程。另外，可以存储与需要在增强现实画面上显示的虚拟对象对应的三维模型数据及虚拟形象数据。并且，可以存储由影像获取部110获取的第一现实影像和第二现实影像。例如，存储部120可以包括闪存式(flash memory type)、硬盘式(hard disk type)、微型多媒体卡式(multimedia card micro type)、卡片式的存储器、随机存取存储器、只读存储器中至少一个类型的计算机可读的记录介质。

控制部130通过运行存储在存储部120的计算机可运行指令来执行控制整个增强现实显示过程的进程。依据这样的进程，对增强现实影像内的虚拟对象，识别对象表面的反射率，并且根据反射率，使用基于第一现实影像和第二现实影像生成的环境纹理来渲染虚拟对象的表面。这样的控制部130可以使虚拟对象的一部分区域投影第一现实影像，使虚拟对象的其它一部分区域投影第二现实影像。

这样的控制部130在渲染虚拟对象的表面时，将第一现实影像的至少一个边和第二现实影像的至少一个边对接，从而设定包含对接的一个边的彼此间的影像连接区域，并且对第一现实影像和第二现实影像，扩散影像连接区域的颜色。例如，控制部130可以将影像连接区域的颜色作为泊松(Poisson)方程的输入值来决定需要扩散的颜色，或者可以对影像连接区域的颜色执行模糊(Blur)运算来决定需要扩散的颜色。

另外，控制部130在设定第一现实影像和第二现实影像的影像连接区域时，可以将第一现实影像的左边或右边作为对称轴生成第一左右对称影像。接着，控制部130可以将第一现实影像的上边或下边作为对称轴生成第一上下对称影像。同时，控制部130可以将第一现实影像、第一左右对称影像、以及第一上下对称影像中的一个影像的一个边对接于第二现实影像的各边，从而设定包含第二现实影像的各边的多个影像连接区域。并且，控制部130在设定第一现实影像和第二现实影像的影像连接区域时，可以将第二现实影像的左边或右边作为对称轴生成第二左右对称影像。接着，控制部130可以将第二现实影像的上边或下边作为对称轴生成第二上下对称影像。同时，控制部130可以将第二现实影像、第二左右对称影像、以及第二上下对称影像中的一个影像的一个边对接于第一现实影像的各边，从而设定包含第一现实影像的各边的多个影像连接区域。

而且，控制部130在渲染虚拟对象的表面时，若第二现实影像内的现实对象中包含脸部对象，则生成将与脸部对象对应的虚拟形象叠加在第二现实影像上来渲染的现实变形影像，并且还可以将第一现实影像和现实变形影像作为环境纹理来使用。例如，控制部130可以包括处理器，如CPU(Central Processing Unit)或GPU(Graphics Processing Unit)等。

显示部140根据依据由控制部130执行的进程的结果的控制信号，显示包含渲染的虚拟对象的增强现实画面。这样的显示部140不包括在影像处理装置100，可以作为另外的装置实现，因此用虚线标示。例如，输出部140可以包括平板显示元件，如LCD(LiquidCrystal Display)等。

图2是用于说明根据本发明一实施例的影像处理装置执行的影像处理方法的一例的流程图。

如图2所示，根据一实施例的影像处理方法，包括从影像处理装置朝向第一方向侧获取第一现实影像，并且从影像处理装置朝向与第一方向不同的第二方向侧获取第二现实影像的步骤(S210)。另外，根据一实施例的影像处理方法，还包括对增强现实影像内的虚拟对象，识别对象表面的反射率的步骤(S220)。同时，根据一实施例的影像处理方法，还包括根据识别的反射率，使用基于第一现实影像和第二现实影像生成的环境纹理来渲染虚拟对象的表面的步骤(S230)。

图3是展示在根据本发明一实施例的影像处理装置执行的影像处理方法中渲染虚拟对象的表面的过程的一例的流程图。

如图3所示，在根据一实施例的影像处理方法中，渲染虚拟对象的表面的过程，包括将第一现实影像的至少一个边和第二现实影像的至少一个边对接，从而设定包含对接的一个边的彼此间的影像连接区域的步骤(S310)。另外，在根据一实施例的影像处理方法中，渲染虚拟对象的表面的过程，还包括对第一现实影像和第二现实影像，扩散影像连接区域的颜色的步骤(S320)。

图4是展示在根据本发明一实施例的影像处理装置执行的影像处理方法中设定影像连接区域的过程的一例的流程图。

如图4所示，在根据一实施例的影像处理方法中，设定影像连接区域的过程，包括将第一现实影像的左边或右边作为对称轴生成第一左右对称影像的步骤(S410)。另外，在根据一实施例的影像处理方法中，设定影像连接区域的过程，还包括将第一现实影像的上边或下边作为对称轴生成第一上下对称影像的步骤(S420)。同时，在根据一实施例的影像处理方法中，设定影像连接区域的过程，还包括将第一现实影像、第一左右对称影像、以及第一上下对称影像中的一个影像的一个边对接于第二现实影像的各边，从而设定包含第二现实影像的各边的多个影像连接区域的步骤(S430)。

图5是展示在根据本发明一实施例的影像处理装置执行的影像处理方法中设定影像连接区域的过程的另一例的流程图。

如图5所示，在根据一实施例的影像处理方法中，设定影像连接区域的过程，包括将第二现实影像的左边或右边作为对称轴生成第二左右对称影像的步骤(S510)。另外，在根据一实施例的影像处理方法中，设定影像连接区域的过程，还包括将第二现实影像的上边或下边作为对称轴生成第二上下对称影像的步骤(S520)。同时，在根据一实施例的影像处理方法中，设定影像连接区域的过程，还包括将第二现实影像、第二左右对称影像、以及第二上下对称影像中的一个影像的一个边对接于第一现实影像的各边，从而设定包含第一现实影像的各边的多个影像连接区域的步骤(S530)。

以下，参照图1至图5更详细地分析根据本发明一实施例的影像处理装置100执行的影像处理方法。

首先，影像获取部110从影像处理装置100朝向第一方向侧获取第一现实影像，并且从上述影像处理装置100朝向与上述第一方向不同的第二方向侧获取第二现实影像。例如，若是由具备前置摄像头和后置摄像头的智能手机实现影像处理装置100，则可以驱动后置摄像头获取第一现实影像，驱动前置摄像头朝向第一现实影像的反方向获取第二现实影像(S210)。

另外，控制部130对需要在虚拟现实影像内包含的虚拟对象，识别对象表面的反射率。例如，可以在存储在存储部120的对虚拟对象的三维模型数据中包含关于对象表面的反射率的信息，在这种情况下，控制部130可以从三维模型数据获取关于对象表面的反射率的信息。同时，控制部130事先机器学习包括关于虚拟对象的信息和关于虚拟对象的表面反射率的信息的大数据，并且可以基于机器学习对象表面的反射率的结果来推论出需要在虚拟现实影像内包含的虚拟对象的反射率。在这种情况下，可以提供一种附加功能，即，将关于对象表面的反射率的信息提供给用户，使用户可以确认依据机器学习推论出的反射率是否正确，并且若推论有误则用户可以直接修改推论结果(S220)。

此后，控制部130根据在步骤S220中识别的对象表面的反射率，使用基于第一现实影像和第二现实影像生成的环境纹理来渲染虚拟对象的表面。例如，若获取如图7的(a)所示的第一现实影像，并且如图7的(b)所示获取第二现实影像，再使用基于(a)和(b)生成的环境纹理，则如图7的(c)所示，在虚拟对象表面上，一部分区域投影第一现实影像，虚拟对象的其它一部分区域投影第二现实影像。此时，若虚拟对象为球形，则控制部130可以使边缘区域投影第一现实影像，使中央区域投影第二现实影像(S230)。

另一方面，若第一现实影像的颜色和第二现实影像的颜色呈现差异，且达到虚拟对象的一部分区域投影的第一现实影像和其它一部分区域投影的第二现实影像之间出现分界线的程度，则由于与现实境况中的反射现场不同，用户可能感觉增强现实影像的真实感低。因此，有必要对需要投影到虚拟对象的表面上的第一现实影像和第二现实影像设定彼此间的影像连接区域，并且在这样设定的影像连接区域中使第一现实影像和第二现实影像自然融合。为此，首先对第一现实影像和第二现实影像设定彼此间的影像连接区域，如图4及图5所示，可以对第一现实影像和第二现实影像分别设定影像连接区域。

参照图4及图8，将第一现实影像701的左边或右边作为对称轴生成第一左右对称影像703(S410)。另外，将第一现实影像701的上边或下边作为对称轴生成第一上下对称影像704(S420)。同时，将第一现实影像701、第一左右对称影像703、以及第一上下对称影像704中的一个影像的一个边对接于第二现实影像702的各边，从而设定包含第二现实影像702的各边的多个影像连接区域705(S430)。

参照图5及图9，将第二现实影像702的左边或右边作为对称轴生成第二左右对称影像706(S510)。另外，将第二现实影像702的上边或下边作为对称轴生成第二上下对称影像707(S520)。同时，将第二现实影像702、第二左右对称影像706、以及第二上下对称影像707中的一个影像的一个边对接于第一现实影像701的各边，从而设定包含第一现实影像701的各边的多个影像连接区域705(S530)。

由此，将第一现实影像701的至少一个边和第二现实影像702的至少一个边对接，从而设定包含对接的一个边的彼此间的影像连接区域705(S310)。

在此情况下，控制部130对第一现实影像701和第二现实影像702执行扩散影像连接区域705的颜色的处理。此时，控制部130影像连接区域705的颜色作为泊松(Poisson)方程的输入值来决定需要扩散的颜色，或者可以对影像连接区域705的颜色执行模糊(Blur)运算来决定需要扩散的颜色(S320)。

像这样，通过步骤S320获取已扩散处理影像连接区域705的颜色的第一现实影像701和第二现实影像702，控制部130根据在步骤S220中识别的对象表面的反射率，使用基于第一现实影像701和第二现实影像702生成的环境纹理来渲染虚拟对象的表面，显示部140依据控制部130显示包含渲染的虚拟对象的增强现实画面。在此情况下，因为虚拟对象的一部分区域投影的第一现实影像701和其它一部分区域投影的第二现实影像702之间的颜色已被扩散处理，所以不会出现分界线，相应地，会提高增强现实影像的真实感。

图6是用于说明根据本发明一实施例的影像处理装置执行的影像处理方法的另一例的流程图。

如图6所示，根据另一实施例的影像处理方法，包括从影像处理装置朝向第一方向侧获取第一现实影像，并且从影像处理装置朝向与第一方向不同的第二方向侧获取第二现实影像的步骤(S610)。另外，根据另一实施例的影像处理方法，还包括对增强现实影像内的虚拟对象，识别对象表面的反射率的步骤(S620)。同时，根据另一实施例的影像处理方法，还包括若第二现实影像内的现实对象中包含脸部对象，则生成将与脸部对象对应的虚拟形象叠加在第二现实影像上来渲染的现实变形影像的步骤(S630、S640)。另外，根据另一实施例的影像处理方法，还包括根据识别的反射率，使用基于第一现实影像和第二现实影像生成的环境纹理，或使用依据第一现实影像和现实变形影像的环境纹理来渲染虚拟对象的表面的步骤(S650、S660)。

若将这样的图6和之前说明的图2进行比较，则图2的步骤S210与图6的步骤S610对应，图2的步骤S220与图6的步骤S620对应，图2的步骤S230与图6的步骤S660对应。对此，省略重复的说明。

在这样的图6的实施例中，若从步骤S610中获取的第二现实影像内的现实对象中包含脸部对象，则将脸部对象换成虚拟形象来进行渲染，从而使虚拟形象出现在虚拟对象的表面上。例如，若是由具备前置摄像头和后置摄像头的智能手机实现影像处理装置100，则可以驱动后置摄像头获取第一现实影像，驱动前置摄像头朝向第一现实影像的反方向获取第二现实影像，且在第二现实影像中包含智能手机用户的脸部。在这种情况下，在智能手机的画面显示的虚拟现实画面内的虚拟对象表面上不显示用户的脸部，而是显示事先设定的虚拟形象。

参照图6及图10，在步骤S610中可以影像获取部110实现的智能手机801可以后置摄像头获取第一现实影像802，可以驱动前置摄像头获取第二现实影像803。

在此情况下，控制部130确认在第二现实影像803内的现实对象中是否包含脸部对象(S630)。例如，控制部130可以运用公之于众的轮廓查找方式等来识别脸部对象。

在此，若确认第二现实影像803内包含脸部对象，则控制部130读取存储在存储部120的虚拟形象数据并叠加到第二现实影像803上，从而生成脸部对象被虚拟形象804遮盖的现实变形影像(S640)。

另外，控制部130根据在步骤S620中识别的反射率，使用依据第一现实影像802和现实变形影像的环境纹理来渲染虚拟对象的表面，显示部140显示包含由控制部130渲染在球形虚拟对象的表面上的虚拟形象804的增强现实画面805(S650)。在图10中，附图符号806为仅将第一现实影像802反射到球形虚拟对象上时的虚拟现实画面，附图符号807为仅将从第二现实影像803生成的现实变形影像反射到球形虚拟对象上时的虚拟现实画面。

如目前为止的说明，依据本发明的实施例，使用不仅依据根据用户视点的现实影像，还依据其它方向(比如，反方向)的现实影像的环境纹理来渲染虚拟现实影像内的虚拟对象的表面。因此，相比于现有技术提高用户对增强现实影像感觉到的真实感。

例如，当搭载后置摄像头及前置摄像头的移动通信终端将增强现实影像输出成画面时，使用不仅依据由后置摄像头拍摄的后方的现实影像，还依据由前置摄像头拍摄的前方的现实影像的环境纹理来渲染虚拟现实影像。因此，不仅是位于移动通信终端的后方的现实对象，连位于移动通信终端的前方的用户的样子也可以投影到虚拟对象的表面上而渲染。即，增强现实影像显示成接近现实环境，相应地，用户会感觉到增强现实影像的真实感强。

本发明中附加的方框图的各方框和流程图的各步骤的组合，可以通过计算机程序指令执行。因为这些计算机程序指令可以搭载在通用计算机、专用计算机或其它可编程的数据处理设备的处理器中，所以通过计算机或其它可编程的数据处理设备的处理器执行的那些指令会生成机构，该机构执行方框图的各方框或流程图的各步骤中所说明的功能。因为这些计算机程序指令为了用特定方式实现功能，还能够存储在可以适于计算机或其它可编程的数据处理设备的计算机可用或计算机可读记录介质中，所以那些存储在计算机可用或计算机可读记录介质中的指令，还能够生成内含执行方框图的各方框或流程图各步骤中所说明的功能的指令机构的制造清单。因为计算机程序指令还能够搭载在计算机或其它可编程的数据处理设备上，所以在计算机或其它可编程的数据处理设备上执行一系列的运作步骤，从而生成用计算机运行的进程，因而通过计算机或其它可编程的数据处理设备执行的指令，还能够提供用于运行方框图的各方框及流程图的各步骤中所说明的功能的步骤。

而且，各方框或各步骤可以表示包含一个以上指令的模块、节段或代码的一部分，该指令用于运行特定的逻辑功能。并且，应注意的是，在几种替代实施例中方框或步骤中所提及的功能可以乱序执行。比如，相继图示的两个方框或步骤，实际上也可以同时执行，或者也可以根据符合的功能倒序执行那些方框或步骤。

以上的说明不过是示例性说明本发明的技术思想，在本发明所属的技术领域中具有一般知识的人能够在不脱离本发明的本质特征的范围内进行多种修改及变形。因此，本发明所公开的实施例不是用于限定本发明的技术思想的，而是用于进行说明的，本发明的技术思想的范围不被这样的实施例所限定。本发明的保护范围应依据以下的请求范围来解释，应解释为在与其等同的范围内的所有技术思想包含于本发明的权利范围。

工业上的可利用性

根据本发明的实施例，使用不仅依据根据用户视点的现实影像，还依据其它方向(比如，反方向)的现实影像的环境纹理来渲染虚拟现实影像内的虚拟对象的表面。

这样的本发明可以在采用通过在现实的背景影像内一同表达虚拟对象来提供特殊效果的增强现实设备的各种增强现实产业领域中广泛利用。

Claims (10)

1.一种影像处理方法，由渲染增强现实影像的影像处理装置执行，其中，包括：

从所述影像处理装置朝向第一方向侧获取第一现实影像的步骤；

从所述影像处理装置朝向与所述第一方向不同的第二方向侧获取第二现实影像的步骤；

对所述增强现实影像内的虚拟对象，识别对象表面的反射率的步骤；以及

根据所述反射率，使用环境纹理渲染所述虚拟对象的表面的步骤，所述环境纹理通过(i)将所述第一现实影像投影至所述虚拟对象的中央区域上以及(ii)将所述第二现实影像投影至所述虚拟对象的边缘区域上来生成。

2.根据权利要求1所述的影像处理方法，其中，

所述第一方向和所述第二方向互为反方向。

3.根据权利要求1所述的影像处理方法，其中，

在渲染所述虚拟对象的表面的步骤中，在所述虚拟对象的一部分区域投影所述第一现实影像，在所述虚拟对象的其它一部分区域投影所述第二现实影像。

4.根据权利要求3所述的影像处理方法，其中，

渲染所述虚拟对象的表面的步骤还包括：

将所述第一现实影像的至少一个边和所述第二现实影像的至少一个边对接，来设定包含对接的多个边的影像连接区域的步骤；以及

对所述第一现实影像和所述第二现实影像，扩散所述影像连接区域的颜色的步骤。

5.根据权利要求4所述的影像处理方法，其中，

在扩散所述颜色的步骤中，将所述影像连接区域的颜色作为泊松方程的输入值来决定需要扩散的颜色，或者对所述影像连接区域的颜色执行模糊运算来决定需要扩散的颜色。

6.根据权利要求4所述的影像处理方法，其中，

设定所述影像连接区域的步骤包括：

将所述第一现实影像的左边或右边作为对称轴生成第一左右对称影像的步骤；

将所述第一现实影像的上边或下边作为对称轴生成第一上下对称影像的步骤；以及

在所述第二现实影像的各边对接所述第一现实影像、所述第一左右对称影像、以及所述第一上下对称影像中的一个影像的一个边，来设定包含所述第二现实影像的各边的多个所述影像连接区域的步骤。

7.根据权利要求4所述的影像处理方法，其中，

设定所述影像连接区域的步骤包括：

将所述第二现实影像的左边或右边作为对称轴生成第二左右对称影像的步骤；

将所述第二现实影像的上边或下边作为对称轴生成第二上下对称影像步骤；以及

在所述第一现实影像的各边对接所述第二现实影像、所述第二左右对称影像、以及所述第二上下对称影像中的一个影像的一个边，来设定包含所述第一现实影像的各边的多个所述影像连接区域的步骤。

8.根据权利要求1所述的影像处理方法，其中，

渲染所述虚拟对象的表面的步骤还包括：

在所述第二现实影像内的现实对象中包含脸部对象的情况下，生成将与所述脸部对象对应的虚拟形象叠加在所述第二现实影像上来渲染的现实变形影像的步骤；以及

将所述第一现实影像和所述现实变形影像作为所述环境纹理来使用的步骤。

9.一种计算机可读记录介质，记录有包含指令的计算机程序，其中，

该指令执行根据权利要求1至8中的任一项中所述的影像处理方法的各步骤。

10.一种影像处理装置，

包括：

影像获取部，从影像处理装置朝向第一方向侧获取第一现实影像，并且从所述影像处理装置朝向与所述第一方向不同的第二方向侧获取第二现实影像；

存储部，其存储与增强现实影像内的虚拟对象对应的三维模型数据；以及

控制部，其对所述增强现实影像内的虚拟对象，基于所述三维模型数据识别对象表面的反射率，并且根据所述反射率，使用环境纹理渲染所述虚拟对象的表面，所述环境纹理通过(i)将所述第一现实影像投影至所述虚拟对象的中央区域上以及(ii)将所述第二现实影像投影至所述虚拟对象的边缘区域上来生成。