CN111754398A - 利用图像拼接技术生成虚拟现实图像的方法和装置 - Google Patents

Abstract

一种操作终端的方法，所述终端执行图像拼接以在运载工具内部生成虚拟现实图像，可以包括获得包括第一图像和第二图像的多个图像；基于第一图像和第二图像生成校正后的第一图像和校正后的第二图像；在校正后的第一图像中设置拼接区域，该拼接区域是预设区域且包括多个像素，并获得拼接区域中包括的多个像素的信息；基于在拼接区域中包括的多个像素的信息，从校正后的第二图像中搜索与拼接区域对应的区域；将校正后的第二图像的除对应区域之外的区域拼接到校正后的第一图像上。

Description

利用图像拼接技术生成虚拟现实图像的方法和装置

相关申请的交叉引用

本申请要求于2019年3月27日向韩国知识产权局(KIPO)提交的申请号为10-2019-0035186的韩国专利申请的优先权，其全部内容通过引用合并于此。

技术领域

本发明的示例性实施例总体上涉及一种拼接图像的方法，并且更具体地涉及一种通过校正多个获得的图像之间的边界表面的颜色信息并基于校正后的颜色信息拼接图像来在运载工具内部生成虚拟现实(VR)图像的方法。

背景技术

虚拟现实(VR)指的是用户与设备之间的接口，该接口使得使用由计算机创建的特定环境或情境的人能感觉到他/她好像正在与真实环境和情境进行交互。VR技术允许用户通过操纵的感官刺激来感觉真实感，并且可以用于许多工业领域例如游戏领域、教育领域、医学领域和新闻业。

近来，随着人们对VR的兴趣增加，已经积极地进行了用于实现VR的技术的开发。特别地，已经积极地进行了对用于处理构成实现VR所需的虚拟空间的图像的技术的研究。随着与VR图像相关的技术的发展，用户可以通过全景图像观看360度视频以及平面视频。

全景图像可以指这样的图像，在其中多个图像水平地组合(左侧和右侧)以覆盖180至360度的水平视角。360度图像可以指可以覆盖用户周围的所有上、下、左和右侧的图像，并且通常可以通过将多个图像放置在球体或墨卡托(Mercator)上来获得。

然而，为了获得这样的全景图像或360度图像，需要专用装备。近来，已经进行了一种试验，其中用户直接携带移动终端(例如，智能手机)，将移动终端围绕用户旋转以获得多张图片，并对获得的图片进行匹配以生成匹配的图像(例如，全景图像或360度图像)。

然而，在这种情况下，多张图片中的每张的视角或拍摄方向不准确，因此不仅需要花费大量时间来拼接图像，而且拼接的准确性也低。

发明内容

因此，提供本发明的示例性实施例，以基本上消除由于背景技术的限制和缺点而导致的一个或多个问题。

本发明的示例性实施例提供了一种用于基于亮度信息来校正在房间内捕获的每个图像并且基于校正后的图像的颜色信息来拼接图像的方法和装置。

根据本公开的示例性实施例，一种操作执行图像拼接的终端的方法可以包括：获得包括第一图像和第二图像的多个图像；基于第一图像和第二图像生成校正后的第一图像和校正后的第二图像；在校正后的第一图像中设置拼接区域，该拼接区域是预设区域且包括多个像素，并且获得关于拼接区域中包括的多个像素的信息；基于关于拼接区域中包括的多个像素的信息，从校正后的第二图像中搜索与拼接区域对应的区域；以及将校正后的第二图像的除了对应区域之外的区域拼接到校正后的第一图像上。

多个图像可以是由鱼眼镜头捕获的图像，并且生成校正后的第一图像和校正后的第二图像可以包括校正在第一图像和第二图像中包括的像素的颜色信息。

从校正后的第二图像中搜索与拼接区域对应的区域可以包括：从校正后的第二图像中搜索如下区域，在该区域中，与在拼接区域中包括的像素的颜色信息对应的像素比率超过预设范围。

从校正后的第二图像中搜索与拼接区域对应的区域可以包括：从校正后的第二图像中搜索如下区域，该区域包括具有与在第一图像的预设区域中包括的像素相比的误差率不超过预设范围的颜色信息的像素。

该方法还可以包括：在从校正后的第二图像中搜索与拼接区域对应的区域之后，计算第一图像的预设区域中包括的像素的颜色信息与在第二图像的要重叠的区域中包括的像素的颜色信息之间的误差率的平均；以及基于误差率的平均值来校正第二图像的颜色。

该方法还可以包括：当从校正后的第二图像中搜索与拼接区域对应的区域时没有搜索到对应区域时，获得第三图像；基于第三图像生成校正后的第三图像；基于校正后的第一图像的预设区域上的像素信息，从校正后的第三图像中搜索与拼接区域对应的区域；以及将校正后的第三图像的除对应区域之外的区域拼接到校正后的第一图像上。

第三图像可以是在捕获第一图像的相机的位置与捕获第二图像的相机的位置之间的位置捕获的图像。

根据本公开的另一示例性实施例，用于执行图像拼接以在运载工具(vehicle)内部生成虚拟现实(VR)图像的终端可以包括处理器；以及储存要由处理器执行的至少一个命令的存储器，其中，执行至少一个命令以：获得包括第一图像和第二图像的多个图像；以及基于第一图像和第二图像生成校正后的第一图像和校正后的第二图像；在校正后的第一图像中设置拼接区域，该拼接区域是预设区域且包括多个像素；获得在关于接区域中包括的多个像素的信息；基于关于拼接区域中包括的多个像素的信息，从校正后的第二图像中搜索与拼接区域对应的区域；以及将校正后的第二图像的除对应区域之外的区域拼接到校正后的第一图像上。

多个图像可以是由鱼眼镜头捕获的图像，并且可以进一步执行至少一个命令以校正在第一图像和第二图像中包括的像素的颜色。

可以执行至少一个命令以从校正后的第二图像中搜索如下区域：该区域中，与在拼接区域中包括的像素的颜色信息对应的像素比率超过预设范围。

可以执行至少一个命令以从校正后的第二图像中搜索如下区域：该区域包括具有与在第一图像的预设区域中包括的像素相比的误差率不超过预设范围的颜色信息的像素。

还可以执行所述至少一个命令，以：在被执行以从校正后的第二图像中搜索与所述拼接区域对应的区域之后，计算在第一图像的预设区域中包括的像素的颜色信息与在第二图像的待重叠区域中包括的像素的颜色信息之间的误差率的平均；并基于所述误差率的平均来校正第二图像的颜色。

还可以执行至少一个命令，以：当未从校正后的第二图像中搜索到对应区域时，获得第三图像；基于第三图像生成校正后的第三图像；基于校正后的第一图像的预设区域的像素信息，从校正后的第三图像中搜索与拼接区域对应的区域；以及将校正后的第三图像的除对应区域之外的区域拼接到校正后的第一图像上。

第三图像可以是在捕获第一图像的相机的位置与捕获第二图像的相机的位置之间的位置捕获的图像。

根据本发明，通过根据基于在图像中包括的像素的亮度信息校正的图像的颜色信息来拼接多个图像，可以平滑地拼接多个图像。

附图说明

通过参考附图详细描述本公开的实施例，本公开的示例性实施例将变得更加清楚，其中：

图1是示出终端的结构的第一示例实施例的框图；

图2是示出终端的图像拼接操作的一个示例实施例的流程图；

图3是示出执行终端的图像校正操作的结果的一个示例实施例的概念图；

图4是示出第一图像、第二图像和拼接图像的一个示例实施例的概念图；

图5是示出终端的图像拼接操作的第二示例实施例的流程图；

图6是示出在房间内捕获第一图像和第二图像的结果的一个示例实施例的框图；

图7是示出在房间内捕获第一图像、第二图像和第三图像的结果的一个示例实施例的框图；和

图8是示出第一图像、第二图像、第三图像和拼接图像的一个示例实施例的概念图。

应该理解的是，以上参考的附图不一定按比例绘制，呈现了示出本公开的基本原理的各种优选特征的稍微简化的表示。本公开的特定设计特征，包括例如特定尺寸、方向、位置和形状，将部分地由特定意图的应用和使用环境来确定。

具体实施方式

在此公开了本公开的实施例。然而，出于描述本公开的实施例的目的，在此公开的特定结构和功能细节仅是代表性的。因此，本公开的实施例可以以许多替代形式来体现，并且不应被解释为限于这里阐述的本公开的实施例。

因此，尽管本公开能够进行各种修改和替代形式，但是在附图中以示例的方式示出了本公开的具体实施例，并且在此将对其进行详细描述。然而，应该理解，无意将本公开限制为所公开的特定形式，而是相反，本公开将覆盖落入本发明的精神和范围内的所有修改、等价和替代形式。在整个附图的描述中，相同的标号表示相同的元件。

将被理解的是，尽管本文可以使用术语第一、第二等来描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于识别一个元件和另一个元件。例如，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件，不脱离本公开的范围。如本文所使用的，术语“和/或”包括一个或多个相关联列出的项目的任何和所有组合。

将被理解的是，当一个元件被称为“连接”或“耦接”到另一个元件时，它可以直接连接或耦接到另一个元件，或者可以存在中间元件。相反，当一个元件被称为“直接连接”或“直接耦接”至另一元件时，则不存在中间元件。应该以类似的方式来解释用于描述元件之间的关系的其他词语(即，“在......之间”与“直接在......之间”，“相邻”与“直接相邻”等)。

在此使用的术语仅出于描述特定实施例的目的，并且无意于限制本公开。如在此所使用的，单数形式“一”、“所述”和“该”也意图包括复数形式，除非上下文另外明确指出。将被进一步理解的是，当在本文中使用时，术语“包括”、“包括着”、“包含”和/或“包含着”指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或增加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合。

除非另有定义，否则本文中使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常所理解的相同含义。将被进一步理解的是，诸如在常用词典中定义的那些术语应被解释为具有与其在相关技术的上下文中的含义一致的含义，并且除非在此明确定义否则将不被理想化或过度形式化地解释。

在下文中，将参照附图更详细地描述本公开的示例性实施例。为了方便在描述本公开内容时的一般理解，附图中的相同部件用相同的附图标记表示，并且将省略其重复描述。

图1是示出终端的结构的第一示例实施例的框图。

参照图1，终端可以包括相机110、处理器120、显示器130和存储器140。相机110可以包括图像传感器111、缓冲器112、预处理模块113、尺寸调整器(resizer)114和控制器115。相机110可以获得外部区域的图像。相机110可以将由图像传感器111生成的原始数据储存在相机的缓冲器112中。原始数据可以由相机110中的控制器115或处理器120处理。可以将处理后的数据发送到存储器140或编码器123。可替代地，可以处理原始数据，然后将其储存在缓冲器112，并从缓冲器112发送到存储器140或编码器123。相机110可以包括鱼眼镜头，并且由相机110获得的图像可以是等矩形图像、全景图像、圆形鱼眼图像、球形图像、或一部分的三维(3D)图像。

图像传感器111可以通过感测从外部入射的光来收集原始数据。图像传感器111可以包括例如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器或红外(IR)光传感器中的至少一种。图像传感器111可以由控制器115控制。

预处理模块113可以将图像传感器111获得的原始数据转换为颜色空间格式。颜色空间可以是YUV颜色空间、红绿蓝(RGB)颜色空间和红绿蓝alpha(RGBA)颜色空间之一。预处理模块113可以将转换为颜色空间格式的数据发送到缓冲器112或处理器120。

预处理模块113可以校正在所接收的原始数据中包括的图像的错误或失真。另外，预处理模块113可以调整在原始数据中包括的图像的颜色或尺寸。预处理模块113可以执行例如坏像素校正(BPC)、镜头阴影、去马赛克、白平衡(WB)、伽马校正、颜色空间转换(CSC)、HSC(色相、饱和度、和对比度)改进、尺寸转换、过滤和图像分析当中的至少一种操作。

终端的处理器120可以包括管理模块121、图像处理模块122、编码器123和合成模块124。管理模块121、图像处理模块122、编码器123和合成模块124可以是在处理器120中包括的硬件模块，并且可以是可以由处理器120执行的软件模块。参照图1，管理模块121、图像处理模块122、编码器123和合成模块124被示例为包括在处理器120中，但是本发明不限于此。管理模块121、图像处理模块122、编码器123和合成模块124的某些部分可以被实现为与处理器120分离的模块。

根据一个示例实施例，管理模块121可以控制在终端中包括的相机110。管理模块121可以控制相机110的初始化、电源输入模式和操作。此外，管理模块121可以控制在相机110中包括的缓冲器112的图像的处理、捕获图像处理、以及图像的尺寸等的操作。

管理模块121可以控制第一电子设备(未示出)以调整自动对焦、自动曝光、分辨率、比特率、帧速率、相机电源模式、垂直消隐间隔(VBI)、变焦(zoom)、伽玛或白平衡等等。管理模块121可以将获得的图像发送到图像处理模块122，并且控制图像处理模块122来执行处理。

管理模块121可以将获得的图像发送到编码器123。另外，管理模块121可以控制编码器123对获得的图像进行编码。管理模块121可以将多个图像发送到合成模块124，并且控制合成模块124以合成多个图像。

图像处理模块122可以从管理模块121获得图像。图像处理模块122可以执行处理所获得的图像的操作。具体地，图像处理模块122可以执行获得的图像的降噪、滤波、图像合成、颜色校正、颜色转换、图像变换、3D建模、图像绘制、增强现实(AR)/虚拟现实(VR)处理、动态范围调整、透视调整、剪切、调整尺寸、边缘提取、确定感兴趣区域(ROI)、图像匹配和/或图像分割。图像处理模块122可以基于深度执行诸如合成多个图像、生成立体图像或全景图像的处理。

合成模块124可以合成图像。合成模块124可以执行图像的合成、透明度处理、以及层处理等。合成模块124还可以拼接多个图像。例如，合成模块124可以拼接由相机110获得的多个图像，并且还可以拼接从分离的设备接收的多个图像。合成模块124可以被包括在图像处理模块122中。

图2是示出了终端的图像拼接操作的一个示例实施例的流程图。

参照图2，终端100可以通过相机110设备获得包括第一图像和第二图像的多个图像。可替代地，终端可以从终端外部的相机设备获得第一图像和第二图像(S210)。终端可以基于预设算法来校正多个获得的图像，以获得校正后的图像(S220)。

图3是示出了执行终端的图像校正操作的结果的一个示例实施例的概念图。

参照图3，终端可以获得第一图像311和第二图像312。例如，终端可以获得如图3所示的由鱼眼镜头捕获的图像311和312。第一图像311和第二图像312可以是圆形图像。尽管在图3中示出第一图像311和第二图像312为圆形图像，但是第一图像311和第二图像312也可以是投影到矩形区域上的矩形图像。当终端中包括的相机的视角大于或等于180°时，第一图像311的部分区域和第二图像312的部分区域可以是包括相同对象的图像的区域。终端可以处理第一图像311和第二图像312以生成校正后的第一图像321和校正后的第二图像322(S220)。

终端可以拼接第一图像311和第二图像312，以生成用于将第一图像311和第二图像312映射到球形虚拟模型的全向图像。例如，全向图像可以是矩形图像和用于六面体映射的图像。

具体地，终端100可以获得第一图像311和第二图像312各自的外围区域的图像。终端可以对与外围区域对应的图像执行图像处理操作。

终端可以获得与多个图像中的每个图像的除外围区域之外的中心区域对应的图像。当第一图像311和第二图像312被拼接以生成全向图像时，第一图像311的部分区域和第二图像312的部分区域可以彼此重叠。为了生成全向图像，终端可以使用诸如关键点检测技术、对准技术或混合技术的各种技术对第一图像311的部分区域和第二图像312的部分区域执行图像处理。

根据一个示例实施例，终端可以调整与第一图像和第二图像的外围区域712和722对应的图像的分辨率或与第一图像和第二图像的中心区域711和721对应的图像的分辨率，使得对应于外围区域712和722的图像的分辨率大于对应于中心区域711和721的图像的分辨率。例如，当外围区域712和722的分辨率低并且因此难以执行拼接时，第一电子设备或第二电子设备可以执行处理，以增加外围区域712和722的分辨率。

根据一个示例实施例，终端可以调整与第一图像和第二图像的外围区域对应的图像的帧速率或与第一图像和第二图像的中心区域对应的图像的帧速率，使得与外围区域对应的图像的帧速率小于与中心区域对应的图像的帧速率。例如，当相机或对象的移动很小时，终端可以减小第一图像和第二图像的每个图像的部分区域的帧速率以减少计算量。例如，当第一图像311的中心区域的对象移动、而第一图像的外围区域的对象不移动时，终端可以降低第一图像的外围区域的帧速率。

终端可以根据调整后的帧速率对第一图像和第二图像进行编码。例如，第一电子设备或第二电子设备可以以相对高的帧速率对第一图像和第二图像的中心区域711和721进行编码，并以相对低的帧速率对第一图像和第二图像的外围区域712和722进行编码，以生成校正后的第一图像和校正后的第二图像(S220)。

终端可以获得关于多个图像中的每个图像的外围区域的亮度信息。终端可以基于第一图像和第二图像中的每个图像的亮度信息来校正第一图像和第二图像，以生成校正后的图像(S220)。

再次参照图2，终端可以将校正后的第一图像的一个端部处的预设范围的区域设置为第一拼接区域(S230)。终端可以获得在第一拼接区域中包括的多个像素的信息。例如，终端可以获得在第一拼接区域中包括的多个像素中的每个像素的像素ID、或颜色信息等。

终端可以在校正后的第二图像当中搜索与第一图像的第一拼接区域对应的区域(S240)。与第一拼接区域对应的区域可以被定义为第二拼接区域。终端可以基于在第一拼接区域中包括的多个像素的信息而在第二图像当中搜索第二拼接区域(S240)。

图4是示出第一图像、第二图像和拼接图像的一个示例实施例的概念图。

参照图4，第一图像410的第一拼接区域413可以位于第一图像410的右侧的一端。第一图像的拼接区域可以包括多个像素413-1、…...、和413-8。另外，第二图像420可以包括与第一图像的第一拼接区域413对应的第二拼接区域421。第二拼接区域421可以位于第二图像420的左侧的一端。第二拼接区域421可以包括多个像素421-1、......、和421-8。在第二拼接区域中包括的多个像素421-1、......、和421-8的数量可以等于在第一图像的拼接区域413中包括的像素413-1、......、和413-8的数量。

为了从是校正后的图像的第二图像420中搜索与第一图像410的第一拼接区域413对应的区域，终端可以搜索其中与在第一拼接区域413中包括的像素的颜色信息对应的像素的比率超过预设范围的区域(S240)。

具体地，终端可以将在第一图像的拼接区域中包括的像素的颜色信息与第二图像的像素的颜色信息进行比较。例如，终端可以将第一图像的拼接区域的第一像素413-1的颜色信息与第二图像的像素421-1的颜色信息进行比较，并且将第一图像的拼接区域的第八像素413-8的颜色信息与第二图像的像素421-8的颜色信息进行比较。终端可以确定在第二图像中包括的区域的像素的颜色信息是否与在第一图像的拼接区域中包括的像素的颜色信息匹配。

终端可以计算在第二图像420中包括的区域的像素信息与在第一图像410中包括的拼接区域413的像素信息之间的匹配率。另外，当在第二图像420中包括的区域的像素信息与在第一图像410中包括的拼接区域413的像素信息之间的匹配率超过预设范围时，终端可以将在第二图像420中包括的区域确定为与第一图像410的第一拼接区域413对应的第二拼接区域421(S240)。

例如，当在第二图像420的部分区域中包括的至少90％的像素的颜色信息与在第一图像的拼接区域中包括的像素的颜色信息匹配时，终端可以将第二图像的该部分区域确定为与拼接区域对应的区域(S240)。

可替代地，为了从校正后的第二图像420中搜索与第一图像410的第一拼接区域413对应的区域，终端可以搜索包括具有误差率不超过预设范围的颜色信息的像素的区域(S240)。

具体地，终端可以将在第一图像410的第一拼接区域413中包括的像素的颜色信息与第二图像420的像素的颜色信息进行比较。例如，终端可以将第一图像410的第一拼接区域413的第一像素413-1的颜色信息与第二图像的像素421-1的颜色信息进行比较，并将拼接区域的第八像素413-8的颜色信息与第二图像的像素421-8的颜色信息进行比较。终端可以计算在第二图像中包括的每个像素的误差率。

终端可以计算第二图像420的部分区域中包括的每个像素的误差率。此外，当在第二图像420的部分区域中包括的像素的误差率在预设范围内时，终端可以将第二图像420的部分区域确定为与第一图像410的第一拼接区域413对应的第二拼接区域421(S240)。

例如，当在第二图像420的部分区域中包括的所有像素的误差率都在10％以内时，终端可以将第二图像420的部分区域确定为与第一图像410的第一拼接区域413对应的第二拼接区域421(S240)。

终端可以拼接第一图像410和第二图像420。具体地，终端可以将第二图像420拼接到第一图像410的拼接区域413上，并且将第二图像420的除第二拼接区域421之外的剩余区域422和423拼接到第一图像410上。

终端可以进一步校正第二图像420并将校正后的第二图像420拼接到第一图像上。例如，当第二图像420的第二拼接区域421的误差率在预设范围内时，终端可以基于在第二拼接区域421中包括的像素的误差率来校正第二图像的剩余区域422和423。具体地，终端可以计算在第二图像420的第二拼接区域421中包括的像素421-1、......、和421-8的误差率的平均值，并且可以使用误差率的平均值校正在第二图像的除第二拼接区域421之外的其余区域422和423中包括的像素的颜色。终端可以将具有校正后的颜色的第二图像420拼接到第一图像410的第一拼接区域413上(S250)。

图5是示出终端的图像拼接操作的第二示例实施例的流程图。

参照图5，终端可以获得第一图像和第二图像(S510)。终端可以将第一图像631的部分区域设置为第一拼接区域(S520)，并且具体地，可以将为第一图像631右侧上的一端的区域C(623)设置为第一拼接区域(S520)。终端可以在第二图像632当中搜索与第一图像631的第一拼接区域623对应的区域(S510)。当终端未能在第二图像632当中搜索到与第一图像631的第一拼接区域623对应的区域时(S530)，终端可以另外获得第三图像(S540)。

图6是示出了在房间内捕获第一图像和第二图像的结果的一个示例实施例的框图。

参照图6，捕获图像的相机的每个镜头可以捕获其视角中包括的区域的图像。例如，在第一位置611捕获房间的内部的相机可以捕获区域A(621)、B(622)和C(623)。另外，在第二位置612捕获房间的内部的相机可以捕获区域E(625)、F(626)和G(627)。因此，第一图像631可以包括区域A(621)、B(622)和C(623)的图像，第二图像632可以包括区域E(625)、F(626)和G(627)的图像。根据参考图6描述的示例性实施例，终端可能不能拼接第一图像631和第二图像632，并且可以获得第三图像，该第三图像是在第一图像631和第二图像632之间拼接的图像(S540)。

图7是示出了在房间内捕获第一图像、第二图像和第三图像的结果的一个示例实施例的框图。

参照图7，第三图像633可以是由捕获了第一图像631和第二图像632的同一相机捕获的图像。此外，第三图像633可以是在捕获第一图像631的相机位置611和在捕获第二图像的相机位置612之间的位置613上捕获的图像。因此，第三图像633可以捕获在第一图像631和第二图像632之间的部分的图像。例如，第三图像633可以是包括区域C(613)、D(624)和E(625)的图像。因此，当第一至第三图像被拼接时，可以生成从区域A到区域G的连续图像。捕获第一至第三图像的相机的高度可以是相同的。

再次参照图5，终端可以使用预设算法校正获得的第三图像，以生成校正后的第三图像。例如，终端可以校正第三图像的分辨率、帧速率、和亮度等，以生成校正后的第三图像。终端可以从校正后的第三图像中搜索与第一图像的第一拼接区域对应的第二拼接区域(S550)。

为了从校正后的第三图像中搜索与第一图像的拼接区域对应的第二拼接区域，终端可以搜索其中与在第一拼接区域中包括的像素的颜色信息对应的像素的比例超出预设范围的区域(S550)。可替代地，为了从校正后的第三图像中搜索与第一图像的第一拼接区域对应的区域，终端可以搜索包括具有其误差率不超过预设范围的颜色信息的像素的区域(S550)。已经从第三图像搜索第二拼接区域的终端可以拼接第一图像和第三图像(S560)。

图8是示出第一图像、第二图像、第三图像和拼接图像的一个示例实施例的概念图。

参照图8，终端可以将第三图像拼接到第一图像的第一拼接区域上，并且将第三图像的除与第二拼接区域对应的区域以外的其余区域拼接到第一图像上，以生成拼接图像(S560)。通过拼接第一图像和第三图像而由终端生成的图像可以被定义为第一拼接图像840。

此外，终端可以将第一拼接图像840的一端的预设范围设置为第三拼接区域845(S570)。第三拼接区域845可以位于第一拼接图像840的右侧的一端。第一拼接图像840的第三拼接区域845可以包括多个像素。另外，第二图像820可以包括与第一拼接图像840的第三拼接区域845对应的区域。与第三拼接区域845对应的区域可以位于第二图像的左侧的一端821。可以将包括在第二图像820中并且对应于第三拼接区域845的区域定义为第四拼接区域821。第二图像820的第四拼接区域821可以包括多个像素并且可以具有与在第一拼接图像840的第三拼接区域845中包括的像素相同数量的像素。

为了从校正后的第二图像820中搜索第四拼接区域821，终端可以搜索其中与第三拼接区域845中包括的像素的颜色信息对应的像素的比率超过预设范围的区域。可替代地，为了从校正后的第二图像820中搜索与第三拼接区域845对应的区域，终端可以搜索包括具有其误差率不超过预设范围的颜色信息的像素的区域(S580)。

终端还可以将第二图像820拼接到由第一图像810和第三图像830生成的第一拼接图像840上(S590)。具体地，终端可以将第二图像820拼接到第三拼接区域845上，并且可以将第二图像820的除与第四拼接区域821对应的区域之外的其余区域822和823拼接到第一拼接图像840上，以生成第二拼接图像850(S590)。

根据本发明，本发明的图像拼接方法通过根据基于图像中包括的像素的亮度信息校正后的图像的颜色信息来拼接图像可以平滑地拼接多个图像。

本公开的示例性实施例可以被实现为可由各种计算机执行并记录在计算机可读介质上的程序指令。所述计算机可读介质可以包括程序指令、数据文件、数据结构或其组合。记录在计算机可读介质上的程序指令可以针对本公开专门设计和配置，或者可以是公知的并且对于计算机软件领域的技术人员来说是可用的。

计算机可读介质的示例可以包括硬件设备例如ROM、RAM和闪存，这些硬件设备专门配置为储存和执行程序指令。程序指令的示例包括例如由编译器产生的机器代码，以及可使用解释器由计算机执行的高级语言代码。可以将以上示例性硬件设备配置作为至少一个软件模块来操作，以执行本公开的实施例，反之亦然。

虽然已经详细描述了本公开的示例性实施例及其优点，但是应当理解，在不脱离本公开的范围的情况下，可以在此进行各种改变、替换和变更。

Claims (14)

1.一种操作终端的方法，所述终端执行图像拼接以在运载工具内部生成虚拟现实图像，该方法包括：

获得包括第一图像和第二图像的多个图像；

基于所述第一图像和所述第二图像生成校正后的第一图像和校正后的第二图像；

在所述校正后的第一图像中设置拼接区域，所述拼接区域是预设区域且包括多个像素，并获得关于所述拼接区域中包括的多个像素的信息；

基于关于拼接区域中包括的多个像素的信息，从校正后的第二图像中搜索与所述拼接区域对应的区域；以及

将所述校正后的第二图像的除了对应区域之外的区域拼接到所述校正后的第一图像上。

2.根据权利要求1所述的方法，其中，

所述多个图像是由鱼眼镜头捕获的图像，以及

生成校正后的第一图像和校正后的第二图像包括校正在所述第一图像和所述第二图像中包括的像素的颜色信息。

3.根据权利要求1所述的方法，其中，从所述校正后的第二图像中搜索与所述拼接区域对应的区域的步骤包括：从所述校正后的第二图像中搜索如下区域，在该区域中与所述拼接区域中包括的像素的颜色信息对应的像素的比率超过预设范围。

4.根据权利要求1所述的方法，其中，从所述校正后的第二图像中搜索与所述拼接区域对应的区域包括：从所述校正后的第二图像中搜索如下区域，该区域包括具有与在第一图像的预设区域中包括的像素相比的误差率不超过预设范围的颜色信息的像素。

5.根据权利要求4所述的方法，还包括：

在从所述校正后的第二图像中搜索与所述拼接区域对应的区域之后，

计算在所述第一图像的预设区域中包括的像素的颜色信息与在所述第二图像的待重叠区域中包括的像素的颜色信息之间的误差率的平均；以及

基于所述误差率的平均值来校正所述第二图像的颜色。

6.根据权利要求1所述的方法，还包括：

当在从所述校正后的第二图像中搜索与拼接区域对应的区域中未搜索到所述对应区域时，

获得第三图像；

基于所述第三图像生成校正后的第三图像；

基于所述校正后的第一图像的预设区域上的像素信息，从所述校正后的第三图像中搜索与拼接区域对应的区域；以及

将所述校正后的第三图像的除所述对应区域之外的区域拼接到所述校正后的第一图像上。

7.根据权利要求6所述的方法，其中，所述第三图像是在捕获第一图像的相机位置与捕获第二图像的相机位置之间的位置捕获的图像。

8.一种用于执行图像拼接以在运载工具内部生成虚拟现实图像的终端，所述终端包括：

处理器；和

存储器，存储器中储存要由所述处理器执行的至少一个命令，

其中，所述至少一个命令被执行，以：

获得包括第一图像和第二图像的多个图像；

基于所述第一图像和所述第二图像生成校正后的第一图像和校正后的第二图像；

在所述校正后的第一图像中设置拼接区域，所述拼接区域是预设区域且包括多个像素；

获得关于所述拼接区域中包括的多个像素的信息；

基于关于所述拼接区域中包括的多个像素的信息，从所述校正后的第二图像中搜索与拼接区域对应的区域；以及

将所述校正后的第二图像的除对应区域之外的区域拼接到所述校正后的第一图像上。

9.根据权利要求8所述的终端，其中，

所述多个图像是由鱼眼镜头捕获的图像，以及

所述至少一个命令还被执行以校正在所述第一图像和第二图像中包括的像素的颜色。

10.根据权利要求8所述的终端，其中，所述至少一个命令被执行以从所述校正后的第二图像中搜索如下区域，在该区域中与在拼接区域中包括的像素的颜色信息对应的像素的比率超过预设范围。

11.根据权利要求8所述的终端，其中，所述至少一个命令被执行以从所述校正后的第二图像中搜索如下区域，该区域包括具有与在第一图像的预设区域中包括的像素相比的误差率不超过预设范围的颜色信息的像素。

12.根据权利要求11所述的终端，其中，所述至少一个命令还被执行以：

在被执行以从所述校正后的第二图像中搜索与所述拼接区域对应的区域之后，

计算在第一图像的预设区域中包括的像素的颜色信息与在第二图像的待重叠区域中包括的像素的颜色信息之间的误差率的平均；和

基于所述误差率的平均来校正所述第二图像的颜色。

13.根据权利要求11所述的终端，其中，所述至少一个命令还被执行以：

当没有从所述校正后的第二图像中搜索到所述对应区域时，

获得第三图像；

基于所述第三图像生成校正后的第三图像；

基于所述校正后的第一图像的预设区域的像素信息，从所述校正后的第三图像中搜索与拼接区域对应的区域；以及

将所述校正后的第三图像的除所述对应区域之外的区域拼接到所述校正后的第一图像上。

14.根据权利要求13所述的终端，其中，所述第三图像是在捕获第一图像的相机位置与捕获第二图像的相机位置之间的位置捕获的图像。

Images