CN100583942C

CN100583942C - 能够通知最佳拍摄位置的全景摄影方法和设备

Info

Publication number: CN100583942C
Application number: CN200710140115A
Authority: CN
Inventors: 宋建徹
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2006-08-16
Filing date: 2007-08-02
Publication date: 2010-01-20
Anticipated expiration: 2027-08-02
Also published as: EP1890481B1; KR101264804B1; US20080043093A1; EP1890481A1; KR20080015568A; US8928731B2; CN101127820A

Abstract

提供一种全景摄影方法和设备，以当连续拍摄若干相邻照片来获取组合的全景照片时，用于通知用户下一照片的最佳摄影位置。在该方法中，在第一图像被拍摄之后，从第一图像的预定区域产生导向图像，并且在导向图像中检测第一边缘。为将被拍摄的第二图像获得预览图像，并且在预览图像中检测第二边缘。从与导向图像重合的预览图像的预定部分获取第二边缘。基于第一边缘和第二边缘之间的比较，产生并输出通知数据连同导向图像和预览图像的合成图像。

Description

能够通知最佳拍摄位置的全景摄影方法和设备

技术领域

本发明总的来说涉及全景摄影技术，更具体说，涉及一种当连续拍摄相邻场景的若干照片以获取组合的全景照片时，通知用户下一照片的最佳拍摄位置的全景摄影方法和设备。

背景技术

全景摄影是致力于创建具有特别宽的视野的图像的摄影类型。现代的数字相机技术允许围绕单个宽图像的360度连续拍摄多幅图像。全景摄影的原理是将横向或纵向的多个照片缝合到一起，每个照片形成全景的一段。每个照片通过相机以规律的角度旋转而获取，并且拍摄与相邻照片的场景部分重叠的场景。这些照片随后通过个人计算机中的适当程序被自动组合为单个全景照片。全景摄影的要点是排列重叠的图像，从而精确地组合它们。

图1A和1B是示出传统的全景摄影方法的示例示图。如果用户从左到右拍摄两张相邻的照片，则图1A表示先前拍摄的图像10(以下，第一图像)，图2B表示将被拍摄的下一图像的预览图像20(以下，第二图像)。

在第一图像10被拍摄之后，预览图像20预先被提供以帮助用户拍摄第二图像。此时，第一图像10的部分区域12也被提供，并部分覆盖预览图像20。第一图像10的该区域12可帮助用户精确拍摄第二图像，因此被称为导向图像。

预览图像20上的导向图像12在选择用于拍摄第二图像的精确拍摄位置方向对用户有帮助。然而，导向图像12的这种用法会经常给用户造成不便。也就是说，由于用户无从选择而只能依靠目测，因此对用户来说很难找到最佳拍摄位置。

发明内容

本发明的一方面在于提供一种当连续拍摄邻接场景的若干照片来获得组合的全景照片时，通知用户下一照片的最佳拍摄位置的全景摄影方法和设备。

本发明的另一方面在于提供一种当拍摄全景图像时，无需依靠用户的目测而基于客观数据提供最佳拍摄位置的全景摄影方法和设备。

根据本发明的示例性实施例，全景摄影方法包括：拍摄作为一段全景照片的第一图像；从第一图像的预定区域产生导向图像；在导向图像中检测第一边缘；获得将被拍摄的第二图像的预览图像，第二图像与第一图像相邻；在预览图像中检测第二图像，从与导向图像重合的预览图像的预定部分获取第二边缘；比较第一边缘与第二边缘；基于边缘的比较结果产生通知数据和导向图像与预览图像的合成图像；连同通知数据一起输出合成图像。

在该方法中，比较边缘的步骤可包括：计算第一边缘和第二边缘之间的相关系数；比较计算的相关系数与给出的临界值。在这种情况下，产生通知数据的步骤可包括根据相关系数和临界值之间的比较结果产生不同的通知数据。

此外，比较边缘的步骤可包括：计算第一边缘和第二边缘之间的相关系数；确定计算的相关系数是否小于第一临界值或大于第二临界值，第一临界值小于第二临界值。在这种情况下，产生通知数据的步骤可包括：当相关系数小于第一临界值时，产生第一通知数据；当相关系数在第一和第二临界值之间时，产生第二通知数据；以及当相关系数大于第二临界值时，产生第三通知数据。

另外，输出通知数据的步骤可包括显示具有可视化形式和/或音频形式的通知数据。所述通知数据可根据边缘的比较结果具有不同的可视化和/或音频特性。

本发明的方法还可包括当在输出通知数据之后输入拍摄请求时，拍摄第二图像。

根据本发明的另一示例性实施例，全景摄影设备包括：相机模块，用于拍摄作为一段全景照片的第一图像并获得与第一图像相邻的第二图像的预览图像；导向图像产生器，用于从第一图像的预定部分产生导向图像；边缘检测器，用于在导向图像中检测第一边缘和在预览图像中检测第二边缘，从与导向图像重合的预览图像的预定区域获取第二边缘；边缘比较器，用于比较第一边缘和第二边缘；用户界面产生器，用于产生导向图像和预览图像的合成图像，并且还基于边缘的比较结果产生通知数据；以及显示单元，用于显示合成图像，并且还输出具有可视化形式的通知数据。

该设备还可包括用于将通知数据输出为音频数据的扬声器。

附图说明

通过以下结合附图的详细描述，本发明的上述和其他目的特点和优点将会变得更加清楚，其中：

图1A和图1B是示出传统全景摄影方法的示例示图；

图2是示出根据本发明的示例性实施例的全景摄影设备的框图；

图3是示出根据本发明的示例性实施例的全景摄影方法的流程图；

图4A和图4B是分别示出导向图像和从导向图像检测的边缘的示例示图；

图5是示出边缘比较步骤和通知数据产生步骤的流程图；

图6A至图6C是示出输出通知数据的三种类型的示例示图。

具体实施方式

以下，参照附图来更加全面说明本发明的示例性的非受限实施例。然而，本发明可实现为很多不同的形式，并且不应被理解为受限于这里阐述的示例性实施例。相反地，提供所公开的实施例以便该公开将全面并彻底，并且将本发明的构思完全传达给本领域技术人员。在不脱离本发明的范围的情况下，本发明的原理和特点可被使用在各种各样的很多实施例中。

将不详细描述和示出公知的结构和处理以避免混淆本发明的实质。使用相同的标号表示各个附图的相同和相应部分。

参照图2，全景摄影设备包括：相机模块110、存储器单元120、导向图像产生器130、边缘检测器140、边缘比较器150、用户界面产生器160、显示单元170和扬声器180。

相机模块110拍摄图像以组成全景照片，并获得预先示出将被拍摄的图像的预览图像。特别地，在拍摄第一图像之后，相机模块110获得用于拍摄第二图像的预览图像。

存储器单元120存储相机模块110拍摄的图像。特别地，存储器单元120从相机模块110接收拍摄的第一图像并保存它。

导向图像产生器130产生导向图像，所述导向图像将被用于确定拍摄第二图像的最佳拍摄位置。特别地，导向图像产生器130从存储器单元20接收第一图像并从第一图像的预定区域获取导向图像。

边缘检测器140在导向图像中检测第一边缘并在预览图像中检测第二边缘。特别地，边缘检测器140从导向图像产生器130接收导向图像并随后从导向图像提取第一边缘。类似地，边缘检测器140从相机模块110接收预览图像并随后从预览图像提取第二边缘。在与导向图像重叠的预览图像的区域中检测第二边缘。

边缘比较器150比较第一边缘和第二边缘，并随后确定两个边缘之间的相关性。特别地，边缘比较器150从边缘检测器140接收第一边缘和第二边缘，计算两个边缘之间的相关系数，并比较计算的系数和给出的临界值。

用户界面(UI)产生器160从导向图像产生器130接收导向图像并从相机模块110接收预览图像。随后，UI产生器160合成两个接收的图像。此外，UI产生器160从边缘比较器150接收边缘比较的结果并随后基于比较结果产生通知数据。这些通知数据可根据相关系数和临界值之间的比较结果而变化。这些通知数据可通过各种可视化和/或音频形式(诸如，图标、指示器、箭头、数值和声音)来呈现。

显示单元170演示UI产生器160提供的预览图像和导向图像的合成图像。此外，显示单元170以诸如UI产生器160提供的图标的可视化形式展示通知数据。

扬声器180输出具有UI产生器160提供的诸如声音的音频形式的通知数据。

以下，通过本发明的示例性实施例描述在上述讨论的设备中执行的全景摄影的方法。参照图3连同图1A、图1B和图2，在步骤S200，相机模块110拍摄将作为一段全景照片的第一图像10，并随后将拍摄的第一图像10发送给存储器单元120来存储它。

接着，在步骤S210，导向图像产生器130通过从存储在存储器单元120中的第一图像10检测预定区域来产生导向图像12。导向图像12将被合成到第二图像的预览图像20来帮助更加精确地拍摄第二图像。分配给导向图像12的第一图像10的区域被预定为占据整个第一图像的10～20％。用于导向图像12的该部分在与拍摄位置的移位相同的方向上位于第一图像10的周围。也就是说，如果拍摄位置向右改变，则导向图像12在靠近第一图像10的右边缘处被检测到。图4A示出检测的导向图像12的示例。例如，如果第一图像10从右到左具有2160像素，从上到下具有1440像素，则作为示例，导向图像12可被定义为从右开始的第163～第432像素并从上开始的第73～第1368像素。

接着，在步骤S220，边缘检测器140在导向图像12中检测第一边缘。边缘为数字图像分析技术相关领域中公知的术语，其表示在很多像素上发光亮度急剧改变的点。在图像特性中的急剧改变通常反映出深度的不连续、表面定向的不连续、材料特性的改变和场景亮度的变化。图4B示出图4A中示出的导向图像12中检测到的边缘14的示例。

在拍摄第一图像10之后，在步骤S230，相机模块110获得预先展示图像来帮助拍摄第二图像的预览图像20。第二图像在时间和空间上与第一图像10相邻，从而形成另一段全景照片。

接着，在步骤S240，边缘检测器140在预览图像20中检测第二边缘。从与导向图像12重合的预定部分获取该第二边缘。也就是说，当预览图像20和导向图像12被合成时，用于在预览图像20中检测第二边缘的目标区域是由导向图像12所覆盖的部分。如上所述，导向图像12的位置在第一图像10中被预定。此外，当导向图像12与预览图像20重叠时，在预览图像20上的重叠位置与导向图像12在第一图像10中的原始位置相反。也就是说，在上述示例中，导向图像12将位于预览图像20的从左开始的第163～第432像素和从上开始的第73～第1368像素。并且还从预览图像20中的相同像素提取第二边缘。以下，提取第二边缘的预览图像20中的目标区域将被称为比较部分。

在检测第一和第二边缘之后，在步骤S250，边缘比较器150从边缘检测器140接收第一和第二边缘并比较它们。该步骤S250是用于确定导向图像12和预览图像20的比较部分之间的对应程度的过程。可依靠公知的图像分析技术执行该步骤S250。例如，边缘比较器150计算第一边缘和第二边缘的相关系数，并比较计算的相关系数与给出的临界值。

边缘比较的结果被发送到UI产生器160。随后，在步骤S260，UI产生器160基于边缘比较结果产生通知数据。例如，UI产生器160根据相关系数和临界值之间的比较结果产生不同的通知数据。

图5示出的是上述边缘比较的步骤S250和通知数据的产生步骤S260的示例。

参照图5，在步骤S252，边缘比较器分析第一和第二边缘之间的相关性并随后计算相关系数。可根据图像被分割而成的分割部分关于边缘特性计算该相关系数。这些分割部分可以是像素、块、四叉树等。在像素的情况下边缘特性可以是亮度和RGB(红绿蓝)颜色，在块的情况下边缘特性可以是亮度平均和亮度变化。在另一示例中，可无需分割图像而关于边缘的矢量差计算相关系数。相关系数的分析和计算是数字图像分析相关技术领域所公知的，因此详细描述将被省略。

相关系数表示第一和第二边缘之间的相互关系的程度。低或高的系数意味着第一和第二边缘之间在空间上具有远或近的关系。在计算相关系数之后，边缘比较器确定该系数所属的范围。特别地，在步骤S254，边缘比较器确定该系数是否比第一临界值(C1)小。当该系数较小时，在步骤S262，UI产生器产生第一通知数据。否则，当该系数大于第一临界值(C1)时，在步骤S256，边缘比较器确定该系数是否小于第二临界值(C2)，C2大于C1。当该系数在第一临界值和第二临界值之间时，在步骤S264，UI产生器产生第二通知数据。当该系数大于第二临界值(C2)时，在步骤S266，UI产生器产生第三通知数据。

第一通知数据表示相对较低的关系，而第三通知数据表示相对较高的关系。如果第二临界值(C2)被适当设置，则第三通知数据可在第一和第二边缘精确重合的点上产生。

这些通知数据具有不同的特性。例如，在通知数据为图标的情况下，每个图标具有不同的视觉特性(诸如颜色、亮度、色度、形状、个数等)。类似地，在通知数据为声音的情况下，每个声音具有不同的音频特性(诸如音调、振幅、频率等)。

回到图3，UI产生器160在步骤S260不仅产生通知数据，而且产生导向图像12和预览图像20的合成图像。显示单元170在步骤S270以诸如图标的可视化形式输出合成图像连同通知数据。此外，扬声器输出具有诸如声音的音频形式的通知数据。

图6A至图6C示出根据导向图像12和预览图像20的比较部分22之间的相关性输出通知数据的三种类型的示例视图。

图6A示出导向图像12和比较部分22之间的相对较低相关性的示例。也就是说，在这种情况下，第一边缘和第二边缘之间的相关系数小于第一临界值C1。该结果通知用户当前拍摄位置不是最佳的。此时，通知图标24a可以是“白色”图标，并且通知声音可以是不连续的慢嘟嘟声(例如，诸如“嘟嘟、-、嘟嘟、-、嘟嘟、-、嘟嘟、-”)。

图6B示出导向图像12和比较部分22之间的相对中等相关性的示例。在这种情况下，第一边缘和第二边缘之间的相关系数在第一临界值C1和第二临界值C2之间。该结果意味着当前拍摄位置比之前好，但是不是最佳的。此时，通知图标24b可以是“黄色”图标，并且通知声音可以是不连续的快速嘟嘟声(例如，诸如“嘟嘟、嘟嘟、嘟嘟、嘟嘟、嘟嘟、嘟嘟、嘟嘟、嘟嘟”)。

图6C示出导向图像12和比较部分22之间的相对较高相关性的示例。在这种情况下，第一和第二边缘之间的相关系数大于第二临界值C2。该结果意味着当前拍摄位置是最佳的。此时，通知图标24c是“绿色”图标，并且通知声音是连续的嘟嘟声(诸如“嘟嘟------”)。

回到图3，在合成图像和通知数据在步骤S270同时被输出之后，控制单元(未示出)在步骤S280确定拍摄请求是否被输入。如果存在拍摄请求，则在步骤S290，相机模块110在控制单元的控制下，在当前拍摄位置上拍摄第二图像。如果不存在拍摄请求，则相机模块110回到上述的步骤S230并再次获得预览图像。

换句话说，当在步骤S270观看和/或收听通知数据的输出的同时，用户可判断当前位置是否适合拍摄照片。如果当前位置被认为是最佳的，则用户可在步骤S280按压按钮并在步骤S290拍摄照片。否则，如果当前位置被认为不是最佳的，则用户可改变拍摄位置。

在上述的实施例中，使用两个临界值，由此产生三种类型的通知数据。然而，这些只为说明并且不被认为是对本发明的限制。也可使用单个或三个临界值来产生通知数据。此外，由于第一图像上的导向图像的位置是取决于拍摄位置的位移方向变化而确定，因此本发明的全景摄影设备还可包括能够自动检测相机模块的移动的公知的传感器。

本发明的全景摄影方法和设备可被应用于移动电话、数字相机和具有相机模块的任何其它电子装置。

尽管参照本发明的示例性实施例具体示出和描述了本发明，但是本领域技术人员将理解：在不脱离由权利要求限定的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。

Claims

1、一种全景摄影方法，包括：

拍摄作为一段全景照片的第一图像；

从第一图像的预定区域产生导向图像；

在导向图像中检测第一边缘；

获得将被拍摄的第二图像的预览图像，第二图像与第一图像相邻；

在预览图像中检测第二边缘，从预览图像的预定部分获得所述第二边缘，所述预定部分与导向图像重合；

比较第一边缘与第二边缘；

基于边缘的比较结果产生通知数据和从导向图像与预览图像合成的合成图像；以及

输出合成图像和通知数据，

其中，比较第一边缘与第二边缘的步骤包括：计算第一边缘和第二边缘之间的相关系数，比较计算的相关系数与预定的临界值。

2、如权利要求1所述的方法，其中，产生通知数据的步骤包括根据计算的相关系数和预定的临界值之间的比较结果产生不同的通知数据。

3、如权利要求1所述的方法，其中，比较第一边缘和第二边缘的步骤包括：计算第一边缘和第二边缘之间的相关系数；确定计算的相关系数是否小于第一临界值或大于第二临界值，所述第一临界值小于所述第二临界值。

4、如权利要求3所述的方法，其中，产生通知数据的步骤包括：当相关系数小于第一临界值时，产生第一通知数据；当相关系数在第一临界值和第二临界值之间时，产生第二通知数据；当相关系数大于第二临界值时，产生第三通知数据。

5、如权利要求1所述的方法，其中，输出通知数据的步骤包括以可视化形式显示通知数据。

6、如权利要求1所述的方法，其中，输出通知数据的步骤包括以音频形式输出通知数据。

7、如权利要求5所述的方法，其中，根据第一边缘和第二边缘的比较结果，通知数据具有不同的可视化特性。

8、如权利要求6所述的方法，其中，根据第一边缘和第二边缘的比较结果，通知数据具有不同的音频特性。

9、如权利要求1所述的方法还包括：

当在输出通知数据之后输入拍摄请求时，拍摄第二图像。

10、一种全景摄影设备，包括：

相机模块，拍摄作为一段全景照片的第一图像，并且获得与第一图像相邻的第二图像的预览图像；

导向图像产生器，从第一图像的预定区域产生导向图像；

边缘检测器，在导向图像中检测第一边缘和在预览图像中检测第二边缘，从预览图像的预定部分获取所述第二边缘，所述预定部分与所述导向图像重合；

边缘比较器，通过计算第一边缘和第二边缘之间的相关系数并比较计算的相关系数与预定的临界值，来比较第一边缘和第二边缘；

用户界面产生器，产生从导向图像和预览图像合成的合成图像，并且还基于第一边缘和第二边缘的比较结果产生通知数据；以及

显示单元，呈现合成图像，并且还以可视化形式输出通知数据。

11、如权利要求10所述的设备，还包括：扬声器，以音频数据形式输出通知数据。