CN105472232B - 影像撷取方法及电子装置 - Google Patents

Abstract

本发明文件公开了一种影像撷取方法及电子装置。影像撷取方法包含：计算电子装置拍摄的第一影像画面中的多个特征点；根据第一影像画面中该些特征点的分布，计算电子装置往一方向旋转时的最大旋转角度；以及，当电子装置往该方向旋转已达最大旋转角度时，自动拍摄第二影像画面。本发明文件其可根据各方向边界上的特征点的分布，得知各方向上的最大旋转角度，方便使用者快速的将电子装置旋转至最佳的位置。

Description

影像撷取方法及电子装置

技术领域

本发明文件是关于影像撷取方法，尤指一种用以产生全景影像的影像撷取方法。

背景技术

近来，数字相机、智慧型手机及平板电脑等电子装置已普遍成为现代生活中的必备物品，藉此，使用者可以便利地记录生活周遭的景物或重要事件。然而，电子装置上的摄影镜头通常有一定的限制(例如广角端仅能容纳一定的取像范围)。当使用者想拍摄壮观的自然景色、巨大的建筑物、圆形广场的人群、大篇幅的艺术创作或是在拍摄团体照时，经常会遭遇到无法在同一张照片中容纳摄影主题的全貌。

在高阶的摄影器材中或许可以更换超广角的镜头或利用特殊的鱼眼镜头来撷取更大角度的景色，但一般的数字相机、智慧型手机及平板电脑并无法任意更换镜头或相机模块。

近来发展出以软件处理方式实现全景影像(PANORAMA IMAGE)摄影的解决方案。一般来说，进入全景影像摄影模式时，由使用者手动拍摄多张影像，随后将多张影像接合形成全景影像。

目前常见的作法，是由使用者自行调整多张影像取景位置，再由摄影装置或电脑进行影像处理与接合，产生全景影像。然而，目前的作法使用者需要一定的拍摄技巧，由使用者自行判断应该旋转多少角度后拍摄下一张影像，否则会造成影像接合的处理难度提高(例如无法判断两张待接合影像之间的相对关系)，或是影像接合后的整体效果不如预期(例如影像接合处明显不自然或有错误)。

发明内容

依据本发明文件的一实施态样，其揭示一种用于电子装置的影像撷取方法，影像撷取方法包含：计算电子装置拍摄的第一影像画面中的多个特征点；根据第一影像画面中该些特征点的分布，计算电子装置往一方向旋转时的最大旋转角度；以及，当电子装置往该方向旋转已达最大旋转角度时，自动拍摄第二影像画面。

依据本发明文件的另一实施态样，其揭示一种用于电子装置的全景影像产生方法，全景影像产生方法包含：拍摄第一影像画面；计算第一影像画面中的多个特征点；根据第一影像画面中该些特征点的分布，计算电子装置往一方向旋转时的最大旋转角度；当电子装置往该方向旋转已达最大旋转角度时，自动拍摄第二影像画面，第一影像画面与第二影像画面用以接合为全景影像。

依据本发明文件的另一实施态样，其揭示一种电子装置，包含动态感测器、影像撷取单元、显示单元以及处理单元。动态感测器用以侦测电子装置的轴向。显示单元用以显示使用者界面。处理单元耦接动态感测器、影像撷取单元以及显示单元。

当影像撷取单元拍摄第一影像画面时，处理单元用以计算第一影像画面中的多个特征点，根据第一影像画面中该些特征点的分布计算电子装置往一方向旋转时的最大旋转角度，并于使用者界面上提示最大旋转角度的相对位置。

当动态感测器侦测电子装置往该方向旋转已达最大旋转角度时，处理单元用以驱动影像撷取单元拍摄第二影像画面，第一影像画面与第二影像画面用以接合为全景影像。

如上述实施态样，本发明文件提出影像撷取方法、全景影像产生方法以及电子装置，其可根据当前的影像画面计算其中的特征点的分布，并根据各方向边界上的特征点分布，得知各方向上的最大旋转角度，方便使用者快速的将电子装置旋转至最佳的位置，确保影像接合的效果，并可有效利用较少的影像撷取次数形成覆盖最大视角范围的全景影像。

附图说明

为让本案能更明显易懂，附图的说明如下：

图1绘示根据本发明文件的一实施例中一种影像撷取方法的方法流程图；

图2绘示根据本发明文件的一实施例中一种电子装置的功能方块图；

图3A绘示根据本发明文件的一实施例中电子装置拍摄的第一影像画面的示意图；

图3B绘示图3A的第一影像画面中的特征点的示意图；

图4绘示在不同方向上旋转并拍摄的第二影像画面的示意图；以及

图5绘示在不同方向上旋转并拍摄的第二影像画面的示意图。

其中，附图标记：

100：影像撷取方法

200：电子装置

220：动态感测器

240：影像撷取单元

260：显示单元

280：处理单元

ZONE1：右侧画面

ZONE2：左侧画面

IMG1：第一影像画面

IMG2R、IMG2L、IMG2T、IMG2B：第二影像画面

FP：特征点

AX0：初始轴向

AX1、AX2、AX3、AX4：轴向

OL1、OL2、OL3、OL4：重迭部份

θ1、θ2、θ3、θ4：最大旋转角度

TO、TR、TL、TT、TB：对焦框

S102～S116：步骤

具体实施方式

以下将以附图及详细叙述清楚说明本发明内容的精神，任何所属技术领域的技术人员在了解本发明内容的较佳实施例后，当可由本发明内容所教示的技术，加以改变及修改，其并不脱离本发明内容的精神与范围。

请参阅图1，其绘示根据本发明文件的一实施例中一种影像撷取方法100的方法流程图，于此实施例中，影像撷取方法100可用来产生全景影像(panorama image)，也就是说，影像撷取方法100所撷取的多个影像可彼此接合(stitch)为对应较大视角的全景影像。

此实施例中的影像撷取方法100可应用于电子装置上，请参阅图2，其绘示根据本发明文件的一实施例中一种电子装置200的功能方块图。如图2所示，电子装置200包含动态感测器220、影像撷取单元240、显示单元260以及处理单元280。处理单元280耦接动态感测器220、影像撷取单元240以及显示单元260。

影像撷取单元240可包含镜头、光学模块以及影像感测单元，此为本领域的技术人员所熟知，在此不另赘述，影像撷取单元240可设置于电子装置200其中一侧表面上，朝向取景的方向拍摄影像画面。电子装置200可为数字相机、数字单反相机、数字无反相机、照相手机、智慧型手机或其他具有影像撷取单元240的等效性电子设备。

动态感测器220用以侦测电子装置200的轴向，例如电子装置200的机身的水平偏转向量、垂直偏转向量、相较地磁北的偏转角度至少其一。也就是说，动态感测器220可得知影像撷取单元240拍摄影像画面时所面对的取景轴向；此外，在取景过程中显示即时画面的同时，动态感测器220亦可侦测影像撷取单元240当下面对的即时轴向。实际应用中，动态感测器220包含陀螺仪(gyro sensor)、电子罗盘(electronic compass)与重力感测器(gravity sensor,G-sensor)中至少一者。

显示单元260用以显示使用者界面(user interface,UI)，使用者界面上可展示影像撷取单元240所撷取的影像画面、取景过程中的即时取景画面、摄影过程的相关讯息(例如光圈、快门、电量、时间、焦距等)以及其他的使用提示。

如图1的实施例所示，影像撷取方法100首先执行步骤S102，利用影像撷取单元240拍摄第一影像画面。于此实施例中，当第一影像画面拍摄时，影像撷取方法100执行步骤S104，利用动态感测器220取得电子装置200的初始轴向，第一影像画面拍摄时电子装置200的三维轴向。

接着，影像撷取方法100执行步骤S106，计算拍摄的第一影像画面中的多个特征点。请一并参阅图3A及图3B，图3A绘示根据本发明文件的一实施例中电子装置200拍摄的第一影像画面IMG1的示意图，图3B绘示图3A的第一影像画面IMG1中的特征点FP的示意图。如图3A所示的例子，步骤S106拍摄的第一影像画面IMG1，内容可能包含多个物件，例如，人物、背景、车辆、树木或各种物体、形状、色块等。处理单元280可根据第一影像画面IMG1的内容进行影像处理，以找出第一影像画面IMG1中的多个特征点(feature point)FP，第一影像画面IMG1中包含许多个特征点FP，特征点FP的分布情况如图3B所示。

在影像处理的实际应用中，在影像内容中辨识特征点的演算法有非常多方式，例如人脸特征辨识、指纹辨识、边缘侦测、转角侦测、区块侦测、脊侦测等各种在影像中撷取特征点的演算法，本实施例可采用一种或结合多种演算法由第一影像画面IMG1找出特征点FP，图3A与图3B所绘示的特征点FP主要是以边缘侦测演算法作例示性的说明，但本发明文件并不以特定演算法为限。

此外，本发明文件以特征点FP来举例说明影像处理后得到的特征图案位置所在，但特征点FP并不仅限于单一个点(point)或单一个座标，亦可为多个像素组成的图像区块或图像特征范围等。

影像撷取方法100执行步骤S108，根据第一影像画面IMG1中该些特征点FP的分布，计算电子装置200往特定方向旋转时的最大旋转角度。下列段落将详细说明如何由第一影像画面IMG1中该些特征点FP的分布计算最大旋转角度。

如图3A及图3B所示的例子当中，第一影像画面IMG1原构图的右侧画面ZONE1变化较少、物件较分散或可分辨的特征较少；相对的左侧画面ZONE2变化较多、物件较集中或可分辨的特征较多。第一影像画面IMG1中右侧画面ZONE1的特征点FP密度较低，左侧画面ZONE2的特征点FP密度较高。

当使用者旋转电子装置200试图想要拍摄另一影像画面，并且将另一影像画面与原影像画面(即第一影像画面IMG1)接合，使两张影像画面结合为视角范围较广的全景影像时，使用者必须决定需要旋转电子装置200多少角度。

若使用者旋转的角度过大，使另一影像画面与原影像画面重迭的部分过少(甚至没有任何重迭)时，电子装置200将无法透过影像处理的分式找出两个影像之间的对应关系，因此无法进行有效的影像接合(image stitching)。若旋转的角度过小，使另一影像画面与原影像画面重迭的部分过大(甚至两张影像角度差异不大)时，则电子装置200需要多次拍摄新的影像才能覆盖新的视野角度，因此，使用者可能需要拍摄许多张影像，并反复进行许多次的影像接合，将造成处理效率低落。

请一并参阅图4，其绘示在不同方向上旋转并拍摄的第二影像画面IMG2R,IMG2L的示意图。上述步骤S108中，往特定方向旋转时的最大旋转角度的计算，是基于第一影像画面IMG1中对应特定方向的侧边界附近的特征点密度。

假设，使用者将往右侧旋转拍摄下一张影像画面，以便与第一影像画面IMG1接合。步骤S108更包含计算第一影像画面IMG1中与预定拍摄的第二影像画面IMG2R的重迭部份OL1涵盖的特征点FP的数目(如图4所示)，并使得第一影像画面IMG1中与第二影像画面IMG2R重迭部份OL1涵盖的特征点FP的数目在门槛值以上，假设于此实施例中，特征点FP的门槛值为至少十个特征点，电子装置200的处理单元280需要十个特征点方可对第一影像画面IMG1中与第二影像画面IMG2R进行有效的影像接合。

如此一来，处理单元280可在第一影像画面IMG1中右侧方向的侧边界附近，决定需要多大(水平宽度多少)的重迭部份OL1方能具备十个特征点。进而，由重迭部份OL1的大小，得知往右侧方向旋转时最大旋转角度θ1，以及推算出最大旋转角度θ1对应的第二影像画面IMG2R的位置所在。

另一方面，假设，使用者将往左侧旋转拍摄下一张影像画面，以便与第一影像画面IMG1接合。步骤S108更包含计算第一影像画面IMG1中与预定拍摄的第二影像画面IMG2L的重迭部份OL2涵盖的特征点FP的数目(如图4所示)，并使得第一影像画面IMG1中与第二影像画面IMG2L重迭部份OL2涵盖的特征点FP的数目为至少十个特征点。

如此一来，处理单元280可在第一影像画面IMG1中左侧方向的侧边界附近，决定需要多大(水平宽度多少)的重迭部份OL2方能具备十个特征点。进而，由重迭部份OL2的大小，得知往右侧方向旋转时最大旋转角度θ2，以及推算出最大旋转角度θ2对应的第二影像画面IMG2L的位置所在。

如图4所示，第一影像画面IMG1往右侧方向的侧边界附近的特征点密度较低，因此，所需的重迭部份OL1较大才能符合影像接合的最低门槛，因此，步骤S108计算得到往右侧旋转的最大旋转角度θ1较小。另一方面，第一影像画面IMG1往左侧方向的侧边界附近的特征点密度较高，因此，所需的重迭部份OL2较小即可符合影像接合的最低门槛，因此，步骤S108计算得到往左侧旋转的最大旋转角度θ2较大。于此实施例中，最大旋转角度θ1与θ2正相关于第一影像画面IMG1右侧与左侧边界附近的特征点密度。

于上述图4的实施例中绘示，影像撷取方法100与电子装置200可在水平旋转方向(向右旋转或向左旋转)上计算不同的最大旋转角度，并确保水平方向上的第二影像画面IMG2R,IMG2L与第一影像画面IMG1的重迭部分具有足够的特征点FP，但本发明文件并不仅以水平方向为限。请一并参阅图5，其绘示在不同方向上旋转并拍摄的第二影像画面IMG2T、IMG2B的示意图。

如图5所示，第一影像画面IMG1往顶部方向的侧边界附近的特征点密度较高，因此，所需的重迭部份OL3较小即能符合影像接合的最低门槛，因此，步骤S108计算得到往上方旋转的最大旋转角度θ3较大。另一方面，第一影像画面IMG1往底部方向的侧边界附近的特征点密度较低，因此，所需的重迭部份OL4较大方能符合影像接合的最低门槛，因此，步骤S108计算得到往下方旋转的最大旋转角度θ4较小。于此实施例中，最大旋转角度θ3与θ4正相关于第一影像画面IMG1顶部与底部边界附近的特征点密度。

综合图4与图5的实施例，第一影像画面IMG1包含多个侧边界，影像撷取方法100的步骤S108可根据该些侧边界附近的特征点密度，分别计算往左、右水平方向或上、下垂直方向旋转时各自的最大旋转角度，并且各最大旋转角度分别正相关于相对应的各侧边界附近的特征点密度。

于该最大旋转角度计算完成后(即步骤S108完成后)，影像撷取方法100可执行步骤S110，透过电子装置200的显示单元260，在使用者界面上提示沿着特定方向(如右、左、上或下)的最大旋转角度θ1、θ2、θ3及/或θ4。

举例来说，当电子装置200沿着初始轴向AX0拍摄第一影像画面IMG1时，第一影像画面IMG1的中心点位于对焦框TO。当最大旋转角度θ1、θ2、θ3及θ4计算完成之后，即可得到对应最大旋转角度θ1、θ2、θ3及θ4的目标对焦框TR、TL(如图4所示)与TT、TB(如图5所示)。

接着，使用者可参考上述提示，并沿着水平方向或垂直方向旋转电子装置200的轴向。在使用者旋转电子装置200的过程中，影像撷取方法100执行步骤S112，利用动态感测器220侦测电子装置200的即时轴向。

接着，影像撷取方法100可执行步骤S114，利用动态感测器220感测的即时轴向相对初始轴向(参见步骤S104)的差距，进而判断电子装置200往特定方向(如右、左、上或下)的旋转是否已达最大旋转角度θ1、θ2、θ3及/或θ4。例如，当动态感测器220感测的即时轴向为轴向AX1时，此时利用即时轴向AX1相对初始轴向AX0的差距判断电子装置200已往右旋转达最大旋转角度θ1；同理，可根据轴向AX2、轴向AX3、轴向AX4与初始轴向AX0的差距进行判断。

若步骤S114判断目前电子装置200的即时轴向尚未达到特定方向的最大旋转角度θ1、θ2、θ3及/或θ4，则回到步骤S112，继续监控侦测电子装置200的即时轴向。

若步骤S114判断目前电子装置200的即时轴向已达到特定方向的最大旋转角度θ1、θ2、θ3及/或θ4，则影像撷取方法100执行步骤S116，拍摄第二影像画面。于部份实施例中，当即时轴向已达到特定方向的最大旋转角度时，电子装置200自动触发拍摄第二影像画面，不需要额外的使用者指令，提高操作上的便利性。如图4所示，若已达最大旋转角度θ1则自动拍摄第二影像画面IMG2R，若已达最大旋转角度θ2则自动拍摄第二影像画面IMG2L；如图5所示，若已达最大旋转角度θ3则自动拍摄第二影像画面IMG2T，若已达最大旋转角度θ4则自动拍摄第二影像画面IMG2B。

前述第一影像画面IMG1与第二影像画面IMG2R、IMG2L、IMG2T或IMG2B可以用以接合为全景影像。

于一实施例中，影像撷取方法100可更进一步将第二影像画面IMG2R、IMG2L、IMG2T或IMG2B与第一影像画面IMG1接合，藉此形成全景影像。此外，全景影像的产生并不仅限于两张影像画面的接合，影像撷取方法100可循环进行以实现三张、四张或更多张影像的接合，以形成更广视角的全景影像，循环进行的作法可由上述两张影像的接合得知，在此不另赘述。须特别说明的是，当两张的接合影像形成后，影像撷取方法100可根据接合后的影像产生新的特征点分布，藉由新的特征点分布中各侧边界的特征点密度计算新的各方向上最大旋转角度。此外，多次撷取的影像并不仅限于同一旋转方向，例如来说，可先往右撷取下一张影像画面，接着往上撷取另一张影像画面，再接着往右撷取再一张影像画面。

此外，影像撷取方法100并不限于拍摄两个影像画面后立刻进行影像接合。于另一实施例中，用以产生全景影像的影像撷取方法100可连续拍摄多个影像画面(如两个影像画面、三个影像画面或更多个影像画面)或当使用者将所有影像画面都拍摄完成后一次进行影像接合。

此外，当使用者旋转电子装置200的过程中，动态感测器220将感测电子装置200的即时轴向。同时，显示单元260的使用者界面上显示即时的取景画面将显示此即时轴向上的中央对焦点。当使用者往右旋转接近最大旋转角度θ1时，目标对焦框TR将出现在显示单元260的使用者界面中，使用者仅需要根据使用者界面上提示的目标对焦框TR，将中央对焦点对准目标对焦框TR，便可确保电子装置200准确地旋转到预定的最大旋转角度θ1。同理，往其他方向旋转时亦然，目标对焦框TL、目标对焦框TT与目标对焦框TB可用以提示使用者将电子装置200准确地旋转到预定的最大旋转角度θ2、θ3与θ4。

综上所述，本发明文件提出影像撷取方法、全景影像产生方法以及电子装置，其可根据当前的影像画面计算其中的特征点的分布，并根据各方向边界上的特征点分布，得知各方向上的最大旋转角度，方便使用者快速的将电子装置旋转至最佳的位置，确保影像接合的效果，并可有效利用较少的影像撷取次数形成覆盖最大视角范围的全景影像。

虽然本案已以实施例公开如上，但其并非用以限定本案，任何本领域的技术人员，在不脱离本案的精神和范围内，当可作各种的更动与修改，因此本案的保护范围当视后附的权利要求书保护范围所界定者为准。

Claims (9)

1.一种影像撷取方法，用于一电子装置，其特征在于，该影像撷取方法包含：

计算该电子装置的一影像撷取单元基于一初始轴向所拍摄的一第一影像画面中的多个特征点；

根据该第一影像画面中该些特征点的分布，计算该电子装置往一方向旋转时的一最大旋转角度，其中往该方向旋转时的该最大旋转角度的计算，是基于该第一影像画面中对应该方向的一侧边界附近的该些特征点的密度，并且该最大旋转角度正相关于该侧边界附近的该些特征点的密度；以及

当该电子装置往该方向旋转已达该最大旋转角度时，该影像撷取单元基于一第一轴向自动拍摄一第二影像画面，其中该初始轴向与该第一轴向之间的角度为该最大旋转角度。

2.如权利要求1所述的影像撷取方法，其特征在于，该最大旋转角度的计算，包含计算该第一影像画面中与预定拍摄的该第二影像画面的一重迭部份涵盖的特征点的数目，并使得该第一影像画面中该重迭部份涵盖的特征点的数目在一门槛值以上。

3.如权利要求1所述的影像撷取方法，其特征在于，该第一影像画面包含多个侧边界，该影像撷取方法根据该些侧边界附近的特征点密度，分别计算往左、右水平方向或上、下垂直方向旋转时各自的最大旋转角度，并且各最大旋转角度分别正相关于相对应的各侧边界附近的特征点密度。

4.如权利要求1所述的影像撷取方法，其特征在于，还包含：

取得该第一影像画面拍摄时该电子装置的该初始轴向；

侦测该电子装置的一即时轴向；以及

利用该即时轴向相对该初始轴向的差距，判断该电子装置往该方向旋转是否已达该最大旋转角度。

5.如权利要求1所述的影像撷取方法，其特征在于，于该最大旋转角度计算完成后，还包含：

于该电子装置的一使用者界面上，提示沿着该方向的该最大旋转角度。

6.如权利要求1所述的影像撷取方法，其特征在于，该第一影像画面与该第二影像画面用以接合为一全景影像。

7.一种电子装置，其特征在于，包含：

一动态感测器，用以侦测该电子装置的一轴向；

一影像撷取单元；

一显示单元，用以显示一使用者界面；以及

一处理单元，耦接该动态感测器、该影像撷取单元以及该显示单元，

其中当该影像撷取单元基于一初始轴向拍摄一第一影像画面时，该处理单元用以计算该第一影像画面中的多个特征点，根据该第一影像画面中该些特征点的分布计算该电子装置往一方向旋转时的一最大旋转角度，并于该使用者界面上提示该最大旋转角度的相对位置，其中往该方向旋转时的该最大旋转角度的计算，是基于该第一影像画面中对应该方向的一侧边界附近的该些特征点的密度，并且该最大旋转角度正相关于该侧边界附近的该些特征点的密度，

其中当该动态感测器侦测该电子装置往该方向旋转已达该最大旋转角度时，该处理单元用以驱动该影像撷取单元基于一第一轴向拍摄一第二影像画面，该第一影像画面与该第二影像画面用以接合为一全景影像，其中该初始轴向与该第一轴向之间的角度为该最大旋转角度。

8.如权利要求7所述的电子装置，其特征在于，当该影像撷取单元拍摄该第一影像画面时，该处理单元透过该动态感测器取得该第一影像画面拍摄时该电子装置的一初始轴向，并记录该初始轴向。

9.如权利要求7所述的电子装置，其特征在于，该动态感测器侦测该电子装置的一即时轴向，该处理单元利用该即时轴向相对该初始轴向的差距，判断该电子装置往该方向旋转是否已达该最大旋转角度。