CN104935789A - 手持电子装置及全景影像形成方法 - Google Patents

Abstract

本发明提供一种手持装置及一种全景影像形成方法。本发明提出一种用于产生由多个子影像形成的一全景影像的手持电子装置，该手持电子装置包含一输入元件、一显示元件、一影像传感器及一处理器。该输入元件感测一控制动作，以产生一全景模式信号。该影像传感器根据该全景模式信号撷取该多个子影像的一特定子影像。该处理器判断该特定子影像为模糊，以使该处理器执行一影像重摄程序以：致能该显示元件显示一影像重摄界面；致能该影像传感器撷取对应至该特定子影像的一第一辅助影像；以及以该第一辅助影像置换该特定子影像。

Description

手持电子装置及全景影像形成方法

技术领域

本发明提供一种手持电子装置及全景影像形成方法。具体而言，本发明提供一种用以形成一不模糊的全景影像的手持电子装置及全景影像形成方法。

背景技术

手持电子装置经常使用的全景模式，用以撷取多个子影像并将这些子影像缝合于一起以形成一全景影像。

然而，若这些子影像其中的任一者有模糊现象，则该全景影像可能会模糊不清。举例而言，若在撷取一全景影像时该全景影像中一物体正在移动，则该全景影像可能有模糊现象。在此种情形下，需要再次重新撷取一新的、完整的全景影像。

因此，提供一种无需重新撷取多个新的子影像即可形成一清晰全景影像的方法成为一重要目标。

发明内容

本发明的一目的是提供一种手持电子装置及全景影像形成方法。本发明提供一种全景影像形成方法，若一或多个子影像有模糊现象，该全景影像形成方法无需重新撷取一新的影像即可获取一清晰之前景影像。因此，本发明的全景影像形成方法可提高使用便利性。

为达成此目的，本发明提出一种用于产生由多个子影像形成的一全景影像的手持电子装置。该手持电子装置包含一输入元件、一显示元件、一影像传感器及一处理器。该输入元件感测一控制动作(control action)，以产生一全景模式信号(panorama signal)。该影像传感器根据该全景模式信号撷取这些子影像的一特定子影像(specific sub image)。该处理器与该输入元件、该显示元件及该影像传感器电性连接，用以判断该特定子影像为模糊，以使该处理器执行一影像重摄程序(image re-capturing program)以：致能该显示元件显示一影像重摄界面(image re-capturing interface)；致能该影像传感器撷取对应至该特定子影像的一第一辅助影像(first auxiliary image)；以及以该第一辅助影像置换该特定子影像。

本发明的另一目的是提供一种用于一手持电子装置的全景影像形成方法。阐述一种用于一手持电子装置的全景影像形成方法。该手持电子装置包含一输入元件、一显示元件、一影像传感器及一处理器，该处理器电性连接至该输入元件、该显示元件及该影像传感器。该输入元件感测一控制动作，以产生一全景模式信号。该影像传感器根据该全景模式信号撷取多个子影像以形成一全景影像。该全景影像形成方法包含下列步骤：令该处理器判断这些子影像中的一特定子影像为模糊以执行一影像重摄程序；令该显示元件显示对应至该影像重摄程序的一影像重摄界面；令该影像传感器撷取对应至该特定子影像的一第一辅助影像；以及令该处理器以该第一辅助影像置换该特定子影像。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1A是描绘本发明的一第一实施例的一手持电子装置的功能方块图；

图1B是描绘本发明的第一实施例，显示于一显示元件上的一全景界面；

图1C是描绘本发明的第一实施例，显示于该显示元件上的一影像重摄界面；以及

图2是描绘本发明的一第二实施例，一种全景影像形成方法的流程图。

图中元件标号说明：

1：手持电子装置

11：输入元件

13：显示元件

15：影像传感器

17：处理器

110：全景界面

120：影像重摄界面

A：箭头指示

D：方向

F：框架

L：水平参考线

P：中心点

S1：第一控制动作

S2：全景模式信号

S3：第二控制动作

S4：撷取信号

S201～S204：步骤

具体实施方式

以下将通过实施例来解释本发明内容。然而，关于实施例的说明仅为阐释本发明的目的，而非用以直接限制本发明。需说明的是，以下实施例及图示中，与本发明非直接相关的元件已省略而未绘示，且图示中各元件之间的尺寸仅为便于理解，而非用以限制本发明。

根据本发明一第一实施例的一手持电子装置1显示于图1A至图1C中。图1A绘示手持电子装置1的功能方块图，图1B绘示显示于显示元件13上的一全景界面110，且图1C绘示显示于显示元件13上的一影像重摄界面120。

用于产生一全景影像的手持电子装置1包含：一输入元件11、一显示元件13、一影像传感器15及一处理器17。处理器17电性连接至输入元件11、显示元件13及影像传感器15。如图1B及图1C所示，输入元件11可为例如一实体按钮，而显示元件13可为例如一监视器以显示图形使用者界面输出。在另一实例中，输入元件11与显示元件13可整合于一触控显示面板中。影像传感器15可为一照相机，而处理器17可为例如一微处理器、图形处理单元(graphics processing unit；GPU)或应用专用集成电路(application-specificintegrated circuit；ASIC)。以下，将进一步阐述第一实施例中各组件间的交互作用。

输入元件11感测来自一使用者的一第一控制动作S1，以产生一全景模式信号S2。然后，处理器17根据全景模式信号S2执行一全景程序，以致能显示元件13显示一全景界面110，并致能影像传感器15撷取多个子影像以形成全景影像。

如图1B所示，全景界面110显示一中心点P及一水平参考线L。在执行全景程序时，使用者可利用中心点P及水平参考线L以帮助影像传感器15撷取这些子影像。需特别说明者，本发明的全景界面110上所显示的内容不在此限。

此外，在影像传感器15撷取对应的子影像之后，处理器17立即判断各该子影像是否有模糊现象。

通常，若各该子影像为清晰的，则可获取一清晰的全景影像。然而，若这些子影像其中的任一者有模糊现象，则该全景影像即可能有模糊现象产生。

举例而言，假定全景影像是借由缝合四个子影像而形成，该四个子影像分别为一第一子影像、一第二子影像、一第三子影像、以及一第四子影像。在影像传感器15撷取第一子影像、第二子影像、第三子影像、或第四子影像之后，处理器17立即判断第一子影像、第二子影像、第三子影像、或第四子影像是否有模糊现象。

举例而言，若在第二子影像被撷取之后处理器17判断该第二子影像有模糊现象，则执行以下影像重摄程序以致能显示元件13显示一影像重摄界面120。影像传感器15被致能以撷取对应至该第二子影像的一第一辅助影像。由该辅助影像置换该第二子影像。

具体而言，处理器17可根据手持电子装置1的硬件信息或一模糊检测法而判断该第二子影像有模糊现象。以下将阐述该模糊检测法。

详言之，该硬件信息可为影像传感器15在撷取第二子影像时形成的一拍摄快门时间(shutter period)(对应至该第二子影像)、或者由手持电子装置1的一动作传感器(motion sensor)形成的一动作感测值(motion sensor value)。该动作感测值是借由在影像传感器15撷取第二子影像的同时量测该动作传感器而获得。该动作感测值可为(但不限于)以下至少其中之一：当该动作传感器为手持电子装置1的一重力传感器时为一感测位移值、当该动作传感器为手持电子装置1的一陀螺仪传感器时为一陀螺仪感测位移值、或为其他可表示手持电子装置1的瞬间动作的感测值。

更具体而言，若拍摄快门时间被判断为低于一快门临限值、重力传感器的感测位移值被判断为高于一感测位移临限值、或陀螺仪传感器的陀螺仪感测位移值被判断为高于一陀螺仪感测位移临限值，则处理器17判断第二子影像有模糊现象。其中，处理器17可根据环境背景而调整快门临限值。举例而言，环境背景愈暗，则快门临限值愈高。作为另一选择，快门临限值可为预定的并预先储存于手持电子装置1的一储存器中。

如前所述，可根据上述模糊检测法判断第二子影像有模糊现象。模糊检测法为例如一角隅检测法(edge detecting method)、一颜色区分检测法(a colordistribution detecting method)或一高通滤波检测法(high-pass filter detectingmethod)。具体而言，该高通滤波检测法可为一尺度不变量特征转换(scale-invariant feature transform；SIFT)法、一加速稳健特征(speeded up robustfeature；SURF)法、一取向BRIEF(oriented-BRIEF；ORB)法、或一海利斯角隅检测(Harris Corner Detector)法。

图1C显示影像重摄界面120的一实例。在此实施例中，影像重摄界面120上出现一箭头指示A及一框架F，以在影像重摄程序被执行时为撷取辅助影像指示一方向D。

更具体而言，方向D是用于向使用者指示将影像传感器15置位为面对影像传感器15在撷取第二子影像时面对的一特定视景(specific view)。换言之，在执行影像重摄程序时，使用者可移动或翻转手持电子装置1(影像传感器15)，以使其面对该特定视景，并使其经由由指示A及框架F所指示的方向D返回至手持电子装置1在撷取第二子影像时所处的一位置。

使用者移动或翻转手持电子装置1(影像传感器15)，直至对应至第二子影像的一预览影像显示于其影像重摄界面120上。换言之，当影像重摄界面120上显示预览影像，表示着影像传感器15面对该特定视景，并且手持电子装置1是位于该位置上。然后，影像传感器15借由一撷取信号S4而撷取对应至第二子影像的第一辅助影像，其中该撷取信号S4是由输入元件11借由感测使用者的一第二控制动作S3而产生。在另一实例中，影像传感器15可基于预览影像显示于影像重摄界面120上而自动撷取第一辅助影像。

在影像传感器15撷取第一辅助影像之后，处理器17以第一辅助影像置换第二子影像。然后，在影像传感器15撷取第一辅助影像之后，处理器17自影像重摄程序返回至全景程序，以致能影像传感器15撷取第三子影像及第四子影像。如此一来，第一子影像、第一辅助影像(用于置换第二子影像)、第三子影像、及第四子影像被缝合于一起，以形成全景影像。

应注意，在输入元件11及显示元件13被整合至触控显示面板的情形中，触控显示面板感测第一控制动作S1及第二控制动作S3，以分别产生全景模式信号S2及撷取信号S4。触控显示面板亦显示全景影像、全景界面110及影像重摄界面120。

在其他实施方式中，手持电子装置1可包含实体按钮及触控显示面板二者。实体按钮及触控显示面板其中之一感测第一控制动作S1及第二控制动作S3其中之一。实体按钮及触控显示面板其中的另一者感测第一控制动作S1及第二控制动作S3其中的另一者。

需特别说明者，在其他实施方式中，影像重摄界面120可仅显示箭头指示A及框架F、或显示其他指示，以指示方向D。

此外，若影像传感器15撷取第四子影像的一快门速度快于处理器17的模糊判断速度，则可能需要拍摄二个以上的辅助影像以置换对应子影像。

更具体而言，若四个子影像是被依序撷取、但快门速度够快的情形下，处理器17有可能会在四个子影像皆被撷取之后才判断第二子影像有模糊现象。

在此种情形中，假设处理器17已判断第二子影像及第四子影像有模糊现象，而影像传感器15尚未撷取任何用于置换第二子影像及第四子影像的辅助影像，则处理器17将首先撷取对应至第四子影像的一第二辅助影像来置换第四子影像，之后才撷取对应至第二子影像的第一辅助影像来置换第二子影像。

换言之，若第二子影像及第四子影像被依序撷取并被判断为模糊影像，则处理器17将以相反之次序撷取两个辅助影像，即先撷取第二辅助影像，再撷取第一辅助影像。判断第四子影像是否有模糊现象，基本上是使用雷同于判断第二子影像是否有模糊现象的步骤来进行。此外，并以雷同于第一辅助影像的撷取步骤来撷取第二辅助影像。故不赘述。

本发明的第二实施例为一种全景影像形成方法，其流程图绘示于图2中。该全景影像形成方法用于一手持电子装置(例如第一实施例的手持电子装置1)中。该手持电子装置包含一输入元件、一显示元件、一影像传感器及一处理器。该处理器电性连接至该输入元件、该显示元件及该影像传感器。该输入元件及该显示元件例如分别为一实体按钮及一监视器。

为产生全景影像，输入元件感测来自一使用者的一第一控制动作，以产生一全景模式信号。然后，处理器根据该全景模式信号执行一全景程序，以致能该显示元件显示一全景界面，并致能该影像传感器撷取多个子影像以形成全景影像。

举例而言，全景界面显示一中心点及一水平参考线。在执行全景程序时，使用者可使用该中心点及该水平参考线来帮助影像传感器撷取这些子影像。需特别说明者，本发明的全景界面上所显示的内容不在此限。

此外，在影像传感器撷取对应的子影像之后，处理器立即判断各该子影像是否有模糊现象。

通常，若各该子影像为清晰的，则可获取一清晰的全景影像。然而，若这些子影像其中的任一者有模糊现象，则该全景影像亦可能有模糊现象。在此种情形中，由处理器执行全景影像形成方法，该全景影像形成方法包含多个步骤，其详细步骤如下。

首先，执行步骤201，令该处理器判断这些子影像中的一特定子影像为模糊以执行一影像重摄程序。更具体而言，该处理器根据该手持电子装置的硬件信息或一模糊检测法来判断该特定子影像为模糊，其中该硬件信息对应至该特定子影像。以下将阐述该模糊检测法。

更详言之，该硬件信息可为以下所述的任一者：影像传感器在撷取特定子影像时的拍摄快门时间(对应至该特定子影像)、或手持电子装置的一动作传感器的一动作感测值。该动作感测值是借由在影像传感器撷取该特定子影像的同时量测该动作传感器而获得。该动作感测值可为(但不限于)以下至少其中之一：当该动作传感器为手持电子装置的一重力传感器时为一感测位移值、当该动作传感器为手持电子装置的一陀螺仪传感器时为一陀螺仪感测位移值、或其他可表示手持电子装置的一动作的感测值。

更具体而言，若拍摄快门时间被判断为低于一快门临限值、重力传感器的感测位移值被判断为高于一感测位移临限值、或陀螺仪传感器的陀螺仪感测位移值被判断为高于一陀螺仪感测位移临限值，则处理器可判断该特定子影像有模糊现象。

需特别说明者，处理器可根据环境背景来调整快门临限值。通常，环境背景愈暗，则快门临限值愈高。在其他实施方式中，快门临限值可为预定的并预先储存于手持电子装置的储存器中。

如前所述，可借由模糊检测法判断该特定子影像有模糊现象。模糊检测法为例如一角隅检测法、一颜色区分检测法或一高通滤波检测法。此外，该高通滤波检测法可为一尺度不变量特征转换(SIFT)法、一加速稳健特征(SURF)法、一取向BRIEF(ORB)法、或一海利斯角隅检测法。

接着，执行步骤202，令该显示元件显示对应至该影像重摄程序的一影像重摄界面。然后，执行步骤203，令该影像传感器撷取对应至该特定子影像的第一辅助影像。

在此实施例中，影像重摄界面上出现一箭头指示及一框架，以在执行影像重摄程序时为撷取一第一辅助影像指示一方向。

更具体而言，该方向是用于向使用者指示将影像传感器安放成面对影像传感器在撷取该特定子影像时面对的一特定视景。换言之，在执行影像重摄程序时，使用者可移动或翻转手持电子装置(影像传感器)，以使其面对该特定视景，并使其经由由箭头指示及框架所指示的方向返回至手持电子装置在撷取该特定子影像时所处的一位置。

使用者移动或翻转手持电子装置(影像传感器)，直至对应至该特定子影像的一预览影像显示于其影像重摄界面上。换言之，影像重摄界面上显示预览影像时，表示着影像传感器面对该特定视景，并且手持电子装置是位于该位置上。然后，影像传感器借由一撷取信号而撷取对应至该特定子影像的第一辅助影像，其中该撷取信号是由输入元件借由感测使用者的一第二控制动作而产生。此外，影像传感器可基于预览影像显示于影像重摄界面上而自动撷取第一辅助影像。

然后，执行步骤204，令该处理器以该第一辅助影像置换该特定子影像。在影像传感器撷取第一辅助影像之后，处理器自影像重摄程序返回至全景程序，以致能影像传感器撷取这些子影像的下一(紧随其后的多个)子影像。辅助影像及除该特定子影像以外的这些子影像被缝合一起，以形成全景影像。

应注意，在输入元件及显示元件被整合至触控显示面板的情形中，触控显示面板感测第一控制动作及第二控制动作，以分别产生全景模式信号及撷取信号。触控显示面板亦显示全景影像、全景界面及影像重摄界面。

在其他实施方式中，手持电子装置可包含实体按钮及触控显示面板二者。在此种情形中，实体按钮及触控显示面板其中之一感测第一控制动作及第二控制动作其中之一。实体按钮及触控显示面板其中的另一者感测第一控制动作及第二控制动作其中的另一者。

需特别说明者，在其他实施方式中，影像重摄界面可仅显示箭头指示或框架或其他指示，以指示方向。

此外，若影像传感器撷取这些子影像的一快门速度快于处理器的模糊判断速度，则可能需要拍摄二个以上的辅助影像以置换对应子影像。

更具体而言，若该特定子影像及其他特定子影像是被依序撷取，然而，若快门速度够快的情况下，处理器有可能会在该特定子影像及其他子影像皆被撷取之后才判断该特定子影像有模糊现象。

在此种情形中，处理器判断该特定子影像及这些子影像的一另一特定子影像有模糊现象，而影像传感器尚未撷取任何用于置换该特定子影像及该另一特定子影像的辅助影像，则处理器将首先撷取一第二辅助影像来置换该特定子影像，之后才撷取第一辅助影像来置换该另一子影像。

换言之，若该特定子影像及该另一特定子影像被依序撷取，则处理器将以相反之次序撷取两个辅助影像，即先撷取第二辅助影像，再撷取第一辅助影像。判断该另一特定子影像是否有模糊现象，基本上是使用雷同于判断该特定子影像是否有模糊现象的步骤来进行。此外，并以雷同于第一辅助影像的撷取步骤来撷取第二辅助影像。故不赘述。

除了上述步骤，第二实施例的全景影像形成方法亦能执行第一实施例所描述的手持电子装置的所有操作及功能。所属技术领域具有通常知识者可直接了解第二实施例的全景影像形成方法如何基于上述第一实施例以执行此等操作及功能，故不赘述。

应注意，第二实施例的全景影像形成方法可由具有多个指令的一电脑程序实施。该电脑程序储存于一电脑程序产品中。当该电脑程序被载入且其中的指令被处理器执行时，可达成第二实施例的全景影像形成方法。该电脑程序产品可为：一只读存储器(read only memory；ROM)、一快闪存储器、一软盘、一硬盘、一光盘(compact disk；CD)、一随身盘、一磁带、可由网络存取的一数据库或本领域技术人员所已知且具有相同功能的任何其他储存媒体。

如借由对上述实施例的说明可知，本发明使使用者能够借由使用由影像重摄程序所提供的影像重摄界面而以一种便捷的方式形成一全景影像。借由本发明，使用者可更便捷地获取全景影像。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (12)

1.一种手持电子装置，用以产生由多个子影像(a plurality of sub images)形成的一全景影像(panoramic image)，包含：

一输入元件，用以感测一控制动作(control action)而产生一全景模式信号(panorama signal)；

一显示元件；

一影像传感器，用以根据该全景模式信号撷取该多个子影像的一特定子影像(specific sub image)；以及

一处理器，与该输入元件、该显示元件及该影像传感器电性连接，用以判断该特定子影像为模糊，以使该处理器执行一影像重摄程序(image re-capturingprogram)以：

致能该显示元件显示一影像重摄界面(image re-capturing interface)；

致能该影像传感器撷取对应至该特定子影像的一第一辅助影像(firstauxiliary image)；以及

以该第一辅助影像置换该特定子影像。

2.如权利要求1所述的手持电子装置，其特征在于，该处理器根据该手持电子装置的硬件信息而判断该特定子影像为模糊，其中该硬件信息对应至该特定子影像；

其中，该硬件信息为对应至该特定子影像的一拍摄快门时间(shutterperiod)以及该手持电子装置的一动作传感器(motion sensor)的一动作感测值(motion sensor value)的至少其中之一。

3.如权利要求1所述的手持电子装置，其特征在于，该处理器是根据一角隅检测法(edge detecting method)、一颜色区分检测法(a color distributiondetecting method)以及一高通滤波检测法(high-pass filter detecting method)的至少其中之一来判断该特定子影像为模糊。

4.如权利要求1所述的手持电子装置，其特征在于，该影像重摄界面显示一箭头指示及一框架的至少其中之一，用以为撷取该第一辅助影像而指示一方向。

5.如权利要求4所述的手持电子装置，其特征在于，该第一辅助影像是基于该箭头指示及该框架的至少其中之一而自动地被撷取。

6.如权利要求1所述的手持电子装置，其特征在于，该处理器更用以判断该多个子影像中的一另一特定子影像(another specific sub image)为模糊，以使该处理器借由执行该影像重摄程序而致能该影像传感器撷取对应至该另一特定子影像的一第二辅助影像(second auxiliary image)并以该第二辅助影像置换该另一特定子影像；

其中，该另一特定子影像的撷取是晚于该特定子影像的撷取，并且该第二辅助影像的撷取早于该第一辅助影像。

7.一种全景影像形成方法，用于一手持电子装置，该手持式电子装置包含一输入元件、一显示元件、一影像传感器及一处理器，该处理器与该输入元件、该显示元件及该影像传感器电性连接，该输入元件用以感测一控制动作而产生一全景模式信号，该影像传感器根据该全景模式信号撷取多个子影像以形成一全景影像，该全景影像形成方法包含下列步骤：

令该处理器判断该多个子影像中的一特定子影像为模糊以执行一影像重摄程序；

令该显示元件显示对应至该影像重摄程序的一影像重摄界面；

令该影像传感器撷取对应至该特定子影像的一第一辅助影像；以及

令该处理器以该第一辅助影像置换该特定子影像。

8.如权利要求7所述的全景影像形成方法，其特征在于，该处理器判断该多个子影像中的该特定子影像为模糊的步骤进一步为下列步骤：

令该处理器根据该手持电子装置的硬件信息判断该特定子影像为模糊，其中该硬件信息对应至该特定子影像；

其中，该硬件信息为对应至该特定子影像的一拍摄快门时间以及该手持电子装置的一动作传感器的一动作感测值的至少其中之一。

9.如权利要求7所述的全景影像形成方法，其特征在于，判断该多个子影像的该特定子影像为模糊的步骤进一步为下列步骤：

令该处理器根据一角隅检测法、一颜色区分检测法以及一高通滤波检测法的至少其中之一判断该特定子影像为模糊。

10.如权利要求7所述的全景影像形成方法，其特征在于，该影像重摄界面显示一箭头指示及一框架的至少其中之一，用以为撷取该第一辅助影像而指示一方向。

11.如权利要求10所述的全景影像形成方法，其特征在于，该第一辅助影像是基于该箭头指示及该框架的至少其中之一而自动地被撷取。

12.如权利要求7所述的全景影像形成方法，更包含下列步骤：

令该处理器判断该多个子影像中的一另一特定子影像为模糊，其中该另一特定子影像的撷取是晚于该特定子影像的撷取；

令该影像传感器，于撷取对应至该特定子影像的该第一辅助影像之前，撷取对应至该另一特定子影像的一第二辅助影像；以及

令该处理器以该第二辅助影像置换该另一特定子影像。