CN104935914B - 电子装置及其摄影方法 - Google Patents

Abstract

本发明揭露一种电子装置及其摄影方法。摄影方法适用于具有第一相机及第二相机的电子装置，其中摄影方法包含以下步骤。储存第一相机所产生的多个第一画面至第一队列以及储存第二相机所产生的多个第二画面至第二队列。当第一相机触发撷取第一影像，从第一画面之中取出具有第一时间戳记的第一画面为第一影像。从第二队列之中搜寻具有对应第一时间戳记的第二时间戳记的第二画面。从第二画面之中取出对应的第二画面为第二影像。借此，由第二相机所撷取的第二影像以及由第一相机所撷取的第一影像彼此时间同步，减少由于撷取时间间隔造成的影像间的不匹配。

Description

电子装置及其摄影方法

技术领域

本发明是有关于一种摄影方法/装置，且特别是有关于一种将不同相机所撷取的影像同步的方法。

背景技术

一直以来摄影都是一项专业的技术，因其需要相当多的知识来决定适合的设定(例如控制曝光时间、白平衡及焦距)以拍摄照片。当摄影的手动设定日趋复杂，使用者也需要更多的操作以及背景知识。

立体影像技术是基于人类的两眼视觉原理。建立立体影像的其中一种方式是设置两相机间隔一特定间距由些微不同的位置/角度来拍摄场景中的同一物体以取得两张影像。场景中物体的X维度(X-dimensional)信息以及Y维度(Y-dimensional)信息可由一张影像获得。场景中物体的Z维度(Z-dimensional)信息(亦即深度信息)则须将两张影像交由处理器(processor)计算后获得。在一些应用中例如：3D视觉、对象辨识、影像处理以及影像移动侦测，深度信息是相当重要且必要的。

为了进一步处理影像(例如计算深度或其他3D应用)，需要由两相机撷取成对的影像。除此之外，成对的影像必须由两相机同时撷取，否则两张影像中任何的不匹配将会在处理影像时造成错误(例如鬼影)。

发明内容

本发明的一方面是在提供一种摄影方法，适用于包含第一相机以及第二相机的电子装置。摄影方法包含：储存第一相机所产生的多个第一画面至第一队列以及储存第二相机所产生的多个第二画面至第二队列。当第一相机触发撷取第一影像，从第一画面之中取出具有第一时间戳记的第一画面为第一影像。从第二队列之中搜寻具有对应第一时间戳记的第二时间戳记的第二画面。从第二画面之中取出对应的第二画面为第二影像。

在一实施例中，其中每一个第一画面以及每一个第二画面分别具有各自的时间戳记，时间戳记记录着第一画面以及第二画面产生的时间点。

在次一实施例中，其中取出第一影像还包含：从第一队列之中取出具有最新的时间戳记的第一画面为第一影像。

在另一实施例中，其中搜寻第二影像还包含：从第二队列之中搜寻具有与第一时间戳记最靠近的第二时间戳记的第二画面。

在又一实施例中，其中第二相机所撷取的第二影像与第一相机所撷取的第一影像彼此时间同步。

在再一实施例中，其中第一队列与第二队列皆为环形缓冲区(ring buffer)，环形缓冲区各自包含多个储存槽(slot)，且每一个储存槽用以储存第一画面之中一个第一画面或储存第二画面之中一个第二画面。

在一实施例中，其中在双重相机架构中，第一相机为主相机及第二相机为从属相机。

在次一实施例中，其中第一相机与第二相机分别利用非同步的画面速率来感测第一画面及第二画面。

本发明的次一方面是在提供一种电子装置，包含处理模块、第一相机、第二相机以及非暂态计算机可读取储存媒体。第一相机，用以依序产生多个第一画面，第一画面暂时地储存至第一队列。第二相机，用以依序产生多个第二画面，第二画面暂时地储存至第二队列。其中非暂态计算机可读取储存媒体包含一或多个指令可供处理模块执行方法。方法包含：当第一相机触发撷取第一影像，从第一画面之中取出具有第一时间戳记的第一画面为第一影像。从第二队列之中搜寻具有对应第一时间戳记的第二时间戳记的第二画面。从第二画面之中取出对应的第二画面为第二影像。

在一实施例中，其中每一个第一画面以及每一个第二画面分别具有各自的时间戳记，时间戳记记录着第一画面以及第二画面产生的时间点。

在次一实施例中，其中当第一相机触发撷取第一影像，从第一队列之中取出具有最新的时间戳记的第一画面为第一影像。

在另一实施例中，其中对应的该第二画面具有与该第一时间戳记最靠近的该第二时间戳记。

在又一实施例中，其中第二相机所撷取的第二影像与第一相机所撷取的第一影像彼此时间同步。

在再一实施例中，其中第一队列与第二队列皆为环形缓冲区(ring buffer)，环形缓冲区各自包含多个储存槽(slot)，且每一个储存槽用以储存第一画面之中一个第一画面或储存第二画面之中一个第二画面。

在一实施例中，其中在双重相机架构中，第一相机为主相机及第二相机为从属相机。

在次一实施例中，其中第一相机与第二相机分别利用非同步的画面速率来感测第一画面及第二画面。

附图说明

为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂，所附附图的说明如下。然而，应了解到，为符合在产业中实务利用的情况，许多的特征并未符合比例绘示。实际上，为了阐述以下的讨论，许多特征的尺寸可能被任意地增加或缩减。

图1绘示根据本发明的一实施例中一种电子装置的示意图；

图2绘示关于图1中的电子装置的功能区块图；

图3绘示一种方法用以确保由两相机所撷取的影像之间的时间同步的流程图；

图4A绘示根据本发明的一实施例中第一队列及第二队列的内容的示意图；

图4B绘示根据本发明的次一实施例中第一队列及第二队列的内容的示意图；

图5绘示根据本发明的另一实施例中第一队列及第二队列的内容的示意图；

图6绘示根据本发明的又一实施例中第一队列及第二队列的内容的示意图；以及

图7绘示根据本发明的再一实施例中第一队列及第二队列的内容的示意图。

具体实施方式

以下揭示提供许多不同实施例或例证用以实施本发明的不同特征。特殊例证中的元件及配置在以下讨论中被用来简化本发明。所讨论的任何例证只用来作解说的用途，并不会以任何方式限制本发明或其例证的范围和意义。此外，本发明在不同例证中可能重复引用数字符号且/或字母，这些重复皆为了简化及阐述，其本身并未指定以下讨论中不同实施例且/或配置之间的关系。

关于本文中所使用的“耦接”或“连接”，均可指二或多个元件相互直接作实体或电性接触，或是相互间接作实体或电性接触，而“耦接”或“连接”还可指二或多个元件元件相互操作或动作。在本文中，使用第一、第二与第三等等的词汇，是用于描述各种元件、组件、区域、层与/或区块是可以被理解的。但是这些元件、组件、区域、层与/或区块不应该被这些术语所限制。这些词汇只限于用来辨别单一元件、组件、区域、层与/或区块。因此，在下文中的一第一元件、组件、区域、层与/或区块也可被称为第二元件、组件、区域、层与/或区块，而不脱离本发明的本意。如本文所用，词汇“与/或”包含了列出的关联项目中的一个或多个的任何组合。

请参阅图1及图2，图1绘示根据本发明的一实施例中一种电子装置100的示意图，图2绘示关于图1中的电子装置100的功能区块图。如图所示，电子装置100包含第一相机110、第二相机120、处理器130、储存单元140以及记忆体150。本发明提供一种方法用以确保由两个别的相机(亦即第一相机110及第二相机120)所撷取的成对的影像之间的时间同步(例如在相同或大约相同的时间撷取影像)。

在此实施例中，电子装置100的外壳上设置有功能键160。使用者可通过按压功能键160来启动第一相机110以及第二相机120的影像撷取功能。在其他实施例中，使用者可通过在触控面板上的操作、声音指令、以特定方式移动电子装置100或任何等效的触发方式来启动影像撷取功能。

在图1所示的实施例中，在双相机架构中，第一相机110是主相机以及第二相机120是从属相机(子相机)。如图1所示，在此实施例的双相机架构中，第一相机110以及第二相机120皆设置于电子装置100的同一面(例如背面)，且彼此之间间隔一轴间距离。第一相机110用以朝一方向感测场景所对应的第一影像，第二相机120朝同一方向感测与第一相机110大致相同的场景所对应的第二影像。也就是说，第一相机110以及第二相机120得以从些微不同的观看位置(轴间距离所造成)撷取相同的场景得到成对的影像，借此成对的影像可供深度信息的计算、3D视觉的模拟或回复、视差(2.5D)影像处理、对象辨识、动作侦测或任何其他的应用。

在一些实施例中，第一相机110以及第二相机120采用相同机型的相机。在图1所示的实施例中，在双相机架构中，第一相机110以及第二相机120采用不同机型的相机。一般来说，作为主相机的第一相机110可能具有较佳的光学性能，且由第一相机110所感测的第一影像通常记录为撷取影像。另一方面，作为从属相机的第二相机120可能具有相同或相对较差的光学性能，且由第二相机120所感测的第二影像通常用为辅助数据或补充数据。

然而，第一相机110以及第二相机120在本发明图1所示的双相机架构中并不限制为主相机以及从属相机。本发明适用于任何具有两相机的电子装置100用以同时撷取成对的影像。

请参阅图3，图3绘示一种方法300的流程图。适用于包含第一相机110以及第二相机120的电子装置100，用以确保由两相机所撷取的影像之间的时间同步。如图3所示，方法300执行步骤S302以储存第一相机110所产生的多个第一画面至第一队列Q1以及储存第二相机120所产生的多个第二画面至第二队列Q2。

图1以及图2中的电子装置100还包含非暂态计算机可读取储存媒体。其中非暂态计算机可读取储存媒体包含一或多个指令可供处理器130执行方法300，如后续说明。

在传统相机中，在使用者按压下触发键后(例如快门键或触控面板上的拍摄功能键)，传统相机中的影像感测器启动并撷取影像。快门反应时间包含设定影像感测器、影像感测器收集数据、取出数据作为新撷取的影像，拍摄一张影像大约占用1～3秒。因此，对于传统相机而言，在短期间内拍摄多个影像(例如提升拍摄模式中)是不可能的。

为了提升快门反应速率(亦即减少快门反应时间)，当相片相关的功能开启，第一相机110连续且周期性地产生多个第一画面，以及第二相机120连续且周期性地产生多个第二画面。举例来说，第一相机110每秒产生30个画面(例如30fps)。第一画面以及第二画面分别依序储存至第一队列Q1以及第二队列Q2。

在图2所示的实施例中，第一队列Q1以及第二队列Q2位于电子装置100的记忆体150中。在一些实施例中，第一队列Q1与第二队列Q2皆为环形缓冲区(ring buffer)亦称为圆形缓冲区(circular buffer)。环型缓冲区为一种利用单一且固定大小的缓冲区的数据结构，且连接的方式犹如头尾相连。此环型结构适用于缓冲数据流。第一队列Q1以及第二队列Q2各自包含多个储存槽(slot)。为了便于说明，图2所绘示的第一队列Q1包含8个储存槽QS10～QS17，以及第二队列Q2包含8个储存槽QS20～QS27，但本发明并不以储存槽的特定数目为限。

第一队列Q1中的每一个储存槽QS10～QS17用以储存第一相机110所产生的多个第一画面之中一个第一画面。当相片相关的功能开启，在步骤S302期间，第一相机110持续在不同的时间点个别产生第一画面并依序储存至第一队列Q1。每一个第一画面具有各自的时间戳记，时间戳记记录着第一画面产生的时间点。

第二队列Q2中的每一个储存槽QS20～QS27用以储存第二相机120所产生的多个第二画面之中一个第二画面。当相片相关的功能开启，在步骤S302期间，第二相机120持续在不同的时间点个别产生第二画面并依序储存至第二队列Q2。每一个第二画面具有各自的时间戳记，时间戳记记录着第二画面产生的时间点。

此外，在相片相关的功能开启期间，第一队列Q1以及第二队列Q2为动态更新/刷新的，当第一队列Q1已经额满且即将传进新的第一画面，则新进来的第一画面会复写第一队列Q1的储存槽中最旧的第一画面。因此，第一队列Q1以及第二队列Q2得以动态保持最新的画面。

请一并参阅图4A以及图4B，图4A以及图4B绘示本发明的一实施例中第一队列Q1及第二队列Q2的内容的示意图。

如图4A所示，第一画面F1a～F1h依序储存在第一队列Q1中。第一画面F1a记录着时间戳记T1004，亦即第一画面F1a根据系统时脉在第1004微秒时产生。第一画面F1b记录着另一时间戳记T1008，亦即第一画面F1b根据系统时脉在第1008微秒时产生。第一画面F1c记录着另一时间戳记T1012，亦即第一画面F1c根据系统时脉在第1012微秒时产生，依此类推。

在此例中，如图4A所示，第一画面彼此之间间隔4微秒。也就是说，第一相机110每4微秒产生一个新的画面(亦即每秒15个画面，15fps)，第二相机120也每秒产生15个画面。

另一方面，第二画面F2a～F2h依序储存在第二队列Q2中。第二画面F2a记录着时间戳记T1004，亦即第二画面F2a根据系统时脉在第1004微秒时产生。第二画面F2b记录着另一时间戳记T1008，亦即第二画面F2b根据系统时脉在第1008微秒时产生。第二画面F2c记录着另一时间戳记T1012，亦即第二画面F2c根据系统时脉在第1012微秒时产生，依此类推。

方法300执行步骤S304用以判定影像撷取功能是否触发。当影像撷取功能触发时(例如使用者按压下功能键160或通过任何等效的触发方式)，触发第一相机110撷取第一影像IMG1，且触发第二相机120撷取第二影像IMG2(如图4B所示)，其中第二影像IMG2与第一影像IMG1彼此时间同步。

在本发明中，当影像撷取功能开启时，第一相机110以及第二相机120无须设定、拍摄、收集数据、输出数据作为输出影像。一并参阅图3以及图4A，当第一相机110触发撷取第一影像IMG1(亦即影像撷取功能触发时)，方法300执行步骤S306用以从第一画面F1a～F1h之中取出具有第一时间戳记的第一画面为第一影像IMG1。如图4A所示，8个第一画面F1a～F1h分别记录着时间戳记T1004、T1008、T1012、T1016、T1020、T1024、T1028、T1032。在此实施例的步骤S306期间，取出最新的第一画面F1h作为第一影像IMG1，其中第一画面F1h记录着最新的时间戳记T1032(亦即此例中所述的第一时间戳记为T1032)。因此，储存在储存槽QS13的第一画面F1h被取出作为第一影像IMG1。在一些实施例中，第一影像IMG1通过处理器130储存至储存单元140。

接着，方法300执行步骤S308用以从第二队列Q2的第二画面F2a～F2h中搜寻具有对应第一时间戳记(T1032)的第二时间戳记的第二画面。在此实施例中，步骤308用以从第二画面F2a～F2h中搜寻具有与第一时间戳记(T1032)最靠近的第二时间戳记的第二画面。第二画面F2h的第二时间戳记(T1032)与第一画面F1h的第一时间戳记(T1032)最靠近。

因此，方法300执行步骤S310用以取出记录着第二时间戳记(T1032)对应的第二画面F2h为第二影像IMG2。在一些实施例中，第二影像IMG2通过处理器130储存于储存单元140。

当影像撷取功能触发时，第一影像IMG1以及第二影像IMG2已经以画面形式储存于第一队列Q1以及第二队列Q2中，故可以较快产生第一影像IMG1以及第二影像IMG2。因此，使用者可以即时地体验到对于拍摄照片指令(例如按压下功能键160)快速的反应。

如图4A所示，第一画面F1h以及第二画面F2h分别储存于第一队列Q1的第4储存槽QS13中以及第二队列Q2的第6储存槽QS25中。仅管当第一队列Q1以及第二队列Q2并无将储存槽中的画面依相同次序排列以达到时间同步，方法300仍然可依据每个画面中所记录的时间戳记来将第一队列Q1以及第二队列Q2中的画面配对。

如图4A所示的实施例，在步骤S306～S310的过程中，第一队列Q1与第二队列Q2的内容保持一致为理想的情况。然而，电子装置100在实际的应用中可能无法在第一队列Q1以及第二队列Q2的内容变动之前将步骤S306～S310执行完毕。由于第一队列Q1以及第二队列Q2的内容可在短期间内动态更新/刷新(例如在此实施例中每4微秒更新/刷新)。

请参阅图4B，图4B绘示根据本发明的次一实施例中第一队列Q1及第二队列Q2的内容的示意图。如图4A以及上述实施例所示，从第一队列Q1之中取出具有第一时间戳记(T1032)的第一画面F1h为第一影像IMG1。当处理器130执行运算时(例如执行步骤S306，储存第一影像IMG1以及记录第一时间戳记等)，第一相机110以及第二相机120持续产生新的画面储存至第一队列Q1以及第二队列Q2中，因此使得第一队列Q1以及第二队列Q2的内容在8微秒后如图4B所绘示。

对应图4A的步骤S306，记录着第一时间戳记(T1032)的最新的第一画面F1h被取出作为第一影像IMG1。步骤S308得以利用第一时间戳记(T1032)来搜寻第二队列Q2。对应图4B的步骤S308(例如图4A经过8微秒后)，记录着第二时间戳记(T1032)的第二画面F2h已经不是最新的画面。已有新进来的画面F2i以及画面F2j储存至第二队列Q2。根据步骤S308来搜寻对应第一时间戳记(T1032)的时间戳记，第二画面F2h记录着与第一时间戳记(T1032)最靠近的第二时间戳记(T1032)。因此，步骤310取出第二画面F2h作为第二影像IMG2。

也就是说，根据时间戳记的信息从第二队列Q2中挑选出相对于第一影像IMG1最为同步的画面作为第二影像IMG2，而非挑选第二队列Q2中最新的画面。由第二相机120所撷取的第二影像IMG2以及由第一相机110所撷取的第一影像IMG1彼此时间同步。通过方法300可以减少由于撷取时间间隔造成的影像间的不匹配。

在上述的实施例中，第一队列Q1以及第二队列Q2具有相同数量的储存槽以储存第一/第二画面，但本发明不以此为限。

请参阅图5，图5绘示根据本发明的另一实施例中第一队列Q1及第二队列Q2的内容的示意图。如图5所示，第一队列Q1具有8个储存槽及第二队列Q2具有6个储存槽，故第一队列Q1与第二队列Q2的储存槽数量彼此不匹配。根据上述的方法300，步骤S306将记录着第一戳记(T1032)最新的第一画面F1h取出作为第一影像IMG1。接着，根据对应第一时间戳记(T1032)的搜寻结果，步骤S310将记录着第二时间戳记(T1032)的第二画面F2f取出作为第二影像IMG2。因此仅管第一队列Q1与第二队列Q2的储存槽数量彼此不匹配，方法300仍然可将两相机的影像时间同步。此实施例中的其余相关细节如同上述实施例，在此不再赘述。

在上述的实施例中，在步骤S302中第一相机110以及第二相机120利用相同的画面频率来更新第一队列Q1以及第二队列Q2，但本发明不以此为限。

请参阅图6，图6绘示根据本发明的又一实施例中第一队列Q1及第二队列Q2的内容的示意图。如图6所示，第一相机110每4微秒更新1次第一队列Q1(15fps)，第二相机120每2微秒更新1次第二队列Q2(30fps)。在此例中，记录着第一时间戳记(T1032)的第一画面F1h被取出作为第一影像IMG1，因此记录着第二时间戳记(T1032)的第二画面F2h则被取出作为第二影像IMG2。故仅管第一队列Q1与第二队列Q2的画面更新频率彼此不匹配，方法300仍然可将两相机的影像时间同步。此实施例中的其余相关细节如同上述实施例，在此不再赘述。

请参阅图7，图7绘示根据本发明的再一实施例中第一队列Q1及第二队列Q2的内容的示意图。如图7所示，第一相机110每1微秒更新1次第一队列Q1(60fps)，第二相机120每2微秒更新1次第二队列Q2(30fps)。

在此例中，因为第一时间戳记(T1031)为最新的时间戳记，记录着第一时间戳记(T1031)的第一画面F1h被取出作为第一影像IMG1。另一方面，由于与第一时间戳记(T1031)最靠近的时间戳记为第二时间戳记(T1030)的，记录着第二时间戳记(T1030)的第二画面F2h则被取出作为第二影像IMG2。在此例中，由于第一时间戳记(T1031)与第二时间戳记(T1030)之间的不匹配，第一画面F1h与第二画面F2h无法完美地同步。然而方法300可取得记录着最靠近第一画面F1h的第二时间戳记(T1030)的第二画面F2h。因此成对的第一影像IMG1与第二影像IMG2能使第一队列Q1与第二队列Q2之间达到最佳的时间同步。此实施例中的其余相关细节如同上述实施例，在此不再赘述。

虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (8)

1.一种摄影方法，其特征在于，适用于包含一第一相机以及一第二相机的一电子装置，该摄影方法包含：

该第一相机持续在不同的时间点个别产生多个第一画面并依序储存至一第一队列，每一个第一画面具有各自的一第一时间戳记，多个第一时间戳记记录该第一相机产生每一个第一画面各自不同的时间点，该第二相机持续在不同的时间点个别产生多个第二画面并依序储存至一第二队列，每一个第二画面具有各自的一第二时间戳记，多个第二时间戳记记录该第二相机产生每一个第二画面各自不同的时间点；

当该第一相机触发撷取一第一影像，从所述多个第一画面之中取出具有其中一第一时间戳记的其中一第一画面为该第一影像；

从该第二队列之中搜寻具有对应该其中一第一时间戳记的其中一第二时间戳记的其中一第二画面；以及

从所述多个第二画面之中取出对应的该其中一第二画面为一第二影像。

2.根据权利要求1所述的摄影方法，其特征在于，取出该第一影像还包含：

从该第一队列之中取出具有最新的时间戳记的该第一画面为该第一影像。

3.根据权利要求1所述的摄影方法，其特征在于，搜寻该第二影像还包含：

从该第二队列之中搜寻具有与该第一时间戳记最靠近的该第二时间戳记的该第二画面。

4.根据权利要求1所述的摄影方法，其特征在于，该第二相机所撷取的该第二影像与该第一相机所撷取的该第一影像彼此时间同步。

5.根据权利要求1所述的摄影方法，其特征在于，该第一队列与该第二队列皆为环形缓冲区，所述环形缓冲区各自包含多个储存槽，且每一个储存槽用以储存所述第一画面之中一个第一画面或储存所述第二画面之中一个第二画面。

6.根据权利要求1所述的摄影方法，其特征在于，在一双重相机架构中，该第一相机为一主相机及该第二相机为一从属相机。

7.根据权利要求6所述的摄影方法，其特征在于，该第一相机与该第二相机分别利用非同步的画面速率来感测所述第一画面及所述第二画面。

8.一种电子装置，其特征在于，包含：

一处理模块；

一第一相机，用以持续在不同的时间点个别产生多个第一画面并依序储存至一第一队列，每一个第一画面具有各自的一第一时间戳记，多个第一时间戳记记录该第一相机产生每一个第一画面各自不同的时间点；

一第二相机，用以持续在不同的时间点个别产生多个第二画面并依序储存至一第二队列，每一个第二画面具有各自的一第二时间戳记，多个第二时间戳记记录该第二相机产生每一个第二画面各自不同的时间点；以及

一非暂态计算机可读取储存媒体，包含一或多个指令可供该处理模块执行一方法，其中该方法包含：

当该第一相机触发撷取一第一影像，从所述多个第一画面之中取出具有其中一第一时间戳记的其中一第一画面为该第一影像；

从该第二队列之中搜寻具有对应该其中一第一时间戳记的其中一第二时间戳记的一第二画面；以及

从所述多个第二画面之中取出对应的该其中一第二画面为一第二影像。