CN103248818B - 图像撷取方法与相关图像撷取系统 - Google Patents

Abstract

通过在图像撷取设备中将数据路径分离且同时以平行方式运作来产生预览帧、视频帧、与摄图帧，可使得图像撷取设备免于不必要的快门延迟。

Description

图像撷取方法与相关图像撷取系统

技术领域

本发明揭露一种图像撷取方法与相关的图像撷取设备，尤指一种无快门延迟(Zero Shutter Lag Effect)的图像撷取方法与相关的图像撷取设备。

背景技术

大部分的移动电子装置都具有录像操作与摄影操作，该类移动电子装置包含智能型手机或平板计算机。然而，由于上述的录像操作与摄影操作会执行于一般移动电子装置所安装的不同应用程序中，因此录像操作与摄影操作无法同时在一般移动电子装置上启动或使用。如此一来，若使用者想要同时使用录像操作与摄影操作，则使用者会被迫在录像操作与摄影操作所属的不同应用程序间进行繁复的切换。

举例来说，若使用者想要在所参加的婚礼上使用一般的移动电子装置来录制一段影片并同时拍摄照片，使用者必须持续频繁在一般移动电子装置上进行录像操作与摄影操作所属的不同应用程序的切换，因而感到不便，甚至在切换时造成一般移动电子装置在处理上的严重延迟。甚者，这样的严重延迟最后会因为频繁切换应用程序所产生的过重处理器负担，而导致一般移动电子装置的故障。

除此以外，一般移动电子装置亦可提供预览操作。然而，在图像被编码及储存在存储器以前，使用者所发出的任何用来启动快门的摄影事件指令都无法被启动；也就是说，在一般移动电子装置中，必须先行等待先前撷取的图像被编码完成，才能够继续撷取新的图像。很明显地，一般移动电子装置为了要先行对已撷取的图像进行编码，会造成在处理图像撷取上会相当耗时的缺点。

发明内容

本发明揭露一种图像撷取设备，其包含图像感测模块、图像信号处理器、后端处理单元。图像感测模块用以连续撷取多个原始图像。图像信号处理器用来根据多个原始图像，以平行方式同时产生多个预览图像与第一多个摄图帧(Camera Frame)。后端处理单元包含预览模块、视频处理单元、摄影暂存缓冲器、图像编码单元、及存储器。预览模块用来提供多个用于显示的预览帧。视频处理单元用来对应于录像指令，根据多个预览帧来编码出多个视频帧。摄影暂存缓冲器用来暂存第一多个摄图帧。图像编码单元用来对应于图像撷取指令，根据第一多个摄图帧来编码出第二多个摄图帧。存储器用来储存多个视频帧与第二多个摄图帧。图像撷取指令是在执行录像指令时被接收，且视频处理单元编码多个视频帧与图像编码单元编码第二多个摄图帧两者之间是平行执行的。

本发明揭露一种图像撷取方法，用于可携式电子装置。该图像撷取方法包含在可携式电子装置上启动(Launch)一图像撷取应用程序；由可携式电子装置的图像感测模块接收多个原始帧；于第一数据路径(Data Path)提供多个原始帧以产生多个第一帧，该多个第一帧具有第一分辨率；于第二数据路径提供多个原始帧以产生多个第二帧，该多个第二帧具有第二分辨率，且第一帧与第二帧是同时(Concurrently)产生；接收第一图像撷取指令；对应该第一图像撷取指令，撷取多个第一帧的至少一部分第一帧，并将所撷取的部分第一帧在第一数据路径上以第一格式储存；在撷取该部分第一帧时，接收第二图像撷取指令，第二图像撷取指令具有与第一图像撷取指令不同的种类(Type)；及对应第二图像撷取指令，撷取该多个第二帧的至少一部分，并将所撷取的该部分第二帧在第二数据路径上以第二格式储存。第一数据路径与第二数据路径是同时(Concurrently)且彼此独立运作。

本发明还揭露一种图像撷取方法，可用于图像撷取设备。该图像撷取方法包含接收录像指令以启动录像操作(Operation)；对应于录像指令，通过撷取多个视频帧执行录像操作，该多个视频帧具有第一分辨率；在执行录像操作时，接收一摄影指令；及对应于摄影指令，执行摄影操作以撷取至少一摄图帧(Camera Frame)，该摄图帧具有第二分辨率。

附图说明

图1为本发明一实施例的一图像撷取设备。

图2为图1所示的图像撷取设备所实施的帧撷取机制的概略示意图。

图3至图6为图1所示的预览模块通过一触控屏幕所显示的一使用者界面及进行选单操作的示意图。

图7绘示相簿界面包含的多个帧。

图8与图9为本发明实施例的图像撷取方法的流程图。

[标号说明]

100 图像撷取设备 110 图像感测模块

120 图像信号处理器 130 后端处理单元

140 预览模块 150 视频处理单元

160 摄影暂存缓冲器 170 图像编码单元

180 存储器 200 使用者界面

210 摄影快门图像 220 录像快门图像

230 相簿快捷方式图像 240 景象放大/缩小图像

250 景象设定图像 260 设定图像

270 闪光灯图像 280 警示区域图像

290 效果选择图像 255、265、295 操作选单

802、804、806、808、810、812、814、816、902、904、906、908、910、912、914、916、918 步骤

具体实施方式

请参阅图1，其绘示本发明一实施例的图像撷取设备100。如图1所示，图像撷取设备100至少包含图像感测模块110、图像信号处理器120、与后端处理单元130。后端处理单元130包含预览模块140、视频处理单元150、摄影暂存缓冲器160、图像编码单元170、以及存储器180。

图像感测模块110用以连续撷取多个原始帧(Original Frame)I1。在本发明的一实施例中，原始帧I1的分辨率为全分辨率(Full Resolution)。

图像信号处理器120用来根据多个原始帧I1，产生多个预览帧(Preview Frame)I2以及多个输入摄图帧I3。在本发明的一实施例中，图像信号处理器120通过将原始帧I1的分辨率由一第一分辨率降低(downscale)至一第二分辨率来产生预览帧I2，使得预览帧I2相较于原始帧I1具有较小的图像大小及/或较低的分辨率。预览帧I2可用来提供给显示单元(未图标)以供显示或用来产生缩图(Thumbnail)。在本发明的一实施例中，图像信号处理器120通过将多个第一原始帧I1由第一分辨率调整至一第三分辨率来产生多个输入摄图帧I3，其中第三分辨率可由使用者指定、或可小于或等于第一分辨率。

在本发明的部分实施例中，图像信号处理器120用来提供多个预览帧I2至预览模块140，并用来提供多个输入摄图帧I3至摄影暂存缓冲器160，其中图像信号处理器120提供预览帧I2与输入摄图帧I3的运作是分别以相等或不等的帧率经由相异的数据路径进行。

预览模块140用来提供多个预览帧I2以供使用者浏览。在本发明的一实施例中，预览模块140可连接于一触控屏幕(未图标)，以在预览帧I2或输入摄图帧I3上执行各种操作。

视频处理单元150用来对应于录像指令，对预览帧I2进行编码以产生视频帧I4，其中录像指令可由使用者经由触控屏幕及/或其它的触发机制来发出。在本发明的一实施例中，视频帧I4的数据格式可通过使用者发出的一使用者输入指令来指定。举例来说，视频处理单元150可以MPEG-4格式编码视频帧I4。

摄影暂存缓冲器160用来持续地暂存输入摄图帧I3。除此之外，对应于图像撷取指令，例如一摄影指令，摄影暂存缓冲器160用来输出由多个输入摄图帧I3中选出的至少一个输出摄图帧I5。任何对摄影暂存缓冲器160的存取指令都可以经由读取指标与写入指标来控制，其中读取指标用来指出摄影暂存缓冲器160中将要输出摄图帧的位置，且写入指针用来指出摄影暂存缓冲器160中将要写入摄图帧的位置。在本发明的一实施例中，摄影暂存缓冲器160可实现为环状暂存缓冲器(Ring Buffer)，其中一覆写指针(Overwrite Pointer)用来指出环状暂存缓冲器中可被覆写的位置。摄影暂存缓冲器160可根据帧接收的时间顺序，持续以新接收的输入摄图帧I3来更新其暂存的内容，或是持续将旧的输入摄图帧I3删除或覆写。

图像编码单元170用来对应于摄影指令，接收输出摄图帧I5并将输出摄图帧I5加以编码以产生已编码摄图帧I6。在本发明的一实施例中，已编码摄图帧I6的数据格式可由使用者所指定或是可预先定义。举例来说，图像编码单元170可使用JPEG格式来产生已编码帧I6。

存储器180用来储存由视频处理单元150所接收的视频帧I4及/或由图像编码单元170所接收的已编码摄图帧I6。在本发明的一实施例中，存储器180中用来储存视频帧I4及/或已编码摄图帧I6的位置是由使用者所指定或可事先定义。存储器180可为一内置储存单元或一外接储存单元。在本发明的一实施例中，存储器180可为嵌入式多媒体存储卡(Embedded Multimedia Memory Card，eMMC)、安全数字存储卡(Secure Digital MemoryCard)、微安全数字存储卡(Micro Secure Digital Memory Card)、通用序列总线(Universal Serial Bus，USB)储存装置、及/或其它适合的储存装置。

在本发明的各实施例中，已编码摄图帧I6与视频帧I4可具有相异的设定值，例如相异的分辨率、帧率、操作模式等。在本发明的一实施例中，一整合(Integrated)图像撷取应用程序可对应使用者输入指令而被实时启动于图像撷取设备100上以执行录像操作及/或摄影操作，其中该使用者输入指令系对应于该整合图像撷取应用程序。

以数据路径的观点来说，图1所示的第一数据路径DP1、第二数据路径DP2、以及第三数据路径DP3是为了处理预览帧、视频帧、与摄图帧所分别设置的。第一数据路径DP1用来处理预览帧，且经过图像感测模块110、图像信号处理器120、以及预览模块140。第二数据路径DP2用来处理视频帧，且经过图像感测模块110、图像信号处理器120、视频处理单元150、以及存储器180。第三数据路径DP3用来处理摄图帧，且经过图像感测模块110、图像信号处理器120、摄影暂存缓冲器160、图像编码单元170、以及存储器180。对应于发出的录像指令，视频帧I4会于第二数据路径DP2上产生，其中录像指令可转换为视频事件VE并传输至后端处理单元130。对应于发出的摄影指令，已编码摄图帧I6会于第三数据路径DP3上产生，其中摄影指令可转换为摄影事件CE并传输至后端处理单元130。一般来说，图像感测模块110会输出多个原始帧I1至图像信号处理器120，图像信号处理器120可根据同一批多个原始帧I1同时产生出至少二个具有不同分辨率及/或不同帧率的帧提供给不同的操作，例如上述的预览帧I2与输入摄图帧I3。也就是说，图像信号处理器120可通过各自分开的多个数据路径同时输出帧至不同的处理单元。在图1所示的实施例中，图像信号处理器120可同时且平行地使用数据路径DP1提供预览帧I2至预览模块140、使用数据路径DP2提供预览帧I2至视频处理单元150、以及使用数据路径DP3提供输入摄图帧I3至摄影暂存缓冲器160。在先前技术的一般移动电子装置中，由于只能使用单一路径来处理单一种类的图像操作，因此先前技术的一般移动电子装置不可能同时执行二种以上的图像处理操作。而在本发明的各实施例中，第一数据路径DP1、第二数据路径DP2、第三数据路径DP3可在图像撷取设备100中平行运作，且视频处理单元150与图像编码单元170可各自独立且同时地对应视频事件VE与摄影事件CE来运作。本发明的各实施例并不限于上述的三种数据路径，也就是说，各种数量的数据路径可根据系统的需求来实施于本发明的各实施例。

另外，在本发明的各实施例中，将输出摄图帧I5传输至图像编码单元170与将先前图像编码单元170接收的输出摄图帧I5编码为已编码摄图帧I6的运作也可以同时且平行地运行。举例来说，在图像编码单元170具有自己的暂存缓冲器或摄影暂存缓冲器160可用来暂存多个输出摄图帧I5的情况下，暂存缓冲器便可以通过限制图像编码单元170的运算负担的方式来送出输出摄图帧I5。

除此以外，预览模块140可用来持续提供预览帧I2作为显示之用，且不会遭受到第二数据路径DP2与第三数据路径DP3的干扰，此是因第一数据路径DP1、第二数据路径DP2、第三数据路径DP3之间的独立性。

通过图像撷取设备100中彼此互相独立且同时运行的数据路径，可解决一般移动电子装置在撷取图像时不能同时执行其它操作的缺点，此是因第三数据路径DP3上执行的摄影操作或第二数据路径DP2上执行的录像操作已经不需要互相等待完成后才能执行或是已经不需要等待第一数据路径DP1执行完毕后才能运作。如此一来，在图像撷取设备100上可以启动上述的整合图像撷取应用程序，且该整合图像撷取应用程序可同时执行录像操作与图像撷取操作而不需要同时中止显示预览图像。

在本发明的一实施例中，当视频事件VE被触发且尚未中止时，亦即当执行录像操作时，预览模块140可持续地提供预览图像I2以作显示之用。预览模块140除了可提供预览图像I2至触控屏幕以外，亦可在触控屏幕上显示一快门图像用以接收摄影指令。如此一来，由于后端处理单元130的预览操作与图像撷取操作可以同时执行，图像撷取设备100的使用者可以按压该快门图像以启动图像撷取设备100的连续摄影操作，且不须中止预览操作与录像操作。

在本发明的一实施例中，当预览模块140持续显示预览帧I2时，图像信号处理器120可根据预览帧I2来执行自动对焦并产生焦距控制信号FC以调整图像感测模块110的焦距，其中焦距控制信号FC用来指出调整焦距的策略，该策略可包含移动或旋转图像感测模块110的镜头单元(未图标)的方式。通过自动对焦操作，在接收到录像指令或摄影指令时，图像感测模块110可免于调整焦距产生的处理延迟，此是因图像感测模块110的焦距可被事先适当地调整。另外，当一般移动电子装置的前景应用程序(Foreground Application)由录像应用程序切换至摄影应用程序时，图像感测模块会需要改变其焦距，此是因录像操作所需要的焦距相较于摄影操作所需要的焦距比较小(近)；然而，通过图像撷取设备100所提供的自动对焦操作，在图像撷取设备100由录像操作切换至摄影操作时，图像感测模块110的焦距(亦即图像感测模块110的视角(field of view))可免于被更动。

零快门延迟(Zero Shutter Lag)可通过于图像撷取设备100实施图2所示的帧撷取机制来实现，此帧撷取机制主要适用于图1所示的第二数据路径DP2及/或第三数据路径DP3。此帧撷取机制包含实施于后端处理单元130的应用程序层与驱动程序层。在图2中，以(t-4)、(t-3)、(t-2)、(t-1)、t、(t+1)、(t+2)、(t+3)所标示的各帧是代表在时间点(t-4)、(t-3)、(t-2)、(t-1)、t、(t+1)、(t+2)、(t+3)出现的帧，其中标示为(t-4)的帧代表其出现在早于时间点t四个时间单位的时间点，且标示为(t+3)的帧代表其出现在晚于时间点t三个时间单位的时间点。在本发明的部分实施例中，上述的时间单位可为一微秒(Micro-second)。

在详细解说图2所示的帧撷取机制以前，需要先行解说一般移动电子装置视如何撷取摄图帧的。当一般移动电子装置的使用者压触一摄影快门以在时间点t撷取摄图帧时，一般移动电子装置上所产生的快门延迟会使得其实际上是在时间点t之后数个时间单位才开始撷取摄图帧，例如在时间点(t+3)才开始进行摄图帧的撷取。该快门延迟可能会为所撷取的摄图帧带来非预期的瑕疵，例如图像失真。

在图2所示的帧撷取机制中，在时间点(t-4)、(t-3)、(t-2)、(t-1)、t、(t+1)、(t+2)、(t+3)出现的摄图帧会持续地暂存于暂存缓冲器160。当摄影事件CE在时间点t被触发并在应用程序层被接收时，图像处理单元170开始在单发摄影模式(Single Shot Mode)下撷取对应于时间点t的摄图帧或是在自动连拍模式(Auto Burst Mode)下连续撷取对应于时间点t、(t+1)、(t+2)、(t+3)的摄图帧，在此假设自动连拍模式是预设一次触发会连续拍摄四个摄图帧。在本发明一实施例中，连续快拍(Continuous Burst Mode)模式亦可用来在图像撷取设备100的使用者持续触发摄影事件CE的情况下，对应地持续撷取位于时间点t、(t+1)、(t+2)、(t+3)、(t+4)、…的摄图帧，上述持续触发摄影事件CE的例子可包含使用者持续按压图像撷取设备100上所显示的摄影快门图像或是硬件的摄影快门按钮。请注意，上述的自动连拍模式可由使用者设定其它数量的连拍摄图帧数目或是采用预设的连拍摄图帧数目，而不限于上述的四个连拍摄图帧。通过图2所示的帧撷取机制可实现零快门延迟的效果，此是因对应于被触发的摄影事件CE，此帧撷取机制可以撷取至少一个摄图帧而无须延迟一定时间单位。在本发明的各实施例中，当摄影暂存缓冲器160的储存容量越大时，图像撷取设备100在第三数据路径DP3上所带来零快门延迟的效果将会更好也更明显。除此以外，摄影暂存缓冲器160的可用储存容量也可以经由使用者指定。

在本发明的部分实施例中，若图2的摄图帧替换为视频帧，则零快门延迟亦可通过图2所示的帧撷取机制来实现于图像撷取设备100的第二数据路径DP2。

在本发明的部分实施例中，预览模块140耦接于触控屏幕，该触控屏幕可因应图像撷取设备100的不同前景应用程序来显示使用者界面，并可对应图像撷取设备100目前所启动的前景应用程序来接收触控指令，其中该触控指令可为一使用者输入指令，且该触控指令可以手指触压、触控笔、一般的笔、及/或其它适当的触发机制来触发。在本发明的部分实施例中，该触控屏幕可一次同时接收多个使用者输入指令。

请参阅图3，其绘示本发明一实施例的预览模块140提供给触控屏幕显示的使用者界面200的示意图。如图3所示，使用者界面200用来显示包含摄影快门图像210、录像快门图像220、相簿快捷方式图像230、景象放大/缩小图像240、景象设定图像250、设定图像260、闪光灯图像270、提示区域图像280、以及效果选择图像290等图像按钮，上述各图像皆可通过使用者输入指令所触发。请注意，在本发明的其它实施例中，使用者界面200可显示较图3更多或更少的图像，且图像可以持续显示，或是也可以显示一段时间后便消失直到再次被触发后才显示。

对应于摄影快门图像210上的触发，亦即对应于摄影事件CE的触发，图像撷取设备100会执行摄影操作。对应于视频快门图像220上的触发，亦即对应于视频事件VE的触发，图像撷取设备100会执行录像操作。当摄影快门图像210在录像操作被触发且正执行时被触发的话，摄影操作仍可被启动，而不须中断录像操作的执行。

多个预览帧I2其中之一会被显示于相簿快捷方式图像230上作为缩图，且该缩图会被其后接收的其它预览帧I2所更新，其中显示于相簿快捷方式图像230上的预览帧I2会对应于最新一个被撷取的预览帧I2，也就是最新的已编码摄图帧I6。显示于相簿快捷方式图像230上的预览帧I2也会在新的摄影操作执行完毕后被更新。对应于相簿快捷方式图像230上的触发，图像撷取设备100上目前执行的前景应用程序会被切换至相簿应用程序以显示存储器180所储存的所有先前已撷取的已编码摄图帧I6以及视频帧I4。可用来播放已撷取或已储存的帧或图像的多媒体播放应用程序亦可提供一摄影图像按钮，当在播放视频帧I4的串流时收到摄影图像按钮的触发，至少一个视频帧I4可被选取以进行撷取与编码为已编码摄图帧I6。

当景象放大/缩小图像240被触发时，至少一个原始帧I1可被对应地放大或缩小，其中该触发可通过在景象放大/缩小图像240上往左滑动或往右滑动来实现。如此一来，图像感测模块110可对应并自动调整其包含的镜头单元来调整其焦距，以放大或缩小景象。

对应于景象设定图像250上的触发，预览模块140目前显示的景象可以被切换。对应于设定图像260上的触发，图像撷取设备100所采用的设定可通过使用者输入指令来更新。对应于闪光灯图像270的触发，图像撷取设备100所配备的闪光灯产生器可被启动来发出闪光，以增进低亮度环境下的图像撷取效果。

在本发明的部分实施例中，上述所有使用者界面200包含的图像可永久地显示。在本发明的部分实施例中，只有被触发的图像才会被显示在使用者界面200上，而其它未被触发的图像将不会被显示(Shadowed)，亦即消失；被触发的图像被显示一段时间以后也会在其它使用者界面200上的图像被另一使用者输入指令触发的情况下消失于使用者界面200。举例来说，在本发明的部分实施例中，若摄影快门图像210被触发，使用者界面200上的其它区域将会消失数秒后才会再出现，或是将会消失至图像撷取设备100的使用者触发摄影快门图像210以外的其它按钮为止。

在本发明的一实施例中，若使用者界面200的一图像被使用者输入指令所触发，预览模块140可用来提供并弹出(pop-up)对应操作选单，让使用者可在对应的指令选单上选取一选项。录像操作与摄影操作的选项可置放于使用者界面200的同一层以便利使用者的操作。使用者可在使用者界面200上往上或往下滑图像按钮以选择一选项。请参阅图4，其绘示本发明一实施例于图3的景象设定图像250被触发时对应在使用者界面200上弹出的操作选单255的示意图。如图4所示，操作选单255会对应于景象设定图像250的触发而在使用者界面200上被弹出。操作选单255包含的目前显示选项有「慢动作」、「正常」、「背光高动态范围成像(High Dynamic Range Imaging，HDR Imaging)」、「全景(Panorama)」、「群组」、及「关闭」等，其中「慢动作」选项属于录像操作，「正常」选项属于录像操作与摄影操作，「背光高动态范围成像」选项与「全景」选项属于摄影操作。请参阅图5，其根据本发明的一实施例图示对应图3的设定图像260在使用者界面200上被弹出的操作选单265。如图5所示，操作选单265包含具有「正常」状态的「摄影选择」选项、具有「关闭」状态的「本体定时器」选项、具有「8M(3264x1840)」分辨率状态的「图像分辨率」对象、具有「全高画质(Full HD)」状态的「视频质量」选项、具有「不重新播放(Review)」状态的「重新播放时间长度」选项、具有「自订(Custom)」状态的「图像调整设定」选项、以及「图像ISO设定」选项。每一个选项的状态可对应于其对应的选项的触发而更新。请参阅图6，其绘示本发明一实施例对应于图3的效果选择图像按钮290而在使用者界面200上被弹出的操作选单295的示意图。如图6所示，操作选单295包含「无特效」、「失真(Distortion)」、「对齐(Align)」等选项。在图4至图6所示的状况中，被弹出的操作选单将会在使用者于使用者界面200上触发其它未触发的区域后消失，或是在一预定时间后消失。

下列所述为图1的图像撷取设备100可执行的数种操作模式的实施例。这些操作模式包含：

视频模式：

如以上所述，录像操作会在对应于录像快门图像220被触发时而启动，其中第二数据路径DP2用来支持录像操作。在本发明的实施例中，录像快门图像220会在被使用者输入指令触发时改变其颜色。举例来说，当录像快门图像220被使用者输入指令所致能或触发时，会将其颜色更新为不透明。在本发明的一实施例中，景象设定图像250会经由一使用者输入指令而被触发，以开启操作选单255，而让使用者可选择以正常速度或慢动作方式来录制视频。在本发明的一实施例中，使用者可触发设定图像260以在使用者界面200上弹出操作选单265，进而选择想要的视频质量。

在慢动作录像操作中，该视频在视频质量上需要相较正常速度更高的帧率，例如正常速度的二倍帧率。也就是说，在相等的录像时间中，慢动作录像操作需要撷取相较于正常速度录像为多的帧。为了以更高的帧率来撷取视频帧，图像感测模块110可减少其图像撷取的分辨率，而使得原始帧I1的分辨率被降低，且视频帧I4的时间标记也会对应扩展至更长的时间区间。举例来说，若正常录像的帧率是每秒30个帧(Frame per sec，FPS)，则慢动作录像的帧率可提高至每秒60个帧，且视频帧I4的时间标记也会被扩展至原先的二倍的时间区间。如此一来，视频帧I4的播放时间长度也会变成正常速度的两倍，换言之，相较于正常速度，根据视频帧I4所产生的景象移动速度也会变得缓慢。在慢动作录像操作下所产生的视频帧I4同样地也可以在正常速度下回放以回复正常动作速度，在播放的过程中需要舍弃部分的视频帧来达成正常动作速度，且舍弃的视频帧率可与慢动作录像操作的帧率以及正常速度的帧率比率有关或无关。举例来说，在慢动作录像操作的帧率相较正常速度的帧率为二倍时，每二个视频帧I4便可舍弃一个，以在正常速度下播放视频帧I4。

摄影模式：

如以上所述，摄影操作可对应于摄影快门图像210的触发而被启动，其中第三数据路径DP3用来支持摄影操作。除此以外，本发明揭露的图像撷取机制带来的零快门延迟效果也可便利图像撷取设备100以第三数据路径DP3来执行摄影操作。在本发明的一实施例中，图像撷取设备100的使用者不需要特地点选触控屏幕上显示的预览帧I2以选取一物体来对焦，此是因预览模块140会自动实施上述的自动对焦机制以决定预览帧I2上的焦距，并会根据所决定预览帧I2上的焦距来调整图像感测模块110所使用的焦距。然而，在本发明的另一实施例中，使用者仍可通过发出使用者指令来选取一物体进行对焦；举例来说，使用者可点选触控屏幕上所显示的预览帧I2的景象中所出现的脸部图像来对焦。另外，在本发明的一实施例中，也可以通过图像信号处理器130来进行物体追踪操作，使得图像信号处理器130可通过分析预览图像I2来追踪并锁定景象中出现的任何物体，例如脸部图像。缩图亦可对应于相簿快捷方式图样230上的触发而根据预览帧I2来产生，并显示于使用者界面200。在本发明的一实施例中，当图像撷取设备100的摄影操作启动自动连拍模式，以持续或在一限定时间内撷取多个摄图帧时，显示于使用者界面200的缩图会根据最新被撷取的输出摄图帧I5而持续地更新。在本发明的一实施例中，对应于摄影快门图像220的触发(亦即一次摄影事件CE的触发)所一次连续撷取的输出摄图帧I5数量可为五个或其它数量。在本发明的一实施例中，对应于摄影快门图像220的触发，图像撷取设备100亦可产生摄影快门的触发音效。另外，图像撷取设备100可另外通过调整上述摄影快门的触发音效的发声时间来平衡其音量，其中图像撷取设备100的使用者可自行设定该发声时间的长度。举例来说，摄影快门的触发音效在上述的自动连拍模式下的发声时间长度可较正常情况为短。

录像中摄影模式(In-Video Camera Mode)

在本发明的一实施例中，当录像操作在图像撷取设备100上被启动时，使用者仍可触发摄影快门图像210来在不妨碍录像操作的执行的情况下来实施图像撷取(亦即摄影)操作，此是因图1所示第二数据路径DP2与第三数据路径DP3两者之间在运作上的各自独立性。也就是说，录像操作与摄影操作两者可在图像撷取设备100上被同时执行而互不干扰。

当视频中摄影模式在图像撷取设备100上被启动时，图像信号处理器120用来提供多个预览帧I2至图像处理单元150，并用来同时提供多个输入摄图帧I3至摄影暂存缓冲器160，以使得图像处理系统150产生多个视频帧I4的动作可与图像编码单元170产生多个已编码摄图帧I6的动作同时被执行。再者，多个视频帧I4与多个已编码摄图帧I6可同时被储存于存储器180中。

在本发明的一实施例中，在视频中摄影模式下，摄影操作可以全分辨率(FullResolution)来执行，且录像操作将以非全分辨率(non-Full Resolution)被实施，此为第二数据路径DP2与第三数据路径DP3执行的相互独立性所致。在本发明的一实施例中，在录像中摄影模式下，对应于持续被触发的摄影快门图像210而启动的自动连拍模式在连续撷取多个连续的摄图帧时，将不会干扰录像操作的执行，其原因与上述摄影操作与录像操作之间的独立性相同(亦即上述第二数据路径DP2与第三数据路径DP3在执行时的彼此独立性)。

摄影播放模式(Playback Camera Mode)

当图像撷取设备100实施录像操作中的视频播放操作来播放已录制的视频流时(其包含多个视频帧I4)，预览模块140可显示每一视频帧I4以使得使用者可选择多个视频帧I4其中之一来撷取或浏览。在本发明的一实施例中，视频流其中一个视频帧I4会根据其在视频流中最接近的时间标记或根据快拍景象(Screen Shot)被自动撷取。如此一来，在摄影播放模式下被撷取的视频帧I4的图像质量会受限于视频来源的图像质量，亦即原始帧I1。

文件存取模式

在图像撷取设备100的文件存取模式下，相簿界面700会显示于使用者界面200的最上层。请参阅图7，其绘示相簿界面700包含的多个帧，例如已编码帧P、P1、P2、P3、及P4与多个视频帧V、V1。如图7所示，相簿界面700中帧的浏览顺序是根据帧被撷取的顺序所决定，或是根据使用者所指定的浏览顺序所决定。在本发明的一实施例中，对于录像中摄影模式下撷取的视频帧而言，已编码摄图帧可被放置于视频帧相邻的之前或之后，使得使用者可以连续方式来浏览彼此之间有对应关系的摄图帧与视频帧。举例来说，如图7所示，以高画质分辨率(HD Resolution)且在2012年七月一日撷取的视频帧V1在相簿界面700中被设置于邻近已加密摄图帧P1与P2的位置，其中已加密摄图帧P1与P2是以每帧8MBytes的大小及(3264x1840)的分辨率在录制图像帧V1时被撷取。

在本发明的一实施例中，在摄影播放模式下撷取的已编码摄图帧会被自动置放于相邻视频帧之后，其中相邻视频帧对应于已编码摄图帧的原始帧。举例来说，在图7中，在播放视频帧时，已编码摄图帧P3与P4会被置放于与视频帧V1之后，其中已编码摄图帧P3与P4是以每帧1MByte的大小及(1280x720)的分辨率在2012年二月八日被撷取(亦即与视频帧V1在不同的日期被撷取)。如此一来，可发现视频帧V1与已编码摄图帧P3、P4的分辨率相同，亦即(1280x720)的分辨率。

在本发明的一实施例中，如图7所示P1、P2、V1、P3、P4的帧排序组合，已编码摄图帧P1、P2会在录像中摄影模式下首先被置放，接着与已编码摄图帧P1、P2同时被撷取的视频帧V1会被置放于已编码摄图帧P1、P2之后，而已编码摄图帧P3、P4会被置放于最后。通过上述的帧置放顺序，使用者可以循序方式浏览所有的已编码帧与视频帧。在本发明的一实施例中，当储存已编码视频帧于存储器180中，标签、标记、或其它类型等适当信息会与上述已编码视频帧一起被储存在存储器中，以指出已编码视频帧之间的关联性，其中该些适当信息可以元数据(Metadata)或标头(Header)等方式被储存在存储器180中。在本发明的另一实施例中，摄图帧与视频帧被置放以作浏览之用的顺序可由使用者来安排或改变。

请参阅图8，其为本发明一实施例的图像撷取方法的流程图，其中该图像撷取方法可应用于一可携式电子装置，例如图1所示的图像撷取设备100。另外，有关可携式电子装置的细节以如以上叙述所说明，特别是有关执行摄影操作的部分。如图8所示，该图像撷取方法包含如下步骤：

步骤802：在可携式电子装置上开启图像撷取应用程序。

步骤804：由可携式电子装置的图像感测模块接收多个原始帧。

步骤806：沿着第一数据路径提供该多个原始帧，以产生多个具有第一分辨率的第一帧。

步骤808：沿着第二数据路径提供该多个原始帧，以产生具有第二分辨率的多个第二帧，其中产生第二帧的过程是与产生第一帧的过程同时进行。

步骤810：接收第一图像撷取指令。

步骤812：对应于第一图像撷取指令，于第一数据路径上撷取该多个第一帧的至少一部分，并将所撷取的至少一部分第一帧以第一格式储存。

步骤814：在撷取该至少一部分第一帧时，同时接收第二图像撷取指令。

步骤816：对应第二图像撷取指令，在该第二数据路径撷取至少一个第二帧，并将所撷取的至少一个第二帧以第二格式储存。

在图8所示的实施例中，如步骤802所示，首先在可携式电子装置上启动一图像撷取应用程序，可携式电子装置包含图像撷取设备，且可为一移动电话或一平板计算机。图像撷取应用程序可执行录像操作与图像撷取操作二者，与先前技术中的可携式电子装置只能分开安装与启动上述二者应用程序的状况不同。另外，在本发明的实施例中，图像撷取应用程序可同时且平行地安装与执行录像操作与摄影操作。在步骤804中，可携式电子装置的图像感测模块可接收多个原始帧。原始帧接着会被传输至图像信号处理器以作后续处理，可包含RGB图像格式转文件、比例调整(Scaling)、去除噪声(De-noise)等。为了支持录像操作与摄影操作的同时和平行执行，图像信号处理器可用不同的分辨率及/或不同的帧率，在不同的数据路径上同时输出帧。

如步骤806所示，第一数据路径会接收原始帧并产生多个第一帧。在本发明的一实施例中，第一帧会以预览帧的形式来提供，以显示给使用者浏览。同时在步骤808中，第二数据路径会接收原始帧并产生多个第二帧。第一帧与第二帧会具有不同的设定，例如分辨率或帧率上的不同设定。在本发明的一实施例中，第二数据路径用来产生摄图帧以执行摄影操作。第二帧可暂存于一暂存缓冲器以作后续其它处理之用。

接着在步骤810中，接收第一图像撷取指令，第一图像撷取指令可对应于第一型态的图像撷取，例如录像操作，且可经由使用者界面来接收，该使用者界面可为触控屏幕。请注意，为了支持二个以上图像撷取指令的同时执行，使用者界面亦可同时提供用于二个以上图像撷取操作的控制接口。举例来说，使用者界面可在同一接口上同时提供视频快门图像与摄影快门图像，且二图像按钮可各自独立且同时地被触发。

如步骤812所示，对应于第一图像撷取指令，至少一部分的第一帧会被撷取，并以第一格式储存。在此实施例中，第一图像撷取指令可为一录像指令，该至少一部分第一帧会在第一图像撷取指令被接收的当下就立即开始被处理并编码为一视频格式，例如MPEG-4视频格式。已编码的第一帧会被储存至可携式电子装置包含的存储器，存储器可为嵌入式多媒体存储卡或安全数字存储卡。

在步骤814中，在执行第一图像撷取指令时，亦即当至少一部分第一帧仍被撷取与储存时，可通过上述的使用者界面接收一第二图像撷取指令，第二图像撷取指令的型态可不同于第一图像撷取指令。在本发明的一实施例中，第二图像撷取指令为一摄影操作指令，且摄影操作指令可为单发摄影(Single Shot)或连拍摄影(Burst Shot)。在本发明的另一实施例中，第一图像撷取指令与第二图像撷取指令可从不同的使用者界面接收，例如硬件录像快门按钮及/或硬件摄影快门按钮。

在步骤816中，对应于第二图像撷取指令，撷取第二帧并以第二格式被储存。如此一来，至少一个第二帧会在接收到第二图像撷取指令的同时开始由暂存缓冲器中取出并编码为静态图像格式，例如JPEG图像格式。如以上所述，第二图像撷取指令可为单发摄影指令、多发摄影指令(Multiple Shot)、或连拍摄影指令。举例来说，若第二图像撷取指令对应于摄影快门图像上以一定时间区间触发的长按压动作(亦即当使用者对摄影快门图像进行较长时间的按压动作时)，暂存缓冲器会输出对应于该一定时间区间的多个第二帧来进行编码，直到摄影快门图像被放开为止。在本发明的各实施例中，步骤812与步骤816是同时执行的。同样地，已编码的第二帧会储存于存储器中。

总结来说，图8所示的第一数据路径与第二数据路径是用于不同种类的图像撷取指令，这些不同种类的图像撷取指令通常也会对应于不同的分辨率与图像格式。原始帧会输入至不同的数据路径，同时并平行地产生不同种类的输出帧。该些数据路径可共享部分的共享处理单元，并各自包含独有的其它处理单元。如图1所示，所有的数据路径都会经过图像感测模块110与图像信号处理器120，也就是上述的共享处理单元；而在数据路径各自独立对应的操作中，例如在摄影操作中，摄影暂存缓冲器160与图像编码单元170可用来在第三数据路径DP3上暂存摄图帧与对摄图帧进行编码。

接着在图9中将会描述本发明另一实施例的可用于图像撷取设备的图像撷取方法。图像撷取设备可为移动电话、平板计算机、游戏机、可携式多媒体播放器、数字相机、数字影音录放器、及/或其它可携式电子装置。本发明的图像撷取方法可同时执行至少两种不同的图像撷取操作，例如录像操作与摄影操作。该方法包含如下步骤：

步骤902：接收录像指令以开始录像操作。

步骤904：由图像撷取设备撷取多个帧。

步骤906：提供帧的预览帧于图像撷取设备的显示单元，其中预览帧具有第一分辨率。

步骤908：以第一分辨率处理帧以提供图像撷取设备的控制信息。

步骤910：将至少一部分的帧以第二分辨率暂存于暂存缓冲器。

步骤912：对应于录像指令执行录像操作，以第一分辨率从帧中撷取多个视频帧。

步骤914：在执行录像操作时，接收摄影指令。

步骤916：对应于摄影指令，执行摄影操作从帧中以第二分辨率撷取至少一个帧。

步骤918：接收用来停止录像操作的另一录像指令以停止录像操作。

首先在步骤902中，图像撷取设备的使用者界面会接收录像指令，使用者界面可以是触控面板、硬件快门按钮、及/或其它的输入/输出接口。接着在步骤904中，图像撷取设备会撷取对应于一景象的多个帧，其中该景象涵盖至少一个物体。被撷取的帧被提供给显示单元以在步骤906中供使用者预览。撷取的帧可被缩小(Scale-down)转换为预览帧以便于后续处理，预览帧的第一分辨率是低于帧的原始分辨率。在步骤908中，被缩小的预览帧可经过不同的操作处理以提供控制信息。举例来说，该些操作可包含自动对焦操作、物体检测操作、及/或其它与预览帧相关的操作。预览帧亦可对应于使用者输入指令而受处理；举例来说，若使用者欲对一特定物体进行对焦，并通过图像撷取设备的触控屏幕来按压该特定物体，图像撷取设备可根按压位置来实施物体识别操作，并接着根据物体识别操作所识别的物体来调整焦距。在本发明的另一实施例中，图像撷取设备可执行其它像是自动曝光、自动白平衡等操作。然而，为了减少计算量，上述该些操作会执行于具有较低分辨率的预览帧。步骤906可被选择性地执行。对应于图1所示的实施例，步骤906包含自动对焦操作与物体识别操作，其中执行自动对焦操作所得到的信息会被传输至图像感测模块110以产生焦距控制信号INFO1，且物体识别操作所得到的信息会被传输至图像信号处理器120以产生物体追踪信号INFO2。

在步骤910中，暂存帧至一暂存缓冲器。在本发明的一实施例中，帧会被缩放至第二分辨率，第二分辨率为使用者指定摄影操作使用的分辨率，并可等于或小于帧的原始分辨率，也就是图像感测模块110所输出的分辨率。暂存缓冲器用来暂存帧以供续摄影操作之用。暂存缓冲器的容量大小可预先决定以在一段时间区间内储存多个帧，也可动态地根据暂存缓冲器的用途而改变。

步骤902接收到录像指令时，步骤912会执行录像操作由帧中以第一分辨率撷取多个视频帧。这些视频帧包含由接收到录像指令开始直到使用者停止录像操作为止的所有帧。视频帧的视频格式可由使用者所预先决定或指定。已编码的视频帧会被储存于图像撷取设备的储存单元中，亦即图1所示的存储器180。请注意，步骤906、908、910、912可同时且平行地以指定顺序或无指定顺序的方式来执行；一般来说，上述步骤可由可携式电子装置所使用的不同数据路径来分开地执行，也就是同时且平行地执行。

在步骤914中执行录像操作时，摄影指令也会通过使用者界面来接收。也就是说，录像操作与摄影操作可在不干扰彼此的情况下同时被执行。摄影指令可与录像指令由同一使用者界面所接收，例如触控面板，或是经由专属摄影操作的另一使用者界面所接收，例如硬件摄影快门按钮。在步骤916中，对应于摄影指令，执行摄影操作以第二分辨率从暂存缓冲器撷取暂存的多个帧中至少一摄图帧；所撷取的摄图帧的数目是根据使用者触发的摄影指令所决定。在使用者触发单发摄影指令的情况下，在接收到单发摄影指令的时候就会立即撷取单一摄图帧并以图像格式编码，例如JPEG图像格式。在使用者触发连拍摄影指令的情况下，会撷取多个摄图帧，其中该连拍摄影指令可包含多个单发摄影指令的集合或是已事先指定连拍摄图帧的数目的单一自动连拍指令。请注意，在步骤912执行录像操作时，摄影指令可被接收并执行多次。接着图像撷取设备会储存已编码摄图帧至其包含的储存单元。图像撷取设备会为视频帧与摄图帧指定不同的存储器空间来进行储存，也可以将二者以混合方式储存。同时被撷取的视频帧与摄图帧可以相似或相同的标头或元资料来储存。

最后在步骤918中，使用者可通过触发另一录像指令来停止执行该录像操作。对应于该录像指令，录像操作会在接收到该录像指令后立即被停止。接着使用者可以在上述的相簿应用程序中浏览储存的视频帧与摄图帧。由于视频帧与摄图帧储存的顺序与两者之间的关联性有关，两者在相簿应用程序中的浏览顺序也可相关，且可以滑动浏览(SlideShow)、自动循序播放(Auto Serial Playback)等方式被浏览。

综上所述，本发明揭露一种可同时且平行地执行二种以上图像撷取操作的图像撷取方法与图像撷取设备。在本发明的一实施例中，图像撷取设备可同时执行录像操作与摄影操作。视频帧与摄图帧会经由彼此独立的不同数据路径来处理以实现平行处理。每一数据路径可使用不同的分辨率及/或不同的图像格式、大小来处理帧。如此一来，可以在图像撷取设备上安装并开启整合式图像应用程序，以同时执行二种以上图像撷取操作而不致使该些图像撷取操作彼此干扰或需要进行切换。

Claims (20)

1.一种图像撷取设备，包含：

一图像感测模块，用以连续撷取多个原始图像；

一图像信号处理器，用以根据该多个原始图像，同时产生多个预览帧与第一多个摄图帧；及

一后端处理单元，包含：

一预览模块，用以通过一第一数据路径接收用于显示的多个预览帧；

一视频处理单元，用以对应于一录像指令，根据通过一第二数据路径接收的该多个预览帧编码出多个视频帧；

一摄影暂存缓冲器，用以暂存通过一第三数据路径接收的该第一多个摄图帧；

一图像编码单元，用以对应于一图像撷取指令，根据该第一多个摄图帧来编码出第二多个摄图帧；及

一存储器，用来储存该多个视频帧与该第二多个摄图帧；

其中该图像撷取指令是在执行该录像指令时被接收，且该视频处理单元编码该多个视频帧与该图像编码单元编码该第二多个摄图帧两者之间是同时执行的；及

其中该第一数据路径、该第二数据路径及该第三数据路径于该图像撷取设备是为同时且独立运作。

2.根据权利要求1所述的图像撷取设备，其中该多个预览帧是由该图像信号处理器将该多个原始图像缩小所产生，且该多个预览帧被该预览模块提供为缩图。

3.根据权利要求1所述的图像撷取设备，其中该第二多个摄图帧与该多个视频帧具有不同的分辨率与帧率设定。

4.根据权利要求1所述的图像撷取设备，其中该预览模块还用以提供一使用者界面以接收该录像指令与该图像撷取指令。

5.根据权利要求4所述的图像撷取设备，其中该使用者界面用以显示一缩图图像，该缩图图像对应于该第二多个摄图帧其中之一。

6.根据权利要求1所述的图像撷取设备，其中该摄影暂存缓冲器是实现为一环状暂存缓冲器。

7.根据权利要求1所述的图像撷取设备，其中该图像信号处理器还用以分析该多个预览帧以决定该图像感测模块的一控制信息，且该图像感测模块还用以根据该控制信息控制其本身的操作。

8.根据权利要求7所述的图像撷取设备，其中该控制信息包含焦距信息。

9.根据权利要求1所述的图像撷取设备，其中该视频处理单元还用以对应于一慢动作指令编辑该多个预览帧的一时间标志以编码出该多个视频帧。

10.一种图像撷取方法，用于一可携式电子装置，该图像撷取方法包含：

在该可携式电子装置上启动一图像撷取应用程序；

由该可携式电子装置的一图像感测模块接收多个原始帧；

同时通过一第一数据路径、一第二数据路径及一第三数据路径提供该多个原始帧，其中该第一数据路径及该第二数据路径用以产生多个第一帧，该多个第一帧具有一第一分辨率，该第三数据路径用以产生多个第二帧，该多个第二帧具有一第二分辨率；

沿着该第一数据路径连续地提供该多个第一帧的缩图至一显示单元；

接收一第一图像撷取指令；

撷取该多个第一帧的至少一部分第一帧，并对应于该第一图像撷取指令，将所撷取的该部分第一帧在该第一数据路径上以一第一格式储存；

在撷取该部分第一帧时，接收一第二图像撷取指令，该第二图像撷取指令具有与该第一图像撷取指令不同的种类；及

撷取该多个第二帧的至少一部分，并对应该第二图像撷取指令，将所撷取的该部分第二帧在该第三数据路径上以一第二格式储存；

其中该第一数据路径、该第二数据路径及该第三数据路径是同时且独立运作，且该第一分辨率及该第二分辨率的影像处理是为相异程序而同时进行。

11.根据权利要求10所述的方法，其中该第一图像撷取指令为一录像指令，该第二图像撷取指令为一摄影指令，且该第一分辨率等于或小于该第二分辨率。

12.根据权利要求10所述的方法，其中撷取该多个第一帧的至少一部分第一帧还包含：将该部分第一帧以该第一格式编码；及其中撷取该多个第二帧的至少一部分还包含：将该部分第二帧以该第二格式编码。

13.根据权利要求12所述的方法，其中编码该多个第二帧还包含：

暂存该多个第二帧于一暂存缓冲器。

14.根据权利要求13所述的方法，其中撷取该多个第二帧的至少一部分包含：

对应该第二图像撷取指令，从该暂存缓冲器撷取该部分第二帧。

15.根据权利要求10所述的方法，其中该第一数据路径由至少一视频处理单元形成，且该第二数据路径由至少一暂存缓冲器与一图像编码单元形成；及

其中该第一数据路径是以一第一帧率运行，且该第二数据路径是以一第二帧率运行，该第一帧率相异于该第二帧率。

16.一种图像撷取方法，用于一图像撷取设备，该图像撷取方法包含：

显示通过一第一数据路径提供的多个预览帧；

接收一录像指令，以启动一录像操作；

对应该录像指令，执行该录像操作撷取通过一第二数据路径提供的多个视频帧，该多个视频帧具有一第一分辨率；

在执行该录像指令时，接收一摄影指令；及

对应于该摄影指令，执行一摄影操作撷取通过一第三数据路径提供的至少一摄图帧，该至少一摄图帧具有一第二分辨率；

其中在该录像操作被执行的时间内，该摄影指令会被接收，该多个视频帧与该至少一摄图帧会被同时进行图像处理，该第一数据路径、该第二数据路径及该第三数据路径是同时且独立运作，且该第一分辨率及该第二分辨率的影像处理是相异程序而同时进行。

17.根据权利要求16所述的方法，还包含：

撷取多个图像帧；及

提供该多个图像帧的预览图像于该图像撷取设备的一显示单元上；

其中该多个视频帧与该至少一摄图帧是根据该多个图像帧所产生。

18.根据权利要求17所述的方法，还包含：

将该多个图像帧的至少一部分以该第二分辨率暂存于一暂存缓冲器。

19.根据权利要求16所述的方法，还包含：

提供一使用者界面以接收该录像指令与该摄影指令。

20.根据权利要求16所述的方法，其中该录像操作与该摄影操作是通过彼此独立的数据路径平行且同时地运作。