CN103297676B - 图像连续拍摄方法与相关图像提取系统 - Google Patents

图像连续拍摄方法与相关图像提取系统 Download PDF

Info

Publication number
CN103297676B
CN103297676B CN201310055266.1A CN201310055266A CN103297676B CN 103297676 B CN103297676 B CN 103297676B CN 201310055266 A CN201310055266 A CN 201310055266A CN 103297676 B CN103297676 B CN 103297676B
Authority
CN
China
Prior art keywords
sequence
image
frame
picture frames
multiple picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310055266.1A
Other languages
English (en)
Other versions
CN103297676A (zh
Inventor
曾富昌
戴辰熹
林嵩皓
许丽君
叶震宇
武景龙
阙鑫地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN103297676A publication Critical patent/CN103297676A/zh
Application granted granted Critical
Publication of CN103297676B publication Critical patent/CN103297676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开一种图像连续拍摄方法与相关图像提取系统。该图像提取方法包含提取多个图像帧序列;于第一数据路径提供多个图像帧序列,并同时且分离地于第二数据路径暂存多个图像帧序列;经从输入接口单元接收输入指令;对应于输入指令,在第二数据路径上从暂存缓冲器中取出并编码一部分图像帧序列;以及存储该部分已编码的图像帧序列于存储器单元。

Description

图像连续拍摄方法与相关图像提取系统
技术领域
本发明公开一种图像提取方法与相关的图像提取系统,尤其涉及一种用来在不同且分离的数据路径上,提供并同时暂存图像帧的图像连续拍摄方法与应用该图像连续拍摄方法的图像提取系统。
背景技术
由于便携式电子装置的广泛使用,其配备的功能也越来越多样化。其中使用者最常用的重要功能为图像提取功能,例如摄影功能。然而,便携式电子装置在图像提取功能上的发挥常受限其较慢的硬件性能。当使用者在便携式电子装置上开启摄影应用程序时,摄影应用程序会处于预览模式,并首先显示一景像的预览图像帧(frame)于便携式电子装置配备的显示屏幕上。当使用者想要拍摄特定景象的照片并启动摄影应用程序的快门按钮时(例如显示于显示屏幕的快门按钮),摄影应用程序会从预览模式切换至图像提取模式并停止更新预览图像帧,且便携式电子装置会开始专注处理被提取的图像帧。如此一来,当使用者想要提取多个图像帧时,提取时间会明显地拉长,此是因摄影应用程序必须在预览模式与图像提取模式之间不停地切换,且造成摄影应用程序无法在限定的短时间内执行图像连续快拍操作(Burst Camera Operation)以提供连续多个快拍图像。上述现象的原始肇因是摄影应用程序在预览模式下是以低解析度提供预览图像帧,然而在图像提取模式下却是以高解析度来提取图像帧,因此造成摄影应用程序需要花更多时间,来对应于模式的改变进行安装设定的工作。
另一种一般在便携式移动装置上实施图像连续快拍功能的方式是使在预览模式下显示的预览图像帧与在图像提取模式下所提取的图像帧皆使用较低的解析度,并以此降低便携式电子装置在切换模式时的处理时间与延迟。然而,上述做法的缺点是牺牲了最后提取的图像帧的图像质量而无法令人满意,且显示屏幕在更新画面时的画面延迟仍然无法避免。上述的图像连续拍摄功能(亦即快拍功能)主要是用来连续拍摄预定数目的图像帧,也就是说,当使用者触发图像连续拍摄功能时,图像提取应用程序会自动地提取预定数目的图像帧。当图像提取应用程序开始提取图像帧时,在图像连续拍摄功能启动前,显示屏幕会暂停在之前已显示的图像帧。
因此,相关领域存在找出可连续提取高解析度的图像帧,且可免于在显示屏幕上停止更新预览图像帧的图像提取方法与图像提取系统的需要。
发明内容
本发明公开一种图像连续拍摄(Burst Image Capture)方法,包含提取第一多个图像帧序列(Sequence of Image Frames);根据第一多个图像帧序列,产生第二多个图像帧序列;显示第二多个图像帧序列,以作为预览的用;在显示第二多个图像帧序列的同时,根据第一多个图像帧序列来产生并暂存第三多个图像帧序列;接收输入指令;及对应于输入指令,从暂存的第三多个图像帧序列中提取第四多个图像帧序列;将第四多个图像帧序列编码为第五多个图像帧序列;以及存储第五多个图像帧序列。
本发明还公开一种图像提取方法,包含提取多个图像帧序列;在第一数据路径上提供多个图像帧序列以供预览之用,并同时且分开地在第二数据路径上暂存多个图像帧序列于暂存缓冲器(Buffer);经由输入接口单元接收输入指令;及对应于输入指令,在第二数据路径上从暂存缓冲器提取一部分的的多个图像帧,并将提取的该部分图像帧编码;及将已编码的该部分图像帧存储于存储器单元。
本发明公开一种图像提取系统,其包含:图像感测模块、图像信号处理器、触控屏幕、后端处理单元、及存储器单元。图像感测模块用来提取第一多个图像帧序列。图像信号处理器用来根据第一多个图像帧序列,提供第二多个图像帧序列与第三多个图像帧序列。触控屏幕用来显示该第二多个图像帧序列,并用来接收输入指令。后端处理单元用来暂存第三多个图像帧序列、用来对应于输入指令从第三多个图像帧序列中提取出第四多个图像帧序列、以及用来将第四多个图像帧序列编码为第五多个图像帧序列。存储器单元用来存储第五多个图像帧序列。第二多个图像帧序列与第三多个图像帧序列具有不同的解析度,并提供在彼此分离的不同数据路径上。
附图说明
图1为本发明一实施例的图像提取系统。
图2为本发明的一实施例如图1所示的图像应用程序模块的详细示意图。
图3与图4为本发明实施例的图像连续拍摄方法的流程图。
图5为本发明的图像提取方法如图1的图像提取系统的使用者如何使用图像连续拍摄功能的简略示意图。
【符号说明】
100 图像提取系统
110 图像感测模块
120 图像信号处理器
130 后端处理模块
132 预览模块
134 图像应用程序模块
136 暂存缓冲器
138 图像编码器
140 触控面板
150 存储器单元
302、306、308、310、312、402、 步骤
404、406、407、408、410、412
IS1、IS2、IS3、IS4 图像帧
PS 人物
SB 快门按钮
IC 输入指令
具体实施方式
为了克服现有技术中实施图像连续拍摄功能时所面临的各种限制与缺点,本发明公开了一种图像连续提取方法以及应用该图像连续提取方法的图像提取系统。通过本发明所公开的图像连续提取方法与图像提取系统,切换多种模式之间的延迟可被降低到最小程度。除此以外,图像提取系统的使用者可受益于仅使用简单输入指令便可启动图像连续拍摄功能,且可得到的高解析度图像帧带来的图像质量。
请参阅图1,其为本发明一实施例的图像提取系统100。如图1所示,图像提取系统100包含图像感测模块110、图像信号处理器120、后端处理模块130、触控面板140、与存储器单元150。图像提取系统100可在本发明的各实施例中实现于移动电子装置。该移动电子装置可为移动电话、平板计算机、个人数字助理、数字相机、数字摄影机、游戏平台、和/或其他适合的电子装置,且图像提取系统100可执行具有连续快拍功能的摄影应用程序。
图像感测模块110用来根据图像感测模块110所采用的第一设定,提取多个序列原始图像帧I1。第一设定的种类可包含解析度、帧率、曝光度等。图像感测模块110可用来传送多个序列原始图像帧I1至图像信号处理器120。在本发明的一实施例中,图像感测模块110以第一解析度提取一序列的多个原始图像帧I1,并以第一帧率提供该序列的原始图像帧I1至图像信号处理器120,其中第一解析度为图像感测模块110在提取图像时可使用的最高解析度,且第一帧率为图像感测模块110在提取图像时可使用的最高帧率。
图像信号处理器120用来产生一序列的多个预览图像帧I2与第一序列的多个中间图像帧I3,并将上述二者传输至后端处理单元130。在本发明的一实施例中,图像信号处理器120还用来将原始图像帧I1调整大小(Scale),以产生具有第二解析度的一序列的多个预览图像帧I2,其中第二解析度可低于第一解析度,使得预览图像帧I2可以缩图(Thumbnail)方式显示和/或存储。图像信号处理器120也可用来对原始图像帧I1以第三解析度做调整,第三解析度等于或小于第一解析度。一般来说,预览图像帧I2会被设定为等于或小于第三解析度,或是根据系统预设设定、使用者设定等方式设定。相较于一般的图像提取系统,本发明的图像信号处理器120可并行地提供预览图像帧I2与中间图像帧I3至后端处理单元130,其中预览图像帧I2与中间图像帧I3的解析度和/或帧率不相等。在本发明的一实施例中,图像信号处理器120可以第二帧率提供预览帧I2至预览模块132,并以第三帧率提供中间图像帧I3至图像应用程序模块134,其中第二帧率高于第三帧率,且第二解析度高于第三解析度。
后端处理单元130包含预览模块132与图像应用程序模块134。预览模块132用来提供预览图像帧I2至触控屏幕140以作显示之用。图像应用程序模块134用来暂存第一序列的中间图像帧序列I3、从第一序列的中间图像帧序列I3中提取出第二序列的中间图像帧I4、并用来编码第二序列的中间图像帧I4以产生一序列的多个已编码图像帧I5至存储器单元150。图像应用程序模块134可对应于触控屏幕140上触发的使用者输入指令来提取第二序列的中间图像帧I4,并可以JPEG图像格式或MPEG图像格式等系统预设图像格式或使用者指定格式来将第二序列的中间图像帧I4编码为一序列的已编码图像帧I5。上述的图像帧的编码可使用软件或硬件实施的适当编码器来完成。图像应用程序模块134也可经由图像提取系统100上的其他使用者接口来接收使用者输入指令,例如硬件快门按钮。使用者输入指令可为用来连续提取多个图像帧的指令,也可为多个连续发出的单一帧提取指令。
请参阅图2,其为本发明一实施例的图像应用程序模块134的详细示意图。如图2所示,图像应用程序模块134包含暂存缓冲器(Buffer)136与图像编码器138。暂存缓冲器136用来在图像信号处理器120连续地传输第一序列的中间图像帧I3时暂存此第一序列的中间图像帧I3。在本发明的一实施例中,暂存缓冲器136可以实现为环状暂存缓冲器(RingBuffer),以持续地暂存第一序列的中间图像帧I3。在本发明的一实施例中,暂存缓冲器136用来存储一预定数目的中间图像帧I3,并用来持续地将最旧的中间图像帧覆写(Overwrite)为最新的中间图像帧。第一序列的中间图像帧I3的预定数目可涵盖一预定时间长度或可为使用者所指定。在本发明的另一实施例中,当图像提取系统100被致能时,暂存缓冲器136可被特别指定或被要求给图像提取系统100。
暂存缓冲器136亦用来对应于使用者输入指令IC,从第一序列的中间图像帧I3中提取第二序列的中间图像帧I4,其中使用者输入指令决定提取第二序列的中间图像帧I4的起始中间图像帧与结束中间图像帧。使用者输入指令IC可经由触控屏幕140或其他的输入接口来接收。图像编码器138用来编码第二序列的中间图像帧I4,以产生一序列的已编码图像帧I5,并用来将所产生的已编码图像帧I5存储于存储器单元150。图像编码器138可为软件或硬件实施的编码器。暂存缓冲器136的存储容量大小与图像编码器138的处理能力为后端处理单元130的效能的主要决定因素。在本发明的一实施例中,暂存缓冲器136持续地接收与暂存第一序列的新的中间图像帧I3,并同时提取第二序列的中间图像帧I4至图像编码器138。
在本发明的一实施例中,第一序列的中间图像帧I3的解析度或编码图像帧I5的解析度是经由使用者发出的另一使用者输入指令所指定,且该二解析度皆高于预览图像帧I2的解析度。然而,在本发明的另一实施例中,预览图像帧I2的解析度可设定为与第一序列的中间图像帧I3的解析度相同。
触控屏幕140用来显示预览图像帧I2,并用来从图像提取系统100的使用者接收使用者输入指令IC。使用者输入指令IC可为用来开启图像提取应用程序的指令,该图像提取应用程序使用本发明的图像连续拍摄方法或不同种类的图像提取功能。
在本发明的一实施例中,触控屏幕140可分离为一显示单元与一触控屏幕,显示单元用来显示预览图像帧I2,触控屏幕用来接收使用者输入指令。在本发明的另一实施例中,使用者输入指令可通过其他的输入机制来接收,例如为了提取图像所专属设置的硬件快门按钮。
存储器单元150用来存储已编码图像帧I5的序列。存储器单元150可为内接或外接的嵌入式多媒体存储卡(Embedded Multimedia Memory Card,eMMC)、安全数字存储卡(Secure Digital Memory Card)、微安全数字存储卡(Micro Secure Digital MemoryCard)、通用串行总线(Universal Serial Bus,USB)存储装置、和/或其他适合的存储装置。在本发明的一实施例中,已编码图像帧I5会以JPEG文件的形式存储于存储器单元150。
一般来说,本发明的图像提取系统100,特别是其包含的图像信号处理器120与后端处理单元130,可并行地在不同的数据路径上处理预览图像帧与中间图像帧(可被编码并存储为已编码图像帧)。本发明的图像信号处理器120可将原始图像帧调整为不同解析度下的预览图像帧与中间图像帧,并并行地以不同的帧率将预览图像帧传输至预览模块132,并将中间图像帧传输至图像应用程序模块134。如此一来,本发明的图像提取系统100可提供预览图像帧于触控屏幕140供使用者浏览,并同时接收使用者输入指令IC以使图像应用程序模块134同时地根据使用者输入指令执行图像提取功能。使用者输入指令IC可为用来提取一序列的多个图像帧的指令,且暂存缓冲器136可对应于使用者输入指令IC将一序列的中间图像帧I4传输至图像编码器138,以将中间图像帧I4编码至适当的图像格式。由于预览图像帧I2与中间图像帧I3是以彼此并行的方式在分离的相异数据路径上处理,触控屏幕140可以接收新的图像帧而持续地更新其显示内容,且使用者可以在没有延迟的情况下以高解析度连续快拍多个图像帧。
请参阅图3,其绘示本发明的一实施例的图像连续拍摄方法的流程图。如图3所示,该图像连续拍摄方法包含步骤如下:
步骤302:提取一序列的多个图像帧I。
步骤306:在第一数据路径上提供多个图像帧序列I以作预览之用,并同时在第二数据路径上提供多个图像帧序列I以作暂存之用。
步骤308:使用者经由使用者接口单元接收使用者的使用者输入指令IC。
步骤310:对应于使用者输入指令IC,在第二路径上从暂存缓冲器中提取一部分的图像帧I并加以编码。
步骤312:存储该部分已编码的图像帧I。
在步骤302中,图像感测模块110提取了多个图像帧I,并在图像提取应用程序被启动的时候,将图像帧I持续传输至图像信号处理器120。图像感测模块110可以预定的解析度与预定的帧率来提取图像帧I。且图像信号处理器120可在输出图像帧I至后端处理单元130之前,先行对图像帧I实施各种处理或功能。
在步骤306中,图像信号处理器120可沿着二个不同的数据路径提供图像帧I,其中第一数据路径连接至预览模块132,而第二路径连接至图像应用程序模块134。通过以彼此分开的两个数据路径提供图像帧I,图像提取模块100可同时执行预览与提取预览图像帧的功能。预览模块132可处理图像帧I并将已处理的图像帧显示于触控屏幕140,在此同时,图像应用程序模块134可将图像帧I暂存于暂存缓冲器136。
在步骤308与步骤310中,对应于从使用者接口单元接收的使用者输入指令,例如触控屏幕140所接收的使用者输入指令IC,图像应用程序模块134用来将一部分的图像帧从暂存缓冲器136取出,且图像编码器138会将所取出的该部分图像帧加以编码。在步骤308中,图像信号处理器120持续地在第一数据路径上提供新提取的图像帧至预览模块132,并持续地在第二数据路径上提供这些新提取的图像帧至暂存缓冲器136,使得预览模块132与暂存缓冲器136两者皆可持续被新提取的图像帧所更新。另外,在使用者输入指令IC的有效持续时间内,暂存于暂存缓冲器136的图像帧接着会同时由图像编码器138编码,其中使用者输入指令IC的有效持续时间可由使用者所决定(例如以按压触控屏幕与释放该按压的时间点来决定)或预先决定。
在步骤312中,已编码图像帧会存储在图像提取系统100的存储器单元150内。存储器单元150可为图像提取系统100内接或外接的存储装置,例如嵌入式多媒体存储卡(Embedded Multimedia Memory Card,eMMC)、安全数字存储卡(Secure Digital MemoryCard)、微安全数字存储卡(Micro Secure Digital Memory Card)、通用串行总线(Universal Serial Bus,USB)存储装置等。
请参阅图4,其为本发明一实施例的图像提取方法。如图4所示,该图像提取方法包含步骤如下:
步骤402:提取一序列的多个原始图像帧I1。
步骤404:从此序列的原始图像帧I1产生一序列的多个预览图像帧I2与第一序列的多个中间图像帧I3。预览图像帧I2与中间图像帧I3可具有与原始图像帧I1不同的解析度。
步骤406:提供预览图像帧I2至预览模块132。
步骤407:将中间图像帧I3暂存于图像应用程序模块134。步骤406与步骤407是同时实施的,且预览图像帧I2与暂存的中间图像帧I3是以不同的帧率来处理。
步骤408:接收使用者输入指令IC,以提取一场景(Scene)的至少一图像。使用者输入指令IC可从触控屏幕或硬件按钮所接收。
步骤410:从第一序列的中间图像帧I3中取出第二序列的中间图像帧I4,并将第二序列的中间图像帧I4编码为一序列的多个已编码图像帧I5。第二序列的中间图像帧I4为第一序列的中间图像帧I3中的多个连续图像帧。
步骤412:将已编码帧I5存储于存储器单元150。
在本发明的各实施例中,只要图像提取系统100被启动或其安装的图像提取应用程序对应于使用者输入指令IC而被触发,步骤402至412就可以连续方式执行,使得可连续地提取、预览、暂存、编码、并存储多序列的多个图像帧。
在步骤402中,图像感测模块110提取一序列的原始图像帧I1,并持续在图像提取应用程序启动时,将原始图像帧I1传输至图像信号处理器120。图像感测模块110可以预定解析度与预定帧率来提取原始图像帧I1。
在步骤404中,图像信号处理器120根据第一设定从原始图像帧I1产生了一序列的预览图像帧I2与第一序列的中间图像帧I3,第一设定指定了预览图像帧I2与第一序列的中间图像帧I3各自使用的解析度。在本发明关于图4的一实施例中,预览图像帧I2的解析度较原始图像帧I1来得低,其中预览图像帧I2可选择性地缩小Scale-down)。第一序列的中间图像帧I3的解析度高于预览图像帧I2的解析度,且等于或低于原始图像帧I1的解析度。此外,通过使用者通过触控屏幕140所发出的输入设定指令,例如上述的使用者输入指令IC或其他输入指令,可动态地更改第一设定。在本发明的部分实施例中,图像感测模块110所使用的原始图像帧I1的帧率也可通过上述的使用者输入指令IC或其他输入指令来设定,例如可设定为每秒4或5个帧。提供预览图像帧I2的帧率与暂存第一序列的中间图像帧I3的帧率也可不同。举例来说,提供预览图像帧I2的帧率可设定为高于暂存第一序列的中间图像帧I3的帧率。
在步骤406中,预览模块132将预览图像帧I2导引至触控屏幕140来显示,以供使用者浏览。在步骤407中,图像应用程序模块134用来暂存第一序列的中间图像帧I3于暂存缓冲器136。提供预览图像帧I2的步骤与暂存第一序列的中间图像帧I3的步骤可被后端处理单元130同时且并行地执行。
在步骤408中,当图像提取系统100的使用者看见了在触控屏幕140上显示的预览图像帧I2时,使用者可触发使用者输入指令IC以提取至少一个图像帧,预览图像帧I2可以连续的预览图像帧流的方式来显示,且使用者输入指令IC可通过触控屏幕140被接收。触控屏幕140通过检测其上触发的手指按压动作而接收使用者输入指令,并藉此对应地启动图像提取功能。
在步骤410中,当图像提取功能对应于使用者输入指令IC而被触发,图像提取模块134会开始执行从暂存缓冲器136暂存的第一序列的中间图像帧I3中提取多个中间图像帧I4的程序,且图像编码器138会将多个中间图像帧I4编码为多个已编码图像帧I5,例如可以连续方式触发图像提取功能而产生以编码帧流形式表示的多个已编码图像帧I5。
在步骤412中,多个已编码图像帧I5会被存储于存储器单元150中,以供后续的浏览与处理。
步骤408至步骤412可对应于连续触发的使用者输入指令IC而连续地执行。在本发明的一实施例中,使用者输入指令IC可为二个指令的组合,第一个指令用来启动图像提取功能,而第二个指令用来中止图像提取功能,亦即中止第一个指令。甚者,在本发明的一实施例中,第一个指令可通过触控屏幕140上的长按压动作来触发,且第二个指令可通过触控屏幕140上的长按压动作被释放而触发。在本发明的另一实施例中,第一个指令可通过触控屏幕140上的短按压且立即释放的动作来触发,且第二个指令可通过更之后触控屏幕140上的另一短按压且立即释放的动作来触发。在本发明的一实施例中,使用者输入指令IC是通过触控屏幕140上的单一按压动作来触发并中止。
执行图4的步骤后,在图像提取系统100的使用者通过触控屏幕140触发使用者输入指令IC之前,亦即使用者按下图像提取系统100的快门之前,图像感测模块110即持续地提取原始图像帧I1。预览图像帧I2会持续地显示于触控屏幕140之上,且第一序列的中间图像帧I3会持续地暂存于暂存缓冲器136。在图像提取系统100对应于图像提取功能的使用者输入指令IC被触发直到使用者停止该图像提取功能的执行时,暂存缓冲器136会从第一序列的中间图像帧I3中提取出且第二序列的中间图像帧I4并传输至图像编码器138。图像编码器138会持续地对第二序列的中间图像帧I4作编码以产生一序列的已编码图像帧I5。请注意,暂存缓冲器136、图像编码器138、与存储器单元150可并行地执行,使得图像帧的处理不会被延迟。举例来说,第一图像帧被存储于存储器单元150、第二图像帧被图像编码器138所编码、且第三图像帧被暂存于暂存缓冲器136,上述三个动作可同时执行;其中第一图像帧会先于第二图像帧被提取,且第二图像帧会先于第三图像帧被提取。
以使用者经验的观点来说,由于图像感测模块110不需要在预览模式与图像提取模式之间切换解析度设定,图像提取系统100的使用者可享受到快速连拍功能的好处。此外,图像信号处理器120将用作预览的图像帧与用作图像提取的图像帧以分开的数据路径处理,也会使得图像感测模块110可免于繁复地切换其设定,相较于先前技术的移动电子装置中的图像提取系统来说,可省去许多切换中产生的延迟。通过本发明的图像提取系统,一般移动电子装置在提取连续图像帧时产生的延迟可成功的被消除。
请参阅图5,其为根据本发明所公开的图像提取方法所图示图像提取系统100的使用者如何使用图像连续拍摄功能(亦即连续快拍功能)的简略示意图。如图5所示,拍摄一人物PS所得的多个图像帧会被显示于触控屏幕140上,其中人物PS所处的景像正被图像感测模块110所感测。
如上所述,在本发明的一实施例中,使用者可按压触控屏幕140上显示的快门按钮SB,以持续地拍摄图像帧IS1、IS2、IS3、IS4、…等,直到使用者放开快门按钮SB才会停止拍摄;换句话说,使用者可以一长按压动作来开启上述的图像提取功能。
如以上所述,在本发明的另一实施例中,使用者可先给予快门按钮SB一第一短按压动作并马上释放第一短按压动作,以持续地进行图像帧的拍摄,直至使用者PS再度给予一第二短按压动作并立即释放第二短按压动作以中止图像帧的拍摄为止。也就是说,使用者PS可通过第一短按压动作来启动图像提取系统100的图像连续快拍功能,且可通过该第二短按压动作来中止图像连续快拍功能。
除此以外,触控屏幕140可显示所提取的图像帧的缩图。这些缩图可从原始图像帧对应的预览图像帧所产生,且可与预览图像帧一起同时显示于触控屏幕140。当执行图像提取操作时,触控屏幕140可持续更新显示图像帧IS1、IS2、IS3、IS4、…中最新提取的图像帧的缩图,且当中止图像提取功能时,触控屏幕140可显示最后提取的图像帧的缩图而不需要继续更新缩图。在本发明的一实施例中,在执行图像提取操作时,触控屏幕140可同时更新所显示的预览图像帧以及所显示的缩图。在本发明的另一实施例中,触控屏幕140可仅更新所显示的预览图像帧以及所显示的缩图两者其中之一。
本发明公开一种图像连续提取方法以及使用该图像连续提取方法的图像提取系统,以克服先前技术中无法兼顾图像提取时间以及图像解析度的缺点。在本发明公开的图像连续提取方法以及图像提取系统中,通过将所提取的图像帧分为预览用途及暂存/编码用途的不同数据路径来处理,可以实现快速连续拍摄的功能,且甚至可达成零快门延迟(Zero Shutter Lag)的功能。

Claims (16)

1.一种图像连续拍摄(Burst Image Capture)方法,包含:
提取一第一序列的图像帧(Sequence of Image Frames);
根据该第一序列的图像帧,同时产生一第二序列的图像帧及一第三序列的图像帧;
显示该第二序列的图像帧以作为预览之用;
在显示该第二序列的图像帧序列的同时,暂存该第三序列的图像帧;
接收一输入指令,其中该输入指令是通过一触控屏幕上的一按压动作而被触发并通过释放该按压动作而被中止,或是通过在该触控面板上按压并立即释放的一第一短按压动作而被触发并通过在该触控面板上按压并立即释放的一第二短按压动作而被中止;及
对应于该输入指令被触发至被中止的时间内,连续地从暂存的该第三序列的图像帧中提取一第四序列的图像帧、将该第四序列的图像帧编码为一第五序列的图像帧序、以及存储该第五序列的图像帧。
2.如权利要求1所述的图像连续拍摄方法,其中该第一序列的图像帧、该第二序列的图像帧、与该第三序列的图像帧各自具有相异的解析度。
3.如权利要求2所述的图像连续拍摄方法,其中该第二序列的图像帧具有较该第三序列的图像帧为低的解析度。
4.如权利要求2所述的图像连续拍摄方法,其中该第二序列的图像帧进行显示的帧率与该第三序列的图像帧进行暂存的帧率相异。
5.如权利要求1所述的图像连续拍摄方法,其中该第五序列的图像帧以JPEG图像格式存储。
6.一种图像提取方法,包含:
提取一序列的多个图像帧;
在一第一数据路径上提供该序列的多个图像帧以供预览之用,并同时且分开地在一第二数据路径上暂存该序列的多个图像帧于一暂存缓冲器(Buffer);
检测在一输入接口单元上的一按压动作;
对应于该按压动作,开始提取并编码该部分的图像帧;
检测该输入接口单元上对应该按压动作的一释放动作;
对应于该释放动作,中止提取并编码该部分图像帧的步骤;
对应于该输入指令被触发至被中止的时间内,连续地在该第二数据路径上从该暂存缓冲器提取一部分的该序列的多个图像帧,并将提取的该部分图像帧编码;及
将已编码的该部分图像帧存储于一存储器单元。
7.如权利要求6所述的图像提取方法,其中该序列的多个图像帧以一第一解析度提取、以一第二解析度提供于该第一数据路径上、并以一第三解析度提供于该第二数据路径上。
8.如权利要求7所述的图像提取方法,其中该第一解析度高于该第三解析度,且该第三解析度高于该第二解析度。
9.如权利要求6所述的图像提取方法,其中在该第二数据路径上提取并编码该部分图像帧的步骤与在该第一数据路径上提供该序列的多个图像帧以供预览的用的步骤为同时执行。
10.如权利要求6所述的图像提取方法,其中该序列的多个图像帧在该第一数据路径上以一第一帧率提取,并在该第二数据路径上以一第二帧率暂存,该第一帧率高于该第二帧率。
11.一种图像提取系统,包含:
一图像感测模块,用来提取一第一序列的多个图像帧;
一图像信号处理器,用来根据该第一序列的多个图像帧,提供一第二序列的多个图像帧与一第三序列的多个图像帧,及在显示该第二序列的多个图像帧的同时,暂存该第三序列的多个图像帧;
一触控屏幕,用来显示该第二序列的多个图像帧,并用来接收一输入指令;其中该输入指令通过该触控屏幕上的一长按压动作而触发,且通过对应于该长按压动作的一释放动作而中止;
一后端处理单元,用来暂存该第三序列的多个图像帧,用来对应于该输入指令被触发至中止的时间内,连续地从该第三序列的多个图像帧中提取出一第四序列的多个图像帧,以及用来将该第四序列的多个图像帧编码为一第五序列的多个图像帧;及
一存储器单元,用来存储该第五序列的多个图像帧;
其中该第二序列的多个图像帧与该第三序列的多个图像帧具有不同的解析度,并提供在彼此分离的不同数据路径上。
12.如权利要求11所述的图像提取系统,其中该后端处理单元还包含:
一预览模块,用来在一第一数据路径上接收并提供该第二序列的多个图像帧至该触控屏幕;
一暂存缓冲器,用来同时暂存该第三序列的多个图像帧与在一第二数据路径上显示该第三序列的多个图像帧于该触控屏幕;及
一图像编码器,用来对应于该输入指令,将该第四序列的多个图像帧编码为该第五序列的多个图像帧;
其中该第四序列的多个图像帧为该第三序列的多个图像帧中多个连续的图像帧。
13.如权利要求12所述的图像提取系统,其中该图像信号处理器还用来以一第一帧率提供该第二序列的多个图像帧至该预览模块,并用来以一第二帧率提供该第三序列的多个图像帧至该暂存缓冲器;及
其中该第一帧率高于该第二帧率。
14.如权利要求11所述的图像提取系统,其中该第一序列的多个图像帧的解析度高于该第二序列的多个图像帧的解析度,且该第三序列的多个图像帧的解析度高于该第二序列的多个图像帧的解析度。
15.如权利要求11所述的图像提取系统,其中该触控屏幕还用来在执行该输入指令时,同时提供该第五序列的多个图像帧对应的缩图(Thumbnail)与显示该第二序列的多个图像帧。
16.如权利要求15所述的图像提取系统,其中该预览模块还用来从该第二序列的多个图像帧的一对应部分产生这些缩图。
CN201310055266.1A 2012-02-24 2013-02-21 图像连续拍摄方法与相关图像提取系统 Active CN103297676B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261602616P 2012-02-24 2012-02-24
US61/602,616 2012-02-24

Publications (2)

Publication Number Publication Date
CN103297676A CN103297676A (zh) 2013-09-11
CN103297676B true CN103297676B (zh) 2016-12-28

Family

ID=48985218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310055266.1A Active CN103297676B (zh) 2012-02-24 2013-02-21 图像连续拍摄方法与相关图像提取系统

Country Status (4)

Country Link
US (1) US9247141B2 (zh)
CN (1) CN103297676B (zh)
DE (1) DE102013203008A1 (zh)
TW (1) TWI519155B (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120198386A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Causing display of thumbnail images
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
CN104487930A (zh) 2012-05-09 2015-04-01 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
CN106201316B (zh) 2012-05-09 2020-09-29 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
WO2013169870A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
EP3401773A1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9077896B2 (en) * 2012-06-11 2015-07-07 Lg Electronics Inc. Mobile terminal for capturing image and controlling method thereof
KR101917650B1 (ko) * 2012-08-03 2019-01-29 삼성전자 주식회사 이미지 처리 방법 및 장치
JP6021594B2 (ja) * 2012-11-08 2016-11-09 オリンパス株式会社 撮像装置及びプログラム
CN104781872B (zh) * 2012-11-20 2017-05-24 夏普株式会社 液晶显示装置及其驱动方法
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
JP6138274B2 (ja) 2012-12-29 2017-05-31 アップル インコーポレイテッド ユーザインタフェース階層をナビゲートするためのデバイス、方法、及びグラフィカルユーザインタフェース
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
KR20140089672A (ko) * 2013-01-04 2014-07-16 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
KR102047704B1 (ko) * 2013-08-16 2019-12-02 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
KR102146854B1 (ko) * 2013-12-30 2020-08-21 삼성전자주식회사 촬영 장치 및 이의 제어 방법
TWI573458B (zh) * 2014-01-17 2017-03-01 宏達國際電子股份有限公司 具有一開關按鈕之電子裝置及其控制方法
CN105981366B (zh) * 2014-02-12 2020-03-06 索尼公司 用于显示图像的方法
JP6565905B2 (ja) 2014-05-08 2019-08-28 ソニー株式会社 情報処理装置及び情報処理方法
US9678649B2 (en) * 2014-05-14 2017-06-13 Htc Corporation Method for displaying photos and electronic device for using the same
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
KR102399764B1 (ko) 2015-09-22 2022-05-19 삼성전자 주식회사 전자 장치 및 촬영 방법
JP6570411B2 (ja) * 2015-10-09 2019-09-04 キヤノン株式会社 電子機器及びその制御方法、プログラム、並びに記憶媒体
US10721473B2 (en) * 2016-07-25 2020-07-21 Honeywell International Inc. Systems and methods for adjusting the frame rate of transmitted video based on the level of motion in the video
CN107592450B (zh) * 2017-08-30 2021-07-20 珠海豹趣科技有限公司 一种媒体数据处理方法及装置
US10362233B2 (en) * 2017-09-12 2019-07-23 Ebay Inc. Digital image capture session and metadata association
CN107509038B (zh) * 2017-10-16 2019-10-15 维沃移动通信有限公司 一种拍摄方法及移动终端
JP2019086701A (ja) * 2017-11-08 2019-06-06 キヤノン株式会社 撮像制御装置およびその制御方法
JP2020136932A (ja) * 2019-02-20 2020-08-31 オリンパス株式会社 撮像装置、撮像方法およびプログラム
CN110231885B (zh) * 2019-06-10 2022-09-23 杭州奈克瑟斯科技有限公司 触控模拟装置、控制方法以及用于控制智能设备的方法
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN114500821B (zh) * 2020-10-26 2024-02-27 北京小米移动软件有限公司 拍照方法及装置、终端及存储介质
CN112565603B (zh) * 2020-11-30 2022-05-10 维沃移动通信有限公司 图像处理方法、装置及电子设备
TWI800983B (zh) * 2021-11-16 2023-05-01 華碩電腦股份有限公司 影像處理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787026B1 (en) * 2004-04-28 2010-08-31 Media Tek Singapore Pte Ltd. Continuous burst mode digital camera

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0724810B1 (en) 1994-08-22 2000-05-31 Koninklijke Philips Electronics N.V. System for recording and displaying images on a record carrier in at least a first and a second data stream
JP4126640B2 (ja) * 2000-03-08 2008-07-30 富士フイルム株式会社 電子カメラ
US6992707B2 (en) * 2002-03-06 2006-01-31 Hewlett-Packard Development Company, L.P. Delayed encoding based joint video and still image pipeline with still burst mode
US7388605B2 (en) * 2002-11-12 2008-06-17 Hewlett-Packard Development Company, L.P. Still image capturing of user-selected portions of image frames
KR20100101390A (ko) * 2009-03-09 2010-09-17 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법 및 컴퓨터 판독가능 저장매체
US8897602B2 (en) * 2009-07-22 2014-11-25 Aptina Imaging Corporation Imaging system with multiframe scaler
JP5517219B2 (ja) * 2009-10-27 2014-06-11 Necカシオモバイルコミュニケーションズ株式会社 画像撮影装置及び画像撮影方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787026B1 (en) * 2004-04-28 2010-08-31 Media Tek Singapore Pte Ltd. Continuous burst mode digital camera

Also Published As

Publication number Publication date
CN103297676A (zh) 2013-09-11
TWI519155B (zh) 2016-01-21
TW201336301A (zh) 2013-09-01
US9247141B2 (en) 2016-01-26
US20130222671A1 (en) 2013-08-29
DE102013203008A1 (de) 2013-09-05

Similar Documents

Publication Publication Date Title
CN103297676B (zh) 图像连续拍摄方法与相关图像提取系统
US11696021B2 (en) Video recording device and camera function control program
CN103677574B (zh) 电子装置及定速显示方法
KR102026717B1 (ko) 사진 촬영 가이드 방법 및 이를 구현하는 휴대 단말
CN105103535B (zh) 用于使用图像传感器位置来定位图像区域的设备和方法
KR102090624B1 (ko) 이미지 촬영장치 및 방법
US7852368B2 (en) Method and apparatus for composing images during video communications
CN115866390B (zh) 一种拍摄方法、电子设备及存储介质
CN107770312A (zh) 信息显示方法、装置及终端
CN112165632B (zh) 视频处理方法、装置及设备
US20100037135A1 (en) Information processing apparatus, method, and program
EP1764676A1 (en) Method for controlling display of image according to movement of mobile terminal
KR102683253B1 (ko) 이미지 촬영 방법, 장치, 전자기기 및 판독가능 저장 매체
WO2015035847A1 (zh) 一种用于控制终端显示界面的方法及设备
CN103777884A (zh) 用于在终端中显示数据的方法和设备
US20110064129A1 (en) Video capture and generation at variable frame rates
CN111597370B (zh) 一种拍摄方法及电子设备
CN106879263B (zh) 一种拍摄方法和移动设备
CN112822388B (zh) 拍摄模式的触发方法、装置、设备及存储介质
CN112770059A (zh) 拍照方法、装置及电子设备
CN110933289A (zh) 一种基于双目相机的连拍方法、拍照装置和终端设备
CN103024200A (zh) 应用于智能终端的拍摄方法及拍摄装置
EP1722372A2 (en) Method for displaying image data in portable terminal
CN112887515B (zh) 视频生成方法及装置
US20100085439A1 (en) Image capture device and method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant