CN101953151B - 成像装置以及成像方法 - Google Patents

成像装置以及成像方法 Download PDF

Info

Publication number
CN101953151B
CN101953151B CN2009801058327A CN200980105832A CN101953151B CN 101953151 B CN101953151 B CN 101953151B CN 2009801058327 A CN2009801058327 A CN 2009801058327A CN 200980105832 A CN200980105832 A CN 200980105832A CN 101953151 B CN101953151 B CN 101953151B
Authority
CN
China
Prior art keywords
buffer
view data
imaging device
data
capacity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009801058327A
Other languages
English (en)
Other versions
CN101953151A (zh
Inventor
细川知志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc, NEC Casio Mobile Communications Ltd filed Critical NTT Docomo Inc
Publication of CN101953151A publication Critical patent/CN101953151A/zh
Application granted granted Critical
Publication of CN101953151B publication Critical patent/CN101953151B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • H04N1/2133Recording or reproducing at a specific moment, e.g. time interval or time-lapse
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/215Recording a sequence of still pictures, e.g. burst mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/21Intermediate information storage
    • H04N2201/214Checking or indicating the storage space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3285Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H04N2201/3288Storage of two or more complete document pages or image frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3285Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H04N2201/3298Checking or indicating the storage space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

为了解决稳定和连续的拍摄操作不能被实现的问题,例如,连续拍摄操作在成像装置中不规则地停止等等,成像设备包括:成像装置,该成像装置用于生成图像数据;第一缓冲器,该第一缓冲器用于存储图像数据;以及控制装置,该控制装置用于控制成像装置的拍摄间隔以保持常数、或者根据针对第一缓冲器的剩余容量而单调减小的连续函数来控制成像装置的拍摄间隔。

Description

成像装置以及成像方法
技术领域
本发明涉及成像装置、成像方法以及程序。具体地,本发明涉及具有连续拍摄功能的成像装置、利用连续拍摄功能的成像方法以及程序。 
背景技术
下面的技术对于具有连续拍摄功能的成像装置而言是已知的。也就是说,成像装置一度将来自成像元件的输出数据存储在缓冲存储器中,对数据执行压缩处理等,并且再次将数据存储在缓冲存储器中。在此之后,成像装置将缓冲存储器中存储的数据写进可拆卸记录介质等中。例如在日本专利申请早期公开No.2002-199328、日本专利申请早期公开No.2003-87619以及日本专利申请早期公开No.HEI03(1991)-252282中公开了这样的技术。 
日本专利申请早期公开No.2002-199328中描述的成像装置具有在第一存储区域中存储拍摄元件的输出数据的第一处理功能、以及对第一存储区域中存储的数据执行压缩处理并将数据存储在第二存储区域中的第二处理功能。此成像装置具有用于存储第二存储区域中存储的数据的记录介质。此成像装置检查第二存储区域中的空区域的容量是否大于处理之后数据的量,以便防止第二存储区域中存储的、压缩处理后的图像数据被新处理的图像数据覆盖。当空区域没有充足容量来存储处理之后的数据时,成像装置停止数据向第二存储区域中的写入。成像装置将要存储在第二存储区域中的数据写进记录介质,以保证第二存储区域中的空区域。在此之后,成像装置开始对被写进第二存储区域中的图像数据的压缩处理。 
日本专利申请早期公开No.2003-87619中公开了具有用于未处理图像数据的RAW缓冲区域、用于已处理图像数据的压缩图像缓冲区域、以及记录介质的成像装置。此成像装置检查在执行了RAW缓冲中的数据的压 缩处理之后,压缩图像缓冲区满了还是没满。当压缩图像缓冲满了时,成像装置停止写进缓冲区。成像装置从最旧的数据开始向记录介质中写入缓冲区中存储的压缩图像数据。当空区域的容量在压缩图像缓冲区中得以保证时,成像装置恢复已被中断的压缩处理等。 
日本专利申请早期公开No.2007-221214中公开了如下进行操作的相机。此相机的控制电路将还没有执行处理的被拍数字图像写进缓冲存储器,并且同时执行对数字图像的处理。控制电路从缓冲存储器读出已处理的数字图像,并且将它写进永久存储器。控制电路确定被连续拍摄的、缓冲存储器中的未处理图像的处理时间,并且预先计算连续拍摄速度,以此连续拍摄速度,可以以恒定的间隔来执行连续的拍摄。当控制电路检测到图像数据的量将达到存储未处理图像的缓冲存储器的几乎最大存储容量时,它将拍摄速度切换为所计算的拍摄速度,以此所计算的拍摄速度,可以以恒定的间隔来执行连续拍摄。 
发明内容
本发明要解决的问题 
日本专利申请早期公开No.2002-199328和日本专利申请早期公开No.2003-87619中描述的相机连续地执行连续拍摄,直到其中存储了经诸如压缩之类的处理的数据的缓冲存储器的空区域将被完全使用为止,并且将已处理的数据写进缓冲存储器。当空区域被完全使用时,相机停止对缓冲存储器的写入。相机将已处理的数据从缓冲存储器写进记录介质,以创建缓冲存储器中的空区域。在此之后,相机恢复拍摄处理。 
日本专利申请早期公开No.2007-221214中描述的相机基于对被连续拍摄的、缓冲存储器中的未处理图像的处理时间,来预先计算低的连续拍摄速度。在缓冲存储器的空区域已差不多被使用之后,相机不连续地改变连续拍摄速度以便以恒定的速度(时间上相等的间隔)来执行连续拍摄。 
在日本专利申请早期公开No.2002-199328和日本专利申请早期公开No.2003-87619中描述的相机中,当缓冲存储器具有空区域时,连续拍摄速度被改进。然而,当空区域已被完全使用时,连续拍摄和处理立即停 止。因此,发生了如下的问题:稳定的连续拍摄操作不能被实现,例如在记录介质侧的写入速度不能被预期或者不能保证写入速度大于预定速度的情况下,连续拍摄操作不规则地停止,等等。 
在日本专利申请早期公开No.2007-221214中描述的相机中,当缓冲存储器几乎将被图像数据充满时,连续拍摄速度被突然地改变为低速度。因此,发生了不能实现稳定的连续拍摄操作的问题。 
本发明的一个目的是提供能解决上述问题的成像装置、成像方法以及程序。 
解决问题的手段 
本发明的第一成像设备包括:成像装置,该成像装置用于生成图像数据;第一缓冲器,该第一缓冲器用于存储图像数据;以及控制装置,该控制装置用于根据针对第一缓冲器的剩余容量而单调减小的连续函数来控制成像装置的拍摄间隔。 
本发明的第一成像方法包括:生成图像数据;将图像数据存储进第一缓冲器;以及根据针对第一缓冲器的剩余容量而单调减小的连续函数来控制生成图像数据的拍摄间隔。 
本发明的第一程序使得计算机执行:用于生成图像数据的处理;用于将图像数据存储进第一缓冲器的处理;以及用于控制生成图像数据的拍摄间隔以保持常数、或者根据针对第一缓冲器的剩余容量而单调减小的连续函数来控制生成图像数据的拍摄间隔的处理。 
本发明的效果 
通过使用本发明,获得了可在成像装置中实现稳定和连续的拍摄操作的效果。 
附图说明
图1是示出根据本发明的示例性实施例1的成像装置的配置的框图。 
图2是示出根据示例性实施例1的成像装置的缓冲器容量监控单元的 操作的图。 
图3A和图3B是示出根据示例性实施例1的成像装置的基本操作的时间图。 
图4是示出由根据示例性实施例1的成像装置执行的连续拍摄的拍摄间隔的时间图。 
图5是示出根据示例性实施例1的成像装置的操作的流程图。 
图6是示出根据本发明的示例性实施例2的成像装置的配置的框图。 
图7是示出根据示例性实施例2的成像装置的存储缓冲器中的数据写入操作的流程图。 
图8是示出根据示例性实施例2的成像装置的到文件系统的写入操作的流程图。 
图9是示出根据本发明的示例性实施例3的成像装置的配置的框图。对符号的描述 
1、32        相机模块 
2、22        中间缓冲器 
3、23        图像编码器 
4、24、31    存储缓冲器 
5、25        文件系统 
6            重复计时器 
7            缓冲器容量监控单元 
10、20、30   成像装置 
26           控制单元(CPU) 
27           操作单元 
28           ROM 
32           控制装置 
具体实施方式
示例性实施例1 
图1是示出根据本发明的示例性实施例1的成像装置10的配置的框图。如图1所示,成像装置10包括相机模块1、中间缓冲器(第二缓冲器)2、图像编码器3、存储缓冲器(第一缓冲器)4、文件系统5、重复计时器6以及缓冲器容量监控单元7。每个单元的功能在下面示出。 
相机模块1拍摄作为静止图像的对象的图像,并且生成图像数据(数字数据)。当连续拍摄被执行时,相机模块1响应于来自重复计时器6的指令开始每个拍摄操作。 
中间缓冲器2是临时存储由相机模块1生成的图像数据的存储器。中间缓冲器2具有两片(sheet)存储器。连续图像数据可交替地存储在两片存储器中。 
图像编码器3通过预定的编解码器来编码中间缓冲器2中存储的图像数据,并且将其输出为压缩流。JPEG(联合图像专家组)等可用作编解码器的编码系统。图像编码器3也响应于来自重复计时器6的指令来开始每个编码操作。 
存储缓冲器4存储从图像编码器3输出的图像数据的压缩流。存储缓冲器4以先入先出(FIFO)方式来存储数据。通常,压缩流的大小不是恒定的。因此,希望环形缓冲器被安装在存储缓冲器4中。 
文件系统5将存储缓冲器4中存储的压缩流存储进外部存储装置等,以作为文件。当压缩流被存储在存储缓冲器4中时,文件系统5开始操作。 
重复计时器6通过对时钟的数目等进行计数直到被设置的超时值(timeout value),来为相机模块1和图像编码器3生成具有预定间隔(连续拍摄间隔)的处理定时。这里,超时值意思是相机模块1执行连续拍摄所依据的连续拍摄间隔。重复计时器6输出指令信号,该指令信号指示相机模块1和图像编码器3以与超时值相对应的间隔来开始每个处理。 
缓冲器容量监控单元7监控存储缓冲器4中存储的压缩流的数据量,并且根据作为剩余缓冲器容量的存储缓冲器4的剩余容量,来生成唯一地确定由重复计时器6所生成的信号的输出定时的超时值。缓冲器容量监控单元7预先保存了针对剩余缓冲器容量的阈值。缓冲器容量监控单元7一 直监控存储缓冲器4的数据量,并且将存储缓冲器4的剩余缓冲器容量与阈值作比较。作为比较的结果,当剩余缓冲器容量小于阈值时,缓冲器容量监控单元7对重复计时器6设置超时值,超时值根据剩余缓冲器容量的减小而增加。 
缓冲器容量监控单元7预先保存最大数据量,即一帧图像的压缩流的最大代码量。缓冲器容量监控单元7将存储缓冲器4的剩余缓冲器容量与最大代码量作比较。作为比较的结果,当剩余缓冲器容量小于最大代码量时,缓冲器容量监控单元7停止重复计时器6的计时器操作(超时值为无穷大)。当剩余缓冲器容量等于或大于最大代码量时,缓冲器容量监控单元7向重复计时器6供应与最大代码量相对应的超时值,并且执行控制以恢复重复计时器6的计时器操作。此外,重复计时器6和缓冲器容量监控单元7实现了本发明的主要控制功能,利用该功能,从相机模块1到文件系统5的所有单元被控制。 
图2是示出该示例性实施例的缓冲器容量监控单元7的控制操作的图。在图2所示的图中,横轴表示每个时间处的剩余缓冲器容量,并且纵轴表示根据剩余缓冲器容量而确定的超时值。 
超时值的下限是由用户设置的目标间隔,即最高速度时的连续拍摄间隔。超时值的上限是预定的最大间隔,即最低速度时的连续拍摄间隔。剩余缓冲器容量的最大值是缓冲器容量。 
缓冲器容量监控单元7预先保存针对剩余缓冲器容量的任意阈值。此阈值小于缓冲器容量并且大于一帧图像的最大代码量。如图2所示,缓冲器容量监控单元7在剩余缓冲器容量等于或大于阈值的时间段期间,将超时值设置为作为目标间隔的恒定值。另一方面,缓冲器容量监控单元7在剩余缓冲器容量小于阈值的时间段期间将超时值设置为大于目标间隔的值。换言之,超时值具有对连续拍摄间隔的控制特性,根据该特性,超时值随着剩余缓冲器容量的减小而连续地增加。 
当存储缓冲器4的剩余缓冲器容量等于或大于阈值时,推定文件系统5的写入速度充分地快于到存储缓冲器4的数据存储速度。因此,不必减小连续拍摄速度。因此,缓冲器容量监控单元7设置超时值以保持目标间 隔。 
另一方面,当存储缓冲器4的剩余缓冲器容量变为小于阈值时,推定文件系统5的写入速度比到存储缓冲器4的数据存储速度慢。因此,缓冲器容量监控单元7随着剩余缓冲器容量的减小而逐渐增加连续拍摄间隔。 
此外,当剩余缓冲器容量变为小于一帧图像的最大代码量时,如果再加入一帧图像,则缓冲器将完全被使用。因此,在此情况下,缓冲器容量监控单元7停止重复计时器6的操作。 
接下来,将描述此示例性实施例的成像装置的操作。 
首先,将描述在存储缓冲器4具有充足剩余容量的情况下,成像装置10的连续拍摄操作。 
图3是示出此示例性实施例的基本操作的时间图。将参考图1、图3A和图3B来描述连续拍摄操作。 
图3A示出重复计时器6的拍摄指令的每个定时、以及从相机模块1的拍摄操作到图像编码器3的编码操作的操作。 
重复计时器6供应了如下信号:利用该信号,相机模块1被指示以恒定间隔即目标间隔来开始拍摄,并且供应了如下信号:利用该信号,图像编码器3被指示开始编码处理。相机模块1和图像编码器3响应于这些信号而同时地开始操作。相机模块1拍摄静止图像并且生成图像数据。相机模块1将图像数据写进中间缓冲器2中包括的中间缓冲器(1)和中间缓冲器(2)之中的、具有空区域的一个缓冲器。此时,图像编码器3读出另一中间缓冲器2中存储的图像数据,并且对它进行编码。两者同时地开始操作。因此,图像编码器3当然对在上次拍摄之前已拍摄的图像数据进行编码。 
因此,成像装置10执行与编码处理并行的拍摄处理。就是说,在两种处理之间执行流水线处理。根据该操作,成像装置10可将连续拍摄间隔缩短为拍摄所需的时间或编码所需的时间中的更长的一个,连续拍摄间隔通常不能被减小得小于或等于两个时间的和。 
图像编码器3在存储缓冲器4中存储已编码的图像数据,即压缩流。图3B示出如下操作:由图像编码器3生成的压缩流被写进存储缓冲器4 和文件系统5中。 
图像编码器3将所生成的压缩流写进存储缓冲器4。即使一片压缩流被存储在存储缓冲器4中,文件系统5也开始将它存储进外部存储装置作为文件的操作。当存储缓冲器4中仍有压缩流时,文件系统5连续地操作。此外,在拍摄操作期间,缓冲器容量监控单元7一直监控存储缓冲器4的剩余缓冲器容量,并且针对重复计时器6控制超时值。 
在图3B所示的关于存储缓冲器4的图中,纵轴表示数据量。实线51示出存储缓冲器4的缓冲器容量。图3B示出在所生成的压缩流被存储在存储缓冲器4中之后直到它被写进文件系统5然后被从存储缓冲器4中删除为止的操作。 
在图3B所示的示例中,压缩流的存储量充分地小于存储缓冲器4的缓冲器容量。因此,缓冲器容量监控单元7将具有恒定间隔即目标间隔的指令信号供应至重复计时器6作为超时值,而没有改变超时值。相机模块1按此目标间隔来执行连续拍摄操作。 
接下来,将描述实现此示例性实施例的图2所示的控制特性的操作。 
图4是示出在连续拍摄速度被改变的情况下的操作的时间图。图4示出存储缓冲器4的剩余缓冲器容量以及缓冲器容量监控单元7的操作。 
在图4中,纵轴表示剩余缓冲器容量,横轴表示时间。图4示出了在时刻t1之后压缩流被写进存储缓冲器4的状态以及存储缓冲器4中存储的压缩流被写进文件系统5的状态。图4还示出了剩余缓冲器容量的转变(transition),该转变表示从存储缓冲器4写入的压缩流被删除的状态。 
此外,图4示出了剩余缓冲器容量的锯齿状的转变,该转变指示了存储缓冲器4中存储的压缩流在压缩流一被写入存储缓冲器4中之后就减少的状态。当针对每次写入一帧图像的完成来执行对于已被写进文件系统5的压缩流的、存储缓冲器4的删除操作时,剩余缓冲器容量展示了如图3那样的阶梯状的转变。 
在图4所示的示例中,假设文件系统5的写入操作的速度不是恒定的,并且在时刻t5的附近改变。就是说,假设文件系统5的写入操作的速度在时间段p期间是低的并且在时间段q期间是高的。写入操作的速度通 过向右下的倾斜(和细线的倾斜)来示出。 
图5是示出根据此示例性实施例的成像装置1的操作的流程图。将参考图4和图5来描述成像装置1的操作。 
将描述如下情况:用户在时刻t1按下了相机模块1的连续拍摄按钮,在该时刻t1处,存储缓冲器4的剩余缓冲器容量最大(时刻t0到t1)(步骤S100)。 
缓冲器容量监控单元7响应于所述按下来确定剩余缓冲器容量是否等于或大于阈值(步骤S101)。这里,因为剩余缓冲器容量等于或大于阈值,所以缓冲器容量监控单元7为超时值设置最高速度处的连续拍摄间隔、即目标间隔(步骤S102),并且将它供应至重复计时器6(步骤S103)。 
重复计时器6以目标间隔分别向相机模块1和图像编码器3供应用于拍摄的指令信号和用于编码的指令信号(步骤S104)。响应于上述信号,相机模块1开始高速连续拍摄的操作并且将所生成的图像数据存储在中间缓冲器2中(步骤S105)。响应于上述信号,图像编码器3对中间缓冲器2中存储的图像数据进行编码,并且将其输出为压缩流(步骤S105)。所输出的压缩流被存储进存储缓冲器4(步骤S106)。当压缩流被存储进存储缓冲器4中时,文件系统5读出它并将它存储进外部存储装置中(步骤S107)。当用户发出连续拍摄结束指令时(步骤S108),相机模块1结束连续拍摄操作(步骤S109)。如果连续拍摄结束指令未被发出,则处理返回至步骤S101。在图4所示的示例中,相机模块1从时刻t1到时刻t2以目标间隔、即原始速度来执行连续拍摄。 
这里,文件系统5的写入速度是低的。因此,存储缓冲器4中的压缩流的存储量逐渐增加,并且剩余缓冲器容量逐渐减少。在时刻t2处,剩余缓冲器容量小于阈值。
缓冲器容量监控单元7基于阈值来监控剩余缓冲器容量。当缓冲器容量监控单元7在步骤S101中检测到剩余缓冲器容量小于阈值时,它检查剩余缓冲器容量是否小于一帧图像的最大代码量(步骤S110)。这里,剩余缓冲器容量等于或大于一帧图像的最大代码量。如上所述,剩余缓冲器 容量减小(步骤S111)。因此,缓冲器容量监控单元7在此时根据剩余缓冲器容量等增加超时值(步骤S112),并且将增加后的超时值供应至重复计时器6(步骤S103)。缓冲器容量监控单元7可根据图2所示的控制特性来确定增加量。重复计时器6根据增加后的超时值,向相机模块1供应用于拍摄的指令信号并且向图像编码器3供应用于编码处理的指令信号(步骤S104)。响应于上述信号,相机模块1继续连续拍摄操作。 
在图4所示的示例中,剩余缓冲器容量在时刻t2之后还是减少。在此时间段期间,缓冲器容量监控单元7根据每次的剩余缓冲器容量来依次增加超时值,并且供应增加后的超时值给重复计时器6。重复计时器6根据增加后的超时值向相机模块1供应用于拍摄的指令信号。相机模块1响应于上述信号来继续连续拍摄操作。连续拍摄速度将会连续地减小。在由箭头A指示的时间段期间,拍摄间隔随着剩余缓冲器容量的减小而变大。 
接下来,在时刻t3处,压缩流被写入,由此存储缓冲器4的剩余缓冲器容量小于一帧图像的最大代码量。缓冲器容量监控单元7检测到存储缓冲器4的剩余缓冲器容量小于一帧图像的最大代码量(步骤S110中的“是”),并且在存储缓冲器4的剩余缓冲器容量小于最大代码量的时间段、即从时刻t3到时刻t4的时间段的期间停止重复计时器6(超时值为无穷大)(步骤S114)。在时刻t3之后,压缩流向存储缓冲器4中的写入被停止,并且压缩流从存储缓冲器4被写进文件系统5。因此,存储缓冲器4的剩余缓冲器容量逐渐增加。在时刻t4的点B处,保证了最大代码量作为剩余缓冲器容量。缓冲器容量监控单元7在时刻t4处检测到已保证了最大代码量作为剩余缓冲器容量(步骤S115),并且指示重复计时器6恢复操作(步骤S116)。重复计时器6的操作被恢复时的超时值是与最大代码量相对应的值。 
缓冲器容量监控单元7在时刻t4之后接连地监控剩余缓冲器容量。在存储缓冲器4的剩余缓冲器容量小于阈值的时间段、即超时值被连续控制的时间段期间,缓冲器容量监控单元7为重复计时器6设置与每次的剩余缓冲器容量相对应的超时值。因此,相机模块1根据被改变的超时值来继续连续拍摄操作。 
这里,在恢复重复计时器6的操作的时刻t5之后,在时间段q期间,以高速度执行文件系统5的写入操作。因此,存储缓冲器4的剩余缓冲器容量逐渐增加。 
因此,在步骤S111中,缓冲器容量监控单元7检测到存储缓冲器4的剩余缓冲器容量增加,并且减小重复计时器6的超时值(步骤S113)。结果,在以箭头C指示的时间段期间,连续拍摄间隔逐渐减小并且连续拍摄速度连续地增大。在从时刻t1到时刻t6的时间段期间,剩余缓冲器容量小于阈值。因此,相机模块1以大于目标间隔的间隔,即低于最高速度的速度,来执行连续拍摄。 
剩余缓冲器容量在时刻t6处等于或大于阈值(步骤S101中的“是”)。缓冲器容量监控单元7将重复计时器6的超时值设置为目标间隔。结果,相机模块1返回到它执行高速连续拍摄的原始状态。 
通过上述操作,缓冲器容量监控单元7控制了超时值。 
如上所述,在根据示例性实施例1的成像装置10中,缓冲器容量监控单元7一直监控存储缓冲器4的剩余缓冲器容量,并且针对至少一部分拍摄来连续地控制拍摄间隔。就是说,当剩余缓冲器容量等于或大于阈值时,缓冲器容量监控单元7不改变超时值并且将它设置为最高速度、即目标间隔。结果,相机模块1可以以目标间隔来执行连续拍摄。即使当从存储缓冲器4到文件系统5中的数据写入速度是如此低以致于不能保证数据写入速度等于或小于预定值时、或者当写入速度不能被预测时,这也能够被实现。 
当剩余缓冲器容量小于阈值时,缓冲器容量监控单元7根据剩余缓冲器容量的减少或增加来改变超时值。就是说,缓冲器容量监控单元7在最高速度与最低速度之间连续地增加或减小连续拍摄间隔。结果,相机模块1可执行稳定和连续的拍摄操作。 
而且,当存储缓冲器4的剩余缓冲器容量小于一帧图像的最大代码量时,缓冲器容量监控单元7在此时间段期间停止重复计时器6的计时器操作。通过此方式,因为存储缓冲器4中的压缩流的存储停止了,所以剩余缓冲器容量增加。因此,在剩余缓冲器容量等于或大于一帧图像的最大代 码量的时刻之后,相机模块1可接连地执行连续拍摄操作。 
因此,连续拍摄间隔根据存储缓冲器4的剩余缓冲器容量而从高速度向低速度自然且连续地改变,并且获得了可在成像装置10中实现稳定和连续的拍摄操作的效果。 
通过上述控制,当文件系统5的性能低时,缓冲器容量监控单元7增大连续拍摄间隔。由此,文件系统5的写入速度与连续拍摄间隔平衡,并且可使得连续拍摄操作稳定。即使当文件系统5的写入速度瞬时地降低时,缓冲器容量监控单元7也根据速度而临时地使得连续拍摄间隔是大的。当写入速度恢复时,连续拍摄间隔可被设置为原始间隔。因此,可类似地使得连续拍摄操作稳定。 
因此,可实现如下的控制:当文件系统的操作速度低时连续拍摄速度降低,并且当文件系统的操作速度高时连续拍摄速度增大。结果,可降低将存储缓冲器4中存储的数据写进外部存储装置等的文件系统5、外部存储装置等等所需要的操作速度。 
这里,近些年中,可拍摄的相片的最大尺寸随着成像装置的功能的增加而恒定地增大。结果,拍摄速度、编码速度和到文件的写入速度降低。因为这个原因,为了实现具有连续拍摄功能的成像装置,已经有必要安装具有极大容量的存储器、或者通过使用可高速操作的组件来配置成像装置的每个单元。这些组件是昂贵的。因此,在实现成像装置方面存在着大问题。在根据此示例性实施例的成像装置10中,处理时间一般并不稳定的文件系统处理与图像处理分离,并且拍摄间隔根据在它们之间设置的存储缓冲器4的剩余容量而被可变地和连续地控制。通过这种配置,在不在成像装置中使用昂贵组件的情况下,可实现高速的、稳定的和连续的拍摄。 
成像装置10具有包括两片存储器的中间缓冲器4并且交替地存储连续图像数据。通过使用此中间缓冲器4,相机模块1和图像编码器3可同时分别开始成像处理和编码处理。根据此配置,成像装置10可将连续拍摄间隔缩短为拍摄所需的时间或编码所需的时间中的更长的一个,连续拍摄间隔通常不能被减小得小于或等于两个时间的和。因此,除了缓冲器容量监控单元7对超时值的上述控制以外,在成像装置10中的拍摄处理和 编码处理之间执行了流水线处理。由此,即使当配置每个单元的组件的性能低时,成像装置10也可以以短的连续拍摄间隔来执行稳定和连续的拍摄操作。 
而且,成像装置10具有存储缓冲器4存储压缩流的配置。因此,与存储缓冲器4保存非压缩的图像数据的情况相比,成像装置10可使用具有小容量的存储器作为用于缓冲器的存储器。 
示例性实施例2 
上述示例性实施例1中示出的每个功能块和每个处理操作都可通过上述硬件来配置并且都可通过利用CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等的计算机控制来实现。 
图6是示出由计算机控制的成像装置20的配置的框图。成像装置20包括相机模块21、中间缓冲器22、图像编码器23、存储缓冲器24、文件系统25、控制单元(CPU)26、操作单元27和ROM 28。相机模块21具有连续拍摄功能。可通过RAM等的存储区域来配置中间缓冲器22和存储缓冲器24。图像编码器23压缩图像数据。文件系统25将压缩流写进外部存储装置等中作为文件。控制单元(CPU)26控制每个单元。操作单元27接收用户的拍摄操作等。ROM 28存储控制程序等。 
在此示例性实施例中,控制单元(CPU)26读出ROM 28中存储的控制程序,控制单元(CPU)26基于所读取的程序而被控制并且控制每个单元。控制单元(CPU)26根据该程序来实现与图1所示的示例性实施例1的缓冲器容量监控单元7和重复计时器6相关地描述的每个控制功能、以及图2的图中所示的控制特性。 
接下来,将描述根据此示例性实施例的成像装置20的处理过程。 
图7是示出到存储缓冲器24的数据写入操作的流程图。控制单元(CPU)26执行如下控制:通过相机模块21的连续拍摄来获得的图像数据一度被写进中间缓冲器22(步骤S201)。控制单元(CPU)26执行最新近写入的图像数据被读出的控制,并且使图像编码器23能对数据进行编码(步骤S202)。控制单元(CPU)26执行被编码的图像数据被写进 存储缓冲器24的控制(步骤S203)。接下来,控制单元(CPU)26确定相机模块21的拍摄操作是否是连续拍摄的继续(步骤S204)。当确定拍摄操作是连续拍摄的继续时,控制单元(CPU)26通过存储缓冲器24的图像数据的存储来监控剩余缓冲器容量,并且基于图2所示的图、根据剩余缓冲器容量来对至少一部分拍摄连续地控制拍摄间隔(步骤S205)。 
图8是示出文件系统25的写入操作的流程图。当图像处理之后的图像数据被写进存储缓冲器24时(步骤S301),控制单元(CPU)26按照图像数据的单位向文件系统25中写入图像数据(步骤S302)。接下来,确定图像数据是否被存储在存储缓冲器24中(步骤S303)。当确定图像数据存储在它里面时,处理返回至步骤S301并且到文件系统25的写入被重复。写入操作的速度取决于文件系统25和由文件系统25使用的外部存储装置的特性等。 
如上所述,在根据示例性实施例2的成像装置20中,像根据上述示例性实施例1的成像装置10那样,包括中间缓冲器22和图像编码器23的图像处理单元与文件系统25分离。控制单元(CPU)26根据在它们之间设置的存储缓冲器24的剩余缓冲器容量来连续地控制拍摄间隔。通过此配置,即使当写入速度是如此低以致于不能保证文件系统25的写入速度等于或大于预定值时、或者当写入速度不能被预测时,成像装置20也能够实现稳定和连续的拍摄操作。 
示例性实施例3 
图9是示出根据本发明的示例性实施例3的成像装置30的配置的框图。如图9所示,根据示例性实施例3的成像装置30包括存储缓冲器31和控制装置32。 
存储缓冲器31存储数据。控制装置32根据存储缓冲器31的剩余容量来对至少一部分拍摄连续地控制拍摄间隔。 
通过此配置,获得了可在成像装置30中实现稳定和连续的拍摄操作的效果。 
在上述的每个示例性实施例中,已示出了如下的示例性配置:用于存 储已被执行了成像处理的图像数据的缓冲器被用作对象缓冲器,对于该对象缓冲器,剩余缓冲器容量被监控以便控制连续拍摄间隔。然而,配置不限于此配置。就是说,作为本发明的其他示例性实施例,可使用如下的配置:用于存储还未被执行压缩处理的未处理图像数据的存储器被用作对象缓冲器。 
在此情况下,配置改变成如下的配置:图1所示的示例性实施例的中间缓冲器2被用作可存储由相机模块1输出的希望数目的图像数据的存储缓冲器,并且存储缓冲器的剩余缓冲器容量被缓冲器容量监控单元7监控。此外,使用了如下配置:文件系统5将存储缓冲器的输出写进图像编码器3,并且在必要的情况下经由存储缓冲器4向外部存储装置等中写入图像处理之后的图像数据。 
在此示例性实施例中,通过根据与图1所示的示例性实施例中描述的操作过程相类似的过程来执行对连续拍摄间隔的控制操作,可执行如下的控制:利用该控制,连续拍摄间隔如图2的图中所示出的那样被连续地改变。 
此外,根据上述的每个示例性实施例的成像装置保存如图2的图所示的剩余缓冲器容量的最大值与一帧图像的最大代码量之间的任意阈值,所述剩余缓冲器容量的最大值即缓冲器容量。假设了缓冲器容量监控单元7控制连续拍摄间隔,以使得在剩余缓冲器容量处于阈值与一帧图像的最大代码量之间的时间段期间,连续拍摄间隔随着剩余缓冲器容量的减小而连续地增加。然而,操作不限于此。就是说,图2所示的图是示例,并且本发明的剩余缓冲器容量与超时值之间的关系可不同于图2所示的关系。例如,可将图2的图中示出的阈值布置为尽可能地接近缓冲器容量。当剩余缓冲器容量处于缓冲器容量与阈值之间时,超时值可以是恒定的。在它们之间可稍微增加超时值。连续拍摄间隔随着剩余缓冲器容量的减小而连续地增加的特性可被设置为具有希望的曲线的任意特性。 
已参考示例性实施例描述了本发明。然而,本发明不限于上述示例性实施例。可在本发明的范围中进行本领域的技术人员可理解的、在本发明的配置或细节上的各种改变。 
工业适用性
在本发明中,根据文件系统的前一级中设置的缓冲器中所存储的数据的剩余容量来控制拍摄间隔。本发明可应用于写入速度低、写入速度不能被预测等情况的文件系统。因此,本发明可应用于相机、具有相机的移动终端、以及具有相机功能的各种电子设备。 
本申请基于2008年2月20日递交的日本申请日本专利申请No.2008-039416来要求优先权,并且该日本申请的公开由此通过引用而被全部结合。 

Claims (10)

1.一种成像设备,包括:
成像装置,所述成像装置用于生成图像数据;
第一缓冲器,所述第一缓冲器用于存储所述图像数据;以及
控制装置,所述控制装置用于根据针对所述第一缓冲器的剩余容量而单调减小的连续函数来控制所述成像装置的拍摄间隔。
2.根据权利要求1所述的成像设备,其中所述控制装置控制所述拍摄间隔,以便在所述剩余容量小于阈值的时间段期间、随着所述剩余容量的减小而增加。
3.根据权利要求1所述的成像设备,其中所述控制装置控制所述拍摄间隔以便在所述剩余容量小于一帧图像的最大数据量的时间段期间为无穷大,并且控制所述拍摄间隔以便当所述剩余容量变为等于或大于所述一帧图像的最大数据量时被设置为与所述最大数据量相对应的值。
4.根据权利要求1所述的成像设备,还包括:
多个第二缓冲器,所述多个第二缓冲器用于按顺序交替地存储由所述成像装置生成的所述图像数据;以及
图像处理装置,所述图像处理装置用于按照所述多个第二缓冲器存储所述图像数据的顺序来读出所述图像数据,对所述图像数据进行编码,并且将所编码的图像数据存储进所述第一缓冲器。
5.根据权利要求4所述的成像设备,其中所述控制装置控制所述成像装置的处理和所述图像处理装置的处理,以便同时开始。
6.一种成像方法,包括:
生成图像数据;
将所述图像数据存储进第一缓冲器;以及
根据针对所述第一缓冲器的剩余容量而单调减小的连续函数来控制生成所述图像数据的拍摄间隔。
7.根据权利要求6所述的成像方法,其中在所述剩余容量小于阈值的时间段期间,所述拍摄间隔被控制以便随着所述剩余容量的减小而增加。
8.根据权利要求6所述的成像方法,其中在所述剩余容量小于一帧图像的最大数据量的时间段期间,所述拍摄间隔被控制以便为无穷大,并且当所述剩余容量变为等于或大于所述一帧图像的最大数据量时,所述拍摄间隔被控制以便被设置为与所述最大数据量相对应的值。
9.根据权利要求6所述的成像方法,还包括:
按顺序交替地将所生成的图像数据存储进多个第二缓冲器;
按所述多个第二缓冲器存储所述图像数据的顺序来读出所述图像数据;
对所述图像数据进行编码;以及
将所编码的图像数据存储进所述第一缓冲器。
10.根据权利要求9所述的成像方法,其中生成所述图像数据,以及按所述多个第二缓冲器存储所述图像数据的顺序来读出所述图像数据、对所述图像数据进行编码和将所编码的图像数据存储在所述第一缓冲器中被控制以便同时开始。
CN2009801058327A 2008-02-20 2009-02-16 成像装置以及成像方法 Expired - Fee Related CN101953151B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008039416 2008-02-20
JP2008-039416 2008-02-20
PCT/JP2009/053110 WO2009104776A1 (ja) 2008-02-20 2009-02-16 撮像装置、撮像方法及びプログラム

Publications (2)

Publication Number Publication Date
CN101953151A CN101953151A (zh) 2011-01-19
CN101953151B true CN101953151B (zh) 2013-02-13

Family

ID=40985652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801058327A Expired - Fee Related CN101953151B (zh) 2008-02-20 2009-02-16 成像装置以及成像方法

Country Status (5)

Country Link
US (1) US8373770B2 (zh)
EP (1) EP2249557B1 (zh)
JP (1) JP5234831B2 (zh)
CN (1) CN101953151B (zh)
WO (1) WO2009104776A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561851B2 (ja) * 2008-03-18 2010-10-13 カシオ計算機株式会社 撮像装置、撮像方法および撮像プログラム
JP5665345B2 (ja) * 2010-03-31 2015-02-04 キヤノン株式会社 撮像装置およびその制御方法
CN103167147A (zh) * 2012-09-20 2013-06-19 深圳市金立通信设备有限公司 一种智能手机高速连拍系统及方法
US9247098B2 (en) * 2013-04-09 2016-01-26 Here Global B.V. Automatic time lapse capture
JP6235944B2 (ja) * 2014-03-19 2017-11-22 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
CN108024052A (zh) * 2016-10-28 2018-05-11 中兴通讯股份有限公司 智能拍照方法及装置
JP7215414B2 (ja) * 2017-04-18 2023-01-31 ソニーグループ株式会社 表示制御装置、撮像装置及び表示制御方法
JP7036270B1 (ja) 2021-09-03 2022-03-15 富士電機株式会社 電力変換装置および誘導炉用電力変換装置
CN116347229B (zh) * 2022-12-21 2024-03-15 荣耀终端有限公司 图像拍摄的方法及电子设备
CN118450240A (zh) * 2023-09-21 2024-08-06 荣耀终端有限公司 图像处理方法、电子设备和计算机可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0810933B2 (ja) 1987-12-28 1996-01-31 三菱電機株式会社 画像符号化伝送方式
JPH02248186A (ja) 1989-03-22 1990-10-03 Toshiba Corp 電子スチルカメラ
JP3273605B2 (ja) 1990-02-28 2002-04-08 オリンパス光学工業株式会社 電子スチルカメラ
JP3107617B2 (ja) * 1991-11-15 2000-11-13 京セラ株式会社 撮影速度制御方式
JP3647050B2 (ja) 1992-11-17 2005-05-11 キヤノン株式会社 撮影装置
US6020920A (en) * 1997-06-10 2000-02-01 Flashpoint Technology, Inc. Method and system for speculative decompression of compressed image data in an image capture unit
JP2002199328A (ja) 2000-10-19 2002-07-12 Canon Inc 撮像装置、撮像方法、記憶媒体および集積回路
JP4574087B2 (ja) 2001-09-10 2010-11-04 キヤノン株式会社 撮像装置、その制御方法、並びにその制御プログラム及び記憶媒体
US7456875B2 (en) * 2002-03-14 2008-11-25 Sony Corporation Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
US7050096B2 (en) * 2002-03-29 2006-05-23 Hewlett-Packard Development Company, L.P. Real-time image transfer by selective frame dropping between a camera and host computer
JP4289045B2 (ja) * 2003-07-01 2009-07-01 株式会社ニコン 電子スチルカメラ、電子スチルカメラシステムおよびプログラム
JP4470485B2 (ja) * 2003-12-25 2010-06-02 株式会社ニコン 固定ビット長の予測差分圧縮データを生成する画像圧縮装置および画像圧縮プログラム、画像伸張装置および画像伸張プログラム、並びに電子カメラ
JP2006067452A (ja) 2004-08-30 2006-03-09 Nikon Corp 映像記録装置、および電子カメラ
JP4415879B2 (ja) 2005-03-07 2010-02-17 ソニー株式会社 撮像装置および撮像方法
JP4537266B2 (ja) * 2005-06-16 2010-09-01 キヤノン株式会社 記録装置及び再生装置
WO2007052535A1 (ja) * 2005-10-31 2007-05-10 Pioneer Corporation 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体
JP2007221214A (ja) 2006-02-14 2007-08-30 Canon Inc カメラ
JP4862541B2 (ja) 2006-08-01 2012-01-25 株式会社ジェイテクト 駆動力伝達装置の試験方法及び製造方法

Also Published As

Publication number Publication date
EP2249557A1 (en) 2010-11-10
EP2249557B1 (en) 2016-10-12
WO2009104776A1 (ja) 2009-08-27
CN101953151A (zh) 2011-01-19
US8373770B2 (en) 2013-02-12
EP2249557A4 (en) 2011-08-10
JPWO2009104776A1 (ja) 2011-06-23
JP5234831B2 (ja) 2013-07-10
US20100289917A1 (en) 2010-11-18

Similar Documents

Publication Publication Date Title
CN101953151B (zh) 成像装置以及成像方法
CN101253761B (zh) 图像编码设备和图像编码方法
JP4795138B2 (ja) 画像処理装置及びプログラム
JP2003244446A (ja) 画像処理装置及び画像処理方法
EP1835391B1 (en) Storage apparatus and method for processing in the same
EP2897355A1 (en) Controlling method for electronic apparatus with one switch button
CN110521208B (zh) 用于片上系统中的智能数据/帧压缩的系统和方法
EP0653888A2 (en) Moving picture decoding control system
CN101387985A (zh) 信息处理装置、记录方法和计算机程序
JP2007287084A (ja) 画像処理装置及びプログラム
JP6191394B2 (ja) データ圧縮装置、プログラム及びコンピュータ読み取り可能な記録媒体
CN1964201A (zh) 用于捕获广播信号的广播接收设备及其方法
US6992788B2 (en) Image processing apparatus and method, and storage medium
JP2007096738A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JP4612436B2 (ja) オーディオデコード装置
CN113747159A (zh) 一种生成可变帧率视频媒体文件的方法、装置及相关组件
JP4941254B2 (ja) 画像圧縮装置、プリンタ、及び複合機
WO2010125616A1 (ja) 符号化ストリーム復号装置
JP5222803B2 (ja) 画像処理装置
WO2017183109A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2007235851A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4561230B2 (ja) データ転送制御装置及びデータ転送方法
JP2013211608A (ja) 映像受信装置
JP2006510080A (ja) 再構成可能なマルチプロセッサシステムにおける構成記述を符号化する方法及び装置
JP2005130197A (ja) 符号化方法、符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NEC CASIO MOBILE COMMUNICATIONS, LTD.

Free format text: FORMER OWNER: NEC CORPORATION

Effective date: 20120929

Owner name: NTT DOCOMO, INC.

Effective date: 20120929

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20120929

Address after: Kanagawa, Japan

Applicant after: NEC CASIO Mobile Communications, Ltd.

Applicant after: NTT Docomo, Inc.

Address before: Kanagawa, Japan

Applicant before: NEC CASIO Mobile Communications, Ltd.

Effective date of registration: 20120929

Address after: Kanagawa, Japan

Applicant after: NEC CASIO Mobile Communications, Ltd.

Address before: Tokyo, Japan

Applicant before: NEC Corp.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130213

Termination date: 20170216