CN1692445A - 图像传感设备、图像编辑方法和记录图像编辑方法的存储介质 - Google Patents
图像传感设备、图像编辑方法和记录图像编辑方法的存储介质 Download PDFInfo
- Publication number
- CN1692445A CN1692445A CN 200380100422 CN200380100422A CN1692445A CN 1692445 A CN1692445 A CN 1692445A CN 200380100422 CN200380100422 CN 200380100422 CN 200380100422 A CN200380100422 A CN 200380100422A CN 1692445 A CN1692445 A CN 1692445A
- Authority
- CN
- China
- Prior art keywords
- image data
- shooting
- moving image
- image
- motion image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
一种能拍摄和重放运动图像的图像传感设备,其简化和执行用于通过将另一图像插入指定运动图像的中间以形成一个运动图像的编辑操作。一种设备包括记录运动图像数据的闪存(38);在记录在闪存(38)中的运动图像数据中指定任意时间位置的键输入单元(36);以及控制单元(32),在指定的时间位置的基础上,启动图像的拍摄,根据所指定的时间位置,将通过拍摄获得的图像数据插入运动图像数据,以及重放所获得的运动图像数据。
Description
技术领域
本发明涉及能记录和重放运动图像的图像传感设备、图像编辑方法以及记录图像编辑方法的存储介质。
背景技术
近年来,能将通过摄影所获得的图像数据记录在半导体存储器中的数字照相机(在下文中,简称为“数码相机”)已经得到广泛应用而超过将图像记录在卤化银胶片上的传统照相机。
这种数码相机的大多数型号不仅能拍摄静态图像而且还能拍摄时间序列图像,诸如连拍图像、运动图像等等,尽管根据记录介质的容量,与集成照相机的录像机相比,它们不能进行长时间记录。
当由这种数码相机拍摄运动图像时,记录在存储卡或类似物上的单个运动图像数据彼此无关。因此,使用数码相机,很难进行例如将两个运动图像组合成一个运动图像的操作。在这种情况下,需要个人计算机上的编辑软件。
在这些情况下,已经设计出一种数码相机,其允许由自身对运动图像做简单的编辑操作,诸如部分擦除、划分、结合等等。(例如,见专利文献1)。
[专利文献1]
日本专利申请,KOKAI公开号No.11-275512
如上所述,专利文献1的数码相机允许用户指定运动图像中的编辑点,以及根据指定编辑点,进行用于局部擦除、划分以及结合运动图像的编辑操作。
在将另一运动图像B插入已经由这一数码相同记录的指定运动图像A的中间时,需要下述操作:
(1)在运动图像A中指定编辑点;
(2)按编辑模式“剪取”,将运动图像A划分成A1和A2;
(3)按编辑模式“粘贴”,结合运动图像A1和B;以及
(4)按编辑模式“粘贴”,结合运动图像“A1+B”和A2。
另外,在各个编辑操作,诸如划分、结合等等后,通过覆盖,将编辑的运动图像立即存储在作为记录介质的闪存中。因此,当用户通过选择播放模式,确认所编辑的运动图像“A1+B+A2”,以及不满意内容时,他或她必须重做从用于通过指定两个编辑点,将所结合的运动图像“A1+B+A2”划分成三个运动图像的操作。
用这种方式,通过结合基本编辑操作,必须发出用于多个运动图像的指令。因此,总体上需要繁琐的操作,以及重做还需要类似的劳动。
发明内容
根据本发明,一种图像传感设备的特征在于包括:记录单元,记录通过拍摄所获得的运动图像数据;指定单元,在被记录在记录单元中的运动图像数据中指定任意时间位置;拍摄控制单元,根据指定单元指定的时间位置开始拍摄图像;以及插入单元,根据所指定的时间位置,将通过拍摄控制单元进行拍摄获得的图像数据插入运动图像数据中,以及存储所获得的运动图像数据。
附图说明
图1A和1B示出表示根据本发明的第一实施例的数码相机的外观的立体图;
图2是表示根据第一实施例的电路布置的框图;
图3主要示出根据第一实施例在运动图像插入模式中处理内容的流程图;
图4A至图4E表示根据第一实施例,在运动图像插入模式中将被处理的运动图像数据的编辑内容的例子;
图5主要示出根据本发明的第二实施例在运动图像插入模式中处理内容的流程图;
图6A至图6G表示根据第二实施例,在运动图像插入模式中将被处理的运动图像数据的编辑内容的例子;
图7主要示出根据本发明的第三实施例在运动图像插入模式中处理内容的流程图;
图8A至图8G表示根据第三实施例,在运动图像插入模式中将被处理的运动图像数据的编辑内容的例子;
图9主要示出根据本发明的第四实施例在运动图像插入模式中处理内容的流程图;
图10表示根据本发明的第一实施例,在运动图像插入模式中重放运动图像数据时的显示例子;以及
图11表示在将根据第一实施例的运动图像插入模式中的播放模式切换到记录模式时的显示例子。
具体实施方式
(第一实施例)
在下文中将参考附图描述在将本发明应用于数码相机时的第一
实施例。
图1A和1B表示数码相机的外观。图1A主要示出数码相机的前侧的立体图,以及图1B是主要示出其后侧的立体图。
该数码相机1具有拍摄透镜2、自拍定时器灯3、光学取景器窗4、麦克风5、闪光灯发出单元6和橡皮手柄7,这些部件设置在基本上为矩形的薄型本体(profile body)的前面。在顶面(相对于用户)的右端侧上,设置电源键8和快门键9。
橡皮手柄7是的橡皮的条状凸起,设置成当他或她在拍摄时,用右手从外壳的右侧面侧握住数码相机1时,用户的右手的第二手指、第三手指和小手指能紧紧地握住外壳。
操作电源键8来开启/关闭电源。快门键9用来在拍摄模式中控制拍摄。快门键9还用作用来在例如菜单选择中控制设置/执行的执行键。
在数码相机1的后面,设置模式开关(SW)10、扬声器11、菜单键12、十字键13、光学取景器14、闪光灯充电指示灯15和显示单元16。
模式开关10包括例如滑动开关并用来在作为基本模式的记录模式“R”和播放模式“P”间切换。
在选择各种菜单项等等时,操作菜单键12。
通过包含在上、下、右和左方向的光标键,形成十字键13。
显示单元16包括具有背光的彩色液晶面板。在记录模式中,显示单元16将整个监视图像(monitored through image)显示为电子取景器。同时,显示单元16显示在播放模式中重放的选择图像。
假定在数码相机1的底面提供用于可拆卸地容纳用作记录介质的存储卡的存储卡槽、作为用来连接外部个人计算机的串行接口连接器的例子的USB(通用串行总线)连接器等等(尽管未示出它们的任何一个)。
下面将使用图2,说明数码相机1的数字电路配置。
在图像拍摄模式中的监视状态中,通过驱动马达(M)21,移动聚焦位置和光圈位置。CCD23是图像传感元件,设置在包括拍摄透镜2的透镜光学系统22的拍摄光轴后。由定时发生器(TG)24和垂直驱动器25扫描和驱动CCD23,以及在预定周期,输出对应于用于一帧的成形光学图像的光电转换输出。
这一光电转换输出适当地经受用于作为模拟值信号的各个基本彩色分量(RGB)的增益调整,然后由采样/保持电路(S/H)26采样/保持。通过A/D转换器27,将来自采样/保持电路26的输出转换成数字数据。数字数据通过色彩处理电路28经受色彩处理,包括像素内插处理和γ校正处理,生成数字值的亮度信号Y和色差信号Cb和Cr。然后将这些信号输出到DMA(直接存储存取)控制器29。
DMA控制器29使用也从色彩处理电路28输出的合成sync信号、存储器写入使能信号以及时钟信号,将从色彩处理电路29输出的亮度信号Y和色差信号Cb和Cr临时写入其内部存储器。然后,DMA控制器29经DRAM接口(I/F)30,将这些信号DMA传送到用作缓冲存储器的DRAM31。
控制单元32包括CPU 32A、永久存储操作程序的ROM 32B、用作工作存储器的RAM32C、启动图像拍摄的拍摄控制部32D,以及将运动图像数据插入另一运动图像数据中并存储它们的插入部32E。控制单元32控制整个数码相机1的操作。在将亮度和色差信号以DMA传送方式传送到DRAM31后,控制单元32经DRAM接口30,从DRAM31读出这些亮度和色差信号,以及经VRAM控制器33,将它们写入VRAM34。
数字视频编码器35经VRAM控制器33,从VRAM34定期读出亮度和色差信号,基于这些数据生成视频信号,以及将视频信号输出到显示单元16。
显示单元16在图像拍摄模式中用作监视显示单元(电子取景器),如上所述。显示单元16基于来自数字视频编码器35的视频信号进行显示,从而在此时,基于从VRAM控制器33俘获的图像信息,实时显示图像。
当用户在他或她想拍摄静止图像时,操作形成键输入单元36(指定单元)的快门键9,同时用这种方式,将那时的图像在显示单元16上实时显示为监视图像,生成触发信号。
响应这一触发信号,控制单元32在完成将此时从CCD23捕获的用于一帧的亮度和色差信号DMA传送到DRAM31后,立即关闭从CCD23到DRAM31的路径,并且转换到记录/保存状态。
在记录/保存状态中,控制单元32读出写入DARM31中、用于称为Y、Cb和Cr分量数据的每一个的基本块(8像素(垂直方向)×8像素(水平方向))的各个单元的用于一帧的亮度和色差信号,以及将所读出的信号写入JPEG(联合图像专家组)电路37中。JPEG电路37通过处理,诸如ADCT(自适应离散余弦变换)、作为熵编码的Huffman编码等等,压缩数据。
控制单元32从JPEG电路37读出所获得的编码数据作为一个图像的数据文件,以及将其写入作为非易失存储器的闪存38(记录单元)。闪存38密封在作为这一数码相机1的记录介质、可拆卸地连接的存储卡中。
另外,除可拆卸存储卡外,这一闪存38可以包含在数码相机1中,以及可一起使用存储卡和内部存储器。
在完成用于一帧的亮度和色差信号的压缩处理,以及闪存38中的所有压缩数据的写入处理后,控制单元32再次打开从CCD32到DRAM31的路径。
控制单元32进一步与音频处理器39和USB接口(I/F)40连接。
音频处理器39包括声音源电路,诸如PCM声音源或类似电路。在音频记录模式中,音频处理器39将从麦克风(MIC)5输入的音频信号转换成数字数据。音频处理器9根据预定数据文件格式,诸如MP3(MPEG-1音频层3),压缩此数据以生成音频数据文件,以及将此文件发送到控制单元32。另一方面,在音频播放模式中,音频处理器39解压缩所接收的音频数据文件,以及将所解压缩的数据转换成模拟信号。然后,音频处理器39驱动扬声器(SP)11以便产生大的声音。
USB接口40在与经USB连接器40有线连接的外部设备(例如,个人计算机)交换图像数据等等时,进行通信控制。
注意,键输入单元36除快门键9,还包括电源键8、模式开关10、菜单键12、十字键13等等。在操作这些键时产生的信号直接输出到控制单元32。
在拍摄运动图像代替静止图像时,暂时连续记录通过JPEG电路37压缩静止图像数据获得的静止图像数据文件,同时继续维持键输入单元36的快门键9的操作。在完成快门键9的操作时,或在预定限定时间(例如30秒)过去后,将一系列静止图像数据文件再设定成运动JPEG数据文件。
在播放模式中,控制单元32有选择地读出记录在闪存38中的图像数据。JPEG电路37以与在拍摄模式中数据压缩序列相反的顺序,扩展所压缩的图像数据。在经DRAM接口30,将所扩展的图像数据保存在DRAM31中后,经VRAM控制器33,将DRAM31的保存内容存储在VRAM34中。然后,从VRAM34定期读出图像数据,生成视频信号,视频信号被重放并在显示单元16上输出。
当选择图像数据不是静止图像而是运动图像时,暂时连续重放形成所选择的运动图像的各个静止图像。在完成重放所有静止图像数据后,仅重放和显示位于运动图像文件头处的静止图像数据,直到发出下一播放指令为止。
下面将描述这一实施例的操作。
图3表示主要由控制单元32执行的的一系列处理内容,直到选择记录在闪存38中的运动图像数据,将另一运动图像数据插入所选择的运动图像数据中,以及记录所获得的数据以便更新旧数据,同时由模式开关10选择播放模式为止。
在开始这一处理时,在选择将显示的运动图像数据后(步骤A01),通过重复地检查用户是否已经执行通过直接操作快门键9,进行指示播放开始的键操作(步骤A02),或通过在操作菜单键12和十字键13后,操作快门键9,用户是否已指明用于将另一运动图像插入所选择的运动图像中间的运动图像插入模式(步骤A03),该控制等待以下键操作的一个。
当用户已经执行与指定的运动图像插入模式有关的键操作时,在步骤A03中检测此操作,以及设置运动图像插入模式(A04)。然后,流程从步骤A01返回到该过程。
如果在步骤A02中确定用户已经执行用于开始重放的键操作,确定此时是否已经设置运动图像插入模式(步骤A05)。
如果未设置运动图像插入模式,确定将执行正常运动图像重放过程,以下省略其描述。
如果在步骤A05中确定设置运动图像插入模式,在步骤A01中选择的运动图像数据开始重放(步骤A06)。在此之后,该控制通过重复地检查用户是否已经给出通过操作例如快门键9,在正在重放和显示的运动图像中间指明插入时间的插入标志(步骤A07),以及是否完成初始选择的运动图像的重放过程(步骤A08),等待下述状态的一个。图10表示在步骤A06和A07中显示单元16上的显示例子,即其中用户已经在重放和显示在步骤A01中选择的运动图像数据期间,给出指定插入时间的插入标志M。运动图像下显示的条形BAR表示正在重放和显示的整个运动图像数据,以及用BAR1表示整个数据迄今重放的数据比。
如果在步骤A08中确定完成运动图像的重放过程,确定不给出插入标志M,因此,初始选择的运动图像没有要编辑(插入)的时间位置,从而结束一系列处理。
如果在步骤A07中确定已经给出插入标志,该控制立即从作为基本模式的插入模式转变成记录模式(步骤A09),以及等待指示开始记录将插入的新运动图像的键操作(更具体地说,快门键9的操作)(步骤A10)。
在这种情况下,显示单元16还可以将指南消息显示为特征串:
“按压快门键以启动拍摄将插入的运动图像”
图11表示在步骤A09中,在控制已经进入记录模式后,在显示单元16上显示的整个图像(through image)上层叠的指南消息的显示例子。
当用户已经通过操作快门键9,发出运动图像的记录开始指令时,在步骤A10中检测此操作。然后,记录将插入的运动图像(步骤A11),同时重复用于通过检查是否释放快门键9或运动图像连续记录的预定限定时间(例如30秒)已过,确定记录运动图像结束的过程(步骤A12)。
此时,将所获得的运动图像数据顺序地记录在闪存38中作为新的运动图像数据。
如果在步骤A12中确定结束记录运动图像,确定已经获得将插入的运动图像数据。因此,再次将记录模式切换到播放模式(步骤A13),以便在显示单元16上从头到尾重放和显示通过将通过记录获得的新运动图像数据插入在步骤A01中选择的运动图像数据中间获得的运动图像数据(步骤A14)。
在完成插入过程后,检查是否记录所播放的内容并保存为新运动图像数据文件(步骤A15)。
通过在显示单元16上将指南消息显示为特征串:
“你想将现在重放的内容记录为新文件?
是 否”,
以及通过确定用户是否直接操作快门键9,同时通过光标使字符串部“是”高亮来进行这一校验过程,或他或她通过操作十字键13的右键,将高亮光标移动到字符串部“否”,操作快门键9。
如果在步骤A15中确定将所获得的数据被记录和存储为新文件,使用记录在闪存38中的两个运动图像数据,执行编辑过程以便获得上述重放顺序,以及将所编辑的运动图像数据新记录为一个运动图像数据(步骤A16),从而结束一系列过程。
另一方面,如果在步骤A15中确定所获得的数据将不记录和保存为新文件,通过从闪存38删除它,删除通过拍摄获得的、将插入的运动图像数据(步骤A17),从而结束一系列过程。
图4A至4E表示基于上述一系列过程,将编辑的运动图像数据的例子。假定在步骤A01中初始选择图4A中所示的运动图像A。
同时,假定重放这一运动图像A同时设置运动图像插入模式,以及在重放时间给出插入标志IM,如图4B所示。假定A1是已经重放的运动图像A的前半部分,以及A2是将重放的运动图像A的后半部分。
记录模式自动开始,以及通过步骤A10至A12中的处理,新记录将插入的运动图像B,如图4C所示。播放模式在步骤A13中自动开始,以及在步骤A14中,显示单元16重放和显示通过将运动图像B插入运动图像A的插入标志IM指定位置获得的一系列运动图像“A1+B+A2”,如图4D所示。
当用户已经执行指示将新运动图像记录和保存为播放运动图像A的键操作时,其中在任意时间位置插入运动图像B,在步骤A16中,将新运动图像A’记录在闪存38中,以便更新旧数据,如图4E所示。同时,为排列目的,从闪存38删除旧运动图像A和B的数据文件。
用这种方式,通过最小所需键操作,而没有基本模式的任何改变操作,可以执行一系列编辑处理,这一系列编辑处理是当在初始选择运动图像(A)中指明任意时间位置,拍摄将插入的新运动图像(B),以及重放和显示通过将运动图像(B)插入选择的运动图像(A)获得的运动图像(A1+B+A2)时所需的。因此,能大大地简化数码相机1的用户编辑数据所需的操作。
另外,在用户暂时确认通过插入通过拍摄获得的、将插入的运动图像(B)后获得的内容后(A1+B+A2),将所获得的内容记录在作为记录介质的闪存38中。因此,当用户不满意所编辑的内容时,不记录所编辑的内容,以及从闪存38自动删除今后拍摄的运动图像(B)。因此,能大大地减少直到用户能重做类似编辑操作所需的处理。
(第二实施例)
以下将参考附图描述将本发明应用于数码相机时的第二实施例。
注意,数码相机的外观和数字电路布局基本上与图1A、图1B和图2所示相同。因此,在这一实施例中,相同的标志表示与第一实施例相同的部件,以及将省略示例说明和描述。
下面,将描述这一实施例的操作。
图5表示直到选择记录在闪存38中的运动图像数据,将另一运动图像数据插入选择的运动图像数据中,以及记录所获得数据以便更新旧数据,同时通过模式开关10选择播放模式为止,主要由控制单元32执行的一系列处理内容。
在这一过程开始时,在选择将显示的运动图像数据后(步骤B01),该控制通过重复检验用户是否已经执行通过直接操作快门键9,指示播放开始的键操作(步骤B02),或用户是否已经通过在操作菜单键12和十字键13后,操作快门键9,将另一运动图像插入所选择的运动图像的中间,指明运动图像插入模式(步骤B03)来等待下述键操作的一个。
当用户已经执行与指明运动图像插入模式有关的键操作时,在步骤B03中检测此操作,以及设置运动图像插入模式(步骤B04)。然后流程从步骤B01返回到该过程。
如果在步骤B02中确定用户已经执行用于开始重放的键操作,确定此时是否设置运动图像插入模式(步骤B05)。
如果未设置运动图像插入模式,确定将执行正常运动图像重放过程,以及将省略其描述。
如果在步骤B05中确定设置运动图像插入模式,开始重放在步骤B01中选择的运动图像数据(步骤B06)。在此之后,通过重复校验是否完成选择运动图像的重放过程(步骤B07),用户是否已经通过操作例如快门键9,指明正在重放和显示的运动图像中间的插入时间的插入标志(步骤B08),以及用户是否已经通过操作例如十字键13的右键,结束插入标志的指定操作(步骤B09),控制等待下述状态的一个。
如果在步骤B08中确定用户已经指定插入标志,确定根据那个时间位置,将给出插入标志,以及控制单元32内部地存储指定插入标志的设置(步骤B10)。然后,流程从步骤B09返回到该过程。
如果在步骤B07中确定结束选择运动图像的重放过程,或如果在步骤B09中确定将结束插入标志的指定操作,通过检验控制单元32是否内部地存储指定插入标志的设置,确定将插入选择运动图像中的运动图像是否仍然存在(步骤B11)。
如果确定将插入的运动图像仍然存在,该控制立即从作为基本模式的播放模式转变到记录模式(步骤B12),以及等待指示开始记录将插入的新运动图像的键操作(更具体地说,快门键9的操作)(步骤B13)。
在这种情况下,显示单元16还可以将指南消息显示为特征串“按压快门,以便开始拍摄将插入的运动图像”。
当用户通过操作快门键9,已经发出运动图像的记录开始指令时,在步骤B13中检测此操作。然后,记录将插入的运动图像(步骤B14),同时重复用于通过检验是否释放了快门键9或运动图像连续记录的预定限制时间(例如30秒)已过,确定结束记录运动图像的处理(步骤B15)。
此时,将所获得的运动图像数据顺序地记录在闪存38中,作为新运动图像数据。
如果在步骤B15中确定结束记录运动图像时,通过追加表示已经记录相应的运动图像的标志信息,检验内部存储在控制单元32中的指定插入标志的设置(步骤B16)。然后流程返回到步骤B11以便检验将插入的其他运动图像是否仍然存在。
当在步骤B10中指定和设置多个插入标志以及运动图像将插入初始选择的运动图像的多个位置处时,根据插入标志的数量,重复步骤B11至B16中的处理,以及依次记录将插入的运动图像。
在完成拍摄和记录将插入的所有运动图像后,在步骤B11中确定不存在将插入的运动图像,以及再次将记录模式切换到播放模式(步骤B17)。然后,显示单元16重放和显示运动图像数据,其中将通过记录所获得的多个新运动图像数据插入在从头到尾记录在步骤B01中选择的运动图像数据的中间(步骤B18)。
在完成重放处理后,检验是否将播放的内容记录和保存为新运动图像数据文件(步骤B19)。
这一校验过程的进行是通过在显示单元16上,将指南消息显示为字符串:
“你想将现在重放的内容记录为新文件?
是 否”,
以及通过确定用户是否直接操作快门键9同时用光标高亮字符串部“是”,或在他或她通过操作十字键13的右键,将高亮的光标移动到字符串部“否”后,操作快门键9。
如果在步骤B19中确定将所获得的数据记录和保存为新文件,使用记录在闪存38中的各个运动图像数据,执行编辑过程以便获得上述重放顺序,以及将所编辑的运动图像数据新记录为一个运动图像数据(步骤B20),从而结束一系列过程。
另一方面,如果在步骤B19中确定所获得的数据不记录和保存为新文件,通过同时从闪存38删除它们,删除通过拍摄获得的、将插入的各个运动图像数据(步骤B21),从而结束一系列处理。
图6A至6G表示基于上述处理系列,将编辑的运动图像数据的例子。假定在步骤B01中初始地选择图6A中所示的运动图像A。
同时,假定重放这一运动图像A同时设置运动图像插入模式,以及在各个重放时间指定插入标志IM1至IM3,如图6B所示。然后,在用这种方式指定的插入标志IM1至IM3的位置,将这一运动图像A划分成局部图像A1至A4。
记录模式自动开始,以及通过在步骤B13至B16中的处理,依次新记录将插入的运动图像B至D,如图6C至6E所示。然后,在步骤B11中假定完成将插入的所需运动图像的记录过程后,在步骤B17中播放模式自动开始。
在步骤B18中,显示单元16重放和显示通过将运动图像B、C和D插入运动图像A中的插入标志IM1至IM3的指定位置获得的一系列运动图像“A1+B+A2+C+A3+D+A4”,如图6F所示。
当用户已经执行指示将所播放的运动图像A记录和保存为新运动图像的键操作时,其中,在任意时间位置插入运动图像B至D,在步骤B20中,将新运动图像A’记录在闪存38中以便更新旧数据,如图6G所示。同时,为布置目的,从闪存38删除旧运动图像A和通过拍摄所获得的、将插入的运动图像B至D的数据文件。
用这种方式,通过最少所需键操作,而对基本模式没有任何改变操作,能执行当在初始选择运动图像(A)中指定多个任意时间位置、依次拍摄将插入的新运动图像(B至D),以及重放和显示通过将这些运动图像插入选择的运动图像(A)获得的运动图像(A1+B+A2+C+A3+D+A4)时所需要的一系列编辑处理。因此,能大大地简化数码相机1的用户编辑数据所需的操作。
另外,由于将多个运动图像插入初始选择的运动图像中,例如,能容易设置和执行类似倒叙的视频效果,从而使表示的范围变宽。
(第三实施例)
在下文中将参考附图,描述将本发明应用于数码相机的第三实施例。
注意,数码相机的外观和数字电路布局基本上与图1A、图1B和图2所示的相同。因此,在这一实施例中相同的标记表示与第一实施例相同的部件,以及将省略其示例说明和描述。
下面将描述这一实施例的操作。
图7表示直到选择记录在闪存38中的运动图像数据,将另一运动图像数据插入选择运动图像数据,以及记录所获得的数据以便更新旧数据,同时由模式开关10选择播放模式为止,主要由控制单元32执行的一系列处理内容。
在这一过程开始时,在选择将显示的运动图像数据后(步骤C01),通过重复地校验用户是否已经执行通过直接操作快门键9,指示播放开始键操作(步骤C02),或通过在操作菜单键12和十字键13后,操作快门键9,用户是否指明用于将另一运动图像插入所选择的运动图像中间的运动图像插入模式(步骤C03),该控制等待随后的键操作的一个。
当用户已经执行与指定的运动图像插入模式有关的键操作时,在步骤C03中检测此操作,以及设置运动图像插入模式(步骤C04)。然后,流程从步骤C01返回到该过程。
如果在步骤C02中确定用户已经执行用于开始重放的键操作,确定此时是否设置运动图像插入模式(步骤C05)。
如果未设置运动图像插入模式,确定将执行正常运动图像重放过程,以及将省略其描述。
如果在步骤C05中确定设置运动图像插入模式,在步骤C01中选择的运动图像数据开始重放(步骤C06)。在此之后,通过重复校验是否完成选择运动图像的重放过程(步骤C07),用户是否已经通过操作例如快门键9,指明正在重放和显示的运动图像中间的插入时间的插入标志(步骤C08),以及用户是否已经通过操作例如十字键13的右键,结束插入标志的指定操作(步骤C09),控制等待下述状态的一个。
如果在步骤C08中确定用户已经指定插入标志,确定根据此时间位置,将给出插入标志,以及控制单元32内部地存储指定插入标志的设置(步骤C10)。同时,控制单元32存储此插入标志的拍摄顺序的设置(步骤C11)。然后,流程从步骤C09返回到该过程。
如果在步骤C07中确定结束选择运动图像的重放过程,或如果在步骤C09中确定将结束插入标志的指定操作,通过查看控制单元32是否内部地存储指定插入标志的设置,确定将插入选择运动图像中的运动图像是否仍然存在(步骤C12)。
如果确定将插入的运动图像仍然存在,控制立即从作为基本模式的播放模式转变到记录模式(步骤C13)。在指定按拍摄顺序插入的那些运动图像的第一位置后(步骤C14),该控制等待指示开始记录将插入的新运动图像的键操作(更具体地说,快门键9的操作)(步骤C15)。
在这种情况下,显示单元16还可以将指南消息显示为特征串:
“按压快门以便开始拍摄将插入的运动图像”。
当用户通过操作快门键9,已经发出运动图像的记录开始指令时,在步骤C15中检测此操作。然后,记录将插入的运动图像(步骤C16),同时重复用于通过检验是否释放了快门键9或运动图像连续记录的预定限制时间(例如30秒)已过,确定结束记录运动图像的处理(步骤C17)。
此时,将所获得的运动图像数据顺序地记录在闪存38中,作为新运动图像数据。
如果在步骤C17中确定结束记录运动图像时,通过追加表示已经记录相应的运动图像的标志信息,检验内部存储在控制单元32中的指定插入标志的设置(步骤C18)。然后流程返回到步骤C12以便检验将插入的其他运动图像是否仍然存在。
当在步骤C10和C11中指定和设置多个插入标志以及运动图像将插入初始选择的运动图像的多个位置处时,根据插入标志的数量,重复步骤C12至B18中的处理,以及根据指定的拍摄顺序,依次记录将插入的运动图像。
在完成拍摄和记录将记录的所有运动图像后,在步骤C12中确定不存在将插入的运动图像,以及再次将记录模式切换到播放模式(步骤C19)。然后,显示单元16重放和显示运动图像数据,其中将通过按指定拍摄顺序记录获得的多个新运动图像数据插入在从头到尾记录在步骤C01中选择的运动图像数据的中间(步骤C20)。
在完成重放处理后,检验是否将播放的内容记录和保存为新运动图像数据文件(步骤C21)。
这一检验过程的进行是通过在显示单元16上,将指南消息显示为字符串:
“你想将现在重放的内容记录为新文件?
是 否”
以及通过确定用户是否直接操作快门键9同时用光标高亮字符串部“是”,或在他或她通过操作十字键13的右键,将高亮的光标移动到字符串部“否”后,操作快门键9。
如果在步骤C21中确定将所获得的数据记录和保存为新文件,使用记录在闪存38中的各个运动图像数据,执行编辑过程以便获得上述重放顺序,以及将所编辑的运动图像数据新记录为一个运动图像数据(步骤C22),从而结束一系列过程。
另一方面,如果在步骤C21中确定所获得的数据不记录和保存为新文件,通过同时从闪存38删除它们,删除通过拍摄获得的、将插入的各个运动图像数据(步骤C23),从而结束一系列处理。
图8A至8G表示将基于上述处理系列编辑的运动图像数据的例子。假定在步骤C01中初始选择图8A中所示的运动图像A。
同时,假定重放这一运动图像A同时设置运动图像插入模式,以及在重放时间共3个位置指定插入标志IM1至IM3,如图8B所示。在这种情况下,同时指定将插入的运动图像的拍摄顺序。然后,在用这种方式指定的插入标志IM1至IM3的位置,将这一运动图像A划分成局部图像A1至A4。
记录模式自动开始,以及通过在步骤C15至C18中的处理,依次新记录将插入的运动图像B至D,如图8C至8E所示。然后,在步骤C12中假定完成将插入的所需运动图像的记录过程后,在步骤C19中播放模式自动开始。
在步骤C20中,显示单元16重放和显示通过根据指定的拍摄顺序,将运动图像B、C和D插入运动图像A中的插入标志IM1至IM3的指定位置,获得的一系列运动图像“A1+C+A2+D+A3+B+A4”,如图8F所示。
当用户已经执行指示将所播放的运动图像A记录和保存为新运动图像的键操作时,其中,根据指定的拍摄顺序,在任意时间位置插入运动图像B至D,在步骤C22中,将新运动图像A’记录在闪存38中以便更新旧数据,如图8G所示。同时,为布置目的,从闪存38删除旧运动图像A和通过拍摄所获得的、将插入的运动图像B至D的数据文件。
用这种方式,通过最少所需键操作,而没有对基本模式的任何改变操作,能执行当在初始选择运动图像(A)中指定多个任意时间位置,根据指定的顺序依次拍摄将插入的新运动图像(B至D)以及重放和显示通过将这些运动图像插入选择运动图像(A)获得的运动图像(A1+C+A2+D+A3+B+A4)时所需的一系列编辑处理。因此,能大大地简化数码相机1的用户编辑数据所需的操作。
另外,由于将多个运动图像插入初始选择的运动图像中,例如,能容易设置和执行类似倒叙的视频效果,从而扩展表示的范围。
此外,由于能指定将插入指定运动图像中间的每个单个运动图像的拍摄顺序,根据用户的灵活性,能减少拍摄和编辑图像所需的劳动,从而容易创作表现丰富的运动图像。
(第四实施例)
在下文中将参考附图,描述将本发明应用于数码相机的第四实施例。
注意,数码相机的外观和数字电路布局基本上与图1A、图1B和图2所示相同。因此,在该实施例中的相同标记表示与在第一实施例中相同的部件,以及将省略其示例说明和描述。
下面将描述本实施例的操作。
图9表示直到选择记录在闪存38中的运动图像数据,将另一运动图像数据插入选择运动图像数据,以及记录所获得的数据以便更新旧数据,同时由模式开关10选择播放模式为止,主要由控制单元32执行的一系列处理内容。
在这一过程开始时,在选择将显示的运动图像数据后(步骤D01),电路通过重复地校验用户是否已经执行通过直接操作快门键9,指示播放开始键操作(步骤D02),或通过在操作菜单键12和十字键13后,操作快门键9,用户是否指明用于将另一运动图像插入所选择的运动图像中间的运动图像插入模式(步骤D03),等待下述键操作的一个。
当用户已经执行与指定的运动图像插入模式有关的键操作时,在步骤D03中检测此操作,以及设置运动图像插入模式(D04)。然后,流程从步骤D01返回到该过程。
如果在步骤D02中确定用户已经执行用于开始重放的键操作,确定此时是否设置运动图像插入模式(步骤D05)。
如果未设置运动图像插入模式,确定将执行正常运动图像重放过程,以及将省略其描述。
如果在步骤D05中确定设置运动图像插入模式,在步骤D01中选择的运动图像数据开始重放(步骤D06)。在此之后,通过重复校验用户是否已经通过操作例如快门键9,指明正在重放和显示的运动图像中间的插入时间的插入标志(步骤D07),以及是否结束初始选择的运动图像的重放过程(步骤D08),该控制等待以下状态的一个。
如果在步骤D08中确定完成运动图像的重放处理,确定未提供插入标志,以及因此,初始选择的运动图像没有将编辑(插入)的时间位置,从而结束一系列处理。
如果在步骤D07中确定用户已经给出插入标志,该控制立即从作为基本模式的播放模式转变到记录模式(步骤D09)。另外,通过从提供和设置插入标志的运动图像的时间位置跟踪,显示单元16重放运动图像达预定时间周期(例如5秒)(步骤D10)。然后,该控制等待指示开始记录将插入的新运动图像的键操作(更具体地说,快门键9的操作)(步骤D11)。
在这种情况下,显示单元16还可以将指南消息显示为特征串:
“按压快门以便开始拍摄将插入的运动图像”。
当用户通过操作快门键9,已经发出运动图像的记录开始指令时,在步骤D11中检测此操作。然后,记录将插入的运动图像(步骤D12),同时重复用于通过检验是否释放了快门键9或运动图像连续记录的预定限制时间(例如30秒)已过,确定结束记录运动图像的处理(步骤D13)。
此时,将所获得的运动图像数据顺序地记录在闪存38中,作为新运动图像数据。
如果在步骤D13中确定结束记录运动图像时,确定已经获得将插入的运动图像数据。因此,再次将记录模式切换到播放模式(步骤D14),以便在显示单元16上从头到尾播放和显示通过将通过记录获得的新运动图像数据插入在步骤D01中选择的运动图像数据中间获得的运动图像数据(步骤D15)。
在完成重放过程后,检验是否记录所播放的内容并保存为新运动图像数据文件(步骤D16)。
这一校验过程的进行是通过在显示单元16上将指南消息显示为特征串:
“你想将现在重放的内容记录为新文件?
是 否”,
以及通过确定用户是否直接操作快门键9同时通过光标使字符串部“是”高亮,或他或她通过操作十字键13的右键,将高亮光标移动到字符串部“否”,操作快门键9。
如果在步骤D16中确定将所获得的数据记录和存储为新文件,使用记录在闪存39中的两个运动图像数据,执行编辑过程以便获得上述重放顺序,以及将所编辑的运动图像数据新记录为一个运动图像数据(步骤D17),从而结束一系列操作。
另一方面,如果在步骤D16中确定所获得的数据将不记录和保存为新文件,通过从闪存38删除它,删除通过拍摄获得的、将插入的运动图像数据(步骤D18),从而结束一系列操作。
图4D至4E表示基于上述一系列操作,将编辑的运动图像数据的例子。假定在步骤D01中初始选择图4D中所示的运动图像A。
同时,假定重放这一运动图像A同时设置运动图像插入模式,以及在重放时间给出插入标志IM,如图4B所示。假定A1是已经重放的运动图像A的前半部分,以及A2是将重放的运动图像A的后半部分。
记录模式自动开始,以及在步骤D10中再次重放和显示图像从给出插入标志IM的时间起的预定时间周期,以便使用户很好地识别将插入的运动图像的图像。在此之后,通过在步骤D11至A13中的处理,新记录将插入的运动图像B,如图4C所示。播放模式在步骤D14中自动开始,以及在步骤D15中,显示单元16重放和显示通过将运动图像B插入运动图像A的插入标志IM指定位置获得的一系列运动图像“A1+B+A2”,如图4D所示。
当用户已经执行指示将新运动图像记录和保存为重放运动图像A的键操作时,其中在任意时间位置插入运动图像B,在步骤D17中,将新运动图像A’记录在闪存38中以便更新旧数据,如图4E所示。同时,为排列目的,从闪存38删除旧运动图像A和B的数据文件。
用这种方式,通过最少所需键操作,而没有对基本模式的任何改变操作,可以执行当在初始选择运动图像(A)中指明任意时间位置、拍摄将插入的新运动图像(B),以及重放和显示通过将运动图像(B)插入选择运动图像(A)获得的运动图像(A1+B+A2)时所需的一系列编辑处理。因此,能大大地简化数码相机1的用户编辑数据所需的操作。
另外,在用户视觉上稳定地识别出将插入紧接新运动图像后的场景后,此图像的拍摄开始。因此,在用户充分地意识到他或她的意图后,用户能开始拍摄将插入的运动图像,从而减轻拍摄失败。
注意,第四实施例已经描述了结合第一实施例的操作,在步骤D10中,在预定时间周期内运动图像的重放过程。然而,除第一实施例外,还能结合第二或第三实施例的操作执行这一过程。
在这种情况下,在开始拍摄将拍摄和记录的新运动图像前,考虑到拍摄顺序,重放在紧接插入运动图像前的场景,以及用户能可视地确认内容。
此外,在第一至第四实施例中,当将运动图像A’记录在作为记录介质的闪存38中时,同时从闪存38删除旧运动图像A和B的数据文件。可选择的是,也可以不删除旧数据文件,或用户可以选择是否删除旧运动图像A和B。当旧运动图像A和B保持不动时,能加宽用户的图像数据的使用范围。
在第一至第四实施例中,将插入运动图像中的图像数据是运动图像。然而,将插入的图像数据不限于运动图像,还可以是静止图像。在这种情况下,用与运动图像A相同的数据格式,将静止图像转换成预定时间周期(例如2秒)的静止图像,用与插入运动图像B的情形相同的方式,插入所转换的静止图像。然后,用与运动图像A’相同的方式,将所获得的数据记录在闪存38中。假定用户能任意地设置预定时间周期。当然,用户能选择是否删除旧运动图像和静止图像。用这种方式,能执行用户所需的图像编辑操作。
在第一至第四实施例中,本发明应用于数码相机。然而,本发明不限于此,可以应用于使用随机存取半导体存储器、硬盘设备等等作为记录介质的各种其他图像传感设备,诸如集成照相机的视频录像机,以及与运动图像兼容的便携式电话终端和PDA(个人数字助理)等等。
本发明不限于上述实施例,以及当其实施时,在不背离本发明的范围的情况下,可以做出各种改进。
此外,这些实施例包括各个阶段的发明,以及通过适当地结合多个所公开的所需组成元件,能提取各种发明。例如,即使当从在实施例中所述的所有所需组成元件省略一些所需组成元件,省略所需组成元件的方案能提取为发明,只要解决已经在将通过本发明解决的问题的段落中论述的问题,以及能获得已经在本发明的效果的段落中解释过的效果。
Claims (18)
1.一种图像传感设备,包括:
记录单元(38),记录通过拍摄获得的运动图像数据;
指定单元(36),在被记录在所述记录单元中的所述运动图像数据中指定任意时间位置;
拍摄控制单元(32D),基于由所述指定单元指定的时间位置启动图像拍摄;以及
插入单元(32E),基于指定的时间位置,将由所述拍摄控制单元拍摄获得的图像数据插入所述运动图像数据中,以及存储所获得的运动图像数据。
2.如权利要求1所述的图像传感设备,其中,所述指定单元在所述运动图像数据中指定多个任意时间位置。
3.如权利要求1所述的图像传感设备,其中,所述指定单元在所述运动图像数据中指定多个任意时间位置和拍摄顺序,以及
所述拍摄控制单元根据由所述指定单元指定的所述拍摄顺序,启动多个图像的拍摄。
4.如权利要求1所述的图像传感设备,其中,所述拍摄控制单元根据由所述指定单元指定的时间位置,在所述运动图像中的指定时间位置后,立即在预定时间周期内重放运动图像,然后启动图像的拍摄。
5.如权利要求1所述的图像传感设备,其中,所述插入单元根据所指定的时间位置,将通过所述拍摄控制单元拍摄获得的图像数据插入所述运动图像数据中,重放所获得的运动图像数据,然后存储所获得的运动图像数据。
6.如权利要求1所述的图像传感设备,其中,通过所述拍摄控制单元拍摄获得的图像数据是运动图像数据和静止图像数据中的任何一个。
7.一种图像编辑方法,包括:
指定步骤,在记录通过拍摄获得的运动图像数据的记录介质中记录的运动图像数据中,指定任意时间位置;
拍摄控制步骤,基于所述指定步骤指定的时间位置,启动图像的拍摄;以及
插入步骤,基于所指定的时间位置,将通过在所述拍摄控制步骤中拍摄获得的图像数据插入所述运动图像数据中,以及保存所获得的运动图像数据。
8.如权利要求7所述的图像编辑方法,其中,所述指定步骤包括在所述运动图像数据中指定多个任意时间位置的步骤。
9.如权利要求7所述的图像编辑方法,其中,所述指定步骤包括在所述运动图像数据中,指定多个任意时间位置和拍摄顺序的步骤,以及
所述拍摄控制步骤包括根据在所述指定步骤中指定的所述拍摄顺序,启动多个图像的拍摄的步骤。
10.如权利要求7所述的图像编辑方法,其中,所述拍摄控制步骤包括根据在所述指定步骤中指定的时间位置,在所述运动图像中的指定时间位置后,立即在预定时间周期内重放运动图像,然后启动图像的拍摄的步骤。
11.一种图像编辑方法,包括:
指定步骤,在记录通过拍摄获得的运动图像数据的记录介质中记录的运动图像数据中,指定任意时间位置;
拍摄控制步骤,基于所述指定步骤中指定的时间位置,启动静止图像的拍摄;以及
插入步骤,基于所指定的时间位置,将通过在所述拍摄控制步骤中拍摄获得的静止图像数据作为预定时间周期内的静止图像插入所述运动图像数据中,以及保存所获得的运动图像数据。
12.如权利要求11所述的图像编辑方法,其中,所述指定步骤包括在所述运动图像数据中,指定多个任意时间位置的步骤。
13.如权利要求11所述的图像编辑方法,其中,所述指定步骤包括在所述运动图像数据中,指定多个任意时间位置和拍摄顺序的步骤,以及
所述拍摄控制步骤包括根据在所述指定步骤中指定的所述拍摄顺序,启动多个静止图像的拍摄的步骤。
14.如权利要求11所述的图像编辑方法,其中,所述拍摄控制步骤包括根据在所述指定步骤中指定的时间位置,在所述运动图像中的指定时间位置后,立即在预定时间周期内重放运动图像,然后启动静止图像的拍摄的步骤。
15.一种存储介质,其记录一种图像编辑方法,包括:
指定步骤,在记录通过拍摄获得的运动图像数据的记录介质中记录的运动图像数据中,指定任意时间位置;
拍摄控制步骤,基于所述指定步骤中指定的所述时间位置,启动图像的拍摄;以及
插入步骤,基于所指定的时间位置,将通过在所述拍摄控制步骤中拍摄获得的图像数据插入所述运动图像数据中,以及保存所获得的运动图像数据。
16.如权利要求15所述的记录图像编辑方法的存储介质,其中,所述指定步骤包括在所述运动图像数据中,指定多个任意时间位置的步骤。
17.如权利要求15所述的记录图像编辑方法的存储介质,其中,所述指定步骤包括在所述运动图像数据中,指定多个任意时间位置和拍摄顺序的步骤,以及
所述拍摄控制步骤包括根据在所述指定步骤中指定的所述拍摄顺序,启动多个图像的拍摄的步骤。
18.如权利要求15所述的记录图像编辑方法的存储介质,其中,所述拍摄控制步骤包括基于所述指定步骤中指定的时间位置,在所述运动图像中的指定时间位置后,立即在预定时间周期内重放运动图像,然后启动图像的拍摄的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP378583/2002 | 2002-12-26 | ||
JP2002378583 | 2002-12-26 | ||
JP353695/2003 | 2003-10-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1692445A true CN1692445A (zh) | 2005-11-02 |
CN100585721C CN100585721C (zh) | 2010-01-27 |
Family
ID=35347000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200380100422A Expired - Fee Related CN100585721C (zh) | 2002-12-26 | 2003-11-26 | 图像传感设备、图像编辑方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100585721C (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103108118A (zh) * | 2011-09-29 | 2013-05-15 | 三星电子株式会社 | 数字图像捕捉方法和装置 |
CN103581549A (zh) * | 2012-07-24 | 2014-02-12 | 卡西欧计算机株式会社 | 信息处理装置以及信息处理方法 |
CN109828707A (zh) * | 2015-10-06 | 2019-05-31 | 佳能株式会社 | 显示处理设备及其控制方法 |
-
2003
- 2003-11-26 CN CN200380100422A patent/CN100585721C/zh not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103108118A (zh) * | 2011-09-29 | 2013-05-15 | 三星电子株式会社 | 数字图像捕捉方法和装置 |
CN103581549A (zh) * | 2012-07-24 | 2014-02-12 | 卡西欧计算机株式会社 | 信息处理装置以及信息处理方法 |
CN109828707A (zh) * | 2015-10-06 | 2019-05-31 | 佳能株式会社 | 显示处理设备及其控制方法 |
CN109901765A (zh) * | 2015-10-06 | 2019-06-18 | 佳能株式会社 | 电子设备及其控制方法 |
CN109901765B (zh) * | 2015-10-06 | 2022-06-21 | 佳能株式会社 | 电子设备及其控制方法 |
CN109828707B (zh) * | 2015-10-06 | 2023-03-14 | 佳能株式会社 | 显示处理设备及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN100585721C (zh) | 2010-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1208949C (zh) | 数字式照相机 | |
CN1968391A (zh) | 摄影装置、显示控制方法、程序 | |
CN1294753C (zh) | 图像显示装置和图像显示方法 | |
CN1167257C (zh) | 具有寻象器图象显示功能的电子照相机 | |
CN1525742A (zh) | 图像再生装置和图像再生方法 | |
CN1977527A (zh) | 图像获取装置和图像拍摄方法 | |
CN1929535A (zh) | 成像装置、图像处理装置、图像处理方法及计算机程序 | |
CN1914908A (zh) | 摄像装置 | |
CN1925590A (zh) | 信息处理装置和方法、及程序 | |
CN1753458A (zh) | 摄影装置及摄影方法 | |
CN1534664A (zh) | 记录方法和装置、记录介质、再现方法和装置及成像装置 | |
CN1551212A (zh) | 信息处理装置与方法 | |
CN101031057A (zh) | 图像记录装置和图像显示方法 | |
CN1231045C (zh) | 摄影装置和摄影装置中的数据处理方法 | |
CN1758732A (zh) | 图像再现装置 | |
CN1893556A (zh) | 成像设备、图像处理方法、图像处理程序、以及记录介质 | |
CN1992805A (zh) | 显示控制设备、显示控制方法及其程序 | |
CN1812531A (zh) | 图像处理装置及其控制方法 | |
CN1829308A (zh) | 图像再现装置 | |
CN1812478A (zh) | 图像摄取设备及该设备的控制方法 | |
CN1925589A (zh) | 信息处理装置和方法、及程序 | |
CN1679328A (zh) | 动态图像记录装置 | |
CN1314267C (zh) | 信息处理装置和方法、图像拍摄装置 | |
CN101031056A (zh) | 图像处理装置及方法、程序记录介质、以及程序 | |
JP2004222236A (ja) | 撮像装置、画像編集方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100127 Termination date: 20171126 |
|
CF01 | Termination of patent right due to non-payment of annual fee |