CN100337465C - 图像拾取装置和成像方法 - Google Patents

图像拾取装置和成像方法 Download PDF

Info

Publication number
CN100337465C
CN100337465C CNB2003801000704A CN200380100070A CN100337465C CN 100337465 C CN100337465 C CN 100337465C CN B2003801000704 A CNB2003801000704 A CN B2003801000704A CN 200380100070 A CN200380100070 A CN 200380100070A CN 100337465 C CN100337465 C CN 100337465C
Authority
CN
China
Prior art keywords
view data
image
stored
data
horizontal direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003801000704A
Other languages
English (en)
Other versions
CN1685704A (zh
Inventor
木曾俊也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN1685704A publication Critical patent/CN1685704A/zh
Application granted granted Critical
Publication of CN100337465C publication Critical patent/CN100337465C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877Image rotation
    • H04N1/3878Skew detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

利用简单的操作将两组图像数据合并成一组图像数据,并且不产生不自然的感觉。在触摸面板(26)上为每一组图像数据指定一个方向。比较图像数据的方向,并且相对于另一组图像数据,根据比较的结果调整其中一组图像数据的倾斜。调整的图像数据和另一图像数据合并成一组带来自然感觉的图像数据。

Description

图像拾取装置和成像方法
技术领域
本发明涉及一种图像拾取装置和一种成像方法。
背景技术
利用数码静止照相机获得的图像数据与利用传统的银胶片相机所获得的照片不同。在数码静止照相机的图像数据中可以应用多种数字图像处理。
例如,根据一种数字图像处理或者数字照相机的一种功能,利用数码静止照相机所获得的图像数据可以进行如下的处理。拍摄固定景物A和人物B的第一幅照片的图像组合包括位于框FL的中央的景物A和位于框FL右侧的人物B,如图9A所示。
拍摄景物C与A的第二幅照片的图像组合与第一幅照片类似,包括位于框FL左侧的景物C,如图9B所示。
当拍摄第二幅照片时,第一幅照片的图像被显示在数码静止照相机的液晶显示面板上,而且,附图9A所示的第一幅照片中的固定景物A和人物B的图像以半透明的状态显示在液晶显示面板的框FL的右侧三分之二的区域上。因此,如果拍摄第二幅图像,利用当前的景物A精确地覆盖一幅照片的景物A,就能够获得附图9B所示的第二图像数据,其被用于与附图9A的第一图像数据合并,从而提供附图9C所示的图像数据。通过上述方法获得的第一和第二图像数据的合并产生了一合成图像数据,其表明景物A和C似乎是一起成像的,尽管实际上它们是分别成像的。
由于数码静止照相机具有上述的图像合成功能,附图9C所示的两个人物B和C的图像数据也可以通过分别对人物B和C成像,然后将分别获得的人物B和C的图像数据合成,从而不需要使用三脚架和半定时功能或者不需要请其他人为他们拍合影。
为了获得与第一幅照片同样的图像质量,第二幅照片必须在与第一幅照片基本相同的成像条件下拍摄,比如变焦镜头的焦距位置,包括聚焦和快门速度的曝光条件,白平衡,以及闪光灯的设置。
在上述的图像合成处理中,合成了两组图像数据,但是可以以类似的方式合成任意组图像数据。
关于图像合成技术,提出了一种将图像数据与包括一系列特征的其他图像数据合成的技术,其中在与前面的图像数据合成之前要先校正倾斜的特征。(参见日本公开专利申请No.H8-065457)。
而且,也提出了其他的图像合成技术,其中提交合成处理之前,根据从移动物体检测到的角度和移动校正安装在一个移动物体上面的多个相机所捕获的图像数据和该图像数据。(参见日本公开专利申请No.2001-245131)
但是,在参照附图9A,9B,9C和9D描述的传统的技术当中,图像数据是由不同的人利用不固定的相机分别获得的,因此图像数据可能存在轻微改变的相机角度。如果合成这些图像数据,合成的图像与一起拍摄这两个人所获得的图像数据相比较,可以会有不自然的感觉。
附图9D是表明合成图像的一个例子的视图,其中第二图像数据的景物C与第一图像数据的景物A和B相比向左倾斜。这是拍摄第二幅照片时相机的倾斜角度造成的。
日本公开专利申请No.H8-065457中公开的技术不能被用于校正相机的角度,这是因为该技术是用于校正特征序列的倾斜的。
日本公开专利申请No.2001-245131中公开的技术使用一个回转仪来检测相机的倾斜从而合成图像数据,其也可以用于一个移动物体上,例如汽车和火车上,但是在诸如数码静止照相机以及蜂窝电话等小型设备上使用这种技术是不现实的。
发明概述
根据本发明的一个方面,提供了一种图像拾取装置,其具有一个用于存储在第一成像操作中和第二成像操作中分别获得的第一图像数据和第二图像数据的存储器,第一方向指定单元,用于指定存储在该存储器中的第一图像数据的方向,第二方向指定单元,用于指定存储在该存储器中的第二图像数据的方向,方向比较单元,用于比较第一和第二方向指定单元所分别指定的第一图像数据和第二图像数据的方向,图像角度校正单元,用于根据方向比较单元的比较结果调整第一或者第二图像数据的倾斜,从而使得调整后的图像数据与另一图像数据相一致,以及图像合成单元,用于合并图像角度校正单元调整的图像数据和另一图像数据。
附图的简要说明
附图与说明书相结合并且作为说明书的一部分,表明本发明的优选实施例,其与上面的一般描述以及下面的详细描述一起用于解释本发明的原则和范围。
附图1是表明根据本发明的第一实施例的数码静止照相机的外部透视图;
附图2是表明根据本发明的第一实施例的数码静止照相机的电路结构的方框图;
附图3表明在第一实施例中在双成像模式下的处理的流程;
附图4A,4B,4C,4D,4E和4F是以实例的方式表明在第一实施例中在双成像模式下显示在显示屏上的图像的视图;
附图5是表明在第一实施例中在双成像模式下的合成图像的视图;
附图6表明在本发明的第二实施例中在双成像模式下的处理的流程;
附图7表明在第三实施例中在双成像模式下的处理的流程;
附图8表明在第三实施例中在双成像模式下的处理的流程;以及
附图9A,9B,9C和9D是表明传统的图像合成功能的例子的视图。
实施本发明的优选实施例
本发明的第一实施例
下面将参照附图描述根据本发明的第一实施例的数码静止照相机(以后,称为“数码相机”)。
附图1是表明从数码相机1的后侧面观看的外部透视图。该数码相机1具有一个监视显示单元2,一个十字键3,一个确定键4以及一个位于其后表面的光学取景框,如图1所示。
监视显示单元2包括一个具有背光灯的液晶显示面板,并且具有电子取景框的功能,用于监视在成像模式下将要成像的图像,以及显示功能,用于在重放模式下重放纪录的图像数据并且选择图像数据。
而且,该监视显示单元2具有触摸面板的功能,用于获得表示用户用他/她的手指接触面板的位置的位置坐标,以及用于给出关于显示在其上的图像的各种指令。
十字键3包括一个键单元,其中结合了向上方向键,向下方向键,向左方向键以及向右方向键,并且在中央部分具有一个确定键4。十字键3被用于选择和/或更新各种项目,确定键用于操作最后的确定从而执行十字键3所选择的项目。
光学取景框5用于在不使用监视显示单元2的情况下可视地确定景物图像以及图像内容。
在数码相机的顶部,在顶表面的右侧具有一个快门键6,以及引导面板7和各种模式键8。
当在拍摄景物时操作或者按下快门键6时,就根据自动聚焦处理和自动曝光处理拍摄景物图像。
引导面板7是分段类型的液晶显示面板,其上显示了当前选择的成像项目,电池级别以及剩余存储量等。
模式键8不仅用于设置或者转换操作模式到成像模式或者重放模式,而且用于在成像模式中选择双成像模式(以后将要描述)。
尽管在该图中没有显示,数码相机在其前表面还具有一个镜头筒,一个闪光系统,一个光学取景窗以及一个自拍装置。
现在,参照图2,描述数码相机1中的电路结构。
在数码相机1中,成像模式和重放模式被交替设置为数码相机1的操作模式。在数码相机1中,马达(M)11驱动光学镜头系统12聚焦光学镜头,并且设置合适的曝光。沿着光学系统12的光轴排列着固态成像设备或者CCD13,并且在成像模式的监视状态下由定时信号产生器(TG)14和垂直驱动器15扫描。CCD13产生与每隔一固定周期聚焦的光学图像相应的一帧光电传递数据。
经过增益控制处理的具有R,G,B彩色分量的光电传递数据(模拟信号)被传送到采样-保持(S/H)电路16进行采样保持,并且进一步传送到模拟-数字变换器17,将数据转换成数字数据。然后将数字数据提供给彩色处理单元18,其中数字数据进行包括像素内插处理和伽马校正处理的彩色处理,从而产生一个数字亮度信号Y和色差信号Cb,Cr。
直接存储器访问控制器(DMA控制器)19从彩色处理电路18接收数字亮度信号Y和色差信号Cb,Cr,并且使用来自于彩色处理电路18的复合同步信号,用于激活写入存储器的激活信号以及时钟信号在内置缓冲器中暂时存储接收的数据,并且DMA通过DRAM接口(I/F)20向DRAM21传递信号,DRAM21被用作一个缓冲存储器。DRAM21存储在两次成像操作过程中获得的图像数据。
控制单元22控制数码相机1的整个操作,并且包括CPU221,用于存储操作程序的ROM222,用作工作存储器的RAM223,用于比较指定方向的的方向比较单元224,用于校正第一图像数据和第二图像数据之一的角度的图像角度校正单元225,用于合成校正的图像数据和另一图像数据的图像合成单元226,以及用于指定第一和第二图像数据的图像指定单元227。控制单元22通过DRAM接口20从DRAM21读取亮度信号和色差信号,并且通过VRAM控制器23将亮度信号和色差信号写入到VRAM24。
数字视频记录器25通过VRAM控制器23从VRAM24以固定间隔读取亮度信号和色差信号,并且根据这些读取的信号产生一个视频信号,从而在监视显示单元2上显示。
监视显示单元2显示来自于数字视频记录器15的视频信号从而根据CCD13所获得的并且通过VRAM控制器23传送的图像数据来显示图像数据。
监视显示单元23集成了顶表面的透明触摸面板26。透明触摸面板26用作第一方向指定单元和第二方向指定单元。触摸面板控制器17检测触摸面板26上的操作,并且向控制单元22输出表示用户触摸的触摸面板27的位置的位置坐标数据。
当利用监视显示单元2进行成像定时时操作包含在键输入单元28中的多个键中的快门键6时,监视显示单元2显示一幅图像作为当时的监视图像,产生了一个触发信号。
响应于该触发信号,控制单元22为当时已经从CCD13接收的一帧向DRAM21DMA传送亮度信号和色差信号,并且立即关闭CCD13和DRAM21之间的路径,将DRAM21带入存储状态,从而在其中保存数据。
控制单元22通过DRAM接口20为每一帧读取亮度信号和色差信号,对于每一分量Y,Cr,Cb,以垂直方向8个像素,水平方向8个像素的基础块为单元进行读取,并且将这些读取的数据写入到JPEG(联合图像专家组)电路29,在此这些数据进行诸如ADCT(自适应离散余弦变换),熵编码或者霍夫曼编码的处理,用于数据压缩。
控制单元22从JPEG电路29读取形成一帧数据文件的编码数据,并且将这些编码数据写入到存储卡30。存储卡30是一个包括一闪存的可分离的非易失性的记录介质。
当一帧的亮度信号和色差信号已经进行了压缩处理并且压缩的数据已经被写入到存储卡30时,控制单元22再次打开CCD13和DRAM21之间的路径。
键输入单元28包括十字键3,确定键4,模式键8以及快门键6,响应于这些键的操作所产生的信号被直接传送到控制单元22。
现在,将描述第一实施例的操作。
附图3是表明在成像模式下,尤其是在双成像模式下执行的处理的流程图。在步骤A01,判断是否设置了双成像模式。如果没有,执行另一成像处理。
当在步骤A01中确定已经设置了双成像模式,在步骤A02执行第一成像操作。在第一成像操作中获得的图像数据(第一图像数据)被存储在DRAM21中。存储在DRAM21中的第一图像数据显示在监视显示单元2上。
附图4A以实例的方式表明了根据第一成像操作期间获得的第一图像数据,在监视显示单元2上显示的图像。特别是,固定景物“A”的图像被显示在监视显示单元2的显示屏幕的中央,人物或者景物“B”的图像被显示在显示屏幕的右侧,与附图9A所示相似。
为了提示用户指定在监视显示单元2上显示的图像的水平方向,在显示屏幕所显示的图像上以重叠的方式显示出信息,例如“指定图像的水平方向”。也可能在显示的图像上暂时地显示一个表明图像的水平方向的闪动箭头。
在步骤A03,用户利用他/她的手指在触摸面板26上划线指定显示在监视显示单元2上的第一图像数据的图像的水平方向。表示图像的指定方向的信息与第一成像操作过程中获得的第一图像数据相关,并且存储在DRAM21当中。
如图4B所示,表示图像的水平方向的实线箭头显示在图像的指定方向上。
然后,在步骤A04执行第二成像操作。由于在第一成像操作过程中获得的第一图像数据以半透明的状态显示在显示屏幕的右侧三分之二区域上,如图4C所示,执行第二成像操作使得景物的实际图像和景物的半透明图像重叠。
在第二成像操作中获得的图像数据(第二图像数据)被存储在DRAM21当中与第一成像操作中获得的第一图像数据的存储位置不同的区域当中,并且存储在DRAM21中的图像数据被显示在监视显示单元2中。
当仅有第二成像操作中获得的第二图像数据被显示的时候,例如,在监视显示单元2的显示屏幕的左侧三分之一区域,在步骤A05用户在触摸面板26上指定显示图像的水平方向。表示图像的指定水平方向的信息与第二成像操作中获得的第二图像数据相关,并且存储在DRAM2中。
如图4D所示,表示图像的指定水平方向的实线箭头AR2被显示在监视显示单元2的指定方向上。
然后,在步骤A06判断该信息是否与存储在DRAM21中的图像数据相关从而确定关于两次成像操作中分别获得的两个图像数据,是否已经指定了图像的水平方向。
仅当确定了图像的水平方向已经指定的时候,在步骤A07判断图像的两个水平方向是否彼此相一致从而确定图像的角度是否应当进行校正。
当在步骤A07中确定图像的两个水平方向彼此不一致,并且相对于另一幅图像,该图像的角度或者图像的倾斜需要进行校正时,在步骤A08执行角度校正处理,旋转第二成像操作中获得的第二图像数据,从而使第二图像的水平方向与第一图像一致,并且在步骤A09中合并两幅图像。
如果合并的图像超出了图像数据的边框,在步骤A10删除超出边框的部分。相反,如果合并的图像数据不能填充图像数据框,合并的图像在步骤A11中要进行校正处理从而利用图像数据的临近部分填充缺少的空间。
附图5是表明第一成像模式中获得的第一图像数据的视图,其与附图4D所示的第二成像模式中获得的第二图像数据合并,并且修正其水平方向从而与另一图像数据的水平方向一致。在步骤A08的校正处理中产生的超出边框的部分以及缺少的部分在附图5中所示。如上所述,超出边框(a),(b)和(c)的阴影部分在步骤A10中删除,缺少部分(d),(e)和(f)在步骤A11中填充。
经过上述修正产生的合并的图像数据在JPEG电路29中压缩,并且在步骤A12中存储在存储卡30中。然后,双成像模式的成像处理结束。
如上所述,两个水平方向彼此不同的图像数据能够通过在与监视显示单元2集成在一起的触摸面板26上由用户利用他/她的手指来指定图像的水平方向的简单操作合并成一幅图像数据,合并的图像数据不会给观众带来特别的不自然的感觉。
本发明第一实施例的变形
下面将描述根据本发明的变形的第一实施例的数码相机。在该数码相机中,图像的水平方向不是由用户利用他/她的手指在触摸面板26上指定的,而是利用角度传感器指定的。
变形的第一实施例的数码相机的外部视图与附图1所示的第一实施例相同。除了附图3所示的电路元件以外,数码相机还具有角度传感器。
现在将描述数码相机的操作,但是对于与附图3中的流程图所示的相似的操作将被省略。
在双成像模式下拍摄了第一图像之后,模拟传感器在步骤A03检测用于拍摄第一图像的数码相机1的角度。表示检测到的数码相机的角度的信息,其被用于表示与第一图像相应的第一图像数据的水平方向,与第一成像模式中获得的第一图像数据相关并且存储在DRAM21中。在监视显示单元2中,表示检测的数码相机角度的实线箭头AR1可以显示在图像上,如图4B所示,或者不被显示。
在双成像模式下拍摄了第二幅图像之后,角度检测器在步骤A05检测用于拍摄第二图像的数码相机1的角度。表示检测到的相机角度的信息,其被用于表示与第二图像相应的第二图像数据的水平方向,与第二成像操作中获得的第二图像数据相关,并且被存储在DRAM21当中。在监视显示单元2,表示检测的相机角度的实线箭头AR1可以被显示在图像上,如图4D所示,或者不显示。
在步骤A06以及以后执行的处理中,表示相机角度的信息被用于表示第一和第二图像数据的水平方向。
在根据变形的第一实施例的数码相机中,用户不需要在触摸面板26上利用他/她的手指指定图像数据的水平方向,因此图像可以以简单的操作合并。为了获得图像的合并,用户可以不注意相机的角度进行拍摄。相机角度可以依赖于角度传感器的精确程度更为精确或者更为粗糙的检测。
本发明的第二实施例
下面将参照附图描述根据本发明的第二实施例的数字静止照相机(以后,称为“数码相机”)。
第二实施例的数码相机具有与附图1所示的第一实施例相似的外观,并且具有与附图2所示的第一实施例相似的电路结构。在下面的描述中,相同的参考数字被用于表示在各幅图中相同或者相应的元件,并且对于它们的描述将被省略。
现在参照附图6的流程描述第二实施例的数码相机的操作。
在步骤B01判断双成像模式是否被设置。如果没有,执行其他成像处理。
当在步骤B01中确定已经设置了双成像模式,在步骤B02中执行第一成像操作。在第一成像操作中获得的图像数据(第一图像数据)被存储在DRAM21中。存储在DRAM21中的第一图像数据被显示在监视显示单元2上。
附图4A以实例的方式表明了根据第一成像操作获得的第一图像数据,在监视显示单元2上显示的图像。特别是,固定景物“A”的图像被显示在监视显示单元2的显示屏幕的中央,人物或者景物“B”的图像被显示在显示屏幕的右侧,与附图9A所示相似。
为了提示用户指定在监视显示单元2上显示的图像的水平方向,在显示屏幕所显示的图像上以重叠的方式显示出信息,例如“指定图像的水平方向”。也可能在显示的图像上暂时地显示一个表明图像的水平方向的闪动箭头。
在步骤B03中,用户利用他/她的手指在触摸面板26上划线指定显示在监视显示单元2上的第一图像数据的水平方向。表示指定水平方向的信息与第一成像操作过程中获得的第一图像数据相关,并且存储在DRAM21当中。
如图4B所示,表示水平方向的实线箭头AR1显示在图像的指定方向上。
然后,在步骤B04执行第二成像操作。由于在第一成像操作过程中获得的第一图像数据以半透明的状态显示在显示屏幕的右侧三分之二区域上,如图4C所示,执行第二成像操作使得景物的实际图像和景物的半透明图像重叠。
在第二成像操作中获得的第二图像数据被存储在DRAM21当中与第一成像操作中获得的第一图像数据的存储位置不同的区域当中,并且存储在DRAM21中的图像数据被显示在监视显示单元2中。
当仅有第二成像操作中获得的第二图像数据被显示的时候,例如,在监视显示单元2的显示屏幕的左侧三分之一区域,在步骤B05用户在触摸面板26上指定显示图像的水平方向。表示图像的指定水平方向的信息与第二成像操作中获得的第二图像数据相关,并且存储在DRAM2中。
如图4E所示,表示图像的指定水平方向的实线箭头AR2被显示在监视显示单元2的指定方向上。
然后,在步骤B06判断该信息是否与存储在DRAM21中的图像数据相关从而确定对于两次成像操作中分别获得的图像数据,是否已经指定了图像的水平方向。
仅当确定了图像的水平方向已经指定的时候,在步骤B07判断图像的两个水平方向是否彼此相一致从而确定图像的角度或者相对于另一图像的图像的倾斜是否应当进行校正。
当在步骤B07中确定图像的两个水平方向彼此不一致并且图像的角度或者相对于另一幅图像的图像倾斜需要进行校正时,在步骤B08执行角度校正处理,旋转第二成像操作中获得的第二图像数据,从而使第二图像的水平方向与第一图像一致。
角度校正处理是用户手动执行的。例如,在监视显示单元2上显示指引信息表明“使用“-->”键或者“<--”键指定图像的角度并且利用确定键确定指定的角度”,用于从键输入单元26接收输入。
每次操作包含在键输入单元28中的十字键3中的“-->”键或者“<--”键时,在步骤B08中调整显示在监视显示单元2上的第二图像数据的角度(在第二成像操作中获得的)。
例如,每一“<--”键的操作是第二图像数据在逆时针方向上旋转5度,每一“-->”键的操作在顺时针方向上旋转5度。因此,第二图像数据的角度能够根据用户的意愿通过这些方向键的操作而在监视显示单元2上进行调整。
当利用显示在第二图像数据上的实线箭头AR2操作几次十字键3上的“-->”键的时候,如图4E所示,每操作一次该键,第二图像数据就在顺时针方向上旋转一次,如上所述。
附图4F是表明在其方向上调整第二图像数据,从而使得表示第二图像数据的水平方向的箭头AR3与如图4B所示的表示第一图像数据的水平方向的箭头AR1相一致的视图。
当操作十字键3中央的确定键4从而调整第二图像数据的角度时,如图4F所示,在步骤B09中确定第二图像数据的方向并且完成角度校正处理。
在步骤B10,执行图像合成处理,从而将第一图像数据和第二图像数据彼此合并。合并的图像数据进行校正处理,从而在步骤B11中删除超出图像框的部分,在步骤B12中填充缺少的部分,如上所述。
在步骤B13中,产生的图像数据在JPEG电路29中压缩,并且存储在存储卡30中。然后,成像处理完成。
如上所述,当每一图像数据的水平方向在与监视显示单元2集成的触摸面板26上指定的时候,以及指定的水平方向彼此不一致的时候,用户能够随意的在触摸面板26上调整其中一个图像数据的方向,并且能够获得不产生不自然感觉的图像数据。
本发明的第三实施例
下面将参照附图描述根据本发明的第三实施例的数码相机。
第三实施例的数码相机与附图1所示的第一实施例基本相同,并且具有与附图2所示的第一实施例基本相同的电路结构。在下面的描述中,相同的参考数字被用于表示在各幅图中相同或者相应的元件,并且对于它们的描述将被省略。
现在参照附图7的流程描述第三实施例的数码相机的操作。
在步骤C01判断双成像模式是否被设置。如果没有,执行其他成像处理。
当在步骤C01中确定已经设置了双成像模式,在步骤C02中执行第一成像操作,从而在显示屏幕的中央和右侧部分获得一幅图像。在第一成像操作中获得的第一图像数据被存储在DRAM21中并且被显示在监视显示单元2上。
为了提示用户指定在监视显示单元2上显示的图像的水平方向,在显示屏幕所显示的图像上以重叠的方式显示出信息,例如“指定图像的水平方向”。也可能在显示的图像上暂时地显示一个表明图像的水平方向的闪动箭头。
在步骤C03中,用户利用他/她的手指在触摸面板26上划线指定显示在监视显示单元2上的第一图像数据的水平方向。表示第一图像数据的指定水平方向的信息与第一图像数据相关,并且存储在DRAM21当中。
以后,在步骤C04中,执行第二成像操作,从而获得显示屏幕左边三分之一的图像数据。
此时,由于第一图像数据以半透明的状态显示在显示屏幕的右边三分之二区域上,用户能够确定第二成像操作中的相机角度,从而使将被成像的景物占据显示屏幕的左边三分之一区域。
通过上述的方式在第二成像操作中获得的第二图像数据存储在DRAM21中与第一成像操作中获得的第一图像数据的存储区域不同的区域上,并且存储在DRAM21中的图像数据显示在监视显示单元2上。
仅当第二图像数据显示在监视显示单元2的左边三分之一区域时,用户在步骤C05利用他/她的手指在触摸面板26上指定第二图像数据的水平方向。
表示第二图像数据的水平方向的信息与DRAM21中的第二图像数据相关,并且表示第二图像数据的水平方向的实线箭头AR2被显示在监视显示单元2上的第二图像数据上。
然后,在步骤C06判断该信息是否与存储在DRAM21中的图像数据相关,从而判断对于在两次成像操作中分别获得的图像数据,图像的水平方向是否被指定。
仅当确定了图像的水平方向已经指定的时候,在步骤C07判断图像的两个水平方向是否彼此相一致从而确定图像的角度或者相对于另一图像的图像倾斜是否应当进行校正。
当在步骤C07中确定图像的两个水平方向彼此不一致并且图像的角度需要进行校正时,在步骤C08判断角度校正处理是否已经执行,旋转第二成像操作中获得的第二图像数据,从而使第二图像的水平方向与第一图像一致。
步骤C08的判断是这样处理的。例如,在表示显示在监视显示单元2上的第二图像数据的水平方向的箭头上显示指引信息“校正图像角度?是-->确定键/否-->快门键”。然后判断是否操作了确定键和快门键来判断对于第一图像数据,第二图像数据的角度是否被校正。
如果第二图像数据将在关于第一图像数据的方向上进行调整,初始设置条件不变。当操作快门键时,在步骤C09改变初始设置条件从而在相对于第二图像数据的方向上调整第一图像数据。
然后在步骤C10执行角度校正处理,并且旋转其中一个图像数据使得其水平方向与另一图像数据的水平方向相一致。
然后在步骤C11合并调整的图像数据和另一图像数据。
超出边框的合并图像数据的部分在步骤C12中删除,合并图像数据的缺少部分在步骤C13中利用临近部分的数据填充。
在步骤C14中合成的图像数据在JPEG电路29中压缩,并且存储在存储卡30中。现在,双成像模式中的所有处理完成。
如上所述,由于用户能够选择图像数据、相对于另一图像数据进行的排列或者校正的方向或角度,在获得合成的图像数据中能够不调整或者校正更为重要的图像数据。
本发明的第四实施例
下面将参照附图描述根据本发明的第四实施例的数码相机。
第四实施例的数码相机与附图1所示的第一实施例基本相同,并且具有与附图2所示的第一实施例基本相同的电路结构。在下面的描述中,相同的参考数字被用于表示在各幅图中相同或者相应的元件,并且对于它们的描述将被省略。
现在参照附图8的流程描述第四实施例的数码相机的操作。
在步骤D01判断双成像模式是否被设置。如果没有,执行其他成像处理。
当在步骤D01中确定已经设置了双成像模式,在步骤D02中执行第一成像操作,从而在显示屏幕的中央以及右侧部分获得一幅图像。在第一成像操作中获得的第一图像数据被存储在DRAM21中并且被显示在监视显示单元2上。
为了提示用户指定在监视显示单元2上显示的图像的水平方向,在显示屏幕所显示的图像上以重叠的方式显示出信息,例如“指定图像的水平方向”。也可能在显示的图像上暂时地显示一个表明图像的水平方向的闪动箭头。
在步骤D03中,用户利用他/她的手指在触摸面板26上划线指定显示在监视显示单元2上的第一图像数据的水平方向。表示第一图像数据的指定水平方向的信息与第一图像数据相关,并且存储在DRAM21当中。
以后,在步骤D04中,执行第二成像操作,从而获得显示屏幕左边三分之一的图像数据。
此时,由于第一图像数据以半透明的状态显示在显示屏幕的右边三分之二区域上,用户能够确定第二成像操作中的相机角度,从而使将被成像的景物占据显示屏幕的左边三分之一区域。
通过上述的方式在第二成像操作中获得的第二图像数据存储在DRAM21中与第一成像操作中获得的第一图像数据的存储区域不同的区域上,并且存储在DRAM21中的图像数据显示在监视显示单元2上。
仅当第二图像数据显示在监视显示单元2的左边三分之一区域时,用户在步骤D05利用他/她的手指在触摸面板26上指定第二图像数据的水平方向。
表示第二图像数据的水平方向的信息与DRAM21中的第二图像数据相关,并且表示第二图像数据的水平方向的实线箭头AR2被显示在监视显示单元2上的第二图像数据上。
然后,在步骤D06判断该信息是否与存储在DRAM21中的图像数据相关,从而判断对于在两次成像操作中分别获得的图像数据,图像的水平方向是否被指定。
仅当确定了图像的水平方向已经指定的时候,在步骤D07判断图像的两个水平方向是否彼此相一致从而确定图像的角度是否应当进行校正。
当在步骤D07中确定图像的两个水平方向彼此不一致并且图像的角度需要进行校正时,在步骤D08判断角度校正处理是否已经执行,旋转第二成像操作中获得的第二图像数据,从而使二个图像的水平方向一致。
步骤D08的判断是这样处理的。例如,在表示显示在监视显示单元2上的第二图像数据的水平方向的箭头上显示指引信息“校正图像角度?是-->确定键/否-->快门键”。然后判断是否操作了确定键和快门键来判断第二图像数据的角度或者该图像数据相对于另一图像的图像数据的倾斜是否被校正。
如果第二图像在关于第一图像数据的方向上进行调整,初始设置条件不变。当操作快门键时,在步骤D09改变初始设置条件从而在相对于第二图像数据的方向上调整第一图像数据。
然后在步骤D10执行角度校正处理,并且旋转其中一个图像数据使得其水平方向与另一图像数据的水平方向相一致。
角度校正处理是用户手动执行的。例如,在监视显示单元2上显示指引信息表明“使用“-->”键或者“<--”键指定图像的角度并且利用确定键确定指定的角度”,用于从键输入单元28接收输入。
每次操作包含在键输入单元28中的十字键3中的“-->”键或者“<--”键时,将被校正并且显示在监视显示单元2上的图像数据的角度将在步骤D08中校正。
例如,每一“<--”键的操作使第二图像数据在逆时针方向上旋转5度,每一“-->”键的操作在顺时针方向上旋转5度。因此,第二图像数据的角度能够根据用户的意愿通过这些方向键的操作而在监视显示单元2上进行调整。
当操作位于十字键3中央的确定键4来调整图像数据的角度时,在步骤D11,图像数据的方向最后被确定并且角度校正处理完成。
在步骤D12,执行图像合成处理将第一图像数据与第二图像数据彼此合并。
合并的图像数据执行校正处理从而在步骤D13删除超出图像框的部分,在步骤D14中利用临近部分的数据填充缺少的部分。
在步骤D15,合成的图像数据在JPEG电路29中压缩并且存储在存储卡30中。然后,成像处理完成。
如上所述,当每一图像数据的水平方向都在与监视显示单元2集成的触摸面板26中指定,并且指定的水平方向彼此在方向上不一致时,用户能够选择图像数据,相对于另一图像将被校正的方向或者角度,并且能够在触摸面板上随意的调整或者校正选定的图像数据的方向,从而使图像数据的两个水平方向在方向上彼此一致。
因此,能够不调整或者校正更为重要的图像来获得没有不自然感觉的合成图像数据。
在上述的本发明的第一到第四实施例中,由用户利用他/她的手指在显示图像的下方一条线来指定图像的水平方向,但是也可以划其他的线来指定图像的垂直方向来代替水平方向。
也可以使用另一种方法来确定图像数据的方向。在该方法中,在八个或者十六个方向上放射的箭头显示在显示图像上,用户选择其中一个箭头,例如,沿着触摸面板的垂直方向延伸的箭头来指定图像的顶部。
也可能使用方向键来指定将要合并的图像数据的水平方向。
如果十字键3除了或者在向上方向键,向下方向键,向左方向键,向右方向键和确定键之间,具有倾斜键,就可以使用这样的十字键指定八个方向。使用该十字键,用户能够指定将被合成的图像数据的方向。
在上述的实施例中,在第一成像操作中获得将被显示在显示屏幕的右侧三分之二区域的图像数据,以及在第二成像操作中获得在显示屏幕的剩余三分之一区域显示的图像数据。但是也可能在第一成像操作中获得显示屏幕的右侧一半区域的图像数据以及在第二成像操作中获得左侧一半区域的图像数据。而且,第一和第二图像数据的显示区域可以被分成各种比例,例如,为第一图像数据分配显示屏幕的三分之一区域,为第二图像数据分配三分之二区域。
在第二和第四实施例中,通过用户操作键来调整图像数据的角度,但是图像数据的角度也可以在自动调整了图像数据的角度以后通过键操作来微调整从而使两个图像数据的水平方向彼此一致。
在第二到第四实施例中也可以使用角度传感器来检测数码相机的角度从而指定图像数据的水平方向,如变形的第一实施例所述。
在不背离后面的权利要求所定义的本发明的主题和精神范围内可以做出各种改变和变形。这种改变和变形,包含在这些权利要求当中,期望被考虑作为所述的发明的一部分。

Claims (13)

1.一种图像拾取装置,包括:
存储器(21),用于存储在第一拍摄操作和第二拍摄操作中分别获得的第一图像数据和第二图像数据;
第一方向指定单元(26),用于指定存储在所述存储器中的第一图像数据的方向;
第二方向指定单元(26),用于指定存储在所述存储器中的第二图像数据的方向;
方向比较单元(224),用于比较由所述第一和第二方向指定单元分别为所述第一图像数据和第二图像数据指定的方向;
图像角度校正单元(225),用于根据所述方向比较单元的比较结果调整所述第一和第二图像数据中任一个的倾斜,从而使调整后的图像数据的方向与另一图像数据的方向一致;以及
图像合并单元(226),用于合并由所述图像角度校正单元调整的图像数据和所述另一图像数据。
2.根据权利要求1所述的图像拾取装置,其中由所述第一方向指定单元所指定的所述第一图像数据的方向信息与所述第一图像数据相关并且存储在所述存储器中,由所述第二方向指定单元所指定的所述第二图像数据的方向信息与所述第二图像数据有关并且存储在所述存储器中。
3.根据权利要求1所述的图像拾取装置,进一步包括:
图像指定单元(227),用于指定所述第一图像数据和第二图像数据中的任一个,其中所述图像角度校正单元校正由所述图像指定单元指定的图像数据的倾斜,从而使指定图像数据的方向与另一图像数据的方向一致。
4.根据权利要求1所述的图像拾取装置,其中所述图像角度校正单元以任意角度校正所述第一图像数据和所述第二图像数据中任一个的倾斜。
5.根据权利要求1所述的图像拾取装置,其中所述图像合并单元合并已经进行了倾斜校正的所述图像数据与所述另一图像数据,并且将超出预定框的合并图像数据的一部分删除,以及填充该框中缺少的合并图像数据的一部分。
6.根据权利要求1所述的图像拾取装置,其中所述第一和第二方向指定单元包括一个触摸面板,并且使用表示用户触摸的触摸面板上的位置的坐标来指定所述方向。
7.根据权利要求1所述的图像拾取装置,其中所述第一和第二方向指令单元包括一个角度传感器,用于检测角度并且根据所检测的角度指定方向。
8.根据权利要求1所述的图像拾取装置,其中所述第一和第二方向指令单元包括多个键按钮,并且根据按下的键按钮的方向来指定方向。
9.一种成像方法,包括步骤:
a)在存储器中分别存储在第一拍摄操作和第二拍摄操作(A02,A04)中获得的第一图像数据和第二图像数据;
b)为存储在所述存储器中的第一图像数据指定方向(A03);
c)为存储在所述存储器中的第二图像数据指定方向(A05);
d)比较分别为所述第一图像数据和第二图像数据指定的方向(A06,A07);
e)根据所述比较结果,调整所述第一图像数据和第二图像数据中任一个的倾斜,从而使调整后的图像数据的方向与另一图像数据的方向一致(A08);以及
f)合并调整后的图像数据和所述另一图像数据(A09)。
10.根据权利要求9所述的方法,其中所述第一图像数据的指定方向信息与所述第一图像数据相关并且存储在所述存储器中,所述第二图像数据的指定方向信息与所述第二图像数据有关并且存储在所述存储器中。
11.根据权利要求9所述的成像方法,进一步包括步骤:
g)指定所述第一图像数据和第二图像数据中的任一个,其中校正指定的图像数据的倾斜从而使指定的图像数据的方向与另一图像数据的方向一致(C08,C09);
12.根据权利要求9所述的成像方法,其中以任意的角度校正所述第一图像数据和第二图像数据中任一个的倾斜。
13.根据权利要求9所述的成像方法,其中倾斜被校正的图像数据与所述另一图像数据合并,合并的图像数据中超出预定框的部分被删除,并且框中缺少的合并图像数据的一部分被填充。
CNB2003801000704A 2002-10-31 2003-10-23 图像拾取装置和成像方法 Expired - Fee Related CN100337465C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP318530/2002 2002-10-31
JP2002318530A JP2004153691A (ja) 2002-10-31 2002-10-31 撮像装置、撮像方法及びプログラム

Publications (2)

Publication Number Publication Date
CN1685704A CN1685704A (zh) 2005-10-19
CN100337465C true CN100337465C (zh) 2007-09-12

Family

ID=32211779

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801000704A Expired - Fee Related CN100337465C (zh) 2002-10-31 2003-10-23 图像拾取装置和成像方法

Country Status (8)

Country Link
US (1) US7423671B2 (zh)
EP (1) EP1446942A1 (zh)
JP (1) JP2004153691A (zh)
KR (1) KR100703958B1 (zh)
CN (1) CN100337465C (zh)
AU (1) AU2003274747A1 (zh)
TW (1) TWI229548B (zh)
WO (1) WO2004040901A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050089923A (ko) * 2004-03-06 2005-09-09 삼성테크윈 주식회사 적응적 영상 합성을 위한 디지털 촬영 장치의 제어 방법,및 이 방법을 사용한 디지털 촬영 장치
US8320708B2 (en) * 2004-04-02 2012-11-27 K-Nfb Reading Technology, Inc. Tilt adjustment for optical character recognition in portable reading machine
EP1613082A1 (en) * 2004-06-30 2006-01-04 Sony Ericsson Mobile Communications AB Face image correction
EP1613060A1 (en) * 2004-07-02 2006-01-04 Sony Ericsson Mobile Communications AB Capturing a sequence of images
JP4794963B2 (ja) * 2005-06-28 2011-10-19 キヤノン株式会社 撮像装置および撮像プログラム
JP4258539B2 (ja) * 2006-08-31 2009-04-30 株式会社日立製作所 複数画角カメラ
JP4974724B2 (ja) * 2007-03-19 2012-07-11 キヤノン株式会社 画像供給装置、印刷装置及びそれらの制御方法並びに印刷システム
FR2917188B1 (fr) * 2007-06-06 2009-09-11 Marin Coustol Philippe Procede et dispositif de production d'une image composite ou d'une sequence d'images composites induisant une perception accentuee du relief d'au moins un sujet.
JP2009194457A (ja) * 2008-02-12 2009-08-27 Nikon Corp カメラ
JP5002497B2 (ja) * 2008-03-11 2012-08-15 株式会社Pfu 画像処理装置、画像処理方法および画像処理プログラム
KR101510106B1 (ko) * 2008-10-21 2015-04-08 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
JP5293282B2 (ja) * 2009-03-06 2013-09-18 ペンタックスリコーイメージング株式会社 デジタルカメラの撮影方法及びデジタルカメラ
CN102035987A (zh) * 2009-10-08 2011-04-27 鸿富锦精密工业(深圳)有限公司 照片合成方法和系统
JP5593772B2 (ja) * 2010-03-29 2014-09-24 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
GB201310359D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
CN104346157A (zh) * 2013-08-06 2015-02-11 腾讯科技(深圳)有限公司 一种图片处理方法及装置、终端设备
JP6120989B2 (ja) * 2013-12-09 2017-04-26 株式会社Pfu オーバーヘッド型画像読取装置、画像処理方法、および、プログラム
KR102138521B1 (ko) * 2013-12-12 2020-07-28 엘지전자 주식회사 이동단말기 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0810776A2 (en) * 1996-05-28 1997-12-03 Canon Kabushiki Kaisha Image combining apparatus and method
US20010000126A1 (en) * 1996-10-25 2001-04-05 Naoto Kinjo Photographic system for recording data and reproducing images using correlation data between frames
JP2001245131A (ja) * 2000-02-29 2001-09-07 Matsushita Electric Ind Co Ltd 画像補正方法および画像補正装置
US6313923B1 (en) * 1997-10-09 2001-11-06 Fuji Photo Film Co., Ltd. Image processing apparatus

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0456414A3 (en) 1990-05-11 1992-05-20 Matsushita Electric Industrial Co., Ltd Slant correction for a video camera apparatus
JP3021556B2 (ja) * 1990-06-20 2000-03-15 ソニー株式会社 映像情報処理装置とその方法
JPH06105214A (ja) * 1992-09-24 1994-04-15 Ricoh Co Ltd ジャイロセンサ付カメラ及びビデオプリンタ装置
JPH0865457A (ja) * 1994-08-24 1996-03-08 Hitachi Ltd 画像入力装置
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JPH09322055A (ja) * 1996-05-28 1997-12-12 Canon Inc 電子カメラシステム
JPH114376A (ja) * 1997-06-13 1999-01-06 Olympus Optical Co Ltd 電子的撮像装置
JP3773011B2 (ja) * 1997-06-20 2006-05-10 シャープ株式会社 画像合成処理方法
JP3957888B2 (ja) * 1997-08-20 2007-08-15 株式会社リコー 撮像装置及び撮像画像合成方法
US6304284B1 (en) * 1998-03-31 2001-10-16 Intel Corporation Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
JP2000224462A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
US6373590B1 (en) * 1999-02-04 2002-04-16 Seiko Epson Corporation Method and apparatus for slant adjustment and photo layout
JP2000312329A (ja) * 1999-02-26 2000-11-07 Canon Inc 画像処理装置、画像処理システム、画像処理制御方法、及び記憶媒体
JP2001169151A (ja) * 1999-12-09 2001-06-22 Ricoh Co Ltd 電子カメラ
JP3980234B2 (ja) * 2000-01-07 2007-09-26 ペンタックス株式会社 デジタルカメラ
US6978051B2 (en) 2000-03-06 2005-12-20 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
US7221395B2 (en) * 2000-03-14 2007-05-22 Fuji Photo Film Co., Ltd. Digital camera and method for compositing images
JP2002042125A (ja) * 2000-07-26 2002-02-08 Minolta Co Ltd 画像合成装置、画像合成方法、および、画像合成プログラムを記録したコンピュータ読取可能な記録媒体
JP4010754B2 (ja) * 2000-08-10 2007-11-21 株式会社リコー 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
GB0116113D0 (en) * 2001-06-30 2001-08-22 Hewlett Packard Co Tilt correction of electronic images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0810776A2 (en) * 1996-05-28 1997-12-03 Canon Kabushiki Kaisha Image combining apparatus and method
US20010000126A1 (en) * 1996-10-25 2001-04-05 Naoto Kinjo Photographic system for recording data and reproducing images using correlation data between frames
US6313923B1 (en) * 1997-10-09 2001-11-06 Fuji Photo Film Co., Ltd. Image processing apparatus
JP2001245131A (ja) * 2000-02-29 2001-09-07 Matsushita Electric Ind Co Ltd 画像補正方法および画像補正装置

Also Published As

Publication number Publication date
AU2003274747A1 (en) 2004-05-25
EP1446942A1 (en) 2004-08-18
TWI229548B (en) 2005-03-11
KR100703958B1 (ko) 2007-04-05
WO2004040901A1 (en) 2004-05-13
TW200412790A (en) 2004-07-16
US20050078202A1 (en) 2005-04-14
US7423671B2 (en) 2008-09-09
KR20040071274A (ko) 2004-08-11
CN1685704A (zh) 2005-10-19
JP2004153691A (ja) 2004-05-27

Similar Documents

Publication Publication Date Title
CN100337465C (zh) 图像拾取装置和成像方法
US8155432B2 (en) Photographing apparatus
US7701491B2 (en) Image pickup device with zoom function
KR101643321B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
US8120791B2 (en) Image synthesizing apparatus
JP2001251551A (ja) 電子カメラ
CN1641467A (zh) 拍摄装置和方法、监视系统、程序和记录介质
JP2002209134A (ja) デジタルカメラ
CN1753458A (zh) 摄影装置及摄影方法
CN1928692A (zh) 具有多个摄像元件的照相机装置
CN1725811A (zh) 摄像装置和图像恢复方法
CN1224239C (zh) 数码相机和颜色调节装置
CN1701596A (zh) 图像拾取设备和同步信号产生设备
JP5578442B2 (ja) 撮像装置、画像合成方法、及びプログラム
CN1725808A (zh) 摄像装置和图像恢复方法
CN1816110A (zh) 摄像装置及其控制方法
JP2006217074A (ja) 撮像装置及びそのプログラム
KR20110089665A (ko) 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
JP4882823B2 (ja) 印刷データ生成装置及びプログラム
JP2003125269A (ja) デジタルカメラ
CN1812478A (zh) 图像摄取设备及该设备的控制方法
JP2011188318A (ja) カメラ、カメラ制御プログラム及び撮影教示方法
JP4161471B2 (ja) 電子カメラ及びカメラシステム
JP2006279739A (ja) 魚眼レンズを備えた撮像装置及びそのプログラム
JP2007081629A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070912

Termination date: 20171023

CF01 Termination of patent right due to non-payment of annual fee