CN1795669A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN1795669A
CN1795669A CNA200480014741XA CN200480014741A CN1795669A CN 1795669 A CN1795669 A CN 1795669A CN A200480014741X A CNA200480014741X A CN A200480014741XA CN 200480014741 A CN200480014741 A CN 200480014741A CN 1795669 A CN1795669 A CN 1795669A
Authority
CN
China
Prior art keywords
signal
mentioned
light source
drive signal
telecommunication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200480014741XA
Other languages
English (en)
Other versions
CN100417198C (zh
Inventor
青木胜司
金森克洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1795669A publication Critical patent/CN1795669A/zh
Application granted granted Critical
Publication of CN100417198C publication Critical patent/CN100417198C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene

Abstract

本发明的摄像装置(107-1),在设置了光量按一定周期变化的光源(109)的空间中摄影移动的对象物,具有:与光源(109)共同摄像对象物的摄像器件(102-1);基于从摄像器件(102-1)输出的信号,生成由与从外部给予的摄像用驱动信号同步的图像串构成的影像信号的信号处理部(103-1);生成与摄像器件(102-1)所摄像的光源(109)的光量的变化同步的信号,用于作为摄像用驱动信号向信号处理部(103-1)输出的相位差检测部(105-1);相位差调整部(106-1)和驱动信号发生部(104-1)。

Description

摄像装置
技术领域
本发明涉及摄像装置,特别是涉及使用多个摄像装置同步拍摄同一对象物的技术。
背景技术
作为测定车辆、机器人、动物等移动体的位置或距离的技术之一,使用多台摄像装置,使摄影定时同步而从不同角度拍摄同一对象物。根据各摄像装置镜头的焦距和摄像装置间的距离等参数,用三角测量的原理求出从各摄像装置到对象物的距离等。再有,所述“摄影定时同步”是指,在同一时刻拍摄由第一摄像装置得到的图像和由第二摄像装置得到的图拍(采样)。
现有的如上述的利用多台摄像装置的同步摄影技术,有特开2000-341719号公报中记载的立体照相机等。
图1是示出上述现有的立体照相机的结构的图。
在图1中,透镜701-1~2使聚焦的光成像,摄像器件702-1~2将透镜701-1~2成像的光变换为电信号,信号处理部703-1~2将摄像器件702-1~2输出的电信号变换为影像信号;驱动信号发生部704产生驱动摄像器件702-1~2和信号处理部703-1~2的驱动信号,摄像部705-1由透镜701-1、摄像器件702-1、信号处理部703-1、驱动信号发生部704构成,摄像部705-2由透镜701-2、摄像器件702-2、信号处理部703-2构成,图像处理部706对摄像部705-1~2所输出的影像信号进行图像处理。
在此,在摄像部705-1~2中,在利用驱动信号发生部704产生的驱动信号进行驱动的摄像器件702-1~2中,将透镜701-1~2成像的光变换为电信号。在利用驱动信号发生部704所产生的驱动信号进行驱动的信号处理部703-1~2中,将在摄像器件702-1~2中被变换的电信号变换为影像信号。将在信号处理部703-1~2中变换后的影像信号输入到图像处理部706中,图像处理部706对影像信号中包含的图像实施图像处理。
这样,根据现有技术,由于摄像部705-1~2共用的驱动信号发生部704所产生的驱动信号驱动摄像器件702-1~2和信号处理部703-1~2,因此,摄像部705-1~2的摄影定时同步。
但是,在这样的现有技术中,需要向各摄像部供给驱动信号发生部所产生的驱动信号的信号线,若摄像部的台数是Q台(Q是自然数),就需要Q条向各摄像部供给同步信号或驱动信号的信号线,各摄像部的距离越远信号线的长度就越长,就有成本负荷和设置负荷大的问题。特别是,例如在足球赛场中拍摄选手的情况下,在宽阔的空间中设置多个摄像部的情况下,需要将上述同步信号和驱动信号分配并连接到全部摄像部,费用大且需要电缆布设作业。
发明内容
因此,本发明的目的在于提供一种比现有的摄像定时同步的摄像装置成本负荷和设置负荷小的摄像装置。
为了达到上述目的,本发明的摄像装置以从光源入射的光量的时间变化的相位为基准,调整驱动将摄影元件变换输出的电信号变换为影像信号后输出的信号处理部的驱动信号的相位。这样,由于多个摄像部的摄影定时同步,因此,能够节省用于将多个摄影部共用的驱动信号发生部所输出的驱动信号供给多个摄像部的信号线,能够提供一种比现有技术成本负荷和设置负荷小的摄像装置。
即,本发明涉及的摄像装置,在设有光量按一定周期变化的光源的空间内拍摄移动的对象物,其特征在于,具有:光源检测装置,接受来自上述光源的光并变换为电信号;驱动信号生成装置,生成与来自上述光源检测装置的电信号同步的信号,并作为驱动信号进行输出;摄像装置,拍摄上述对象物;信号处理装置,基于从上述摄像装置输出的信号,生成由与上述驱动信号同步的图像串构成的影像信号。这样,通过多个摄像装置与来自一个光源的光量的变化同步地拍摄对象物,从而能不使用电缆等而利用多个摄像装置进行同步拍摄。
在此,作为使多个摄像装置的摄像定时完全一致的方法,例如,上述驱动信号生成装置具有:相位差检测部,检测来自上述光源检测装置的电信号与上述驱动信号的相位差;相位调整部,进行上述驱动信号的相位调整,使得检测到的相位差成为预定的值。这时,上述驱动信号生成装置可以生成成为上述光源的光量变化的周期的1/K周期的信号,并将生成的信号作为上述驱动信号进行输出,其中,K是自然数。此外,作为另外的方法,在上述光源检测装置是在上述驱动信号的周期时间内累积上述光源的光,在每一上述驱动信号的周期时间内,输出具有与累积的光量成比例的电平的电信号的CCD等的情况下,上述驱动信号生成装置具有最大振幅检测部,该最大振幅检测部进行上述驱动信号的相位调整,以使来自上述光源检测装置的电信号的振幅成为最大。
再有,所述上述光源检测装置和上述摄像装置也可以是同一摄像器件。这样,就不需要用于检测光源的光量变化的特别的传感器。
此外,上述光源检测装置是二维地排列了受光元件的摄像器件,上述摄像装置还可以具有光源区域设定装置,该光源区域设定装置将上述摄像器件中的拍摄到上述光源的区域设定为光源区域,上述驱动信号生成装置基于来自由上述光源区域设定装置设定的光源区域的受光元件的电信号,生成上述驱动信号。这时,上述光源区域设定部例如将上述受光元件中的包含输出预定的电平以上的电信号的感光元件的区域设定为上述光源区域。这样,由于仅基于来自正在摄像光源的区域的电信号生成驱动信号,因此,能去除光源以外的光的影响以外,能使同步更准确。
此外,上述摄像装置还可以具有影像信号选择装置,该影像信号选择装置判断是否生成了与来自上述光源检测装置的电信号同步的信号,根据该判断结果,选择由上述信号处理装置生成的影像信号或无信号,并输出所选择的信号。具体地说,上述驱动信号生成装置具有相位调整部,该相位调整部进行上述驱动信号的相位调整,以使与来自上述光源检测装置的电信号同步,上述影像信号选择装置在上述相位调整部中的相位调整量是0的情况下,选择上述影像信号,在不是0的情况下,选择上述无信号。这样,在处理来自多个摄像装置的影像信号的图像处理部中,摄影定时利用光源的光同步,此外,拍摄图像处理部实施的图像处理的对象即对象物,并且,能仅对来自校准了同步的摄像装置的图像实施图像处理。
再有,本发明不仅能够实现为这样的摄像装置,而且也能够实现为将摄像装置中的控制步骤作为步骤的摄像方法,或者实现为使计算机执行上述步骤的程序。然后,当然也能够通过因特网等传输介质或CD-ROM等记录媒体发送该程序。
附图说明
图1是示出现有的摄像装置的结构的图。
图2是示出本发明的第一实施方式中的摄像装置的结构的图。
图3(a)是示出本发明的第一实施方式中的光源的光量的时间变化的图,图3(b)是示出本发明的第一实施方式中的摄像器件的电信号的时间变化的图,图3(c)是示出本发明的第一实施方式中的摄影用驱动信号的时间变化的图,图3(d)是示出本发明的第一实施方式中的相位差的时间变化的图。
图4(a)~图4(c)是分别示出摄像用驱动信号的周期成为光源的光量变化的周期的2倍的情况中的光源的光量的时间变化、摄像器件的电信号和摄像用驱动信号的时间变化的图。
图5是示出光源专用的感光传感器与摄像器件分开设置的结构例的框图。
图6是示出本发明的第二实施方式中的摄像装置的结构的图。
图7(a)是示出本发明的第二实施方式中的光源的光量的时间变化的图,图7(b)是示出本发明的第二实施方式中的摄影用驱动信号的时间变化的图,图7(c)是示出本发明的第二实施方式中的摄像器件的电信号的时间变化的图。
图8是示出本发明的第三实施方式中的摄像装置的结构的图。
图9是示出利用光源区域设定部的光源设定的例子的图。
图10是示出本发明的第四实施方式中的摄像装置的结构的图。
图11是示出第四实施方式的适用例的图。
图12是示出在足球赛场的摄影中适用了本发明的例子的图。
具体实施方式
以下,使用附图说明本发明的实施方式。
(第一实施方式)
首先,关于本发明的第一实施方式中的摄像装置如下进行说明。
图2是第一实施方式中的摄像装置的结构图。在图2中,透镜101-1~p(p是自然数)使聚焦的光成像,摄像器件102-1~p如光电晶体管那样不需要驱动信号,没有光的累积时间,而是实时输出与使透镜101-1~p成像的光量成比例的电平的电信号;信号处理部103-1~p将摄像器件102-1~p所输出的电信号变换为影像信号。再有,信号处理部103-1~p在进行向影像信号的变换时,生成由与来自驱动信号发生部104-1~p的摄影用驱动信号同步的图像串构成的影像信号。
此外,驱动信号发生部104-1~p产生周期T1的摄影用驱动信号,驱动信号处理部103-1~p,光源用驱动信号发生部110产生K倍于周期T1的摄影用驱动信号的周期即周期T2的光源用驱动信号(K是自然数),并驱动光源109;相位差检测部105-1~p检测摄像器件102-1~p所输出的电信号与驱动信号发生部104-1~p产生的摄影用驱动信号的相位差;相位差调整部106-1~p产生进行驱动信号发生部104-1~p的相位调整的相位调整信号,直到从相位差检测部105-1~p输出的相位差在多个摄像部中与共用的相位差目标值ΔTt一致,光源109的光量根据光源用驱动信号发生部110产生的周期T2的光源用驱动信号而变化。
此外,摄像部107-1~p包括透镜101-1~p、摄像器件102-1~p、信号处理部103-1~p、驱动信号发生部104-1~p、相位差检测部105-1~p和相位差调整部106-1~p,图像处理部108对摄像部107-1~p所输出的影像信号实施图像处理。
图3是第一实施方式中的摄像装置的脉冲波形图。图3中,图3(a)表示光源109发出的光量的时间变化,是光源109在周期T1的1倍周期即周期T2中光量波动(振幅している)的矩形波,图3(b)示出摄像器件102-1~p输出的电信号的时间变化,图3(c)示出驱动信号发生部104-1~p产生的周期T1的摄影用驱动信号的时间变化,图3(d)示出相位差检测部105-1~p检测的相位差的时间变化。
以下,使用图2和图3,说明第一实施方式中的摄像装置的动作。
首先,光源109如图3(a)所示,在周期T2中光量波动,向摄像部107-1~p入射。
接着,入射到摄像部107-1~p中的光源109所发出的光在透镜101-1~p中成像,在摄像器件102-1~p中被变换为电信号。因此,如图3(b)所示,从摄像器件102-1~p输出与光源109所发出的光量相同相位的电信号。
接着,向信号处理部103-1~p和相位差检测部105-1~p输入电信号。
接着,在相位差检测部105-1~p中,检测输入的电信号的相位与驱动信号发生部104-1~p输出的摄影用驱动信号的相位差ΔT。在此,由于光量的周期T2是摄影用驱动信号的周期T1的1倍,因此,将各信号上升的时间差作为相位差,如图3(d)所示,时刻t2到t3间就成为相位差ΔT。此外,在光量的周期T2是摄影用驱动信号的周期T1的K倍的情况下,计算K种相位差ΔT,但将最小的相位差ΔT作为多个摄像部107-1~p的摄影用驱动信号的相位。
接着,相位差调整部106-1~p输出用于使用相位差ΔT调整摄影用驱动信号的相位的相位调整信号。如图3(c)所示,从时刻t3开始的摄影用驱动信号,通过相位调整、周期设为T1-ΔT,从而在时刻t6结束,从下一个周期开始,其相位就与摄像器件102-1~p的电信号一致。
再有,图3(c)中示出了多个摄像部107-1~p中共用的相位差目标值ΔTt=0的情况,但若相位差ΔT是ΔTt,即使摄像器件102-1~p的电信号和驱动信号的相位不一致,也结束相位调整。
接着,驱动信号发生部104-1~p产生通过相位调整信号调整了相位的摄影用驱动信号。这样,由于驱动信号发生部104-1~p产生与光源109所发出的光量的相位一致的摄影用驱动信号,因此,就能够使光源109入射的多个摄像部107-1~p的摄影定时同步。即,信号处理部103-1~p都生成由与同一定时的摄影用驱动信号同步的图像串构成的影像信号。
接着,图像处理部108对从摄像部107-1~p输入的摄影定时同步的影像信号中包含的图像施行图像处理。
如上所述,第一实施方式的摄像装置通过使入射到摄像部107-1~p中的光源109的振幅相位与摄像部107-1~p的摄影用驱动信号的相位一致,就能够省略增加成本负荷的同步信号发生部,削减使设置负荷增加的摄像部107-1~p的接线。
再有,在第一实施方式的摄像装置中,在相位的检测中使用了摄像器件102-1~p的电信号的上升沿,但不限定于此。
此外,在第一实施方式的摄像装置中,将光源109所发出的光量的周期T2设为周期T1的1倍周期,但例如如图4所示,设光源109所发出的光量的周期T2是周期T1的K倍(K是自然数),通过使用PLL(PhaseLocked Loop即,锁相环路)电路等,将光源109所发出的光量的相位作为基准值进行同步,可得到同样的作用。
此外,第一实施方式的摄像装置不规定光源109所发出的光在什么样的路径中入射到摄像部107-1~p中。例如,若用任一种物体等反射光源109所发出的光,向摄像部107-1~p入射该反射光,当然也得到同样的作用。
此外,在第一实施方式的摄像装置中,接受光源109所发出的光的传感器和拍摄对象物的传感器是同一传感器(摄像器件102-1~p),但也可以如图5所示,分别设置接受光源109所发出的光的感光传感器120-1~p和拍摄对象物的摄像器件102-1~p。这时,相位差检测部105-1~p也可以检测来自感光传感器120-1~p的电信号与来自驱动信号发生部104-1~p的摄影用驱动信号的相位差。
(第二实施方式)
下面,关于本发明的第二实施方式中的摄像装置进行说明。在第二实施方式中,摄像器件的类型与第一实施方式不同。在第一实施方式中,使用了实时输出与感光量相对应的电信号的摄像器件,但在第二实施方式中,使用一定时间累积与感光量相对应的电荷,输出与累积的电荷量相对应的电信号的摄像器件。
图6是第二实施方式中的摄像装置的结构图。
在图6中,摄像器件201-1~p需要如CCD的驱动信号,在驱动信号的周期时间中累积光,输出具有与每驱动信号的周期时间中累积的光的量成比例的电平的电信号,驱动信号发生部203-1~p产生驱动摄像器件201-1~p和信号处理部103-1~p的周期T1的摄影用驱动信号。光源用驱动信号发生部206产生K倍于驱动光源205的周期T1的周期即T2的光源用驱动信号(K是自然数)。
此外,最大振幅检测部202-1~p检测摄像器件201-1~p所输出的电信号的振幅,调整驱动信号发生部203-1~p所输出的摄影用驱动信号的相位,直到成为预先求出的最大振幅,光源205被光源用驱动信号发生部206所输出的光源用驱动信号驱动,光量按周期T2变化。
此外,摄像部204-1~p由透镜101-1~p、摄像器件201-1~p、信号处理部102-1~p、驱动信号发生部203-1~p和最大振幅检测部202-1~p构成。
再有,由于透镜101-1~p、信号处理部103-1~p和图像处理部108与第一实施方式相同,故在此省略说明。
下面,详细说明第二实施方式中的摄像装置的动作。
图7(a)示出了光源205所发出的光量的时间变化,纵轴是光量,横轴表示时刻,图7(b)示出了驱动信号发生部203-1~p所输出的摄影用驱动信号的时间变化,纵轴示出驱动信号电平,横轴表示时刻,图7(c)示出摄像器件201-1~p所输出的电信号的时间变化,纵轴表示电信号的电压值,横轴表示时刻。再有,纵轴的时刻在图7(a)至(c)中共用。
在此,图7(a)的光量的振幅波形用奇函数和常数值的加法运算来表示。若设周期为T2,直流波的振幅为A0,各正弦波的振幅为An,则光源205所发出的光量的振幅波形具有用以下的式1表示的光量的振幅波形fL(t)。
(式1)
f L ( t ) = A 0 + Σ n = 1 ∞ A n sin ( 2 πn T 2 t )
再有,设周期T2为周期T1的2倍周期来进行说明。此外,N表示光累积期间的号码。
首先,向摄像部204-1~p入射具有上述式1所示的光量的振幅波形fL(t)的光源205所发出的光量。
接着,入射的光在摄像部204-1~p的透镜101-1~p中成像,在摄像器件201-1~p中变换为电信号。
接着,摄像器件201-1~p在周期T1时间中累积光,输出具有与每周期T1时间中累积的光量成比例的电压值的电信号。因此,就从摄像器件201-1~p输出用以下式2示出的电信号F(N),输入到信号处理部103-1~p和最大振幅检测部202-1~p。
(式2)
F ( N ) = ∫ NT 1 + T d ( N + 1 ) T 1 + T d f L ( t ) dt = A 0 T 1 - Σ n = 1 ∞ A n T 2 2 π { cos ( 2 πn T 2 ( ( N + 1 ) T 1 + T d ) ) - cos ( 2 πn T 2 ( NT 1 + T d ) ) }
= A 0 T 1 + Σ n = 1 ∞ A n T 2 π sin ( πn T 2 ( 2 N + 1 ) T 1 + 2 πn T 2 T d ) sin ( πn T 2 T 1 )
由于T2=2T1,因此
= A 0 T 1 + Σ n = 0 ∞ 2 A ( 4 n + 1 ) T 1 π sin ( π ( 4 n + 1 ) 2 ( 2 N + 1 ) + π ( 4 n + 1 ) T 1 T d )
- Σ n = 0 ∞ 2 A ( 4 n + 3 ) T 1 π sin ( π ( 4 n + 3 ) 2 ( 2 N + 1 ) + π ( 4 n + 3 ) T 1 T d )
接着,最大振幅检测部202-1~p检测输入的电信号F(N)的振幅Aout
在此,以具有与在光累积期间N=2a(a是正的整数)累积的光的量成比例的电压值的电信号F(2a)和具有与在光累积期间N=2a+1累积的光的量成比例的电平的电信号F(2a+1)为着眼点。电信号F(2a)用以下的式3表示,电信号F(2a+1)用以下的式4表示,它们是相互交替从摄像器件201-1~p输出的电信号。再有,在第二实施方式中,2a=0,2a+1=1。
(式3)
F ( 2 a ) = A 0 T 1 + Σ n = 0 ∞ 2 A ( 4 n + 1 ) T 1 π sin ( ( 4 a + 1 ) π ( 4 n + 1 ) 2 + π ( 4 n + 1 ) T 1 T d )
- Σ n = 0 ∞ 2 A ( 4 n + 3 ) T 1 π sin ( ( 4 a + 1 ) π ( 4 n + 3 ) 2 + π ( 4 n + 3 ) T 1 T d )
= A 0 T 1 + Σ n = 0 ∞ 2 A ( 4 n + 1 ) T 1 π cos ( π ( 4 n + 1 ) T 1 T d ) + Σ n = 0 ∞ 2 A ( 4 n + 3 ) T 1 π cos ( π ( 4 n + 3 ) T 1 T d )
= A 0 T 1 + Σ n = 0 ∞ 2 A ( 2 n + 1 ) T 1 π cos ( π ( 2 n + 1 ) T 1 T d )
= A 0 T 1 + cos ( π T d T 1 ) Σ n = 0 ∞ 2 A ( 2 n + 1 ) T 1 π
(式4)
F ( 2 a + 1 ) = A 0 T 1 + Σ n = 0 ∞ 2 A ( 4 n + 1 ) T 1 π sin ( ( 4 a + 3 ) π ( 4 n + 1 ) 2 + π ( 4 n + 1 ) T 1 T d )
- Σ n = 0 ∞ 2 A ( 4 n + 3 ) T 1 π sin ( ( 4 a + 3 ) π ( 4 n + 3 ) 2 + π ( 4 n + 3 ) T 1 T d )
= A 0 T 1 - Σ n = 0 ∞ 2 A ( 4 n + 1 ) T 1 π cos ( π ( 4 n + 1 ) T 1 T d ) - Σ n = 0 ∞ 2 A ( 4 n + 3 ) T 1 π cos ( π ( 4 n + 3 ) T 1 T d )
= A 0 T 1 - Σ n = 0 ∞ 2 A ( 2 n + 1 ) T 1 π cos ( π ( 2 n + 1 ) T 1 T d )
= A 0 T 1 - cos ( πT d T 1 ) Σ n = 0 ∞ 2 A ( 2 n + 1 ) T 1 π
在此,在图7(b)的光累积期间N=0中,从图7(a)的时刻t1至t6的光量被累积在摄像器件201-1~p中,摄像器件201-1~p将在图7(c)的时刻t6至t10累积的光量作为电信号进行输出。此外,在图7(b)的光累积期间N=1中,从图7(a)的时刻t6至t10的光量被累积在摄像器件201-1~p中,摄像器件201-1~p将在图7(c)的时刻t10至t14中累积的光量作为电信号进行输出。
此外,在时间Td=b×T1(b是正的整数)的情况下,电信号F(2a)成为最大值,电信号F(2a+1)成为最小值,或者,电信号F(2a)成为最小值,电信号F(2a+1)成为最大值,从摄像器件201-1~p输出的电信号就具有最大振幅宽度。
接着,计算从检测到的振幅Aout减去了最大振幅Amax的振幅误差ΔA,计算表示与振幅误差ΔA相对应的光源205的光量的时间变化和摄像部204-1~p的摄影用驱动信号的相位差的时间Td
在此,在振幅误差ΔA=0的情况下,由于示出多个摄像器件201-1~p的电信号的振幅一致,因此,不需要摄影用驱动信号的相位的调整。此外,在振幅误差ΔA≠0的情况下,设置使用表示相位差的时间Td缩短或延长摄影用驱动信号的周期T1的相位调整用期间,在驱动信号的相位调整之后,再次检测摄像器件201-1~p的电信号的振幅Aout,与最大振幅Amax相比较。
如上所述,第二实施方式通过使用光源205的光量调整多个摄像部204-1~p的相位,从而能够不需要增大成本负荷的同步信号发生部和增大设置负荷的多个摄像部204-1~p的配线。
再有,在本实施方式2的本发明的摄像装置中,假设光源205所发出的光量的振幅波形是用奇函数和常数值的加法运算表示的波形,但若是设周期为T2、直流波的振幅为A0、各余弦波的振幅为An的用下式5所示的偶函数和常数值的加法运算表示的波形,则从摄像器件201-1~p输出的电信号就用下式6表示,电信号F(2a)下式7表示,电信号F(2a+1)用下式8表示。
(式5)
f L ( t ) = A 0 + Σ n = 1 ∞ A n cos ( 2 πn T 2 t )
(式6)
F ( N ) = ∫ NT 1 + T d ( N + 1 ) T 1 + T d f L ( t ) dt = A 0 T 1 + Σ n = 1 ∞ A n T 2 2 π { sin ( 2 πn T 2 ( ( N + 1 ) T 1 + T d ) ) - sin ( 2 πn T 2 ( NT 1 + T d ) ) }
= A 0 T 1 + Σ n = 1 ∞ A n T 2 π cos ( πn T 2 ( 2 N + 1 ) T 1 + 2 πn T 2 T d ) sin ( πn T 2 T 1 )
由于T2=2T1,因此
= A 0 T 1 + Σ n = 0 ∞ 2 A ( 4 n + 1 ) T 1 π cos ( π ( 4 n + 1 ) 2 ( 2 N + 1 ) + π ( 4 n + 1 ) T 1 T d )
- Σ n = 0 ∞ 2 A ( 4 n + 3 ) T 1 π cos ( π ( 4 n + 3 ) 2 ( 2 N + 1 ) + π ( 4 n + 3 ) T 1 T d )
(式7)
F ( 2 a ) = A 0 T 1 + Σ n = 0 ∞ 2 A ( 4 n + 1 ) T 1 π cos ( ( 4 a + 1 ) π ( 4 n + 1 ) 2 + π ( 4 n + 1 ) T 1 T d )
- Σ n = 0 ∞ 2 A ( 4 n + 3 ) T 1 π cos ( ( 4 a + 1 ) π ( 4 n + 3 ) 2 + π ( 4 n + 3 ) T 1 T d )
= A 0 T 1 - Σ n = 0 ∞ 2 A ( 4 n + 1 ) T 1 π sin ( π ( 4 n + 1 ) T 1 T d ) - Σ n = 0 ∞ 2 A ( 4 n + 3 ) T 1 π sin ( π ( 4 n + 3 ) T 1 T d )
= A 0 T 1 - Σ n = 0 ∞ 2 A ( 2 n + 1 ) T 1 π sin ( π ( 2 n + 1 ) T 1 T d )
= A 0 T 1 - sin ( πT d T 1 ) Σ n = 0 ∞ 2 A ( 2 n + 1 ) T 1 π
(式8)
F ( 2 a + 1 ) = A 0 T 1 + Σ n = 0 ∞ 2 A ( 4 n + 1 ) T 1 π ( ( 4 a + 3 ) π ( 4 n + 1 ) 2 + π ( 4 n + 1 ) T 1 T d )
- Σ n = 0 ∞ 2 A ( 4 n + 3 ) T 1 π cos ( ( 4 a + 3 ) π ( 4 n + 3 ) 2 + π ( 4 n + 3 ) T 1 T d )
= A 0 T 1 + Σ n = 0 ∞ 2 A ( 4 n + 1 ) T 1 π sin ( π ( 4 n + 1 ) T 1 T d ) + Σ n = 0 ∞ 2 A ( 4 n + 3 ) T 1 π sin ( π ( 4 n + 3 ) T 1 T d )
= A 0 T 1 + Σ n = 0 ∞ 2 A ( 2 n + 1 ) T 1 π sin ( π ( 2 n + 1 ) T 1 T d )
= A 0 T 1 + sin ( π T d T 1 ) Σ n = 0 ∞ 2 A ( 2 n + 1 ) T 1 π
在此,在时间Td=(b+π/2)×T1的情况下,电信号F(2a)成为最大值,电信号F(2a+1)成为最小值,或者,电信号F(2a)成为最小值,电信号F(2a+1)成为最大值,从摄像器件201-1~p输出的电信号就具有最大振幅宽度。
此外,第二实施方式的摄像装置中,不规定光源205发出的光在什么样的路径中入射到摄像部204-1~p中。例如,若用任一种物体等反射光源205所发出的光,向摄像部204-1~p入射该反射光,则当然也得到与本发明的摄像装置同样的作用。
(第三实施方式)
下面,说明本发明的第三实施方式的摄像装置。在第三实施方式中,其特征点在于,虽然检测光源的光量,但是不使用来自摄像器件全体的电信号,而使用从二维结构的摄像器件中的、拍摄了光源的、一部分区域中的摄像器件输出的电信号。
图8是示出第三实施方式的摄像装置的结构的图。在图8中,光源区域设定部501-1~p在摄像器件201-1~p输出的电信号中限定光源205发出的光所成像的区域,摄像部502-1~p包括透镜101-1~p、摄像器件201-1~p、信号处理部103-1~p、驱动信号发生部203-1~p、最大振幅检测部202-1~p和光源区域设定部501-1~p。
再有,由于透镜101-1~p、摄像器件201-1~p、信号处理部103-1~p、驱动信号发生部203-1~p、最大振幅检测部202-1~p、图像处理部108、光源205和光源用驱动信号发生部206与第二实施方式相同,故在此省略说明。
以下,使用图8,说明第三实施方式的摄像装置的工作。
在光源205发出的光在摄像器件201-1~p的一部分成像的情况下,考虑以下情况,即由于与不是光源205发出的光的成像相对应的电信号而扰乱了相位差检测,其结果,对摄像部502-1~p的相位调整造成影响。因此,在第三实施方式中,通过从摄像器件201-1~p输出的电信号去掉不需要相位调整的电信号,来提高相位调整的精度。
由于光源205发出的光比其他光的光量高,因此,光源区域设定部501-1~p在摄像器件201-1~p输出的电信号中,将预先设定的电信号电平以上的区域设定为光源区域。例如,如图9所示,包含由二维结构的感光元件构成的摄像器件201-1~p中,确定输出(也可以是间歇)一定电平以上的电信号的感光元件的矩形区域,将从确定的矩形区域输出的电信号作为与光源的光量相对应的电信号,向最大振幅检测部202-1~p输出。
最大振幅检测部202-1~p从光源区域设定部501-1~p所设定的光源区域的电信号中,与第二实施方式同样地检测出光量的振幅,调整驱动信号发生部203-1~p的摄影用驱动信号的相位,从而能够调整多个摄像部502-1~p的相位。
如上所述,第三实施方式中,通过从摄像器件201-1~p输出的电信号去掉与除光源205之外所发出的光相对应的电信号,就能够正确地检测光源205的光量的时间变化,因此能够提高多个摄像部502-1~p的相位调整的精度。
此外,第三实施方式的本发明的摄像装置不规定光源205所发出的光在什么样的路径中入射到摄像部502-1~p中。例如,若用任一种物体等反射光源205所发出的光,向摄像部502-1~p入射该反射光,则当然也得到与本发明的摄像装置同样的作用。
此外,在第三实施方式的摄像装置中,在第二实施方式的摄像装置中附加了光源区域设定部501-1~p,但在第一实施方式的摄像装置中附加光源区域设定部501-1~p,也能够得到同样的效果。
(第四实施方式)
下面,说明本发明的第四实施方式的摄像装置。在第四实施方式中,其特征点在于,由于将光源安装在对象物上,因此,利用对象物的朝向和移动等,多个摄像部未必全部能够拍摄光源,仅在同步拍摄了光源的光量变化的情况下输出影像信号。
图10是示出第四实施方式的摄像装置的结构的图。在图10中,对象物603包括光源205和驱动信号发生部203-1~p,是摄像部602-1~p的摄影对象,最大振幅检测部202-1~p从输出的相位调整信号检测出摄影用驱动信号的相位调整量,在相位调整量是0的情况下,影像信号选择部601-1~p选择从信号处理部103-1~p输入的影像信号,在相位调整量不是0的情况下,选择无信号。
此外,摄像部602-1~p包括透镜101-1~p、摄像器件201-1~p、信号处理部103-1~p、驱动信号发生部203-1~p、最大振幅检测部202-1~p和影像信号选择部601-1~p。
再有,透镜101-1~p、摄像器件201-1~p、信号处理部103-1~p、驱动信号发生部203-1~p、最大振幅检测部202-1~p、图像处理部108、光源205和光源用驱动信号发生部206与第二实施方式相同,故在此省略说明。
此外,在该第四实施方式中,如图11所示,光源205安装在对象物(例如,机器人)的特定位置(例如,胸)上。从而,由于机器人的朝向和移动,多个摄像部602-1~p中的任一个都不能拍摄光源205。因此,在该第四实施方式中,仅向图像处理部108输出从能够与来自光源205的光量变化同步地拍摄的摄像部的影像信号。
以下,使用图10,说明图10所示的第四实施方式的摄像装置的工作。第四实施方式中的摄像装置的相位调整的工作与第二实施方式相同,故在此省略说明。
首先,摄像器件201-1~p输出与来自对象物603所具备的光源205的光量相对应的电信号,最大振幅检测部202-1~p进行摄影用驱动信号的相位调整。在此,在多个摄像部602-1~p设置在广范围的情况下,从能够拍摄对象物603的摄像部602-1~p开始依次进行相位调整。
接着,最大振幅检测部202-1~p将根据摄像器件201-1~p的电信号的振幅来调整摄影用驱动信号的相位的相位调整信号,向驱动信号发生部203-1~p和影像信号选择部601-1~p输出。
接着,影像信号选择部601-1~p从相位调整信号检测出摄影用驱动信号的相位调整量,在相位调整量是0的情况下,为了示出摄像部602-1~p的摄影用驱动信号的相位调整已结束,向图像处理部108输出信号处理部103-1~p的影像信号,并在相位调整量不是0的情况下,为了表示摄像部602-1~p的摄影用驱动信号的相位调整还没结束,就向图像处理部108输出无信号。
因此,在设置了多个摄像部602-1~p的情况下,由于从相位调整已结束的摄像部602-1~p向图像处理部108输出影像信号,因此,即使设置的全部摄像部602-1~p的相位调整还没结束,也能进行对象物603的图像处理。
如上所述,第四实施方式中,通过按照相位调整量来设置选择影像信号的输出的影像信号选择部601-1~p,就能从摄像部602-1~p仅输出相位调整已结束的影像信号,即使全部的摄像部602-1~p的相位调整还没结束,也能进行与其同步的图像处理。
此外,在第四实施方式的摄像装置中,说明了在第二实施方式的摄像装置中装入了影像信号选择部601-1~p的结构,当然,装在第一和第三实施方式的摄像装置中,也能得到同样的效果。
以上,基于第一~第四实施方式,说明了本发明的摄像装置,但本发明不限定于这些实施方式。
例如,在上述实施方式中,光源设置在与摄影对象物同一个视场内,但也可以设置在不同的视场内。例如,如图12所示,在摄影对象物是足球赛场的情况下,在足球赛场的外面设置光量按一定周期变化的光源131。然后,在一定时间间隔或不需要拍摄足球赛场时,各摄像部130-1~p改变摄影方向来拍摄光源131,进行同步校准(光源的光量变化与内部的摄影用驱动信号的同步校准)。在同步校准结束后,各摄像部130-1~p再次改变摄影方向来拍摄足球赛场。这样,就不需要在拍摄对象物的近处设置光源。
此外,光源不需要时常使光量变化。例如,在图12示出的摄像装置中,摄像部130-1和摄像部130-2拍摄光源131,仅在进行同步校准时,光源131使光量按一定周期变化。这样,节约了光源发光所需的电力。
如上所述,根据本发明,通过使用按已知的周期随时间变化的光源进行多个摄像部的驱动信号的相位调整,不需要增大成本负荷的同步信号发生部,另外,不需要增大设置负荷的多个摄像装置间的配线,能取得多个摄像部的摄影定时的同步。
工业上的可利用性
本发明可用作录像机等摄像装置,特别是能够用作使用多个摄像装置同步拍摄同一对象物的摄像装置和影像系统等。

Claims (14)

1、一种摄像装置,在设有光量按一定周期变化的光源的空间内拍摄移动的对象物,其特征在于,具有:
光源检测装置,接受来自上述光源的光并变换为电信号;
驱动信号生成装置,生成与来自上述光源检测装置的电信号同步的信号,并作为驱动信号进行输出;
摄像装置,拍摄上述对象物;
信号处理装置,基于从上述摄像装置输出的信号,生成由与上述驱动信号同步的图像串构成的影像信号。
2、如权利要求1所述的摄像装置,其特征在于,上述驱动信号生成装置具有:
相位差检测部,检测来自上述光源检测装置的电信号与上述驱动信号的相位差;
相位调整部,进行上述驱动信号的相位调整,使得检测到的相位差成为预定的值。
3、如权利要求1所述的摄像装置,其特征在于,上述驱动信号生成装置生成成为上述光源的光量变化的周期的1/K周期的信号,并将生成的信号作为上述驱动信号进行输出,其中,K是自然数。
4、如权利要求1所述的摄像装置,其特征在于,所述上述光源检测装置和上述摄像装置是同一摄像器件。
5、如权利要求1所述的摄像装置,其特征在于,
上述光源检测装置在上述驱动信号的周期时间内累积上述光源的光,在每一上述驱动信号的周期时间内,输出具有与累积的光量成比例的电平的电信号,
上述驱动信号生成装置具有最大振幅检测部,该最大振幅检测部进行上述驱动信号的相位调整,以使来自上述光源检测装置的电信号的振幅成为最大。
6、如权利要求1所述的摄像装置,其特征在于,
上述光源检测装置是二维地排列了受光元件的摄像器件,
上述摄像装置还具有光源区域设定装置,该光源区域设定装置将上述摄像器件中的拍摄到上述光源的区域设定为光源区域,
上述驱动信号生成装置基于来自由上述光源区域设定装置设定的光源区域的受光元件的电信号,生成上述驱动信号。
7、如权利要求4所述的摄像装置,其特征在于,
上述光源区域设定部将上述受光元件中的包含输出预定的电平以上的电信号的受光元件的区域设定为上述光源区域。
8、如权利要求1所述的摄像装置,其特征在于,
上述摄像装置还具有影像信号选择装置,该影像信号选择装置判断是否能够生成了与来自上述光源检测装置的电信号同步的信号,根据该判断结果,选择由上述信号处理装置生成的影像信号或无信号,并输出所选择的信号。
9、如权利要求8所述的摄像装置,其特征在于,
上述驱动信号生成装置具有相位调整部,该相位调整部进行上述驱动信号的相位调整,以使与来自上述光源检测装置的电信号同步,
上述影像信号选择装置在上述相位调整部中的相位调整量是0的情况下,选择上述影像信号,在不是0的情况下,选择上述无信号。
10、一种摄像方法,在设有光量按一定周期变化的光源的空间内拍摄移动的对象物,其特征在于,具有:
光源检测步骤,接受来自上述光源的光并变换为电信号;
驱动信号生成步骤,生成与在上述光源检测步骤中得到的电信号同步的信号,并作为驱动信号进行输出;
拍像步骤,拍像上述对象物;
信号处理步骤,基于在摄像步骤中得到的信号,生成由与上述驱动信号同步的图像串构成的影像信号。
11、一种程序,用于在设有光量按一定周期变化的光源的空间内拍摄移动的对象物的摄像装置,其特征在于,
使计算机执行权利要求10所述的摄像方法中记载的步骤。
12、一种摄像方法,使用多个摄像装置同步拍摄同一对象物,其特征在于,
设置光量按一定周期变化的光源,上述多个摄像装置与上述光量的变化同步地拍摄上述对象物。
13、如权利要求12所述的摄像方法,其特征在于,上述多个摄像装置使用同一摄像器件探测上述光量的变化,并拍摄上述对象物。
14、如权利要求12所述的摄像方法,其特征在于,
将上述光源安装在上述对象物上。
CNB200480014741XA 2003-05-29 2004-04-27 摄像装置和摄像方法 Expired - Fee Related CN100417198C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP152531/2003 2003-05-29
JP2003152531 2003-05-29

Publications (2)

Publication Number Publication Date
CN1795669A true CN1795669A (zh) 2006-06-28
CN100417198C CN100417198C (zh) 2008-09-03

Family

ID=33487259

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200480014741XA Expired - Fee Related CN100417198C (zh) 2003-05-29 2004-04-27 摄像装置和摄像方法

Country Status (4)

Country Link
US (1) US7847825B2 (zh)
JP (1) JP3801616B2 (zh)
CN (1) CN100417198C (zh)
WO (1) WO2004107739A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101977285A (zh) * 2010-11-29 2011-02-16 杭州海康威视软件有限公司 摄像系统和摄像方法
CN101977284A (zh) * 2010-11-29 2011-02-16 杭州海康威视软件有限公司 摄像系统和摄像方法
CN102238325A (zh) * 2010-04-30 2011-11-09 安鹏科技股份有限公司 数字成像装置与相关的物件检测系统
CN113301220A (zh) * 2021-04-27 2021-08-24 上海欧菲智能车联科技有限公司 一种车载摄像头与车灯的同步方法及fpga芯片

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4883772B2 (ja) * 2006-07-13 2012-02-22 キヤノン株式会社 画像処理装置及び方法
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
JP5213045B2 (ja) * 2008-12-02 2013-06-19 国立大学法人東北大学 視覚センサ同期装置および視覚センサ同期方法
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
WO2016191035A1 (en) 2015-05-26 2016-12-01 Lytro, Inc. Capturing light-field images with uneven and/or incomplete angular sampling
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3091630B2 (ja) * 1994-03-22 2000-09-25 三洋電機株式会社 ビデオカメラ
JPH0888796A (ja) 1994-09-19 1996-04-02 Olympus Optical Co Ltd 撮影装置
JPH0937141A (ja) 1995-07-19 1997-02-07 Hitachi Ltd 映像処理システム
JP3435288B2 (ja) * 1996-06-20 2003-08-11 ペンタックス株式会社 カメラシステム
JP3830689B2 (ja) 1999-05-25 2006-10-04 三菱電機株式会社 ステレオカメラ
CN1284381C (zh) * 1999-09-17 2006-11-08 自然工艺株式会社 摄像系统
US7046292B2 (en) * 2002-01-16 2006-05-16 Hewlett-Packard Development Company, L.P. System for near-simultaneous capture of multiple camera images
US6950546B2 (en) * 2002-12-03 2005-09-27 Og Technologies, Inc. Apparatus and method for detecting surface defects on a workpiece such as a rolled/drawn metal bar

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238325A (zh) * 2010-04-30 2011-11-09 安鹏科技股份有限公司 数字成像装置与相关的物件检测系统
CN101977285A (zh) * 2010-11-29 2011-02-16 杭州海康威视软件有限公司 摄像系统和摄像方法
CN101977284A (zh) * 2010-11-29 2011-02-16 杭州海康威视软件有限公司 摄像系统和摄像方法
WO2012071751A1 (zh) * 2010-11-29 2012-06-07 杭州海康威视软件有限公司 摄像系统和摄像方法
CN101977284B (zh) * 2010-11-29 2012-07-18 杭州海康威视软件有限公司 摄像系统和摄像方法
CN113301220A (zh) * 2021-04-27 2021-08-24 上海欧菲智能车联科技有限公司 一种车载摄像头与车灯的同步方法及fpga芯片
CN113301220B (zh) * 2021-04-27 2024-01-05 上海欧菲智能车联科技有限公司 一种车载摄像头与车灯的同步方法及fpga芯片

Also Published As

Publication number Publication date
US20060038915A1 (en) 2006-02-23
JPWO2004107739A1 (ja) 2006-07-20
WO2004107739A1 (ja) 2004-12-09
JP3801616B2 (ja) 2006-07-26
CN100417198C (zh) 2008-09-03
US7847825B2 (en) 2010-12-07

Similar Documents

Publication Publication Date Title
CN1795669A (zh) 摄像装置
US7683964B2 (en) Image capturing apparatus and image capturing method
CN1681329A (zh) 具备测距功能的摄像装置及摄像方法
RU2570349C1 (ru) Устройство обработки изображений, способ обработки изображений и программа, и устройство съемки изображений, включающее в себя устройство обработки изображений
US20140184883A1 (en) Imaging device, semiconductor integrated circuit and imaging method
CN1798264A (zh) 摄像装置及其控制方法
JP5656613B2 (ja) 撮像装置及びその制御方法
EP3040754B1 (en) Imaging device, method, and program
CN1842723A (zh) 距离图像传感器
JP2013050310A (ja) 距離画像生成装置
CN101049012A (zh) 图像拾取设备、曝光控制方法以及安装在图像拾取设备中的计算机程序
CN1612591A (zh) 摄影装置
JP2009258718A (ja) カメラシステム並びにカメラボディ及び交換レンズ
CN101057489A (zh) 闪烁校正方法、闪烁校正电路、以及使用它们的摄像装置
CN1843064A (zh) 光源驱动方法和投影仪
CN1713063A (zh) 自动调焦装置和包含该自动调焦装置的图像拾取装置
CN1519639A (zh) 相机
CN1716083A (zh) 电子像机和自动聚焦方法
TWI687660B (zh) 配光特性測定裝置以及配光特性測定方法
JP2016053849A (ja) 画像処理装置および画像処理方法、並びに固体撮像装置
CN1514297A (zh) 照相机及其测距方法
CN1847905A (zh) 对焦检测设备和用于对焦检测的信号处理方法
CN102645160B (zh) 图像测量设备
CN101078852A (zh) 图像摄取设备和图像摄取控制方法
JP2014130131A (ja) 撮像装置、半導体集積回路および撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080903

Termination date: 20100427