CN1701598A - 图像拾取装置和图像拾取方法 - Google Patents

图像拾取装置和图像拾取方法 Download PDF

Info

Publication number
CN1701598A
CN1701598A CNA2004800008370A CN200480000837A CN1701598A CN 1701598 A CN1701598 A CN 1701598A CN A2004800008370 A CNA2004800008370 A CN A2004800008370A CN 200480000837 A CN200480000837 A CN 200480000837A CN 1701598 A CN1701598 A CN 1701598A
Authority
CN
China
Prior art keywords
image pickup
pattern
electric charge
image
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800008370A
Other languages
English (en)
Other versions
CN100418360C (zh
Inventor
天野良介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1701598A publication Critical patent/CN1701598A/zh
Application granted granted Critical
Publication of CN100418360C publication Critical patent/CN100418360C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

一种用于拾取对象的图像拾取装置,包括:固态图像拾取器件(1),用于根据接收的图像光而进行光电转换;切换单元(10),用于在第一模式和第二模式之间切换,其中第一模式作为按照n-帧(n:自然数)而读取在固态图像拾取器件(1)中积累的电荷的图像拾取模式,第二模式作为按照m-场(m:自然数)而读取在固态图像拾取器件(1)中积累的电荷,并在使用各个m场的不同组合时将在读取电荷的垂直方向上相邻的奇数电荷与偶数电荷相加,以输出相加的结果的图像拾取模式。

Description

图像拾取装置和图像拾取方法
技术领域
本发明涉及使用固态图像拾取器件的图像拾取装置,并尤其涉及适于以高灵敏度拾取对象的图像的图像拾取装置和图像拾取方法。
此申请要求于2003年5月30日提交的日本专利申请第2003-155677号的优先权,通过引用将其全部内容合并于此。
背景技术
迄今,使用CCD(电荷耦合器件)型图像拾取器件(如固态图像拾取器件)的图像拾取装置已被使用。此类图像拾取装置适于控制存储(积累)在CCD图像拾取器件中的电荷的读出定时,由此增加存储在CCD图像拾取器件中的电荷的电荷存储时间,以执行长时间曝光,因而具有以高灵敏度拾取对象的图像的能力。
在正在为执行长时间曝光的目的而将电荷存储到CCD型图像拾取器件中的时间周期中,不可能从CCD型图像拾取器件读出电荷。因而,在CCD型图像拾取器件的电荷存储时间周期中输出临时存储在存储器中的图像,以对这种图像执行补充处理。
有关用于长时间曝光周期的图像的补充处理,提出了如下所述的技术。
首先,在日本专利申请公开第1997-168118号出版物中,提出了这种技术:按照一场而从CCD型图像拾取器件读出电荷,以将一场(一偶数场或一奇数场)的图像存储到存储器(场存储器)中,并在长时间曝光周期中从存储器读出一场的图像,以对这种图像执行补充处理。
此外,在日本专利申请公开第1997-252423号出版物中,提出了这种技术:通过所谓的帧读出操作,按照一帧而从CCD型图像拾取器件读出电荷,以将一帧的图像存储到存储器(帧存储器)中,以在长时间曝光周期中输出奇数场的图像的在某个定时从存储器读出奇数场的图像,以对该图像执行补充处理,并在在该时间周期期间读出偶数场的图像的某个定时从存储器读出偶数场的图像,以对该图像执行补充处理。
在日本专利申请公开第1997-168118号出版物中描述的技术中,将偶数场或奇数场的图像存储到场存储器中,以在长时间曝光时读出存储在场存储器中的偶数场或奇数场的图像,以对其执行补充处理。因而,在将此技术应用于基于执行隔行扫描的现有电视标准的装置的情况中,存在这种问题,即:由于在偶数场和奇数场会输出相同的图像作为在长时间曝光时的图像,所以,垂直分辨率减半,使得此技术对于运动图像来说,实际上是无用的。
另外,在日本专利申请公开第1997-168118号出版物和日本专利申请公开第1997-252423号出版物中描述的两种技术中,因为对于以高灵敏度拾取对象的图像来说,有必要延长CCD型图像拾取器件的电荷存储时间,所以,会产生与运动对象相关的具有大幅移动或振动的图像。即使为了消除这种移动或振动而作出了聚焦调节或亮度调节,但由于通过存储的图像来执行补充处理,所以也会产生与调节有关的时间延迟。因此,调节变得非常困难。由此,即使提高了灵敏度,也不可能获得具有用户期望的画面质量的图像。
发明内容
本发明的一个目的在于,提供新的图像拾取装置和新的图像拾取方法,其可以解决现有技术所具有的问题。
本发明的另一个目的在于,提供图像拾取装置和图像拾取方法,其中,在需要高画面质量的图像的情况中,以用户请求的输出灵敏度来拾取对象的图像,同时不降低画面质量,而在需要高输出灵敏度的情况中,在将画面质量的降低抑制到最小值的状态下,以用户请求的输出灵敏度来拾取对象的图像。
根据本发明的图像拾取装置包括:固态图像拾取器件,用于根据接收的图像拾取光来执行光电转换;切换部件,用于在第一模式和第二模式之间执行切换,其中第一模式用作每n(n为自然数)帧读出在固态图像拾取器件中存储的电荷、以输出CCD(电荷耦合器件)输出信号的图像拾取模式,第二模式用作每m(m为自然数)场读出在固态图像拾取器件中存储的电荷、在改变每m场的组合时将已读取的电荷的垂直方向上相邻的奇数电荷与偶数电荷相加、以输出CCD(电荷耦合器件)输出信号的图像拾取模式;以及控制部件,用于以这种方式来控制切换部件,即根据低输出灵敏度的图像拾取请求,而将图像拾取装置的图像拾取模式切换到第一模式,并根据高输出灵敏度的图像拾取请求,而将图像拾取装置的图像拾取模式切换到第二模式。
另外,根据本发明的图像拾取方法包括:根据接收的图像拾取光,由固态图像拾取器件来执行光电转换;根据低输出灵敏度的图像拾取请求,执行切换到用作在每n(n为自然数)帧读出在固态图像拾取器件中存储的电荷的图像拾取模式的第一模式,以输出CCD(电荷耦合器件)输出信号;以及根据高输出灵敏度的图像拾取请求,执行切换到用作在每m(m为自然数)场读出在固态图像拾取器件中存储的电荷、在改变每m场的组合时将已读取的电荷的垂直方向上相邻的奇数电荷与偶数电荷相加的图像拾取模式的第二模式,以输出CCD(电荷耦合器件)输出信号,由此执行图像拾取操作。
从下面将通过参照附图而给出的实施例的描述中,本发明的其它目的和通过本发明而获得的实践优点将变得更加清楚。
附图说明
图1为示出根据本发明的图像拾取装置的配置的方框图。
图2为示出根据增益量而切换的第一模式和第二模式之间的关系的一个示例的图。
图3为示出根据电荷存储时间而切换的第一模式和第二模式之间的关系的一个示例的图。
图4为示出根据增益量和电荷存储时间而切换的第一模式和第二模式之间的关系的一个示例的图。
图5A到5I为用于说明在长时间存储模式的情况中,图像拾取装置以第一模式读出存储电荷中的操作的时序图。
图6为示出在读出屏蔽(mask)信号为“低(Low)”时间周期的情况中的图像拾取装置的状态的图。
图7为示出在读出屏蔽信号为“高(High)”时间周期的情况中的图像拾取装置的状态的图。
图8A到8I为用于说明在长时间存储模式的情况中,图像拾取装置以第二模式读出存储电荷中的操作的时序图。
具体实施方式
现在将通过参照附图来详细描述根据本发明的图像拾取装置和图像拾取方法。
首先,将通过参照图1来描述根据本发明的图像拾取装置20。
如图1所示,根据本发明的图像拾取装置20包括:CCD型图像拾取器件1;由CDS(相关双采样电路)2a、2b、2c组成的CDS 2;增益可变放大器3;A/D(模拟到数字)转换器4;由总线切换元件5a、5b、5c组成的总线切换器5;帧存储器6;图像信号处理块7;用户接口8;CPU(中央处理单元)9;定时生成电路(定时生成器)10;以及切换器11。
CCD型图像拾取器件1为包括3个CCD(1a、1b、1c)的3CCD型图像拾取器件。尽管未示出,但在CCD型图像拾取器件1的前级提供了二向色棱镜(dichroic prism),其适于允许从图像拾取镜头(未示出)入射的入射光线透过其传播或在其之上反射,以执行颜色分离。使已由二向色棱镜进行了颜色分离的具有不同波长范围的R(红)光线、G(绿)光线、以及B(蓝)光线分别入射到各个CCD 1a、1b、1c上。
调整CCD 1a、1b、1c,以便二维排列分别包括光电转换元件(如光电二极管等)的多个像素,并用来由光电转换元件按照像素而对入射光线执行光电转换,以存储与光量相对应的电荷。此外,CCD 1a、1b、1c对存储的电荷执行垂直转换(vertical transfer),并进一步对其执行水平转换,以由此在二维阵列的每一行输出电荷。将已从CCD 1a、1b、1c输出的电荷分别传递到CDS 2a、2b、2c,作为CCD输出信号。
通过帧读出操作或场读出操作来读出已被存储在CCD 1a、1b、1c中的电荷。
帧读出操是读出已在二维排列的CCD 1a、1b、1c的光电二极管中存储了一帧时间周期(即1/30秒)的电荷的技术。在帧读出操作中,在二维排列的光电二极管的垂直方向中读出已被存储奇数的隔行像素(奇数行)中的电荷,作为与奇数场的视频信号相对应的CCD输出信号,并读出已被存储在余下的偶数像素(偶数行)中的电荷,作为与偶数场的视频信号相对应的CCD输出信号。
另一方面,场读出操是读出已在二维排列的CCD 1a、1b、1c的光电二极管中存储了一场时间周期(即1/60秒)的电荷的技术。在场读出操作中,使已从二维排列的光电二极管的相邻的奇数行的像素和偶数行的像素读出的、并已被相加的电荷成为与奇数场的视频信号相对应的CCD输出信号,而使已从相邻的奇数行的像素和偶数行的像素读出的、并已在改变其组合时被相加的电荷成为与偶数场的视频信号相对应的CCD输出信号。
在帧读出操作中,由于独立地读出各个像素的电荷,所以,与输出两个像素的相加的电荷的场读出操作相比,具有优势地,垂直分辨率在一定程度上较高。另外,在帧读出操作中,由于存储在各个像素中的电荷的存储时间取作为场读出操作中的1/60秒的电荷存储时间的两倍,即1/30秒数量级的值,所以,当对象移动、或图像拾取装置20进行摇摄时,存在由所谓的残留图像帧(frame-after-image)而使画面质量恶化的问题,所述残留图像帧是留下先前图像残留使得其呈献为残留图像的现象。
相反,在场读出操作中,由于存储在各个像素中的电荷的读出间隔(即电荷存储时间)是作为帧读出操作的所述读出间隔的1/2倍的1/60秒,所以,其产生较少的残留图像帧。由此原因,存在这样的优点,即与帧读出操作相比,运动分辨率较佳。另外,在场读出操作中,由于输出相加的两个像素的电荷,所以,在长时间曝光时,与帧读出操作相比,垂直分辨率较差。然而,由于在相同的电荷存储时间中读出两倍的电荷,所以,具有优势地,可得到高灵敏度的图像。
在下面的描述中,通过帧读出操作而从CCD 1a、1b、1c中读出电荷的模式被称为第一模式,而通过场读出操作读出电荷的模式被称为第二模式。
在其中以这种方式来通过帧读出操作或场读出操作而读出存储(积累)的电荷的CCD 1a、1b、1c中,有可能执行长时间曝光,其中,使要被存储到二维排列的光电二极管中的电荷的每个存储时间为在各个读出模式中的最短存储时间的自然数倍数的值。
也就是说,在作为第一模式的帧读出操作中,要被存储到光电二极管中的电荷的存储时间可被设为1/30秒×n(n为自然数)。在作为第二模式的场读出操作中,电荷的存储时间可被类似地设为1/60秒×m(m为自然数)。
在执行长时间曝光时,在光量较小的条件下以较高画面质量拾取具有较小运动的对象的图像、和/或以较高灵敏度拾取原来由于光量的不足而导致不能被拾取的对象的图像成为可能。然而,在对具有较大运动的对象执行长时间曝光时,会产生残留图像,导致画面质量恶化。
在由根据本发明的图像拾取装置20来执行长时间曝光的情况中,由CPU9来确定:根据用户指定(指示)的曝光时间,由作为第一模式的帧读出操作来读出电荷,还是由作为第二模式的场读出操作来读出电荷。因此,由定时生成电路10来运行与各个模式相对应的电荷的读出控制操作。
CDS 2a、2b、2c移除在从CCD 1a、1b、1c输出的CCD输出信号中包含的噪声,以生成视频信号。将已在CDS 2a、2b、2c移除了噪声的视频信号传递到增益可变放大器3。
增益可变放大器3根据用户通过用户接口8输入的请求(将在后面描述),而调节已从CDS 2a、2b、2c传递的视频信号的增益。例如,在对象具有足够亮度的情况中,用户为了获得具有较少噪声的高画面质量的图像,而作出降低(减小)增益的请求,而在对象的亮度不足的情况中,用户以这种方式作出增大增益的请求,即尽管噪声变得较多,也使对象的图像的拾取优先的方式。
将已在增益可变放大器3经过了增益调节的视频信号传递到A/D转换器4。
A/D转换器4用来将已从增益可变放大器3传递的模拟视频信号转换为数字视频信号。A/D转换器4将由此转换的数字视频信号输出到总线切换器5。
总线切换器5用来根据定时生成电路10的控制,而“导通”或“关断”切换元件,以控制将从A/D转换器4传递的数字视频信号输出到帧存储器(6和图像信号处理块7。
在CCD 1a、1b、1c执行长时间曝光时,在电荷存储时间周期控制总线切换器5,使其由于未从各个CCD 1a、1b、1c读出电荷而关断,并对其控制,使其在电荷存储时间结束时导通。当总线切换器5导通时,将从A/D转换器4输出的数字视频信号传递到帧存储器6和图像信号处理块7。
帧存储器6为具有预定容量的SDRAM(异步动态随机存取存储器),并适于将从A/D转换器4通过总线切换器5传递的数字视频信号存储在其中。存储在帧存储器6中的数字视频信号为:用于在执行长时间曝光中的电荷存储时间周期内,即在没有对来自各个CCD 1a、1b、1c的电荷的读出操作的时间周期内,执行补充处理的视频信号。
图像信号处理块7实现对从A/D转换器4通过总线切换器5传递的数字视频信号、或已从帧存储器6读出的用于补充处理的数字视频信号执行的亮度信号处理、颜色信号处理、轮廓校正处理以及编码处理,以执行DA(数字到模拟)转换,从而输出由此得到的模拟信号,作为模拟亮度信号和色度信号。
用户接口8用来输入来自用户的请求,并包括:操作按钮,用于操作图像拾取装置20的各种功能;以及显示单元,如LCD(液晶显示器)等。例如,将支持图像拾取装置20的各种功能的操作的GUI(图形用户界面)显示在LCD上。因此,用户根据GUI而输入开始图像拾取操作的图像拾取开始命令、和/或图像拾取停止命令等。
此外,有可能从用户接口8输入在上述增益可变放大器3中调节的视频信号的增益量。
此外,在图像拾取装置20执行长时间曝光的情况中,还有可能从用户接口8输入曝光时间。用户通过帧数来指定(指示)存储在CCD型图像拾取器件1的CCD 1a、1b、1c的光电二极管中的电荷的电荷存储时间,作为从用户接口8输入的曝光时间。例如,由于一帧为1/30秒,所以,在假定帧数为3(三)时,电荷存储时间等于1/30秒×3=1/10秒。
当用户从用户接口8指定(指示)了电荷存储时间时,将图像拾取装置20的操作模式切换到长时间曝光模式。
CPU9为用于管理控制图像拾取装置20的控制单元。CPU9根据从用户接口8输入的命令而控制图像拾取装置20的各个功能的操作。
CPU9根据从用户接口8输入的增益量,而将增益控制信号传递到增益可变放大器3,以进行控制,以便调节从CDS 2a、2b、2c输出的视频信号的增益。此外,CPU9将模式控制信号输出到定时生成电路10,其中,所述模式控制信号用于根据从用户接口8输入的增益量而指定作为从CCD 1a、1b、1c读出电荷的模式的第一模式或第二模式。
CPU9通过使用例如图2中示出的表,来指定根据增益量而从CCD 1a、1b、1c读出电荷的模式。如图2所示,在增益量为低增益的数量级,如0dB、6dB、或12dB的情况中,CPU9指定第一模式。在增益量为高增益的数量级,如18dB、24dB、或30dB的情况中,CPU9指定第二模式。
这是因为:由于考虑到指定低增益的事实意味着对象具有足够亮度,使得他期望高画面质量的图像,所以,指定具有高垂直分辨率的第一模式。
此外,由于考虑到指定高增益的事实意味着对象的亮度不足,使得用户期望即使包括一定程度的噪声、无论如何也要拾取对象的图像,所以,指定垂直分辨率较低、但可以高灵敏度作出图像拾取操作的第二模式。另外,当提供高增益时,由于噪声变得较多,所以,即使垂直分辨率恶化,也不会很显著。因而,第二模式变得有效。
此外,CPU9将模式控制信号输出到定时生成电路10,其中,所述模式控制信号根据从用户接口8输入的电荷存储时间而指定用作从CCD 1a、1b、1c读出电荷的模式的第一模式或第二模式。
CPU 9通过使用例如图3中示出的表,来指定根据电荷存储时间而从CCD 1a、1b、1c读出电荷的模式。如图3所示,在电荷存储时间为与1(一)帧、2(二)帧、4(四)帧、或8(八)帧相对应的相对较短的时间的情况中,CPU9指定第一模式。在电荷存储时间为与16帧、32帧、或64帧相对应的较长时间的情况中,CPU 9指定第二模式。在第二模式中,由于CCD 1a、1b、1c的奇数行的电荷和偶数行的电荷被相加,以便提供偶数场和奇数场的数字视频信号,所以,在设置了与第一模式的电荷存储时间相同的电荷存储时间的情况中,灵敏度变为两倍。
综上所述,由于考虑到在减小电荷存储时间的情况中,用户不十分期望要求灵敏度,所以,CPU9指定灵敏度低于第二模式中的灵敏度、但垂直分辨率较高的第一模式。另外,由于考虑到在延长电荷存储时间的情况中,用户期望高灵敏度的图像,所以,CPU9指定垂直分辨率较低、但可以高灵敏度作出图像拾取操作的第二模式。
此外,如上所述,CPU9自身不仅执行与增益量相对应的第一模式或第二模式的指定、以及与电荷存储时间相对应的第一模式或第二模式的指定,并且,例如,如图4所示,还通过作为参数的增益量和电荷存储时间来执行第一模式或第二模式的指定。
如图4所示,指定第一模式和第二模式的趋向遵循图2和3,其中,依照增益量的增加而指定第二模式,可获得高灵敏度,并依照电荷存储时间的增加而指定第二模式,可获得高灵敏度。
同时,通常,在将电荷存储到CCD中较长时间的情况中,暗电流的影响变大,但存在CCD所具有的二维排列的光电检测器(photo-detector)的奇数行的暗电流的影响和偶数行的暗电流的影响彼此不同的很多情况。从CCD的结构等而产生此情况。当奇数行的暗电流的影响和偶数行的暗电流的影响彼此不同时,由已从各行读出的电荷所确定的视频信号的暗电平彼此也极为不同。因而,在以第一模式读出在CCD中存储了较长时间的这种电荷的情况中,通过暗电平的突变来输出很难看到的图像。众所周知,当增益增加时,这种现象变得更加显著。
因而,如图4所示,当利用增益量和电荷存储时间来执行第一模式和第二模式之间的切换时,此方法还可处理由CCD的这种结构方面的特性所产生的问题,由此具有获得具有最佳灵敏度的更精细的图像的能力。
应当注意,图2、3和4中示出的值均为示例,并且,除了产生由CPU9遵循增益量的增加以及电荷存储时间的增加而指定第二模式的趋势的值之外,还可为完全不同的值,并且,本发明不限于图2、3和4中示出的值。
定时生成电路10根据从CPU9输出的模式控制信号,而生成用于控制存储在CCD 1a、1b、1c中的电荷的读出定时的读出脉冲信号(CCD读出脉冲),以将读出脉冲信号传递到CCD 1a、1b、1c。
还从定时生成电路10传递垂直驱动脉冲φV和水平驱动脉冲φH,用于通过执行垂直转换和水平转换,来取出存储在二维排列的CCD 1a、1b、1c的光电检测器中的电荷。
此外,在图像拾取装置20中,在产生执行长时间曝光的长时间曝光模式的情况中,定时生成电路10生成读出屏蔽信号(Readout Mask),用于切换切换器11,使得读出脉冲信号不被传递到CCD 1a、1b、1c,以根据从CPU9输出的模式控制信号,而利用用户指定的时间,将电荷存储在CCD 1a、1b、1c的光电检测器中。
此外,在长时间曝光模式中,定时生成电路10执行总线切换器5的通/断(ON/OFF)的控制、以及用于将数字视频信号写入到帧存储器6和用于读出已被写入在其中的数字视频信号的控制。
这种图像拾取装置20通过CPU9的控制,根据增益量的增加和电荷存储时间(曝光时间)的增加,而将存储在CCD 1a、1b、1c中的电荷的读出模式从获得具有高垂直分辨率的图像的第一模式切换到获得具有高灵敏度的图像的第二模式。
接下来,将通过使用在图5和8中示出的时序图来说明在长时间曝光模式中由CPU9指定用作执行帧读出操作的模式的第一模式的情况中的图像拾取装置20的操作、以及在长时间曝光模式中类似地由CPU9指定用作执行场读出操作的模式的第二模式的情况中的图像拾取装置20的操作。
首先,将通过使用在图5A到5I中示出的时序图,来说明在指定第一模式的情况中的图像拾取装置20的操作。应当注意,将存储(积累)在CCD 1a、1b、1c中的电荷的存储时间设为与3(三)帧相对应的存储时间。
图5A中示出的帧同步信号为指明帧的开始的信号,而图5B中示出的场1/2识别信号(discrimination signal)为在脉冲信号的“低”时间周期指明当前的奇数场、并在其“高”时间周期指明当前的偶数场的脉冲信号。图5C中示出的CCD操作模式指明CCD 1a、1b、1c当前执行什么操作。
图5D中示出的读出屏蔽信号指明从定时生成电路10输出到切换器11的信号,而图5E和5F的读出脉冲信号为从定时生成电路10通过切换器11输出到CCD 1a、1b、1c且用于指定存储的电荷的读出定时的信号。图5E中示出的读出信号为用于从CCD 1a、1b、1c的偶数行的光电二极管读出电荷的目的而传递的信号,而图5F中示出的读出信号为用于从奇数行的光电二极管读出电荷的目的而传递的信号。
图5G示出了已从CCD 1a、1b、1c读出的电荷的视频信号的图像。图5H示出了帧存储器6的操作状态,而图5I示出了输入到图像信号处理块7的视频信号的图像。
如图5E、5F所示,从定时生成电路10输出用于在奇数场时间周期读出CCD 1a、1b、1c的光电二极管的奇数行、并用于在偶数场时间周期读出CCD1a、1b、1c的光电二极管的偶数行的读出信号。
在此示例中,在图5E和5F中用虚线表示的部分指明在读出脉冲信号未被读出屏蔽信号屏蔽的情况中,可能输出的读出脉冲信号的相位。
此外,如图5D所示,定时生成电路10输出读出屏蔽信号,使得读出信号每三帧有效一次。将从定时生成电路10输出的读出屏蔽信号传递到切换器11,由此施加限制,使得在“高”时间周期中,读出信号不被传递到CCD 1a、1b、1c。
因此,在读出屏蔽信号的“低”时间周期中,将读出信号通过切换器11传递到CCD 1a、1b、1c。因此,如图5G所示,每三帧分别读出存储在奇数行中的电荷的视频信号和存储在偶数行中的电荷的视频信号。
此外,定时生成电路10控制总线切换器5,在读出屏蔽信号的“低”时间周期中导通总线切换器5,以进一步输出允许将视频信号写入到帧存储器6中的写入操作的信号(写使能信号),如图5H所示。
将以从CCD 1a、1b、1c读出的视频信号通过CDS2、增益可变放大器3、A/D转换器4和切换器5传递到帧存储器6和图像信号处理块7,如图5I所示。
图6中示出了在读出屏蔽信号的“低”时间周期中的图像拾取装置20的状态。在读出屏蔽信号的“低”时间周期中,将读出脉冲信号从定时生成电路10通过切换器11传递到CCD 1a、1b、1c。由此,总线切换器5也导通。因此,将写使能信号从定时生成电路10传递到帧存储器6。
另一方面,在读出屏蔽信号的“高”时间周期中,定时生成电路10控制总线切换器5,关断总线切换器5,以进一步输出允许对存储在帧存储器6中的视频信号的读出操作的信号(读使能信号),如图5H所示。
因此,从A/D转换器4到图像信号处理块7的传递被中断。由此,读出存储在帧存储器6中的视频信号,并将其传递到图像信号处理块7。
图7中示出了在读出屏蔽信号的“高”时间周期中的图像拾取装置20的状态。在读出屏蔽信号的“高”时间周期中,不将来自定时生成电路10的读出脉冲信号传递到CCD 1a、1b、1c。由此,总线切换器5也关断。因此,将读使能信号从定时生成电路10传递到帧存储器6。
在上述方法中,通过定时生成电路10的控制,将已从存储了与三帧相对应的电荷的CCD 1a、1b、1c的奇数行和偶数行中每三帧而分别读出的电荷的视频信号传递到图像处理块7,并从帧存储器6在余下的两帧传递相同视频信号,以便使其补足。
接下来,将通过使用图8A到8I中示出的时序图,来说明在指定了第二模式的情况中的图像拾取装置20的操作。在此示例中,将存储在CCD 1a、1b、1c中的电荷的存储时间设为与三帧(=六场)相对应的存储时间。由于图8A到8I中示出的信号的说明与图5A到5I的说明相对应,所以省略其细节。
如图8E和8F所示,从定时生成电路10输出用于在奇数场时间周期读出CCD 1a、1b、1c的光电二极管的奇数行、并用于在奇数场时间周期类似地读出CCD 1a、1b、1c的光电二极管的偶数行的读出信号。
在此示例中,在图8E和8F中用虚线表示的部分指明在读出脉冲信号未被读出屏蔽信号屏蔽的情况中,可能输出的读出脉冲信号的相位。
此外,如图8D所示,定时生成电路10输出读出屏蔽信号,使得读出信号每六场有效一次。将从定时生成电路10输出的读出屏蔽信号传递到切换器11,以施加限制,使得在“高”时间周期中,读出信号不被传递到CCD 1a、1b、1c。
因此,在读出屏蔽信号的“低”时间周期中,将读出信号通过切换器11传递到CCD 1a、1b、1c。如图8G所示,每六场读出存储在奇数行中的电荷的视频信号和存储在偶数行中的电荷的视频信号,并将其相加。
此外,定时生成电路10控制总线切换器5,在读出屏蔽信号的“低”时间周期中导通总线切换器5,以进一步输出允许将视频信号写入到帧存储器6中的写入操作的信号(写使能信号),如图8H所示。
将以从CCD 1a、1b、1c读出的视频信号通过CDS2、增益可变放大器3、A/D转换器4和切换器5传递到帧存储器6和图像信号处理块7,如图81所示。
图6中示出了在读出屏蔽信号的“低”时间周期中的图像拾取装置20的状态。在读出屏蔽信号的“低”时间周期中,将读出脉冲信号从定时生成电路10通过切换器11传递到CCD 1a、1b、1c。由此,总线切换器5也导通。因此,将写使能信号从定时生成电路10传递到帧存储器6。
另一方面,在读出屏蔽信号的“高”时间周期中,定时生成电路10控制总线切换器5,关断总线切换器5,以进一步输出允许对存储在帧存储器6中的视频信号的读出操作的信号(读使能信号),如图8H所示。
因此,从A/D转换器4到图像信号处理块7的传递被中断。因此,读出存储在帧存储器6中的视频信号,并将其传递到图像信号处理块7。
图7中示出了在读出屏蔽信号的“高”时间周期中的图像拾取装置20的状态。在读出屏蔽信号的“高”时间周期中,不将来自定时生成电路10的读出脉冲信号传递到CCD 1a、1b、1c。由此,总线切换器5也关断。因此,将读使能信号从定时生成电路10传递到帧存储器6。
在上述方法中,通过定时生成电路10的控制,将已从存储了与三帧(=六场)相对应的电荷的CCD 1a、1b、1c的奇数行和偶数行中每六场而分别读出并相加的电荷的视频信号传递到图像处理块7,并在余下的五场从帧存储器6传递相同视频信号,以便使其补足。
在上述方法中,在长时间曝光模式中,图像拾取装置20可以第一模式或第二模式来读出存储在CCD 1a、1b、1c中的电荷。
应当注意,尽管在根据本发明的图像拾取装置20中,增益可变放大器3根据用户从用户接口8输入的增益量来控制增益量的调节,但可提供AGC(自动增益控制)来替代增益可变放大器3,由此根据拍摄(图像拾取)条件等来调节增益。CPU9将模式控制信号输出到定时生成电路10,使得在通过AGC调节的增益量较低的情况中指定第一模式,而在增益量较高的情况中指定第二模式。
此外,尽管在根据本发明的图像拾取装置20中,通过例如图2、3和4中示出的、基于从用户接口8输入的增益量和电荷存储时间而在CPU9设置的表所描述的策略,来自动执行第一模式和第二模式的指定,但用户可直接从用户接口8指定第一模式或第二模式。
应当注意,尽管已根据在附图中图解、并在上面的描述中详细描述的特定优选实施例来描述了本发明,但本领域的技术人员应当理解,本发明不限于实施例,而可在不背离所附权利要求中阐述的本发明的范围和精髓的情况下实现各种修改、替换构造或等价配置。
工业应用性
如上所述,在本发明中,以这种方式来执行图像拾取操作,即执行切换到用作根据低输出灵敏度的图像拾取请求,而在每几帧读出固态图像拾取器件中存储的电荷的图像拾取模式的第一模式;以及执行切换到用作根据高输出灵敏度的图像拾取请求,而在每几场读出固态图像拾取器件中存储的电荷,以在改变每几场的组合时将已读取的电荷的垂直方向上相邻的奇数电荷与偶数电荷相加,以输出如此相加的电荷的图像拾取模式的第二模式。因而,拾取对象的图像、以便产生在用户期望的输出灵敏度下的最佳图像成为可能。
例如,在由于对象的光量不足而增加图像拾取信号的增益的情况中,执行切换到第二模式。在第二模式中,由于相比第一模式,产生相同灵敏度的电荷存储时间可被减半,所以,有可能获得在抑制运动对象的移动或振动的同时也满足需要的输出灵敏度的图像。
此外,在由于对象的光量充足而无需特别增加灵敏度的情况中,执行切换到第一模式,由此使获得具有比在第二模式中执行图像拾取操作的情况中的垂直分辨率更高的垂直分辨率的高画面质量的图像成为可能。
此外,在增加在固态图像拾取器件中存储电荷的电荷存储时间、以增加输出灵敏度的情况中,执行切换到第二模式,由此使在与第一模式的电荷存储时间相同的电荷存储时间中获得双倍的输出灵敏度(即电荷存储时间减半)成为可能。因而,最优化地调节了由运动对象的移动或振动所造成的画面质量的恶化,由此使在最小化这种恶化的同时获得需要的输出灵敏度的图像成为可能。

Claims (6)

1、一种图像拾取装置,包括:
固态图像拾取器件,用于根据接收的图像拾取光来执行光电转换;
切换部件,用于在第一模式和第二模式之间执行切换,其中第一模式用作在每n(n为自然数)帧读出在固态图像拾取器件中存储的电荷、以输出CCD(电荷耦合器件)输出信号的图像拾取模式,第二模式用作在每m(m为自然数)场读出在固态图像拾取器件中存储的电荷、在改变每m场的组合时将已读取的电荷的垂直方向上相邻的奇数电荷与偶数电荷相加、以输出CCD(电荷耦合器件)输出信号的图像拾取模式;以及
控制部件,用于以这种方式来控制切换部件,即根据低输出灵敏度的图像拾取请求,而将图像拾取装置的图像拾取模式切换到第一模式,并根据高输出灵敏度的图像拾取请求,而将图像拾取装置的图像拾取模式切换到第二模式。
2、如权利要求1所述的图像拾取装置,包括:
增益调节部件,用于调节从固态图像拾取器件输出的图像拾取信号的增益,
其中,控制部件控制切换部件,以便根据增益调节部件所调节的增益,而将图像拾取装置的图像拾取模式切换到第一模式或第二模式。
3、如权利要求1所述的图像拾取装置,
其中,控制部件控制切换部件,以便根据存储在固态图像拾取器件中的电荷的存储时间,而将图像拾取装置的图像拾取模式切换到第一模式或第二模式。
4、一种图像拾取方法,包括:
根据接收的图像拾取光,由固态图像拾取器件来执行光电转换;
根据低输出灵敏度的图像拾取请求,执行切换到用作在每n(n为自然数)帧读出在固态图像拾取器件中存储的电荷的图像拾取模式的第一模式,以输出CCD(电荷耦合器件)输出信号;以及
根据高输出灵敏度的图像拾取请求,执行切换到用作在每m(m为自然数)场读出在固态图像拾取器件中存储的电荷、在改变每m场的组合时将已读取的电荷的垂直方向上相邻的奇数电荷与偶数电荷相加的图像拾取模式的第二模式,以输出CCD(电荷耦合器件)输出信号,由此执行图像拾取操作。
5、如权利要求4所述的图像拾取方法,包括:
调节从固态图像拾取器件输出的图像拾取信号的增益,以根据调节的增益,而将图像拾取模式切换到第一模式或第二模式,以执行图像拾取操作。
6、如权利要求4所述的图像拾取方法,包括:
根据存储在固态图像拾取器件中的电荷的存储时间,而将图像拾取模式切换到第一模式或第二模式,以执行图像拾取操作。
CNB2004800008370A 2003-05-30 2004-05-27 图像拾取装置和图像拾取方法 Expired - Fee Related CN100418360C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003155677A JP3933095B2 (ja) 2003-05-30 2003-05-30 撮像装置及び撮像方法
JP155677/2003 2003-05-30

Publications (2)

Publication Number Publication Date
CN1701598A true CN1701598A (zh) 2005-11-23
CN100418360C CN100418360C (zh) 2008-09-10

Family

ID=33487370

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800008370A Expired - Fee Related CN100418360C (zh) 2003-05-30 2004-05-27 图像拾取装置和图像拾取方法

Country Status (6)

Country Link
US (1) US7714922B2 (zh)
EP (1) EP1519571A4 (zh)
JP (1) JP3933095B2 (zh)
KR (1) KR100994844B1 (zh)
CN (1) CN100418360C (zh)
WO (1) WO2004107741A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547102A (zh) * 2010-12-28 2012-07-04 鸿富锦精密工业(深圳)有限公司 摄影机设备及影像传感器更换方法
CN101572775B (zh) * 2008-05-03 2012-09-19 奥林巴斯映像株式会社 图像记录再现装置及图像记录再现方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080002081A (ko) * 2006-06-30 2008-01-04 삼성전자주식회사 VoIP를 이용한 화상통신장치 및 그 운용방법
JP4810566B2 (ja) * 2008-11-27 2011-11-09 富士フイルム株式会社 撮像装置
TW201031190A (en) * 2009-02-13 2010-08-16 Altek Corp Driving module for imaging apparatus and method thereof
JP5412149B2 (ja) * 2009-03-16 2014-02-12 オリンパス株式会社 画像撮像装置及びそれを備えた細胞画像解析システム
TW201228367A (en) * 2010-12-24 2012-07-01 Hon Hai Prec Ind Co Ltd Video camera apparatus and method for changing image sensor
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US9154708B1 (en) * 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9137455B1 (en) 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9979905B2 (en) * 2015-11-17 2018-05-22 Microsoft Technology Licensing, Llc. Multimode photosensor
US10270958B2 (en) 2016-09-01 2019-04-23 Duelight Llc Systems and methods for adjusting focus based on focus target information

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923367A (en) * 1978-04-23 1999-07-13 Canon Kabushiki Kaisha Integral image recording and image playback system
US5019911A (en) 1987-09-10 1991-05-28 Canon Kabushiki Kaisha Image pickup apparatus with mode dependent light measurement
JPS6399681A (ja) 1987-09-19 1988-04-30 Canon Inc 撮像装置
JPH01146476A (ja) 1987-12-02 1989-06-08 Sony Corp 高感度テレビカメラ
JPH0831990B2 (ja) * 1989-03-29 1996-03-27 株式会社東芝 X線診断装置
EP0415756A3 (en) * 1989-08-31 1991-12-27 Canon Kabushiki Kaisha Electronic still camera
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor
US5221963A (en) * 1990-03-31 1993-06-22 Minolta Camera Kabushiki Kaisha Video camera having a video signal processing apparatus
US5382974A (en) * 1991-04-18 1995-01-17 Fuji Photo Film Company, Limited Movie camera having still picture photographing function and method of photographing still picture therewith
JP3173851B2 (ja) * 1992-04-13 2001-06-04 三菱電機株式会社 Csd方式の固体撮像装置
JP3242515B2 (ja) * 1993-12-24 2001-12-25 キヤノン株式会社 撮像装置
US5430481A (en) * 1994-03-30 1995-07-04 Texas Instruments Incorporated Multimode frame transfer image sensor
US5786852A (en) * 1994-06-20 1998-07-28 Canon Kabushiki Kaisha Image pick-up apparatus having an image sensing device including a photoelectric conversion part and a vertical transfer part
US6078685A (en) * 1994-08-22 2000-06-20 Canon Kabushiki Kaisha Image reading apparatus for reading a color image by irradiating light onto an object and photoelectrically converting light from the object
JP3847811B2 (ja) * 1995-06-30 2006-11-22 キヤノン株式会社 撮像装置
US20020057349A1 (en) * 1996-03-06 2002-05-16 Masanori Yamaguchi Image pickup apparatus and solid state image pickup device
MY119993A (en) 1996-03-06 2005-08-30 Sony Corp Electronic still camera.
JP4536173B2 (ja) * 1998-07-22 2010-09-01 ソニー株式会社 画像記録装置及び画像記録方法
JP2000188763A (ja) * 1998-12-21 2000-07-04 Toshiba Corp デジタルカメラ装置
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
CN1276646C (zh) * 1999-11-22 2006-09-20 松下电器产业株式会社 固态成象设备
JP4195169B2 (ja) 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
JP3914691B2 (ja) * 2000-06-21 2007-05-16 松下電器産業株式会社 Vtr一体型撮像装置
JP3751187B2 (ja) * 2000-06-26 2006-03-01 松下電器産業株式会社 固体撮像装置
JP2002142151A (ja) * 2000-10-31 2002-05-17 Hitachi Ltd 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572775B (zh) * 2008-05-03 2012-09-19 奥林巴斯映像株式会社 图像记录再现装置及图像记录再现方法
CN102547102A (zh) * 2010-12-28 2012-07-04 鸿富锦精密工业(深圳)有限公司 摄影机设备及影像传感器更换方法
CN102547102B (zh) * 2010-12-28 2014-12-03 南通新业电子有限公司 摄影机设备及影像传感器更换方法

Also Published As

Publication number Publication date
US20060050165A1 (en) 2006-03-09
EP1519571A1 (en) 2005-03-30
WO2004107741A1 (ja) 2004-12-09
CN100418360C (zh) 2008-09-10
EP1519571A4 (en) 2010-03-10
US7714922B2 (en) 2010-05-11
KR20060013360A (ko) 2006-02-09
KR100994844B1 (ko) 2010-11-16
JP2004357242A (ja) 2004-12-16
JP3933095B2 (ja) 2007-06-20

Similar Documents

Publication Publication Date Title
CN1701598A (zh) 图像拾取装置和图像拾取方法
CN101047798A (zh) 图像传感器
CN1156916C (zh) 固体摄象装置
CN1156915C (zh) 固体摄像装置
CN1050953C (zh) 防止图象抖动的摄象机
CN1173553C (zh) 成像设备
CN1251485C (zh) 摄像装置
CN1816111A (zh) 摄像装置
CN1870729A (zh) 固态成像装置、其驱动方法、和成像设备
CN1925553A (zh) 摄像设备及其控制方法
CN1685710A (zh) 摄像装置、摄像装置图像输出方法以及计算机程序
CN1700745A (zh) 固体摄像装置和相机
CN1856042A (zh) 固态图像拾取设备、其驱动方法和图像拾取装置
CN1898945A (zh) 具有亮度校正功能的图像拾取设备以及校正图像亮度的方法
CN1147129C (zh) 成像设备和记录/再现设备
CN1732681A (zh) 固态成像器件
CN101079966A (zh) 固态成像设备、用于驱动固态成像设备的方法和相机
CN1905634A (zh) 固体摄像装置的驱动方法和固体摄像装置
CN1993982A (zh) 摄像装置、摄像方法及摄像控制程序
CN1430407A (zh) 图像摄取装置
CN101031032A (zh) 图像拾取设备、曝光控制方法、及计算机程序
CN1848920A (zh) 自动焦点调节装置和焦点调节方法
CN1901610A (zh) 摄像装置
CN1933606A (zh) 摄像装置及摄像方法
CN1731831A (zh) 摄像装置及摄像元件的控制电路

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080910

Termination date: 20130527