CN107959771A - 图像拾取系统 - Google Patents

图像拾取系统 Download PDF

Info

Publication number
CN107959771A
CN107959771A CN201710949672.0A CN201710949672A CN107959771A CN 107959771 A CN107959771 A CN 107959771A CN 201710949672 A CN201710949672 A CN 201710949672A CN 107959771 A CN107959771 A CN 107959771A
Authority
CN
China
Prior art keywords
image pick
image
electric charge
period
exposure period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710949672.0A
Other languages
English (en)
Other versions
CN107959771B (zh
Inventor
岩仓靖
大西智也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107959771A publication Critical patent/CN107959771A/zh
Application granted granted Critical
Publication of CN107959771B publication Critical patent/CN107959771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0132—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明涉及图像拾取系统。在采取防闪烁的对策的同时获取距离信息并且防止信息缺失或丢失的至少一个图像拾取系统包括第一图像拾取装置、第二图像拾取装置以及信号处理单元，信号处理单元被配置为对从第一图像拾取装置和第二图像拾取装置获取的信号进行处理。第一图像拾取装置的曝光时段和第二图像拾取装置的曝光时段在一帧中重复多次。第一图像拾取装置的曝光时段与第二图像拾取装置的非曝光时段重叠，并且第一图像拾取装置的非曝光时段与第二图像拾取装置的曝光时段重叠。

Description

图像拾取系统
技术领域
本公开涉及图像拾取系统的一个或多个实施例。
背景技术
使用视点不同的两个相机(立体相机)拾取作为测量目标的物体的图像并且使用获取的两个图像测量到该物体的距离的立体聚焦技术是已知的。立体相机基于三角测量原理，使用在两个拾取图像之间发生的视差来测量到对象的距离。使用立体相机使得可以测量相机的位置和摄影对象(诸如位于相机前方的人和物体)之间的距离。因此，立体相机还用作用于自动行驶和事故回避目的的车载相机。
日本专利申请公开No.2009-165081讨论了如下的车载立体相机：该车载立体摄像机相机即使在重复由AC电源驱动器等引起的闪光和量度变化的发光器件(例如，发光二极管(LED))下也拾取摄影对象的图像。更具体地说，日本专利申请公开No.2009-165081讨论了设有通过使第一图像拾取装置或第二图像拾取装置的曝光时段长于发光器件的闪光周期来防闪烁的对策的车载立体相机。另外，日本专利申请公开No.2009-165081讨论了通过使第二图像拾取装置的曝光时段长于第一图像拾取装置的曝光时段而将从第二图像拾取装置获取的信号用于发光器件的确认。
如上所述，日本专利申请公开No.2009-165081讨论了第二图像拾取装置的曝光时段的起点被设置为早于第一图像拾取装置的曝光时段的起点，以使第二图像拾取装置的曝光时间长于第一图像拾取装置的曝光时间，作为防闪烁的对策。
然而，在日本专利申请公开No.2009-165081中，第二图像拾取装置的曝光时段的终点与第一图像拾取装置的曝光时段的终点是一致的。因此，如果在下一帧中发光器件在第一或第二图像拾取装置的曝光时段开始之前发光，则图像捕捉在这种状态下不能被执行，这引起信息缺失。
发明内容
本公开针对使得可以在采取防闪烁的对策的同时获取距离信息并且防止信息缺失或丢失的图像拾取系统的至少一个或多个实施例。
根据本公开的至少一个实施例的图像拾取系统包括第一图像拾取装置、第二图像拾取装置以及信号处理单元，信号处理单元被配置为对从第一图像拾取装置和第二图像拾取装置获取的信号进行处理，其中，第一图像拾取装置的曝光时段和第二图像拾取装置的曝光时段在一帧中重复多次，第一图像拾取装置的曝光时段与第二图像拾取装置的非曝光时段重叠，并且第一图像拾取装置的非曝光时段与第二图像拾取装置的曝光时段重叠。
根据本公开的其他方面，一个或多个另外的图像拾取系统、一个或多个控制或驱动方法、至少一个移动体以及用于与其一起使用的一个或多个记录单元或存储介质(例如，非暂时性存储介质)在本文中被讨论。参照附图阅读对示例性实施例的以下描述，本公开的更多特征将变得清楚。
附图说明
图1A和1B均是例示了至少根据第一示例性实施例的图像拾取系统的框图。
图2是例示了至少根据第一示例性实施例的图像拾取装置的框图。
图3是至少根据第一示例性实施例的像素部分的等效电路图。
图4是至少根据第一示例性实施例的图像拾取系统的驱动的时序图。
图5是至少根据第一示例性实施例的图像拾取系统的驱动的时序图。
图6是至少根据第二示例性实施例的图像拾取系统的框图。
图7是至少根据第二示例性实施例的像素部分的等效电路图。
图8是至少根据第二示例性实施例的图像拾取系统的驱动的时序图。
图9是至少根据第三示例性实施例的图像拾取系统的驱动的时序图。
图10A和10B是至少根据第三示例性实施例的图像拾取系统的驱动的时序图。
图11是至少根据第四示例性实施例的像素部分的等效电路图。
图12是至少根据第四示例性实施例的图像拾取系统的驱动的时序图。
图13是至少根据第四示例性实施例的图像拾取系统的驱动的时序图。
图14A和14B均是例示了包括至少根据第五示例性实施例的图像拾取系统的移动体的示图。
具体实施方式
参照附图描述根据本公开的图像拾取系统的具体示例性实施例。注意，在以下描述和附图中，共同的组件用共用的附图标记表示，并且其描述被适当地省略。参照图1至图5来描述根据本公开的第一示例性实施例的图像拾取系统的至少一个配置和至少一个驱动方法。
(图像拾取系统的框图)
图1A是至少根据第一示例性实施例的图像拾取系统100的框图。图像拾取系统100包括图像拾取装置101(第一图像拾取装置)和图像拾取装置102(第二图像拾取装置)。图像拾取系统100还包括信号处理单元103、光学控制单元104、快门/图像拾取装置控制单元105、图像显示单元106、记录单元107以及系统控制器108。光学单元109和机械快门110设置在图像拾取装置101和102中的每个的入射表面侧，并且图像预处理单元112设置在图像拾取装置101和102中的每个的后一级中。
图像拾取装置101和102中的每个均将通过光学单元109和机械快门110接收的光转换为电信号。此外，经转换的电信号被图像预处理单元112处理。施加于图像拾取装置101和102的光量由系统控制器108基于到光学单元109和机械快门110的输入值、由图像拾取装置101和102以及状态检测单元111测得的光学信号强度来确定。在系统控制器108确定施加于图像拾取装置101和102的光量超出适当范围的情况下，通过光学控制单元104和快门/图像拾取装置控制单元105来调整光学单元109的孔径值和机械快门110的操作。光学单元109的孔径值和机械快门110的操作不一定是自动调整的，而可以是手动调整的。
快门/图像拾取装置控制单元105使两个图像拾取装置101和102与机械快门110的操作同步。更具体地说，快门/图像拾取装置控制单元105产生使第一图像拾取装置101的机械快门110的操作与第二图像拾取装置102的机械快门110的操作同步的同步信号、控制与图像信号的产生和输出相关的定时的信号、以及其他信号。
机械快门110例如包括遮光的前叶片和后叶片，这些叶片在行方向上行进。此外，快门的打开/关闭时段由快门/图像拾取装置控制单元105控制。
图像预处理单元112对从图像拾取装置101或102获取的电信号执行诸如水平/垂直同步和编码之类的处理，并且将处理的信号作为图像信号发送到下一级中的信号处理单元103。
信号处理单元103包括图像处理部113、距离信息处理部114以及图像输出部115。
图像处理部113从图像预处理单元112获取图像拾取装置101和102的相应图像信号。图像处理部113然后执行诸如以下处理：图像的临时存储，图像的亮度和对比度的校正，轮廓提取、部分裁剪、合成和失真校正的图像处理，以及摄影对象的区分、标识和识别。
距离信息处理部114基于图像处理部113的处理结果来执行摄影对象的视差和聚焦计算的处理。
图像输出部115基于图像处理部113的处理结果来执行产生适合于输出到图像显示单元106和记录单元107的信号的处理，并输出信号。
图1B是详细地例示了快门/图像拾取装置控制单元105的例子的示图。快门/图像拾取装置控制单元105包括原始振荡产生部160和控制信号输出部150。原始振荡产生部160执行周期性信号的产生等。控制信号输出部150输出用于控制第一图像拾取装置101和第二图像拾取装置102的控制信号。布线170是电连接控制信号输出部150和第一图像拾取装置101的布线，布线180是电连接控制信号输出部150和第二图像拾取装置102的布线。为了高精度地使两个图像拾取装置同步，布线170和布线180的长度基本上是相等的。如本文中所使用的，“长度基本上相等”不仅指示相同长度，而且还指示实现第一示例性实施例的效果的范围内的不同长度。
(图像拾取装置的框图)
图2是图像拾取系统100中设置的图像拾取装置101或102的框图。图像拾取装置102具有与图像拾取装置101的配置类似的配置。
图像拾取装置101或102包括其中二维布置多个像素11的图像拾取区域10、控制单元12、垂直扫描单元13、像素信号处理单元14以及输出单元16。控制单元12、垂直扫描单元13、像素信号处理单元14以及输出单元16设置在图像拾取区域10的外围。
控制单元12将控制信号和电源电压供给垂直扫描单元13、像素信号处理单元14以及输出单元16。垂直扫描单元13基于一个像素行或多个像素行将驱动信号供给布置在图像拾取区域10中的多个像素11。为了高精度地使第一图像拾取装置101和第二图像拾取装置102同步，图1所示的快门/图像拾取装置控制单元105电连接到控制单元12。
垂直扫描单元13包括移位寄存器或地址解码器。
像素信号处理单元14包括列电路17、水平扫描电路18以及水平输出线15。列电路17包括多个电路。所述多个电路的例子包括信号保持电路、放大电路、降噪电路以及模数转换电路。水平扫描电路18包括移位寄存器或地址寄存器。要被输出到水平输出线15的信号可以是模拟信号或数字信号。
输出单元16包括缓冲电路，并且将已经通过水平输出线15传送的信号传送到图像拾取装置101或102的下一级中的图像预处理单元112。
(像素部分的等效电路图)
图3例示了图2所示的像素11的等效电路的配置。图3例示了包括四个像素的例子。像素11包括光电转换部301、浮置扩散302(FD 302)、转移开关304、输入节点303、复位晶体管305、放大部306以及选择晶体管307。布置在同一行中的多个像素11连接到相同的控制线pTX1、pRES和pSEL，控制线pTX1、pRES和pSEL分别同时地操作或停止同一行中的像素的转移开关304、复位晶体管305和选择晶体管307。
光电转换部301响应于入射光产生电荷，并且蓄积所产生的电荷。光电转换部301例如是光电二极管。
转移开关304将在光电转换部301中产生的电荷转移到FD 302。转移开关304由通过控制线pTX1供给的信号控制。转移开关304例如是金属-氧化物半导体(MOS)晶体管。
FD 302具有通过转移开关304的操作来接收并保持在光电转换部301中产生的电荷的功能，并且构成放大部306的输入节点303。
放大部306对在放大部306的输入节点303中蓄积的电荷进行放大，并且将放大的电荷作为像素信号输出到垂直输出线308。放大部306例如是源极跟随器电路。
选择晶体管307选择将信号输出到垂直输出线308的像素11。
复位晶体管305响应于控制线pRES的信号将输入节点303中的电荷释放到电源309，以将输入节点的电位变为电源309的电位，即，执行复位操作。
(时序图)
图4是例示了图像拾取系统100的操作的时序图。波形400示意性地例示了经过全波整流的AC电源的波形。AC电源是具有例如50Hz或60Hz的频率的电源。图4中的时段T40对应于AC电源的周期，并且例如是1/50秒或1/60秒。
波形401指示使用具有波形400的电源的光源的闪光状态。H电平指示开灯状态，L电平指示灭灯状态。使用AC电源的光源的例子包括用于交通信号的LED光源。当经过全波整流的电源的波形400具有高于预定阈值的值时，波形401变为H电平，并且光源置于开灯状态。相反，当波形400具有等于或低于预定阈值的值时，波形401变为L电平，并且光源置于灭灯状态。
时段T41指示光源的闪光周期，并且是时段T40的1/2周期，时段T40是AC电源的周期。另外，时段T42指示在光源开启的时段，时段T43指示光源关闭的时段。
附图标记410和420分别指示机械快门110的打开/关闭状态，机械快门110设置在第一图像拾取装置101和第二图像拾取装置102的光入射侧。具有矩形的部分指示打开状态，没有矩形的部分指示关闭状态。机械快门110的打开时段实质上对应于第一图像拾取装置101的曝光时段和第二图像拾取装置102的曝光时段。因此，附图标记410和标号4200也被分别称为曝光时段410和曝光时段4200。
信号波形411和421均指示输入到转移开关304的控制线pTX1的信号的波形。当转移开关304的控制线pTX1被控制为从L电平到H电平时，转移开关304接通，并且光电转换部301中的电荷转移到包括FD 302的输入节点303。
随后，在电荷从光电转换部301转移到FD 302之后控制线pTX1的控制信号从H电平返回到L电平。
信号波形412和422均指示输入到选择晶体管307的控制线pSEL的信号的波形。当选择晶体管307的控制线pSEL被控制为从L电平到H电平时，选择晶体管307接通，并且将已从电源309提供并且已经过放大部306的电流输出到垂直输出线308。
信号波形413和423均指示输入到复位晶体管305的控制线pRES的信号的波形。当复位晶体管305的控制线pRES被控制为从L电平到H电平时，复位晶体管305接通，并且包括FD 302的输入节点303中的电荷释放到电源309。
如图4所示，第一图像拾取装置101和第二图像拾取装置102中的每个的机械快门110在一帧中重复地打开和关闭以便顺序地曝光每行。
机械快门110的打开时段实质上对应于第一图像拾取装置和第二图像拾取装置中的每个的曝光时段。换句话说，进入第一图像拾取装置和第二图像拾取装置中的每个的对应像素行上的光电转换部301的光在每行中机械快门110打开的时段期间被转换为电荷。在机械快门110关闭的时段期间，第一图像拾取装置和第二图像拾取装置中的每个的对应像素行上的光电转换部301不产生电荷，并且继续保留电荷。以这种方式，通过顺序地逐行重复机械快门110的打开和关闭操作，即，重复第一图像拾取装置和第二图像拾取装置中的每个的对应像素行的曝光，电荷被蓄积在光电转换部301中。
在任意帧中，机械快门110的顺序逐行打开/关闭操作的最后打开/关闭对应于第一图像拾取装置和第二图像拾取装置中的每个的对应像素行的最后曝光。例如，就第一图像拾取装置的第一行来说，机械快门110的最后打开/关闭对应于图4中的定时T44和T55。就第二图像拾取装置的第一行来说，机械快门110的最后打开/关闭对应于图4中的定时T46和T47。
在直到最后一行曝光完成之后，输入到第一图像拾取装置和第二图像拾取装置的控制线pSEL 412和pSEL 422中的每个的控制信号顺序地逐行从L电平变为H电平。接着，输入到控制线pRES 413和pRES 423中的每个的控制信号顺序地逐行从L电平变为H电平，而控制线pSEL 412和pSEL 422中的每个的控制信号维持在H电平。输入节点303中剩余的电荷通过该操作释放到电源309。接着，控制线pRES 413和pRES 423中的每个的控制信号顺序地逐行从H电平返回到L电平，而控制线pSEL 412和pSEL 422中的每个的控制信号维持在H电平，并且复位晶体管305从导通状态变为截止状态。接着，控制线pTX 412和pTX 422中的每个的控制信号顺序地逐行从L电平变为H电平，而控制线pSEL 412和pSEL 422中的每个的控制信号维持在H电平，这将光电转换部301中蓄积的电荷转移到FD 302。转移到FD 302的电荷变为被放大部306放大的像素信号。放大的像素信号从选择晶体管307输出到垂直输出线308。在电荷从光电转换部301转移到FD 302之后，输入到控制线pTX 412和pTX 422中的每个的控制信号顺序地逐行从H电平返回到L电平，并且转移开关304断开。最后，控制线pSEL 412和pSEL 422中的每个的控制信号从H电平返回到L电平，并且选择晶体管307从导通状态变为截止状态。
在图4中，一帧中的第一图像拾取装置101的多个曝光时段用附图标记4100和4110表示。同样地，一帧中的第二图像拾取装置102的多个曝光时段用附图标记4200和4210表示。换句话说，在第一图像拾取装置和第二图像拾取装置中，多个曝光时段在一帧中重复，并且在曝光时段中在光电转换部301中产生的电荷在光电转换部301中被相加。
另外，第一图像拾取装置101的曝光时段4100和4110与第二图像拾取装置102的非曝光时段重叠，并且第一图像拾取装置101的非曝光时段与第二图像拾取装置102的曝光时段4200和4210重叠。此外，第一图像拾取装置的曝光时段4100和4110与第二图像拾取装置102的曝光时段4200和4210具有互补的关系。换句话说，第一图像拾取装置101的曝光时段对应于第二图像拾取装置102的非曝光时段，并且第一图像拾取装置101的非曝光时段对应于第二图像拾取装置102的曝光时段。此外，第一图像拾取装置101的曝光时段与第二图像拾取装置102的曝光时段不重叠，并且第一图像拾取装置101的非曝光时段与第二图像拾取装置102的非曝光时段也不重叠。
注意，在图4中，第一图像拾取装置101的曝光时段与第二图像拾取装置102的曝光时段不重叠；然而，如下面描述的图5中所示，第一图像拾取装置101的曝光时段可以与第二图像拾取装置102的曝光时段部分重叠。即使在图5的情况下，如上所述，第一图像拾取装置101的曝光时段与第二图像拾取装置102的非曝光时段重叠并且第一图像拾取装置101的非曝光时段与第二图像拾取装置102的曝光时段重叠的关系也得到满足。另外，随着其中第一图像拾取装置101的曝光时段与第二图像拾取装置102的曝光时段重叠的时间越长，由各图像拾取装置获取的两个图像的同步性变得越高。因此，可以以更高精度获取到摄影对象的距离。此时，其中第一图像拾取装置101的曝光时段与第二图像拾取装置102的曝光时段重叠的时段被称为第一时段。其中第一图像拾取装置101的非曝光时段与第二图像拾取装置102的曝光时段重叠的时段被称为第二时段。此外，其中第一图像拾取装置101的曝光时段与第二图像拾取装置102的非曝光时段重叠的时段被称为第三时段。在这种情况下，使第一时段长于第二时段和第三时段使得可以获取保证有更高同步性的图像。
另外，在图4中，第一图像拾取装置101的曝光时段4100和4110的各长度被使得长于第二图像拾取装置102的曝光时段4200和4210的各长度。然而，第一图像拾取装置101的曝光时段的长度可以等于第二图像拾取装置102的曝光时段的长度，或者第二图像拾取装置102的曝光时段的长度可以长于第一图像拾取装置101的曝光时段的长度。在第一图像拾取装置101的曝光时段的长度不同于第二图像拾取装置102的曝光时段的长度的情况下，可以合成从图像拾取装置获取的信息以形成具有扩展的动态范围的图像。
在第一示例性实施例中，第一图像拾取装置101的曝光时段和第二图像拾取装置的曝光时段在一帧中重复多次，这考虑到了防闪烁的对策。
另外，在第一示例性实施例中，第二图像拾取装置102的曝光时段甚至存在于第一图像拾取装置101的非曝光时段中，并且第一图像拾取装置101的曝光时段甚至存在于第二图像拾取装置102的非曝光时段中。因为第一图像拾取装置101的曝光时段甚至存在于第二图像拾取装置102的非曝光时段中，所以与日本专利申请公开No.2009-165081中讨论的技术相比，可以抑制信息的缺失。
下面描述第二示例性实施例。第二示例性实施例与第一示例性实施例的不同之处在于曝光时段是利用电子快门来控制的。另外，在第二示例性实施例中，电荷保持部被设在光电转换部和FD之间。参照图6、图7、图8等来给出其描述。
(图像拾取系统的框图)
图6是根据第二示例性实施例的图像拾取系统600的框图。图像拾取系统600包括两个或更多个图像拾取装置101和102、信号处理单元103、光学控制单元104、快门/图像拾取装置控制单元105、图像显示单元106、记录单元107以及系统控制器108。
另外，快门/图像拾取装置控制单元105使两个图像拾取装置101和102的操作同步。更具体地说，快门/图像拾取装置控制单元105产生使两个图像拾取装置101和102同步的周期性信号，控制图像拾取装置101和102的相应曝光时段，并且产生控制与图像信号的产生和输出有关的定时的信号。
(图像拾取装置的框图)
根据本示例性实施例的图像拾取装置可以具有与图2类似的方框布置。为控制单元12增加如下功能：基于一个像素行或多个像素行通过垂直扫描电路13供给引起快门操作的驱动信号。
(像素部分的等效电路图)
图7例示了像素11的等效电路的配置。除了图3的配置之外，像素11还包括第一转移开关304和第二转移开关311，第一转移开关304将电荷从光电转换部301转移到电荷保持部310，第二转移开关311将电荷从电荷保持部310转移到浮置扩散302。像素11进一步包括溢漏晶体管312，溢漏晶体管312将电荷从光电转换部301释放到电源309。
布置在同一行中的多个像素连接到相同的控制线pTX1、pTX2和pOFD，控制线pTX1、pTX2和pOFD分别同时地操作同一行中的像素的第一转移开关304、第二转移开关311和溢漏晶体管312。
图8是例示了图像拾取系统600的操作的时序图。附图标记810和820分别指示第一图像拾取装置101和第二图像拾取装置102的曝光时段。换句话说，具有矩形的部分指示曝光时段，没有矩形的部分指示非曝光时段。
信号波形811和821均指示输入到第一转移开关304的控制线pTX1的信号的波形。当第一转移开关304的控制线pTX1被控制为从L电平到H电平时，转移开关304操作，并且光电转换部301中的电荷转移到电荷保持部310。
信号波形812和822均指示输入到第二转移开关311的控制线pTX2的信号的波形。当第二转移开关311的控制线pTX2被控制为从L电平到H电平时，第二转移开关311操作，并且电荷保持310中的电荷转移到FD 302。换句话说，电荷转移到放大部306的输入节点303。
信号波形813和823均指示输入到溢漏晶体管312的控制线pOFD的信号的波形。当溢漏晶体管312的控制线pOFD被控制为从L电平到H电平时，溢漏晶体管312操作，并且光电转换部301中的电荷释放到电源309。
信号波形814和824均指示输入到选择晶体管307的控制线pSEL的信号的波形。当选择晶体管307的控制线pSEL被控制为从L电平到H电平时，选择晶体管307操作，并且将已从电源309提供并且已经过放大部306的电流输出到垂直输出线308。
信号波形815和825均指示输入到复位晶体管305的控制线pRES的信号的波形。当复位晶体管305的控制线pRES被控制为从L电平到H电平时，复位晶体管305操作，并且FD302和放大部306之间的输入节点303中的电荷释放到电源309。
输入到控制信号线pOFD 813和pOFD 823中的每个的控制信号在曝光时段810和820之前从L电平变为H电平。这使光电转换部301中剩余的电荷释放到电源309。
接着，当控制线pOFD 813和pOFD 823中的每个的控制信号顺序地逐行从H电平返回到L电平时，第一图像拾取装置和第二图像拾取装置分别开始曝光时段810和820。
接着，当输入到控制线pTX1 811和pTX1 821中的每个的控制信号从L电平变为H电平时，曝光时段810和820终止，并且从光电转换部301到电荷保持部310的电荷转移开始。
接着，在电荷从光电转换部301转移到电荷保持部310之后，控制线pTX1 811和pTX1 821中的每个的控制信号从H电平返回到L电平。
接着，在第一图像拾取装置和第二图像拾取装置中，使用上述驱动方法来执行任意帧中的第二曝光和后续曝光以及从光电转换部301到电荷保持部301的电荷转移。
如上所述，通过在任意帧中重复的曝光而在曝光时段中在光电转换部301中产生的电荷在电荷保持部310中相加。
在任意帧中，例如，第一图像拾取装置和第二图像拾取装置在顺序逐行曝光中的最后曝光就第一图像拾取装置的第一行来说对应于图8中的定时T80和T81，就第二图像拾取装置的第一行来说对应于图8中的定时T82和T83。
接着，输入到第一图像拾取装置和第二图像拾取装置的控制信号线pSEL 814和pSEL 824中的每个的控制信号顺序地逐行从L电平变为H电平。此外，输入到控制线pRES815和pRES 825中的每个的控制信号顺序地逐行从L电平变为H电平，而控制线pSEL 814和pSEL 824中的每个的控制信号维持在H电平。放大部306的输入节点303中剩余的电荷通过该操作释放到电源309。
接着，控制线pRES 815和pRES 825中的每个的控制信号顺序地逐行从H电平返回到L电平，而控制线pSEL 814和pSEL 824中的每个的控制信号维持在H电平。
接着，输入到第一图像拾取装置和第二图像拾取装置的控制线pTX1 812和pTX2822中的每个的控制信号顺序地逐行从L电平变为H电平，而控制线pSEL 814和pSEL 824中的每个的控制信号维持在H电平。结果，通过在任意帧中重复的光电转换部301的曝光而产生的电荷从电荷保持部310转移到FD 302。转移到FD 302的电荷通过输入节点303来操作放大部306，从而变为放大的像素信号。
此外，因为输入到第一图像拾取装置和第二图像拾取装置中的控制线pSEL 814和pSEL 824中的每个的控制信号已经变为H电平，所以放大的像素信号从选择晶体管307输出到垂直输出线308。在电荷从电荷保持部310转移到FD 302之后，控制线pTX2 812和pTX 822中的每个的控制信号顺序地逐行从H电平返回到L电平。最后，控制线pSEL 814和pSEL 824中的每个的控制信号从H电平返回到L电平。
如图8所示，在第一图像拾取装置101和第二图像拾取装置102中，曝光是顺序地逐行执行的，并且在一帧中重复地执行。此外，第一图像拾取装置101的曝光时段8100和8120以及第二图像拾取装置102的曝光时段8200和8210具有互补的关系。此外，第一图像拾取装置101的曝光时段8100和8120与第二图像拾取装置102的非曝光时段重叠，并且第一图像拾取装置101的非曝光时段与第二图像拾取装置102的曝光时段8200和8210重叠。
注意，在图8中，第一图像拾取装置101的曝光时段与第二图像拾取装置102的曝光时段不重叠；然而，第一图像拾取装置101的曝光时段可以与第二图像拾取装置102的曝光时段部分重叠。即使在这种情况下，第一图像拾取装置101的曝光时段与第二图像拾取装置102的非曝光时段重叠并且第一图像拾取装置101的非曝光时段与第二图像拾取装置102的曝光时段重叠的关系也得到满足。
在第二示例性实施例中，第一图像拾取装置101的曝光时段和第二图像拾取装置的曝光时段在一帧中重复多次，这考虑到了防闪烁的对策。
另外，在第二示例性实施例中，第二图像拾取装置102的曝光时段甚至存在于第一图像拾取装置101的非曝光时段中，并且第一图像拾取装置101的曝光时段甚至存在于第二图像拾取装置102的非曝光时段中。因为第一图像拾取装置101的曝光时段甚至存在于第二图像拾取装置102的非曝光时段中，所以与日本专利申请公开No.2009-165081中公开的技术相比，可以抑制信息的缺失。
下面描述第三示例性实施例。第三示例性实施例涉及利用全局电子快门方法的图像拾取系统，在全局电子快门方法中，设置在每行中的各像素的曝光时段是对齐的。图2中所示的图像拾取装置101(102)、图6中所示的图像拾取系统600以及图7所示的像素部分的等效电路图也适用于第三示例性实施例。
(时序图)
图9是例示了本示例性实施例中的图像拾取系统600的操作的时序图。矩形的附图标记910和920分别指示图像拾取系统600中的第一图像拾取装置101和第二图像拾取装置102的曝光时段。换句话说，具有矩形的部分指示曝光时段，没有矩形的部分指示非曝光时段。
信号波形911和921均指示输入到第一转移开关304的控制线pTX1的信号的波形。信号波形912和922均指示输入到第二转移开关311的控制线pTX2的信号的波形。信号波形913和923均指示输入到溢漏晶体管312的控制线pOFD的信号的波形。信号波形914和924均指示输入到选择晶体管307的控制线pSEL的信号的波形。信号波形915和915均指示输入到复位晶体管305的控制线pRES的信号的波形。
在图9中，曝光时段在所有行中的像素上同时开始和结束，并且曝光在一帧中重复执行多次。
在所有行的曝光时段910和920之前，输入到控制线pOFD 913和pOFD 923中的每个的控制信号在所有行中同时从L电平变为H电平。这使每个像素中的光电转换部301中剩余的电荷释放到电源309。
接着，当控制线pOFD 913和pOFD 923中的每个的控制信号在所有像素中同时从H电平返回到L电平时，第一图像拾取装置和第二图像拾取装置分别对所有行同时开始曝光时段910和920。
接着，当输入到控制线pTX1 911和pTX1 921中的每个的控制信号在所有行中同时从L电平变为H电平时，曝光时段910和920在所有像素中同时终止，并且在所有像素中电荷同时从光电转换部301转移到电荷保持部310。
接着，在所有像素中电荷从光电转换部301转移到电荷保持部310之后，所有行中的控制线pTX1 911和pTX1 921中的每个的控制信号同时从H电平返回到L电平。
接着，在第一图像拾取装置和第二图像拾取装置中，使用上述驱动方法来执行任意帧中的第二曝光和后续曝光以及从光电转换部301到电荷保持部301的电荷转移。
如上所述，通过任意帧中重复的曝光而在曝光时段中在光电转换部301中产生的电荷在电荷保持部310中相加。
在任意帧中，例如，第一图像拾取装置和第二图像拾取装置中对于所有像素的最后同时曝光就第一图像拾取装置来说对应于图9中的定时T90和T91，就第二图像拾取装置来说对应于图9中的定时T92和T93。
在对所有像素的最后同时曝光之后，输入到控制线pSEL 914和pSEL 924中的每个的控制信号顺序地逐行从L电平变为H电平。接着，输入到控制线pRES 915和pRES 925中的每个的控制信号顺序地逐行从L电平变为H电平，而控制线pSEL 914和pSEL 924中的每个的控制信号维持在H电平。FD 302和输入节点303中剩余的电荷通过该操作释放到电源309。接着，控制信号pRES 915和pRES 925中的每个的控制信号顺序地逐行从H电平返回到L电平，而控制线pSEL 914和pSEL 924中的每个的控制信号维持在H电平。
随后，输入到控制线pTX2 912和pTX2 922中的每个的控制信号顺序地逐行从L电平变为H电平，而控制线pESL 914和pSEL 924中的每个的控制信号维持在H电平。结果，通过任意帧中重复的光电转换部301的曝光而产生的电荷顺序地逐行从第一电荷保持部310转移到FD 302。转移到电荷保持部310的电荷通过输入节点303来操作放大部306，从而变为放大的像素信号。
放大的像素信号就第n帧的曝光来说在时段T900和T902中或者就第n+1帧的曝光来说在时段T901和T903中从选择晶体管307输出到垂直输出线308。在电荷顺序地逐行从电荷保持部310转移到FD 302之后，所有行中的控制线pTX2 912和pTX2 922中的每个的控制信号顺序地逐行从H电平返回到L电平。
最后，控制线pSEL 914和pSEL 924中的每个的控制信号顺序地逐行从H电平返回到L电平。
如图9所示，在第一图像拾取装置101和第二图像拾取装置102中，曝光是对所有行同时执行的，并且曝光在一帧中重复地执行。另外，第一图像拾取装置101的曝光时段9100和9110与第二图像拾取装置102的非曝光时段重叠，并且第一图像拾取装置101的非曝光时段与第二图像拾取装置102的曝光时段9200和9210重叠。
在第三示例性实施例中，因为曝光时段的开始和结束是针对所有行同时确定的，所以可以拾取保证有时间同步性的图像，并且可以在抑制当拾取高速移动的对象的图像时容易出现的图像失真的同时拾取图像。
另外，在第三示例性实施例中，第一图像拾取装置101的曝光时段和第二图像拾取装置的曝光时段在一帧中重复多次，这考虑到了防闪烁的对策。
此外，在第三示例性实施例中，第二图像拾取装置102的曝光时段甚至存在于第一图像拾取装置101的非曝光时段期间，并且第一图像拾取装置101的曝光时段甚至存在于第二图像拾取装置102的非曝光时段期间。因为第一图像拾取装置101的曝光时段甚至存在于第二图像拾取装置102的非曝光时段中，所以与日本专利申请公开No.2009-165081中公开的技术相比，可以抑制信息的缺失。
注意，在图9中，第一图像拾取装置101的曝光时段与第二图像拾取装置102的曝光时段不重叠。然而，如图10A所示，第一图像拾取装置101的曝光时段可以与第二图像拾取装置102的曝光时段部分重叠。即使在这种情况下，第一图像拾取装置101的曝光时段与第二图像拾取装置102的非曝光时段重叠并且第一图像拾取装置101的非曝光时段与第二图像拾取装置102的曝光时段重叠的关系也得到满足。
另外，如图10B所示，第一图像拾取装置101的整个非曝光时段可以与第二图像拾取装置102的曝光时段重叠，并且第二图像拾取装置102的整个非曝光时段可以与第一图像拾取装置101的曝光时段重叠。通过这种配置，整个系统中不存在非曝光时段，这考虑到了进一步抑制信息的缺失。
注意，在第三示例性实施例中，第一图像拾取装置101和第二图像拾取装置102都是通过驱动全局电子快门来操作的；然而，其中一个图像拾取装置可以通过驱动全局电子快门来操作，而另一个可以通过驱动滚动快门来操作。
下面描述第四示例性实施例。第四示例性实施例涉及利用全局电子快门方法的图像拾取系统。第四示例性实施例与第三示例性实施例的不同之处在于针对一个像素提供两个电荷蓄积部。图2所示的图像拾取装置101(102)和图6所示的图像拾取系统600也适用于第四示例性实施例。
(像素部分的等效电路图)
图11例示了图像拾取装置101或102中的像素11的等效电路的配置。
除了图7中描述的配置之外，像素11还包括第二电荷保持部313、第三转移开关314以及第四转移开关315。布置在同一行中的多个像素连接到相同的控制线pTX3和pTX4，控制线pTX3和pTX4分别同时地操作和停止同一行中的像素的第三转移开关314和第四转移开关315。
在光电转换部301中产生的电荷通过第三转移开关314的操作从光电转换部301转移到第二电荷保持部313，并且第二电荷保持部313保持转移的电荷。
第三转移开关314的电荷的转移和停止由通过控制线pTX3供给的信号控制。更具体地说，当控制线pTX3的信号从L电平变为H电平时，第三转移开关314转移电荷，并且当控制线pTX3的信号从H电平变为L电平时，第三转移开关314停止电荷转移。
第四转移开关315将在第二电荷保持部313中产生的电荷转移到电荷保持部310。第四转移开关315的电荷的转移和停止由通过控制线pTX4供给的信号控制。更具体地说，当控制线pTX4的信号从L电平变为H电平时，第四转移开关315转移电荷，并且当控制线pTX4的信号从H电平变为L电平时，第四转移开关315停止电荷转移。
(时序图)
图12是例示了根据第四示例性实施例的图像拾取系统600的操作的时序图。附图标记1210和1220指示图像拾取系统600中的第一图像拾取装置和第二图像拾取装置的相应曝光时段。换句话说，具有矩形的部分指示曝光时段，没有矩形的部分指示非曝光时段。
信号波形1211和1221均指示输入到第一转移开关304的控制线pTX1的信号的波形。信号波形1212和1222均指示输入到第二转移开关311的控制线pTX2的信号的波形。信号波形1213和1223均指示输入到第三转移开关314的控制线pTX3的信号的波形。信号波形1214和1224均指示输入到第四转移开关315的控制线pTX4的信号的波形。信号波形1215和1225均指示输入到溢漏晶体管312的控制线pOFD的信号的波形。信号波形1216和1226均指示输入到选择晶体管307的控制线pSEL的信号的波形。信号波形1217和1227均指示输入到复位晶体管305的控制线pRES的信号的波形。
在第四示例性实施例中，图像拾取装置101或102的像素11包括并联连接到光电转换部301的第一电荷保持部310和第二电荷保持部313。第一电荷保持部310和第二电荷保持部313例如对于每帧不同地不同地发挥作用。例如，在图12中的第n帧中，电荷多次地从光电转换部301转移到第一电荷保持部310，而第二电荷保持部302顺序地逐行将保持的电荷转移到FD 302。相反，在图12中的第n+1帧中，电荷多次地从光电转换部301转移到第二电荷保持部313，而第一电荷保持部310顺序地逐行将保持的电荷转移到FD 302。如上所述，第一电荷保持部310和功能和第二电荷保持部313的功能对于每帧交替地改变。
在对于第n帧中的所有行的第一同时曝光时段1210和1220之前，输入到控制线pOFD 1215和pOFD 1225中的每个的控制信号在所有行中同时从L电平变为H电平。这使每个像素中的光电转换部301中剩余的电荷释放到电源309。
当控制线pOFD 1215和pOFD 1225中的每个的控制信号在所有像素中同时从H电平返回到L电平时，第一图像拾取装置和第二图像拾取装置分别针对所有像素同时开始曝光时段1210和1220。
接着，当控制线pTX1 1211和pTX1 1221中的每个的控制信号在所有行中同时从L电平变为H电平时，曝光时段1210和1220在所有像素中同时终止，并且在所有像素中电荷同时从光电转换部301转移到第一FD 302。
接着，在所有像素中电荷同时从光电转换部301转移到第一电荷保持部310之后，所有行中的控制线pTX1 1211和pTX1 1221中的每个的控制信号同时从H电平返回到L电平。光电转换部301的曝光时段在所有像素上在相同时段中发生，并且在该时段中产生的电荷转移到第一电荷保持部310。
接着，当在第n帧中执行第二曝光和后续曝光时，控制线pOFD 1215和pOFD 1225中的每个的控制信号紧接在曝光开始之前在所有行中同时从L电平变为H电平，并且光电转换部301中蓄积的电荷在非曝光时段中释放到电源309。
接着，当控制线pOFD 1215和pOFD 1225中的每个的控制信号在所有行中同时从H电平返回到L电平时，第一图像拾取装置和第二图像拾取装置针对所有像素同时开始曝光。
从光电转换部301的曝光结束到电荷从光电转换部301转移到第一电荷保持部310的过程是与第n帧中的第一曝光类似地驱动的。
在第n帧中重复的光电转换部301的曝光时段中产生的电荷在第一电荷保持部310中被相加。在第n帧中，对于第一图像拾取装置和第二图像拾取装置中的所有像素的最后同时曝光就第一图像拾取装置来说对应于图12中的定时T120，就第二图像拾取装置来说对应于图12中的定时T125。
在对所有像素的最后同时曝光之后，输入到控制线pSEL 1216和pSEL 1226中的每个的控制信号顺序地逐行从L电平变为H电平。接着，输入到控制线pRES 1215和pRES 1225中的每个的控制信号顺序地逐行从L电平变为H电平，而控制线pSEL 1216和pSEL 1226中的每个的控制信号维持在H电平。输入节点303中剩余的电荷通过该操作释放到电源309。接着，控制线pRES 1215和pRES 1225中的每个的控制信号顺序地逐行从H电平返回到L电平，而控制线pSEL 1216和pSEL 1226中的每个的控制信号维持在H电平。
随后，输入到控制线pTX2 1212和pTX2 1222中的每个的控制信号顺序地逐行从L电平变为H电平，而控制线pSEL 1216和pSEL 1226中的每个的控制信号维持在H电平。结果，在任意帧中重复的光电转换部301的曝光中产生的电荷顺序地逐行从第一电荷保持部310转移到FD 302。转移到电荷保持部310的电荷通过输入节点303来操作放大部306，从而变为放大的像素信号。
就第n帧的曝光来说，放大的像素信号在时段T1201和T1205中从选择晶体管307输出到垂直输出线308。在电荷顺序地逐行从第一FD 302转移到电荷保持部310之后，所有行中的控制线pTX2 1212和pTX2 1222中的每个的控制信号顺序地逐行从H电平返回到L电平。
最后，控制线pSEL 1214和pSEL 1224中的每个的控制信号顺序地逐行从H电平返回到L电平。
另一方面，电荷从光电转换部301转移到第二电荷保持部313的路径的驱动过程如下。
每个像素中的第二电荷保持部313在第n帧开始时已经相加并蓄积在第n-1帧中光电转换部301的曝光中产生的电荷。例如，在第n-1帧中，第二图像拾取装置中的所有像素的最后同时曝光就第二图像拾取装置来说对应于图12中的定时T124。在所有像素的最后同时曝光之后，控制线pSEL 1214和pSEL 1224中的每个的控制信号顺序地逐行从L电平变为H电平。
首先，控制线pRES 1215和pRES 1225中的每个的控制信号顺序地逐行从L电平变为H电平，而控制线pSEL 1214和pSEL 1224中的每个的控制信号保持在H电平。输入节点303中剩余的电荷通过该操作释放到电源309。在输入节点303中剩余的电荷释放之后，控制线pRES 1215和pRES 1225中的每个的控制信号顺序地逐行从L电平返回到H电平，而控制线pSEL 1214和pSEL 1224中的每个的控制信号维持在H电平。
随后，控制线pTX4 1214和pTX4 1224中的每个的控制信号顺序地逐行从L电平变为H电平，而控制线pSEL 1216和pSEL 1226中的每个的控制信号维持在H电平。结果，在任意帧中重复的光电转换部301的曝光中产生的电荷顺序地逐行从第二电荷保持部313转移到电荷保持部310。转移到电荷保持部310的电荷通过输入节点303来操作放大部306，从而变为放大的像素信号。
放大的像素信号就第n-1帧的曝光来说在时段T1200和T1204中从选择晶体管307输出到垂直输出线308。在电荷顺序地逐行从第二电荷保持部313转移到电荷保持部310之后，所有行中的控制线pTX4 1214和pTX4 1224中的每个的控制信号顺序地逐行从H电平返回到L电平。
接着，控制线pSEL 1216和pSEL 1226中的每个的控制信号顺序地逐行从H电平返回到L电平。如上所述，已经在第n-1帧中通过光电转换部301的曝光产生并且蓄积在第二电荷保持部中的电荷在第n帧的时段中输出到垂直输出线308。
同样地，在第n+1帧中，控制线pTX3的控制信号在所有像素中同时从L电平变为H电平以多次建立开启状态，并且电荷多次地从光电转换部301转移到第二电荷保持部313。第二电荷保持部313保持已经多次转移的电荷。另一方面，第一电荷保持部310顺序地逐行将控制线pTX2的控制信号从L电平变为H电平，从而将电荷从第一电荷保持部310转移到FD302。另外，以与上述驱动相同的方式，像素信号在时段T1201和T1205中输出到垂直输出线308。
如上所述，在第四示例性实施例中，在第n帧(第一帧)中，第一转移开关304接通多次以将电荷蓄积在第一电荷保持部310中。另外，在第n+1帧(第二帧)中，第三转移开关314接通多次以将电荷蓄积在第二电荷保持部313中。此外，第三转移开关314在第n帧中保持断开，第一转移开关304在第n+1帧中保持断开。
在第四示例性实施例中，因为曝光时段的开始和结束是对所有行同时确定的，所以可以拾取保证有时间同步性的图像，并且可以在抑制当拾取高速移动的对象的图像时容易出现的图像失真的同时拾取图像。
另外，在第四示例性实施例中，第一图像拾取装置101的曝光时段和第二图像拾取装置的曝光时段在一帧中重复多次，这考虑到了防闪烁的对策。
此外，在第四示例性实施例中，第二图像拾取装置102的曝光时段甚至存在于第一图像拾取装置101的非曝光时段中，并且第一图像拾取装置101的曝光时段甚至存在于第二图像拾取装置102的非曝光时段中。因为第一图像拾取装置101的曝光时段甚至存在于第二图像拾取装置102的非曝光时段中，所以与日本专利申请公开No.2009-165081中公开的技术相比，可以抑制信息的缺失。
另外，在第四示例性实施例中，提供了两个电荷保持部，每个电荷保持部重复地蓄积从光电转换部301提供的电荷。因此，在任意帧中，其中一个电荷保持部起到重复蓄积从光电转换部301提供的电荷的作用，而另一个电荷保持部起到将电荷转移到下一级的作用。而且，重复地蓄积电荷的作用和将电荷转移到下一级的作用被交替地分配给第一电荷保持部和第二电荷保持部。这使得可以在保证电荷的曝光时段和转移时段的灵活性的同时执行驱动。
注意，在图12中，第一图像拾取装置101的曝光时段与第二图像拾取装置102的曝光时段不重叠。然而，第一图像拾取装置101的曝光时段可以与第二图像拾取装置102的曝光时段部分重叠。
在图12中，第一图像拾取装置101的每个曝光时段的长度短于第二图像拾取装置102的每个曝光时段的长度。然而，如图13中所示，可以使第一图像拾取装置101的每个曝光时段的长度等于第二图像拾取装置102的每个曝光时段的长度。
此外，同样在第四示例性实施例中，第一图像拾取装置101的整个非曝光时段可以与第二图像拾取装置102的曝光时段重叠，并且第二图像拾取装置102的整个非曝光时段可以与第一图像拾取装置101的曝光时段重叠。这种配置消除了整个系统中的非曝光时段，这使得可以进一步抑制信息的缺失。
注意，在第四示例性实施例中，第一图像拾取装置的第n帧中的像素信号在第n帧和第n+1帧(时段T1201)中输出到垂直输出线308。另外，第二图像拾取装置的第n帧中的像素信号在第n+1帧(时段T1205)中输出到垂直输出线308。然而，在第一图像拾取装置中，对于垂直输出线308的输出可以通过延迟时段T1201的开始而仅在第n+1帧中执行。在这种情况下，可以将每个图像拾取装置的像素信号传送时段设置为仅在第n+1帧内。
此外，根据图13所示的实施例，其中一个图像拾取装置的任意帧中的曝光时段等同于另一个图像拾取装置的任意帧中的曝光时段，并且曝光时段的相位是彼此反相的。当快门/图像拾取装置控制单元105使用从信号发生器和分频器输出的信号作为相应图像拾取装置的快门控制信号时，这种配置是可实现的。信号发生器产生曝光的开始定时和结束定时，分频器产生相对于定时具有反转相位的延迟信号。因此，可以实现用简单的电路构造提高采样频率的效果。
下面描述第五示例性实施例。图14A和14B均是例示了根据本公开的示例性实施例的图像拾取系统安装在车辆上的例子的示图。
图14A例示了安装在车辆上的根据本公开的图像拾取系统的框图。
在第五示例性实施例中，图像拾取系统1400是包括聚焦像素和根据本公开的示例性实施例的图像拾取像素的图像拾取系统。图像拾取系统1400包括图像处理单元10300，图像处理单元10300对由图像拾取装置1404至1417获取的多条图像数据执行图像处理。另外，图像拾取系统1400包括视差计算单元10400，视差计算单元10400根据由图像拾取系统1400获取的多条图像数据计算视差(视差图像的相位差)。此外，图像拾取系统1400包括距离测量单元10500和碰撞确定单元10600。距离测量单元10500基于所计算的视差来计算到目标的距离，碰撞确定单元10600基于所计算的距离来确定是否存在碰撞的可能性。这里，视差计算单元10400和距离测量单元10500是获取到目标的距离的信息的距离信息获取单元的例子。换句话说，距离信息是与视差、散焦量、到目标的距离等相关的信息。碰撞确定单元10600可以使用任何距离信息来确定碰撞可能性。距离信息获取单元可以用专门设计的硬件、软件模块或它们的组合来实现。另外，距离信息获取单元可以用现场可编程门阵列(FPGA)、专用集成电路(ASIC)等来实现。
图像拾取系统1400连接到车辆信息获取装置13100，并且获取诸如车速、偏航率和转向角之类的车辆信息。此外，图像拾取系统1400连接到控制电子控制单元(ECU)14100。控制ECU 14100基于碰撞确定单元10600的确定结果将产生制动力的控制信号输出到车辆。此外，图像拾取系统1400还连接到警报装置14200，警报装置14200基于碰撞确定单元10600的确定结果向驾驶者发出警报。例如，在碰撞确定单元10600的确定结果是碰撞可能性高的情况下，控制ECU 14100通过应用刹车、返回油门、抑制引擎输出等来控制车辆以便避免碰撞和减小损坏。例如，警报装置14200使警报发声，在汽车导航系统的屏幕上显示警报信息，或者对安全带(sheet belt)或转向器提供振荡，从而给予用户警告。
在第五示例性实施例中，车辆的周遭的图像，例如，车辆的前侧或后侧的图像，被图像拾取系统1400拾取。图14B例示了图像拾取系统在车辆的前侧和后侧的安装例子。
第一图像拾取装置和第二图像拾取装置1404至1417围绕车辆1402设置。车辆1402的行驶方向或车辆1402的外形(例如，车辆宽度)的中心线1403被认为是对称轴，并且一对第一图像拾取装置和第二图像拾取装置可以被设置为相对于对称轴线对称。这样的布置对于测量车辆1402和摄影对象之间的距离以及确定碰撞可能性是更优选的。
另外，第一图像拾取装置和第二图像拾取装置可以被优选地设置为当驾驶者视觉上识别车辆1402外部的情形时不干扰驾驶者的视野。
关于第一图像拾取装置和第二图像拾取装置的布置，就车辆的前侧来说，例示了一对第一图像拾取装置1404和第二图像拾取装置1405、一对第一图像拾取装置1406和第二图像拾取装置1407、一对第一图像拾取装置1408和第二图像拾取装置1409以及一对第一图像拾取装置1410和第二图像拾取装置1411。此外，就车辆的后侧来说，例示了一对第一图像拾取装置1412和第二图像拾取装置1413、一对第一图像拾取装置1414和第二图像拾取装置1415以及一对第一图像拾取装置1416和第二图像拾取装置1417。
此外，防止与其他车辆碰撞的控制已经在上面进行了描述；然而，图像拾取系统适用于自动地跟随另一车辆驾驶车辆的控制、在防止车辆偏离车道的同时自动地驾驶车辆的控制以及其他控制。此外，图像拾取系统适用于例如轮船、飞机、以及诸如工业机器人之类的移动体(移动装置)，而不限于车辆(比如汽车)和铁路。另外，图像拾取系统适用于广泛地使用对象识别的装置，诸如智能运输系统(ITS)，而不限于移动体。
(其他示例性实施例)
各示例性实施例中描述的内容在示例性实施例之间可以是可相互替换的。
虽然已经参照示例性实施例描述了本公开，但是要理解本发明不限于所公开的示例性实施例。所附权利要求的范围要被给予最广泛的解释以便涵盖所有这样的修改以及等同的结构和功能。

Claims (14)

1.一种图像拾取系统，其特征在于，包括：
第一图像拾取装置；
第二图像拾取装置；以及
信号处理单元，被配置为对从第一图像拾取装置和第二图像拾取装置获取的信号进行处理，其中，
第一图像拾取装置的曝光时段和第二图像拾取装置的曝光时段在一帧中重复多次，并且
第一图像拾取装置的曝光时段与第二图像拾取装置的非曝光时段重叠，并且第一图像拾取装置的非曝光时段与第二图像拾取装置的曝光时段重叠。
2.根据权利要求1所述的图像拾取系统，其中，所述第一图像拾取装置的曝光时段的长度不同于第二图像拾取装置的曝光时段。
3.根据权利要求1或2所述的图像拾取系统，其中，所述第一图像拾取装置的曝光时段与第二图像拾取装置的曝光时段重叠。
4.根据权利要求1或2所述的图像拾取系统，其中，所述第一图像拾取装置的曝光时段与第二图像拾取装置的曝光时段不重叠。
5.根据权利要求1或2所述的图像拾取系统，其中，所述第一图像拾取装置的非曝光时段与第二图像拾取装置的非曝光时段不重叠。
6.根据权利要求1或2所述的图像拾取系统，其中，所述第二图像拾取装置的非曝光时段对应于第一图像拾取装置的曝光时段，并且所述第一图像拾取装置的非曝光时段对应于第二图像拾取装置的曝光时段。
7.根据权利要求1或2所述的图像拾取系统，其中，第一图像拾取装置的曝光时段与第二图像拾取装置的曝光时段重叠的第一时段长于第一图像拾取装置的非曝光时段与第二图像拾取装置的曝光时段重叠的第二时段和第二图像拾取装置的非曝光时段与第一图像拾取装置的曝光时段重叠的第三时段。
8.根据权利要求1所述的图像拾取系统，其中，所述第一图像拾取装置的曝光时段对应于第一图像拾取装置中包括的机械快门的打开时段，并且第二图像拾取装置的曝光时段对应于第二图像拾取装置中包括的机械快门的打开时段。
9.根据权利要求1所述的图像拾取系统，其中，
所述第一图像拾取装置和第二图像拾取装置均还包括二维布置的多个像素，并且
所述多个像素中的每个像素包括光电转换部和电荷保持部，所述电荷保持部被配置为保持从光电转换部转移的电荷。
10.根据权利要求9所述的图像拾取系统，其中，所述第一图像拾取装置的曝光时段的开始和结束对于所述多个像素是共同执行的。
11.根据权利要求9或10所述的图像拾取系统，其中，所述第二图像拾取装置的曝光时段的开始和结束对于第二图像拾取装置中包括的多个像素是共同执行的。
12.根据权利要求9所述的图像拾取系统，其中，
所述电荷保持部包括第一电荷保持部和第二电荷保持部，
所述多个像素中的每个像素包括第一转移开关和第二转移开关，所述第一转移开关被配置为将电荷从光电转换部转移到第一电荷保持部，所述第二转移开关被配置为将电荷从光电转换部转移到第二电荷保持部，并且
在第一帧中电荷被多次地从光电转换部转移到第一电荷保持部，并且在不同于第一帧的第二帧中电荷被多次地从光电转换部转移到第二电荷保持部。
13.根据权利要求1所述的图像拾取系统，其中，所述信号处理单元根据从第一图像拾取装置和第二图像拾取装置获取的信号来获取到摄影对象的距离的信息。
14.一种移动体，其特征在于包括：
根据权利要求1所述的图像拾取系统；
距离信息获取单元，被配置为从基于从第一图像拾取装置和第二图像拾取装置获取的信号的视差图像获取到目标的距离的信息；以及
控制单元，被配置为基于所述距离信息来控制所述移动体。
CN201710949672.0A 2016-10-15 2017-10-13 图像拾取系统 Active CN107959771B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016203167A JP6752679B2 (ja) 2016-10-15 2016-10-15 撮像システム
JP2016-203167 2016-10-15

Publications (2)

Publication Number Publication Date
CN107959771A true CN107959771A (zh) 2018-04-24
CN107959771B CN107959771B (zh) 2021-02-23

Family

ID=60001698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710949672.0A Active CN107959771B (zh) 2016-10-15 2017-10-13 图像拾取系统

Country Status (4)

Country Link
US (1) US10948288B2 (zh)
EP (1) EP3310036B1 (zh)
JP (1) JP6752679B2 (zh)
CN (1) CN107959771B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101777518B1 (ko) * 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
JP7150469B2 (ja) * 2018-05-17 2022-10-11 キヤノン株式会社 撮像装置及び撮像システム
JP7237164B2 (ja) * 2019-08-26 2023-03-10 株式会社日立国際電気 撮像装置、撮像方法、および映像処理プログラム
GB2586804B (en) * 2019-09-03 2022-02-16 Jaguar Land Rover Ltd Method and system for mitigating image flicker from strobed lighting systems
US11451716B2 (en) 2021-01-25 2022-09-20 Hand Held Products, Inc. Illumination control for imaging systems with multiple image sensors

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137013A (zh) * 2006-09-01 2008-03-05 索尼株式会社 摄影装置、摄影方法、和程序
US20080211941A1 (en) * 2007-03-01 2008-09-04 Deever Aaron T Digital camera using multiple image sensors to provide improved temporal sampling
CN101450646A (zh) * 2008-12-29 2009-06-10 广东铁将军防盗设备有限公司 车辆避障告警系统及其相应的电路
JP2009165081A (ja) * 2008-01-10 2009-07-23 Panasonic Corp ステレオカメラシステム
US20120127345A1 (en) * 2010-11-18 2012-05-24 Casio Computer Co., Ltd. Image capturing apparatus, image capturing method, and storage medium storing program for image capturing
WO2014077047A1 (ja) * 2012-11-15 2014-05-22 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CN104284083A (zh) * 2013-07-02 2015-01-14 佳能株式会社 摄像装置及其控制方法
US9240837B2 (en) * 2013-03-12 2016-01-19 Google Inc. Systems and methods using optical communication for commissioning of network nodes
US20160170487A1 (en) * 2014-12-10 2016-06-16 Kenichiroh Saisho Information provision device and information provision method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002258358A (ja) 2001-03-02 2002-09-11 Minolta Co Ltd 撮影方法および撮影システムならびに３次元形状生成装置
JP2004135074A (ja) 2002-10-10 2004-04-30 Calsonic Kansei Corp 撮像装置
JP4899402B2 (ja) * 2005-10-05 2012-03-21 株式会社日立製作所 撮像装置
JP2008252401A (ja) 2007-03-29 2008-10-16 Fujifilm Corp 撮像システム、撮像方法、および撮像プログラム
JP5167094B2 (ja) * 2008-11-28 2013-03-21 三星電子株式会社 撮像装置及び撮像方法
JP2011234318A (ja) * 2010-04-30 2011-11-17 Yamaha Corp 撮像装置
US10466359B2 (en) * 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
WO2015075937A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
WO2015098325A1 (ja) * 2013-12-25 2015-07-02 日立オートモティブシステムズ株式会社 車載画像認識装置
JP2015177258A (ja) * 2014-03-13 2015-10-05 コニカミノルタ株式会社 画像入力装置
KR101579098B1 (ko) * 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
JP6700723B2 (ja) * 2014-12-17 2020-05-27 キヤノン株式会社 撮像装置及び撮像素子の駆動方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137013A (zh) * 2006-09-01 2008-03-05 索尼株式会社 摄影装置、摄影方法、和程序
US20080211941A1 (en) * 2007-03-01 2008-09-04 Deever Aaron T Digital camera using multiple image sensors to provide improved temporal sampling
JP2009165081A (ja) * 2008-01-10 2009-07-23 Panasonic Corp ステレオカメラシステム
CN101450646A (zh) * 2008-12-29 2009-06-10 广东铁将军防盗设备有限公司 车辆避障告警系统及其相应的电路
US20120127345A1 (en) * 2010-11-18 2012-05-24 Casio Computer Co., Ltd. Image capturing apparatus, image capturing method, and storage medium storing program for image capturing
WO2014077047A1 (ja) * 2012-11-15 2014-05-22 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US9240837B2 (en) * 2013-03-12 2016-01-19 Google Inc. Systems and methods using optical communication for commissioning of network nodes
CN104284083A (zh) * 2013-07-02 2015-01-14 佳能株式会社 摄像装置及其控制方法
US20160170487A1 (en) * 2014-12-10 2016-06-16 Kenichiroh Saisho Information provision device and information provision method

Also Published As

Publication number Publication date
CN107959771B (zh) 2021-02-23
US10948288B2 (en) 2021-03-16
EP3310036B1 (en) 2020-11-11
JP6752679B2 (ja) 2020-09-09
JP2018064257A (ja) 2018-04-19
EP3310036A1 (en) 2018-04-18
US20180106613A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
CN107959771A (zh) 图像拾取系统
US11448757B2 (en) Distance measuring device
JP7347942B2 (ja) ３次元映像装置
EP2500748B1 (en) Stereo camera apparatus and method of obtaining image
JP5776173B2 (ja) 撮像装置及び距離測定装置
WO2019025035A1 (en) METHOD, APPARATUS AND COMPUTER PROGRAM FOR VEHICLE
WO2012137434A1 (ja) 立体撮像装置
CN107896307A (zh) 具有高动态范围渲染功能的成像装置
US20210021779A1 (en) Image sensing device, camera, and transportation equipment
CN104883553B (zh) 视差值导出设备及方法、装备控制系统、可移动装置
JP2014503408A (ja) ステレオセンサシステムにおける、画像検出に適した２つのセンサの画像情報の処理方法および装置
EP2717069B1 (en) Method for determining and/or compensating range offset of a range sensor
JP2004061446A (ja) パターンマッチング処理方法及び画像処理装置
CN104918019A (zh) 一种能全天候同时看清车牌和车内人员的双目摄像机
JP2013200603A (ja) 車載用画像処理装置及び方法
WO2014069169A1 (ja) 画像処理装置
JP5551824B2 (ja) 撮像装置
JP2012221103A (ja) 車両用画像処理装置
TWI775808B (zh) 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法
CN112041767A (zh) 用于同步车辆传感器和设备的系统和方法
JP5027710B2 (ja) 車両用環境認識装置および先行車追従制御システム
JP6369897B2 (ja) 自己位置算出装置及び自己位置算出方法
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
JP2018092603A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
JP2006325094A (ja) 車両用画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant