CN107852472B - 成像装置、成像方法和存储介质 - Google Patents

成像装置、成像方法和存储介质 Download PDF

Info

Publication number
CN107852472B
CN107852472B CN201780002617.9A CN201780002617A CN107852472B CN 107852472 B CN107852472 B CN 107852472B CN 201780002617 A CN201780002617 A CN 201780002617A CN 107852472 B CN107852472 B CN 107852472B
Authority
CN
China
Prior art keywords
time
tap
image
accumulated
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780002617.9A
Other languages
English (en)
Other versions
CN107852472A (zh
Inventor
人见康宣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107852472A publication Critical patent/CN107852472A/zh
Application granted granted Critical
Publication of CN107852472B publication Critical patent/CN107852472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技术涉及能够生成距离信息和图像的成像装置、成像方法和程序。本技术的成像装置设置有：光源，所述光源发射光；累积单元，在所述累积单元中累积与所接收的光对应的电荷；距离信息生成单元，所述距离信息生成单元基于在所述累积单元中累积的电荷量来生成距离信息；以及图像生成单元，所述图像生成单元基于在所述累积单元中累积的电荷量来生成图像，其中，所述距离信息生成单元基于当所述光源发射光时在所述累积单元中累积的电荷量来生成所述距离信息，并且所述图像生成单元基于当所述光源未发射光时在所述累积单元中累积的电荷量来生成所述图像。本技术可以适用于用于获取与到目标物体的距离有关的距离信息并且拍摄目标物体的图像的成像装置。

Description

成像装置、成像方法和存储介质
技术领域
本技术涉及一种成像装置、成像方法和程序，例如，涉及一种能够令人满意地进行距离测量和成像的成像装置、成像方法和程序。
背景技术
光速为3×108(m/s)。已经提出了利用光速已知的事实，通过照射光、接收来自目标物体的反射光并且测量延迟时间来测量到目标物体的距离。一种这样的方案为飞行时间(TOF：Time of Flight)方法，并且已经提出了通过测量光的飞行时间来测量到目标物体的距离的方法(例如，参照专利文献1)。
引用文献列表
专利文献
专利文献1：日本专利申请特开第2004-294420号
发明内容
技术问题
由于在使用TOF方法测量到目标物体的距离的情况下，需要照射照射光，因此在TOF操作时难以仅利用环境光来进行摄像。
鉴于以上情况提出了本技术，使得能够令人满意地进行到目标物体的距离的测量和成像。
技术方案
根据本技术一方面的成像装置包括：光源，所述光源发射光；累积单元，在所述累积单元中累积与所接收的光对应的电荷；距离信息生成单元，所述距离信息生成单元基于在所述累积单元中累积的电荷量来生成距离信息；以及图像生成单元，所述图像生成单元基于在所述累积单元中累积的电荷量来生成图像，其中，所述距离信息生成单元基于当所述光源发射所述光时在所述累积单元中累积的电荷量来生成所述距离信息，所述图像生成单元基于当所述光源未发射所述光时在所述累积单元中累积的电荷量来生成所述图像。
根据本技术一方面的成像方法为一种成像装置的成像方法，所述成像装置包括发射光的光源，所述成像方法包括：累积与所接收的光对应的电荷；基于累积的电荷量来生成距离信息；基于累积的电荷量来生成图像；基于当所述光源发射所述光时累积的电荷量来生成所述距离信息；并且基于当所述光源未发射所述光时累积的电荷量来生成所述图像。
根据本技术一方面的程序为使控制包括发射光的光源的成像装置的计算机执行以下步骤的程序：累积与所接收的光对应的电荷；基于累积的电荷量来生成距离信息；基于累积的电荷量来生成图像；基于当所述光源发射所述光时累积的电荷量来生成所述距离信息；并且基于当所述光源未发射所述光时累积的电荷量来生成所述图像。
在根据本技术一方面的成像装置、成像方法和程序中，设置有发射光的光源，累积与所接收的光对应的电荷，并基于累积的电荷量来生成距离信息和图像。基于当光源发射光时累积的电荷量来生成距离信息，并且基于当光源未发射光时累积的电荷量来生成图像。
需要指出的是，成像装置可以为独立装置，也可以为构成一个装置的内部区块(internal block)。
另外，程序可以通过经由传输介质传输或者记录在记录介质中来提供。
有益效果
根据本技术的一方面，能够令人满意地进行到目标物体的距离的测量和成像。
应当指出的是，这里说明的效果不一定是限制性的，并且可以是本公开中说明的任何效果。
附图说明
图1是示出本技术适用的成像装置的实施方案的构成的图。
图2是示出图像的结构的图。
图3是说明通过TOF方法来计算距离的图。
图4是说明第一驱动方法的图。
图5是说明第二驱动方法的图。
图6是说明第三驱动方法的图。
图7是说明第四驱动方法的图。
图8是示出另一像素的结构的图。
图9是说明记录介质的图。
具体实施方式
在下文中，将说明用于实现本技术的实施方案(以下称为实施方案)。
<成像装置的构成>
图1是示出本技术适用的成像装置的实施方案的构成的图。图1所示的成像装置10包括光源21、光源控制单元22、成像单元23、读取控制单元24、距离图像生成单元25和环境光图像生成单元26。
成像装置10具有用于测量到目标物体(被摄体)的距离的距离测量功能和用于使被摄体成像的成像功能。为了实现距离测量功能，成像装置10包括光源21和光源控制单元22。光源控制单元22如稍后将说明地控制光源21的光发射。
成像单元23包括成像元件，并接收从光源21发射、照射到目标物体上并被目标物体反射的反射光。需要指出的是，该反射光包括来自光源21的光和环境光的光。另外，当光源21的光发射停止时，成像单元23还接收照射到目标物体上的环境光被目标物体反射的反射光。
当接收到作为从光源21发射的光的反射光时，读取控制单元24将来自成像单元23的信号提供到距离图像生成单元25，当仅接收到环境光的反射光时，读取控制单元将来自成像单元23的信号提供到环境光图像生成单元26。
距离图像生成单元25生成与到目标物体的距离相关的图像。需要指出的是，虽然这里假设生成距离图像而继续进行说明，但是可以生成距离图像以外的距离信息。环境光图像生成单元26利用环境光生成目标物体(被摄体)的图像。
作为测量距离的方法，以使用飞行时间(TOF：Time of Flight)方法的情况为例进行说明。在构成TOF传感器的情况下，构成成像单元23的成像元件例如具有图2所示的结构。
图2示出构成成像单元23的像素组中的一个像素以及构成一个TOF传感器的示例。构成TOF传感器的每个像素包括埋入光电二极管。P型硅基板51具有用于将累积在n+区域52中的电荷传输到两个扩散层(n+区域53和n+区域54)的结构。
基于分别经由控制信号线TX1和控制信号线TX2提供到传输栅极55和传输栅极56的控制信号TX1和控制信号TX2来控制该传输。如稍后将要说明的，在n+区域52中累积的电荷被交替地传输到n+区域53和n+区域54，并且进行电荷累积。
需要指出的是，如图2所示，尽管这里以向两个扩散层传输电荷的情况为例继续进行说明，但是本技术还可以应用于以下情况：以使用电场来分配电荷的结构构成TOF传感器；以及使用一组两个光电二极管来构成TOF传感器。
TOF传感器是通过测量从TOF传感器本身发射光到光被照射到目标物体上并被目标物体反射回来的时间来测量到目标物体的距离的传感器。例如，TOF传感器以图3所示的时序进行操作。
仅对目标物体照射预定时间(这里例如为脉冲发射时间Tp)的照射光。发射的照射光照射到目标物体上，并被目标物体反射回来。该反射光被光电二极管52接收。如图3所示，从开始照射照射光到接收到反射光的脉冲发射时间取决于到目标物体的距离。
在图3及后图的说明中，将n+区域53作为第一抽头(tap)53进行说明，将n+区域54作为第二抽头54进行说明。
第一抽头53仅在从照射光的照射开始的时刻起的脉冲发射时间Tp内接收光。在此期间，接收背景光(照射到目标物体上的环境光被目标物体反射的反射光)和反射光(照射到目标物体上的照射光被目标物体反射的反射光)。基于一次光接收所累积的光量来获得信号n0。
第二抽头54仅在从第一抽头53的光接收结束的时刻起的脉冲发射时间Tp内接收光。在此期间，接收背景光和反射光。基于一次光接收所累积的光量来获得信号n1。
如上所述，通过执行累积时序(accumulation timing)的相位完全反转的驱动，获得信号n0和信号n1。这种驱动被执行多次，并进行累积和积分，从而获得信号N0和信号N1。基于如此获得的信号N0和信号N1来计算距离D。
信号N0和信号N1(信号n0和信号n1)包括通过接收背景光而累积的信号。为了通过排除背景光而留下反射光中的信号，也对背景光进行积累和积分，从而获得信号N2。
通过使用如此获得的信号N0、信号N1和信号N2，通过以下等式(1)和(2)来计算距离D。
[数学式1]
Figure GDA0002918336460000051
Figure GDA0002918336460000052
在等式(1)和等式(2)中，D表示距离，c表示光速，Tp表示脉冲发射时间。以这种方式，可以获得到目标物体的距离D。
作为TOF传感器的照射光，经常使用波长为约850nm的近红外光。该照射光从光源21(图1)发射，来自光源21的照射光由光源控制单元22控制。如参照图3所述，光源控制单元22执行以预定周期重复开启和关闭的控制。
成像单元23在第一抽头53和第二抽头54处累积电荷。读取控制单元24读取在第一抽头53和第二抽头54用作TOF传感器的时间段结束时其中累积的电荷，并将读取的电荷提供给距离图像生成单元25。
距离图像生成单元25基于上述等式(1)和(2)来计算到目标物体的距离。计算出的距离本身可以作为距离信息输出。可选择地，通过执行诸如根据所计算的距离用颜色着色等的处理，可以生成并输出距离图像。
通过上述处理，成像装置10生成距离图像(距离信息)。另一方面，成像装置10还执行利用环境光使被摄体成像的处理以生成拍摄的图像。以下将以第一驱动方法至第四驱动方法来说明在生成距离图像和拍摄的图像的情况下成像装置10的处理(驱动)。
<第一驱动方法>
图4是说明第一驱动方法的时序图。例如，在拍摄运动图像的情况下，将用于获取一帧的时间段(在图中被描述为1V间隔)划分为用于TOF驱动的时间段和用环境光进行成像(环境光成像)的时间段，并且在各自时间段内进行驱动。需要指出的是，待拍摄的图像可以为静止图像或运动图像。
从时刻t0到时刻t1的时间段为TOF驱动时间段。在TOF驱动时间段内，如参照图3所述地执行TOF驱动，并且获取距离信息(距离图像)。在TOF驱动时间段内，光源21以预定的周期重复开启和关闭。另外，在TOF驱动时间段内，电荷被交替地传输到第一抽头53(Tap1)和第二抽头54(Tap2)，被累积并被读取。
在TOF驱动时间段开始时，对第一抽头53和第二抽头54执行复位(Reset)操作，然后，电荷被传输、累积和读取。需要指出的是，在图中，TOF驱动时间段内的“Read”表示电荷的传输和累积的开始，并且在环境光成像驱动时间段开始之前从第一抽头53和第二抽头54读取电荷。
另外，由读取控制单元24(图1)控制该读取，并且从第一抽头53或第二抽头54读取的信号被提供到距离图像生成单元25并用于生成距离信息。
从时刻t1到时刻t2的时间段为环境光成像驱动时间段。在环境光成像驱动时间段内，电荷被传输到第一抽头53并被累积，并且读取累积的电荷。在环境光成像驱动时间段内，光源21处于关闭状态。也就是说，光源21停止发射光。
在环境光成像驱动时间段开始时(时刻t1)或之前，对第一抽头53执行复位处理，从而清除第一抽头53中的电荷。
在复位处理之后，累积电荷。然后，在时刻t2处，在读取控制单元24的控制下读取在第一抽头53中累积的电荷，并将该电荷提供到环境光图像生成单元26。
环境光图像生成单元26基于从第一抽头53读取的信号来生成图像。该待读取的信号是与当光源21处于关闭状态时接收的光的光量相对应的信号。也就是说，该信号为与所接收的光的光量相对应的信号，所接收的光为照射到目标物体(被摄体)上的环境光被目标物体反射的光。
如上所述，可以将1V间隔划分为TOF驱动时间段和环境光成像驱动时间段，并且在TOF驱动时间段中获取距离信息，并在环境光成像驱动时间段中利用环境光获取被摄体的图像。
需要指出的是，TOF驱动时间段(从时刻t0到时刻t1)和环境光成像驱动时间段(从时刻t1到时刻t2)可以根据例如环境光成像驱动时间段(即，利用环境光进行成像的曝光时间)而适当地改变。换言之，TOF驱动时间段和环境光成像驱动时间段均可以为固定时间段或可变时间段。
另外，例如，可以在取决于环境光成像驱动时间段(曝光时间)的时刻t2之前从第一抽头53读取信号。另外，尽管本文以在TOF驱动时间段之后设置环境光成像驱动时间段的情况作为示例进行了说明，但是TOF驱动时间段也可以设置在环境光成像驱动时间段之后。
另外，在参照图4说明的示例中示出了在环境光成像驱动时间段内驱动第一抽头53的示例，但是可以驱动第二抽头54。另外，与以下说明的第二驱动方法至第四驱动方法中一样，在环境光成像驱动时间段内可以驱动第一抽头53和第二抽头54两者。
<第二驱动方法>
下面，将说明第二驱动方法。图5是说明第二驱动方法的时序图。
在第二驱动方法中，在环境光成像驱动时间段内，在第一抽头53和第二抽头54中均累积电荷，并且进行电荷读取。
从时刻t0到时刻t11的时间段为TOF驱动时间段，并且与在参照图4说明的第一驱动方法中的TOF驱动时间段中一样，进行TOF驱动并获取距离信息。
从时刻t11到时刻t13的时间段为环境光成像驱动时间段。首先，在第一抽头53中累积电荷。在时刻t11之前，通过对第一抽头53执行复位处理来清除第一抽头53中的电荷。
在第一抽头53中，从时刻t11到时刻t12累积电荷。在时刻t12处，通过对第二抽头54执行复位处理来清除第二抽头54中的电荷。在第二抽头54中，从时刻t12到时刻t13累积电荷。
在时刻t13处，在读取控制单元24的控制下读取在第一抽头53和第二抽头54中累积的电荷，并且将该电荷提供到环境光图像生成单元26。
环境光图像生成单元26基于从第一抽头53和第二抽头54读取的电荷来生成图像。该待读取的信号是与当光源21处于关闭状态时所接收的光的光量相对应的信号。也就是说，该信号为与所接收的光的光量相对应的信号，所接收的光为照射到目标物体(被摄体)上的环境光被目标物体反射的光。
另外，当对从时刻t11到时刻t12的时间段(时间段T1)和从时刻t12到时刻t13的时间段(时间段T2)进行比较时，时间段T1比时间段T2短。换言之，第一抽头53的曝光时间被设定成比第二抽头54的曝光时间短。
也就是说，在这种情况下，在第一抽头53中累积短时间曝光时的电荷，在第二抽头54中累积长时间曝光时的电荷。因此，根据第二驱动方法，可以获得短时间曝光时的图像和长时间曝光时的图像。如上所述，环境光图像生成单元26能够获得短时间曝光时的图像和长时间曝光时的图像，并且通过使在短时间曝光时获得的图像和在长时间曝光时获得的图像进行组合来生成具有高动态范围的图像(高动态范围(HDR：High Dynamic Range)图像)。
如上所述，可以将1V间隔划分为TOF驱动时间段和环境光成像驱动时间段，并且在TOF驱动时间段中获取距离信息，并在环境光成像驱动时间段中利用环境光获取被摄体的图像。另外，可以获得利用环境光获取的被摄体的图像作为HDR图像。
需要指出的是，与在第一驱动方法中一样，TOF驱动时间段(从时刻t0到时刻t11)和环境光成像驱动时间段(从时刻t11到时刻t13)可以根据例如利用环境光进行成像的曝光时间而适当地改变。换言之，TOF驱动时间段和环境光成像驱动时间段均可以为固定时间段或可变时间段。
另外，短时间曝光的时间段(从时刻t11到时刻t12)和长时间曝光的时间段(从时刻t12到时刻t13)均可以为固定曝光时间或可变曝光时间。
另外，尽管在参照图5所述的示例中将在环境光成像驱动时间段内在短时间曝光之后执行长时间曝光的情况作为例子进行了说明，但是也可以在长时间曝光之后执行短时间曝光。
另外，尽管示出了在环境光成像驱动时间段内首先驱动第一抽头53的示例，但是也可以首先驱动第二抽头54。
<第三驱动方法>
下面，将说明第三驱动方法。图6是说明第三驱动方法的时序图。
在第三驱动方法中，在环境光成像驱动时间段内，在第一抽头53和第二抽头54中均累积电荷，并且进行电荷读取。另外，在第三驱动方法中，在环境光成像驱动时间段内，在第一抽头53和第二抽头54中交替地执行多次累积。
从时刻t0到时刻t21的时间段为TOF驱动时间段，并且与在参照图4说明的第一驱动方法中的TOF驱动时间段中一样，进行TOF驱动并获取距离信息。
从时刻t21到时刻t33的时间段为环境光成像驱动时间段。首先，在第一抽头53中累积电荷。在时刻t21之前，通过对第一抽头53执行复位处理来清除第一抽头53中的电荷。
从时刻t21到时刻t22在第一抽头53中累积电荷。在时刻t22处，通过对第二抽头54执行复位处理来清除第二抽头54中的电荷。从时刻t22到时刻t23在第二抽头54中累积电荷。
在时刻t23处，在第二抽头54中的累积被切换到在第一抽头53中的累积。从时刻t23到时刻t24在第一抽头53中累积电荷。在时刻t24处，在第一抽头53中的累积被切换到在第二抽头54中的累积。从时刻t24到时刻t25在第二抽头54中累积电荷。
在时刻t25处，在第二抽头54中的累积被切换到在第一抽头53中的累积。从时刻t25到时刻t26在第一抽头53中累积电荷。在时刻t26处，在第一抽头53中的累积被切换到在第二抽头54中的累积。从时刻t26到时刻t27在第二抽头54中累积电荷。
在时刻t27处，在第二抽头54中的累积被切换到在第一抽头53中的累积。从时刻t27到时刻t28在第一抽头53中累积电荷。在时刻t28处，在第一抽头53中的累积被切换到在第二抽头54中的累积。从时刻t28到时刻t29在第二抽头54中累积电荷。
在时刻t29处，在第二抽头54中的累积被切换到在第一抽头53中的累积。从时刻t29到时刻t30在第一抽头53中累积电荷。在时刻t30处，在第一抽头53中的累积被切换到在第二抽头54中的累积。从时刻t30到时刻t31在第二抽头54中累积电荷。
在时刻t31处，在第二抽头54中的累积被切换到在第一抽头53中的累积。从时刻t31到时刻t32在第一抽头53中累积电荷。在时刻t32处，在第一抽头53中的累积被切换到在第二抽头54中的累积。从时刻t32到时刻t33在第二抽头54中累积电荷。
在时刻t33处，在读取控制单元24的控制下读取在第一抽头53和第二抽头54中累积的电荷，并将该电荷提供到环境光图像生成单元26。
环境光图像生成单元26基于从第一抽头53和第二抽头54读取的信号来生成图像。该待读取的信号是与当光源21处于关闭状态时所接收的光的光量相对应的信号。也就是说，该信号为与所接收的光的光量相对应的信号，所接收的光为照射到目标物体(被摄体)上的环境光被目标物体反射的光。
另外，在第一抽头53中累积电荷时的时间段(时间段T11)为通过将从时刻t21到时刻t22的时间段、从时刻t23到时刻t24的时间段、从时刻t25到时刻t26的时间段、从时刻t27到时刻t28的时间段、从时刻t29到时刻t30的时间段和从时刻t31到时刻t32的时间段相加而得到的时间段。
同样地，在第二抽头54中累积电荷时的时间段(时间段T12)为通过将从时刻t22到时刻t23的时间段、从时刻t24到时刻t25的时间段、从时刻t26到时刻t27的时间段、从时刻t28到时刻t29的时间段、从时刻t30到时刻t31的时间段和从时刻t32到时刻t33的时间段相加而得到的时间段。
当对时间段T11和时间段T12进行比较时，时间段T11比时间段T12长。换言之，第一抽头53的曝光时间被设定成比第二抽头54的曝光时间长。
也就是说，在这种情况下，在第一抽头53中累积长时间曝光时的电荷，在第二抽头54中累积短时间曝光时的电荷。因此，根据第三驱动方法，可以获得长时间曝光时的图像和短时间曝光时的图像。如上所述，环境光图像生成单元26能够获得长时间曝光时的图像和短时间曝光时的图像，并且通过使在长时间曝光时获得的图像和在短时间曝光时获得的图像进行组合来生成具有高动态范围的图像(HDR图像)。
如上所述，可以将1V间隔划分为TOF驱动时间段和环境光成像驱动时间段，并且在TOF驱动时间段中获取距离信息，并在环境光成像驱动时间段中利用环境光获取被摄体的图像。另外，可以获得利用环境光获取的被摄体的图像作为HDR图像。
需要指出的是，与第一驱动方法和第二驱动方法中一样，TOF驱动时间段(从时刻t0到时刻t11)和环境光成像驱动时间段(从时刻t21到时刻t33)可以根据例如利用环境光进行成像的曝光时间而适当地改变。换言之，TOF驱动时间段和环境光成像驱动时间段均可以为固定时间段或可变时间段。
另外，长时间曝光的时间段(时间段T11)和短时间曝光的时间段(时间段T12)均可以为固定曝光时间或可变曝光时间。
另外，尽管在参照图6所述的示例中，说明了在环境光成像驱动时间段内在第一抽头53中进行长时间曝光并在第二抽头54中进行短时间曝光的情况，但是也可以在第一抽头53中进行短时间曝光并在第二抽头54中进行长时间曝光。
另外，尽管示出了在环境光成像驱动时间段内首先驱动第一抽头53的示例，但是也可以首先驱动第二抽头54。
根据第三驱动方法，对于运动被摄体，可以生成良好的HDR图像。根据第三驱动方法，如上所述，由于在第一抽头53和第二抽头54中交替累积电荷，因此当使运动被摄体成像时，可以以减小的影响进行成像。
<第四驱动方法>
下面，将说明第四驱动方法。图7是说明第四驱动方法的时序图。
在第四驱动方法中，在环境光成像驱动时间段内，在第一抽头53和第二抽头54中均累积电荷，并且进行电荷读取。
从时刻t0到时刻t41的时间段为TOF驱动时间段，并且与在参照图4说明的第一驱动方法中的TOF驱动时间段中一样，进行TOF驱动并获取距离信息。
从时刻t41到时刻t43的时间段为环境光成像驱动时间段。首先，在第一抽头53中累积电荷。在时刻t41之前，通过对第一抽头53执行复位处理来清除第一抽头53中的电荷。
从时刻t41到时刻t42在第一抽头53中累积电荷。在时刻t42处，通过对第二抽头54执行复位处理来清除第二抽头54中的电荷。从时刻t42到时刻t43在第二抽头54中累积电荷。
在时刻t43处，在读取控制单元24的控制下读取在第一抽头53和第二抽头54中累积的电荷，并将该电荷提供到环境光图像生成单元26。
当对从时刻t41到时刻t42的时间段(时间段T21)和从时刻t42到时刻t43的时间段(时间段T22)进行比较时，时间段T21比时间段T22长。换言之，第一抽头53的曝光时间被设定成比第二抽头54的曝光时间长。
虽然时间段T22是短时间曝光时间，但是该时间段比第二驱动方法或第三驱动方法中的上述短时间曝光时间更短，并且例如为其中仅进行非常短的时间段的曝光的时间段。在时间段T22中曝光时所获得的信号对应于暗噪声，并且该信号用作用于去除暗噪声的信号。
为了去除暗噪声，使用对应于2帧的信号。首先以这种方式执行第一帧的成像，然后在下一个时间段中执行第二帧的成像。
第二帧的成像基本上也与第一帧的成像类似地执行。首先，从时刻t43到时刻t44的时间段为TOF驱动时间段，并且进行TOF驱动并获取距离信息。
需要指出的是，在第二帧成像时，可以省略TOF驱动时间段，并且可以仅设置环境光成像驱动时间段。在需要获取每帧的距离信息的情况下，为每帧设置TOF驱动时间段。在不需要获取每帧的距离信息的情况下，例如可以为每两帧设置TOF驱动时间段。
也就是说，获取距离信息的频率可以根据例如如何使用距离信息来设定，并且可以基于该设定来设置TOF驱动时间段。这里，假设为每帧设置TOF驱动时间段来继续进行说明。
从时刻t44到时刻t46的时间为针对两帧的环境光成像驱动时间段。首先，在第二抽头54中累积电荷。在时刻t44之前，通过对第二抽头54执行复位处理来清除第二抽头54中的电荷。
在第二抽头54中，从时刻t44到时刻t45累积电荷。在时刻t45处，通过对第一抽头53执行复位处理来清除第一抽头53中的电荷。在第一抽头53中，从时刻t45到时刻t46累积电荷。
在时刻t46处，在读取控制单元24的控制下读取在第一抽头53和第二抽头54中累积的电荷，并且将该电荷提供到环境光图像生成单元26。
在第二帧中，当对从时刻t44到时刻t45的时间段(时间段T23)和从时刻t45到时刻t46的时间段(时间段T24)进行比较时，时间段T23比时间段T24长。换言之，第二抽头54的曝光时间被设定成比第一抽头53的曝光时间长。
在第一帧的成像中，通过长时间曝光在第一抽头53中累积电荷，并且通过短时间曝光在第二抽头54中累积电荷。在第二帧的成像中，通过长时间曝光在第二抽头54中累积电荷，并且通过短时间曝光在第一抽头53中累积电荷。
如上所述，在第一帧和第二帧中对应于长时间曝光的抽头和对应于短时间曝光的抽头进行切换。
这里，在第一帧(第n帧，以下称为帧Fn)的环境光成像驱动时间段n中，在长时间曝光时获得的图像(基于在从时刻t41到时刻t42的时间段内在第一抽头53中累积的电荷的图像)被称为长时间曝光图像I1,n，并且在短时间曝光时获得的图像(基于在从时刻t42到时刻t43的时间段内在第二抽头54中累积的电荷的图像)被称为短时间曝光图像I2,n。
类似地，在第二帧(第n+1帧，以下称为帧Fn+1)的环境光成像驱动时间段n+1中，在长时间曝光时获得的图像(基于在从时刻t44到时刻t45的时间段内在第二抽头54中累积的电荷的图像)被称为长时间曝光图像I2,n+1，并且在短时间曝光时获得的图像(基于在从时刻t45到时刻t46的时间段内在第一抽头53中累积的电荷的图像)被称为短时间曝光图像I1,n+1。
在这种情况下，在第n帧中在短时间曝光时获得的图像(这里为短时间曝光图像I2,n)为带噪声分量的图像，并且在长时间曝光时获得的图像(这里为长时间曝光图像I1,n)为带噪声分量和环境光分量的图像。
类似地，在第n+1帧中在短时间曝光时获得的图像(这里为短时间曝光图像I1,n+1)为带噪声分量的图像，并且在长时间曝光时获得的图像(这里为长时间曝光图像I2,n+1)为带噪声分量和环境光分量的图像。
可以看出，为了生成去除噪声分量的图像，只需要从带噪声分量和环境光分量的图像中减去带噪声分量的图像即可。在从相同抽头获得的带噪声分量和环境光分量的图像中减去带噪声分量的图像以生成噪声分量被去除的图像(帧)的情况下，可以通过以下等式来实现。
通过以下等式来获得第一帧(帧Fn)。
帧Fn＝长时间曝光图像I1,n-短时间曝光图像I1,n-1
通过以下等式来获得第二帧(帧Fn+1)。
帧Fn+1＝长时间曝光图像I2,n+1-短时间曝光图像I2,n
通过以下等式来获得第三帧(帧Fn+2)。
帧Fn+2＝长时间曝光图像I1,n+2-短时间曝光图像I1,n+1
同样，通过类似的方式来获得第四帧(帧Fn+3)和后续帧。也就是说，通过从在所生成的帧(例如，帧Fn)中获得的长时间曝光时的图像(例如，长时间曝光图像I1,n)中减去在前一帧(例如，帧Fn-1)中获得的短时间曝光时的图像(例如，短时间曝光图像I1,n-1)来获取每帧。
在这种情况下，通过计算由相同抽头(第一抽头53或第二抽头54)获得的长时间曝光时的图像和短时间曝光时的图像之间的差来生成噪声被去除的图像。由于在某些情况下噪声分量根据抽头而不同，因此使用从相同抽头获得的图像之间的差来生成噪声被去除的图像。
在上述去除噪声的方法(被称为第一噪声去除方法)中，使用从相同抽头获得的长时间曝光时的图像和短时间曝光时的图像，并且噪声是通过减去在环境光成像驱动时间段n中的长时间曝光时的图像之前的环境光成像驱动时间段n-1中获得的短时间曝光时的图像来去除的。
也就是说，使用在两帧的环境光成像驱动时间段中获得的图像来生成噪声被去除的图像。
将说明生成噪声被去除的图像的方法(被称为第二噪声去除方法)，在该方法中，通过减去在长时间曝光时的图像之前获得的短时间曝光时的图像来去除噪声与通过减去在长时间曝光时的图像之后获得的短时间曝光时的图像来去除噪声交替地重复进行，从而生成噪声被去除的图像，这与第一噪声去除方法的相同之处在于，使用两帧的图像来去除噪声。
在第二噪声去除方法中，通过以下等式来获得第一帧(帧Fn)。
帧Fn＝长时间曝光图像I1,n-短时间曝光图像I1,n+1
通过以下等式来获得第二帧(帧Fn+1)。
帧Fn+1＝长时间曝光图像I2,n+1-短时间曝光图像I2,n
通过以下等式来获得第三帧(帧Fn+2)。
帧Fn+2＝长时间曝光图像I1,n+2-短时间曝光图像I1,n+3
通过以下等式来获得第四帧(帧Fn+3)。
帧Fn+3＝长时间曝光图像I2,n+3-短时间曝光图像I2,n+2
同样，通过类似的方式来获得第五帧(帧Fn+4)和后续帧。
通过从在环境光成像驱动时间段n中从第一抽头53获得的长时间曝光图像I1,n中减去在环境光成像驱动时间段n之后的环境光成像驱动时间段n+1中从第一抽头53获得的短时间曝光图像I1,n+1来获得帧Fn。
通过从在环境光成像驱动时间段n+1中从第二抽头54获得的长时间曝光图像I2,n+1中减去在环境光成像驱动时间段n+1之前的环境光成像驱动时间段n中从第二抽头54获得的短时间曝光图像I2,n来获得帧Fn+1。
在第二噪声去除方法中，分别基于在环境光成像驱动时间段n和环境光成像驱动时间段n+1中获得的长时间曝光时的图像和短时间曝光时的图像来生成帧Fn和帧Fn+1。
类似的，在第二噪声去除方法中，分别基于在环境光成像驱动时间段n+2和环境光成像驱动时间段n+3中获得的长时间曝光时的图像和短时间曝光时的图像来生成帧Fn+2和帧Fn+3。
如上所述，在第二噪声去除方法中，基于在两个连续环境光成像驱动时间段中获得的长时间曝光时的图像和短时间曝光时的图像来生成两帧。在这种情况下，执行在两个环境光成像驱动时间段中关闭的处理。
另外，通过在一个环境光成像驱动时间段中关闭的处理可以生成噪声被去除的图像(这被称为第三噪声去除方法)。
在第三噪声去除方法中，通过以下等式来获得第一帧(帧Fn)。
帧Fn＝长时间曝光图像I1,n-短时间曝光图像I2,n
通过以下等式来获得第二帧(帧Fn+1)。
帧Fn+1＝长时间曝光图像I2,n+1-短时间曝光图像I1,n+1
同样，通过类似的方式来获得第三帧(帧Fn+2)和后续帧。
通过从在环境光成像驱动时间段n中从第一抽头53获得的长时间曝光图像I1,n中减去从第二抽头54获得的短时间曝光图像I2,n来获取帧Fn。
通过从在环境光成像驱动时间段n+1中从第二抽头54获得的长时间曝光图像I2,n+1中减去从第一抽头53获得的短时间曝光图像I1,n+1来获取帧Fn+1。
如上所述，基于在同一环境光成像驱动时间段中获得的长时间曝光时的图像和短时间曝光时的图像之间的差来生成噪声被去除的图像。
如上所述，根据第四驱动方法，可以生成噪声被去除的图像，而不需要通过相关双采样(CDS：Correlated Double Sampling)等来去除噪声。如上所述，成像装置10还生成距离信息。然而，对于距离信息来说，如参照图3所述，通过减去两个累积量并使用差来获得该距离。因此，即使在累积量包括噪声分量的情况下，也可以通过差来去除噪声分量。
因此，例如，在用TOF方法获得距离信息的情况下，在某些情况下，不进行诸如CDS等的噪声去除处理。根据第四驱动方法，即使在这种不进行噪声去除处理的构成中，也可以生成噪声被去除的图像。
在第四驱动方法中，可以调整复位时间，使得长时间曝光时间不饱和。
例如，在图7中，尽管在时刻t41时(之前)对第一抽头53执行复位处理，但是例如，通过将执行复位处理的时间设置为比时刻t41晚，可以缩短在第一抽头53中存储电荷的时间段。也就是说，可以缩短第一抽头53的曝光时间。
如上所述，可以设置控制长时间曝光时间的机构，该机构使用复位时间来调整长时间曝光时间，从而使得长时间曝光时间不饱和。
另外，可以使用在TOF驱动时间段中获得的像素值来设定长时间曝光时间。
另外，类似地，可以调整复位时间，以使短时间曝光时间不饱和。另外，可以通过调整长时间曝光时间和短时间曝光时间中的任一者或两者的复位时间来进行控制，从而使其不饱和。
通过使第一驱动方法至第三驱动方法中的任一者与第四驱动方法进行组合，可以生成噪声被去除的图像作为HDR图像。在使第一驱动方法至第三驱动方法中的任一者与第四驱动方法进行组合的情况下，这些方法可以按时间分割(time division)来进行组合。
在第四驱动方法中，可以以像素(或抽头)为单位将像素分为两组，即，长时间曝光像素组和短时间曝光像素组，并且可以针对各像素来进行第四驱动方法的驱动。另外，可以以行为单位将像素分为两组，即，长时间曝光像素组和短时间曝光像素组，并且可以针对各像素来进行第四驱动方法的驱动。
如上所述，可以通过设置长时间曝光像素和短时间曝光像素以便获得长时间曝光图像和短时间曝光图像来生成HDR图像。
如上所述，根据本技术，可以通过距离信息(距离图像)和环境光来获得环境光拍摄的图像。另外，由于在拍摄环境光拍摄的图像时光源21停止发光，因此可以减少由光源21消耗的功耗。另外，在TOF驱动时间段中，在第一抽头53和第二抽头54中执行时间方向上的高速电荷分配驱动(high-speed charge distribution driving)，但是在环境光成像驱动时间段中不执行高速电荷分配驱动。因此，可以减少那些量的功耗。
在上述实施方案中，以设置有第一抽头53和第二抽头54这两个抽头的像素为例进行了说明。也就是说，如图8的部分A所示，以如下像素为例进行了说明，在该像素中，一个光电二极管52设置有第一抽头53和第二抽头54这两个抽头，以分配在光电二极管52中累积的电荷。
然而，本技术的应用范围不限于具有这种构成的像素。例如，如图8的部分B所示，上述实施方案也可应用于设置有一个抽头的像素。
在图8的部分B所示的用于构成TOF传感器的像素中，一个光电二极管52设置有一个抽头101。另外，一个光电二极管52包括被设置成在复位或饱和时排出电荷的区域102(这里被称为漏极102)。
在图8的部分B所示的像素中，抽头101对应于例如上述第一抽头53或第二抽头54。另外，在图8的部分B所示的像素中，漏极102对应于上述第一抽头53或第二抽头54。例如，在抽头101对应于第一抽头53的情况下，漏极102对应于第二抽头54。
在上述实施方案(第一实施方案至第四实施方案)中，通过将第一抽头53和第二抽头54分别用作抽头101和漏极102，还可以将本技术应用于如图8的部分B所示的具有一个抽头构成的TOF传感器。
如上所述，本技术还可以应用于上述具有两抽头构成的TOF传感器之外的TOF传感器。
<关于记录介质>
可以利用硬件或软件来进行上述一系列处理，例如，开启和关闭光源21的光发射的控制，曝光时间的设定以及与在所设定的曝光时间中向抽头分配电荷相关的控制。在利用软件来进行一系列处理的情况下，在计算机中安装构成软件的程序。这里，计算机包括并入专用硬件的计算机，以及例如，安装各种程序以执行各种功能的通用个人计算机。
图9是示出利用程序来执行上述一系列处理的计算机的硬件的构成例的图。在计算机中，中央处理器(CPU：Central Processing Unit)201、只读存储器(ROM：Read OnlyMemory)202和随机存取存储器(RAM：Random Access Memory)203经由总线204互相连接。另外，总线204还连接有输入/输出接口205。输入/输出接口205连接有输入单元206、输出单元207、存储单元208、通信单元209和驱动器210。
输入单元206包括键盘、鼠标和麦克风等。输出单元207包括显示器和扬声器等。存储单元208包括硬盘或非易失性存储器。通信单元209包括网络接口等。驱动器210驱动包括磁盘、光盘、磁光盘、半导体存储器等的可移除介质211。
在具有如上所述构成的计算机中，CPU 201将存储在例如存储单元208中的程序经由输入/输出接口205和总线204加载到RAM 203中并执行程序，从而执行上述一系列处理。
由计算机(CPU 201)执行的程序例如可以被记录在作为封装介质的可移除介质211中，由此可以提供该程序。可选择地，可以通过诸如局域网、因特网和数字卫星广播等的有线或无线传输介质来提供该程序。
在计算机中，通过将可移除介质211安装到驱动器210上，可以将程序经由输入/输出接口205安装在存储单元208中。另外，可以经由有线或无线传输介质用通信单元209来接收程序，并将程序安装在存储单元208中。此外，可以将程序预装在ROM 202或存储单元208中。
应当指出的是，由计算机执行的程序可以是以本说明书中所说明的顺序按时间顺序执行处理的程序，或者可以是并行地或在必要时刻(例如，当发出执行处理的请求时)执行处理的程序。
另外，在本说明书中，系统表示包括多个装置的整个装置。
应当指出的是，本说明书中说明的效果仅仅是示例性的，而不是限制性的，并且可以提供附加效果。
应当指出的是，本技术的实施方案不限于上述实施方案，并且可以在不脱离本技术的本质的情况下进行各种修改。
应当指出的是，本技术可以采取以下构成。
(1)一种成像装置，其包括：
光源，所述光源发射光；
累积单元，在所述累积单元中累积与所接收的光对应的电荷；
距离信息生成单元，所述距离信息生成单元基于在所述累积单元中累积的电荷量来生成距离信息；以及
图像生成单元，所述图像生成单元基于在所述累积单元中累积的电荷量来生成图像，其中，
所述距离信息生成单元基于当所述光源发射所述光时在所述累积单元中累积的电荷量来生成所述距离信息，
所述图像生成单元基于当所述光源未发射所述光时在所述累积单元中累积的电荷量来生成所述图像。
(2)根据以上(1)所述的成像装置，其中，
所述累积单元包括第一抽头和第二抽头，并且
当所述光源发射所述光时，在所述第一抽头和所述第二抽头中交替地累积电荷。
(3)根据以上(2)所述的成像装置，其中，
当所述光源未发射所述光时，在所述第一抽头和所述第二抽头中的一者中累积电荷。
(4)根据以上(2)所述的成像装置，其中，
当所述光源未发射所述光时，在所述第一抽头和所述第二抽头中的一者中累积长时间曝光时的电荷，并且在另一者中累积短时间曝光时的电荷。
(5)根据以上(4)所述的成像装置，其中，
在所述第一抽头和所述第二抽头中交替地累积电荷。
(6)根据以上(4)所述的成像装置，其中，
在预定帧中，在所述第一抽头中累积长时间曝光时的电荷，并且在所述第二抽头中累积短时间曝光时的电荷，并且
在所述预定帧的下一帧中，在所述第一抽头中累积短时间曝光时的电荷，并且在所述第二抽头中累积长时间曝光时的电荷。
(7)根据以上(4)～(6)中任一项所述的成像装置，其中，
所述图像生成单元根据基于在所述长时间曝光时累积的电荷量的图像和基于在所述短时间曝光时累积的电荷量的图像来生成具有高动态范围的图像。
(8)根据以上(6)所述的成像装置，其中，
所述图像生成单元通过从所述预定帧中的基于在所述长时间曝光时累积的电荷量的图像中减去所述下一帧中的基于在所述短时间曝光时累积的电荷量的图像来生成所述图像。
(9)根据以上(6)所述的成像装置，其中，
所述图像生成单元
通过从所述预定帧中的基于在所述长时间曝光时累积的电荷量的图像中减去所述下一帧中的基于在所述短时间曝光时累积的电荷量的图像来生成所述预定帧中的所述图像，并且
通过从所述下一帧中的基于在所述长时间曝光时累积的电荷量的图像中减去所述预定帧中的基于在所述短时间曝光时累积的电荷量的图像来生成所述下一帧中的所述图像。
(10)根据以上(6)所述的成像装置，其中，
所述图像生成单元通过从所述预定帧中的基于在所述长时间曝光时累积的电荷量的图像中减去所述预定帧中的基于在所述短时间曝光时累积的电荷量的图像来生成所述预定帧中的所述图像。
(11)根据以上(6)～(10)中任一项所述的成像装置，其中，
通过调整其中累积有在所述长时间曝光时的电荷的所述第一抽头或所述第二抽头的复位时间来控制所述长时间曝光的曝光时间。
(12)根据以上(6)～(11)中任一项所述的成像装置，其中，
通过调整其中累计有在所述短时间曝光时的电荷的所述第一抽头或所述第二抽头的复位时间来控制所述短时间曝光的曝光时间。
(13)根据以上(2)～(12)中任一项所述的成像装置，其中，
所述第一抽头和所述第二抽头中的一者包括在使所述累积单元复位时或所述累积单元饱和时排出电荷的区域。
(14)一种成像装置的成像方法，所述成像装置包括发射光的光源，所述成像方法包括：
累积与所接收的光对应的电荷；
基于累积的电荷量来生成距离信息；
基于累积的电荷量来生成图像；
基于当所述光源发射所述光时累积的电荷量来生成所述距离信息；并且
基于当所述光源未发射所述光时累积的电荷量来生成所述图像。
(15)一种使控制包括发射光的光源的成像装置的计算机执行以下步骤的程序：
累积与所接收的光对应的电荷；
基于累积的电荷量来生成距离信息；
基于累积的电荷量来生成图像；
基于当所述光源发射所述光时累积的电荷量来生成所述距离信息；并且
基于当所述光源未发射所述光时累积的电荷量来生成所述图像。
附图标记列表
10 成像装置
21 光源
22 光源控制单元
23 成像单元
24 读取控制单元
25 距离图像生成单元
26 环境光图像生成单元

Claims (12)

1.一种成像装置，其包括：
光源，所述光源发射光；
累积单元，在所述累积单元中累积与所接收的光对应的电荷；
距离信息生成单元，所述距离信息生成单元基于在所述累积单元中累积的电荷量来生成距离信息；以及
图像生成单元，所述图像生成单元基于在所述累积单元中累积的电荷量来生成图像，其中，
所述距离信息生成单元基于当所述光源发射所述光时在所述累积单元中累积的电荷量来生成所述距离信息，
所述图像生成单元基于当所述光源未发射所述光时在所述累积单元中累积的电荷量来生成所述图像，
其中，所述累积单元包括第一抽头和第二抽头，并且
当所述光源发射所述光时，在所述第一抽头和所述第二抽头中交替地累积电荷，
当所述光源未发射所述光时，在所述第一抽头和所述第二抽头中的一者中累积长时间曝光时的电荷，并且在另一者中累积短时间曝光时的电荷。
2.根据权利要求1所述的成像装置，其中，
在所述第一抽头和所述第二抽头中交替地累积电荷。
3.根据权利要求1所述的成像装置，其中，
在预定帧中，在所述第一抽头中累积长时间曝光时的电荷，并且在所述第二抽头中累积短时间曝光时的电荷，并且
在所述预定帧的下一帧中，在所述第一抽头中累积短时间曝光时的电荷，并且在所述第二抽头中累积长时间曝光时的电荷。
4.根据权利要求1所述的成像装置，其中，
所述图像生成单元根据基于在所述长时间曝光时累积的电荷量的图像和基于在所述短时间曝光时累积的电荷量的图像来生成具有高动态范围的图像。
5.根据权利要求3所述的成像装置，其中，
所述图像生成单元通过从所述预定帧中的基于在所述长时间曝光时累积的电荷量的图像中减去所述下一帧中的基于在所述短时间曝光时累积的电荷量的图像来生成所述图像。
6.根据权利要求3所述的成像装置，其中，
所述图像生成单元
通过从所述预定帧中的基于在所述长时间曝光时累积的电荷量的图像中减去所述下一帧中的基于在所述短时间曝光时累积的电荷量的图像来生成所述预定帧中的所述图像，并且
通过从所述下一帧中的基于在所述长时间曝光时累积的电荷量的图像中减去所述预定帧中的基于在所述短时间曝光时累积的电荷量的图像来生成所述下一帧中的所述图像。
7.根据权利要求3所述的成像装置，其中，
所述图像生成单元通过从所述预定帧中的基于在所述长时间曝光时累积的电荷量的图像中减去所述预定帧中的基于在所述短时间曝光时累积的电荷量的图像来生成所述预定帧中的所述图像。
8.根据权利要求3所述的成像装置，其中，
通过调整其中累积有在所述长时间曝光时的电荷的所述第一抽头或所述第二抽头的复位时间来控制所述长时间曝光的曝光时间。
9.根据权利要求3所述的成像装置，其中，
通过调整其中累计有在所述短时间曝光时的电荷的所述第一抽头或所述第二抽头的复位时间来控制所述短时间曝光的曝光时间。
10.根据权利要求1～9中任一项所述的成像装置，其中，
所述第一抽头和所述第二抽头中的一者包括在使所述累积单元复位时或所述累积单元饱和时排出电荷的区域。
11.一种成像装置的成像方法，所述成像装置包括发射光的光源和累积单元，所述成像方法包括：
通过所述累积单元累积与所接收的光对应的电荷；
基于累积的电荷量来生成距离信息；
基于累积的电荷量来生成图像；
基于当所述光源发射所述光时累积的电荷量来生成所述距离信息；并且
基于当所述光源未发射所述光时累积的电荷量来生成所述图像，
其中，所述累积单元包括第一抽头和第二抽头，并且
当所述光源发射所述光时，在所述第一抽头和所述第二抽头中交替地累积电荷，
当所述光源未发射所述光时，在所述第一抽头和所述第二抽头中的一者中累积长时间曝光时的电荷，并且在另一者中累积短时间曝光时的电荷。
12.一种存储介质，所述存储介质存储使控制包括发射光的光源和累积单元的成像装置的计算机执行以下步骤的程序：
通过所述累积单元累积与所接收的光对应的电荷；
基于累积的电荷量来生成距离信息；
基于累积的电荷量来生成图像；
基于当所述光源发射所述光时累积的电荷量来生成所述距离信息；并且
基于当所述光源未发射所述光时累积的电荷量来生成所述图像，
其中，所述累积单元包括第一抽头和第二抽头，并且
当所述光源发射所述光时，在所述第一抽头和所述第二抽头中交替地累积电荷，
当所述光源未发射所述光时，在所述第一抽头和所述第二抽头中的一者中累积长时间曝光时的电荷，并且在另一者中累积短时间曝光时的电荷。
CN201780002617.9A 2016-06-15 2017-06-01 成像装置、成像方法和存储介质 Active CN107852472B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016118577 2016-06-15
JP2016-118577 2016-06-15
PCT/JP2017/020395 WO2017217240A1 (ja) 2016-06-15 2017-06-01 撮影装置、撮影方法、プログラム

Publications (2)

Publication Number Publication Date
CN107852472A CN107852472A (zh) 2018-03-27
CN107852472B true CN107852472B (zh) 2021-07-20

Family

ID=60664500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002617.9A Active CN107852472B (zh) 2016-06-15 2017-06-01 成像装置、成像方法和存储介质

Country Status (5)

Country Link
US (1) US10868966B2 (zh)
JP (1) JP7014150B2 (zh)
KR (1) KR102301744B1 (zh)
CN (1) CN107852472B (zh)
WO (1) WO2017217240A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020134464A (ja) * 2019-02-25 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
JP2020134463A (ja) * 2019-02-25 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
CN110221272B (zh) * 2019-05-09 2021-11-19 奥比中光科技集团股份有限公司 时间飞行深度相机及抗干扰的距离测量方法
CN110471080A (zh) * 2019-07-12 2019-11-19 深圳奥比中光科技有限公司 基于tof图像传感器的深度测量装置
CN110333501A (zh) * 2019-07-12 2019-10-15 深圳奥比中光科技有限公司 深度测量装置及距离测量方法
JPWO2021095494A1 (zh) * 2019-11-15 2021-05-20
JP7487470B2 (ja) 2019-12-13 2024-05-21 株式会社デンソー 物体検出装置および物体検出装置の制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
JP2011128024A (ja) * 2009-12-17 2011-06-30 Sharp Corp ３次元撮像装置
KR101884952B1 (ko) * 2010-01-06 2018-08-02 헵타곤 마이크로 옵틱스 피티이. 리미티드 별도의 화소 및 저장 어레이를 갖는 복조(復調) 센서
KR101107768B1 (ko) * 2011-01-13 2012-01-20 (주) 지안 넓은 동적범위를 갖는 씨모스 이미지 센서
EP2703836B1 (en) * 2012-08-30 2015-06-24 Softkinetic Sensors N.V. TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene
AT513589B1 (de) * 2012-11-08 2015-11-15 Bluetechnix Gmbh Aufnahmeverfahren für zumindest zwei ToF-Kameras
JP6442710B2 (ja) 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
JP6422306B2 (ja) 2014-11-04 2018-11-14 キヤノン株式会社 撮像装置及びその制御方法
US11443313B2 (en) * 2018-07-02 2022-09-13 Honda Motor Co., Ltd. Methods and systems for authorizing a real-time transaction with a third party platform

Also Published As

Publication number Publication date
US10868966B2 (en) 2020-12-15
KR102301744B1 (ko) 2021-09-14
WO2017217240A1 (ja) 2017-12-21
JPWO2017217240A1 (ja) 2019-04-04
KR20190019035A (ko) 2019-02-26
JP7014150B2 (ja) 2022-02-01
US20190109972A1 (en) 2019-04-11
CN107852472A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
CN107852472B (zh) 成像装置、成像方法和存储介质
CN110023785B (zh) 距离测定装置
JP6374690B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US10764518B2 (en) Pixel structure
WO2017061104A1 (ja) 撮像装置、およびそれに用いられる固体撮像素子
WO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
US20190037120A1 (en) Imaging apparatus and electronic apparatus
JP7463671B2 (ja) 距離画像撮像装置、及び距離画像撮像方法
US10205933B2 (en) Depth image acquisition apparatus and method of acquiring depth information
JPWO2014207992A1 (ja) 測距撮像装置及びその測距方法、固体撮像素子
CN107959771B (zh) 图像拾取系统
JP6948172B2 (ja) 画像センサのためのピクセルユニット、画像センサ、光信号をセンシングする方法、ピクセルユニットを制御する方法、およびピクセルユニットを利用して画像を生起する方法
US20220003876A1 (en) Distance image obtaining method and distance detection device
US11189649B2 (en) Photoelectric conversion apparatus and image pickup system
WO2019186838A1 (ja) 固体撮像素子、固体撮像装置、固体撮像システム、固体撮像素子の駆動方法
CN114521241A (zh) 信息处理装置、校正方法以及程序
JP2009284181A (ja) 固体撮像装置
US20230204727A1 (en) Distance measurement device and distance measurement method
US20220006941A1 (en) Solid-state imaging device
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2021070212A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP2012244357A (ja) 撮像方法および撮像装置
JP2020139937A (ja) 測距装置及び電子機器
US9055229B2 (en) Control circuit, control method of control circuit, and imaging device
JP2011188380A (ja) 固体撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant