JP2018064257A - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JP2018064257A
JP2018064257A JP2016203167A JP2016203167A JP2018064257A JP 2018064257 A JP2018064257 A JP 2018064257A JP 2016203167 A JP2016203167 A JP 2016203167A JP 2016203167 A JP2016203167 A JP 2016203167A JP 2018064257 A JP2018064257 A JP 2018064257A
Authority
JP
Japan
Prior art keywords
imaging device
exposure period
imaging
level
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016203167A
Other languages
English (en)
Other versions
JP6752679B2 (ja
Inventor
靖 岩倉
Yasushi Iwakura
靖 岩倉
智也 大西
Tomoya Onishi
智也 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016203167A priority Critical patent/JP6752679B2/ja
Priority to EP17193643.8A priority patent/EP3310036B1/en
Priority to US15/727,377 priority patent/US10948288B2/en
Priority to CN201710949672.0A priority patent/CN107959771B/zh
Publication of JP2018064257A publication Critical patent/JP2018064257A/ja
Application granted granted Critical
Publication of JP6752679B2 publication Critical patent/JP6752679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0132—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】 フリッカ対策をしつつ、情報の欠落を防止することのできる距離情報を取得可能な撮像システムを提供する。
【解決手段】 第１の撮像装置と、第２の撮像装置と、第１の撮像装置と第２の撮像装置から取得した信号を処理する信号処理部とを有する。第１の撮像装置の露光期間と、第２の撮像装置の露光期間は、１フレーム内で複数回繰り返される。第１の撮像装置の露光期間と第２の撮像装置の非露光期間が重複し、かつ、第１の撮像装置の非露光期間と第２の撮像装置の露光期間が重複する。
【選択図】 図８

Description

本発明は、撮像システムに関する。
従来から、視点が異なる２つのカメラ（ステレオカメラ）を用いて計測対象である物体を撮像し、得られた２つの画像を用いて物体までの距離を測定するステレオ測距技術が知られている。ステレオカメラは、撮像された２つの画像間に生じる視差を利用して、三角測量の原理により物体までの距離を測定する。ステレオカメラを用いれば、カメラ位置とその前方にある人や物体などの被写体との距離を測定することができるため、ステレオカメラは、自動走行や事故回避を目的とした車載用のカメラとしても用いられる。
特許文献１には、交流電源駆動などに起因して明滅や輝度変動を繰り返す発光機器（例えば、発光ダイオード（ＬＥＤ））の下でも、被写体の撮像が可能である車載用のステレオカメラが記載されている。具体的には、特許文献１には、第１の撮像装置または第２の撮像装置の露光期間を、発光機器の明滅周期よりも長くすることにより、フリッカ対策を行った車載用のステレオカメラが記載されている。また、特許文献１には、第１の撮像装置の露光期間よりも第２の撮像装置の露光期間を長くすることで、第２の撮像装置から取得される信号を発光機器の確認用に用いることも記載されている。
特開２００９−１６５０８１号公報
上記のように、特許文献１では、フリッカ対策のために、第２の撮像装置の露光期間の開始点を第１の撮像装置の露光期間の開始点よりも早く設定し、第２の撮像装置の露光時間を第１の撮像装置の露光時間よりも長くすることが記載されている。
しかし、特許文献１では、第２の撮像装置の露光期間の終了点と第１の撮像装置の露光期間の終了点が同じとなっている。このため、次のフレームにおける第１または第２の撮像装置の露光期間が開始するまでの間に、発光機器が発光してしまうと、この状態が撮影できないこととなり、情報が欠落する。
そこで、本発明は、フリッカ対策をしつつ、情報の欠落を防止することのできる距離情報を取得可能な撮像システムを提供することを目的とする。
本発明に係る撮像システムは、第１の撮像装置と、第２の撮像装置と、前記第１の撮像装置と前記第２の撮像装置から取得した信号を処理する信号処理部とを有し、前記第１の撮像装置の露光期間と、前記第２の撮像装置の露光期間は、１フレーム内で複数回繰り返され、前記第１の撮像装置の露光期間と前記第２の撮像装置の非露光期間が重複し、前記第１の撮像装置の非露光期間と前記第２の撮像装置の露光期間が重複することを特徴とする。
本発明によれば、フリッカ対策をしつつ、情報の欠落を防止することのできる距離情報を取得可能な撮像システムを提供することができる。
第１の実施形態にかかる撮像システムのブロック図を示す。 第１の実施形態にかかる撮像装置のブロック図を示す。 第１の実施形態にかかる画素部の等価回路図を示す。 第１の実施形態にかかる撮像システムの駆動のタイミング図を示す。 第１の実施形態にかかる撮像システムの駆動のタイミング図を示す。 第２の実施形態にかかる撮像システムのブロック図を示す。 第２の実施形態にかかる画素部の等価回路図を示す。 第２の実施形態にかかる撮像システムの駆動のタイミング図を示す。 第３の実施形態にかかる撮像システムの駆動のタイミング図を示す。 第３の実施形態にかかる撮像システムの駆動のタイミング図を示す。 第４の実施形態にかかる画素部の等価回路図を示す。 第４の実施形態にかかる撮像システムの駆動のタイミング図を示す。 第４の実施形態にかかる撮像システムの駆動のタイミング図を示す。 第５の実施形態での撮像システムを有する移動体を示す。
（第１の実施形態）
本発明に係る撮像システムの具体的な形態について、図面を参照しつつ説明する。なお、以下の説明および図面において、共通の構成については共通の符号を付して、適宜説明を省略する。図１から図５を参照して、本発明の第１の実施形態による撮像システムの構成および駆動方法を説明する。
（撮像システムのブロック図）
図１Ａは第１の実施形態における撮像システムのブロック図である。撮像システム１００は、撮像装置１０１（第１の撮像装置）と撮像装置１０２（第２の撮像装置）を備える。また、撮像システム１００は、信号処理部１０３、光学制御部１０４、シャッタ・撮像装置制御部１０５、画像表示部１０６、記録部１０７、システムコントローラ１０８を備える。撮像装置１０１、１０２の光入射面側には光学部１０９と機械シャッタ１１０が配され、撮像装置１０１、１０２の後段には画像前処理部１１２が配される。
撮像装置１０１、１０２は、光学部１０９と機械シャッタ１１０を経て入射した光を電気信号に変換する。また、変換された電気信号は画像前処理部１１２で処理される。撮像装置１０１、１０２に照射される光量の大きさは、光学部１０９や機械シャッタ１１０への入力値や、撮像装置１０１、１０２および状態検知部１１１で測定される光信号強度を基に、システムコントローラ１０８が判定を行う。システムコントローラ１０８が撮像装置１０１、１０２に照射される光量が適正範囲から外れていると判定する場合、光学制御部１０４、シャッタ・撮像装置制御部１０５を通じて光学部１０９の絞り値や機械シャッタ１１０の動作を調整する。光学部１０９の絞り値や機械シャッタ１１０の動作を調整するのは、自動調整である必要はなく手動調整であってもよい。
シャッタ・撮像装置制御部１０５は、２台の撮像装置１０１、１０２と機械シャッタ１１０の動作を同期させる。具体的には、シャッタ・撮像装置制御部１０５は、第１の撮像装置１０１の機械シャッタ１１０と、第２の撮像装置１０２の機械シャッタ１１０の動作を同期させる周期信号の生成、画像信号の生成および出力に関わるタイミングを制御する信号生成等を行う。
機械シャッタ１１０は例えば光を遮蔽する先幕と後幕を有し、幕走行方位を行方向に有する。またシャッタの開閉期間はシャッタ・撮像装置制御部１０５によって制御される。
画像前処理部１１２は、撮像装置１０１、１０２から取得した電気信号に対して水平垂直同期や符号化等の処理を施して、後段の信号処理部１０３に画像信号として送信する。
信号処理部１０３は、画像処理部１１３、距離情報処理部１１４、画像出力部１１５を有する。
画像処理部１１３は、画像前処理部１１２から、撮像装置１０１、１０２の画像信号を取得する。そして、画像処理部１１３は、画像の一時記憶、画像の明るさ・コントラスト等の補正、輪郭抽出・部分切り出し・合成・歪み補正の画像加工、被写体の分別・同定・認知等の処理を行う。
距離情報処理部１１４は、画像処理部１１３の処理結果を基に、被写体との視差・測距演算の処理を行う。
画像出力部１１５は、画像処理部１１３の処理結果を基に、画像表示部１０６と記録部１０７への出力に適した信号への加工と信号出力を行う。
図１Ｂは、シャッタ・撮像装置制御部１０５の一例をより詳しく説明するものである。シャッタ・撮像装置制御部１０５は、周期信号の生成等を行う原発振生成部１６０と、第１の撮像装置１０１と第２の撮像装置１０２を制御するための制御信号を出力する制御信号出力部１５０とを有する。配線１７０は制御信号出力部１５０と第１の撮像装置１０１を電気的に接続する配線であり、配線１８０は制御信号出力部１５０と第２の撮像装置１０２とを電気的に接続する配線である。２つの撮像装置を高い精度で同期させるために、配線１７０の長さと配線１８０の長さは略同じである。ここで、略同じ長さとは、同一の長さのみならず、本実施形態の効果を奏する範囲において異なる長さであってもよい。
（撮像装置のブロック図）
図２は撮像システム１００に配されている撮像装置１０１または１０２のブロック図である。撮像装置１０２は、撮像装置１０１と同様の構成を有する。
撮像装置１０１または１０２は、複数の画素１１が二次元状に配された撮像領域１０、制御部１２、垂直走査部１３、画素信号処理部１４、出力部１６からなる。制御部１２、垂直走査部１３、画素信号処理部１４、出力部１６は撮像領域１０の外周に配されている。
制御部１２は、垂直走査部１３、画素信号処理部１４、出力部１６に制御信号、電源電圧等を供給する。垂直走査部１３は、撮像領域１０に配された複数の画素１１について画素行毎または複数の画素行毎に駆動信号を供給する。第１の撮像装置１０１と第２の撮像装置１０２とを高い精度で同期するために、図１に示したシャッタ・撮像装置制御部１０５は制御部１２と電気的に接続されている。
垂直走査部１３は、シフトレジスタまたはアドレスデコーダにより構成することができる。
画素信号処理部１４は、列回路１７、水平走査回路１８、水平出力線１５を含んで構成される。列回路は、各々複数の回路を含んで構成される。例えば、複数の回路とは、信号保持回路、増幅回路、ノイズ除去回路、アナログデジタル変換回路、等である。水平走査回路はシフトレジスタまたはアドレスデコーダにより構成することができる。水平出力線１５に出力される信号は、アナログ信号、デジタル信号のいずれでも良い。
出力部１６は緩衝回路を含んで構成され、水平出力線１５を介して伝達された信号を撮像装置１０１または１０２の後段にある画像前処理部１１２へ送信する。
（画素部の等価回路図）
図３は、図２に示す画素１１の等価回路の構成を示す。図３は４つの画素からなる例である。画素１１は、光電変換部３０１、フローティングディフュージョン３０２（ＦＤ３０２）、転送スイッチ３０４、入力ノード３０３、リセットトランジスタ３０５、増幅部３０６、選択トランジスタ３０７を含む。同一行に配されている複数の画素１１は転送スイッチ３０４、リセットトランジスタ３０５および選択トランジスタ３０７を各々一斉に動作・停止制御する制御線ｐＴＸ１、ｐＳＥＬ、ｐＲＥＳに接続される。
光電変換部３０１は入射光によって電荷を生成して、生成された電荷を蓄積する。光電変換部３０１は、例えばフォトダイオードである。
転送スイッチ３０４は、光電変換部３０１で生成された電荷をＦＤ３０２に転送する。転送スイッチ３０４は制御線ｐＴＸ１を通じて供給される信号によって制御される。転送スイッチ３０４は、例えばＭＯＳトランジスタである。
ＦＤ３０２は、光電変換部３０１で生成された電荷を、転送スイッチ３０４の動作によって受取り保持する機能を担い、増幅部３０６の入力ノード３０３を構成する。
増幅部３０６は、増幅部３０６の入力ノード３０３に蓄積された電荷を垂直出力線３０８に増幅して画素信号として出力する。増幅部３０６は、例えばソースフォロワ回路である。
選択トランジスタ３０７は、垂直出力線３０８に信号を出力する画素３００を選択する。
リセットトランジスタ３０５は、制御線ｐＲＥＳの信号によって入力ノード３０３にある電荷を電源３０９に排出して、入力ノード３０３の電位を電源３０９の電位にする、リセット動作を行う。
（タイミングチャート）
図４は、撮像システム１００の動作を説明するタイミング図である。波形４００は、交流電源を全波整流した波形を模式的に示している。交流電源は、例えば５０Ｈｚや６０Ｈｚの周波数を有する電源である。図４の期間Ｔ４０は、交流電源の周期に相当しており、例えば１／５０秒や１／６０秒である。
波形４０１は、波形４００の電源を用いた光源の点滅状態を示している。Ｈレベルは点灯状態、Ｌレベルは消灯状態を表す。交流電源を用いた光源としては、例えば交通信号機などのＬＥＤ光源などがある。全波整流した電源の波形４００がある閾値以上の場合、波形４０１はＨレベルとなって点灯状態になる。一方、波形４００が閾値以下の場合、波形４０１はＬレベルとなって消灯状態になる。
期間Ｔ４１は、光源の点滅周期を示しており、交流電源の周期である期間Ｔ４０の１／２の周期となる。また、期間Ｔ４２は光源の点灯している期間、期間Ｔ４３は光源の消灯している期間をそれぞれ示す。
矩形の符号４１０および４２０は、第１の撮像装置１０１および第２の撮像装置１０２の光入射側に配した機械シャッタ１１０の開閉状態をそれぞれ示すものである。矩形部分は開状態、矩形がない部分は閉状態を表わす。機械シャッタ１１０の開放期間は、実質的に第１の撮像装置１０１と第２の撮像装置１０２の露光期間となる。そのため、矩形の符号４１０と矩形の符号４２０を、露光期間４１０と露光期間４２０ということもある。
信号波形４１１および４２１は転送スイッチ３０４の制御線ｐＴＸ１での入力信号の波形を示す。転送スイッチ３０４の制御線ｐＴＸ１がＬレベルからＨレベルに制御されると、転送スイッチ３０４がオン状態になり、光電変換部３０１にある電荷はＦＤ３０２を含む入力ノード３０３に転送される。
次に、光電変換部３０１からＦＤ３０２への電荷転送を終えた後に制御線ｐＴＸ１の制御信号をＨレベルからＬレベルに戻す。
信号波形４１２および４２２は選択トランジスタ３０７の制御線ｐＳＥＬでの入力信号の波形を示す。選択トランジスタ３０７の制御線ｐＳＥＬがＬレベルからＨレベルに制御されると、選択トランジスタ３０７がオン状態になり、電源３０９から増幅部３０６を経た電流を垂直出力線３０８に出力する。
信号波形４１３および４２３はリセットトランジスタ３０５の制御線ｐＲＥＳでの入力信号の波形を示す。リセットトランジスタ３０５の制御線ｐＲＥＳがＬレベルからＨレベルに制御されると、リセットトランジスタ３０５がオン状態になり、ＦＤ３０２を含む入力ノード３０３にある電荷は電源３０９に排出される。
図４に示すように、第１の撮像装置１０１および第２の撮像装置１０２は、行順次に露光するように、これらの撮像装置の機械シャッタ１１０は、１フレーム内で繰り返し開閉を行う。
機械シャッタ１１０の開放期間は、実質的に第１および第２の撮像装置での露光期間となる。すなわち、機械シャッタ４１０および４２０が行順次で開放されている期間、第１および第２の撮像装置の対応する画素行の光電変換部３０１に入射した光は電荷に変換される。機械シャッタ４１０および４２０が閉鎖されている期間、第１および第２の撮像装置の対応する画素行の光電変換部３０１は電荷を生成せず、電荷を保持し続ける。こうして機械シャッタ４１０および４２０の行順次開閉、即ち第１および第２の撮像装置の対応する画素行への露光を繰り返して光電変換部３０１に電荷を蓄積させる。
任意のフレームにおいて、機械シャッタ４１０および４２０の行順次の最終開閉は、第１および第２の撮像装置の対応する画素行への最終露光である。例えば第１の撮像装置の１行目であれば図４中のＴ４４およびＴ４５、第２の撮像装置の１行目であれば図４中のＴ４６およびＴ４７に当たる。
最終行まで露光が終了した後、第１および第２の撮像装置の制御線ｐＳＥＬ４１２、４２２に制御信号を行順次でＬレベルからＨレベルへ入力する。次に、制御線ｐＳＥＬ４１２、４２２の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ４１３、４２３に制御信号を行順次でＬレベルからＨレベルへ入力する。この操作により、入力ノード３０３に残留する電荷を電源３０９に排出する。次に、制御線ｐＳＥＬ４１２、４２２の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ４１３、４２３に制御信号を行順次にＨレベルからＬレベルへ戻して、リセットトランジスタ３０５をオン状態からオフ状態にする。次に、制御線ｐＳＥＬ４１２、４２２の制御信号をＨレベルに保ちつつ、制御線ｐＴＸ４１２、４２２に制御信号を行順次にＬレベルからＨレベルに入力することにより、光電変換部３０１に蓄積された電荷をＦＤ３０２に転送する。ＦＤ３０２に転送された電荷は増幅部３０６によって増幅された画素信号となる。増幅された画素信号は、選択トランジスタ３０７から垂直出力線３０８に出力される。光電変換部３０１からＦＤ３０２へ電荷転送を終えた後に、制御線ｐＴＸの４１２、４２２は制御信号を行順次にＨレベルからＬレベルへ戻して、転送スイッチ３０４をオン状態からオフ状態にする。最後に、制御線ｐＳＥＬ４１２、４２２の制御信号をＨレベルからＬレベルへ戻して、選択トランジスタ３０７をオン状態からオフ状態にする。
図４においては、１フレームにおける第１の撮像装置１０１の複数の露光期間を符号４１００、４１１０で示している。同様に、１フレームにおける第２の撮像装置１０２の複数の露光期間を符号４２００、４２１０で示している。つまり、第１および第２の撮像装置において、１フレーム内で複数の露光期間が繰り返されており、露光期間内に光電変換部３０１で生じた電荷は光電変換部３０１で加算される。
また、第１の撮像装置１０１の露光期間４１００、４１１０と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間４２００、４２１０が重複している。また、第１の撮像装置１０１の露光期間４１００、４１１０と第２の撮像装置１０１の露光期間４２００、４２１０とは相補的な関係となっている。すなわち、第１の撮像装置１０１の露光期間は、第２の撮像装置１０２の非露光期間に対応し、第１の撮像装置１０１の非露光期間は、第２の撮像装置１０２の露光期間に対応している。また、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間が重複していない上に、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の非露光期間も重複していない。
なお、図４では、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間は重複されていないが、以下で説明する図５のように、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間の一部が重なり合っていてもよい。図５の場合であっても、上記で説明したように、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間が重複しているという関係を満たしている。また、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間の重複する時間が長ければ長いほど、各撮像装置で取得される２つの画像は同時性が高い画像となるため、より高い精度で被写体までの距離を取得することが可能となる。ここで、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間の重複する期間を第１の期間とする。また、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間の重複する期間を第２の期間とする。さらに、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の非露光期間の重複する期間を第３の期間とする。この場合、第１の期間は、第２の期間および第３の期間よりも長くすることによって、同時性がより確保された画像を取得できることになる。
また、図４では、第１の撮像装置１０１の露光期間４１００、４１１０の長さは、第２の撮像装置１０２の露光期間４２００、４２１０の長さよりも長くなるように構成されている。しかし、第１の撮像装置１０１と第２の撮像装置１０２の露光期間の長さは一致していてもよいし、また、第２の撮像装置１０２の露光期間の長さが第１の撮像装置１０１の露光期間の長さよりも長くてもよい。第１の撮像装置１０１と第２の撮像装置１０２の露光期間の長さが異なる場合には、各撮像装置から取得される情報を合成して、ダイナミックレンジを拡大した画像を形成することも可能である。
本実施形態では、１フレーム内において、第１の撮像装置１０１と第２の撮像装置１０２の露光期間が複数回繰り返されているため、フリッカ対策をすることができる。
また、本実施形態では、第１の撮像装置１０１の非露光期間でも第２の撮像装置１０１の露光期間が存在し、かつ、第２の撮像装置１０２の非露光期間でも第１の撮像装置１０１の露光期間が存在することになる。第２の撮像装置１０２の非露光期間においても、第１の撮像装置１０１の露光期間が存在することから、特許文献１に記載された技術よりも、情報の欠落を抑制することができるという効果がある。
（第２の実施形態）
本実施形態は、電子シャッタを用いて露光期間を制御する点で、第１の実施形態とは異なる。また、本実施形態は、光電変換部とＦＤとの間に電荷保持部を有することを特徴とする。以下、図６、図７、図８等を参照しつつ、説明を行う。
（撮像システムのブロック図）
図６は本実施形態にかかる撮像システムのブロック図である。撮像システム６００は少なくとも２台の撮像装置１０１、１０２、信号処理部１０３、光学制御部１０４、シャッタ・撮像装置制御部１０５、画像表示部１０６、記録部１０７、システムコントローラ１０８を備える。
またシャッタ・撮像装置制御部１０５は、２台の撮像装置１０１、１０２の動作を同期させる。具体的には、シャッタ・撮像装置制御部１０５は、２台の撮像装置１０１と１０２を同期させる周期信号の生成や、撮像装置１０１と１０２の各々の露光期間制御、画像信号の生成および出力に関わる時期を制御する信号生成を行う。
（撮像装置のブロック図）
本実施形態にかかる撮像装置は図２と同様のブロック配置を採り得る。もっとも、制御部１２には、垂直走査部１３を介して、画素行毎または複数の画素行毎にシャッタ動作を行う駆動信号を供給する機能が付け加えられている。
（画素部の等価回路図）
図７は、画素１１の等価回路の構成を示す。画素１１は、図２の構成に加えて、電荷保持部３１０と、光電変換部３０１から電荷保持部３１０に電荷を転送する第１の転送スイッチ３０４と、電荷保持部３１０からフローティングディフュージョン３０２に電荷を転送する第２の転送スイッチ３１１を含む。また、光電変換部３０１から電源３０９へ電荷を排出するオーバーフロードレイントランジスタ３１２を含む。
第１の転送スイッチ３０４、第２の転送スイッチ３１１、オーバーフロードレイントランジスタ３１２を同一行で一斉に動作するために、同一行に配されている複数の画素は制御線ｐＴＸ１、ｐＴＸ２、ｐＯＦＤに接続される。
（タイミングチャート）
図８は、撮像システム６００の動作を説明するタイミング図である。矩形の符号８１０および８２０は、第１の撮像装置１０１および第２の撮像装置１０２の露光期間を示す。すなわち、矩形部分は露光期間、矩形がない部分は非露光期間を表わす。
信号波形８１１および８２１は、第１の転送スイッチ３０４の制御線ｐＴＸ１での入力信号の波形を示す。第１転送スイッチ３０４の制御線ｐＴＸ１がＬレベルからＨレベルに制御されると、転送スイッチ３０４が動作して、光電変換部３０１にある電荷は電荷保持部３１０に転送される。
信号波形８１２および８２２は、第２の転送スイッチ３１１の制御線ｐＴＸ２での入力信号の波形を示す。第２の転送スイッチ３１１の制御線ｐＴＸ２がＬレベルからＨレベルに制御されると、第２の転送スイッチ３１１が動作して、電荷保持部３１０にある電荷はＦＤ３０２に転送される。すなわち、電荷が増幅部３０６の入力ノード３０３に転送される。
信号波形８１３および８２３は、オーバーフロードレイントランジスタ３１２の制御線ｐＯＦＤでの入力信号の波形を示す。オーバーフロードレイントランジスタ３１２の制御線ｐＯＦＤがＬレベルからＨレベルに制御されると、オーバーフロードレイントランジスタ３１２が動作して、光電変換部３０１にある電荷は電源３０９に排出される。
信号波形８１４および８２４は、選択トランジスタ３０７の制御線ｐＳＥＬでの入力信号の波形を示す。選択トランジスタ３０７の制御線ｐＳＥＬがＬレベルからＨレベルに制御されると、選択トランジスタ３０７が動作して、電源３０９から増幅部３０６を経た電流を垂直出力線３０８に出力する。
信号波形８１５および８２５はリセットトランジスタ３０５の制御線ｐＲＥＳでの入力信号の波形を示す。リセットトランジスタ３０５の制御線ｐＲＥＳがＬレベルからＨレベルに制御されると、リセットトランジスタ３０５が動作して、ＦＤ３０２および増幅部３０６の入力ノード３０３にある電荷は電源３０９に排出される。
露光期間８１０および８２０に先立って、制御線ｐＯＦＤの８１３、８２３に制御信号をＬレベルからＨレベルへ入力する。これにより、光電変換部３０１に残留する電荷は電源３０９に排出される。
次に、制御線ｐＯＦＤの８１３、８２３について、制御信号がＨレベルからＬレベルへ行順次で戻ると、第１および第２の撮像装置は露光期間８１０および８２０を開始する。
次に、制御線ｐＴＸ１の８１１、８２１に制御信号をＬレベルからＨレベルに入力すると露光期間８１０および８２０を終了して、光電変換部３０１から電荷保持部３１０への電荷転送を開始する。
次に、光電変換部３０１から電荷保持部３１０への電荷転送を終えた後に、制御線ｐＴＸ１の８１１、８２１は制御信号をＨレベルからＬレベルに戻す。
次に、第１、第２の撮像装置において、上記した駆動方法を用いて、任意のフレームの２回目以降の露光、光電変換部３０１から電荷保持部３１０への電荷の転送がなされる。
このように、任意のフレーム内で繰り返される露光によって、露光期間内に光電変換部３０１で生じた電荷は電荷保持部３１０で加算される。
任意のフレームにおいて、第１、第２の撮像装置での行順次の最終露光は、例えば第１の撮像装置の１行目であれば図８中のＴ８０およびＴ８１、第２の撮像装置の１行目であれば図８中のＴ８２およびＴ８３の時期に当たる。
次に、第１および第２の撮像装置の制御線ｐＳＥＬ８１４、８２４に制御信号を行順次でＬレベルからＨレベルへ入力する。そして、制御線ｐＳＥＬ８１４、８２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ８１５、８２５に制御信号を行順次でＬレベルからＨレベルへ入力する。この操作により、増幅部３０６の入力ノード３０３に残留する電荷を電源３０９に排出する。
次に、制御線ｐＳＥＬ８１４、８２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ８１５、８２５の制御信号は行順次でＨレベルからＬレベルへ戻す。
次に、制御線ｐＳＥＬ８１４、８２４の制御信号をＨレベルに保ちつつ、第１、第２の撮像装置の制御線ｐＴＸ２の８１２、８２２に制御信号をＬレベルからＨレベルに行順次で入力する。その結果、任意のフレーム内で繰り返された光電変換部３０１への露光で生じた電荷は電荷保持部３１０からＦＤ３０２へ転送される。ＦＤ３０２に転送された電荷は入力ノード３０３を通じて増幅部３０６を動作して増幅された画素信号となる。
そして既に第１および第２の撮像装置での制御線ｐＳＥＬの８１４，８２４は制御信号をＨレベルに入力しているため、増幅された画素信号は選択トランジスタ３０７から垂直出力線３０８に出力される。電荷保持部３１０からＦＤ３０２へ電荷転送を終えた後に、制御線ｐＴＸ２の８１２、８２２は制御信号をＨレベルからＬレベルへ行順次に戻す。最後に、制御線ｐＳＥＬ８１４、８２４の制御信号を、ＨレベルからＬレベルへ戻す。
図８に示すように、第１の撮像装置１０１および第２の撮像装置１０２は、行順次で露光がされ、かつ、１フレーム内で繰り返し露光が行われる。また、第１の撮像装置１０１の露光期間８１００、８１１０と第２の撮像装置１０１の露光期間８２００、８２１０とは相補的な関係となっている。また、第１の撮像装置１０１の露光期間８１００、８１１０と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間８２００、８２１０が重複している。
なお、図８では、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間は重複されていないが、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間の一部が重なり合っていてもよい。この場合であっても、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間が重複しているという関係を満たしている。
本実施形態では、１フレーム内において、第１の撮像装置１０１と第２の撮像装置１０２の露光期間が複数回繰り返されているため、フリッカ対策をすることができる。
また、本実施形態では、第１の撮像装置１０１の非露光期間でも第２の撮像装置１０１の露光期間が存在し、かつ、第２の撮像装置１０２の非露光期間でも第１の撮像装置１０１の露光期間が存在することになる。第２の撮像装置１０２の非露光期間においても、第１の撮像装置１０１の露光期間が存在することから、特許文献１に記載された技術よりも、情報の欠落を抑制することができるという効果がある。
（第３の実施形態）
本実施形態は、各行に配されている画素の露光期間をそろえるグローバル電子シャッタ方式を採用した撮像システムである。図２に示した撮像装置、図６に示した撮像システム、図７に示した画素部の等価回路図は、本実施形態にも適用される。
（タイミングチャート）
図９は、本実施形態での撮像システムの動作を説明するタイミング図である。矩形の符号９１０および９２０は、撮像システム６００において第１の撮像装置１０１および第２の撮像装置１０２の露光期間を示す。すなわち、矩形部分は露光期間、矩形がない部分は非露光期間を表す。
信号波形９１１および９２１は、第１の転送スイッチ３０４の制御線ｐＴＸ１での入力信号の波形を表す。信号波形９１２および９２２は、第２の転送スイッチ３１１の制御線ｐＴＸ２での入力信号の波形を表す。信号波形９１３および９２３はオーバーフロードレイントランジスタ３１２の制御線ｐＯＦＤでの入力信号の波形を表す。信号波形９１４および９２４は選択トランジスタ３０７の制御線ｐＳＥＬでの入力信号の波形を表す。信号波形９１５および９２５はリセットトランジスタ３０５の制御線ｐＲＥＳでの入力信号の波形を表す。
図８において、各行の画素は、全行一括して露光期間の開始と終了が行われ、かつ、１フレーム内で複数の露光が繰り返して行われる。
全行一括の露光期間９１０および９２０に先立って、制御線ｐＯＦＤの９１３、９２３に制御信号を全行一斉にＬレベルからＨレベルへ入力する。これにより、全画素の光電変換部３０１に残留する電荷は電源３０９に排出される。
次に、制御ｐＯＦＤの９１３、９２３について、制御信号がＨレベルからＬレベルへ全画素一斉に戻ると、第１および第２の撮像装置は露光期間９１０および９２０を全画素一斉に開始する。
次に、制御線ｐＴＸ１の９１１、９２１に制御信号を全行一斉にＬレベルからＨレベルに入力すると、全画素一斉に露光期間９１０および９２０を終了して、全画素一斉に光電変換部３０１から電荷保持部３１０へ電荷を転送する。
次に、全画素一斉に光電変換部３０１から電荷保持部３１０への電荷転送を終えた後に、全行の制御線ｐＴＸ１の９１１、９２１は制御信号をＨレベルからＬレベルへ一斉に戻す。
次に、第１、第２の撮像装置において、上記した駆動方法を用いて、任意のフレームの２回目以降の露光、光電変換部３０１から電荷保持部３１０への電荷の転送がなされる。
このように、任意のフレーム内で繰り返される露光によって、露光期間内に光電変換部３０１で生じた電荷は電荷保持部３１０で加算される。
任意のフレームにおいて、第１、第２の撮像装置での全画素一括の最終露光は、例えば第１の撮像装置であれば図９中のＴ９０およびＴ９１、第２の撮像装置であれば図９中のＴ９２およびＴ９３に当たる。
全画素一斉の最終露光後に、制御線ｐＳＥＬ９１４、９２４に制御信号を行順次でＬレベルからＨレベルへ入力する。次に、制御線ｐＳＥＬ９１４、９２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ９１５、９２５に制御信号を行順次でＬレベルからＨレベルへ入力する。この操作により、ＦＤ３０２および入力ノード３０３に残留する電荷を電源３０９に排出する。次に、制御線ｐＳＥＬ９１４、９２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ９１５、９２５の制御信号は行順次でＨレベルからＬレベルへ戻す。
続いて、制御線ｐＳＥＬ９１４、９２４の制御信号をＨレベルに保ちつつ、制御線ｐＴＸ２の９１２、９２２に制御信号を行順次にＬレベルからＨレベルに入力する。その結果、任意のフレーム内で繰り返された光電変換部３０１への露光で生じた電荷は行順次に第１の電荷保持部３１０からＦＤ３０２へ転送される。電荷保持部３１０に転送された電荷は入力ノード３０３を通じて増幅部３０６を動作して増幅された画素信号となる。
増幅された画素信号は、ｎフレームの露光であればＴ９００およびＴ９０２の期間に、ｎ＋１フレームの露光であればＴ９０１およびＴ９０３の期間に選択トランジスタ３０７から垂直出力線３０８に画素信号を出力する。行順次に電荷保持部３１０からＦＤ３０２へ電荷転送を終えた後に、全行の制御線ｐＴＸ２の９１２、９２２は制御信号をＨレベルからＬレベルへ行順次に戻す。
最後に、制御線ｐＳＥＬ９１４、９２４の制御信号を行順次でＨレベルからＬレベルへ戻す。
図９に示すように、第１の撮像装置１０１および第２の撮像装置１０２は、全行一括で露光がされ、かつ、１フレーム内で繰り返し露光が行われる。また、第１の撮像装置１０１の露光期間９１００、９１１０と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間９２００、９２１０が重複している。
本実施形態では、全行一括で、露光期間の開始と終了が決定されているため、時間の同時性が確保された撮像が可能となり、高速に運動する物体を撮像する際に生じやすい像歪みを抑制した撮像が可能となる。
また、本実施形態では、１フレーム内において、第１の撮像装置１０１と第２の撮像装置１０２の露光期間が複数回繰り返されているため、フリッカ対策をすることができる。
さらに、本実施形態では、第１の撮像装置１０１の非露光期間でも第２の撮像装置１０１の露光期間が存在し、かつ、第２の撮像装置１０２の非露光期間でも第１の撮像装置１０１の露光期間が存在することになる。第２の撮像装置１０２の非露光期間においても、第１の撮像装置１０１の露光期間が存在することから、特許文献１に記載された技術よりも、情報の欠落を抑制することができるという効果がある。
なお、図９では、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間は重複されていない。しかし、図１０（Ａ）に示すように第１の撮像装置１０１の露光期間１０１０と第２の撮像装置１０２の露光期間１０２０の一部が重なり合っていてもよい。この場合であっても、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間が重複しているという関係を満たしている。
また、図１０（Ｂ）に示すように、第１の撮像装置１０１の非露光期間の全てと第２の撮像装置１０２の露光期間１０２０が重複し、第２の撮像装置１０２の非露光期間の全てと第１の撮像装置１０１の露光期間１０１０が重複するようにすることも可能である。この構成によれば、システム全体として、非露光期間がなくなるため、より情報の欠落を抑制することができるという効果がある。
なお、本実施形態では、第１の撮像装置１０１と第２の撮像装置１０２は、両方ともグローバル電子シャッタの駆動で動作していたが、一方をグローバル電子シャッタの駆動で動作させ、他方をローリングシャッタの駆動を動作させてもよい。
（第４の実施形態）
本実施形態は、グローバル電子シャッタ方式を採用した撮像システムである。第３の実施形態と異なるのは、１つの画素に対して、電荷蓄積部を２つ有する点である。図２に示した撮像装置、図６に示した撮像システムは、本実施形態にも適用される。
（画素部の等価回路図）
図１１は撮像装置１０１または１０２での画素１１の等価回路の構成を示したものである。
画素１１は図７で説明した構成に加えて、第２の電荷保持部３１３、第３の転送スイッチ３１４、第４の転送スイッチ３１５を含む。第３の転送スイッチ３１４および第４の転送スイッチ３１５を各々一斉に動作・停止制御する制御線ｐＴＸ３、ｐＴＸ４が同じ行に配された複数の画素と接続される。
光電変換部３０１で生成された電荷は、第３の転送スイッチ３１４の動作によって光電変換部３０１から第２の電荷保持部３１３に転送され、第２の電荷保持部３１３は転送された電荷を保持する。
第３の転送スイッチ３１４は、制御線ｐＴＸ３を通じて供給される信号によって電荷の転送と停止を制御される。具体的には、制御線ｐＴＸ３がＬレベルからＨレベルになると、第３の転送スイッチ３１４は電荷を転送し、制御線ｐＴＸ３がＨレベルからＬレベルになると第３の転送スイッチ３１４は電荷転送を停止する。
第４の転送スイッチ３１５は、第２の電荷保持部３１３で生成された電荷を電荷保持部３１０に転送する。第４の転送スイッチ３１５は制御線ｐＴＸ４を通じて供給される信号によって電荷の転送と停止を制御される。具体的には、制御線ｐＴＸ４がＬレベルからＨレベルになると、第３の転送スイッチ３１５は電荷を転送し、制御線ｐＴＸ４がＨレベルからＬレベルになると第４の転送スイッチ３１５は電荷転送を停止する。
（タイミングチャート）
図１２は、本実施形態の撮像システムの動作を説明するタイミング図である。矩形の符号１２１０および１２２０は、撮像システム６００において第１および第２の撮像装置の露光期間を示す。すなわち、矩形部分は露光期間、矩形がない部分は非露光期間を表す。
信号波形１２１１および１２２１は、第１の転送スイッチ３０４の制御線ｐＴＸ１での入力信号の波形を表す。信号波形１２１２および１２２２は、第２の転送スイッチ３１１の制御線ｐＴＸ２での入力信号の波形を表す。信号波形１２１３および１２２３は、第３の転送スイッチ３１４の制御線ｐＴＸ３での入力信号の波形を表す。信号波形１２１４および１２２４は、第４の転送スイッチ３１５の制御線ｐＴＸ４での入力信号の波形を表す。信号波形１２１５および１２２５はオーバーフロードレイントランジスタ３１２の制御線ｐＯＦＤでの入力信号の波形を表す。信号波形１２１６および１２２６は選択トランジスタ３０７の制御線ｐＳＥＬでの入力信号の波形を表す。信号波形１２１７および１２２７はリセットトランジスタ３０５の制御線ｐＲＥＳでの入力信号の波形を表す。
本実施形態で、撮像装置１０１または１０２の画素１１は、光電変換部３０１に対して並列に接続する第１の電荷保持部３１０と第２の電荷保持部３１３を有する。第１の電荷保持部３１０と第２の電荷保持部３１３は、例えばフレームごとに機能が分けられる。例えば、図１２のｎフレームでは、光電変換部３０１から第１の電荷保持部３１０に複数回電荷が転送されるが、第２の電荷保持部は保持している電荷を行順次でＦＤ３０２で転送している。他方、図１２のｎ＋１フレームでは逆に、光電変換部３０１から第２の電荷保持部３１３に複数回電荷が転送されており、この間、第１の電荷保持部３１０は保持している電荷を行順次でＦＤ３０２に転送している。このように、フレーム毎に第１の電荷保持部３１０と第２の電荷保持部３１３は機能が交互に入れ替わっている。
ｎフレームでの初回の全行一括の露光１２１０および１２２０に先立って、制御線ｐＯＦＤの１２１５、１２２５に制御信号を全行一斉にＬレベルからＨレベルへ入力する。これにより、全画素の光電変換部３０１に残留する電荷は電源３０９に排出される。
制御線ｐＯＦＤの１２１５、１２２５について、制御信号がＨレベルからＬレベルへ全画素一斉に戻ると、第１および第２の撮像装置は露光１２１０および１２２０を全画素一斉に開始する。
次に、制御線ｐＴＸ１の１２１１、１２２１に制御信号を全行一斉にＬレベルからＨレベルに入力すると、全画素一斉に露光１２１０および１２２０を終了して、全画素一斉に光電変換部３０１から第１のＦＤ３０２へ電荷を転送する。
次に、全画素一斉に光電変換部３０１から第１の電荷保持部３１０への電荷転送を終えた後に、全行の制御線ｐＴＸ１の１０１１、１０２１は制御信号をＨレベルからＬレベルへ一斉に戻す。光電変換部３０１での露光期間は全画素に渡って同一期間となり、その期間に生じた電荷は第１の電荷保持部３１０へ転送される。
次に、ｎフレームの２回目以降の露光を行う際、露光開始直前に制御線ｐＯＦＤの１０１５、１０２５に制御信号を全行一斉にＬレベルからＨレベルへ入力して、非露光期間で光電変換部３０１に蓄積した電荷を電源３０９に排出する。
次に、制御線ｐＯＦＤの１０１５、１０２５での制御信号がＨレベルからＬレベルへ全行一斉に戻ると、第１、第２の撮像装置は露光を全画素一斉に開始する。
以降の光電変換部３０１の露光終了、光電変換部３０１から第１の電荷保持部３１０への電荷転送までの手順は、ｎフレームの初回の露光と同一駆動である。
ｎフレーム内で繰り返される光電変換部３０１での露光期間に生じた電荷は、第１の電荷保持部３１０で加算される。ｎフレームにおいて、第１、第２の撮像装置での全画素一斉の最終露光は、例えば第１の撮像装置であれば図１２中のＴ１２０、第２の撮像装置であれば図１２中のＴ１２５に当たる。
全画素一斉の最終露光後に、制御線ｐＳＥＬ１２１６、１２２６に制御信号を行順次でＬレベルからＨレベルへ入力する。次に、制御線ｐＳＥＬ１２１６、１２２６の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ１２１５、１２２５に制御信号を行順次でＬレベルからＨレベルへ入力する。この操作により、入力ノード３０３に残留する電荷を電源３０９に排出する。次に、制御線ｐＳＥＬ１２１６、１２２６の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ１２１５、１２２５の制御信号は行順次でＨレベルからＬレベルへ戻す。
続いて、制御線ｐＳＥＬ１２１６、１２２６の制御信号をＨレベルに保ちつつ、制御線ｐＴＸ２の１２１２、１２２２に制御信号を行順次にＬレベルからＨレベルに入力する。その結果、任意のフレーム内で繰り返された光電変換部３０１への露光で生じた電荷は行順次に第１の電荷保持部３１０からＦＤ３０２へ転送される。電荷保持部３１０に転送された電荷は入力ノード３０３を通じて増幅部３０６を動作して増幅された画素信号となる。
増幅された画素信号は、ｎフレームの露光であればＴ１２０１およびＴ１２０５の期間に、選択トランジスタ３０７から垂直出力線３０８に画素信号を出力する。行順次に第１のＦＤ３０２から電荷保持部３１０へ電荷転送を終えた後に、全行の制御線ｐＴＸ２の１２１２、１２２２は制御信号をＨレベルからＬレベルへ行順次に戻す。
最後に、制御線ｐＳＥＬ１２１４、１２２４の制御信号を行順次でＨレベルからＬレベルへ戻す。
一方、光電変換部３０１から第２の電荷保持部３１３へ電荷を転送する経路の駆動手順は以下の通りである。
ｎフレーム開始時に、全画素の第２の電荷保持部３１３は既にｎ−１フレームでの光電変換部３０１への露光で生じた電荷を加算・蓄積している。例えばｎ−１フレームにおいて、第２の撮像装置での全画素一斉の最終露光は、第２の撮像装置であれば図１２中のＴ１２４の時期に当たる。この全画素一斉の最終露光後に、制御線ｐＳＥＬ１２１４、１２２４に制御信号を行順次でＬレベルからＨレベルへ入力する。
初めに、制御線ｐＳＥＬ１２１４、１２２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ１２１５、１２２５に制御信号を行順次でＬレベルからＨレベルへ入力する。この操作により、入力ノード３０３に残留する電荷を電源３０９に排出する。入力ノード３０３に残留する電荷を排出後に、制御線ｐＳＥＬ１２１４、１２２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ１２１５、１２２５の制御信号は行順次でＬレベルからＨレベルへ戻す。
続いて、制御線ｐＳＥＬ１２１６、１２２６の制御信号をＨレベルに保ちつつ、制御線ｐＴＸ４の１２１４、１２２４に制御信号を行順次にＬレベルからＨレベルに入力する。その結果、任意のフレーム内で繰り返された光電変換部３０１への露光で生じた電荷は行順次に第２の電荷保持部３１３から電荷保持部３１０へ転送される。電荷保持部３１０に転送された電荷は入力ノード３０３を通じて増幅部３０６を動作して増幅された画素信号となる。
増幅された画素信号は、ｎ−１フレームの露光であればＴ１２００およびＴ１２０４の期間に、選択トランジスタ３０７から垂直出力線３０８に画素信号を出力する。行順次に第２の電荷保持部３１３から電荷保持部３１０へ電荷転送を終えた後に、全行の制御線ｐＴＸ４の１２１４、１２２４は制御信号をＨレベルからＬレベルへ行順次に戻す。
次に、制御線ｐＳＥＬ１２１６、１２２６の制御信号を行順次でＨレベルからＬレベルへ戻す。このようにｎフレームの期間において、ｎ−１フレームでの光電変換部３０１への露光で生じた第２の電荷保持部で蓄積されていた電荷は垂直出力線３０８に出力される。
同様に、ｎ＋１フレームでは、全画素一括で制御線ｐＴＸ３をＬレベルからＨレベルにすることにより、複数回オン状態とし、光電変換部３０１から第２の電荷保持部３１３に複数回電荷を転送する。第２の電荷保持部３１３は、複数回転送された電荷を保持する。他方、第１の電荷保持部３１０は、行順次で制御線ｐＴＸ２をＬレベルからＨレベルにすることより、第１の電荷保持部３１０からＦＤ３０２へ電荷が転送される。また、上記の駆動と同様に、Ｔ１２０１およびＴ１２０５の期間に、垂直出力線３０８に画素信号が出力される。
このように、本実施形態では、ｎフレーム（第１のフレーム）においては、第１の転送スイッチ３０４を複数回オンして、第１の電荷保持部３１０で電荷を蓄積している。また、ｎ＋１フレーム（第２のフレーム）においては、第３の転送スイッチ３１４を複数回オンして、第２の電荷保持部３１３で電荷を蓄積する。さらに、ｎフレームでは、第３の転送スイッチ３１４がオフに維持され、ｎ＋１フレームでは、第１の転送スイッチ３０４がオフに維持されている。
本実施形態では、全行一括で、露光期間の開始と終了が決定されているため、時間の同時性が確保された撮像が可能となり、高速に運動する物体を撮像する際に生じやすい像歪みを抑制した撮像が可能となる。
また、本実施形態では、１フレーム内において、第１の撮像装置１０１と第２の撮像装置１０２の露光期間が複数回繰り返されているため、フリッカ対策をすることができる。
さらに、本実施形態では、第１の撮像装置１０１の非露光期間でも第２の撮像装置１０１の露光期間が存在し、かつ、第２の撮像装置１０２の非露光期間でも第１の撮像装置１０１の露光期間が存在することになる。第２の撮像装置１０２の非露光期間においても、第１の撮像装置１０１の露光期間が存在することから、特許文献１に記載された技術よりも、情報の欠落を抑制することができるという効果がある。
加えて、本実施形態では、光電変換部３０１から繰り返し電荷を蓄積する電荷保持部を２つ備えている。このため、任意のフレームでは、一方の電荷保持部を光電変換部３０１から繰り返し電荷を蓄積する役割とし、他方の電荷保持部を後段に電荷を転送する役割とすることができる。また、フレームごとに、繰り返し電荷を蓄積する役割と、後段に電荷を転送する役割を交互に第１の電荷保持部と第２の電荷保持部に割り振ることができる。そのため、露光期間と電荷の転送期間の自由度を確保した駆動が可能となる。
なお、図１２では、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間は重複されていない。しかし、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間の一部が重なり合っていてもよい。
また、図１２では、第１の撮像装置１０１の各露光期間の長さよりも、第２の撮像装置１０２の各露光期間の長さが短い。しかし、図１３に示すように、第１の撮像装置１０１の各露光期間の長さと、第２の撮像装置１０２の各露光期間の長さが等しくなるように構成することも可能である。
さらに、本実施形態においても、第１の撮像装置１０１の非露光期間の全てと第２の撮像装置１０２の露光期間が重複し、第２の撮像装置１０２の非露光期間の全てと第１の撮像装置１０１の露光期間が重複するようにすることも可能である。この構成によれば、システム全体として、非露光期間がなくなるため、より情報の欠落を抑制することができるという効果がある。
なお、本実施形態では、第１の撮像装置でのｎフレームの画素信号はｎフレームからｎ＋１フレームにかけて垂直出力線３０８に出力している（Ｔ１２０１の期間）。また、第２の撮像装置でのｎフレームの画素信号はｎ＋１フレームで垂直出力線３０８に出力している（Ｔ１２０５の期間）。しかし、第１の撮像装置について、Ｔ１２０１の開始期間を遅らせて、垂直出力線３０８への出力をｎ＋１フレームに収めることも可能であり、この場合、両撮像装置の画素信号送出期間をｎ＋１フレームだけに収めることができる。
また、図１３に示した形態によれば、一方の撮像装置での任意のフレーム内での露光周期が、他方の撮像装置での任意のフレーム内で露光周期と等しく、露光周期の位相が逆位相の関係にある。このような構成は、シャッタ・撮像装置制御部１０５が、信号生成器および分周器より出力される信号を各々撮像装置のシャッタ制御信号として用いることで実現可能である。信号生成器は、露光開始と終了のタイミングを生成し、分周器はそのタイミングに対して逆位相の遅延信号を生じさせるものである。このため、簡便な回路構成でサンプリング頻度の高める効果を得られる。
（第５の実施形態）
図１４は本発明の撮像システムを車両に搭載した例である。
図１４（Ａ）に、車両システムおよび撮像システムの概略を示す。
本実施形態において、撮像システム１４００は、本発明に係る測距画素および撮像画素を含む撮像システムである。撮像システム１４００は、撮像装置１４０４〜１４１７により取得された複数の画像データに対し、画像処理を行う画像処理部１０３００を有する。また、撮像システム１４００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差算出部１０４００を有する。また、撮像システム１４００は、算出された視差に基づいて対象物までの距離を算出する距離計測部１０５００と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部１０６００と、を有する。ここで、視差算出部１０４００や距離計測部１０５００は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部１０６００はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などによって実現されてもよい。
撮像システム１４００は車両情報取得装置１３１００と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム１４００は、衝突判定部１０６００での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ１４１００と接続されている。また、撮像システム１４００は、衝突判定部１０６００での判定結果に基づいて、ドライバーへ警報を発する警報装置１４２００とも接続されている。例えば、衝突判定部１０６００の判定結果として衝突可能性が高い場合、制御ＥＣＵ１４１００はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置１４２００は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では車両の周囲、例えば前方または後方を撮像システム１４００で撮像する。図１４（Ｂ）に、車両前方および後方を撮像システムの配置例を示す。
第１および第２の撮像装置１４０４〜１４１７は車両１４０２の周囲に配置される。車両１４０２の進退方位または外形（例えば車幅）に対する中心線１４０３を対称軸に見立て、その対称軸に対して第１および第２の撮像装置の対が線対称に配置することができる。このような配置は、車両１４０２と被写対象物との距離計測や衝突可能性の判定を行う上で好ましい。
また第１および第２の撮像装置は、運転者が運転席から車両１４０１の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。
第１および第２の撮像装置の配置は、車両前方であれば例えば１４０４と１４０５、１４０６と１４０７、１４０８と１４０９、１４１０と１４１１の各対が挙げられる。また車両後方であれば、例えば１４１２と１４１３、１４１４と１４１５、１４１６と１４１７の各対が挙げられる。
また、上記では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、撮像システムは、自動車・鉄道等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
（その他の実施形態）
上記の各実施形態で記載した事項は、各実施形態間で相互に置換することが可能である。
１０ 撮像領域
１１ 画素
１００、６００ 撮像システム
１０１ 第１の撮像装置
１０２ 第２の撮像装置
３０１ 光電変換部
４１０、８１０、９１０、１０１０、１２１０ 第１の撮像装置の露光期間
４２０、８２０、９２０、１０２０、１２２０ 第２の撮像装置の露光期間

Claims (14)

  1. 第１の撮像装置と、
    第２の撮像装置と、
    前記第１の撮像装置と前記第２の撮像装置から取得した信号を処理する信号処理部とを有し、
    前記第１の撮像装置の露光期間と、前記第２の撮像装置の露光期間は、１フレーム内で複数回繰り返され、
    前記第１の撮像装置の露光期間と前記第２の撮像装置の非露光期間が重複し、前記第１の撮像装置の非露光期間と前記第２の撮像装置の露光期間が重複することを特徴とする撮像システム。
  2. 前記第１の撮像装置の露光期間の長さと、前記第２の撮像装置の露光期間の長さが異なることを特徴とする請求項１に記載の撮像システム。
  3. 前記第１の撮像装置の露光期間と前記第２の撮像装置の露光期間が重複することを特徴とする請求項１または２に記載の撮像システム。
  4. 前記第１の撮像装置の露光期間と前記第２の撮像装置の露光期間が重複しないことを特徴とする請求項１または２に記載の撮像システム。
  5. 前記第１の撮像装置の非露光期間と前記第２の撮像装置の非露光期間が重複しないことを特徴とする請求項１または２に記載の撮像システム。
  6. 前記第２の撮像装置の非露光期間と前記第１の撮像装置の露光期間が対応し、前記第１の撮像装置の非露光期間と前記第２の撮像装置の露光期間が対応することを特徴とする請求項１または２に記載の撮像システム。
  7. 前記第１の撮像装置の露光期間と前記第２の撮像装置の露光期間が重複している第１の期間は、前記第１の撮像装置の非露光期間と前記第２の撮像装置の露光期間が重複している第２の期間、および、前記第２の撮像装置の非露光期間と前記第１の撮像装置の露光期間が重複している第３の期間よりも長いことを特徴とする請求項１または２に記載の撮像システム。
  8. 前記第１の撮像装置の露光期間は、前記第１の撮像装置が有する機械シャッタの開放期間に対応し、前記第２の撮像装置の露光期間は、前記第２の撮像装置が有する機械シャッタの開放期間に対応することを特徴とする請求項１から７のいずれか１項に記載の撮像システム。
  9. 前記第１の撮像装置および前記第２の撮像装置は、二次元状に配された複数の画素を更に有し、
    前記複数の画素のそれぞれは、
    光電変換部と、
    光電変換部から転送される電荷を保持する電荷保持部と、を備えることを特徴とする請求項１から７のいずれか１項に記載の撮像システム。
  10. 前記複数の画素において、前記第１の撮像装置の露光期間の開始と終了が一括して行われることを特徴とする請求項９に記載の撮像システム。
  11. 前記第２の撮像装置が有する複数の画素において、前記第２の撮像装置の露光期間の開始と終了が一括して行われることを特徴とする請求項９または１０に記載の撮像システム。
  12. 前記電荷保持部は、第１の電荷保持部と、第２の電荷保持部を有し、
    前記複数の画素は、前記光電変換部から前記第１の電荷保持部に電荷を転送する第１の転送スイッチと、前記光電変換部から前記第２の電荷保持部に電荷を転送する第２の転送スイッチとを有し、
    第１のフレームにおいて、前記光電変換部から前記第１の電荷保持部に複数回電荷が転送され、前記第１のフレームとは異なる第２のフレームにおいて、前記光電変換部から前記第２の電荷保持部に複数回電荷が転送されることを特徴とする請求項９から１１のいずれか１項に記載の撮像システム。
  13. 前記信号処理部は、前記第１の撮像装置と前記第２の撮像装置から取得した信号から、被写体までの距離情報を取得することを特徴とする請求項１から１２のいずれか１項に記載の撮像システム。
  14. 請求項１から１３のいずれか１項に記載の撮像システムを有し、
    前記撮像システムは、
    前記第１の撮像装置と前記第２の撮像装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて移動体を制御する制御手段と、を有することを特徴とする移動体。
JP2016203167A 2016-10-15 2016-10-15 撮像システム Active JP6752679B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016203167A JP6752679B2 (ja) 2016-10-15 2016-10-15 撮像システム
EP17193643.8A EP3310036B1 (en) 2016-10-15 2017-09-28 Image pickup system
US15/727,377 US10948288B2 (en) 2016-10-15 2017-10-06 Image pickup system with overlap and non-overlap exposure period
CN201710949672.0A CN107959771B (zh) 2016-10-15 2017-10-13 图像拾取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016203167A JP6752679B2 (ja) 2016-10-15 2016-10-15 撮像システム

Publications (2)

Publication Number Publication Date
JP2018064257A true JP2018064257A (ja) 2018-04-19
JP6752679B2 JP6752679B2 (ja) 2020-09-09

Family

ID=60001698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016203167A Active JP6752679B2 (ja) 2016-10-15 2016-10-15 撮像システム

Country Status (4)

Country Link
US (1) US10948288B2 (ja)
EP (1) EP3310036B1 (ja)
JP (1) JP6752679B2 (ja)
CN (1) CN107959771B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019201335A (ja) * 2018-05-17 2019-11-21 キヤノン株式会社 撮像装置及び撮像システム
JPWO2021038692A1 (ja) * 2019-08-26 2021-03-04

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101777518B1 (ko) * 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
GB2586804B (en) * 2019-09-03 2022-02-16 Jaguar Land Rover Ltd Method and system for mitigating image flicker from strobed lighting systems
US11451716B2 (en) 2021-01-25 2022-09-20 Hand Held Products, Inc. Illumination control for imaging systems with multiple image sensors

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130570A (ja) * 2008-11-28 2010-06-10 Samsung Digital Imaging Co Ltd 撮像装置及び撮像方法
JP2011234318A (ja) * 2010-04-30 2011-11-17 Yamaha Corp 撮像装置
WO2014077047A1 (ja) * 2012-11-15 2014-05-22 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
WO2015098325A1 (ja) * 2013-12-25 2015-07-02 日立オートモティブシステムズ株式会社 車載画像認識装置
JP2015177258A (ja) * 2014-03-13 2015-10-05 コニカミノルタ株式会社 画像入力装置
US20150341620A1 (en) * 2014-05-23 2015-11-26 Lg Electronics Inc. Stereo camera and driver assistance apparatus and vehicle including the same
JP2016119652A (ja) * 2014-12-17 2016-06-30 キヤノン株式会社 撮像装置及び撮像素子の駆動方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002258358A (ja) 2001-03-02 2002-09-11 Minolta Co Ltd 撮影方法および撮影システムならびに３次元形状生成装置
JP2004135074A (ja) 2002-10-10 2004-04-30 Calsonic Kansei Corp 撮像装置
JP4899402B2 (ja) * 2005-10-05 2012-03-21 株式会社日立製作所 撮像装置
JP4208002B2 (ja) 2006-09-01 2009-01-14 ソニー株式会社 撮影装置および方法、並びにプログラム
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
JP2008252401A (ja) 2007-03-29 2008-10-16 Fujifilm Corp 撮像システム、撮像方法、および撮像プログラム
JP2009165081A (ja) 2008-01-10 2009-07-23 Panasonic Corp ステレオカメラシステム
CN101450646A (zh) 2008-12-29 2009-06-10 广东铁将军防盗设备有限公司 车辆避障告警系统及其相应的电路
JP5126344B2 (ja) 2010-11-18 2013-01-23 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
WO2014106843A2 (en) * 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US9240837B2 (en) 2013-03-12 2016-01-19 Google Inc. Systems and methods using optical communication for commissioning of network nodes
JP2015011320A (ja) 2013-07-02 2015-01-19 キヤノン株式会社 撮像装置及びその制御方法
WO2015075937A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130570A (ja) * 2008-11-28 2010-06-10 Samsung Digital Imaging Co Ltd 撮像装置及び撮像方法
JP2011234318A (ja) * 2010-04-30 2011-11-17 Yamaha Corp 撮像装置
WO2014077047A1 (ja) * 2012-11-15 2014-05-22 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
WO2015098325A1 (ja) * 2013-12-25 2015-07-02 日立オートモティブシステムズ株式会社 車載画像認識装置
US20170041591A1 (en) * 2013-12-25 2017-02-09 Hitachi Automotive Systems ,Ltd. Vehicle-Mounted Image Recognition Device
JP2015177258A (ja) * 2014-03-13 2015-10-05 コニカミノルタ株式会社 画像入力装置
US20150341620A1 (en) * 2014-05-23 2015-11-26 Lg Electronics Inc. Stereo camera and driver assistance apparatus and vehicle including the same
JP2016119652A (ja) * 2014-12-17 2016-06-30 キヤノン株式会社 撮像装置及び撮像素子の駆動方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019201335A (ja) * 2018-05-17 2019-11-21 キヤノン株式会社 撮像装置及び撮像システム
JP7150469B2 (ja) 2018-05-17 2022-10-11 キヤノン株式会社 撮像装置及び撮像システム
JPWO2021038692A1 (ja) * 2019-08-26 2021-03-04
WO2021038692A1 (ja) * 2019-08-26 2021-03-04 株式会社日立国際電気 撮像装置、撮像方法、および映像処理プログラム
JP7237164B2 (ja) 2019-08-26 2023-03-10 株式会社日立国際電気 撮像装置、撮像方法、および映像処理プログラム

Also Published As

Publication number Publication date
EP3310036A1 (en) 2018-04-18
CN107959771A (zh) 2018-04-24
EP3310036B1 (en) 2020-11-11
CN107959771B (zh) 2021-02-23
US10948288B2 (en) 2021-03-16
US20180106613A1 (en) 2018-04-19
JP6752679B2 (ja) 2020-09-09

Similar Documents

Publication Publication Date Title
JP6752679B2 (ja) 撮像システム
CN107710742B (zh) 固态成像元件、驱动方法和电子设备
CN107896307B (zh) 具有高动态范围渲染功能的成像装置
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
JP7044107B2 (ja) 光センサ、及び、電子機器
TW202110166A (zh) 固體攝像裝置、信號處理晶片、及電子機器
JP7075208B2 (ja) 撮像装置および撮像システム
CN111434105B (zh) 固态成像元件、成像装置和固态成像元件的控制方法
JP7157529B2 (ja) 撮像装置、撮像システム、および撮像装置の駆動方法
WO2020175117A1 (ja) 測距装置、測距方法、並びにプログラム
WO2018008426A1 (ja) 信号処理装置および方法、並びに撮像装置
WO2018207666A1 (ja) 撮像素子及びその駆動方法、並びに、電子機器
WO2018105372A1 (ja) 固体撮像装置、駆動方法、および電子機器
WO2020175118A1 (ja) 測距装置、測距方法、並びにプログラム
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
US11189649B2 (en) Photoelectric conversion apparatus and image pickup system
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
JP7267719B2 (ja) 光電変換装置、移動体、信号処理装置
WO2021002071A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021192459A1 (ja) 撮像装置
WO2022004125A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020194905A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20200065987A1 (en) Signal processing apparatus, moving body, and stereo camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200819

R151 Written notification of patent or utility model registration

Ref document number: 6752679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151