JP2005295381A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2005295381A
JP2005295381A JP2004110008A JP2004110008A JP2005295381A JP 2005295381 A JP2005295381 A JP 2005295381A JP 2004110008 A JP2004110008 A JP 2004110008A JP 2004110008 A JP2004110008 A JP 2004110008A JP 2005295381 A JP2005295381 A JP 2005295381A
Authority
JP
Japan
Prior art keywords
pixel
pixels
signal processing
signal
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004110008A
Other languages
English (en)
Other versions
JP4665422B2 (ja
Inventor
Hisanobu Sugiyama
寿伸 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004110008A priority Critical patent/JP4665422B2/ja
Priority to US11/094,653 priority patent/US7746394B2/en
Priority to KR1020050027510A priority patent/KR101128540B1/ko
Publication of JP2005295381A publication Critical patent/JP2005295381A/ja
Priority to US12/541,743 priority patent/US8638378B2/en
Application granted granted Critical
Publication of JP4665422B2 publication Critical patent/JP4665422B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/1506—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements
    • H04N3/1512—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements for MOS image-sensors, e.g. MOS-CCD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】 通常の画像情報の取得と、距離計測やＩＤ認識用の信号検出を同時に行う。
【解決手段】 ＣＭＯＳイメージセンサの画素アレイ部内で、通常の画像を取得する画素と、３次元計測もしくはＩＤ認識用の画素を区別して設定し、それらを異なるフレームレートで読み出すとともに、異なる信号処理回路にて処理することにより、通常の撮像画像（自然画像）と、３次元情報やＩＤ情報の同時取得を行なうようにした。例えば、カラーフィルタの１組のマトリクスを構成する画素のうちの１つにカラーフィルタのないＷ画素を設け、これを３次元計測もしくはＩＤ認識用の画素として用いる。そして、この異なるフレームレートや信号処理回路を用いる画素は、異なる制御線にて制御され、異なる信号線によって読み出される。
【選択図】 図１

Description

本発明は、自然画像の撮影機能に加えて各種情報を示す光信号の検出を行う機能を具備した撮像装置に関する。
近年、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像デバイスが安価で容易に入手可能となり、カムコーダ、デジタルスチルカメラ、携帯電話、パーソナルコンピュータなど、多くの家電やＩＴ機器にカメラが搭載されるようになって来た。特に、ＣＭＯＳイメージセンサでは、一般のＭＯＳデバイスとの製造上の整合性のよさから、イメージセンシング部以外のシステム部も同一チップに搭載することも可能であり、信号処理部、ＡＤＣなどを混載することも行われている。
また、さらには、イメージセンサ上で、アナログ、もしくはデジタルで何らかの演算処理を実行することにより、センサとして、単に画像を取得するのみでなく、何らかの機能を付加した例もある（例えば、特許文献１参照）。
以下、このイメージセンサについて説明する。
図９はＣＭＯＳイメージセンサの構成を示すブロック図である。
このイメージセンサは、通常の画像（ここでは自然画像という）と画像中の被写体の３次元距離情報を取得できるセンサの例であり、２次元配列された複数の画素（ピクセル）によって光を受光する画素アレイ部１０と、この画素アレイ部１０から読み出される画素信号をＩ−Ｖ（電流−電圧）変換処理するＩ−Ｖ変換回路部１２と、画像信号に含まれる画素間のばらつきを除去するＣＤＳ（相関二重サンプリング）回路部１４と、画素アレイ部１０によって検出された画素信号を保持するアナログメモリアレイ部１６、画素アレイ部１０による検出信号をアナログメモリアレイ部１６に出力するカレントミラー部１８と、アナログメモリアレイ部１６のメモリ値を比較して比較結果（差分値）をラッチするコンパレータ／ラッチ部２０と、画素アレイ部１０のスキャン動作を制御するピクセルＶスキャナ２２及びピクセルＨスキャナ２４と、アナログメモリアレイ部１６のスキャン動作を制御するメモリＶスキャナ２６及びメモリＨスキャナ２８などを有して構成される。
図１０は図９に示す各回路の接続構成を示すブロック図であり、図１１は図１０に示す画素アレイ部１０のスイッチ動作を示すブロック図である。また、図１２は図９に示す画素アレイ部１０の各画素の構成を示す回路図である。
図１０において、画素アレイ部１０には、Ｙｅ、Ｃｙ、Ｇ、Ｍｇの各色に対応する４つの画素３０を示しており、アナログメモリアレイ部１６には、高速フレーム走査による４フレーム分のメモリセル３２を示している。そして、画素アレイ部１０の各画素３０からの信号は、画素アレイ部１０を上下に走る垂直信号線３４により読み出される。この垂直信号線３４には上下にスイッチＳ１１、Ｓ１２が設けられ、画素信号の読み出し動作にあわせてオン、オフされる。また、アナログメモリアレイ部１６とコンパレータ／ラッチ部２０との間にもスイッチＳ１３が設けられ、メモリ信号の読み出し動作にあわせてオン、オフされる。
また、図１２に示すように、本例のイメージセンサは１画素に５つのＭＯＳトランジスタを設けたものであり、光電変換素子としてのフォトダイオードＰＤと、このフォトダイオードＰＤで生成された信号電荷をフローティングディフュージョン部ＦＤに転送する転送トランジスタＴ１１と、このフローティングディフュージョン部ＦＤに転送された信号電荷に基づいて電圧信号または電流信号を出力する増幅トランジスタＴ１２と、リセット信号（ＲＳＴ）に基づいてフローティングディフュージョン部ＦＤを電源電位にリセットするリセットトランジスタＴ１３と、カラム（列）選択信号（ＣＧｍ）と転送信号（ＴＸ）に基づいて転送トランジスタＴ１１のオンオフタイミングを制御する転送制御トランジスタＴ１４と、画素選択信号（ＳＥＬ）に基づいて増幅トランジスタＴ１２の出力タイミングを制御する選択トランジスタＴ１５とを有する。
通常の画像情報を読み出す時には、通常のイメージセンサと同様に、画素アレイ部１０の各画素からの信号を垂直信号線３４によって上方に読み出す。そして、ピクセルＶスキャナ２２、ピクセルＨスキャナ２４により各行、各列を順次選択し、１画素毎にＩ−Ｖ変換回路１２、ＣＤＳ回路１４にて信号を処理し、増幅後、アナロ画像信号として素子チップの外部に読み出される。
一方、３次元距離情報の検出時は、画素アレイ部１０の各画素からの信号を垂直信号線３４によって下方に読み出し、例えば、１４ｋｆｐｓ程度の高速なフレーム走査を行い、時間的に連続する４フレーム間での差分演算を実行することにより、被写体に投光される赤外スリット光の被写体にあたった反射光を検出する。
ここで、イメージセンサの受光部において、図１１に示すように、各画素上にはカラーフィルタが配置されており、ＲＧＢＧの原色系、もしくはＣＭＹＧの補色系が使用される。なお、ここでは３次元計測時の赤外光を透過させる必要があることから、近赤外の透過率の高いＣＭＹＧの補色系フィルタを例示している。また、ＣＭＹＧの各フィルタの赤外透過率の違いをキャンセルするために、３次元計測時にはＣＭＹＧに対応する４画素を１単位（ＲＯＵ）として混合読み出しが行われる。アナログメモリアレイ部１６は各ＲＯＵ毎に４フレーム分のメモリセル（Ｆ１〜Ｆ４）３２が設定されており、それぞれ連続する４フレームの信号を保持する。各画素からの信号は下方に読み出され、カレントミラーを介して、一旦、信号情報をアナログメモリセル３２に保持し、その後、時間的に前後の２フレームずつの混合信号の差分演算を下方のコンパレータにより実行し、その結果をバイナリデータとしてラッチする。赤外光の通過を検出したＲＯＵは、そのタイミングで、差分演算実行結果が、０データから１データに反転し、そのデータがセンサ外部へ出力される。
この通過タイミングを元に、３次元計測システムでは、画素毎に対応する被写体までの距離計測が可能となる。
また、同様のイメージセンサを利用して、ＬＥＤの点滅（光強度変化）パターンをコード化した信号によるデータの通信が可能となる。
これは、例えば図１３に示すように、カメラ１の視野内に存在するＬＥＤ光源（ＬＥＤビームコントローラ）２を点滅させ、その点滅パターンをコード化することにより、ＩＤデータなどを送信する。センサは、上述した３次元計測と同様な制御により、４フレーム間の差分演算を実行する。そして、各ＲＯＵがＬＥＤの光の変化点を検出し、そのデータをセンサの外部に出力する。外部システムはそのタイミングからＬＥＤ点滅パターンをデコードする。これにより、点滅を検出した画素とその受信データが分かり、画像中の被写体の同定、ＩＤ情報と画像の重ね合わせナビゲーションシステム、動き認識などが可能となる。
特開２００３−１６９２５１号公報
しかしながら、上記従来のイメージセンサでは、画像情報の取得と、３次元計測用の赤外スリット計測、もしくは、ＬＥＤ光の点滅検出が可能となるが、このイメージセンサでは、これら複数の機能を実行する際の受光を同じ画素で行い、また、信号読み出し線も共通であるため、画像信号の出力と、３次元計測もしくはＬＥＤ光の点滅検出が同時にできないという問題がある。
このため、例えば画像の撮像機能と光変化検出機能とを最短で１フレームごとに切り替えて行うことにより、見かけ上、同時にデータを出力しているような構成にしているものもある。
しかし、このような１フレーム毎の交互の出力は、特に、画像情報を扱う場合において、フレームが１フレームおきとなってしまうため、使用者側からみると使いづらいものとなる。例えば、通常のイメージセンサを用いて連続したフレームを扱うことを前提として設計されたシステムにおいて、イメージセンサを、上述の２機能交互出力型のイメージセンサに置き換えて、画像情報だけでなく、３次元計測やＩＤデータ通信などの機能を付加しようとした場合、画像情報の互換性がないために、画像情報の制御の部分においても、システムの再構築が必要となる。
また、ＬＥＤの点滅検出においては、高速に動く物体に設置されたＬＥＤによるＩＤ情報を得ようとした場合、１フレーム（ビデオフレーム）おきとなってしまうので、タイムラグが生じ、物体追尾などが、十分にできなくなる可能性がある。
そこで本発明は、画像の撮像機能に加えて他の機能を有する構成において、これらの出力を信号品質の低下を招いたり、システムの再構築を要することなく、同時に得ることが可能な撮像装置を提供することを目的とする。
上述の目的を達成するため、本発明の撮像装置は、入射光量に応じた信号電荷を生成する光電変換素子と前記光電変換素子によって生成した信号電荷を画素信号として読み出す読み出し回路とを含む複数の画素を配置した画素アレイ部と、前記画素アレイ部の各画素に対応して配置されたカラーフィルタと、前記読み出し回路を制御して画素アレイ部から画素信号を読み出す読み出し制御手段とを有し、前記読み出し制御手段は、画素信号を読み出す画素の画素アレイ部内における位置に応じて異なるフレームレートでの読み出しを行うことを特徴とする。
また、本発明の撮像装置は、入射光量に応じた信号電荷を生成する光電変換素子と前記光電変換素子によって生成した信号電荷を画素信号として読み出す読み出し回路とを含む複数の画素を配置した画素アレイ部と、前記画素アレイ部の各画素に対応して配置されたカラーフィルタと、前記読み出し回路を制御して画素アレイ部から画素信号を読み出す読み出し制御手段と、前記読み出し制御手段によって読み出された画素信号を信号処理する信号処理手段とを有し、前記信号処理手段は、信号処理する画素の画素アレイ部内における位置に応じて異なる信号処理回路を用いて信号処理を行うことを特徴とする。
本発明の撮像装置によれば、読み出す画素の画素アレイ部内における位置に応じて異なるフレームレートでの読み出しを行うことにより、自然画像を取得するための画素と、その他の検出信号を取得するための画素とを区別し、自然画像の読み出しフレームレートと、その他の検出信号の読み出しフレームレートとを変えることにより、自然画像についてはフレームレートを低下させることなく高品質の画像を得るができ、その他の検出信号についても、自然画像の撮像とは分離して同時に取得でき、簡易な構成で３次元計測やＬＥＤ光の点滅検出といった種々の検出を行うことが可能となる。
また、本発明の撮像装置によれば、信号処理する画素の画素アレイ部内における位置に応じて異なる信号処理を行うことにより、自然画像を取得するための画素と、その他の検出信号を取得するための画素とを区別し、自然画像の信号処理と、その他の検出信号の信号処理とを変えることにより、自然画像とその他の検出信号とについて、それぞれ最適な信号処理を行うことができ、高品質の自然画像の取得と同時に簡易な構成で３次元計測やＬＥＤ光の点滅検出といった種々の検出を行うことが可能となる。
本発明の実施の形態による撮像装置は、ＣＭＯＳイメージセンサの画素アレイ部内で、通常の画像を取得する画素と、３次元計測もしくはＩＤ認識用の画素を区別して設定し、それらを異なるフレームレートで読み出すとともに、異なる信号処理回路にて処理することにより、通常の撮像画像（自然画像）と、３次元情報やＩＤ情報の同時取得を行なうようにした。
また、フレームレートや信号処理回路は、カラーフィルタの１組のマトリクスを構成する画素内の色成分の対応に応じて変えるようにし、カラーフィルタは、カラーフィルタが存在しない画素、もしくは、波長選択性のないフィルタを用いた画素を含むマトリクス配列構成を有し、カラーフィルタが存在しない画素、もしくは、波長選択性のないフィルタを用いた画素とカラーフィルタを備えた画素に応じて異なるフレームレートや異なる信号処理回路を選択するものとする。
さらに、良好な形態として、異なるフレームレートや信号処理回路を用いる画素は、異なる制御線にて制御され、異なる信号線によって読み出される。
また、異なるフレームレートで読み出され、異なる信号処理回路で処理される画素が画素アレイ部内の異なる領域に存在する画素としてもよい。
そして、本実施の形態の撮像装置は、例えば、自然画像を取得するための画素と赤外光の検出を行うための画素とを区別し、互いに異なるフレームレートや信号処理回路を用いる。また、自然画像を取得するための画素と光切断法におけるプローブ光の反射光の検出を行うための画素とを互いに異なるフレームレートや信号処理回路を用いて同時に取得したり、あるいは、自然画像を取得するための画素と光強度変化（点滅）によって情報を伝達する光信号の検出を行うための画素とを互いに異なるフレームレートや信号処理回路を用いて同時に取得する。さらには、光強度変化によって情報を伝達する複数種類の光信号の検出を行うための画素を互いに異なるフレームレートや信号処理回路で同時に取得する。
また、自然画像の読み出しは、画素アレイ部からの複数の出力信号線を通して並列に行なうカラム並列方式を用いてもよいし、画素アレイ部の画素毎に逐次読み出しを行なう画素逐次方式を用いることも可能である。
図１は本発明の実施例によるイメージセンサにおける各回路の接続構成を示すブロック図である。また、図２は図１に示すイメージセンサの各画素の構成例を示す回路図である。
図１において、図９〜図１２に示した従来例では、画像信号の処理は画素毎に逐次行なう方式であったが、本実施例では、列（カラム）毎にＣＤＳ回路を設け、回路毎にノイズキャンセルを行った信号を水平信号線より順次出力する形態を例に説明する。
また、本実施例では、画素アレイ部の配列数、及びアナログメモリアレイ部の配列数は従来例（図９）と同様であり、画素アレイ部の配列数が３２０ｘ２４０、アナログメモリアレイ部の配列数が１６０ｘ１２０ｘ４フレームであるとする。
さらに、本実施例では従来例に対し、カラーフィルタの配列を変えている。すなわち、従来例では補色フィルタ（ＣＹＭＧ）のモザイク配列パターンを前提としていたが、本実施例では原色フィルタ（ＲＧＢ）を用いる。
なお、通常、原色フィルタではベイヤーパターンと呼ばれる、ＲＧＢＧパターンとして、２ｘ２マトリックス内にＧを２箇所で用いたものが用いられる（図１（Ｂ））。それに対して本実施例では、その２つのＧの内のひとつをＷ（White）の画素とする。ここで、Ｗの画素とはフィルタを設定しないことを意味し、全ての波長領域の光が透過可能となる。そして、この画素を、３次元計測の場合には投光した赤外の反射光を受光するための画素、またＩＤ認識の場合にはＬＥＤ点滅を受光する画素として設定する。本実施例では、このＷ画素をこれら光変化検出用の画素とし、通常の画像は他のＲＧＢ画素から検出することで、Ｗ画素とＲＧＢ画素の機能的役割を区別することにより、両データの同時出力を可能とする。
以下、図１及び図２に基づいて本実施例の構成を説明する。なお、イメージセンサ全体の基本的な構成は図９に示したものと同様であるものとする。
まず、図１において、画素アレイ部１００の各画素１０１には、Ｒ、Ｇｒ、Ｂ、Ｇｂのカラーフィルタがベイヤー配列パターンで設けられており、各画素列に沿って上下に設けられた垂直信号線１０２の上端側には、それぞれスイッチＳ１を介してＣＤＳ回路１０３が設けられ、各ＣＤＳ回路１０３は、さらに水平出力線１０４及びＨスキャナ１０５に接続されている。
一方、垂直信号線１０２の下端は、スイッチＳ２を介してカレントミラー回路１０６に接続され、カレントミラー回路１０６の出力は、４フレーム分のメモリセル（Ｆ１〜Ｆ４）１０７に接続され、各メモリセル１０７はコンパレータ１０８及びラッチ回路１０９に接続されている。なお、ラッチ回路１０９の出力は、スイッチＳ５を介して検出データ出力線１１０に接続されている。
また、図２において、本例のイメージセンサは１画素に４つのＭＯＳトランジスタを設けたものであり、光電変換素子としてのフォトダイオードＰＤと、このフォトダイオードＰＤで生成された信号電荷を転送信号（ＴＸ）に基づいてフローティングディフュージョン部ＦＤに転送する転送トランジスタＴ１と、このフローティングディフュージョン部ＦＤに転送された信号電荷に基づいて電圧信号または電流信号を出力する増幅トランジスタＴ２と、リセット信号（ＲＳＴ）に基づいてフローティングディフュージョン部ＦＤを電源電位にリセットするリセットトランジスタＴ３と、画素選択信号（ＳＥＬ）に基づいて増幅トランジスタＴ２の出力タイミングを制御する選択トランジスタＴ５とを有する。
なお、通常のＣＭＯＳイメージセンサでは、垂直信号線（ＣＯＬ）、画素選択線（ＳＥＬ）、転送線（ＴＸ）、リセット線（ＲＳＴ）はカラム毎、ロウ毎に１本ずつの設定であるが、本実施例では、Ｗの画素のみ専用の選択線（ＳＥＬ＿Ｗ）、転送線（ＴＸ＿Ｗ）、リセット線（ＲＳＴ＿Ｗ）を有する。また、垂直信号線についても、ＲＧＢＷのそれぞれの画素ごとに専用の信号線（ＣＯＬ０〜ＣＯＬ３）を有する。これらの垂直信号線に読み出された信号は、それぞれカラム毎にＣＤＳ処理された後、ＷＢ行、ＲＧ行ごとに別々の水平信号線（Ｈｓｉｇ＿ＷＢ、Ｈｓｉｇ＿ＲＧ）にスイッチを介して転送される。
次に、本実施例の動作を説明する。
図３及び図４は本実施例の動作を示すタイミングチャートであり、図３はＲＧＢ画素の制御を示し、図４はＷ画素の制御を示している。すなわち、図３は通常の画像出力時の動作に相当するものであり、図４は３次元計測、ＩＤ認識の動作に相当する。なお、図３及び図４において、ビデオフレーム周期１／３０ｓｅｃは同一時間帯を示しているものとする。また、ＣＯＬ０、ＣＯＬ２、ＣＯＬ３の各信号は互いに異なる信号であるが、図中では１本の線で表している。
図３において、ＲＧＢの読み出しのために、まず、セレクト線（ＳＥＬ０、ＳＥＬ１）が選択され、それぞれのリセット信号線（ＲＳＴ０、ＲＳＴ１）へのパルス印加により、それぞれの画素のフローティングディフュージョン部ＦＤがリセットされ、その後、それぞれの転送パルス（ＴＸ０、ＴＸ１）により、フォトダイオードＰＤからの電荷がフローティングディフュージョン部ＦＤに転送され、その電荷量に応じた信号が、それぞれの信号線（ＣＯＬ０、ＣＯＬ２、ＣＯＬ３）に読み出される。この信号は図１に示す通り、カラム毎にＣＤＳ回路でノイズ除去が行なわれ、Ｈスキャナにより、カラム毎に順に信号が信号線に読み出される。ここで、画素アレイ部の行数を従来例の図９と同様に２４０行とすると、ＲＧＢＷのマトリックス（ＲＯＵ）の行数は半分の１２０となり、１Ｈ（ＲＯＵ１行分）の読み出し時間を２７８μｓｅｃとすると、１／３０ｓｅｃで１フレームの読み出しが可能となる。また、読み出しをさらに高速に行ない、１フレーム内の残った時間をブランキング期間として設定することも可能である。
一方、この１ビデオフレームの期間に相当する、Ｗ画素の読み出しオペレーションを図４に示している。Ｗ画素の読み出しはＲＧＢ画素の読み出しよりも高速に行なわれ、１ビデオフレーム期間１／３０ｓｅｃの間にセンサ内で７１μｓｅｃにて1フレーム分の読み出しが行なわれる。これはフレームレート換算で１４ｋｆｐｓに相当する。つまり、この１フレーム期間で全Ｗラインの読み出しが行なわれ、この時の１Ｈ期間（ＲＯＵ１行分）は１４０ｎｓｅｃとなる。この１Ｈ期間内での読み出し動作はＲＧＢ画素と同様で、リセット線（ＲＳＴ＿Ｗ０）によるリセット動作後、転送線（ＴＸ＿Ｗ０）による転送動作により、信号線（ＣＯＬ１）に信号の読み出しが行なわれる。信号線（ＣＯＬ１）に読み出された信号は、図１に示す通り、下方に読み出され、カレントミラー、アナログメモリを介して、従来例と同様にフレーム間差分演算処理が実行される。
以上により、図３に示す動作によるＲＧＢ画素からの画像信号の読み出しと、図４に示す動作によるＷ画素からの３次元計測、ＩＤ認識のための光変化検出は、同じビデオフレーム期間にて、異なるフレームレートにて同時に行なわれるため、これら異なる２つの情報の同時取得が可能となる。
なお、以上の動作において、ＲＧＢ画素の読み出し信号は上方に読み出されるのみであり、Ｗ画素の読み出し信号は下方のカレントミラーに読み出されるのみであるが、動作モードによっては、例えば画像のみを読み出す場合などは、Ｗ画素もＲＧＢ画素と同様なタイミングで読み出して輝度信号として利用することも可能である。また、一方、ＩＤ計測のみを行なう場合などはＲＧＢ画素の信号線の下方にもカレントミラー、アナログメモリ、コンパレータを設定したり、もしくは従来例のように１つのＲＯＵでカレントミラー以下の回路を共有するなどにより、ＲＧＢ画素をＩＤ計測に利用したりすることが可能である。これらの動作を可能とするために、図３お呼び図４ではそれぞれのカラム線（ＣＯＬ）の上下にスイッチＳ１、Ｓ２を設けて適宜切り替えるようにしている。
また、以上の例は原色のカラーフィルタＲＧＢを前提としたが、従来例のように補色フィルタを用いることも可能である。
図５はこの場合のイメージセンサにおける各回路の接続構成を示すブロック図である。図１との相違はフィルタの色配置だけであり、図５の例では、通常のフィルタで使用されるＭｇ（マゼンタ）をＷ画素に置き換えている。なお、その他は図１と同様であるので説明は省略する。
また、上記実施例では従来例と異なり、画像読み出しをカラム並列で行なう場合を示したが、上記説明の通り、画像出力とＩＤ認識用のＷ画素の読み出しは独立して行なえるので、画像読み出しのアーキテクチャはカラム並列方式に限定する必要はない。よって、例えば、従来例に示したような画素ごとに逐次読み出す方式を用いることも可能である。または、Window機能といった特定の画素エリアのみを読み出すといった変則的な読み出し方式を画像出力時に行なうことも可能である。
また、本発明では必ずしもＷ画素のようなフィルタなしの画素を用いる必要はなく、図６に示すような、通常のＲＧＢＧのマトリックスフィルタを用いることも可能である。この場合、例えば２つあるＧ画素の内の１つをＩＤ認識用の画素として用いる。ただし、この場合、Ｇ画素は緑色の光しか透過しないため、ＩＤ表示用のＬＥＤとしては緑色のものを用いる必要があり、使用するＬＥＤに制約が生ずる。また、これはＧの画素を用いる必要はなく、他のカラーフィルタの画素を同様に用いてもよく、さらには、ＩＤ認識用に赤外光のみを通すような特殊なフィルタを用いることも可能である。
また、図２ではＲＧＢＷそれぞれについて信号線（ＣＯＬ０〜ＣＯＬ３）を用意したが、図７に示すように、信号線（ＣＯＬ３）を無くし、ＧとＢの信号線を共有化することも可能である。ただしし、この時のオペレーションは図３に示したようにＷＢ行とＲＧ行を同時に読み出すのではなく、１行ずつに順番に読み出すこととなる。この時、図１に示すようなＷＢ行画像データ出力ラインとＲＧ行画像データ出力ラインを区別する必要はなくなるが、１フレーム期間の読み出し行数は上記実施例の倍となり、同じフレームレートであれば、速い読み出しが必要となる。
またさらにこれらのさらなる変形例として、２ｘ２マトリックス中の１つの画素をＩＤ認識用に割り当てるのではなく、多くの画素グループのうちの１画素もしくは１部を割り当てる、画素アレイ中の特定の領域をＩＤ認識に割り当てる、なども可能となる。これは、図８に示すように、２ｘ２マトリックス中の画素それぞれにＳＥＬ、ＲＳＴ、ＴＸ、ＣＯＬの各信号線を設定すれば、マトリックス中の任意の画素をＩＤ認識用に設定することができ、また適宜切り替えることも可能となる。
本発明の実施例１に係るイメージセンサの接続構成の例を示すブロック図である。 図１に示すイメージセンサの画素内の構成を示す回路図である。 図１に示すイメージセンサの画像読み出し動作を示すタイミングチャートである。 図１に示すイメージセンサのＷ画素信号読み出し動作を示すタイミングチャートである。 図１に示すイメージセンサの接続構成の変形例を示すブロック図である。 図１に示すイメージセンサのカラーフィルタ配列の他の例を示す説明図である。 図１に示すイメージセンサのカラーフィルタ配列のさらに他の例を示す説明図である。 図１に示すイメージセンサの画素配線の他の例を示す説明図である。 従来のイメージセンサの全体構成を示すブロック図である。 図９に示すイメージセンサの接続構成の例を示すブロック図である。 図９に示すイメージセンサのカラーフィルタの配列を示すブロック図である。 図９に示すイメージセンサの画素内の構成を示す回路図である。 従来のイメージセンサを応用したＩＤ認識カメラシステムを示す説明図である。
符号の説明
１００……画素アレイ部、１０１……画素、１０２……垂直信号線、１０３……ＣＤＳ回路、１０４……水平出力線、１０５……Ｈスキャナ、１０６……カレントミラー回路、１０７……メモリセル、１０８……コンパレータ、１０９……ラッチ回路、１１０……検出データ出力線。

Claims (22)

  1. 入射光量に応じた信号電荷を生成する光電変換素子と前記光電変換素子によって生成した信号電荷を画素信号として読み出す読み出し回路とを含む複数の画素を配置した画素アレイ部と、
    前記画素アレイ部の各画素に対応して配置されたカラーフィルタと、
    前記読み出し回路を制御して画素アレイ部から画素信号を読み出す読み出し制御手段とを有し、
    前記読み出し制御手段は、画素信号を読み出す画素の画素アレイ部内における位置に応じて異なるフレームレートでの読み出しを行う、
    ことを特徴とする撮像装置。
  2. 前記カラーフィルタの１組のマトリクスを構成する画素内の色成分の対応に応じて異なるフレームレートでの読み出しを行うことを特徴とする請求項１記載の撮像装置。
  3. 前記カラーフィルタは、カラーフィルタが存在しない画素、もしくは、波長選択性のないフィルタを用いた画素を含むマトリクス配列構成を有し、前記カラーフィルタが存在しない画素、もしくは、波長選択性のないフィルタを用いた画素とカラーフィルタを備えた画素に応じて異なるフレームレートでの読み出しを行うことを特徴とする請求項２記載の撮像装置。
  4. 前記異なるフレームレートでの読み出しを行う画素は、異なる制御線にて制御されることを特徴とする請求項１記載の撮像装置。
  5. 前記異なるフレームレートで読み出される画素が異なる信号線を通して読み出されることを特徴とする請求項１記載の撮像装置。
  6. 自然画像を取得するための画素と赤外光の検出を行うための画素とを区別し、互いに異なるフレームレートでの読み出しを行うことを特徴とする請求項１記載の撮像装置。
  7. 自然画像を取得するための画素と光切断法におけるプローブ光の反射光の検出を行うための画素とを互いに異なるフレームレートで同時に読み出すことを特徴とする請求項１記載の撮像装置。
  8. 自然画像を取得するための画素と光強度変化によって情報を伝達する光信号の検出を行うための画素とを互いに異なるフレームレートで同時に読み出すことを特徴とする請求項１記載の撮像装置。
  9. 光強度変化によって情報を伝達する複数種類の光信号の検出を行うための画素を互いに異なるフレームレートで同時に読み出すことを特徴とする請求項１記載の撮像装置。
  10. 前記自然画像の読み出しは、画素アレイ部からの複数の出力信号線を通して並列に行なうカラム並列方式を用いることを特徴とする請求項１記載の撮像装置。
  11. 前記自然画像の読み出しは、画素アレイ部の画素毎に逐次読み出しを行なう画素逐次方式を用いることを特徴とする請求項１記載の撮像装置。
  12. 前記異なるフレームレートで読み出される画素が画素アレイ部内の異なる領域に存在する画素であることを特徴とする請求項１記載の撮像装置。
  13. 入射光量に応じた信号電荷を生成する光電変換素子と前記光電変換素子によって生成した信号電荷を画素信号として読み出す読み出し回路とを含む複数の画素を配置した画素アレイ部と、
    前記画素アレイ部の各画素に対応して配置されたカラーフィルタと、
    前記読み出し回路を制御して画素アレイ部から画素信号を読み出す読み出し制御手段と、
    前記読み出し制御手段によって読み出された画素信号を信号処理する信号処理手段とを有し、
    前記信号処理手段は、信号処理する画素の画素アレイ部内における位置に応じて異なる信号処理回路を用いて信号処理を行う、
    ことを特徴とする撮像装置。
  14. 前記カラーフィルタの１組のマトリクスを構成する画素内の色成分の対応に応じて異なる信号処理回路によって信号処理を行うことを特徴とする請求項１３記載の撮像装置。
  15. 前記カラーフィルタは、カラーフィルタが存在しない画素、もしくは、波長選択性のないフィルタを用いた画素を含むマトリクス配列構成を有し、前記カラーフィルタが存在しない画素、もしくは、波長選択性のないフィルタを用いた画素とカラーフィルタを備えた画素に応じて異なる信号処理回路によって信号処理を行うことを特徴とする請求項１４記載の撮像装置。
  16. 前記異なる信号処理回路によって信号処理を行う画素は、異なる制御線にて制御されることを特徴とする請求項１３記載の撮像装置。
  17. 前記異なる信号処理回路によって信号処理される画素は、異なる信号線にて読み出されることを特徴とする請求項１３記載の撮像装置。
  18. 自然画像を取得するための画素と赤外光の検出を行うための画素とを区別し、互いに異なる信号処理回路によって信号処理を行うことを特徴とする請求項１３記載の撮像装置。
  19. 自然画像を取得するための画素と光切断法におけるプローブ光の反射光の検出を行うための画素とを互いに異なる信号処理回路によって信号処理することを特徴とする請求項１３記載の撮像装置。
  20. 自然画像を取得するための画素と光強度変化によって情報を伝達する光信号の検出を行うための画素とを互いに異なる信号処理回路によって信号処理することを特徴とする請求項１３記載の撮像装置。
  21. 光強度変化によって情報を伝達する複数種類の光信号の検出を行うための画素を互いに異なる信号処理回路によって信号処理することを特徴とする請求項１３記載の撮像装置。
  22. 前記異なる信号処理回路によって信号処理される画素が画素アレイ部内の異なる領域に存在する画素であることを特徴とする請求項１３記載の撮像装置。
JP2004110008A 2004-04-02 2004-04-02 撮像装置 Expired - Fee Related JP4665422B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004110008A JP4665422B2 (ja) 2004-04-02 2004-04-02 撮像装置
US11/094,653 US7746394B2 (en) 2004-04-02 2005-03-30 Pixel array and image processing apparatus for image-capturing
KR1020050027510A KR101128540B1 (ko) 2004-04-02 2005-04-01 촬상 장치
US12/541,743 US8638378B2 (en) 2004-04-02 2009-08-14 Pixel array and image processing apparatus for image-capturing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004110008A JP4665422B2 (ja) 2004-04-02 2004-04-02 撮像装置

Publications (2)

Publication Number Publication Date
JP2005295381A true JP2005295381A (ja) 2005-10-20
JP4665422B2 JP4665422B2 (ja) 2011-04-06

Family

ID=35095879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004110008A Expired - Fee Related JP4665422B2 (ja) 2004-04-02 2004-04-02 撮像装置

Country Status (3)

Country Link
US (2) US7746394B2 (ja)
JP (1) JP4665422B2 (ja)
KR (1) KR101128540B1 (ja)

Cited By (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354568A (ja) * 2004-06-14 2005-12-22 Sony Corp 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
WO2006048987A1 (ja) * 2004-11-02 2006-05-11 Japan Science And Technology Agency 撮像装置及びその信号読み出し方法
JP2007122237A (ja) * 2005-10-26 2007-05-17 Mitsubishi Electric Corp 偽造判定用撮像装置及び個人識別装置
JP2007184814A (ja) * 2006-01-10 2007-07-19 Seiko Epson Corp 撮像素子及び撮像装置
JP2007306447A (ja) * 2006-05-15 2007-11-22 Sony Corp 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
KR100821346B1 (ko) 2006-08-02 2008-04-10 삼성전자주식회사 화질이 향상되는 이미지 센서 및 이를 이용한 이미지 감지방법
JP2008098976A (ja) * 2006-10-12 2008-04-24 Stanley Electric Co Ltd 固体撮像素子
JP2009044593A (ja) * 2007-08-10 2009-02-26 Fujifilm Corp 撮像装置及び固体撮像素子の駆動方法
JP2009089143A (ja) * 2007-10-01 2009-04-23 Nikon Corp 固体撮像装置
JP2009171161A (ja) * 2008-01-15 2009-07-30 Canon Inc 撮像システム及び撮像システムの制御方法
JP2009272820A (ja) * 2008-05-02 2009-11-19 Konica Minolta Opto Inc 固体撮像装置
JP2010010896A (ja) * 2008-06-25 2010-01-14 Panasonic Corp 固体撮像装置
WO2010041398A1 (en) 2008-10-10 2010-04-15 Canon Kabushiki Kaisha Image pickup apparatus
JP2010239636A (ja) * 2007-12-04 2010-10-21 Panasonic Corp 画像生成装置、画像生成方法、およびプログラム
JP2010534430A (ja) * 2007-07-20 2010-11-04 イーストマン コダック カンパニー 画像センサの複数の構成要素の読み出し
US7911507B2 (en) 2007-01-05 2011-03-22 Kabushiki Kaisha Toshiba Solid-state image pickup device in which the saturated signal quantity of a W pixel is controlled
JP2011517506A (ja) * 2008-03-17 2011-06-09 イーストマン コダック カンパニー 共有拡散領域を有する積層型画像センサ
US7990447B2 (en) 2006-06-14 2011-08-02 Kabushiki Kaisha Toshiba Solid-state image sensor
US8018509B2 (en) 2007-05-18 2011-09-13 Sony Corporation Image input processing apparatus and method
US8040413B2 (en) 2007-01-26 2011-10-18 Kabushiki Kaisha Toshiba Solid-state image pickup device
JP2011239460A (ja) * 2011-07-25 2011-11-24 Sony Corp 固体撮像装置
JP2013526801A (ja) * 2010-05-12 2013-06-24 ペリカン イメージング コーポレイション 撮像装置アレイおよびアレイカメラのためのアーキテクチャ
JP2013187574A (ja) * 2012-03-05 2013-09-19 Honda Motor Co Ltd 画像処理装置
US8582007B2 (en) 2009-09-15 2013-11-12 Samsung Electronics Co., Ltd. Image sensor for outputting RGB Bayer signal through internal conversion and image processing apparatus including the same
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US9235900B2 (en) 2012-08-21 2016-01-12 Pelican Imaging Corporation Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9485496B2 (en) 2008-05-20 2016-11-01 Pelican Imaging Corporation Systems and methods for measuring depth using images captured by a camera array including cameras surrounding a central camera
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9733486B2 (en) 2013-03-13 2017-08-15 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9741118B2 (en) 2013-03-13 2017-08-22 Fotonation Cayman Limited System and methods for calibration of an array camera
US9749568B2 (en) 2012-11-13 2017-08-29 Fotonation Cayman Limited Systems and methods for array camera focal plane control
US9749547B2 (en) 2008-05-20 2017-08-29 Fotonation Cayman Limited Capturing and processing of images using camera array incorperating Bayer cameras having different fields of view
US9766380B2 (en) 2012-06-30 2017-09-19 Fotonation Cayman Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9800859B2 (en) 2013-03-15 2017-10-24 Fotonation Cayman Limited Systems and methods for estimating depth using stereo array cameras
US9800856B2 (en) 2013-03-13 2017-10-24 Fotonation Cayman Limited Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US9866739B2 (en) 2011-05-11 2018-01-09 Fotonation Cayman Limited Systems and methods for transmitting and receiving array camera image data
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9955070B2 (en) 2013-03-15 2018-04-24 Fotonation Cayman Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10091480B2 (en) 2013-09-27 2018-10-02 Fujifilm Corporation Driving method of imaging element, imaging device with read-out time and accumulation period
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US10366472B2 (en) 2010-12-14 2019-07-30 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US10412314B2 (en) 2013-03-14 2019-09-10 Fotonation Limited Systems and methods for photometric normalization in array cameras
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP2021168512A (ja) * 2013-02-27 2021-10-21 株式会社ニコン 撮像素子
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4665422B2 (ja) * 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP5535476B2 (ja) * 2005-03-07 2014-07-02 ディーエックスオー ラブズ カラーデジタル画像を使用する、機能すなわち鮮鋭度の変更を活動化する方法
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
KR100790228B1 (ko) * 2005-12-26 2008-01-02 매그나칩 반도체 유한회사 시모스 이미지 센서
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
US7913922B1 (en) 2007-03-15 2011-03-29 Ncr Corporation Matching bar code colors to painted pixel filters
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
CN101622658B (zh) * 2007-04-09 2012-05-23 夏普株式会社 液晶显示装置
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
DE102009000001B4 (de) * 2009-01-02 2019-01-24 Robert Bosch Gmbh Bildsensor und Verfahren zur Herstellung eines Bildsensors
WO2010079484A1 (en) * 2009-01-07 2010-07-15 Given Imaging Ltd. Device and method for detection of an in-vivo pathology
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
EP2521926B1 (en) * 2010-01-06 2020-07-29 Heptagon Micro Optics Pte. Ltd. Demodulation sensor with separate pixel and storage arrays
US8619143B2 (en) * 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
JP4991907B2 (ja) 2010-05-11 2012-08-08 キヤノン株式会社 画像処理装置、および、画像処理装置の制御方法
US9930316B2 (en) 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
US9524572B2 (en) 2010-11-23 2016-12-20 Microsoft Technology Licensing, Llc Parallel processing of pixel data
WO2013005389A1 (ja) * 2011-07-01 2013-01-10 パナソニック株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
KR20130011692A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
DE102012110092A1 (de) * 2012-10-23 2014-04-24 Conti Temic Microelectronic Gmbh Sensoranordnung zur Bilderfassung
JP6368115B2 (ja) * 2013-05-10 2018-08-01 キヤノン株式会社 固体撮像装置およびカメラ
US9225921B2 (en) * 2013-06-06 2015-12-29 Advanced Micro Devices, Inc. Method and apparatus for buffering analog information
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
CN105824658B (zh) * 2015-07-29 2017-12-26 维沃移动通信有限公司 一种电子设备的相机模块启动方法及电子设备
CN105578081B (zh) * 2015-12-18 2018-03-06 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
JP2017118191A (ja) * 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
CN110463189B (zh) * 2017-03-29 2022-11-01 株式会社尼康 摄像元件及电子相机
CN111316347B (zh) 2017-11-09 2022-08-23 株式会社半导体能源研究所 显示装置及其工作方法以及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050287A (ja) * 1998-07-31 2000-02-18 Olympus Optical Co Ltd 画像入力装置
JP2001069519A (ja) * 1999-08-30 2001-03-16 Sony Corp 固体撮像装置
JP2001251648A (ja) * 2000-03-07 2001-09-14 Asahi Optical Co Ltd ３次元画像検出装置の焦点調節機構
JP2002247443A (ja) * 2001-02-21 2002-08-30 Sanyo Electric Co Ltd ディジタルカメラ
JP2003153291A (ja) * 2001-11-08 2003-05-23 Canon Inc 撮像装置及びシステム
JP2003169251A (ja) * 2001-09-20 2003-06-13 Sony Corp 固体撮像装置及びその制御方法
JP2003348459A (ja) * 2002-05-27 2003-12-05 Sony Corp 固体撮像装置及びその駆動方法
JP2005086246A (ja) * 2003-09-04 2005-03-31 Olympus Corp 固体撮像装置
JP2005277513A (ja) * 2004-03-23 2005-10-06 Olympus Corp 固体撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5453611A (en) * 1993-01-01 1995-09-26 Canon Kabushiki Kaisha Solid-state image pickup device with a plurality of photoelectric conversion elements on a common semiconductor chip
US6515702B1 (en) * 1997-07-14 2003-02-04 California Institute Of Technology Active pixel image sensor with a winner-take-all mode of operation
US6801220B2 (en) * 2001-01-26 2004-10-05 International Business Machines Corporation Method and apparatus for adjusting subpixel intensity values based upon luminance characteristics of the subpixels for improved viewing angle characteristics of liquid crystal displays
GB2373943A (en) * 2001-03-28 2002-10-02 Hewlett Packard Co Visible and infrared imaging camera
JP2003018458A (ja) * 2001-04-23 2003-01-17 Hitachi Ltd Ｃｍｏｓ型固体撮像素子を用いた撮像システム
US7154157B2 (en) * 2002-12-30 2006-12-26 Intel Corporation Stacked semiconductor radiation sensors having color component and infrared sensing capability
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
US7201479B2 (en) * 2004-02-06 2007-04-10 Farsight Innovations, Llc Protective sleeve for eyeglasses
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050287A (ja) * 1998-07-31 2000-02-18 Olympus Optical Co Ltd 画像入力装置
JP2001069519A (ja) * 1999-08-30 2001-03-16 Sony Corp 固体撮像装置
JP2001251648A (ja) * 2000-03-07 2001-09-14 Asahi Optical Co Ltd ３次元画像検出装置の焦点調節機構
JP2002247443A (ja) * 2001-02-21 2002-08-30 Sanyo Electric Co Ltd ディジタルカメラ
JP2003169251A (ja) * 2001-09-20 2003-06-13 Sony Corp 固体撮像装置及びその制御方法
JP2003153291A (ja) * 2001-11-08 2003-05-23 Canon Inc 撮像装置及びシステム
JP2003348459A (ja) * 2002-05-27 2003-12-05 Sony Corp 固体撮像装置及びその駆動方法
JP2005086246A (ja) * 2003-09-04 2005-03-31 Olympus Corp 固体撮像装置
JP2005277513A (ja) * 2004-03-23 2005-10-06 Olympus Corp 固体撮像装置

Cited By (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354568A (ja) * 2004-06-14 2005-12-22 Sony Corp 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
US7728893B2 (en) 2004-11-02 2010-06-01 Japan Science And Technology Agency Imaging device and method for reading signals from such device
JP4539924B2 (ja) * 2004-11-02 2010-09-08 独立行政法人科学技術振興機構 撮像装置及びその信号読み出し方法
WO2006048987A1 (ja) * 2004-11-02 2006-05-11 Japan Science And Technology Agency 撮像装置及びその信号読み出し方法
JPWO2006048987A1 (ja) * 2004-11-02 2008-05-22 独立行政法人科学技術振興機構 撮像装置及びその信号読み出し方法
JP2007122237A (ja) * 2005-10-26 2007-05-17 Mitsubishi Electric Corp 偽造判定用撮像装置及び個人識別装置
JP2007184814A (ja) * 2006-01-10 2007-07-19 Seiko Epson Corp 撮像素子及び撮像装置
JP2007306447A (ja) * 2006-05-15 2007-11-22 Sony Corp 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7990447B2 (en) 2006-06-14 2011-08-02 Kabushiki Kaisha Toshiba Solid-state image sensor
KR100821346B1 (ko) 2006-08-02 2008-04-10 삼성전자주식회사 화질이 향상되는 이미지 센서 및 이를 이용한 이미지 감지방법
JP2008098976A (ja) * 2006-10-12 2008-04-24 Stanley Electric Co Ltd 固体撮像素子
US7911507B2 (en) 2007-01-05 2011-03-22 Kabushiki Kaisha Toshiba Solid-state image pickup device in which the saturated signal quantity of a W pixel is controlled
US8040413B2 (en) 2007-01-26 2011-10-18 Kabushiki Kaisha Toshiba Solid-state image pickup device
US8018509B2 (en) 2007-05-18 2011-09-13 Sony Corporation Image input processing apparatus and method
JP2010534430A (ja) * 2007-07-20 2010-11-04 イーストマン コダック カンパニー 画像センサの複数の構成要素の読み出し
JP2009044593A (ja) * 2007-08-10 2009-02-26 Fujifilm Corp 撮像装置及び固体撮像素子の駆動方法
JP2009089143A (ja) * 2007-10-01 2009-04-23 Nikon Corp 固体撮像装置
JP2010239636A (ja) * 2007-12-04 2010-10-21 Panasonic Corp 画像生成装置、画像生成方法、およびプログラム
JP2009171161A (ja) * 2008-01-15 2009-07-30 Canon Inc 撮像システム及び撮像システムの制御方法
JP2011517506A (ja) * 2008-03-17 2011-06-09 イーストマン コダック カンパニー 共有拡散領域を有する積層型画像センサ
JP2009272820A (ja) * 2008-05-02 2009-11-19 Konica Minolta Opto Inc 固体撮像装置
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US9749547B2 (en) 2008-05-20 2017-08-29 Fotonation Cayman Limited Capturing and processing of images using camera array incorperating Bayer cameras having different fields of view
US9712759B2 (en) 2008-05-20 2017-07-18 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US9576369B2 (en) 2008-05-20 2017-02-21 Fotonation Cayman Limited Systems and methods for generating depth maps using images captured by camera arrays incorporating cameras having different fields of view
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US9485496B2 (en) 2008-05-20 2016-11-01 Pelican Imaging Corporation Systems and methods for measuring depth using images captured by a camera array including cameras surrounding a central camera
US12022207B2 (en) 2008-05-20 2024-06-25 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11412158B2 (en) 2008-05-20 2022-08-09 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP2010010896A (ja) * 2008-06-25 2010-01-14 Panasonic Corp 固体撮像装置
WO2010041398A1 (en) 2008-10-10 2010-04-15 Canon Kabushiki Kaisha Image pickup apparatus
US8446501B2 (en) 2008-10-10 2013-05-21 Canon Kabushiki Kaisha Image pickup apparatus with focus detection
US8582007B2 (en) 2009-09-15 2013-11-12 Samsung Electronics Co., Ltd. Image sensor for outputting RGB Bayer signal through internal conversion and image processing apparatus including the same
US9380243B2 (en) 2009-09-15 2016-06-28 Samsung Electronics Co., Ltd. Image sensor for outputting RGB bayer signal through internal conversion and image processing apparatus including the same
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US9936148B2 (en) 2010-05-12 2018-04-03 Fotonation Cayman Limited Imager array interfaces
US10455168B2 (en) 2010-05-12 2019-10-22 Fotonation Limited Imager array interfaces
JP2013526801A (ja) * 2010-05-12 2013-06-24 ペリカン イメージング コーポレイション 撮像装置アレイおよびアレイカメラのためのアーキテクチャ
KR101824672B1 (ko) 2010-05-12 2018-02-05 포토네이션 케이맨 리미티드 이미저 어레이 구조 및 어레이 카메라
US11423513B2 (en) 2010-12-14 2022-08-23 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US11875475B2 (en) 2010-12-14 2024-01-16 Adeia Imaging Llc Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10366472B2 (en) 2010-12-14 2019-07-30 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10742861B2 (en) 2011-05-11 2020-08-11 Fotonation Limited Systems and methods for transmitting and receiving array camera image data
US9866739B2 (en) 2011-05-11 2018-01-09 Fotonation Cayman Limited Systems and methods for transmitting and receiving array camera image data
US10218889B2 (en) 2011-05-11 2019-02-26 Fotonation Limited Systems and methods for transmitting and receiving array camera image data
JP2011239460A (ja) * 2011-07-25 2011-11-24 Sony Corp 固体撮像装置
US10375302B2 (en) 2011-09-19 2019-08-06 Fotonation Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US20180197035A1 (en) 2011-09-28 2018-07-12 Fotonation Cayman Limited Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata
US11729365B2 (en) 2011-09-28 2023-08-15 Adela Imaging LLC Systems and methods for encoding image files containing depth maps stored as metadata
US9864921B2 (en) 2011-09-28 2018-01-09 Fotonation Cayman Limited Systems and methods for encoding image files containing depth maps stored as metadata
US10984276B2 (en) 2011-09-28 2021-04-20 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US10430682B2 (en) 2011-09-28 2019-10-01 Fotonation Limited Systems and methods for decoding image files containing depth maps stored as metadata
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US10019816B2 (en) 2011-09-28 2018-07-10 Fotonation Cayman Limited Systems and methods for decoding image files containing depth maps stored as metadata
US10275676B2 (en) 2011-09-28 2019-04-30 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US9754422B2 (en) 2012-02-21 2017-09-05 Fotonation Cayman Limited Systems and method for performing depth based image editing
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US10311649B2 (en) 2012-02-21 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing
JP2013187574A (ja) * 2012-03-05 2013-09-19 Honda Motor Co Ltd 画像処理装置
US9706132B2 (en) 2012-05-01 2017-07-11 Fotonation Cayman Limited Camera modules patterned with pi filter groups
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US10334241B2 (en) 2012-06-28 2019-06-25 Fotonation Limited Systems and methods for detecting defective camera arrays and optic arrays
US10261219B2 (en) 2012-06-30 2019-04-16 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US9766380B2 (en) 2012-06-30 2017-09-19 Fotonation Cayman Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US11022725B2 (en) 2012-06-30 2021-06-01 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US9858673B2 (en) 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US12002233B2 (en) 2012-08-21 2024-06-04 Adeia Imaging Llc Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US10380752B2 (en) 2012-08-21 2019-08-13 Fotonation Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9235900B2 (en) 2012-08-21 2016-01-12 Pelican Imaging Corporation Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US10462362B2 (en) 2012-08-23 2019-10-29 Fotonation Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US9749568B2 (en) 2012-11-13 2017-08-29 Fotonation Cayman Limited Systems and methods for array camera focal plane control
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774831B2 (en) 2013-02-24 2017-09-26 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9743051B2 (en) 2013-02-24 2017-08-22 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
JP2021168512A (ja) * 2013-02-27 2021-10-21 株式会社ニコン 撮像素子
JP7264189B2 (ja) 2013-02-27 2023-04-25 株式会社ニコン 撮像素子及び撮像装置
US11595604B2 (en) 2013-02-27 2023-02-28 Nikon Corporation Image sensor and imaging device including a plurality of semiconductor substrates
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US11272161B2 (en) 2013-03-10 2022-03-08 Fotonation Limited System and methods for calibration of an array camera
US10225543B2 (en) 2013-03-10 2019-03-05 Fotonation Limited System and methods for calibration of an array camera
US10958892B2 (en) 2013-03-10 2021-03-23 Fotonation Limited System and methods for calibration of an array camera
US11985293B2 (en) 2013-03-10 2024-05-14 Adeia Imaging Llc System and methods for calibration of an array camera
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US11570423B2 (en) 2013-03-10 2023-01-31 Adeia Imaging Llc System and methods for calibration of an array camera
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9733486B2 (en) 2013-03-13 2017-08-15 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9741118B2 (en) 2013-03-13 2017-08-22 Fotonation Cayman Limited System and methods for calibration of an array camera
US9800856B2 (en) 2013-03-13 2017-10-24 Fotonation Cayman Limited Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US10127682B2 (en) 2013-03-13 2018-11-13 Fotonation Limited System and methods for calibration of an array camera
US10412314B2 (en) 2013-03-14 2019-09-10 Fotonation Limited Systems and methods for photometric normalization in array cameras
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10547772B2 (en) 2013-03-14 2020-01-28 Fotonation Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10542208B2 (en) 2013-03-15 2020-01-21 Fotonation Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9955070B2 (en) 2013-03-15 2018-04-24 Fotonation Cayman Limited Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9800859B2 (en) 2013-03-15 2017-10-24 Fotonation Cayman Limited Systems and methods for estimating depth using stereo array cameras
US10638099B2 (en) 2013-03-15 2020-04-28 Fotonation Limited Extended color processing on pelican array cameras
US10674138B2 (en) 2013-03-15 2020-06-02 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10455218B2 (en) 2013-03-15 2019-10-22 Fotonation Limited Systems and methods for estimating depth using stereo array cameras
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10540806B2 (en) 2013-09-27 2020-01-21 Fotonation Limited Systems and methods for depth-assisted perspective distortion correction
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US10091480B2 (en) 2013-09-27 2018-10-02 Fujifilm Corporation Driving method of imaging element, imaging device with read-out time and accumulation period
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US9924092B2 (en) 2013-11-07 2018-03-20 Fotonation Cayman Limited Array cameras incorporating independently aligned lens stacks
US10767981B2 (en) 2013-11-18 2020-09-08 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US11486698B2 (en) 2013-11-18 2022-11-01 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10708492B2 (en) 2013-11-26 2020-07-07 Fotonation Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US9813617B2 (en) 2013-11-26 2017-11-07 Fotonation Cayman Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10574905B2 (en) 2014-03-07 2020-02-25 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US11546576B2 (en) 2014-09-29 2023-01-03 Adeia Imaging Llc Systems and methods for dynamic calibration of array cameras
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US11562498B2 (en) 2017-08-21 2023-01-24 Adela Imaging LLC Systems and methods for hybrid depth regularization
US10818026B2 (en) 2017-08-21 2020-10-27 Fotonation Limited Systems and methods for hybrid depth regularization
US11983893B2 (en) 2017-08-21 2024-05-14 Adeia Imaging Llc Systems and methods for hybrid depth regularization
US11699273B2 (en) 2019-09-17 2023-07-11 Intrinsic Innovation Llc Systems and methods for surface modeling using polarization cues
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11982775B2 (en) 2019-10-07 2024-05-14 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11842495B2 (en) 2019-11-30 2023-12-12 Intrinsic Innovation Llc Systems and methods for transparent object segmentation using polarization cues
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11683594B2 (en) 2021-04-15 2023-06-20 Intrinsic Innovation Llc Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Also Published As

Publication number Publication date
KR101128540B1 (ko) 2012-03-26
KR20060045419A (ko) 2006-05-17
JP4665422B2 (ja) 2011-04-06
US20090303553A1 (en) 2009-12-10
US20050231618A1 (en) 2005-10-20
US7746394B2 (en) 2010-06-29
US8638378B2 (en) 2014-01-28

Similar Documents

Publication Publication Date Title
JP4665422B2 (ja) 撮像装置
US11588991B2 (en) Solid-state imaging device and electronic camera
US7521661B2 (en) Driving an image sensor with reduced area and high image quality
JP4630901B2 (ja) 杆体および錐体応答センサ
US9438839B2 (en) Solid state imaging apparatus and imaging system using the same
US10477165B2 (en) Solid-state imaging apparatus, driving method therefor, and imaging system
US8350935B2 (en) Color filter array, image sensor including the color filter array and system including the image sensor
US8299414B2 (en) Solid-state imaging device
US8013921B2 (en) Solid-state imaging device, electronic camera
US8582006B2 (en) Pixel arrangement for extended dynamic range imaging
WO2014087840A1 (ja) 動き検出用固体撮像装置及び動き検出システム
JP2009232351A (ja) 撮像装置及びカラーフィルタアレイ
US9317897B2 (en) Solid-state imaging device, driving method for the same, and electronic apparatus
US7741589B2 (en) Method and apparatus providing multiple transfer gate control lines per pixel for automatic exposure control
US8059175B2 (en) Image capture device and method of operating the same
JP2005278038A (ja) 撮像装置
JP2008172606A (ja) 固体撮像装置及びカメラシステム
US20230217119A1 (en) Image sensor and image processing system
JP6589071B2 (ja) 撮像装置、内視鏡および内視鏡システム
JP2009171511A (ja) 固体撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090723

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100624

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees