JP2008524924A - 複レンズ式撮像系および方法 - Google Patents

複レンズ式撮像系および方法 Download PDF

Info

Publication number
JP2008524924A
JP2008524924A JP2007546661A JP2007546661A JP2008524924A JP 2008524924 A JP2008524924 A JP 2008524924A JP 2007546661 A JP2007546661 A JP 2007546661A JP 2007546661 A JP2007546661 A JP 2007546661A JP 2008524924 A JP2008524924 A JP 2008524924A
Authority
JP
Japan
Prior art keywords
optical filter
imaging system
sensor array
lens
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007546661A
Other languages
English (en)
Other versions
JP4636418B2 (ja
Inventor
グルルキ,ラッセル,ダブリュ.
シュローダー,デール,ダブリュ.
スタンバック,ジョン,エイチ.
Original Assignee
マイクロン テクノロジー, インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイクロン テクノロジー, インク. filed Critical マイクロン テクノロジー, インク.
Publication of JP2008524924A publication Critical patent/JP2008524924A/ja
Application granted granted Critical
Publication of JP4636418B2 publication Critical patent/JP4636418B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Cameras In General (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

撮像系および方法を提供する。或る例示的な系(300)は、撮像対象物からの可視光をそれぞれが独立に受光するよう構成され、且つこの光を対応するセンサーアレイへと導くよう構成されている複数のレンズを含む。そのような構成で、ひとつもしくは複数のセンサーアレイで生成された信号から、輝度情報を得る。色情報を求める場合には、光学フィルターを、レンズとそれに対応するセンサーアレイとの間に挟む。光学フィルター中に含まれるモザイク模様は、好都合な色情報が得られるよう誂えられている。種々のモザイク模様を具えたこうしたひとつもしくは複数のフィルターを使用することもできる。センサーアレイから得た輝度情報および色情報を組み合わせて、対象物の画像を生成する。
【選択図】図2

Description

(原文に記載無し)
〔関連出願についての記述〕
デジタルカメラ、パーソナルコンピュータに接続した卓上式カメラ、および携帯電話に埋め込まれたカメラ、といった撮像デバイスには、単独のレンズが具わっているのが普通であって、このレンズが撮影対象物からの光を受けて通し、その光を電荷結合素子(CCD)センサーアレイまたは相補型金属酸化膜半導体(CMOS)センサーアレイへと導くようになっている。こうしたカメラのほとんどは彩色対応カメラ(color cameras)なので、ぼんやりした(pixilated)色フィルター(波長フィルター)をレンズとセンサーアレイとの間に挿入する。色フィルターには、通常は赤と緑と青のフィルター素子が含まれており、これらが業界ではBayer模様と称されるモザイク模様を成していることがある。色フィルターの各素子は、伝送する色には拘らず、センサーアレイ内に位置するセンサー素子に沿って整列している。こうした整列によって、センサーアレイで色画素(ピクセル)情報が捕捉できるようになる。その後、この色画素情報を処理して、対象物の色情報(波長情報)を生成する。
単レンズ式カメラには、いくつかの短所がある。こうした短所の例としては、(画像の)解像度に制限があること、撮像の彩色における貧弱さ、および撮像の輝度の不適当さ、といったものがある。解像度に制限がかかるのは、使用するひとつのセンサーアレイ内に収められるセンサー素子の数に制限があることに因ることが多い。そこで、解像度を改良するには、センサー素子の数を増やせばいいということになって、こうした方策が数々のカメラに取り入れられ、センサーアレイ内に収められるセンサー素子の密度は高まるばかりであった。センサー素子の密度をさらに改良するにあたって行うべきこともまた多いのではあるけれども、解像度の改善のための別の方策を模索することもまた望ましいと云える。
撮像の彩色における貧弱さは、センサーアレイ内のセンサー素子において、スペクトル幅にかかる制限に端を発していることが多い。スペクトル幅の制限を克服するために用いられてきた手法のひとつとして、センサーアレイ内のひとつの素子から得られる色画像情報を、近傍に在るセンサー素子から得られる付加的な色情報と組み合せるというものがある。残念ながら、こうした手法により、「偽色(color artifacts)」として知られる色欠陥が顕われてしまうことがある。この偽色は、センサー素子間の物理的な間隔(「画素ピッチ(pixel pitch)」と云う)が、画像内容の空間的なピッチと同じ桁(オーダー)であるときに発生する。この現象は「エイリアシング(aliasing)」とも呼ばれ、画像の望まざる歪みや、画像における色彩の貧弱さの原因となってしまう。
画像における輝度の不適当さに関して述べれば、従来技術に係るカメラには幾分に欠点があり、これは、カメラレンズに入る光が、センサーアレイに突き当たるまでの間に、色フィルターを過ることになるためである。つまり、センサー素子のそれぞれは、或る色の光だけを受けるのであって、広汎なスペクトル光を受けるのでは無いために、より精確な画像の輝度情報が得られなくなっているのである。例えば、第一のセンサー素子が緑色の光だけを受け、そして第二のセンサーが赤色の光のみを、第三のセンサーが青色の光のみを受ける、ということである。これら三種の素子から得られた三種の色画素が処理されて、画像輝度情報が得られる。こうした処理では、写した対象物の輝度情報を精確には再現できない。
したがって、上述したようなひとつもしくは複数の難点を克服できる撮像系および方法への要請があることは、当業者には充分に理解できることである。
本発明では、撮像系には複数のレンズが含まれるのが普通であり、この複数のレンズがそれぞれ独立に撮像対象からの可視光を受けて、その光を対応するセンサーアレイへと導くよう構成される。その後、ひとつもしくは複数のセンサーアレイが生成した信号を基にして、輝度情報を得る。色情報が要る場合には、光学フィルターを、レンズとそれに対応するセンサーアレイとの間に挟むように入れる。この光学フィルターに含まれるモザイク模様は、好都合な色情報が得られるよう誂えられる。種々のモザイク模様を具えたこうしたひとつもしくは複数のフィルターを使用することもできる。
本発明に係るいくつかの実施形態では、上述した効果に加えた効果を得ることも、あるいは、上述した効果に代わる効果を得ることもできる、ということは明らかである。さらに云えば、本発明に係る他の系、方法、特徴、および/もしくは効果については、後述する図面と詳細な説明を当業者が吟味することで、明らかなものとなるであろう。こうした付加的な系、方法、特徴、および/もしくは効果のすべては、本開示内に含まれることを意図したものであり、且つ本発明の範囲内に収まることを意図したものであり、且つ随伴する請求項により保護されることを意図したものである。
種々の実施形態は、撮像系および撮像方法について記載するものである。本発明に係る撮像系には、複数のレンズが含まれるのが一般的であって、このレンズ群のそれぞれは、撮像対象からの可視光を受けて、この光を対応するセンサーアレイへと導くように構成されている。その後、ひとつもしくは複数のセンサーアレイで生成された信号から、輝度情報をつくりだす。色情報が要る場合には、光学フィルターを、レンズとそれに対応するセンサーアレイとの間に挟み込むようにする。光学フィルター中に含まれるモザイクフィルター模様は、好都合な色情報が得られるよう誂える。一種類もしくは複数種類のこうしたフィルターには、さまざまなモザイクフィルター模様を用いることも可能である。
撮像系に係る或る実施形態においては、複数のセンサーから得た色情報を処理して、対象物の画像を生成する。また、第二の実施形態においては、複数のセンサーから得た輝度情報と色情報とを組み合わせて、対象物の画像を生成する。こうした実施形態についての例を少し、以下に述べる。なお、以下に示す実施形態の例で述べる、緑、青、および赤といった色については、説明のために使っているのであって、本発明をこれら特定の色に限定しようとしているものでは無い、ということを理解されたい。つまり、他の実施形態においては、別の色が使われることになる。
図1は、撮像対象 101 の輝度情報を得るための第一のレンズ系 100A に、撮像対象 101 の色情報を得るための第二のレンズ系 100B を併せた、二レンズ式撮像系の例を示している。レンズ 110 は、対象物 101 からの可視光のスペクトル全体を受けて、この光を輝度センサーアレイ 115 へと導く。輝度センサーアレイ 115 は、ぼんやりしたアレイ(pixilated array)であり、入射光に応じて、複数のピクセル形状での輝度情報を生成する。対象物 101 の輝度が小さい条件であっても、レンズ系 100A では良好な光束感度が得られる。ヒトの眼は、空間的な変化については色よりも輝度の方に敏感であるため、輝度センサーアレイ 115 を、最大限の輝度の精度に合わせて構成して、色パラメータによる束縛がまったく無いようにすることができる。
また、レンズ 120 は、対象物 101 からの可視光のスペクトル全体を受けて、その光を色センサーアレイ 130 へと導く。レンズ 120 と色センサーアレイ 130 の間には、光学フィルター 125 が挟まれており、この光学フィルター 125 が可視光のスペクトル全体のうちのひとつもしくは複数の副スペクトルを選択的に伝達する。例えば、図1に示した実施形態の場合、光学フィルター 125 は、Bayerモザイク模様を有するBayerフィルターである。このモザイク模様には、赤色(red)を表す記号 126 で示したいくつかの赤色フィルター素子と、緑色(green)を表す記号 127 で示したいくつかの緑色フィルター素子と、青色(blue)を表す記号 128 で示したいくつかの青色フィルター素子とが含まれる。要するに、光学フィルター 125 は、三種類の副スペクトルを伝達するようになっているということである。第一の副スペクトルには、赤色光に対応する波長が含まれ、また、第二の副スペクトルは緑色光に、第三の副スペクトルは青色光にそれぞれ対応する。
光学フィルター 125 のフィルター素子のそれぞれは、色センサーアレイ 130 中の対応するセンサー素子に沿って光学的に整列しており、各センサー素子から得た色情報についてのひとつのピクセルを灯すようになっている。こうしたセンサー素子の一例としては、センサー素子 131 があり、この例では緑色光情報のピクセルのうちのひとつを灯すようになっている。
色センサーアレイ 130 から得たぼんやりした色情報(pixilated chrominance information)を、輝度センサーアレイ 115 から得たぼんやりした輝度情報(pixilated luminance information)と組み合わせて、対象物の画像を生成する。この画像の解像度は、これら二種のセンサーアレイが持つピクセルの数に比例するので、単独のセンサーアレイを用いる単レンズ系から通常得られる解像度よりも高くなる。
なお、「輝度センサーアレイ」および「色センサーアレイ」という符牒は、これらのセンサーアレイの機能をわかりやすく説明するために使っているものであって、個々のセンサーアレイの物性を限定しようとするものでは無い、ということを理解されたい。例えば、或る実施形態においては、「輝度」センサーアレイが、「色」センサーアレイと物理的に同一であってもよい。つまり、二種のアレイのうちのいずれか一方のセンサーアレイに、フィルターをかけていない可視光を当てることで、輝度情報を得るようにしてもよい、ということである。同様に、同じ二つのアレイのうちの一方のセンサーアレイへ、或る色だけを有する光を当てて、色情報を得るようにしてもよい。
あるいは、別の実施形態においては、二種のセンサーアレイは互いに物理的に異なるものである。例えば、「色」センサーアレイのセンサー素子を、そのアレイに入射する光が可視光のスペクトル全体では無く或る色の光であるときに、最大の応答が得られるように選択し、且つ、「輝度」センサーアレイのセンサー素子を、特定の色の光では無くスペクトル全体に対して最大の応答をするように選択する。
図2は、三レンズ式撮像系の例を示している。ここでは、第一のレンズ系 200A を、ひとつもしくは複数の撮像対象(図示せず)の輝度情報を得るために用いており、それに併せて第二のレンズ系 200B を対象物の色情報を得るために用いている。レンズ系 200A, 200B は、図1のレンズ系 100A, 100B とそれぞれ同様のものである。第三のレンズ系 200C は、対象物の付加的な輝度情報を得るために使われている。この例示的な実施形態においては、レンズ系 200C は輝度センサーアレイ 240 を含んでおり、この輝度センサーアレイ 240 の持つセンサー素子の数は、レンズ系 200A の輝度センサーアレイ 215 とそれと同じ数である。しかしながら、輝度センサーアレイ 240 に含まれるセンサー素子には、輝度センサーアレイ 215 に含まれるセンサー素子を基準として、空間的に偏差をつけてある。つまり、これら二つのセンサーから得たぼんやりした輝度情報(pixilated luminance information)が、相補して解像度を増大させているということである。この効果は、ただ単独のセンサーアレイに含まれるセンサー素子に較べてセンサー素子が二倍になったというだけのことでは無く、空間的に偏差をつけているがためにピクセルの位置が異なり、そこで得られる輝度情報が増している所以のものである。他の実施形態においては、三つのセンサーのそれぞれに在るセンサー素子の数が、異なっている。
図3は、別の例示的な三レンズ式撮像系 300 を示している。ここでは、第一のレンズ系 300C を、撮像対象(図示せず)の輝度情報を得るために用いており、それに併せて第二のレンズ系 300B を対象物の色情報を得るために用いている。レンズ系 300C, 300B は、図1のレンズ系 100A, 100B とそれぞれ同様のものである。第三のレンズ系 300A は、対象物の付加的な色情報を得るために使われている。この例示的な実施形態においては、光学フィルター 305 は赤-緑(red-green)フィルターであって、そのモザイク模様は、赤-緑-青(red-green-blue)Bayerフィルターである光学フィルター 325 のそれとは異なっている。加えて、光学フィルター 305 のモザイク模様には、光学フィルター 325 のモザイク模様を基準として、空間的に偏差をつけることもできる。例えば、緑色フィルター素子 306 は、緑色フィルター素子 307 を基準としてずらされている。つまり、光学フィルター 305 と光学的に接続されたセンサーアレイ 315 から得られる或る色情報が、センサーアレイ 330 から得られる色情報を補完するのである。例えば、緑色光を受けるセンサーアレイ 315 のセンサー素子には、緑色光を受けるセンサーアレイ 330 のセンサー素子を基準にして、空間的な偏差がついている。要するに、二つのセンサーアレイからの情報を組み合わせて得られる緑色ピクセル情報によって、単レンズ系に含まれる単独のセンサーアレイから得られる解像度よりも、より高い解像度が得られる、ということである。
図4は、三レンズ式撮像系 400 を示しており、ここでは三つのレンズ系 400A, 400B, 400C を使って、撮像対象(図示せず)に関する三組の色情報を得るようになっている。三レンズ式撮像系 400 の実施形態の例については、いくつか後述する。
第一の実施形態においては、三つの光学フィルター 405, 425, 445 が、互いに異なるモザイク模様を有している。光学フィルター 405 は赤-緑(red-green)フィルターであって、そのモザイク模様は、赤-緑-青(red-green-blue)Bayerフィルターである光学フィルター 425 のそれとは異なっている。また、さらに別の光学フィルター 445 は、青-緑(blue-green)モザイク模様を有しており、これは光学フィルター 405, 425 のどちらとも異なっている。センサー 415, 430, 440 から得られる三組の情報を組み合わせて、対象物の画像を生成する。
図4の第二の実施形態においては、三つの光学フィルター 405, 425, 445 が互いに類似している。例えば、三つの光学フィルターのすべてが同じBayer色フィルターであって、これらのそれぞれが多数のピクセル素子を有していて、その数は従来技術に係る光学フィルターが有するそれと同様である、という形態がある。しかし、超解像能(super-resolution)を持つので、三レンズ式撮像系 400 の被写界深度は、従来技術に係る単レンズ系のそれよりも、充分に優れたものとなるのである。例えば、三レンズ式撮像系 400 の被写界深度は、0.11mmから無限遠までの範囲にすることができ、一方それに較べて、従来技術に係る単レンズ系の被写界深度は0.30mmから無限遠までの範囲である。超解像能とは、n個の独立した画像を互いに重ね合わせて(スーパーインポーズして)、解像度を係数 (n)1/2 倍高める、という画像処理方法である。例えば、超解像能を使うと、三レンズ式撮像系 400 から得られる解像度は、従来技術に係る単レンズ系から得られる解像度に較べて、係数 (3)1/2 倍高められる。
上述した第二の実施形態の変形例では、三つの光学フィルター 405, 425, 445 のそれぞれの寸法、さらには対応するセンサー 415, 430, 440 のそれぞれの寸法を大きくして、三レンズ式撮像系 400 の被写界深度が、従来技術に係る単レンズ系の被写界深度と同じになるようにする。光学フィルター/センサーアレイの寸法は全体的に増すが、各光学フィルター内に収められた独立したフィルター素子のそれぞれの寸法は、各センサーアレイ内に収められた独立したセンサー素子のそれぞれの寸法と同様に変化しないままである。このため、全体的なピクセル数が充分に増えるのだ、ということを理解されたい。つまり、三レンズ式撮像系 400 の解像度は、従来技術に係る単レンズ系の解像度よりも充分に高くなる。
図4の第三の実施形態においては、三レンズ系 400A, 400B, 400B に、軸外し結像法(off-axis imaging)を組み込んで、中心部撮像法(on-axis imaging)と組み合わせる。レンズ 410, 420, 435 のうちのひとつもしくは複数を、対応するセンサー 415, 430, 440 のうちのひとつの上の軸外し位置(off-axis location)で、最適な変調伝達函数(MTF)が得られるように構成する。こうした系に関するさらなる詳細については、同時係属中の特許出願である "Imaging systems and methods" (Russ Gruhlke et al.)(この参照により本開示に完全に含まれる)を参照されたい。
図5は、例示的な三レンズ式撮像系 500 を示しており、ここでは三つのレンズ系 500A, 500B, 500C を使って、撮像対象(図示せず)の色情報を三組得ている。第一の実施形態においては、三つの光学フィルター 505, 525, 545 のそれぞれが、ひとつもしくは複数の四分劃式フィルターを有していて、この分劃のそれぞれが、入射光の副スペクトルを伝達するように構成されている。例えば、四分劃式フィルター 505A の第一の分劃が、赤色光を伝達するように、また、第二の分劃が緑色光を、第三の分劃も緑色光を、第四の分劃が青色光を伝達するように、構成することができる。この模様については、色フィルター模様表 501 の枠 506 内に示してある。この表 501 には、三つの四分劃式フィルター 505A, 525A, 545A で実施できる組み合わせの例をいくつか示してある。枠 507 には、四つの分劃のそれぞれを通して、可視光のスペクトル全体を伝達するように構成された四分劃の組み合わせを示している。別の実施形態においては、四つの分劃のうちのひとつだけが、可視光のスペクトル全体を伝達するように構成される。
色フィルター模様表 501 の点線枠 541 に論点を移すと、ここでは、四分劃式フィルター 505A が赤-赤-青-青(red-red-blue-blue; 2R2B)の分劃配置を有し、また四分劃式フィルター 525A が緑-緑-緑-緑(green-green-green-green; 4G)の分劃配置を有し、そして四分劃式フィルター 545A が赤-赤-青-青(red-red-blue-blue; 2R2B)の分劃配置を有する。同様に、点線枠 542 では、別の例として四分劃式フィルター 505A が赤-赤-赤-青(red-red-red-blue; 3R1B)の分劃配置を有し、また四分劃式フィルター 525A が緑-緑-緑-緑(green-green-green-green; 4G)の分劃配置を有し、そして四分劃式フィルター 545A が赤-青-青-青(red-blue-blue-blue; 1R3B)の分劃配置を有する。
図6では、三レンズ式撮像系部材 600 の例を構成する、少数の独立した構成部品群を示している。レンズ部材 610 は、三つのレンズを含む。外被殻 605 は、内封殻 615 の上に配置され、また、この内封殻 615 の中にレンズ部材 610 が収められる。これら三つの素子を組み上げてから、台 620 に載せる。この台 620 がさらに基板 630 上に配置される。
台 620 には、三枚の色フィルターが収められており、これらは、上述した種々の例示的な実施形態群における三つのレンズ系に関連づけられたものである。これら三枚のフィルターは、レンズ部材 610 中の三枚のレンズに沿って、光学的に整列している。台 620 は、さらに三つのセンサー素子を収容することもでき、この各センサー素子も、レンズ部材 610 の三枚のレンズに沿って光学的に整列する。また、三つのセンサー素子からの三種の信号を処理し、合成画像を生成するための、ひとつもしくは複数の演算回路を、台 620 が収容することもできる。例えば外部接続・電気回路・機構上の留具・装着するハードウェアといった系 600 の付加的な特徴については、簡潔にするため、図6では省略してある。
図7は、二レンズ系(図1の系 100 など)から画像を生成するための方法を示すフローチャートである。ブロック 705 では、第一のレンズと、第一の光学フィルターと、第一のセンサーとが用意される。これら三種の部材を光学系に配置し、このレンズとセンサーの間に光学フィルターがくるようにする。撮像対象から届いて第一のレンズに入った可視光は、第一のレンズと光学的に整列するように配置された第一の光学フィルターへと導かれる。この可視光は、第一の光学フィルターを、そのモザイク模様に従って通過する。例えば、第一の光学フィルターがBayerフィルターである場合には、そのモザイク模様により、Bayer模様での赤-緑-青(red-green-blue)フィルタリングがなされる。フィルターを通過した光は、第一のセンサーへと伝達される。
ブロック 710 では、第一のセンサーへと入射する光の模様に応じて、第一のセンサーからぼんやりした(pixilated)色情報を得ている。ブロック 715 では、第二のレンズと第二のセンサーとを、光学系に配置する。撮像対象から届いて第二のレンズに入った可視光は、フィルタリングされること無く第二のセンサーへと直接に導かれる。ブロック 720 では、第二のセンサーから、フィルターにかけられていない可視光のスペクトルについてのぼんやりした(pixilated)輝度情報を得る。こうした配置によって、たとえ対象物の露光が少なくとも、撮像系内で最適な光束感度が得られるようになっている。
ブロック 725 では、第一のセンサーから得たぼんやりした(pixilated)色情報を、第二のセンサーから得たぼんやりした(pixilated)輝度情報と組み合わせて、対象物の画像を生成する。
図8は、三レンズ系(図4の系 400 など)から画像を生成するための方法を示すフローチャートである。ブロック 805 では、第一のレンズと、第一の光学フィルターと、第一のセンサーとが用意される。これら三種の部材を光学系に配置し、このレンズとセンサーの間に光学フィルターがくるようにする。撮像対象から届いて第一のレンズに入った可視光は、第一のレンズと光学的に整列するように配置された第一の光学フィルターへと導かれる。この可視光は、第一の光学フィルターを、そのモザイク模様に従って通過する。例えば、第一の光学フィルターが赤-緑(red-green)フィルターである場合には、そのモザイク模様により、赤-緑(red-green)フィルタリングがなされる。フィルターを通過した光は、第一のセンサーへと伝達される。ブロック 810 では、入射する光の第一の模様に応じた色情報を、第一のセンサーから得ている。
ブロック 815 では、第二のレンズと、第二の光学フィルターと、第二のセンサーとが用意される。これら三種の部材を光学系に配置し、このレンズとセンサーの間に光学フィルターがくるようにする。撮像対象から届いて第二のレンズに入った可視光は、第二のレンズと光学的に整列するように配置された第二の光学フィルターへと導かれる。この可視光は、第二の光学フィルターを、そのモザイク模様に従って通過する。例えば、第二の光学フィルターがBayerフィルターである場合には、そのモザイク模様により、赤-緑-青(red-green-blue)Bayerモザイクフィルタリングがなされる。フィルターを通過した光は、第二のセンサーへと伝達される。ブロック 820 では、入射する光の第二の模様に応じた色情報を、第二のセンサーから得ている。
ブロック 825 では、第三のレンズと、第三の光学フィルターと、第三のセンサーとが用意される。これら三種の部材を光学系に配置し、このレンズとセンサーの間に光学フィルターがくるようにする。撮像対象から届いて第三のレンズに入った可視光は、第三のレンズと光学的に整列するように配置された第三の光学フィルターへと導かれる。この可視光は、第三の光学フィルターを、そのモザイク模様に従って通過する。第三の光学フィルターが青-緑(blue-green)フィルターである場合には、そのモザイク模様により、青-緑(blue-green)モザイクフィルタリングがなされる。フィルターを通過した光は、第三のセンサーへと伝達される。ブロック 830 では、入射する光の第三の模様に応じた色情報を、第三のセンサーから得ている。ブロック 835 では、第一の色情報と、第二の色情報と、第三の色情報とを組み合わせて、対象物の画像を生成する。
図9は、三レンズ系(図3の系 300 など)から画像を生成するための方法を示すフローチャートである。当業者は、図9のいろいろなブロック群を、上述した記載に照らして理解できる。このため、上記の説明をくりかえすことは敢えてせず、簡潔になるようにした。
上述した実施形態は、本開示の原則をよく理解できるようにするためのものに過ぎない。数多の変形例・改変例を本開示の本質から逸脱すること無く作成できる。こうした改変例・変形例は、本明細書中に含まれ且つ本開示の範囲内に収まる。
本発明の特徴の多くは、以下の図面を参照することでより深く理解できる。図面を構成する要素群は、本発明の原理を説明するためのものに過ぎず、必ずしも大きさや重要性を示そうとするものでは無い。さらに、図面では、複数の図面に亘り対応関係のある要素群について、類似する参照番号をつけてある。
図1は、撮像対象の輝度情報を得るための第一のレンズ系に、撮像対象の色情報を得るための第二のレンズ系を併せた、二レンズ式撮像系の例を示している。 図2は、図1の二レンズ式撮像系に、付加的な輝度情報を得るための第三のレンズ系を組み合わせた、三レンズ式撮像系の例を示している。 図3は、図1の二レンズ式撮像系に、付加的な色情報を得るための第三のレンズ系を組み合わせた、三レンズ式撮像系の例を示している。 図4は、三枚の光学フィルターを使った三レンズ式撮像系の例を示しており、これらのフィルターのそれぞれが、フィルター素子の独自のアレイ(配列)を持つように構成されている。 図5は、三枚の光学フィルターを使った三レンズ式撮像系の例を示しており、これらのフィルターのそれぞれが、フィルター素子の独自のアレイを持つ四分劃式フィルターとして構成されている。 図6は、三レンズ式撮像系部材の例を構成する、少数の独立した構成部品群を示している。 図7は、二レンズ系で画像を作成する方法を示すフローチャートである。 図8は、三つのレンズ系群のそれぞれが色情報を生成する三レンズ系で、画像を作成する方法を示すフローチャートである。 図9は、ひとつのレンズ系が輝度情報を生成し、且つ二つのレンズ系群のそれぞれが色情報を生成する三レンズ系で、画像を作成する方法を示すフローチャートである。

Claims (10)

  1. 撮像系(300)であって、
    可視光のスペクトル全体から、第一のぼんやりした(pixilated)輝度情報を生成するように機能する、第一の輝度センサーアレイ(340)と、
    可視光の第一の副スペクトルから、第一のぼんやりした色情報を生成するように機能する、第一の色センサーアレイ(330)と
    を含み、前記第一のぼんやりした輝度情報と前記第一のぼんやりした色情報とを組み合わせて、対象物の画像を生成する
    ことを特徴とする、撮像系。
  2. 撮影する前記対象物から、可視光の前記スペクトル全体を受けるように構成されており、また、可視光の前記スペクトル全体を、前記第一の輝度センサーアレイへと導くように機能する、第一のレンズ(335)と、
    撮影する前記対象物から、可視光の前記スペクトル全体を受けるように構成されている、第二のレンズ(320)と、
    前記第二のレンズと光学的に直列に配置されている第一の光学フィルター(325)であって、前記第二のレンズによって直接に前記第一の光学フィルターへと向けられる可視光の前記スペクトル全体を、前記第一の光学フィルターが受けるように構成されており、また、前記第一の光学フィルターは、可視光の前記第一の副スペクトルを、前記第一の色センサーアレイへと伝送するよう機能するような、第一の光学フィルター(325)と
    をさらに含むことを特徴とする、請求項1記載の撮像系。
  3. 前記第一の光学フィルター(325)が、少なくとも、赤、緑、および青の光に対応する三種の副スペクトルを、伝送するように機能するBayerフィルターであって、また、前記第一の色センサーアレイ(330)が、少なくとも、ひとつの赤色画素とひとつの緑色画素とひとつの青色画素とに対応する色情報を生成するように機能する
    ことを特徴とする、請求項2記載の撮像系。
  4. 前記第一の光学フィルター(325)が、四分劃式フィルター(four-quadrant filter)を含むことを特徴とする、請求項2記載の撮像系。
  5. 可視光の第二の副スペクトルから、第二のぼんやりした色情報を生成するように機能する、第二の色センサーアレイ(315)
    をさらに含むことを特徴とする、請求項1記載の撮像系。
  6. 前記第一の色センサーアレイ(330)の第一センサー素子に、対応している前記第二の色センサーアレイ(315)の第一のセンサー素子を基準として、空間的に偏差をつけることを特徴とする、請求項5記載の撮像系。
  7. 第二の光学フィルター(305)
    をさらに含み、前記第二の光学フィルターが、可視光の副スペクトルを三種以上伝送するよう機能するBayer色フィルターであって、ここで前記三種の副スペクトルが、前記第二の色センサーアレイ(315)上に投射される、前記第二の副スペクトルを含む
    ことを特徴とする、請求項5記載の撮像系。
  8. 前記第一の光学フィルターのモザイクフィルター模様に、前記第二の光学フィルターの実質的に同様なモザイクフィルター模様を基準として、空間的に偏差をつけることを特徴とする、請求項7記載の撮像系。
  9. 前記第一の光学フィルターと前記第二の光学フィルターのうちの少なくとも一方が、前記撮像系に所望の被写界深度を与えるようなサイズで構成されていることを特徴とする、請求項7記載の撮像系。
  10. 前記第一の色センサーアレイと前記第二の色センサーアレイのうちの少なくとも一方が、前記撮像系に所望の被写界深度を与えるようなサイズで構成されていることを特徴とする、請求項5記載の撮像系。
JP2007546661A 2004-12-15 2005-10-31 複レンズ式撮像系 Expired - Fee Related JP4636418B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/016,376 US7483065B2 (en) 2004-12-15 2004-12-15 Multi-lens imaging systems and methods using optical filters having mosaic patterns
PCT/US2005/039249 WO2006065372A2 (en) 2004-12-15 2005-10-31 Multi-lens imaging systems and methods

Publications (2)

Publication Number Publication Date
JP2008524924A true JP2008524924A (ja) 2008-07-10
JP4636418B2 JP4636418B2 (ja) 2011-02-23

Family

ID=36583321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007546661A Expired - Fee Related JP4636418B2 (ja) 2004-12-15 2005-10-31 複レンズ式撮像系

Country Status (7)

Country Link
US (1) US7483065B2 (ja)
EP (1) EP1839432A2 (ja)
JP (1) JP4636418B2 (ja)
KR (1) KR20070100890A (ja)
CN (1) CN100596168C (ja)
TW (1) TW200621004A (ja)
WO (1) WO2006065372A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012209618A (ja) * 2011-03-29 2012-10-25 Kyocera Corp 電子機器
JP2013026672A (ja) * 2011-07-15 2013-02-04 Toshiba Corp 固体撮像装置及びカメラモジュール
JP2013092552A (ja) * 2011-10-24 2013-05-16 Toshiba Corp 固体撮像装置及びカメラモジュール
US8890942B2 (en) 2012-02-03 2014-11-18 Kabushiki Kaisha Toshiba Camera module, image processing apparatus, and image processing method
WO2017090437A1 (ja) * 2015-11-24 2017-06-01 ソニー株式会社 カメラモジュールおよび電子機器

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060054782A1 (en) 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US7795577B2 (en) * 2004-08-25 2010-09-14 Richard Ian Olsen Lens frame and optical focus assembly for imager module
US7916180B2 (en) * 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US8124929B2 (en) 2004-08-25 2012-02-28 Protarius Filo Ag, L.L.C. Imager module optical focus and assembly method
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US20070102622A1 (en) * 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US20070258006A1 (en) * 2005-08-25 2007-11-08 Olsen Richard I Solid state camera optics frame and assembly
US7566855B2 (en) * 2005-08-25 2009-07-28 Richard Ian Olsen Digital camera with integrated infrared (IR) response
US7860333B2 (en) * 2007-01-09 2010-12-28 University Of Utah Research Foundation Systems and methods for deblurring data corrupted by shift variant blurring
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP3876510A1 (en) 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP4582205B2 (ja) * 2008-06-12 2010-11-17 トヨタ自動車株式会社 電動車両
US8610726B2 (en) * 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US20100079653A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US7881603B2 (en) 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US8619128B2 (en) * 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
CN103004180A (zh) 2010-05-12 2013-03-27 派力肯影像公司 成像器阵列和阵列照相机的架构
US8497897B2 (en) * 2010-08-17 2013-07-30 Apple Inc. Image capture using luminance and chrominance sensors
JP5582935B2 (ja) * 2010-09-22 2014-09-03 富士フイルム株式会社 撮像モジュール
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
WO2012051751A1 (en) * 2010-10-19 2012-04-26 Ether Precision, Inc. Optical module comprising monochromatic image sensors, system comprising optical module and method of manufacturing optical module
JP2013546238A (ja) * 2010-10-22 2013-12-26 ユニバーシティ オブ ニュー ブランズウィック カメラ撮像システムおよび方法
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9137503B2 (en) 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5284457B2 (ja) * 2011-02-15 2013-09-11 キヤノン株式会社 画像表示装置及びその制御方法、プログラム、記憶媒体
US8305456B1 (en) 2011-05-11 2012-11-06 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013003276A1 (en) 2011-06-28 2013-01-03 Pelican Imaging Corporation Optical arrangements for use with an array camera
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9225977B2 (en) * 2013-02-25 2015-12-29 Teradyne, Inc. Matrix testing targets
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
US9473708B1 (en) 2013-08-07 2016-10-18 Google Inc. Devices and methods for an imaging system with a dual camera architecture
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
CN103595982A (zh) * 2013-11-07 2014-02-19 天津大学 基于灰度和彩色两颗传感器的彩色图像采集装置
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9503660B2 (en) * 2013-11-26 2016-11-22 Raytheon Company Coordinated simultaneous real and Fourier plane imaging system and methods
MX360883B (es) 2013-12-10 2018-11-21 Illumina Inc Biosensores para análisis biológico o químico y métodos para fabricarlos.
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US20150281538A1 (en) * 2014-03-25 2015-10-01 Semiconductor Components Industries, Llc Multi-array imaging systems and methods
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
KR102144588B1 (ko) 2014-05-09 2020-08-13 삼성전자주식회사 센서 모듈 및 이를 구비한 장치
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
US9319585B1 (en) * 2014-12-18 2016-04-19 Omnivision Technologies, Inc. High resolution array camera
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10178360B2 (en) 2015-08-03 2019-01-08 Sony Corporation Imaging sensor coupled with layered filters
KR102347591B1 (ko) * 2015-08-24 2022-01-05 삼성전자주식회사 이미지 센싱 장치 및 이미지 프로세싱 시스템
US20170318273A1 (en) 2016-04-28 2017-11-02 Qualcomm Incorporated Shift-and-match fusion of color and mono images
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
CN110463197B (zh) * 2017-03-26 2021-05-28 苹果公司 增强立体相机成像系统中的空间分辨率
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
TWI703367B (zh) * 2018-02-08 2020-09-01 先進光電科技股份有限公司 光學成像系統
DE102019109147A1 (de) * 2019-04-08 2020-10-08 Carl Zeiss Jena Gmbh Bildaufnahmesystem und verfahren zum aufnehmen von bildern
BR112022004811A2 (pt) 2019-09-17 2022-06-21 Boston Polarimetrics Inc Sistemas e métodos para modelagem de superfície usando indicações de polarização
CN114746717A (zh) 2019-10-07 2022-07-12 波士顿偏振测定公司 利用偏振进行表面法线感测的系统和方法
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63155893A (ja) * 1986-12-19 1988-06-29 Fuji Photo Film Co Ltd 映像信号の形成装置
JPH06205423A (ja) * 1992-12-28 1994-07-22 Canon Inc 撮像装置
JPH06315154A (ja) * 1993-04-28 1994-11-08 Nippon Telegr & Teleph Corp <Ntt> カラー撮像装置
JP2001078213A (ja) * 1999-06-30 2001-03-23 Canon Inc 撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159453A (en) * 1990-09-07 1992-10-27 New York Institute Of Technology Video processing method and apparatus
US5438366A (en) * 1993-03-31 1995-08-01 Eastman Kodak Company Aspherical blur filter for reducing artifacts in imaging apparatus
US5852502A (en) * 1996-05-31 1998-12-22 American Digital Imaging, Inc. Apparatus and method for digital camera and recorder having a high resolution color composite image output
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6859229B1 (en) * 1999-06-30 2005-02-22 Canon Kabushiki Kaisha Image pickup apparatus
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
JP4652634B2 (ja) * 2001-08-31 2011-03-16 キヤノン株式会社 撮像装置
US20030048493A1 (en) * 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
US6809358B2 (en) * 2002-02-05 2004-10-26 E-Phocus, Inc. Photoconductor on active pixel image sensor
JP2004007413A (ja) * 2002-03-28 2004-01-08 Hiroyuki Ogino 画像入力装置及びその方法
JP4018456B2 (ja) * 2002-06-03 2007-12-05 富士フイルム株式会社 撮像装置
US6852565B1 (en) * 2003-07-10 2005-02-08 Galaxcore, Inc. CMOS image sensor with substrate noise barrier
US7123298B2 (en) * 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
EP1608183A1 (en) * 2004-06-14 2005-12-21 Dialog Semiconductor GmbH Matrix circuit for imaging sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63155893A (ja) * 1986-12-19 1988-06-29 Fuji Photo Film Co Ltd 映像信号の形成装置
JPH06205423A (ja) * 1992-12-28 1994-07-22 Canon Inc 撮像装置
JPH06315154A (ja) * 1993-04-28 1994-11-08 Nippon Telegr & Teleph Corp <Ntt> カラー撮像装置
JP2001078213A (ja) * 1999-06-30 2001-03-23 Canon Inc 撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012209618A (ja) * 2011-03-29 2012-10-25 Kyocera Corp 電子機器
JP2013026672A (ja) * 2011-07-15 2013-02-04 Toshiba Corp 固体撮像装置及びカメラモジュール
US9055181B2 (en) 2011-07-15 2015-06-09 Kabushiki Kaisha Toshiba Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
JP2013092552A (ja) * 2011-10-24 2013-05-16 Toshiba Corp 固体撮像装置及びカメラモジュール
US8988591B2 (en) 2011-10-24 2015-03-24 Kabushiki Kaisha Toshiba Solid-state imaging device, camera module, and focus adjustment method of camera module
US8890942B2 (en) 2012-02-03 2014-11-18 Kabushiki Kaisha Toshiba Camera module, image processing apparatus, and image processing method
WO2017090437A1 (ja) * 2015-11-24 2017-06-01 ソニー株式会社 カメラモジュールおよび電子機器
JPWO2017090437A1 (ja) * 2015-11-24 2018-09-13 ソニーセミコンダクタソリューションズ株式会社 カメラモジュールおよび電子機器
US10375282B2 (en) 2015-11-24 2019-08-06 Sony Semiconductor Solutions Corporation Camera module with stacked lens structure and electronic apparatus

Also Published As

Publication number Publication date
WO2006065372A2 (en) 2006-06-22
CN100596168C (zh) 2010-03-24
CN101213830A (zh) 2008-07-02
JP4636418B2 (ja) 2011-02-23
US7483065B2 (en) 2009-01-27
KR20070100890A (ko) 2007-10-12
EP1839432A2 (en) 2007-10-03
WO2006065372A3 (en) 2007-05-10
US20060125936A1 (en) 2006-06-15
TW200621004A (en) 2006-06-16

Similar Documents

Publication Publication Date Title
JP4636418B2 (ja) 複レンズ式撮像系
WO2021227250A1 (zh) 图像传感器和电子设备
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
CN102687502B (zh) 减少彩色图像中的噪声
CN103688536B (zh) 图像处理装置、图像处理方法
US20150381951A1 (en) Pixel arrangements for image sensors with phase detection pixels
US9159758B2 (en) Color imaging element and imaging device
JP2011507353A (ja) カラーモザイク撮像器から全色性応答を達成するための方法および装置
JP2013518527A (ja) 加重画素値差分に基づくcfa画像デノイズ
US20220174245A1 (en) Systems and methods for creating a full-color image in low light
US20030151685A1 (en) Digital video camera having only two CCDs
JP2015053578A (ja) カラー撮像装置及びカラー撮像方法
CN108370422A (zh) 利用单个矩阵传感器采集可见和近红外图像的系统和方法
JP4911923B2 (ja) 固体撮像素子
US10609361B2 (en) Imaging systems with depth detection
US11696043B2 (en) White balance compensation using a spectral sensor system
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
US9124828B1 (en) Apparatus and methods using a fly&#39;s eye lens system for the production of high dynamic range images
JP2020120204A (ja) 画像処理装置、画像処理方法およびプログラム
WO2021157237A1 (ja) 電子機器
US6768510B2 (en) Color correction for RGB
JP4303922B2 (ja) 固体撮像素子および撮像装置
JP2010130321A (ja) 撮像装置
JP4342149B2 (ja) 固体撮像素子と撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080408

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080408

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081006

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100126

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4636418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees