JP2020060763A - イメージセンサ及びイメージ検出方法 - Google Patents

イメージセンサ及びイメージ検出方法 Download PDF

Info

Publication number
JP2020060763A
JP2020060763A JP2019171733A JP2019171733A JP2020060763A JP 2020060763 A JP2020060763 A JP 2020060763A JP 2019171733 A JP2019171733 A JP 2019171733A JP 2019171733 A JP2019171733 A JP 2019171733A JP 2020060763 A JP2020060763 A JP 2020060763A
Authority
JP
Japan
Prior art keywords
lens
detection
elements
image
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019171733A
Other languages
English (en)
Inventor
徳寧 姜
Deog Ning Kang
徳寧 姜
良鎬 趙
Yang-Ho Cho
良鎬 趙
東▲きょん▼ 南
Dong Kyung Nam
東▲きょん▼ 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180154741A external-priority patent/KR102644944B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020060763A publication Critical patent/JP2020060763A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0085—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computing Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Lens Barrels (AREA)

Abstract

【課題】様々な視野角のイメージ情報を高解像度で検出する薄型カメラシステムを提供する。【解決手段】カメラシステムは、レンズアレイ４１０とイメージ検出アレイ４２０を有する。レンズアレイ４１０は、同じ焦点距離を有しながら様々なレンズの大きさを有する複数種類のレンズアレイから成る。カメラシステムはさらに複眼視野イメージ取得プロセッサを有し、レンズアレイ４１０を介して受光された様々な視野角に対応する検出情報から、指定されたズーム倍率の視野イメージを取得可能であり、その際、高い倍率に対して高解像度のイメージを復元することができる。【選択図】図４

Description

以下、イメージを検出する技術が提供される。
光学技術及び映像処理技術の発達に伴って、マルチメディアコンテンツ、セキュリティー、及び認識などの広範囲な分野に撮影装置が活用されている。例えば、撮影装置は、モバイル機器、カメラ、車両、及びコンピュータなどに搭載され、映像を撮影したり、オブジェクトを認識したり、機器を制御するためのデータを取得する。撮影装置の体積は、レンズのサイズ、レンズの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）及びセンサのサイズなどによって決定される。例えば、レンズのサイズとセンサのサイズとに基づいて撮影装置の体積が調整される。センサのサイズが減少するにつれて、センサに入射される光量が減少する。そのため、映像の解像度が低くなったり、低照度環境における撮影が困難になったりする場合がある。撮影装置の体積を減少させるために、小型レンズから構成されたマルチレンズを用いることができる。レンズのサイズが減少する場合、レンズの焦点距離が減少し得る。したがって、マルチレンズを介して撮影装置の体積が減少し得る。
一実施形態に係るイメージセンサは、様々な視野角の情報を取得するように構成された検出アレイ及びレンズアレイを提供する。
一実施形態に係るイメージセンサは、それぞれ同じ焦点距離を有する複数のレンズ素子を含むレンズアレイと、前記レンズアレイから前記焦点距離だけ離隔し、前記レンズアレイを通過した光を検出する複数の検出素子とを含み、前記複数のレンズ素子のうちの少なくともいずれか１つのレンズ素子のレンズの大きさは、前記複数のレンズ素子のうちの他のレンズ素子のレンズの大きさと異なる。
前記複数のレンズ素子は、レンズの大きさに応じて複数のレンズグループに分類され、前記複数のレンズグループのうちの各レンズグループは、個別レンズの大きさに対応し、前記複数のレンズグループの中からの各レンズグループに対して前記レンズグループに含まれたレンズ素子は該当するレンズの大きさを有し、前記複数のレンズグループの中からの各レンズグループに対応する前記個別レンズの大きさは、前記複数のレンズグループの中からの残りのレンズグループの個別レンズの大きさと異なり得る。
前記複数のレンズグループの中からの各レンズグループは、前記複数の検出素子の中から同じ個数の検出素子をカバーするように構成され、前記複数のレンズグループの中からの各レンズグループに含まれるレンズ素子の個数は、カバーされる検出素子の個数に基づいて決定され得る。
前記複数のレンズグループの中からの各レンズグループに対して、前記レンズグループに含まれたレンズ素子は互いに隣接するように配置され得る。
前記複数のレンズグループのうちのいずれか１つのレンズグループは、単一レンズ素子を含み得る。
前記複数のレンズ素子のうち第１レンズ素子は、前記第１レンズ素子のレンズの大きさよりも大きいレンズの大きさを有する第２レンズ素子よりも前記レンズアレイの中心位置に近く配置され得る。
前記複数のレンズ素子のそれぞれは、前記レンズアレイに対応する平面上で前記複数の検出素子に対してランダムに配置され得る。
前記複数のレンズ素子の中からの各レンズ素子は、前記複数の検出素子から同じ個数の検出素子をカバーするように構成され得る。
前記複数のレンズ素子の中からの少なくとも１つのレンズ素子は、前記複数の検出素子の中からの少なくとも１つの検出素子の全体よりも小さい部分をカバーするように配置され得る。
イメージセンサは、前記複数の検出素子によって検出された検出情報に基づいて、前記レンズアレイの視野角内で中心領域の解像度が前記中心領域に隣接する領域の解像度よりも高くイメージを復元するプロセッサをさらに含み得る。
イメージセンサは、前記複数の検出素子を介して検出された検出情報に基づいて、複眼視野イメージ（ＣＥＶ ｉｍａｇｅ：ｃｏｍｐｏｕｎｄ ｅｙｅ ｖｉｓｉｏｎ ｉｍａｇｅ）を取得するプロセッサをさらに含み得る。
前記プロセッサは、前記複数の検出素子で検出されるライトフィールド情報に基づいて、前記複眼視野イメージに含まれたピクセルを再配列するようにさらに構成され得る。
前記プロセッサは、前記複数の検出素子と前記複数のレンズ素子との間の幾何学的関係に基づいて、前記複眼視野イメージから場面イメージを復元するようにさらに構成され得る。
前記プロセッサは、前記複眼視野イメージを取得する前にトレーニングが完了したイメージ復元モデルに基づいて、前記複眼視野イメージから場面イメージを復元するようにさらに構成され得る。
イメージセンサは、前記複数の検出素子を介して検出された検出情報の中から、ユーザによって指定されたズーム倍率に対応する、対象検出情報を選択するように構成されるプロセッサをさらに含み、前記プロセッサは、前記選択された対象検出情報に基づいて場面イメージを復元するようにさらに構成され得る。
前記プロセッサは、前記指定されたズーム倍率に対応する視野角に対応する情報を前記対象検出情報として選択し得る。
前記複数のレンズ素子の中からの各レンズ素子は、入射光を屈折させて前記複数の検出素子を含む検出アレイ上の地点に前記レンズ素子で出射する光の焦点を形成し得る。
前記複数のレンズ素子は、視野角に基づいて複数のレンズグループに分類され、前記複数のレンズグループの各レンズグループは、個別視野角に対応して、前記複数のレンズグループの中からの各レンズグループに対応する前記個別視野角は、前記複数のレンズグループの中からの残りのレンズグループの個別視野角とは異なり、前記複数のレンズグループの中からの各レンズグループに対して前記複数の検出素子の中からの前記レンズグループによってカバーされる検出領域に属する検出素子は、前記レンズグループに対応する視野角に対応する光線を検出し得る。
前記イメージセンサは、モバイル端末に含まれ得る。
一実施形態に係るイメージ検出方法は、複数の検出素子がそれぞれ同じ焦点距離を有する複数のレンズ素子を通過した光を検出するステップと、プロセッサが前記複数の検出素子によって検出された光の強度に基づいて場面イメージを復元するステップとを含み、前記複数のレンズ素子のうちの少なくともいずれか１つのレンズ素子のレンズの大きさは、前記複数のレンズ素子の中からの他のレンズ素子のレンズの大きさとは異なる。
一実施形態に係るカメラは、被写体から反射する入射光線を屈折させるように構成されるレンズアレイと、前記レンズアレイによって屈折される前記光線を検出するように構成されるセンサを含み、前記レンズアレイは、第１直径を有する第１レンズ及び前記第１直径と異なる第２直径を有する第２レンズを含む。
前記レンズアレイは、前記第１直径を有する複数の第１レンズ及び前記第２直径を有する複数の第２レンズを含み得る。
前記複数の第１レンズによってカバーされる前記センサの第１領域及び前記複数の第２レンズによってカバーされる前記センサの第２領域は、同じ大きさを有し得る。
前記センサは、複数の検出素子を含み、前記複数の第１レンズ及び前記複数の第２レンズのそれぞれは、前記複数の検出素子の中から同じ個数の検出素子をカバーし得る。
前記複数の第１レンズ及び前記複数の第２レンズのそれぞれによってカバーされる前記検出素子の個数は非整数であり得る。
前記複数の検出素子の中から各検出素子は、前記被写体の第２地点から第２光線及び前記被写体の第１地点から反射される第１光線を検出するように構成され得る。
前記複数の検出素子は、前記第１直径を有する前記第１レンズによって屈折された第１光線、及び前記第１直径を有する前記複数の第１レンズの中からの他のレンズによって屈折された第２光線を検出するように構成される第１検出素子を含み得る。
前記複数の第１レンズは、第１視野角に対応し、前記複数の第２レンズは、前記第１視野角と異なる第２視野角に対応し得る。
一実施形態に係るイメージセンサは、様々な視野角に対応する検出情報を用いて、より高解像度の拡大した場面イメージを復元することができる。
一実施形態に係るイメージセンサの概略的な構造を示す図である。 一実施形態に係る検出素子がレンズ素子を介して光線を受信する形状を示す図である。 一実施形態に係る検出素子の数とレンズ素子の数との間の関係を示す図である。 一実施形態に係るレンズアレイでの焦点距離及び所望する視野角により決定されるレンズ素子の個数及び大きさを示す図である。 レンズアレイでのレンズ素子の一実施形態に係る配置を説明する図である。 図５を参照して説明されたように、配置されたレンズ素子を介して検出素子が検出する場面の視野角を説明する図である。 レンズ素子の他の一実施形態に係る配置を説明する図である。 レンズ素子の他の一実施形態に係る配置を説明する図である。 レンズ素子の他の一実施形態に係る配置を説明する図である。 レンズ素子の他の一実施形態に係る配置を説明する図である。 一実施形態に係るイメージセンサの構造を示すブロック図である。 一実施形態に係るイメージセンサが実現される機器の例示を示す図である。 一実施形態に係るイメージセンサが実現される機器の例示を示す図である。
下記で説明する実施形態は様々な変更を加えることができる。特許出願の範囲がこのような実施形態によって制限も限定もされることはない。各図面に提示された同じ参照符号は同じ部材を示す。
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なる定義がされない限り、技術的であるか又は科学的な用語を含み、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。
図１は、一実施形態に係るイメージセンサの概略的な構造を示す図である。
一実施形態に係るイメージセンサ１００によって撮影及び復元されるイメージの品質は、検出アレイ１２０に含まれた検出素子の数、及び検出素子に入射される光量によって決定される。例えば、イメージの解像度は、検出アレイ１２０に含まれた検出素子の数によって決定され、イメージの漂う検出素子に入射される光量によって決定される。検出素子に入射される光量は、検出素子のサイズに基づいて決定される。検出素子のサイズが大きいほど、検出素子に入射される光量は増加し、検出アレイ１２０の動的範囲は増加する。したがって、検出アレイ１２０に含まれた検出素子の数が増加するにつれて、イメージセンサ１００は高解像度イメージを撮影することができ、検出素子のサイズが増加するにつれて、イメージセンサ１００は低照度での高感度イメージ撮影に有利に働く。
イメージセンサ１００の体積は、レンズ素子１１１の焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）ｆによって決定される。より具体的に、イメージセンサ１００の体積は、レンズ素子１１１と検出アレイ１２０との間の間隔によって決定されるが、レンズ素子１１１によって屈折された光１９０を収集するために、検出アレイ１２０は、レンズ素子１１１の焦点距離ｆに位置しなければならないため、イメージセンサ１００に含まれたレンズ素子１１１と検出アレイ１２０は、レンズ素子１１１の焦点距離ｆだけ離隔して配置しなければならない。レンズ素子１１１の焦点距離ｆは、イメージセンサ１００の視野角とレンズ素子１１１のサイズ（例えば、レンズ素子１１１の口径の半径）によって決定される。例えば、視野角が固定される場合、レンズ素子１１１のサイズに比例して焦点距離ｆが長くなる。また、レンズ素子１１１のサイズは、検出アレイ１２０のサイズに基づいて決定される。例えば、一定の視野角範囲のイメージを撮影するためには、検出アレイ１２０のサイズが増加するにつれて、レンズ素子１１１のサイズが増加しなければならない。
前述によれば、視野角及びイメージの解像度を保持しながらイメージの感度を増加させるためには、イメージセンサ１００の体積が増加することになる。例えば、イメージの解像度を保持しながらイメージの感度を増加させるためには、検出アレイ１２０に含まれた検出素子の数を保持しながら、各検出素子のサイズを増加させなければならないため、検出アレイ１２０のサイズが増加する。ここで、視野角を保持するためには、検出アレイ１２０のサイズが増加することによりレンズ素子１１１のサイズが増加し、レンズ素子１１１の焦点距離ｆが長くなるため、イメージセンサ１００の体積は増加する。
イメージセンサ１００の体積を減少させるために、検出アレイ１２０の解像度を保持しながら検出素子のサイズを減少させたり、検出素子のサイズを保持しながら検出アレイ１２０の解像度を減少させる設計方法が考慮される。ただし、検出アレイ１２０の解像度を保持しながら検出素子のサイズを減少させる場合、検出アレイ１２０のサイズが減少してレンズ素子１１１の焦点距離ｆが短くなり、イメージセンサ１００の体積は減少するが、イメージの感度は低下してしまう。この場合、低照度の画質が低下し得る。また、検出素子のサイズを保持しながら検出アレイ１２０の解像度を減少させる場合、検出アレイ１２０のサイズが減少し、レンズ素子１１１の焦点距離ｆが短くなってイメージセンサ１００の体積は減少するが、イメージの解像度は低下する。
図１を参照すると、イメージセンサ１００は、レンズアレイ１１０及び検出アレイ１２０を含む。レンズアレイ１１０はレンズ素子を含み、検出アレイ１２０は検出素子を含む。
一実施形態によれば、レンズアレイ１１０に含まれたレンズ素子それぞれのサイズを減少させるほど、換言すればレンズアレイ１１０上で単位領域当たりレンズの数を増加させるほど、レンズ素子１１１の焦点距離ｆは小さくなり、イメージセンサ１００の厚さは減少する。この場合、イメージセンサ１００は、各レンズ素子１１１で撮影された低解像度イメージを再配列及び組み合わせて高解像度イメージを復元することができる。したがって、レンズアレイ１１０に含まれたレンズを分割することで、薄型カメラを実現することができる。
レンズアレイ１１０の個別レンズ素子１１１は、自体のレンズの大きさに対応する検出アレイ１２０の一定の検出領域１２５をカバーする。検出アレイ１２０においてレンズ素子１１１によってカバーされる検出領域１２５は、当該レンズ素子１１１のレンズの大きさに応じて決定される。検出領域１２５は、一定の視野角範囲の光線が当該レンズ素子１１１を通過した後、到達する検出アレイ１２０上の領域を示す。検出領域１２５の大きさは、検出領域１２５の中心から最外郭地点までの距離Ｄのように表現される。言い換えれば、検出領域１２５に含まれた検出アレイ１２０の検出素子には、当該個別レンズ素子１１１を通過した光１９０が入射される。光１９０は、複数の光線を含む。光線１９１は、光子（ｐｈｏｔｏｎ）１０１の流れに対応する。
一実施形態によれば、レンズの大きさはレンズの直径に対応する。
検出アレイ１２０の検出素子それぞれは、レンズアレイ１１０のレンズを通過した光線１９１に基づいて検出情報を生成する。例えば、検出素子１２１は、レンズ素子１１１を介して入射される光線１９１に基づいて検出情報を生成する。イメージセンサ１００は、検出アレイ１２０によって出力された検出情報に基づいて、イメージセンサ１００の視野に含まれた地点に関するオリジナル信号に対応する強度情報を決定し、決定された強度情報に基づいて撮影イメージを復元することができる。
また、検出素子１２１は、任意の色を検出するための色フィルタを含んでもよい。検出素子１２１は、特定色に対応する色値を検出情報として生成する。検出アレイ１２０を構成する複数の検出素子のそれぞれは、空間的に隣接する隣接の検出素子とは異なる色を検出するよう配置される。ただし、検出素子１２１の色フィルタ及び配置はこれに限定されることはない。
検出情報の多様性が十分に確保され、イメージセンサ１００の視野に含まれた地点に対応するオリジナル信号情報と検出情報との間に完全ランク（ｆｕｌｌ ｒａｎｋ）関係が形成されるとき、検出アレイ１２０の最大解像度に対応する撮影イメージが導き出される。検出情報の多様性は、レンズアレイ１１０に含まれたレンズの数及び検出アレイ１２０に含まれた検出素子の数のようなイメージセンサ１００のパラメータに基づいて確保される。
参考として、図１に示されていないが、イメージセンサ１００は、イメージを復元するために用いられるイメージ復元モデルを格納するメモリ、及びイメージ復元モデルを用いてイメージを復元するプロセッサを含む。
一実施形態に係るイメージセンサ１００は、理想的な条件から逸脱する様々なノイズ成分にも強靭にイメージを復元することができる。また、イメージセンサ１００は、検出素子が配置され得る任意のパターン（例えば、べイヤー（Ｂａｙｅｒ）パターン）などに関係なく、イメージを復元することができる。以下で説明する実施形態は、イメージセンサ１００が多重レンズで撮影された複数の低解像度イメージを用いて高解像度イメージを復元する動作について説明する。後述するが、高解像度イメージを形成するための組合せに用いられる複数の低解像度イメージは、複眼視野イメージを示す。
図２は、一実施形態に係る検出素子がレンズ素子を介して光線を受信する形状を示す図である。
上述したように、検出アレイ２２０は、個別地点（ｐｏｉｎｔｓ）２３０（Ｘ１〜Ｘ１０）に対応する光線を受信する。光線はレンズアレイ２１０を介して検出アレイ２２０によって検出される。例えば、個別地点２３０のそれぞれから複数の光線が放出される。同じ地点から放出された光線は、ライトフィールド（ＬＦ：ｌｉｇｈｔ ｆｉｅｌｄ）を形成する。被写体上の任意の地点から放出されたライトフィールドは、撮影被写体上の任意の地点から反射された光線の方向及び全ての強度を示すフィールドである。例えば、第１地点Ｘ１から放出された光線は、第１ライトフィールドを形成し、第１検出素子Ｓ１、第４検出素子Ｓ４、及び第７検出素子Ｓ７に入射する。残りの地点Ｘ２ないしＸ１０のそれぞれから放出された光線もそれぞれそれに対応するライトフィールドを形成する。個別地点２３０は、例えば、任意のオブジェクト（例えば、撮影被写体）上の地点である。個別地点２３０から放出される光線は、例えば、太陽光などがオブジェクトの表面によって反射されるとき取得される光線である。説明の便宜のために、図２において、レンズアレイ２１０は、３個のレンズ素子を含み、検出アレイは１０個の検出素子Ｓ１〜Ｓ１０を含むものとして図示したが、これに限定されることはない。
検出素子Ｓ１〜Ｓ１０は、複数のレンズ素子を通過した光線を重複して検出する。例えば、図２に示されたレンズアレイ２１０において、レンズ素子から検出アレイ２２０までの焦点距離が減少し得る。したがって、検出素子Ｓ１は、地点Ｘ１〜Ｘ３から放射された光線が重なった検出情報（例えば、強度値、すなわち、強度値の和）を生成する。したがって、各検出素子によって生成された情報は、様々な地点２３０からのオリジナル信号情報を含む。イメージセンサは、例示的に後述するモデルを用いて検出情報からオリジナル信号情報を復元することができる。
図２に示された検出素子Ｓ１〜Ｓ１０によって生成される検出情報は、下記の数式（１）により、地点２３０のそれぞれから入射される光線に対応するオリジナル信号情報（例えば、強度値）にモデリングされる。
上述した数式（１）において、Ｓは、個別検出素子によって検出される検出情報（例えば、検出された強度値）を指示する行列を示す。Ｘは、個別地点から検出素子Ｓ１〜Ｓ１０に入射される光線に対応する信号値（例えば、入射した光線の色値）を指示する行列を示す。Ｔは、変換行列として検出素子Ｓ１〜Ｓ１０によって検出された検出情報と入射される光に対応する信号情報との間の関係を示す。図２に示された構造で、個別地点Ｘ１〜Ｘ１０に対応する光線、レンズ及び検出素子Ｓ１〜Ｓ１０は、下記の数式（２）のようにモデリングされる。下記の数式（２）において個別地点Ｘ１〜Ｘ１０は、イメージセンサから無限焦点位置（ｉｎｆｉｎｉｔｅ ｆｏｃａｌ ｐｏｉｎｔ）に配置されたものとしてモデリングされる。例えば、個別地点Ｘ１〜Ｘ１０及びイメージセンサ間の距離は、閾値距離よりも大きくてもよい。
上述した数式（２）において説明の便宜のために、個別地点Ｘ１〜Ｘ１０のそれぞれに対応する光線の信号情報（例えば、光線強度値）をＸ１〜Ｘ１０に表示した。また、検出素子Ｓ１〜Ｓ１０で検出された検出情報（例えば、検出強度値）もＳ１〜Ｓ１０に表示した。一実施形態によれば、検出アレイ２２０を構成している検出素子Ｓ１〜Ｓ１０に対応する検出情報（例えば、色情報）と個別地点から入射される光線Ｘ１〜Ｘ１０に対応するオリジナル信号との間の関係（例えば、上述した変換行列）は、上述したレンズ素子と検出素子との間の配置、レンズアレイ２１０を構成するレンズ素子の個数、検出アレイ２２０を構成する検出素子Ｓ１〜Ｓ１０の個数などに基づいて決定される。図２に示された例示において、変換行列Ｔは、１０個のセンサＳ１〜Ｓ１０及び３個のレンズ素子に基づいて決定される。
参考として、上述した数式（２）は、個別地点Ｘ１〜Ｘ１０がイメージセンサから無限焦点位置である場合について説明したものであり、個別地点Ｘ１〜Ｘ１０がイメージセンサから有限焦点位置（ｆｉｎｉｔｅ ｆｏｃａｌ ｐｏｉｎｔ）に位置する場合、各検出素子で受信されるオリジナル信号は、被写体とイメージセンサとの間の距離及びイメージセンサの幾何学的構造などによって変わり得る。
図３は、一実施形態に係る検出素子の数とレンズ素子の数との間の関係を示す図である。
一実施形態によれば、複数のレンズ素子のうちの少なくとも１つのレンズ素子は、複数の検出素子のうちの少なくとも１つの検出素子に対して交錯するように（ｅｃｃｅｎｔｒｉｃ）配置される。相違について説明すると、少なくとも１つのレンズ素子は、少なくとも１つのレンズ素子の全体よりも少ない部分をカバーする。例えば、複数のレンズ素子及び複数の検出素子は、互いに対して交錯して配置される。例えば、レンズ素子は、整数個数の検出素子をカバーするのではなく、非整数（ｎｏｎ−ｉｎｔｅｇｅｒ）個数の検出素子をカバーする。一実施形態に係るマルチレンズアレイ構造は、分数整列構造（ｆｒａｃｔｉｏｎａｌ ａｌｉｇｎｍｅｎｔ ｓｔｒｕｃｔｕｒｅ）のように実現することができる。マルチレンズアレイ構造のパラメータは、検出素子の個数Ｐ及びレンズ素子の個数Ｌである。レンズ素子の個数Ｌと検出素子の個数Ｐとの間の比率Ｐ／Ｌは、非整数（例えば、実数）に決定される。レンズ素子のそれぞれは、ピクセルオフセットと同じ個数Ｐ／Ｌの検出素子をカバーする。参考として、図３において、１０個の検出素子及び３個のレンズ素子が示されている。したがって、各レンズ素子は１０／３個、略３．３３個の検出素子をカバーする。
上述したように、イメージセンサは、各レンズ素子の光学中心軸（ＯＣＡ：ｏｐｔｉｃａｌ ｃｅｎｔｅｒ ａｘｉｓ）が検出アレイに対して互いに少しずつ（ｓｌｉｇｈｔｌｙ）異なる配置を有する。したがって、レンズアレイの各レンズ素子は、互いに異なるライトフィールド情報を受信する。各レンズ素子の主光線の方向も変わり得るため、イメージセンサは、光学的により多くの検出情報を取得することができる。したがって、イメージセンサは、このように取得された様々な検出情報を介して高解像度のイメージを復元することができる。
例えば、レンズアレイに含まれたレンズ素子が同じレンズの大きさを有する場合、互いに素の（ｒｅｌａｔｉｖｅｌｙ ｐｒｉｍｅ）関係であるレンズアレイに含まれたレンズ素子の数と検出アレイに含まれた検出素子の数は下記の数式（３）を満たす。
上述した数式（３）において、Ｒは検出アレイの一軸に対する解像度を示す整数（例えば、検出アレイの単一行における検出素子の個数）、Ｐは当該検出アレイの一軸に対する検出素子の個数を示す整数、Ｌはレンズアレイの一軸に対するレンズ素子の個数を示す整数（例えば、レンズアレイで単一行におけるレンズ素子の個数）、Ｎは上述した数式（３）を満たすための任意の自然数を示す。上述した数式（３）において、Ｒ、Ｐ、及びＬは、それぞれ２次元平面上で任意の１つの軸に対する個数を示す。例えば、解像度Ｒは、イメージセンサによって検出される情報の横軸、又は縦軸に対する解像度を示す。横軸又は縦軸に対する解像度Ｒは、横軸又は縦軸に対応する方向に単一行における検出素子の個数Ｐに対応する。Ｌは、当該軸に従うレンズ素子の個数を示す。したがって、検出アレイの全体２次元解像度はＲ×Ｒで表現され、検出アレイが含む２次元検出素子の総個数はＰ×Ｐであってもよく、レンズアレイが含む２次元レンズ素子の総個数はＬ×Ｌであってもよい。
例えば、図３は、イメージセンサの横軸又は縦軸に対する断面図を示す。任意の１つの軸に対して、レンズ素子の個数Ｌは３個であり、検出素子の個数Ｐは１０個であって、互いに素の関係を満たす。ここで、レンズ素子当たり当該軸に対して１０／３個、概略的に３．３３個の検出素子をカバーする。
図３において、最初のレンズ素子は、第１ないし第３検出素子Ｓ１〜Ｓ３の全て及び第４検出素子Ｓ４の１／３をカバーする。２番目のレンズ素子は、第４検出素子Ｓ４の残りの２／３、第５検出素子及び第６検出素子Ｓ５及びＳ６の全て、及び第７検出素子Ｓ７の２／３をカバーする。同様に、最後のレンズ素子は、第７検出素子Ｓ７の残りの１／３及び第８検出素子〜第１０検出素子Ｓ８〜Ｓ１０の全てをカバーする。すなわち、それぞれのレンズ素子は、少なくとも１つの検出素子で１／Ｌ（レンズの数）だけ不均衡に対応する部分をさらにカバーする。例えば、検出素子の部分は１／Ｌの整数倍であり、Ｌはレンズの個数である。
一実施形態によれば、上述したレンズアレイ及び検出アレイの幾何学的構造により、各レンズ素子がカバーする検出素子によって検出される地点２３０の組合せからのライトフィールド情報は、他のレンズ素子によってカバーされる検出素子によって検出される地点２３０の組合せからのライトフィールド情報とは異なることがある。ライトフィールド情報は、複数の地点２３０からの複数のライトフィールドが組合わせた情報を示す。例えば、第１検出素子Ｓ１は、図２に示された構造で第１地点Ｘ１の第１ライトフィールド、第２地点Ｘ２の第２ライトフィールド、及び第３地点Ｘ３の第３ライトフィールドの組合せから構成されるライトフィールド情報を検出する。一方、それに隣接する第２検出素子Ｓ２は、図２に示された構造で第４ライトフィールド、第５ライトフィールド、及び第６ライトフィールドの組合せから構成されるライトフィールド情報を検出する。このように、各検出素子は、他の検出素子から検出されるライトフィールド情報とは異なるライトフィールド情報を検出することができる。
例えば、イメージセンサは、ライトフィールド情報同士の間の相関性に基づいて、撮影されたイメージのピクセルの位置を再配列する。例えば、イメージセンサは、複数の検出素子で互いに類似のライトフィールド情報を検出した検出素子のピクセルが互いに隣接するよう、撮影されたイメージ（例えば、複眼視野イメージ）のピクセルを再配列して出力イメージを生成することができる。
例えば、イメージセンサは、個別検出素子で検出された信号の強度値を指示するピクセルを、当該検出素子から検出されるライトフィールド及び他の検出素子から検出されるライトフィールド情報同士の間の類似度に応じて再配列してもよい。例えば、２個の検出素子のライトフィールド情報同士の間の類似度は、２個の検出素子によって検出されたライトフィールド情報で重複するライトフィールドの個数が増加するほど増加する。
一実施形態によれば、イメージセンサは、光線を反射する地点がイメージセンサから無限焦点位置に配置されることを仮定し、各検出素子から検出されるライトフィールド情報を決定し得る。例えば、イメージセンサは、イメージセンサから閾値距離よりも遠い地点（ｐｏｉｎｔｓ）から放射される光線と複数の検出素子との間の位置関係に基づいて、複数の検出素子のそれぞれに対して当該の検出素子から検出されるライトフィールドを放出する地点を決定することができる。閾値距離よりも遠い地点は、無限焦点位置にある地点のように称してもよい。イメージセンサは、撮影被写体で空間的に互いに隣接している地点を示すピクセルが出力イメージで互いに隣接するようピクセルを再配列する。
参考として、図２で個別地点Ｘ１〜Ｘ１０は、無限焦点距離で互いに隣接している順に示したものである。例えば、第１地点Ｘ１は第２地点Ｘ２と隣接し、第２地点Ｘ２は第１地点Ｘ１及び第３地点Ｘ３と隣接している。互いに隣接している２地点は、例えば、被写体で空間的に隣接する地点である。
再配列される前の検出素子３１１のうち、第１検出素子Ｓ１で検出されたライトフィールド情報及び第８検出素子Ｓ８で検出されたライトフィールド情報は、両方とも、第２時点Ｘ２及び第３時点Ｘ３に対応するライトフィールドを含む。したがって、第１検出素子Ｓ１及び第８検出素子Ｓ８は、互いに類似のライトフィールド情報を検出する。上述した数式（２）を互いに類似のライトフィールド情報に対応するピクセルが隣接するように再配列すると、下記の数式（４）のように示すことができる。
上述した数式（４）により再配列された検出素子３１２は、図３に示すように図示される。第１検出素子Ｓ１は第１レンズによってカバーされ、第８検出素子Ｓ８は第３レンズによってカバーされ、第５検出素子Ｓ５は第２レンズによってカバーされる。数式（４）に基づいたピクセルの再配置の後で、第１検出素子Ｓ１、第８検出素子Ｓ８、及び第５検出素子Ｓ５に対応する３個のピクセルが互いに隣接するように配列され得る。
一実施形態によれば、イメージセンサは、互いに素の条件及び上述した数式（３）を満たすレンズアレイと、検出アレイによって撮影されたイメージに再配列及び復元などを適用することで、オリジナル場面により近接した色を有する高解像度場面イメージを復元することができる。
図４は、一実施形態に係るレンズアレイでの焦点距離及び所望する視野角により決定されるレンズ素子の個数及び大きさを示す図である。
一実施形態に係るイメージセンサは、上述したようにレンズアレイ４１０及び検出アレイ４２０を含む。レンズアレイ４１０は複数のレンズ素子を含む。複数のレンズ素子のうちの少なくともいずれか１つのレンズ素子のレンズの大きさは、他のレンズ素子のレンズの大きさと異なってもよい。
例えば、複数のレンズ素子は、レンズの大きさに応じて複数のレンズグループに分類される。レンズグループは、レンズの大きさごとに分類されたレンズ素子のグループを示す。例えば、互いに同一のレンズグループに属するレンズ素子は互いに同じレンズの大きさを有し、互いに異なるレンズグループに属するレンズ素子は、互いに異なるレンズの大きさを有する。相違について説明すると、任意のいずれか１つのレンズグループに対応するレンズの大きさは、他の全てのレンズグループに対応するレンズの大きさと異なってもよい。イメージセンサは、様々な視野角（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を有するレンズ素子を含む。レンズ素子の視野角は、下記の数式（５）のように示すことができる。
上述した数式（５）において、ＦＯＶは視野角、Ｄはレンズ素子によってカバーされる検出領域の大きさ、Ｆは焦点距離４１９を示す。
一実施形態に係るイメージセンサはモバイル端末として実現（例えば、含む）することができ、モバイル端末のフォームファクターを満たすために、焦点距離４１９Ｆが制限される。例えば、焦点距離ｆは、モバイル端末の厚さよりも小さくてもよい。イメージセンサをモバイル端末に実現するために、レンズグループは、互いに同一の焦点距離４１９Ｆを有するように設計される。加えて、レンズグループの全ては互いに異なる視野角を有してもよい。
例えば、イメージセンサは、遠距離被写体の情報を取得するために、様々な視野角を有するレンズグループで構成されたレンズアレイ４１０を含む。上述したように、全てのレンズ素子に対して焦点距離４１９Ｆが固定される場合、視野角ＦＯＶが変わると、上述した数式（５）によりレンズ素子によってカバーされる検出領域の大きさ（例えば、長さＤ）が変わり得る。相違について説明すると、検出アレイ４２０上の任意の領域をカバーするレンズグループのズーム倍率が大きくなれば、当該レンズグループに属するレンズ素子の個数が増加するようにレンズアレイ４１０が設計され、このようなレンズアレイ４１０の設計を介して視野角と検出領域の大きさとの間の関係は、当該レンズグループの焦点長さが一定に保持されるようにする。また、当該レンズグループに属するレンズ素子のレンズの大きさは、レンズグループの倍率が大きくなるほど減少する。当該レンズグループに属するレンズ素子のレンズの大きさは、当該グループに属するレンズ素子の個数が増加しても減少し得る。したがって、任意のレンズグループに属するレンズ素子の個数は、当該レンズグループの視野角及び焦点長さによるレンズの大きさに基づいて決定される。
また、各レンズグループで、レンズアレイ４１０の一軸に沿って示されるレンズ素子の個数（例えば、レンズグループの各行におけるレンズ素子の個数）は下記の数式（６）を満たす。
上述した数式（６）において、Ｒｉはｉ番目のレンズグループを介して検出されるイメージの解像度、Ｌｉはレンズアレイの一軸に沿って示されるｉ番目のレンズグループに対応するレンズ素子の個数、Ｎｉは任意の自然数、Ｍはレンズアレイ４１０に含まれたレンズグループの個数を示す。Ｒｉ、Ｌｉ、Ｎｉ、及びＭは１以上の整数である。ｉは１以上Ｍ以下の整数である。したがって、ｉ番目のレンズグループに属する第ｉレンズ素子の個数はＬｉ×Ｌｉである。
図４は、Ｍ＝３であるレンズアレイ４１０の断面図を示し、説明の便宜のために、左側から順に第１レンズグループ４１１、第２レンズグループ４１２、第３レンズグループ４１３のように示す。Ｌ１は、レンズアレイの一軸に沿って第１レンズグループ４１１に対応するレンズ素子の個数を示し、図４に示されたレンズアレイ４１０でＬ１は３である。Ｌ２はレンズアレイの一軸に沿って第２レンズグループ４１２に対応するレンズ素子の個数として、図４に示されたレンズアレイ４１０でＬ２は９である。Ｌ３はレンズアレイの一軸に沿って第３レンズグループ４１３に対応するレンズ素子の個数として、Ｌ３は２７である。図３を参照して上述したように、図４もイメージセンサに対して任意の１つの軸に沿った断面図を示しているため、Ｌ１、Ｌ２、及びＬ３は、当該の軸に沿って示されるレンズ素子の個数である。第１レンズグループ４１１に属する第１レンズ素子の個数は３×３＝９個（例えば、それぞれ３個のレンズ素子を含むレンズ素子の３個の行）、第２レンズグループ４１２に属する第２レンズ素子の個数は９×９＝８１個（例えば、それぞれ９個のレンズ素子を含むレンズ素子の９個の行）、第３レンズグループに属する第３レンズ素子の個数は２７×２７＝７２９個（例えば、それぞれ２７個のレンズ素子を含むレンズ素子の２７個の行）である。
第１レンズグループ４１１は、第１視野角４５１（例えば、７７度）内の光線を第１検出素子に伝達する。第１検出素子は、第１レンズグループ４１１に属する第１レンズ素子によってカバーされる検出素子を示し、第１レンズ素子を通過した光を受信する。第１検出素子は、第１ズーム倍率（例えば、１倍のズーム倍率）に対応する情報を検出する。第２レンズグループ４１２は、第２視野角４５２（例えば、３０度）内の光線を第２検出素子に伝達する。第２検出素子は、第２レンズグループ４１２に属する第２レンズ素子によってカバーされる検出素子を示し、第２レンズ素子を通過した光を受信する。第２検出素子は、第２ズーム倍率（例えば、３倍のズーム倍率）に対応する情報を検出する。第３レンズグループ４１３は、第３視野角４５３（例えば、１０度）内の光線を第３検出素子に伝達する。第３検出素子は、第３レンズグループ４１３に属する第３レンズ素子によってカバーされる検出素子を示し、第３レンズ素子を通過した光を受信する。第３検出素子は、第３ズーム倍率（例えば、９倍のズーム倍率）に対応する情報を検出する。
一実施形態によれば、イメージセンサは、単一センサとして具現されたり、同じ検出素子から構成された複数のセンサとして実現される。ここで、イメージセンサで各レンズグループは、同じ解像度をサポートするように設計される。例えば、各レンズグループによってカバーされる検出領域は、他のグループと同じ個数の検出素子個数を含み得る。この場合、レンズアレイ４１０の一軸によるレンズ素子の個数は、下記の数式（７）ないし数式（９）を満たす。
上述した数式（７）において、Ｒは全てのレンズグループによって共有されるレンズアレイの一軸に対応する解像度を示す。ＬＭはレンズアレイの一軸に沿ってＭ番目のレンズグループに対応するレンズ素子の個数を示す。Ｌｉはレンズアレイの一軸に沿ってｉ番目のレンズグループに対応するレンズ素子の個数を示す。ＮＭ、Ｎｉ、及びａｉは、それぞれ任意の自然数を示す。複数のレンズグループのそれぞれに属するレンズ素子の個数は、複数のレンズ素子が共有する解像度に基づいて決定される。したがって、上述した数式（８）のＬＭを数式（７）のＲに代入することにより導き出される数式（９）により、各レンズグループは、全てのレンズグループが共有する解像度を有しながらも、各レンズ素子によってカバーされる検出素子の個数と互いに素である個数のレンズ素子を含むことができる。
したがって、一実施形態に係るイメージセンサは、互いに素と数式（９）を満たすレンズアレイ４１０と検出アレイ４２０によって撮影されたイメージに再配列及び復元などを適用することで、オリジナル場面にもっと近づいた色を有する高解像度イメージを復元することができる。
例えば、イメージセンサは、検出素子がべイヤーパターンで並んだカラーセンサ（例えば、可視光線帯域で、赤色、緑色、及び青色チャネルのイメージを検出するセンサ）、及びべイヤーパターンで並んだレンズ素子を用いたカメラから取得されたイメージを、上述したように類似のライトフィールド順に再配列される。イメージセンサは、均一なカラーパターンを取得することができるため、高いパフォーマンスのカラー補間を提供することができる。
図５は、レンズアレイでのレンズ素子の一実施形態に係る配置を説明する図である。
一実施形態によれば、互いに同一のレンズグループに属するレンズ素子は、互いに隣接するように配置される。図５において、第１レンズの大きさを有する第１レンズグループ５１１の第１レンズ素子は互いに隣接して配置される。残りのレンズグループ５１２，５１３，５１４のそれぞれに属するレンズ素子も互いに隣接して配置される。
図５は、Ｍ＝４である場合であって、レンズアレイ５１０が４個のレンズグループを含む構造をトップビューで図示する。第１レンズグループ５１１は、Ｌ１＝２として、２×２＝４個のレンズ素子を含む。第２レンズグループ５１２はＬ２＝４として、４×４＝１６個のレンズ素子を含む。同様に、第３レンズグループ５１３は６４個のレンズ素子を含んでもよく、第４レンズグループ５１４は２５６個のレンズ素子を含んでもよい。図５を参照して説明の便宜のために、イメージセンサは、単一センサで具現されるように示されているが、これに限定されることなく、イメージセンサは、各レンズグループを含む４個のイメージセンサで実現されてもよく、さらに、互いに異なる種類のイメージセンサ（例えば、個別検出素子の大きさが異なるセンサ）で実現してもよい。
参考として、イメージセンサのプロセッサは、複数の検出素子を介して検出された検出情報に基づいて、複眼視野イメージ（ＣＥＶ ｉｍａｇｅ：ｃｏｍｐｏｕｎｄ ｅｙｅ ｖｉｓｉｏｎ ｉｍａｇｅ）を取得する。本明細書において、複眼視野イメージは、昆虫の複眼を介して観測されるように、同一であるか、類似の場面を重複的に撮影したイメージを示す。例えば、イメージセンサは、アレイ状に配列された複数のレンズを介して複数の検出素子で受信された光線の強度に基づいて複眼視野イメージを取得することができる。
例えば、プロセッサは、第１レンズグループ５１１を介して受信された光を検出して取得された２×２個の第１グループイメージ、第２レンズグループ５１２を介して受信された光を検出して取得された４×４個の第２グループイメージ、第３レンズグループ５１３を介して受信された光を検出して取得された８×８個の第３グループイメージ、及び第４レンズグループ５１４を介して受信された光を検出して取得された１６×１６個の第４グループイメージを含む複眼視野イメージを生成する。プロセッサは、図３を参照して上述したように、複数の検出素子から検出されるライトフィールド情報に基づいて、複眼視野イメージを再配列することができる。
下記の図６では、図５に示されたレンズアレイ５１０を介して場面について取得される検出情報について説明する。
図６は、図５を参照して説明したように、配置されたレンズ素子を介して検出素子が検出する場面の視野角を説明する図である。
一実施形態に係るレンズアレイは、イメージセンサの外部から光を受信して検出アレイに伝達する。レンズアレイの各レンズ素子は、レンズの大きさに応じて他の視野角を有する。例えば、図５を参照して説明した第１レンズグループに属する第１レンズ素子は第１視野角、第２レンズグループに属する第２レンズ素子は第２視野角、第３レンズグループに属する第３レンズ素子は第３視野角、第４レンズグループに属する第４レンズ素子は第４視野角を有する。
各レンズグループによってカバーされる検出領域に属する検出素子は、当該レンズグループの視野角に対応する光線を検出する。図６は、各レンズグループの視野角ごとに、当該レンズグループによってカバーされる検出素子が検出する検出情報を示す。
第１レンズ素子によってカバーされる第１検出素子は、第１視野角に対応する光線を第１レンズ素子を介して受信し、第１検出情報６１１を検出する。第１検出情報６１１は、第１視野角に対応する領域６１０に関して検出された情報である。第２検出素子は、第２視野角に対応する光線を第２レンズ素子を介して受信し、第２検出情報６２１を検出する。第２検出情報６２１は、第２視野角に対応する領域６２０に対して検出された情報である。図６に示すように領域６２０は領域６１０よりも小さくてもよい。第３検出素子は、第３視野角に対応する光線を第３レンズ素子を介して受信し、第３検出情報６３１を検出する。第３検出情報６３１は、第３視野角に対応する領域６３０に対して検出された情報である。図６に示すように領域６３０は、領域６２０よりも小さくてもよい。また、第４検出素子は、第４視野角に対応する光線を第４レンズ素子を介して受信し、第４検出情報６４１を検出する。第４検出情報６４１は、第４視野角に対応する領域６４０に対して検出された情報である。図６に示すように、領域６４０は、領域６３０よりも小さくてもよい。
図６に示すように、全体の視野角（例えば、第１視野角）に対応する領域６１０のうち、領域６２０の外側の端領域では第１検出素子のみによって検出情報が収集されるため、中心領域（例えば、第４視野角に対応する領域６４０）に比べて収集される検出情報の密度が低い。中心領域では、第１検出素子ないし第４検出素子によって検出された全ての検出情報が収集されているため、検出情報の密度が端領域に比べて相対的に高い。したがって、イメージセンサのプロセッサは、複数の検出素子によって検出された検出情報に基づいて、レンズアレイに対応する視野角のうち中心領域について、その周辺領域よりも高い解像度でイメージを復元することができる。
さらに、イメージセンサはユーザからズーム倍率が入力される場合に応答して、入力されたズーム倍率に基づいて拡大した場面イメージを生成する。例えば、イメージセンサは、複数の検出素子を介して検出された検出情報からユーザによって指定されたズーム倍率（ｚｏｏｍ ｆａｃｔｏｒ）に対応する対象検出情報を選択する。イメージセンサは、検出情報からズーム倍率に対応する視野角に対応する情報を対象検出情報として選択する。イメージセンサは、選択された対象情報から場面イメージを復元する。例えば、図６において、第２レンズグループとして指定された第２視野角に対応するズーム倍率が入力された場合、イメージセンサは、第２視野角に対応する領域６２０内で検出された検出情報を用いて、場面イメージを復元する。場面イメージの復元動作は、イメージセンサの幾何学的構造によるピクセルの再配置動作又はイメージ復元モデルを用いて、複眼視野イメージから出力イメージを推定する動作などを含む。
したがって、拡大イメージ（例えば、ズーム倍率が増加しながら視野角が狭くなったイメージ）を復元するとき、当該の拡大イメージに対して各レンズ素子によって提供される視野角の領域が重なることがある。このような視野角の領域の重複によって、イメージセンサは、様々な構造（例えば、様々なレンズの大きさ）のレンズの情報を同時に用いて、より高い解像度の拡大した場面イメージを復元することができる。
参考として、図６は、無限焦点位置の地点から反射又は放出された光線を受信することを仮定したもので、有限焦点位置から光線が受信される場合、イメージセンサの各レンズグループの視野角範囲領域が変わり得る。
図７〜図１０は、レンズ素子の他の一実施形態に係る配置を説明する図である。
図７に示されたレンズアレイ７１０で、複数のレンズグループのうち１つのレンズグループが単一レンズ素子を含む。例えば、第１レンズグループ７１１は単一レンズ素子を含む。残りのレンズグループ７１２，７１３，７１４のそれぞれは、上述したように複数のレンズ素子を含む。したがって、イメージセンサは、図７に示された構造のレンズアレイ７１０を介して検出された検出情報に基づいて、広角イメージの画質及びズーム倍率に対応するイメージの画質の全てが向上するよう、場面イメージを復元することができる。
図８に示されたレンズアレイ８１０で、レンズ素子は、レンズの大きさに応じて配列される。例えば、複数のレンズ素子のいずれか１つのレンズ素子は、当該レンズ素子のレンズの大きさよりも大きいレンズの大きさを有する他のレンズ素子よりレンズアレイ８１０の中心位置に近く配置される。また、複数のレンズ素子のうち１つのレンズ素子は、当該レンズ素子のレンズの大きさよりも小さいレンズの大きさを有する他のレンズ素子よりもレンズアレイ８１０の中心位置から遠く配置される。
例えば、４個のレンズグループのうち、最も大きい第１レンズの大きさを有する第１レンズグループに属する第１レンズ素子８１１は、レンズアレイ８１０で最も縁部に配置される。第１レンズの大きさよりも小さい第２レンズの大きさを有する第２レンズ素子８１２は、第１レンズ素子８１１より中心位置に近く配置される。第２レンズの大きさよりも小さい第３レンズの大きさを有する第３レンズ素子８１３は、第２レンズ素子８１２より中心位置に近く配置される。第３レンズの大きさよりも小さい第４レンズの大きさを有する第４レンズ素子８１４は、中心位置に最も近く配置される。
図９に示すレンズアレイは、図８に示すレンズアレイ８１０と同一又は類似に配置されたレンズ素子を含む。図９において、一実施形態に係る複数のレンズ素子のそれぞれは、同じ個数の検出素子をカバーする。例えば、第１レンズ素子９１１のそれぞれは４×４＝１６個に配置された検出素子をカバーする。第２レンズ素子９１２、第３レンズ素子９１３、及び第４レンズ素子９１４も同一に１６個の検出素子をカバーする。この場合、検出アレイ９２０で検出素子の大きさは、レンズ素子によってカバーされる検出素子の個数が同一になるよう設計される。例えば、第１レンズ素子９１１によってカバーされる第１検出素子の第１検出の大きさ（例えば、ピクセルの大きさ）よりも、第２レンズ素子９１２によってカバーされる第２検出素子の第２検出大きさが小さくてもよい。第３検出素子の第３検出の大きさは、第２検出の大きさよりも小さくてもよく、第４検出素子の第４検出の大きさは、第３検出の大きさよりも小さくてもよい。本明細書で、検出素子の検出の大きさは、例えば、検出素子のピクセルピッチを示す。小さい視野角を提供するレンズ素子も他のレンズ素子と同じ個数の検出素子をカバーするため、マルチレンズによる解像度低下の程度が減少し、復元される場面イメージの画質は向上される。
参考として、説明の便宜のために、図９において、各レンズ素子によってカバーされる検出素子の個数が整数と示したが、これに限定されることなく、図３を参照して上述したように、各レンズ素子は、分数個（ｆｒａｃｔｉｏｎａｌ ｎｕｍｂｅｒ）の検出素子をカバーすることができる。
図１０に示されたレンズアレイ１０１０で、複数のレンズ素子１０１１のそれぞれは、レンズアレイ１０１０に対応する平面上で複数の検出素子に対してランダムに配置される。複数のレンズ素子１０１１は、レンズの大きさごとに上述した数式（９）を満たす個数で構成され、レンズアレイ１０１０の平面上にランダムに配置される。ランダムに配置されたレンズ配置のうち一部の配置を介して、イメージセンサは広角だけではなく、個別レンズの大きさに応じてサポートされるズーム倍率のそれぞれについて均等に高解像度を有する場面イメージを復元することができる。
図１１は、一実施形態に係るイメージセンサの構造を示すブロック図である。
一実施形態によれば、イメージセンサ１１００は、レンズアレイ１１１１、検出アレイ１１２０、及びプロセッサ１１３０を含む。
レンズアレイ１１１１は、複数のレンズ素子を含む。複数のレンズ素子はレンズ平面上に配置される。複数のレンズ素子は、全て同一であるか類似の焦点距離を有する。本明細書で互いに同一の焦点距離を有するように設計された複数のレンズ素子において、複数のレンズ素子の焦点距離は、製造公差によって微細な差を示すこともある。例えば、複数のレンズ素子それぞれの焦点距離同士の間の差異は、互いに閾値の誤差未満である。上述したように、複数のレンズ素子のうちの少なくともいずれか１つのレンズ素子のレンズの大きさは、少なくとも１つの他のレンズ素子のレンズの大きさとは異なってもよい。複数のレンズ素子のそれぞれは、光を屈折させて複数の検出素子を含む検出アレイ１１２０上の地点に焦点を形成する。
検出アレイ１１２０は、複数の検出素子を含む。複数の検出素子は、レンズ平面と平行した検出平面上に配置される。複数の検出素子は、レンズアレイ１１１１からレンズ素子の焦点距離と同じ距離だけ離隔した検出平面上に配置される。複数の検出素子のそれぞれは、レンズアレイ１１１１を通過した光を検出する。例えば、複数の検出素子のそれぞれは、当該検出素子をカバーするレンズ素子を通過した光を受信する。
プロセッサ１１３０は、複数の検出素子によって検出された光の強度に基づいて場面イメージを復元する。例えば、プロセッサ１１３０は、複数の検出素子を介して検出された検出情報に基づいて複眼視野イメージを取得する。プロセッサ１１３０は、複眼視野イメージから場面イメージを復元する。場面イメージは、イメージセンサ１１００によって出力されるイメージとして、オリジナル場面と同一又は類似に復元されたイメージを示す。
一実施形態によれば、プロセッサ１１３０は、複数の検出素子と複数のレンズ素子との間の幾何学的構造に基づいて、複眼視野イメージから場面イメージを復元する。例えば、プロセッサ１１３０は、出力イメージを生成するために、図３を参照して上述したように、複数の検出素子のうち互いに類似のライトフィールド情報を検出した検出素子のピクセルが互いに隣接するよう、撮影されたイメージ（例えば、複眼視野イメージ）のピクセルを再配列する。
他の一実施形態によれば、プロセッサ１１３０は、複眼視野イメージを取得する前にトレーニングが完了したイメージ復元モデルに基づいて、複眼視野イメージから場面イメージを復元する。イメージ復元モデルは、任意の複眼視野イメージから場面イメージを出力するように設計されたモデルとして、機械学習構造であってもよい。例えば、イメージ復元モデルは、ニューラルネットワーク構造を含む。イメージ復元モデルは、任意の基準複眼視野イメージから、真値（ｇｒｏｕｎｄ ｔｒｕｔｈ）に与えられた基準出力イメージを算出するようトレーニングされる。ただし、イメージ復元モデルがこれに限定されることはない。
図１２及び図１３は、一実施形態に係るイメージセンサが実現される機器の例示を示す図である。
一実施形態に係るイメージセンサは、様々な技術分野に適用される。イメージセンサは、複数のレンズから構成されるレンズアレイ及び複数の検出素子から構成されるセンサがレンズアレイで、レンズ素子の焦点距離に同一の比較的に短い距離に離隔するよう設計されている。したがって、イメージセンサは、高い画質撮影のためにセンサの大きさが増大しつつ、超薄型カメラ（ｕｌｔｒａ ｔｈｉｎ ｃａｍｅｒａ）に実現される。このように、イメージセンサは、マルチレンズアレイ構造を介してより薄い厚さで実現することができる。イメージセンサは、ＡＰ、ＦＰＧＡ、Ｃｈｉｐなどで具現され、カメラのイメージ信号プロセッサ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で実現される。
さらに、超薄型の構造でありながら、同じ焦点距離と共に様々なレンズの大きさを有するレンズアレイを用いて、イメージセンサは、複数のズーム倍率に対する検出情報を取得することができる。したがって、イメージセンサは、複数のズーム倍率に対しても高解像度の場面イメージを復元することができる。
イメージセンサは、モバイル端末に実現してもよい。モバイル端末は、任意の地理的位置に固定されることなく、移動可能な端末として、例えば、携帯機器（例えば、スマートフォンやタブレットなどのようなスマート機器）、人工知能スピーカ、及び車両などを含む。図１２及び図１３は、モバイル端末の例示として、モバイル端末がこれに限定されることはない。
図１２に示すように、例えば、イメージセンサ１２１０は、スマートフォンの前面カメラ又は後面カメラに適用される。イメージセンサ１２１０で、大型フルフレームセンサ（Ｆｕｌｌ Ｆｒａｍｅ Ｓｅｎｓｏｒ）及びマイクロレンズアレイ（Ｍｉｃｒｏ−ｌｅｎｓ Ａｒｒａｙ）が結合された構造により携帯電話カメラへ適用される。例えば、図１２に示すように、スマート機器１２００に前面カメラとしてイメージセンサ１２１０が実現される。イメージセンサ１２１０のセンサはフルフレームで実現されてもよく、レンズアレイはマイクロレンズで実現してもよい。
また、薄型構造又は曲がった（Ｃｕｒｖｅｄ）構造により車両用で実現してもよい。図１３に示すように、車両１３００に曲線を有する前面カメラ又は後面カメラとしてイメージセンサ１３１０が実現してもよい。ただし、これに限定されることなく、イメージセンサ１３１０は、ＤＳＬＲカメラ、ドローン（Ｄｒｏｎｅ）、ＣＣＴＶ、Ｗｅｂｃａｍ用カメラ、３６０度撮影カメラ、映画及び放送のためのカメラ、及びＶＲ／ＡＲカメラなどに使用される。さらに、イメージセンサ１３１０は、柔軟であるか延長できるカメラ（Ｆｌｅｘｉｂｌｅ／Ｓｔｒｅｔｃｈａｂｌｅ Ｃａｍｅｒａ）、複眼カメラ、コンタクトレンズタイプカメラなどのような様々な分野にも適用される。
さらに、イメージセンサは、連続したフレームのビデオイメージにおいて、撮影された複数のフレーム情報を用いて解像度を増加するマルチフレーム高解像度イメージ復元にも適用される。
以上述べた装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
１００：イメージセンサ
１０１：光子
１１１：レンズ素子
１２０：検出アレイ
１２１：検出素子
１２５：検出領域
１９０：光
１９１：光線
ｆ：焦点距離
Ｄ：検出領域１２５の中心から最外郭地点までの距離
２１０：レンズアレイ
２３０：地点
Ｓ１〜Ｓ１０：検出素子
Ｘ１〜Ｘ１０：地点
４１０：レンズアレイ
４２０：検出アレイ
４１９Ｆ：焦点距離
５１０：レンズアレイ
５１１，５１２，５１３，５１４：レンズグループ
６１０：第１視野角に対応する領域
６１１：第１検出情報
６２０：第２視野角に対応する領域
６２１：第２検出情報
６３０：第３視野角に対応する領域
６３１：第３検出情報
６４０：第４視野角に対応する領域
６４１：第４検出情報
７１０：レンズアレイ
７１１，７１２，７１３，７１４：レンズグループ
８１０：レンズアレイ
８１１，８１２，８１３，８１４：レンズ素子
９１１，９１２，９１３，９１４：レンズ素子
９２０：検出アレイ
１０１０：レンズアレイ
１０１１：レンズ素子
１１００：イメージセンサ
１１１１：レンズアレイ
１１２０：検出アレイ
１１３０：プロセッサ
１１００：イメージセンサ
１２００：スマート機器
１２１０：イメージセンサ
１３１０：イメージセンサ

Claims (25)

  1. イメージセンサにおいて、
    それぞれ同じ焦点距離を有する複数のレンズ素子を含むレンズアレイと、
    前記レンズアレイから前記焦点距離だけ離隔し、前記レンズアレイを通過した光を検出する複数の検出素子と、
    を含み、
    前記複数のレンズ素子のうちの少なくともいずれか１つのレンズ素子のレンズの大きさは、前記複数のレンズ素子のうちの他のレンズ素子のレンズの大きさと異なるイメージセンサ。
  2. 前記複数のレンズ素子は、レンズの大きさに応じて複数のレンズグループに分類され、
    前記複数のレンズグループのうちの各レンズグループは、個別レンズの大きさに対応し、前記複数のレンズグループの中からの各レンズグループに対して前記レンズグループに含まれたレンズ素子は該当するレンズの大きさを有し、
    前記複数のレンズグループの中からの各レンズグループに対応する前記個別レンズの大きさは、前記複数のレンズグループの中からの残りのレンズグループの個別レンズの大きさと異なる、請求項１に記載のイメージセンサ。
  3. 前記複数のレンズグループの中からの各レンズグループは、前記複数の検出素子の中から同じ個数の検出素子をカバーするように構成され、
    前記複数のレンズグループの中からの各レンズグループに含まれるレンズ素子の個数は、カバーされる検出素子の個数に基づいて決定される、請求項２に記載のイメージセンサ。
  4. 前記複数のレンズグループの中からの各レンズグループに対して、前記レンズグループに含まれたレンズ素子は互いに隣接するように配置される、請求項２に記載のイメージセンサ。
  5. 前記複数のレンズグループのうちのいずれか１つのレンズグループは、単一レンズ素子を含む、請求項２に記載のイメージセンサ。
  6. 前記複数のレンズ素子のうち第１レンズ素子は、前記第１レンズ素子のレンズの大きさよりも大きいレンズの大きさを有する第２レンズ素子よりも前記レンズアレイの中心位置に近く配置される、請求項１に記載のイメージセンサ。
  7. 前記複数のレンズ素子のそれぞれは、前記レンズアレイに対応する平面上で前記複数の検出素子に対してランダムに配置される、請求項１に記載のイメージセンサ。
  8. 前記複数のレンズ素子の中からの各レンズ素子は、前記複数の検出素子から同じ個数の検出素子をカバーするように構成される、請求項１に記載のイメージセンサ。
  9. 前記複数のレンズ素子の中からの少なくとも１つのレンズ素子は、前記複数の検出素子の中からの少なくとも１つの検出素子の全体よりも小さい部分をカバーするように配置される、請求項１に記載のイメージセンサ。
  10. 前記複数の検出素子によって検出された検出情報に基づいて、前記レンズアレイの視野角内で中心領域の解像度が前記中心領域に隣接する領域の解像度よりも高くイメージを復元するプロセッサをさらに含む、又は
    前記複数の検出素子を介して検出された検出情報に基づいて、複眼視野イメージ（ＣＥＶ ｉｍａｇｅ：ｃｏｍｐｏｕｎｄ ｅｙｅ ｖｉｓｉｏｎ ｉｍａｇｅ）を取得するプロセッサをさらに含む、請求項１に記載のイメージセンサ。
  11. 前記複眼視野イメージを取得する前記プロセッサは、前記複数の検出素子で検出されるライトフィールド情報に基づいて、前記複眼視野イメージに含まれたピクセルを再配列するようにさらに構成される、又は
    前記複眼視野イメージを取得する前記プロセッサは、前記複数の検出素子と前記複数のレンズ素子との間の幾何学的関係に基づいて、前記複眼視野イメージから場面イメージを復元するようにさらに構成される、又は
    前記複眼視野イメージを取得する前記プロセッサは、前記複眼視野イメージを取得する前にトレーニングが完了したイメージ復元モデルに基づいて、前記複眼視野イメージから場面イメージを復元するようにさらに構成される、請求項１０に記載のイメージセンサ。
  12. 前記複数の検出素子を介して検出された検出情報の中から、ユーザによって指定されたズーム倍率に対応する、対象検出情報を選択するように構成されるプロセッサをさらに含み、
    前記プロセッサは、前記選択された対象検出情報に基づいて場面イメージを復元するようにさらに構成される、請求項１に記載のイメージセンサ。
  13. 前記プロセッサは、前記指定されたズーム倍率に対応する視野角に対応する情報を前記対象検出情報として選択する、請求項１２に記載のイメージセンサ。
  14. 前記複数のレンズ素子の中からの各レンズ素子は、
    入射光を屈折させて前記複数の検出素子を含む検出アレイ上の地点に前記レンズ素子で出射する光の焦点を形成する、請求項１に記載のイメージセンサ。
  15. 前記複数のレンズ素子は、視野角に基づいて複数のレンズグループに分類され、
    前記複数のレンズグループの各レンズグループは、個別視野角に対応して、前記複数のレンズグループの中からの各レンズグループに対応する前記個別視野角は、前記複数のレンズグループの中からの残りのレンズグループの個別視野角とは異なり、
    前記複数のレンズグループの中からの各レンズグループに対して前記複数の検出素子の中からの前記レンズグループによってカバーされる検出領域に属する検出素子は、前記レンズグループに対応する視野角に対応する光線を検出する、請求項１に記載のイメージセンサ。
  16. 前記イメージセンサは、モバイル端末に含まれる、請求項１に記載のイメージセンサ。
  17. イメージ検出方法において、
    複数の検出素子がそれぞれ同じ焦点距離を有する複数のレンズ素子を通過した光を検出するステップと、
    プロセッサが前記複数の検出素子によって検出された光の強度に基づいて場面イメージを復元するステップと、
    を含み、
    前記複数のレンズ素子のうちの少なくともいずれか１つのレンズ素子のレンズの大きさは、前記複数のレンズ素子の中からの他のレンズ素子のレンズの大きさとは異なる、
    イメージ検出方法。
  18. カメラにおいて、
    被写体から反射する入射光線を屈折させるように構成されるレンズアレイと、
    前記レンズアレイによって屈折される前記光線を検出するように構成されるセンサを含み、
    前記レンズアレイは、第１直径を有する第１レンズ及び前記第１直径と異なる第２直径を有する第２レンズを含むカメラ。
  19. 前記レンズアレイは、前記第１直径を有する複数の第１レンズ及び前記第２直径を有する複数の第２レンズを含む、請求項１８に記載のカメラ。
  20. 前記複数の第１レンズによってカバーされる前記センサの第１領域及び前記複数の第２レンズによってカバーされる前記センサの第２領域は、同じ大きさを有する、請求項１９に記載のカメラ。
  21. 前記センサは複数の検出素子を含み、
    前記複数の第１レンズ及び前記複数の第２レンズのそれぞれは、前記複数の検出素子の中から同じ個数の検出素子をカバーする、請求項１９に記載のカメラ。
  22. 前記複数の第１レンズ及び前記複数の第２レンズのそれぞれによってカバーされる前記検出素子の個数は非整数である、請求項２１に記載のカメラ。
  23. 前記複数の検出素子の中から各検出素子は、前記被写体の第２地点から第２光線及び前記被写体の第１地点から反射される第１光線を検出するように構成される、請求項２１に記載のカメラ。
  24. 前記複数の検出素子は、前記第１直径を有する前記第１レンズによって屈折された第１光線、及び前記第１直径を有する前記複数の第１レンズの中からの他のレンズによって屈折された第２光線を検出するように構成される第１検出素子を含む、請求項２２に記載のカメラ。
  25. 前記複数の第１レンズは、第１視野角に対応し、
    前記複数の第２レンズは、前記第１視野角と異なる第２視野角に対応する、請求項１９に記載のカメラ。
JP2019171733A 2018-10-04 2019-09-20 イメージセンサ及びイメージ検出方法 Pending JP2020060763A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862741147P 2018-10-04 2018-10-04
US62/741,147 2018-10-04
KR1020180154741A KR102644944B1 (ko) 2018-10-04 2018-12-04 이미지 센서 및 이미지 센싱 방법
KR10-2018-0154741 2018-12-04

Publications (1)

Publication Number Publication Date
JP2020060763A true JP2020060763A (ja) 2020-04-16

Family

ID=68137945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019171733A Pending JP2020060763A (ja) 2018-10-04 2019-09-20 イメージセンサ及びイメージ検出方法

Country Status (4)

Country Link
US (1) US10924667B2 (ja)
EP (1) EP3633969B1 (ja)
JP (1) JP2020060763A (ja)
CN (1) CN111009534A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488148B (zh) * 2016-11-01 2019-09-17 首都师范大学 一种超分辨率图像传感器及其构造方法
US10868945B2 (en) * 2019-04-08 2020-12-15 Omnivision Technologies, Inc. Light-field camera and method using wafer-level integration process
KR20220053361A (ko) * 2020-10-22 2022-04-29 삼성전자주식회사 이미징 장치
CN113840064B (zh) * 2021-08-24 2023-06-30 中国科学院光电技术研究所 一种基于电控选通的大视场光学成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11150254A (ja) * 1997-11-17 1999-06-02 Asahi Optical Co Ltd 固体撮像素子
JP2011118235A (ja) * 2009-12-04 2011-06-16 Ricoh Co Ltd 撮像装置
US20110175981A1 (en) * 2010-01-19 2011-07-21 Chun-Hung Lai 3d color image sensor
JP2013157780A (ja) * 2012-01-30 2013-08-15 Olympus Corp 撮像装置
JP2017216514A (ja) * 2016-05-30 2017-12-07 株式会社ニコン 撮像装置、画像処理装置、画像処理システムおよびデータ構造

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7414661B2 (en) * 2002-08-13 2008-08-19 Micron Technology, Inc. CMOS image sensor using gradient index chip scale lenses
JP4710610B2 (ja) * 2003-08-22 2011-06-29 コニカミノルタオプト株式会社 固体撮像装置及び該固体撮像装置を備えた撮像装置
JP4956988B2 (ja) 2005-12-19 2012-06-20 カシオ計算機株式会社 撮像装置
JP2009206922A (ja) 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9167138B2 (en) 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US9707892B2 (en) 2012-04-25 2017-07-18 Gentex Corporation Multi-focus optical system
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
KR102269599B1 (ko) 2014-04-23 2021-06-25 삼성전자주식회사 직경이 상이한 렌즈 소자들을 구비하는 촬상 장치
CN111556253B (zh) 2015-07-10 2022-06-14 深圳市大疆创新科技有限公司 生成组合图像的方法及系统、图像的显示方法及系统
KR102646437B1 (ko) 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
US10297629B2 (en) * 2017-09-11 2019-05-21 Semiconductor Components Industries, Llc Image sensors with in-pixel lens arrays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11150254A (ja) * 1997-11-17 1999-06-02 Asahi Optical Co Ltd 固体撮像素子
JP2011118235A (ja) * 2009-12-04 2011-06-16 Ricoh Co Ltd 撮像装置
US20110175981A1 (en) * 2010-01-19 2011-07-21 Chun-Hung Lai 3d color image sensor
JP2013157780A (ja) * 2012-01-30 2013-08-15 Olympus Corp 撮像装置
JP2017216514A (ja) * 2016-05-30 2017-12-07 株式会社ニコン 撮像装置、画像処理装置、画像処理システムおよびデータ構造

Also Published As

Publication number Publication date
US20200112671A1 (en) 2020-04-09
US10924667B2 (en) 2021-02-16
EP3633969B1 (en) 2024-04-24
CN111009534A (zh) 2020-04-14
EP3633969A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
JP7101646B2 (ja) イメージ復元方法及び装置
JP7264624B2 (ja) 映像復元装置及び方法
US11375092B2 (en) Image sensor and image sensing method
JP2020060763A (ja) イメージセンサ及びイメージ検出方法
JP2021072615A (ja) 映像復元装置及び方法
US8908054B1 (en) Optics apparatus for hands-free focus
WO2012061571A1 (en) Camera systems and methods for gigapixel computational imaging
KR20210066366A (ko) 영상 복원 방법 및 장치
CN108156383B (zh) 基于相机阵列的高动态十亿像素视频采集方法及装置
US8462179B2 (en) Scene independent method for image formation in lenslet array imagers
KR102644944B1 (ko) 이미지 센서 및 이미지 센싱 방법
EP3910385A1 (en) Image sensor
KR102614908B1 (ko) 이미지 복원 방법 및 장치
KR20200072136A (ko) 렌즈 어레이 카메라 및 렌즈 어레이 카메라의 구동 방법
US11988849B2 (en) Imaging device and method
KR20210137886A (ko) 이미지 센서
US10868957B2 (en) Apparatus and method for processing image to reconstruct image
KR20220080249A (ko) 영상 처리 방법 및 장치
KR20220053361A (ko) 이미징 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240319