JP2011528866A - 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 - Google Patents
汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 Download PDFInfo
- Publication number
- JP2011528866A JP2011528866A JP2011502091A JP2011502091A JP2011528866A JP 2011528866 A JP2011528866 A JP 2011528866A JP 2011502091 A JP2011502091 A JP 2011502091A JP 2011502091 A JP2011502091 A JP 2011502091A JP 2011528866 A JP2011528866 A JP 2011528866A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color filter
- filters
- color
- primary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003595 spectral effect Effects 0.000 claims abstract description 83
- 230000004044 response Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000002834 transmittance Methods 0.000 claims description 4
- 230000001965 increasing effect Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000004043 responsiveness Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 39
- 238000005070 sampling Methods 0.000 description 21
- 238000009499 grossing Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 14
- 241000579895 Chlorostilbon Species 0.000 description 13
- 229910052876 emerald Inorganic materials 0.000 description 13
- 239000010976 emerald Substances 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 10
- 238000003491 array Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本願は、2008年3月28日に出願された米国特許仮出願第61/072,301および2008年9月30日に出願された米国特許仮出願第61/194,725の優先権の恩恵を主張し、これらの全内容を参照により本願明細書に組み込むものとする。
本明細書または出願ファイルにはカラーで作製した少なくとも1つの図面を含んでいる。カラー図面を伴うこの特許または特許出願公報の写しは、必要な手数料の請求および支払いにより、特許商標庁によって提供される。
本特許明細書文献の開示の一部は著作権保護の対象となる資料を含んでいる。本著作権者は、特許商標庁の特許ファイルまたは記録にあるように、本特許明細書文献または特許情報開示のいずれかをファクシミリ複製することに異存はないが、それ以外は、全ての著作権を有する。
これは、MTFsensor(p) = F(s(t))と表される。この矩形関数s(t)は下記の様に表すことができる。すなわち、
尚、真のカラーYと1組のN個の実世界対象物(オブジェクト)セットに対する推定カラー
ここで、σn はn番目の対象物(オブジェクト)の実際の係数を表し、
Vfull は検出器の飽和容量(例えば、Vfull = 3500e)を表し、Nr はイメージセンサの読み取りノイズの二乗平均平方根(RMS)である。検出器の読み取りノイズのRMSは、
と定義することができる。例えば、Ndark は33eと設定することができる。図4のカラーフィルタアレイ400を使ういくつかの実施形態では、Nr は変わらないが、最大検出可能なグレーレベルはβVfull となる。従って、カラーフィルタアレイ400を使うカメラシステムのダイナミックレンジは下記の様に表すことができる。
ここで、
尚、半画素位相シフトによって起こるエイリアシングは、対角線上に隣接する4個の画素を加えることによってなくなる。このとき、画素aでの値を他の画素に対して補間して、低露出モノクローム画像732(ILEM)を生じ、これは、以下のように表すことができる。
である。変換T′は、色差を最小限にするように定められる。すなわち、
min‖Y−T′X′‖2いくつかの実施形態では、カラーフィルタアレイ710の1次フィルタ712および2次フィルタ714から取得した情報を使って、1つのキャプチャした画像からHDRのRGB画像760を生成することができる。ハイダイナミックレンジ3色画像(例えば、画像760)を生成するために、低露出3色画像750を構築することができる。
よって、ステップ754で、アンチエイリアシングされる画像
である。カラーフィルタアレイ1300または1500の位置(i,j)の画素は、(Ri,j, gi,j, bi,j, yi,j, ei,j), (ri,j, Gi,j, bi,j, yi,j, ei,j), (ri,j, gi,j, Bi,j, yi,j, ei,j), (ri,j, gi,j, bi,j, Yi,j, ei,j),(ri,j, gi,j, bi,j, yi,j, Ei,j)のいずれかで表すことができ、ここで、Ri,j、Gi,j、Bi,j、Yi,j、Ei,jはカラーフィルタアレイの既知の赤、緑、青、黄、エメラルドを示し、ri,j, gi,j, bi,j, yi,j, ei,jはカラーフィルタアレイの未知のコンポーネントを示す。さらに、ri,j, gi,j, bi,j, yi,j, ei,jの推定は、以下のもの、すなわち、
結果として、VGRおよびMR は下記のようになる。
Claims (47)
- カラーフィルタアレイであって、該アレイは複数の1次フィルタおよび複数の2次フィルタを備え、各フィルタは特定のスペクトル応答性を有し、各フィルタを複数の画素における対応する画素上に形成し、前記複数の1次フィルタおよび前記複数の2次フィルタは、それぞれ画質の属性を高め、該複数の1次フィルタおよび該複数の2次フィルタを使って取得した情報を使用して、空間分解能と複数の画像タイプで画像を生成するための画質とのバランスをとる、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、前記複数の画素における前記対応する画素はサブミクロン画素とした、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、前記複数の1次フィルタおよび前記複数の2次フィルタを使って取得した前記情報を使用して、前記複数の画像タイプの前記画像を生成するために、スペクトル分解能、ダイナミックレンジおよび空間分解能のバランスをとる、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、前記画質の属性は、色再現、スペクトル分解能、ダイナミックレンジおよび感度の少なくとも1つを含む、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、前記複数の2次フィルタそれぞれにおける前記特定のスペクトル応答性は、前記複数の1次フィルタのうち1つにおける前記特定のスペクトル応答性と高い相関関係を有する、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、同一スペクトル応答性を有する前記複数の1次フィルタは、同一スペクトル応答性を有する各1次フィルタが前記対応する画素の長さよりも2倍の距離離して配置する、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、同一スペクトル応答性を有する前記複数の2次フィルタは、同一スペクトル応答性を有する各2次フィルタが前記対応する画素の長さよりも4倍の距離離して配置する、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、前記複数の画像タイプは、モノクローム画像、高ダイナミック解像度のモノクローム画像、3色画像、高ダイナミック解像度の3色画像およびマルチスペクトル画像のうち少なくとも2つを含む、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、前記複数の1次フィルタの各々は前記複数の2次フィルタの各々よりも大きな透過率を有する、カラーフィルタアレイ。
- 請求項1に記載のカラーフィルタアレイにおいて、前記カラーフィルタアレイは第1カラーフィルタ、第2カラーフィルタ、第3カラーフィルタ、第4カラーフィルタ、第5カラーフィルタ、第6カラーフィルタおよび第7カラーフィルタを有し、前記複数の1次フィルタは前記第1カラーフィルタ、前記第2カラーフィルタ、前記第3カラーフィルタを有し、前記複数の2次フィルタは前記第4カラーフィルタ、前記第5カラーフィルタ、前記第6カラーフィルタおよび前記第7カラーフィルタを有する、カラーフィルタアレイ。
- 画像を生成する方法において、該方法は、
カラーフィルタアレイを設けるカラーフィルタアレイ準備ステップであって、該カラーフィルタアレイは、
複数の1次フィルタおよび複数の2次フィルタを備え、各フィルタは特定のスペクトル応答性を有し、また各フィルタは複数の画素における対応する画素上に形成し、
前記複数の1次フィルタおよび前記複数の2次フィルタそれぞれは画質の属性を高め、また前記複数の1次フィルタおよび前記複数の2次フィルタを使って取得した情報を使用して、空間分解能と複数の画像タイプで画像を生成する前記画質とのバランスとるものとした、
該カラーフィルタアレイ準備ステップと、
前記カラーフィルタアレイを使って画像をキャプチャする画像キャプチャステップであって、前記画像に対応して前記複数の1次フィルタおよび前記複数の2次フィルタからの情報を取得する、該画像キャプチャステップと、ならびに
前記複数の1次フィルタおよび前記複数の2次フィルタからの前記情報を使って、複数の画像タイプで前記画像を生成するステップと、
を有する、方法。 - 請求項11に記載の方法において、前記複数の画素の前記対応する画素はサブミクロン画素とした、方法。
- 請求項11に記載の方法において、前記複数の1次フィルタおよび前記複数の2次フィルタを使って取得した情報により、ユーザーは、前記複数の画像タイプの前記画像を生成するために、スペクトル分解能、ダイナミックレンジおよび空間分解能のバランスをとることができるようにした、方法。
- 請求項11に記載の方法において、前記画質の属性は、色再現、スペクトル分解能、ダイナミックレンジおよび感度のうち少なくとも1つを含む、方法。
- 請求項11に記載の方法において、前記複数の2次フィルタのそれぞれにおける前記特定のスペクトル応答性は、前記複数の1次フィルタのうち1つにおける前記特定のスペクトル応答性と高い相関関係を有するものとした、方法。
- 請求項11に記載の方法において、同一スペクトル応答性を有する前記複数の1次フィルタは、該同一スペクトル応答を有する各1次フィルタが前記対応する画素の長さよりも2倍の距離離して配置する、方法。
- 請求項11に記載の方法において、同一スペクトル応答性を有する前記複数の2次フィルタは、該同一スペクトル応答を有する各2次フィルタが前記対応する画素の長さよりも2倍の距離離して配置する、方法。
- 請求項11に記載の方法において、前記複数の画像タイプは、モノクローム画像、高ダイナミック解像度のモノクローム画像、3色画像、高ダイナミック解像度3色画像およびマルチスペクトル画像のうち少なくとも2つとした、方法。
- 請求項11に記載の方法において、前記複数の1次フィルタのそれぞれは、前記複数の2次フィルタの各々よりも大きな透過率を有する、方法。
- 請求項11に記載の方法において、前記カラーフィルタアレイは、第1カラーフィルタ、第2カラーフィルタ、第3カラーフィルタ、第4カラーフィルタ、第5カラーフィルタ、第6カラーフィルタおよび第7カラーフィルタを有し、前記複数の1次フィルタは、第1カラーフィルタ、第2カラーフィルタ、第3カラーフィルタを有し、前記複数の2次フィルタは、第4カラーフィルタ、第5カラーフィルタ、第6カラーフィルタおよび第7カラーフィルタを有する、方法。
- 請求項11に記載の方法において、さらに、エラーを計算することによって前記カラーフィルタアレイにおける各フィルタの前記スペクトル応答性を高めるステップを有する、方法。
- 請求項21に記載の方法において、前記エラーは、色再現エラー、反射率再構築エラー、信号対雑音比およびダイナミックレンジのうち少なくとも1つとした、方法。
- 請求項11に記載の方法において、さらに、前記複数の1次フィルタからの情報を使ってモノクローム画像を生成するステップを有する、方法。
- 請求項23に記載の方法において、さらに、前記複数の2次フィルタからの情報を使って低露出モノクローム画像を生成し、該低露出モノクローム画像を前記モノクローム画像と組み合わせることによって、ハイダイナミックレンジ画像を生成するステップを有する、方法。
- 請求項11に記載の方法において、さらに、前記複数の1次フィルタからの前記情報を使って3色画像を生成するステップを有する、方法。
- 請求項25に記載の方法において、前記複数の1次フィルタからの前記情報を組み合わせるために、色再現マトリクスおよび線形変換を使って前記3色画像を生成する、方法。
- 請求項26に記載の方法において、さらに、前記複数の2次フィルタからの前記情報を使って低露出3色画像を生成し、該低露出3色画像を前記3色画像と組み合わせることによって、ハイダイナミックレンジ3色画像を生成するステップを有する、方法。
- 請求項27に記載の方法において、前記複数の1次フィルタからの前記情報を使って、前記複数の2次フィルタからの前記情報のエイリアシングを推定することによって前記低露出3色画像を生成する、方法。
- 請求項11に記載の方法において、さらに、マルチスペクトル画像を生成するステップを有し、前記2次フィルタからの前記情報をアンチエイリアシングし、また前記2次フィルタからの前記アンチエイリアシングした情報および前記複数の1次フィルタからの前記情報を使用して、前記マルチスペクトル画像のためのスペクトル反射率を再構築する、方法。
- カメラシステムにおいて、該カメラシステムはカラーフィルタアレイを備え、該カラーフィルタアレイは、複数の1次フィルタおよび複数の2次フィルタを備え、各フィルタは特定のスペクトル応答性を有し、各フィルタは複数の画素における対応する画素上に形成し、前記複数の1次フィルタおよび前記複数の2次フィルタそれぞれは画質の属性を高め、前記複数の1次フィルタおよび前記複数の2次フィルタを使って取得した前記情報を使用して、複数の画像タイプで画像を生成するために、空間分解能と前記画質のバランスをとるよう構成した、カメラシステム。
- 請求項30に記載のカメラシステムにおいて、前記複数の画素の前記対応する画素はサブミクロン画素とした、カメラシステム。
- 請求項30に記載のカメラシステムにおいて、前記複数の1次フィルタおよび前記複数の2次フィルタを使って取得した前記情報を使用して、前記複数の画像タイプの前記画像を生成するために、スペクトル分解能、ダイナミックレンジおよび空間分解能のバランスをとる、カメラシステム。
- 請求項30に記載のカメラシステムにおいて、前記画質の属性は、色再現、スペクトル分解能、ダイナミックレンジおよび感度のうち少なくとも1つとした、カメラシステム。
- 請求項30に記載のカメラシステムにおいて、前記複数の2次フィルタのそれぞれにおける前記特定のスペクトル応答性は、前記複数の1次フィルタのうち1つにおける前記特定のスペクトル応答性と高い相関関係を有する、カメラシステム。
- 請求項30に記載のカメラシステムにおいて、同一スペクトル応答性を有する前記複数の1次フィルタは、該同一スペクトル応答を有する各1次フィルタが前記対応する画素の長さよりも2倍の距離離して配置した、カメラシステム。
- 請求項30に記載のカメラシステムにおいて、同一スペクトル応答性を有する前記複数の2次フィルタは、該同一スペクトル応答性を有する各2次フィルタが前記対応する画素の長さよりも2倍の距離離して配置した、カメラシステム。
- 請求項30に記載のカメラシステムにおいて、前記複数の画像タイプは、モノクローム画像、高ダイナミック解像度モノクローム画像、3色画像、高ダイナミック解像度3色画像およびマルチスペクトル画像のうちの少なくとも2つとした、カメラシステム。
- 請求項30に記載のカメラシステムにおいて、前記複数の1次フィルタのそれぞれは、前記複数の2次フィルタの各々よりも大きな透過率を有する、カメラシステム。
- 請求項30に記載のカメラシステムにおいて、前記カラーフィルタアレイは、第1カラーフィルタ、第2カラーフィルタ、第3カラーフィルタ、第4カラーフィルタ、第5カラーフィルタ、第6カラーフィルタおよび第7カラーフィルタを有し、前記複数の1次フィルタは、前記第1カラーフィルタ、前記第2カラーフィルタ、前記第3カラーフィルタを有し、前記複数の2次フィルタは、前記第4カラーフィルタ、前記第5カラーフィルタ、前記第6カラーフィルタおよび前記第7カラーフィルタを有する、カメラシステム。
- 画像処理システムにおいて、該システムは、カラーフィルタアレイからの画像に対応する情報を受信し、該カラーフィルタアレイは複数の1次フィルタおよび複数の2次フィルタを備え、各フィルタは特定のスペクトル応答性を有し、各フィルタは複数の画素における対応する画素上に形成し、前記複数の1次フィルタおよび前記複数の2次フィルタそれぞれは画質の属性を高め、該複数の1次フィルタおよび該複数の2次フィルタを使って取得した情報を使用して、複数の画像タイプで画像を生成するために、空間分解能および画質のバランスをとり、また前記複数の1次フィルタおよび前記複数の2次フィルタからの前記情報を使って複数の画像タイプで前記画像を生成するように構成されたプロセッサを備えた、画像処理システム。
- 請求項40に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の1次フィルタからの前記情報を使ってモノクローム画像を生成するよう構成した、画像処理システム。
- 請求項40に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の2次フィルタからの情報を使って低露出モノクローム画像を生成し、該低露出モノクローム画像を前記モノクローム画像と組み合わせることによって、ハイダイナミックレンジ画像を生成するよう構成した、画像処理システム。
- 請求項40に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の1次フィルタからの前記情報を使って3色画像を生成するよう構成した、画像処理システム。
- 請求項40に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の1次フィルタからの前記情報を組み合わせるため、色再現マトリクスおよび線形変換を使って3色画像を生成するよう構成した、画像処理システム。
- 請求項40に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の2次フィルタからの前記情報を使って低露出3色画像を生成し、該低露出3色画像を前記3色画像と組み合わせることによって、ハイダイナミックレンジ3色画像を生成するよう構成した、画像処理システム。
- 請求項45に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の1次フィルタからの前記情報を使って前記複数の2次フィルタからの前記情報のエイリアシングを推定することにより、前記低露出3色画像を生成するよう構成した、画像処理システム。
- 請求項40に記載の画像処理システムにおいて、前記プロセッサは、さらに、マルチスペクトル画像を生成するよう構成し、前記2次フィルタからの前記情報をアンチエイリアシングし、前記2次フィルタからの該アンチエイリアシングされた情報および前記複数の1次フィルタからの前記情報を使用して、前記マルチスペクトル画像のスペクトル反射率を再構築する、画像処理システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US7230108P | 2008-03-28 | 2008-03-28 | |
US61/072,301 | 2008-03-28 | ||
US19472508P | 2008-09-30 | 2008-09-30 | |
US61/194,725 | 2008-09-30 | ||
PCT/US2009/038510 WO2009120928A2 (en) | 2008-03-28 | 2009-03-27 | Generalized assorted pixel camera systems and methods |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011528866A true JP2011528866A (ja) | 2011-11-24 |
JP5786149B2 JP5786149B2 (ja) | 2015-09-30 |
Family
ID=41114742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011502091A Expired - Fee Related JP5786149B2 (ja) | 2008-03-28 | 2009-03-27 | 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8934034B2 (ja) |
EP (1) | EP2263373B1 (ja) |
JP (1) | JP5786149B2 (ja) |
WO (1) | WO2009120928A2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011182187A (ja) * | 2010-03-01 | 2011-09-15 | Canon Inc | 撮像装置及びその制御方法 |
WO2014034729A1 (ja) * | 2012-08-31 | 2014-03-06 | 国立大学法人京都工芸繊維大学 | デジタルホログラフィ装置およびデジタルホログラフィ再生方法 |
JP5943393B2 (ja) * | 2011-05-11 | 2016-07-05 | 国立大学法人東京工業大学 | 撮像装置 |
JP2016189633A (ja) * | 2013-07-01 | 2016-11-04 | オムニヴィジョン テクノロジーズ インコーポレイテッド | 色エイリアシングを低減する色及び赤外線フィルタアレイパターン |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8155478B2 (en) * | 2006-10-26 | 2012-04-10 | Broadcom Corporation | Image creation with software controllable depth of field |
JP5169994B2 (ja) * | 2009-05-27 | 2013-03-27 | ソニー株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
US10132925B2 (en) * | 2010-09-15 | 2018-11-20 | Ascentia Imaging, Inc. | Imaging, fabrication and measurement systems and methods |
US9077910B2 (en) * | 2011-04-06 | 2015-07-07 | Dolby Laboratories Licensing Corporation | Multi-field CCD capture for HDR imaging |
CN107105229B9 (zh) | 2011-04-14 | 2020-03-31 | 杜比实验室特许公司 | 图像解码方法、视频解码器和非暂态计算机可读存储介质 |
US9055178B2 (en) | 2011-08-30 | 2015-06-09 | University Of Dayton | Single-shot high dynamic range imaging |
US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
US8432466B2 (en) * | 2011-09-29 | 2013-04-30 | International Business Machines Corporation | Multiple image high dynamic range imaging from a single sensor array |
WO2013064507A1 (en) | 2011-11-04 | 2013-05-10 | Imec | Spectral camera with overlapping segments of image copies interleaved onto sensor array |
EP2801077B1 (en) | 2012-01-03 | 2023-11-29 | Ascentia Imaging, Inc. | Coded localization systems, methods and apparatus |
US9739864B2 (en) | 2012-01-03 | 2017-08-22 | Ascentia Imaging, Inc. | Optical guidance systems and methods using mutually distinct signal-modifying |
JP6249950B2 (ja) | 2012-08-31 | 2017-12-20 | キヤノン電子株式会社 | 光量調整装置、撮像光学系、及び撮像装置 |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
JP2014086863A (ja) * | 2012-10-23 | 2014-05-12 | Sony Corp | 撮像装置、および画像処理方法、並びにプログラム |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US9336570B2 (en) * | 2014-05-15 | 2016-05-10 | The United States Of America, As Represented By The Secretary Of The Navy | Demosaicking system and method for color array based multi-spectral sensors |
US10013764B2 (en) * | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
WO2016072018A1 (ja) * | 2014-11-07 | 2016-05-12 | オリンパス株式会社 | 撮像装置 |
US10126114B2 (en) | 2015-05-21 | 2018-11-13 | Ascentia Imaging, Inc. | Angular localization system, associated repositionable mechanical structure, and associated method |
US10349015B2 (en) * | 2015-06-08 | 2019-07-09 | Trustees Of Dartmouth College | Image sensor color filter array pattern |
EP3659333A4 (en) * | 2017-07-26 | 2021-03-10 | Hewlett-Packard Development Company, L.P. | EVALUATION OF DYNAMIC RANGES OF IMAGING DEVICES |
US10271030B1 (en) * | 2017-09-29 | 2019-04-23 | Raytheon Company | Generating a monochrome image |
KR102314703B1 (ko) * | 2017-12-26 | 2021-10-18 | 에스케이하이닉스 주식회사 | 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법 |
CN112087559B (zh) * | 2019-06-13 | 2021-11-30 | 华为技术有限公司 | 图像传感器、图像拍摄装置和方法 |
US20210176486A1 (en) * | 2019-12-09 | 2021-06-10 | Alibaba Group Holding Limited | Methods and apparatuses for motion compensation |
FR3122930B1 (fr) * | 2021-05-11 | 2023-05-26 | Safran Electronics & Defense | Filtre multi-spectral |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002209223A (ja) * | 2001-01-09 | 2002-07-26 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2004336468A (ja) * | 2003-05-08 | 2004-11-25 | Fuji Film Microdevices Co Ltd | 撮像装置及び画像処理方法 |
JP2006211478A (ja) * | 2005-01-31 | 2006-08-10 | Sony Corp | 撮像装置および撮像素子 |
JP2007027604A (ja) * | 2005-07-21 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2007259344A (ja) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 撮像装置および画像処理方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
US4630307A (en) | 1984-09-10 | 1986-12-16 | Eastman Kodak Company | Signal processing method and apparatus for sampled image signals |
US5323233A (en) | 1990-07-31 | 1994-06-21 | Canon Kabushiki Kaisha | Image signal processing apparatus having a color filter with offset luminance filter elements |
US5373322A (en) | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
US5629734A (en) | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
DE19616440A1 (de) | 1996-04-25 | 1997-10-30 | Eastman Kodak Co | Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter |
US5828793A (en) | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
US5789737A (en) | 1997-01-22 | 1998-08-04 | Xerox Corporation | High dynamic range segmented pixel sensor array |
KR100297714B1 (ko) | 1998-09-01 | 2001-08-07 | 윤종용 | 넓은동적범위를갖는영상장치및이의영상신호처리방법 |
AUPQ289099A0 (en) * | 1999-09-16 | 1999-10-07 | Silverbrook Research Pty Ltd | Method and apparatus for manipulating a bayer image |
JP3926947B2 (ja) | 1999-06-22 | 2007-06-06 | 富士フイルム株式会社 | 画像データ形成装置および画像データ処理方法 |
US6690422B1 (en) * | 1999-11-03 | 2004-02-10 | Sharp Laboratories Of America, Inc. | Method and system for field sequential color image capture using color filter array |
WO2005046248A1 (ja) * | 2003-11-11 | 2005-05-19 | Olympus Corporation | マルチスペクトル画像撮影装置 |
US7525583B2 (en) * | 2005-02-11 | 2009-04-28 | Hewlett-Packard Development Company, L.P. | Decreasing aliasing in electronic images |
KR100894420B1 (ko) * | 2007-01-25 | 2009-04-24 | 삼성전자주식회사 | 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법 |
US8248496B2 (en) * | 2009-03-10 | 2012-08-21 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and image sensor |
US8068153B2 (en) * | 2009-03-27 | 2011-11-29 | Omnivision Technologies, Inc. | Producing full-color image using CFA image |
-
2009
- 2009-03-27 EP EP09724220.0A patent/EP2263373B1/en not_active Not-in-force
- 2009-03-27 WO PCT/US2009/038510 patent/WO2009120928A2/en active Application Filing
- 2009-03-27 US US12/736,333 patent/US8934034B2/en not_active Expired - Fee Related
- 2009-03-27 JP JP2011502091A patent/JP5786149B2/ja not_active Expired - Fee Related
-
2014
- 2014-11-18 US US14/546,627 patent/US20150070562A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002209223A (ja) * | 2001-01-09 | 2002-07-26 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2004336468A (ja) * | 2003-05-08 | 2004-11-25 | Fuji Film Microdevices Co Ltd | 撮像装置及び画像処理方法 |
JP2006211478A (ja) * | 2005-01-31 | 2006-08-10 | Sony Corp | 撮像装置および撮像素子 |
JP2007027604A (ja) * | 2005-07-21 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2007259344A (ja) * | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 撮像装置および画像処理方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011182187A (ja) * | 2010-03-01 | 2011-09-15 | Canon Inc | 撮像装置及びその制御方法 |
JP5943393B2 (ja) * | 2011-05-11 | 2016-07-05 | 国立大学法人東京工業大学 | 撮像装置 |
WO2014034729A1 (ja) * | 2012-08-31 | 2014-03-06 | 国立大学法人京都工芸繊維大学 | デジタルホログラフィ装置およびデジタルホログラフィ再生方法 |
JPWO2014034729A1 (ja) * | 2012-08-31 | 2016-08-08 | 国立大学法人京都工芸繊維大学 | デジタルホログラフィ装置およびデジタルホログラフィ再生方法 |
US10108145B2 (en) | 2012-08-31 | 2018-10-23 | National University Corporation Kyoto Institute Of Technology | Digital holography device and digital holography play method |
JP2016189633A (ja) * | 2013-07-01 | 2016-11-04 | オムニヴィジョン テクノロジーズ インコーポレイテッド | 色エイリアシングを低減する色及び赤外線フィルタアレイパターン |
Also Published As
Publication number | Publication date |
---|---|
US20150070562A1 (en) | 2015-03-12 |
US8934034B2 (en) | 2015-01-13 |
US20110211099A1 (en) | 2011-09-01 |
EP2263373A4 (en) | 2011-04-13 |
WO2009120928A2 (en) | 2009-10-01 |
EP2263373B1 (en) | 2014-08-13 |
EP2263373A2 (en) | 2010-12-22 |
WO2009120928A3 (en) | 2009-12-30 |
JP5786149B2 (ja) | 2015-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5786149B2 (ja) | 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 | |
Yasuma et al. | Generalized assorted pixel camera: postcapture control of resolution, dynamic range, and spectrum | |
JP7089296B2 (ja) | 画像からのハイパースペクトルデータの回復 | |
US9979941B2 (en) | Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating | |
EP2420051B1 (en) | Producing full-color image with reduced motion blur | |
JP6104985B2 (ja) | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム | |
US20100245636A1 (en) | Producing full-color image using cfa image | |
CN102369721A (zh) | 具有合成全色图像的彩色滤光器阵列(cfa)图像 | |
JP2006310999A (ja) | 画像処理装置および方法、並びにプログラム | |
US8976240B2 (en) | Spatially-varying spectral response calibration data | |
JP5943393B2 (ja) | 撮像装置 | |
JP2013055623A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
JP2006177812A (ja) | 二次元分光輝度計 | |
Monno et al. | N-to-sRGB mapping for single-sensor multispectral imaging | |
JP5464982B2 (ja) | 撮像装置および画像処理方法 | |
JP2012003454A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2004519156A (ja) | 画像検知器の出力信号用の輪郭フィルタ | |
JP5496922B2 (ja) | クロストーク量測定装置、これを用いた色補正装置およびクロストーク量測定方法 | |
Vaillant et al. | Color correction matrix for sparse RGB-W image sensor without IR cutoff filter | |
US8736722B2 (en) | Enhanced image capture sharpening | |
JP2006177813A (ja) | 迷光補正法及びそれを用いた二次元分光輝度計 | |
Yasuma et al. | Generalized Assorted Pixel Camera: Post-Capture Control of | |
Verhoeven | Pixels: so basic but so confusing | |
CN108881748A (zh) | 图像处理装置和方法、数字相机、计算机设备和程序产品 | |
Toadere | Process simulation in digital camera system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110930 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130730 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131030 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131107 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131202 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131227 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20141202 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20141209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20141222 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150324 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5786149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |