JP2018107794A - 画像生成装置及び撮像装置 - Google Patents

画像生成装置及び撮像装置 Download PDF

Info

Publication number
JP2018107794A
JP2018107794A JP2017215152A JP2017215152A JP2018107794A JP 2018107794 A JP2018107794 A JP 2018107794A JP 2017215152 A JP2017215152 A JP 2017215152A JP 2017215152 A JP2017215152 A JP 2017215152A JP 2018107794 A JP2018107794 A JP 2018107794A
Authority
JP
Japan
Prior art keywords
image
random
filter array
color
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017215152A
Other languages
English (en)
Other versions
JP6975897B2 (ja
Inventor
佐藤　智
Satoshi Sato
智 佐藤
吾妻　健夫
Takeo Azuma
健夫 吾妻
登　一生
Kazuo Nobori
一生 登
尚志 渡邉
Hisashi Watanabe
尚志 渡邉
貴真 安藤
Takamasa Ando
貴真 安藤
信彦 若井
Nobuhiko Wakai
信彦 若井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2018107794A publication Critical patent/JP2018107794A/ja
Application granted granted Critical
Publication of JP6975897B2 publication Critical patent/JP6975897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0205—Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/021—Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place at the element's surface, e.g. by means of surface roughening or microprismatic structures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0205—Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/0236—Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place within the volume of the element
    • G02B5/0242—Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place within the volume of the element by means of dispersed particles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0273—Diffusing elements; Afocal elements characterized by the use
    • G02B5/0278—Diffusing elements; Afocal elements characterized by the use used in transmission
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133504—Diffusing, scattering, diffracting elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation

Abstract

【課題】解像度の低下を抑制して適切な画像を生成することが可能な画像生成装置を提供する。【解決手段】画像生成装置としての撮像システムは、複数種類のカラーフィルタ２０２ａ〜２０２ｃと散乱部２０４とを有するランダムカラーフィルタアレイ２０２と、ランダムカラーフィルタアレイ２０２を透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部と、そのデジタルデータとランダム光学フィルタアレイの変調情報とを用いて画像を生成するカラー画像生成回路１０５とを備え、散乱部２０４は、複数種類のカラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間に位置し、散乱部２０４は、第１の屈折率を有する材料と、第１の屈折率と異なる第２の屈折率を有する材料とを含む。【選択図】図４

Description

本開示は、圧縮センシング技術を用いた画像生成装置等に関する。
カラー画像を撮像するためには、光の３原色に相当する赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの異なる波長域の情報を取得する必要がある。３つのイメージセンサでＲ、Ｇ及びＢの情報を取得するカラー撮像装置も存在する。しかし、多くのカラー撮像装置は、小型化及び低コスト化のために１つのイメージセンサしか搭載していない。そのため、多くのカラー撮像装置は、１つのイメージセンサでＲ、Ｇ及びＢの情報を取得する。
従来、画素毎にＲ、Ｇ及びＢのうち１つの波長域の情報を取得し、デモザイキングと呼ばれる処理を行うことで、画素毎にＲ、Ｇ及びＢの３つの波長域の情報を取得する手法が知られている。
図１８は、広く利用されているベイヤー配列を示した模式図である（例えば、特許文献１）。ベイヤー配列では、人間の視覚特性に近いＧの画素が全体の画素の１／２を占め、Ｒ及びＢの画素がそれぞれ全体の画素の１／４を占める。そして、デモザイキング処理によって、すべての画素に対してＲ、Ｇ及びＢの３つの波長域の情報が取得される。
一方、特許文献２では、ランダムな色パターンで光フィルタ要素を配置し、サンプルデータ集合に対して圧縮センシング技術を適用することでデモザイキングを行う技術が開示されている。
米国特許第５６２９７３４号明細書 特表２０１３−５１１９２４号公報
Ｒｕｄｉｎ Ｌ． Ｉ．， Ｏｓｈｅｒ Ｓ． Ｊ．， ａｎｄ Ｆａｔｅｍｉ Ｅ．： Ｎｏｎｌｉｎｅａｒ ｔｏｔａｌ ｖａｒｉａｔｉｏｎ ｂａｓｅｄ ｎｏｉｓｅ ｒｅｍｏｖａｌ ａｌｇｏｒｉｔｈｍｓ． Ｐｈｙｓｉｃａ Ｄ， ｖｏｌ． ６０， ｐｐ． ２５９−２６８， １９９２． Ｓｈｕｎｓｕｋｅ Ｏｎｏ， Ｉｓａｏ Ｙａｍａｄａ， "Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ"， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１４． Ｊ． Ｍａ， "Ｉｍｐｒｏｖｅｄ Ｉｔｅｒａｔｉｖｅ Ｃｕｒｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｃｏｍｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ ａｎｄ Ｍｅａｓｕｒｅｍｅｎｔ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ＆ Ｍｅａｓｕｒｅｍｅｎｔ， ｖｏｌ． ６０， ｎｏ． １， ｐｐ． １２６−１３６， ２０１１． Ｍ． Ａｈａｒｏｎ， Ｍ． Ｅｌａｄ， ａｎｄ Ａ． Ｍ． Ｂｒｕｃｋｓｔｅｉｎ， "Ｋ−ＳＶＤ： Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｄｅｓｉｇｎｉｎｇ Ｏｖｅｒｃｏｍｐｌｅｔｅ Ｄｉｃｔｉｏｎａｒｉｅｓ ｆｏｒ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ． ５４， ｎｏ． １１， ｐｐ． ４３１１−４３２２， ２００６．
しかしながら、特許文献１及び２の手法では、イメージセンサの各画素において、Ｒ、Ｇ及びＢのうち１つの波長域の情報しか取得されない。そのため、デモザイキング後のカラー画像の解像度が低下し、偽色と呼ばれるアーチファクトが発生し得る。
本開示は、非限定的ではない例示的な一態様として、解像度の低下を抑制して適切な画像を生成することが可能な画像生成装置を提供する。また、本開示は、適切な画像を生成するために用いられる撮像装置を提供する。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
本開示の一態様に係る画像生成装置は、複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置し、前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む。
また、本開示の一態様に係る撮像装置は、複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置し、前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む。
上述の包括的または具体的な態様は、システム、方法及びコンピュータプログラムを用いて実装されてもよいし、装置、システム、方法及びコンピュータプログラムの組み合わせを用いて実現されてもよい。
本開示によれば、解像度の低下が抑制され、適切な画像が生成され得る。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
図１は、実施の形態１に係る撮像システムの構成を示す模式図である。 図２は、撮像システムにおける波長変調部及び変調画像取得部の構成の詳細を示す図である。 図３は、撮像システムにおけるランダムカラーフィルタアレイ及び撮像素子の構成を示す模式図である。 図４は、ランダムカラーフィルタアレイを含む撮像システムの模式図である。 図５は、実施の形態に係る３種類のフィルタの波長特性としての透過率を示す図である。 図６は、３種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の２次元平面上の配置を示す模式図である。 図７Ａは、３種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の断面を示す模式図である。 図７Ｂは、３種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の断面を示す模式図である。 図８は、従来のカラー撮像装置におけるカラーフィルタアレイの模式図である。 図９は、実施の形態に係る４種類のフィルタの波長特性としての透過率を示す図である。 図１０は、４種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の２次元平面上の配置を示す模式図である。 図１１は、３種類の補色フィルタの波長特性としての透過率を示す図である。 図１２は、実施の形態１に係る撮像システムにおける画像生成装置の主要な処理の手順を示すフローチャートである。 図１３は、撮像素子の画素数がＮ＝１６である場合の変調画像と生成画像とを示す模式図である。 図１４は、実施の形態１におけるカラー画像生成回路等が生成したカラー画像を基にした画像の一例を示す。 図１５は、実施の形態２に係る撮像システムの構成を示す模式図である。 図１６は、実施の形態２に係る撮像システムにおける画像生成装置の主要な処理の手順を示すフローチャートである。 図１７は、撮像素子の画素数がＮ＝１６である場合の生成画像（マルチバンド画像）を示す模式図である。 図１８は、ベイヤー配列を示す模式図である。
（本開示の基礎となる知見）
特許文献１及び２に記載の技術では、１つの画素において、Ｒ（赤）、Ｇ（緑）及びＢ（青）のいずれかの情報しか取得されない。このため、取得される情報は必ずしも十分ではなく、解像度の高い適切な画像が生成されない可能性がある。
これに対して、例えばＲ、Ｇ及びＢの各波長帯域の情報を混合して各画素に与え、その混合を画素群に対してランダムに行うことで、各画素からより多くの情報が得られ、得られた情報から圧縮センシング技術によって適切な画像が生成され得る。例えば、主としてＲの波長帯域を透過するＲフィルタ、主としてＧの波長帯域を透過するＧフィルタ、主としてＢの波長帯域を透過するＢフィルタの合計３種類のカラーフィルタ等といった、少ない種類の光学フィルタを用いて、画素群に対して疑似的にランダムな情報の混合を実現することが有用となる。例えば、撮像素子が受光する光の光路上に、光を散乱させる散乱部と比較的少ない種類の各光学フィルタとを配置して構成されるランダム光学フィルタアレイを設置して撮像する。これにより、散乱現象により各光学フィルタを透過した光は１つの画素のみならず近傍画素にも受光され、各画素には多くの情報が与えられることとなるので、解像度が高い適切な画像の生成が可能となり得る。このように、画素においてＲ、Ｇ及びＢのいずれかの情報だけを与えるようにして混色を防止していた従来技術とは異なり、本開示に係る技術は、散乱部を用いて散乱現象により例えば混色等を生じさせることで、解像度が高い画像を生成し得る。以上の知見に基づき、以下、本開示に係る画像生成装置等を説明する。
本開示の一態様に係る画像生成装置は、複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間、又は前記複数種類の光学フィルタの前に位置し、前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む。ここで、同じ種類の光学フィルタ同士は、光の波長と光透過率との関係に係る波長特性が同じであり、互いに異なる種類の光学フィルタ同士は、光の波長と光透過率との関係に係る波長特性が相違する。散乱部が、複数種類の光学フィルタとフォトダイオードの間に位置し、例えばレンズ等の光学系部材を通過した光が受光面に至るまでの光路上に配置される。ランダム光学フィルタアレイの変調情報は、光学フィルタを略平面において複数配置して散乱部を含むランダム光学フィルタアレイにおける光透過率に関する情報であり、その平面上の位置及び光の波長に応じてその光透過率は変化し得る。なお、変調情報は、散乱部に対応する点拡がり関数にも関し、その平面上の位置に応じてその点拡がり関数は変化し得る。
これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタを透過する光が分散してフォトダイオードに受光され、各画素としてのフォトダイオードが十分な情報を取得することができるので、解像度の低下が抑制され、適切な画像が生成され得る。
また、例えば、前記光学フィルタは、カラーフィルタであり、前記ランダム光学フィルタアレイは、ランダムカラーフィルタアレイであり、前記生成回路が生成する前記画像は、カラー画像であることとしてもよい。
これにより、例えばＲフィルタ、Ｇフィルタ及びＢフィルタ等のカラーフィルタの複数組のそれぞれを透過した光が、散乱現象により近傍画素のフォトダイオード群において加算され、変調情報に基づいて例えば圧縮センシング技術で、解像度が高い適切なカラー画像が生成され得る。
また、例えば、前記散乱部は、前記第１の屈折率を有する材料で構成される第１の層と、前記第１の層に散在する前記第２の屈折率を有する材料を含む粒子とを有することとしてもよい。
これにより、ランダム光学フィルタアレイにおける粒子が散在する層を通過する光が散乱するので、画素単位で取得される光の情報量が散乱させない場合より多くなる。生成回路では、散乱に対応して、位置に応じた点拡がり関数に係る情報を含む変調情報が用いられるので、解像度の高い適切な画像が生成され得る。
また、例えば、前記第２の屈折率は１．９以上であることとしてもよい。
これにより、実用上十分な散乱が生じ得るので、十分なランダムさ（ランダム性）を有するランダム光学フィルタアレイが実現され、圧縮センシングにより適切な画像の生成が可能となり得る。
また、例えば、前記粒子は、ＳｉＮ、ＴｉＯ２、ＺｒＯ２、ＺｎＯ又はＴａ２Ｏ５で構成されることとしてもよい。
これにより、比較的容易に有用なランダム光学フィルタアレイを構成し得る。
また、例えば、前記粒子の粒径は、５００ｎｍ以上１０００ｎｍ以下であることとしてもよい。
これにより、散乱部で可視光を十分に散乱させることが可能となり、これにより解像度の高いカラー画像等の生成が可能となり得る。
また、例えば、前記散乱部は、前記第１の屈折率を有する材料で構成される第１の層と、前記第２の屈折率を有する材料で構成される第２の層とを含み、前記ランダム光学フィルタアレイの厚み方向に、前記第１の層と前記第２の層は、積層されることとしてもよい。
これにより、ランダム光学フィルタアレイにおける散乱部の層間を通過する光が屈折することで散乱を生じ得るので、画素単位で取得される光の情報量が従来のベイヤー配列等より多くなり得る。このため、解像度の高い適切な画像が生成され得る。
また、例えば、前記生成回路が生成する前記画像は、マルチバンド画像であることとしてもよい。
これにより、解像度の高いマルチバンド画像が生成され得る。なお、例えば、ランダム光学フィルタアレイを、可視光以外の波長帯域の光を透過する光学フィルタを含めて構成してもよい。
また、例えば、前記生成回路は、圧縮センシング技術を用いて前記画像を生成することとしてもよい。
この圧縮センシングにより、適切に画像が生成され得る。
また、本開示の一態様に係る撮像装置は、複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置し、前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む。
これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタを透過する光が分散してフォトダイオードに受光され、各画素としてのフォトダイオードが十分な情報を取得することができるようになる。このため、各画素の情報を用いて解像度が比較的高い適切な画像が生成され得る。
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組み合わせが含まれる。
以下、図面を参照しながら、本開示における画像生成装置に係る撮像システムの実施の形態について説明する。ここで示す実施の形態は、いずれも一例に過ぎない。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ及びステップの順序等は、一例であって、限定的なものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
（実施の形態１）
図１は、本実施の形態に係る撮像システム１０の構成を示す。撮像システム１０は、撮像装置１１と画像生成装置１２とを備える。
撮像装置１１は、波長変調部１０１と、変調画像取得部１０２と、送信回路１０３とを有する。一方、画像生成装置１２は、受信回路１０４と、カラー画像生成回路１０５と、出力Ｉ／Ｆ（インタフェース）装置１０６とを有する。撮像装置１１と画像生成装置１２とは、一体化していてもよい。もちろん、撮像装置１１と画像生成装置１２とが一体化している場合、送信回路１０３及び受信回路１０４は省略し得る。
（撮像装置１１）
まず、図２を参照しながら撮像装置１１を説明する。
図２は、波長変調部１０１及び変調画像取得部１０２の構成の詳細を示す。
図２に示されるように、波長変調部１０１は、結像光学系２０１及びランダムカラーフィルタアレイ２０２に対応する。また、変調画像取得部１０２は、撮像素子２０３に対応する。
（結像光学系２０１）
結像光学系２０１は、少なくとも、１枚又は複数枚のレンズと、レンズ位置調整機構とを有する（いずれも図示せず）。１枚又は複数枚のレンズは被写体からの光を集めて、光信号を結像する。光信号は被写体の像を示す。レンズ位置調整機構は、例えば、レンズによる結像位置を調整するためのアクチュエータ及びアクチュエータの駆動量を制御する制御回路（コントローラ）である。なお、１枚又は複数枚のレンズの焦点が固定されている場合には、レンズ位置調整機構は不要である。また、ピンホールカメラのように、レンズを利用せずに光信号を結像させてもよい。
結像光学系２０１は光学系と呼んでもよい。
（撮像素子２０３）
図３は、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の構成の詳細の一例を示す。
撮像素子２０３は、複数のフォトダイオード２０３ａと、少なくとも１つのＡＤ変換部２０３ｂとを含んで構成される。
フォトダイオード２０３ａにより、結像光学系２０１が結像した光信号を受け付け、ＡＤ変換部２０３ｂにより、電気信号に変換する。電気信号は、画素毎の変調された画像である変調画像を示す。即ち、撮像素子２０３は、変調画像を撮像する。撮像素子２０３は、レンズの焦点距離の位置に配置される。
撮像素子２０３は光学系で集光された光を受光して、電気信号を出力する複数の画素を含む。画素は、フォトダイオード２０３ａに対応する。撮像素子２０３の複数のフォトダイオード２０３ａと複数の電気信号とは１対１に対応する。
（ランダムカラーフィルタアレイ２０２）
ランダムカラーフィルタアレイ２０２は、複数種類のカラーフィルタ２０２ａ〜２０２ｃと散乱部２０４とにより構成される。ランダムカラーフィルタアレイ２０２は、例えば、カラーフィルタ２０２ａ〜２０２ｃを複数個、略平面上の互いに異なる位置に配置してなるカラーフィルタの集合体と散乱部２０４とを備える。ランダムカラーフィルタアレイ２０２は、フォトダイオード２０３ａの前、つまり、結像光学系２０１から入射した光が撮像素子２０３に至る光路上（例えば入射光がフォトダイオード２０３ａの受光面に至る手前）に配置される。ランダムカラーフィルタアレイ２０２において複数種類のカラーフィルタ２０２ａ〜２０２ｃは、結像光学系２０１から入射した光がフォトダイオード２０３ａの受光面に至るまでの光路上に配置される。散乱部２０４は、結像光学系２０１とフォトダイオード２０３ａとの間に配置される。散乱部２０４は、複数種類のカラーフィルタ２０２ａ〜２０２ｃの前に配置、すなわち、カラーフィルタ２０２ａ〜２０２ｃは散乱部２０４と撮像素子２０３との間に配置されても、または、散乱部２０４は、カラーフィルタ２０２ａ〜２０２ｃの後であって撮像素子２０３の前に配置、すなわち、散乱部２０４はカラーフィルタ２０２ａ〜２０２ｃと撮像素子２０３との間に配置されてもよい。ここでは、複数種類のカラーフィルタ２０２ａ〜２０２ｃの前に配置、すなわち、カラーフィルタ２０２ａ〜２０２ｃが散乱部２０４と結像光学系２０１との間に配置される例を主に用いて説明する。
カラーフィルタ２０２ａと、カラーフィルタ２０２ｂと、カラーフィルタ２０２ｃとは互いに種類（つまり、光の波長と透過率との関係に係る波長特性）の異なるカラーフィルタである。一例としては、１つの種類のカラーフィルタ２０２ａは、主としてＲの波長帯域の光を透過するＲフィルタであり、別の１つの種類のカラーフィルタ２０２ｂは、主としてＧの波長帯域の光を透過するＧフィルタであり、また別の１つの種類のカラーフィルタ２０２ｃは、主としてＢの波長帯域の光を透過するＢフィルタである。
図３の例は、ランダムカラーフィルタアレイ２０２において、１つのフォトダイオード２０３ａに対応して、３種類のカラーフィルタ２０２ａ〜２０２ｃのうちの１つのカラーフィルタが配置されていること示している。各種類のカラーフィルタ２０２ａ〜２０２ｃの２次元平面上の配置（つまり２次元配列）は、例えばベイヤー配列（図１８参照）等であり得る。
ランダムカラーフィルタアレイ２０２は、撮像素子２０３の前面つまり受光面に接して配置されてもよいし、撮像素子２０３の前に、前面から間隔を空けて配置されてもよい。なお、後述するようにランダムカラーフィルタアレイ２０２におけるカラーフィルタ２０２ａ〜２０２ｃは、例えば、撮像素子２０３から間隔をあけて配置される。
ランダムカラーフィルタアレイ２０２は、撮像素子２０３に入射する光を特定の波長帯域でフィルタリングするために用いられる。ランダムカラーフィルタアレイ２０２を用いて撮像した画像を変調画像と呼ぶ。ランダムカラーフィルタアレイ２０２は、光が透過する任意の位置において、異なる光透過率と異なる点拡がり関数とを有している。ここで言う「位置」は、一定の面積を有する微小領域の位置を意味している。点拡がり関数とは、撮像システムにおける点光源の応答関数のことである。略平面形状の各カラーフィルタ２０２ａ〜２０２ｃを含むランダムカラーフィルタアレイ２０２が略平面形状であるとしてその平面上の各微小領域の位置毎に、光透過率及び点拡がり関数は相違し得る。言い換えると、ランダムカラーフィルタアレイ２０２の平面上の各微小領域の全ての位置で、光透過率及び点拡がり関数は同じではなく、かつ、ランダムカラーフィルタアレイ２０２の平面上の各微小領域の全ての位置のうち少なくとも２つの位置で、光透過率及び点拡がり関数は同じであっても良い。このような位置毎の光透過率及び点拡がり関数は、ランダムカラーフィルタアレイ２０２を構成する複数種類のカラーフィルタ２０２ａ〜２０２ｃの波長特性と、カラーフィルタ２０２ａ〜２０２ｃの位置と、後述するように散乱部２０４である第１の屈折率を有する物質（例えば樹脂、ガラス等）と、第１の屈折率と異なる第２の屈折率を有する物質の構成及び配置とによって決まり、変調情報と呼ぶ。各微小領域の面積は、例えば撮像素子２０３の各フォトダイオード２０３ａの受光面積と等しくてもよいし、その受光面積より小さくてもよい。なお、光透過率は透過する波長（波長帯域）によっても異なり得る。
複数のフォトダイオード２０３ａとランダムカラーフィルタアレイ２０２に係る上述の複数の微小領域の位置とは、１対１で対応してもよい。
ランダムカラーフィルタアレイ２０２の更なる詳細は後に説明する。
（送信回路１０３）
送信回路１０３は、撮像素子２０３が撮像した変調画像と、ランダムカラーフィルタアレイ２０２に対応して設定された変調情報とを、画像生成装置１２に送信する。変調情報は、位置毎の波長特性としての光透過率と点拡がり関数とを示す。送信は、有線通信及び無線通信のいずれで行われてもよい。
なお、本実施の形態では、撮像システム１０が、送信回路１０３及び受信回路１０４を備え、概ねリアルタイムで変調画像及び変調情報を送受信して処理を行うことが想定されている。しかしながら、撮像システム１０は、変調画像及び変調情報を保存する記憶装置（例えばハードディスクドライブ）を備え、非リアルタイムで処理を行ってもよい。
（画像生成装置１２）
再び図１を参照し、画像生成装置１２の受信回路１０４、カラー画像生成回路１０５及び出力インタフェース装置１０６をそれぞれ説明する。
（受信回路１０４）
受信回路１０４は、撮像装置１１から出力された変調画像と変調情報とを受け取る。受信回路１０４と送信回路１０３との間の通信は、有線通信でも無線通信でもよい。なお、送信回路１０３が変調画像及び変調情報を有線通信で送信したとしても、有線通信を無線通信に変換する機器を経由することにより、受信回路１０４がこれらの情報を無線で受信してもよい。その逆も同様である。
（カラー画像生成回路１０５）
カラー画像生成回路１０５は、受信回路１０４が受信した変調画像及び変調情報を利用してカラー画像を生成する。カラー画像を生成する処理（カラー画像生成処理）の詳細については後述する。カラー画像生成回路１０５は、生成されたカラー画像を出力インタフェース装置１０６に送る。
（出力インタフェース装置１０６）
出力インタフェース装置１０６は、映像出力端子等である。出力インタフェース装置１０６は、カラー画像を、デジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。
（ランダムカラーフィルタアレイ２０２の詳細）
次に、図４〜図７Ａを参照しながら、ランダムカラーフィルタアレイ２０２をより詳細に説明する。
図４は、ランダムカラーフィルタアレイ２０２を含む撮像システム１０の模式図である。
上述したように、ランダムカラーフィルタアレイ２０２は、位置に応じて、かつ、波長帯域に応じて、異なり得る光透過率及び点拡がり関数を有している。つまり、複数の波長帯域の光が透過する任意の複数の位置それぞれでは、各波長帯域の光透過率と点拡がり関数との組み合わせが互いに異なっている。このような光学特性を実現するために、本実施の形態のランダムカラーフィルタアレイ２０２は、光の波長帯域に応じた光透過率の互いに異なる複数種類のカラーフィルタ２０２ａ〜２０２ｃと散乱部２０４とを有している。また、ランダムカラーフィルタアレイ２０２において各位置に配置されたカラーフィルタの種類は相違し得る。即ち、互いに近傍の複数のフォトダイオード２０３ａに対応する位置毎に互いに異なる種類のカラーフィルタが配置され得る。言い換えると、複数のフォトダイオード２０３ａに対応するランダムカラーフィルタアレイ２０２の複数の位置の全ておいてカラーフィルタの種類が同じでなく、ランダムカラーフィルタアレイ２０２の複数の位置のうち少なくとも２つの位置で、カラーフィルタの種類が同じであっても良い。カラーフィルタ２０２ａ〜２０２ｃは、従来のベイヤー配列（図１８参照）のように規則的に配置してもよく、ランダムに配置してもよい。なお、撮像素子２０３における各フォトダイオード２０３ａの前方から見て、各カラーフィルタは、相互に一部重なり合ってもよいが、図４の例のように、相互に重ならないことで、フォトダイオード２０３ａが受光する光量の低減が抑制され得る。
なお、図４では、ランダムカラーフィルタアレイ２０２が３種類のカラーフィルタ２０２ａ〜２０２ｃを含み、１つのカラーフィルタが１つのフォトダイオード２０３ａに対応する例を記載しているが、これは一例に過ぎず、カラーフィルタの種類数は３に限られず、１つのフォトダイオード２０３ａに対応して配置されるカラーフィルタの数も１に限られない。
図５は、３種類のカラーフィルタ２０２ａ〜２０２ｃの各波長特性としての光透過率を示す図である。同図において、フィルタ１は、カラーフィルタ２０２ａであり、フィルタ２は、カラーフィルタ２０２ｂであり、フィルタ３は、カラーフィルタ２０２ｃである。
フィルタの波長特性は、フィルタに入射した光が、波長に応じて、どの程度、反射、透過及び吸収されるかを示す。反射光、透過光及び吸収光の総和は入射光に等しい。透過光と入射光との比率は、「透過率」と呼ばれる。この透過率を、光透過率とも称する。吸収光と入射光との比率は「吸収率」と呼ばれる。吸収率は、入射光の光量から反射光の光量と透過光の光量とを減算し、さらに入射光の光量で除算することでも求められる。図５では、各フィルタにおける光透過率と光の波長との関係を示している。
図６及び図７Ａは、３種類のカラーフィルタ２０２ａ〜２０２ｃで構成したランダムカラーフィルタアレイ２０２の模式図である。図６は、ランダムカラーフィルタアレイ２０２の各カラーフィルタ、及び、撮像素子２０３の各フォトダイオード２０３ａの２次元平面上の配置を示す。この２次元平面は、例えば撮像素子２０３の受光面に平行な平面である。図６では、カラーフィルタ２０２ａ、２０２ｂ及び２０２ｃをそれぞれ、Ｒ、Ｇ、Ｂで表しており、カラーフィルタ２０２ａ〜２０２ｃが、ランダムに配置された例を示している。ランダムな配置としては、乱数系列を利用して作成してもかまわないし、繰り返しならないパターンを事前に用意し、これを利用して作成してもかまわない。図７Ａは、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の断面を示す。
散乱部２０４は、第１の屈折率を有する物質（例えば樹脂、ガラス等）と、第１の屈折率と異なる第２の屈折率を有する物質（例えば酸化物等）とを有する。
より具体的な一例としては、散乱部２０４は、樹脂層と、樹脂層の内部に位置する複数の粒子２０４ａとを有する。この樹脂層を構成する樹脂は例えば第１の屈折率を有し、この粒子を構成する物質は例えば第２の屈折率を有する。例えば、第２の屈折率は、第１の屈折率と０．４以上異なればよい。樹脂の材料は、第２の屈折率と異なる屈折率を有する材料であればよい。例えば、樹脂の材料は、アクリレート樹脂、エポキシ樹脂、及びメタクリレート樹脂からなる群から選択される少なくとも１つの樹脂であってもよい。樹脂層の内部に位置する粒子の材料は、第１の屈折率と異なる屈折率を有する材料であればよく、例えば、ＴｉＯ２、ＳｉＮ、ＺｒＯ２、ＺｎＯ、及びＴａ２Ｏ５からなる群から選択される少なくとも１つであってもよい。例えば、第２の屈折率は、１．９以上である。また、その粒子の粒径（つまり平均粒子径）は、例えば５００ｎｍ以上１０００ｎｍ以下である。なお、可視光帯域の光を屈折により散乱させるためには、可視光の波長と同等のサイズを有する必要があり、このため、粒径が５００ｎｍ以上１０００ｎｍ以下であることが有用となる。なお、平均粒子径は、レーザ回折及び散乱法を用いて測定される。具体的には、材料にレーザ光を照射し、材料からの回折及び散乱光の強度分布を測定する。回折又は散乱光の強度分布を用いて、平均粒子径を求める。より具体的には、ＪＩＳ（日本工業規格）８８１９−２で規定される粒子径分布からの平均粒子径の計算により測定される。散乱部２０４において複数の粒子２０４ａは、例えばランダムな配置で樹脂層中に散在する。ランダムな配置とは、均一の粒子径の粒子を均一の間隔で配置するのではなく、複数の粒子２０４ａの粒子径を異なせる、かつ／または複数の粒子２０４ａの間隔が均一でないように複数の粒子２０４ａを配置することである。複数の粒子２０４ａの樹脂層中でのランダムな配置は、事前にランダムになるように設定した粒子径の粒子を、ランダムな位置に配置することで実現してもかまわない。複数の粒子２０４ａの樹脂層中でのランダムな配置は、異なる粒子径を有する粒子を場所ごとに密度を変えて配置することで実現してもかまわない。また、複数の粒子２０４ａの樹脂層中でのランダムな配置は、屈折率の異なる物質を塗布した複数の粒子２０４ａを用いても実現できる。さらに、複数の粒子２０４ａの樹脂層中でのランダムな配置は、粒子径を均一にする作業を特別に実施しない複数の粒子２０４ａを用いても実現できる。
図７Ａに示すように、３種類のカラーフィルタ２０２ａ〜２０２ｃは、撮像素子２０３から間隔をあけて配置されており、結像光学系２０１を透過した光が散乱部２０４で散乱され、３種類のカラーフィルタ２０２ａ〜２０２ｃを透過し、複数のフォトダイオード２０３ａで受光される。散乱部２０４での光の散乱により、１つのカラーフィルタを透過した各光を複数のフォトダイオード２０３ａが受光し得るし、複数のカラーフィルタそれぞれを透過した各光を１つのフォトダイオード２０３ａが受光し得る。
図８は、従来のカラー撮像装置におけるベイヤー配列のカラーフィルタアレイ２０６の模式図である。本実施の形態に係るランダムカラーフィルタアレイ２０２（図７Ａ参照）と対比して、従来のカラーフィルタアレイ２０６は、散乱部２０４を有しない。また、従来のカラーフィルタアレイ２０６では、カラーフィルタ間のクロストークを防止するため、カラーフィルタアレイ２０６を構成する各カラーフィルタ（カラーフィルタ２０２ａ等）と撮像素子２０３との間隔は狭くなっている。結像光学系により１つのカラーフィルタを透過した光が撮像素子２０３における１つのフォトダイオードの受光可能領域に集光される。つまり、図８において、実線で示した各光は概ね、１つの配置位置のカラーフィルタ２０２ａのみを透過し、撮像素子２０３においてそのカラーフィルタ２０２ａの配置位置（つまり図８で左端の配置位置）に対応した配置位置（つまり図８で左端の配置位置）の１つのフォトダイオード２０３ａのみに受光される。同様に、点線で示した各光は概ね、１つの配置位置（つまり図８で中央の配置位置）のカラーフィルタ２０２ｂのみを透過し、対応する配置位置（つまり図８で中央の配置位置）の１つのフォトダイオード２０３ａのみに受光され、破線で示した各光は概ね、１つの配置位置（つまり図８で右端の配置位置）のカラーフィルタ２０２ａのみを透過し、対応する配置位置（つまり図８で右端の配置位置）の１つのフォトダイオード２０３ａのみに受光される。
図７Ａに示した本実施の形態に係るランダムカラーフィルタアレイ２０２では、例えば、実線で示す光３２２は、図８の実線で示した光の例と同様に、図７Ａで左端の配置位置のカラーフィルタ２０２ａを透過して、図７Ａで左端の配置位置のフォトダイオード２０３ａに受光されるが、実線で示す光３２１は、粒子２０４ａ等を含む散乱部２０４での屈折で散乱し、図７Ａで左端の配置位置のカラーフィルタ２０２ａを透過して、図８の実線で示した光の例とは異なって、図７Ａで中央の配置位置のフォトダイオード２０３ａに受光される。
また、図７Ａで、点線で示す光３２３は、粒子２０４ａ等を含む散乱部２０４での屈折で散乱し、図７Ａで中央の配置位置のカラーフィルタ２０２ｂを透過して、図８の点線で示した光の例とは異なって、図７Ａで左端の配置位置のフォトダイオード２０３ａに受光される。
また、図７Ａで、破線で示す光３２４は、粒子２０４ａ等を含む散乱部２０４での屈折で散乱し、図８の破線で示した光の例とは異なって、図７Ａで中央の配置位置のカラーフィルタ２０２ｂを透過して、図７Ａで左端の配置位置のフォトダイオード２０３ａに受光される。
このように、本実施の形態のランダムカラーフィルタアレイ２０２は、粒子２０４ａ等を含む散乱部２０４を有することにより、複数の位置の異なるカラーフィルタを透過した光を１つのフォトダイオード２０３ａに受光させ、また、同一の位置のカラーフィルタを透過した光を複数のフォトダイオード２０３ａに受光させる。つまり、ランダムカラーフィルタアレイ２０２は、位置及び光の波長に応じて異なる光透過率と点拡がり関数とを有するので、空間的にも、波長的にもランダムなサンプリングを実現可能にする。
なお、図７Ａでは、ランダムカラーフィルタアレイ２０２において散乱部２０４の粒子２０４ａは、結像光学系２０１とカラーフィルタ２０２ａ〜２０２ｃとの間に配置した例を示したが、カラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間にも更に配置してもよいし、カラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間に配置することとしてもよい。
以上のように、本実施の形態に係る撮像システム１０では、ランダムカラーフィルタアレイ２０２は、カラーフィルタ２０２ａ〜２０２ｃと撮像素子２０３との間に、散乱部２０４における溶媒（例えば樹脂等）とは異なる屈折率を有する粒子２０４ａを有することで、位置及び光の波長に応じて異なる光透過率と点拡がり関数とを有し、ランダムな（つまりランダムサンプリングを可能とする）光学フィルタアレイを実現している。なお、例えば、図６に示すように、ランダムカラーフィルタアレイ２０２における、２次元平面上に２次元配列をなす各位置に３種類のカラーフィルタ２０２ａ〜２０２ｃのうちいずれか１つがランダムに選択されて配置されていれば、ランダムに配置されていない場合に比べて、ランダムさが向上し得る。
なお、上述したように、散乱部２０４は、カラーフィルタ２０２ａ〜２０２ｃの後であって撮像素子２０３の前に配置、すなわち、散乱部２０４はカラーフィルタ２０２ａ〜２０２ｃと撮像素子２０３との間に配置されてもよい。この一例を図７Ｂに示す。
以上の説明では、ランダムカラーフィルタアレイ２０２を構成するフィルタは３種類のカラーフィルタ２０２ａ〜２０２ｃとしたが、フィルタを４種類以上にしてもよく、互いに波長特性として光透過率の異なる光学フィルタとして機能するものであれば、必ずしもカラーフィルタでなくてもよい。以下、上述のランダムカラーフィルタアレイ２０２として、４種類のフィルタを利用する形態について、説明する。
図９は、４種類のフィルタの各波長特性としての光透過率を示す。また、図１０は、４種類のフィルタで構成したランダムカラーフィルタアレイ２０２の各フィルタ、及び、撮像素子２０３の各フォトダイオード２０３ａの２次元平面上の配置を示す。図９において、フィルタ１〜３は、カラーフィルタ２０２ａ〜２０２ｃであり、フィルタ４は、全域を透過するフィルタである。図１０においてこのフィルタ４としてのカラーフィルタ２０２ｄをＷで表している。ここでは、ランダムカラーフィルタアレイ２０２における、この全域を透過するフィルタを、便宜上カラーフィルタと称する。このフィルタ４（つまりカラーフィルタ２０２ｄ）は、ランダムカラーフィルタアレイを生成する際、フィルタとしての部材を入れないことで実現可能である。このように部材を入れない部分を設けることで、全域を透過するフィルタを、ランダムカラーフィルタアレイ２０２に含ませると、コストを抑えることができる。また、フィルタの種類を増やすことで、ランダムカラーフィルタアレイ２０２のランダムさを向上させることができる。ランダムカラーフィルタアレイ２０２のランダムさが上がると、後述するように、カラー画像生成回路１０５が生成するカラー画像の画質が向上する。
上述の実施の形態で、ランダムカラーフィルタアレイ２０２を構成する３種類のカラーフィルタ２０２ａ〜２０２ｃは、それぞれ、Ｒ（赤）フィルタ、Ｇ（緑）フィルタ、Ｂ（青）フィルタであることとしたが、フィルタ特性は、これに限らない。例えば、ランダムカラーフィルタアレイ２０２において、Ｒフィルタ、Ｇフィルタ或いはＢフィルタという原色フィルタに比べて透過帯域の広い補色フィルタ（例えばマゼンタ、シアン、黄色のフィルタ）を利用することとしてもよい。
図１１は、３種類の補色フィルタの各波長特性としての光透過率を示す図である。同図において、フィルタ１は、例えばマゼンタのフィルタであり、フィルタ２は、例えばシアンのフィルタであり、フィルタ３は、例えば黄色のフィルタである。
このような補色フィルタを利用することで、透過帯域が広がるため、ノイズを低減した画像を取得することができる。
もちろん、ランダムカラーフィルタアレイ２０２を構成するフィルタとして、Ｒ、Ｇ、Ｂのカラーフィルタつまり原色フィルタと、波長帯域の全域を透過するフィルタと、補色フィルタとを組み合わせるようにしてもよい。例えば、図９と図１１とで示した各フィルタを組み合わせてランダムカラーフィルタアレイ２０２を構成してもよい。この場合には、ランダムカラーフィルタアレイ２０２は、７種類のフィルタの組み合わせ及び散乱部２０４を有することで、ランダムさが向上し得る。
同様に、図５と図１１とで示した各フィルタを組み合わせ、６種類のフィルタの組み合わせ及び散乱部２０４を有するランダムカラーフィルタアレイ２０２を構成してもよい。この場合には、ランダムカラーフィルタアレイ２０２は、６種類のフィルタの組み合わせ及び散乱部２０４を有することで、ランダムさが向上し得る。
（画像生成装置１２の処理）
次に、図１２に即して画像生成装置１２（図１参照）における処理について説明する。
図１２は、画像生成装置１２の主要な処理の手順を示すフローチャートである。
画像生成装置１２の受信回路１０４は、撮像装置１１の送信回路１０３が送信した変調画像と変調情報とを受信する（ステップＳ１０１）。
次に、カラー画像生成回路１０５は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、カラー画像を生成する（ステップＳ１０２）。
次に、出力インタフェース装置１０６は、カラー画像生成回路１０５が生成したカラー画像を、ディスプレイに表示したり人検出等の画像処理に利用したりするために出力する（ステップＳ１０３）。
（カラー画像生成処理）
以下、ステップＳ１０２でのカラー画像生成回路１０５によるカラー画像生成処理について、より詳しく説明する。
カラー画像生成処理は、撮像された変調画像をｙ、生成されるカラーＲＧＢ画像である生成画像をｘとした場合、以下のように定式化できる。
ここで、行列Ａは、変調情報を示すサンプリング行列である。サンプリング行列Ａは、変調画像ｙと、生成画像ｘとの関係を示している。例えば、画素数がＮである場合、変調画像ｙはＮ行１列の行列で表現され、生成画像ｘは３Ｎ行１列の行列で表現され、サンプリング行列ＡはＮ行３Ｎ列の行列で表現される。
以下、サンプリング行列Ａの取得方法を説明する。
サンプリング行列Ａは、位置毎にかつ波長帯域に応じて異なる光透過率と点拡がり関数とを示す。そこで、例えば、被写体として撮像素子２０３が撮像する視野の全てを覆うようなモニタを配置し、モニタ上に赤、緑及び青のドット画像を順番に表示しながら撮影することで、サンプリング行列Ａを取得することができる。
次に、カラー画像生成回路１０５においてサンプリング行列Ａ及び変調画像ｙから生成画像ｘを取得する方法を説明する。説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６である場合について説明する。
図１３は、撮像素子２０３の画素数がＮ＝１６である場合の変調画像ｙとこの変調画像ｙに基づいて生成される生成画像（カラーＲＧＢ画像）ｘのＲ画像ｒ、Ｇ画像ｇ、Ｂ画像ｂを示す模式図である。この図において、（ａ）は変調画像ｙ、（ｂ）は変調画像ｙに基づいて生成されたカラーＲＧＢ画像の赤（Ｒ）チャネルであるＲ画像ｒ、（ｃ）は変調画像ｙに基づいて生成されたカラー画像の緑（Ｇ）チャネルであるＧ画像ｇ、（ｄ）は変調画像ｙに基づいて生成されたカラー画像の青（Ｂ）チャネルであるＢ画像ｂを示している。変調画像ｙと生成画像ｘとは、次式で表される。
この式２から明らかなように、式１において、未知数であるｘの要素数が４８であり、観測数であるｙの要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式１は、不良設定問題となっている。
撮像システム１０は、この不良設定問題を解くために、圧縮センシング技術を利用する。圧縮センシング技術とは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータを利用して復元処理を行うことで元の信号を復号（復元）する技術である。圧縮センシング処理では、不良設定問題を解くために、事前知識が利用される。
自然画像に対する事前知識として、画像上の近傍位置間における輝度変化の絶対値和であるトータル・バリエーション（Total Variation）（例えば、非特許文献１及び非特許文献２）が利用されてもよい。また、ウェーブレット（Wavelet）変換、ＤＣＴ変換、カーブレット（Curvelet）変換等の線形変換において多くの係数が０になるというスパース性（例えば、非特許文献３）が利用されてもよい。また、上述の線形変換の変換係数を学習によって取得するディクショナリ・ラーニング（Dictionary Learning）（例えば、非特許文献４）等が利用されてもよい。
ここでは、トータル・バリエーションの一種に分類される手法である、デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）について説明する。この手法は、カラー画像の輝度成分と色差成分の勾配とを分離して計算することにより、偽色と呼ばれるアーチファクトの発生を抑制する。これは、以下の評価関数を最小化することで実現される。
この評価関数は、以下の３つの項から成り立っている。
１．データフィデリティ（Data Fidelity）項：｜｜Ａｘ−ｙ｜｜２ ２：式１を満たすための拘束項。
２．ダイナミックレンジ（Dynamic Range）項：最小値ｍｉｎを演算するためのｘの範囲（［０，２５５］３×Ｎ）：画素値が０以上２５５以下であるための拘束項。
３．デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）項：Ｊ（ｘ）：カラー画像の輝度成分と色差成分との勾配を分離したトータル・バリエーション（Total Variation）項。
ここで、｜｜Ａｘ−ｙ｜｜２ ２は、Ａｘ−ｙの２乗和（Ｌ２ノルムの２乗）を示す。また、Ｊ（ｘ）は、画像全体における輝度成分及び色差成分に関する近傍画素間の差分に対応し、以下の式４〜式８で表現される。なお、式４〜式８において、Ｒは実数、Ｒ＋は非負の実数を示す。
図１４は、本実施の形態におけるカラー画像生成回路１０５が生成したカラー画像を基にした画像の一例を示す。図１４において、（ａ）は３板式カメラで撮像した正解画像（正解カラー画像）を基にした画像を示す。（ｂ）は一般的なデモザイキング手法であって特許文献１に記載のＡＣＰＩ（Adaptive Color Plane Interpolation）法によるデモザイキング画像を基にした画像を示す。（ｃ）は本実施の形態におけるカラー画像生成回路１０５により、デ・コリレイテッド・ベクトリアル・トータル・バリエーションを用いて、生成した生成カラー画像（復元画像）を基にした画像を示している。本願発明者らは実際にカラー画像を生成し比較したが、図１４では、各画像が、その画像の輝度値（つまり色毎の係数を乗じてＲ、Ｇ及びＢの各成分値を加算することで算定した輝度値）に応じた濃淡により図示されている。また、図１４では、それぞれのカラー画像に対するＲＳＮＲ（Peak Signal-to-Noise Ratio）も示している。
図１４に示すように、本実施の形態の生成カラー画像（復元画像）は、ＡＣＰＩ法によるカラー画像よりもＰＳＮＲが１ｄＢ以上向上しており、正解画像に最も近いと言える。
また、圧縮センシングでは、サンプリング行列Ａのランダムさ（ランダム性）が上がれば上がるほど、復元画像の画質が向上することが知られている。本実施の形態のランダムカラーフィルタアレイ２０２は、散乱部２０４を有することでサンプリング行列Ａのランダムさを上げており、これにより復元画像の画質が向上し得る。
上述したランダムカラーフィルタアレイ２０２を利用して撮像を行う撮像システム１０によれば、圧縮センシング技術によってカラー画像生成処理が行われることにより、アーチファクトが低減された、高精細のカラー画像を取得することができる。
（実施の形態２）
図１５は、本実施の形態に係る撮像システム１０の構成を示す。本実施の形態に係る撮像システム１０の構成要素のうち、実施の形態１で示した撮像システム１０と同じ構成要素については、図１５において図１と同一の符号を付しており、ここでは説明を適宜省略する。本実施の形態に係る撮像システム１０は、画像生成装置１２において、実施の形態１で示したカラー画像生成回路１０５の代わりに、マルチバンド画像生成回路１０７を備える。この撮像システム１０は、３原色のＲＧＢカラー画像に限られないマルチバンド画像を生成し得る。マルチバンド画像は、光の波長帯域を４以上の領域に分割した信号で表現する画像である。その波長帯域は可視光に限られず、近赤外、赤外、紫外等の波長帯域であってもよく、マルチバンド画像は、例えば近赤外光画像、赤外光画像、紫外光画像等であり得る。
マルチバンド画像生成回路１０７は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、マルチバンド画像を生成する。マルチバンド画像生成回路１０７は、生成されたマルチバンド画像を出力インタフェース装置１０６に送る。
本実施の形態に係る出力インタフェース装置１０６は、マルチバンド画像を、デジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。出力インタフェース装置１０６は、明るいシーンでは可視光のカラー画像を出力し、暗いシーンでは近赤外光画像を出力するよう、出力画像を切り替えるようにしてもよい。
また、本実施の形態に係る撮像システム１０の波長変調部１０１（図１５参照）におけるランダムカラーフィルタアレイ２０２は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ等のカラーフィルタの他に、例えば主として近赤外光を透過するフィルタ等を含む複数種類の光学フィルタの配列として構成されるランダム光学フィルタアレイであることとしてもよい。例えば、マルチバンド画像として近赤外光画像を取得する場合において、ランダム光学フィルタアレイには、近赤外光を透過するフィルタを含ませ得る。
以下、図１６に即して本実施の形態に係る画像生成装置１２（図１５参照）における処理について説明する。
図１６は、本実施の形態における画像生成装置１２の主要な処理の手順を示すフローチャートである。同図において、図１２と同じ要素には、同一の符号を付している。
画像生成装置１２の受信回路１０４は、送信回路１０３が送信した変調画像と変調情報を受信する（ステップＳ１０１）。
次にマルチバンド画像生成回路１０７は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、マルチバンド画像を生成するマルチバンド画像生成処理を行う（ステップＳ１０４）。
次に、出力インタフェース装置１０６は、マルチバンド画像生成回路１０７が生成したマルチバンド画像を、ディスプレイに表示したり人検出等の画像処理に利用したりするために出力する（ステップＳ１０５）。
（マルチバンド画像生成処理）
以下、ステップＳ１０４でのマルチバンド画像生成処理について、より詳しく説明する。
マルチバンド画像の生成処理は、撮像された変調画像をｙ’、生成されるＭバンドのマルチバンド画像をｘ’とした場合（Ｍは４以上の整数）、以下のように定式化できる。
ここで、行列Ａは、変調情報を示すサンプリング行列である。
説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６（図１３参照）であるとすると、この変調画像ｙ’と、この変調画像ｙ’に基づいて生成されるマルチバンド画像である生成画像ｘ’とは、次式で表される。生成画像ｘ’を、Ｍ個のチャネルそれぞれの画像に分けて表すと図１７に示すようになる。
この式１０から明らかなように、式９において未知数であるｘ’の要素数が１６Ｍであり、観測数であるｙ’の要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式９は、不良設定問題となっている。しかし、実施の形態１で示したように、圧縮センシング技術を利用することでこの不良設定問題を解くことができる。本実施の形態の撮像によりマルチバンド画像を生成する撮像システム１０についても、実施の形態１で示した各種技術を適用し得る。
以上のように、本実施の形態の撮像システム１０は、ランダムカラーフィルタアレイ２０２或いはランダム光学フィルタアレイを利用して撮像を行い、圧縮センシング技術によってマルチバンド画像生成処理を行うことにより、アーチファクトを低減し、高精細のマルチバンド画像を取得することができる。
（他の実施の形態）
以上のように、本開示に係る技術の例示として実施の形態１、２を説明した。しかしながら、本開示に係る技術は、これらの実施の形態に限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。即ち、本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施した形態、互いに異なる実施の形態における構成要素を組み合わせて構築される形態等は、本開示に係る技術の一実施態様に含まれる。例えば、以下のような変形例も本開示に係る技術の一実施態様に含まれる。
上記実施の形態では、撮像システム１０が撮像装置１１と画像生成装置１２とを備える例を示したが、本開示に係る画像生成装置は、上述した撮像装置１１を包含したものであってもよく、つまり、上述した撮像システム１０で構成されてもよい。
上記実施の形態では、カラー画像或いはマルチバンド画像を生成する撮像システム１０を示したが、撮像システム１０は、光の任意の波長帯域を２つ以上の領域に分割した信号で表現する画像を生成することとしてもよく、例えば、撮像システム１０が、赤外光領域を３つの領域に分割した信号で表現する画像を生成することとしてもよい。
また、上述した結像光学系２０１は、結像のためにレンズを用いるものに限られず、例えば反射鏡等を用いるものであってもよい。
また、上記実施の形態で示した散乱部２０４を含むランダムカラーフィルタアレイ２０２或いはランダム光学フィルタアレイに含まれる各光学フィルタの、撮像素子２０３の受光面に並行な２次元平面上でのサイズは、撮像素子２０３におけるフォトダイオード２０３ａのサイズより小さくてもよく、例えば複数種類の光学フィルタ（例えば３種類のカラーフィルタ２０２ａ〜２０２ｃ）からランダムに選択された複数（例えば６個等）の光学フィルタそれぞれが相互に異なる位置において１つのフォトダイオード２０３ａに重なるように配置されてもよい。
また、上記実施の形態では、散乱部２０４の一例として、第１の屈折率を有する樹脂で構成される樹脂層と、樹脂層の内部に位置し、第２の屈折率を有する物質で構成される複数の粒子２０４ａとを有する散乱部２０４を示した。しかしこれは一例に過ぎず、散乱部２０４は、略平面形状のランダム光学フィルタアレイ（例えばランダムカラーフィルタアレイ２０２）におけるその２次元平面上の位置に応じて光をランダムに散乱するものであればよく、例えば、第１の屈折率を有する材料で構成される第１の層と、第１の屈折率と異なる第２の屈折率を有する材料で構成される第２の層とが積層されてなる構造体を含むものであることとしてもよい。
また、上記実施の形態で示した散乱部２０４は、複数種類の光学フィルタとフォトダイオード２０３ａとの間、又は複数種類の光学フィルタの前に位置することとしたが、例えば散乱部２０４が、複数種類の光学フィルタとフォトダイオード２０３ａとの間にも複数種類の光学フィルタの前に位置するように、つまり、複数種類の光学フィルタを内包するように、配置されていてもよい。
また、上記の実施の形態で示した撮像システム１０の各構成要素（特に、各回路等）は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェア（プログラム）を実行することによって実現されてもよい。各構成要素は、マイクロプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記憶媒体（或いは記録媒体）に記録されたプログラムを読み出して実行することによって、実現されてもよい。
また、撮像装置１１に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。同様に、画像生成装置１２に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。また、例えば、上記実施の形態における特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、上記実施の形態における各種処理の実行順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
以上説明したように本開示に係る画像生成装置は、複数種類の光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ、或いは、補色フィルタ、可視光以外を主として透過するフィルタ等）と散乱部２０４とを有するランダム光学フィルタアレイ（例えばランダムカラーフィルタアレイ２０２）と、ランダム光学フィルタアレイを透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂと、そのデジタルデータとランダム光学フィルタアレイの変調情報とを用いて画像を生成する生成回路（例えばカラー画像生成回路１０５、マルチバンド画像生成回路１０７等）とを備え、散乱部２０４は、複数種類の光学フィルタとフォトダイオード２０３ａとの間、又は複数種類の光学フィルタの前（例えば結像光学系２０１を通過した光が光学フィルタに至るまでの光路上）に位置し、散乱部２０４は、第１の屈折率を有する材料と、第１の屈折率と異なる第２の屈折率を有する材料とを含む。これにより、散乱部２０４での光の散乱により、波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタのいくつかを透過した光を受光する、各画素としてのフォトダイオード２０３ａが、十分な情報を取得することができるので、解像度の低下が抑制され、適切な画像が生成され得る。
また、例えば、光学フィルタは、カラーフィルタ２０２ａ〜２０２ｃであり、ランダム光学フィルタアレイは、ランダムカラーフィルタアレイ２０２であり、生成回路は、カラー画像生成回路１０５であることとしてもよい。
また、例えば、散乱部２０４は、第１の屈折率を有する材料で構成される第１の層（例えば樹脂層）と、第１の層に散在する第２の屈折率を有する材料を含む粒子２０４ａとを有することとしてもよい。
また、例えば、第２の屈折率は１．９以上あることとしてもよい。
また、例えば、粒子２０４ａは、ＳｉＮ、ＴｉＯ２、ＺｒＯ２、ＺｎＯ又はＴａ２Ｏ５で構成されることとしてもよい。
また、例えば、粒子２０４ａの粒径は、５００ｎｍ以上１０００ｎｍ以下であることとしてもよい。
また、例えば、散乱部２０４は、第１の屈折率を有する材料で構成される第１の層と、第２の屈折率を有する材料で構成される第２の層とを含み、略平面形状のランダム光学フィルタアレイの厚み方向（つまりその平面に直交する方向）に、第１の層と第２の層とは積層されることとしてもよい。
また、例えば、生成回路は、マルチバンド画像生成回路１０７であることとしてもよい。
また、例えば、生成回路（例えばカラー画像生成回路１０５、マルチバンド画像生成回路１０７等）は、圧縮センシング技術を用いて画像を生成することとしてもよい。
また、本開示に係る撮像装置は、複数種類の光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ等）と散乱部２０４とを有するランダム光学フィルタアレイ（例えばランダムカラーフィルタアレイ２０２）と、ランダム光学フィルタアレイを透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂとを備え、散乱部２０４は、複数種類の光学フィルタとフォトダイオード２０３ａとの間、又は複数種類の光学フィルタの前に位置し、散乱部２０４は、第１の屈折率を有する材料と、第１の屈折率と異なる第２の屈折率を有する材料とを含む。これにより、散乱部２０４での光の散乱により、波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタのいくつかを透過した光を受光し得るので、各画素としてのフォトダイオード２０３ａが、十分な情報を取得し得る。
本開示に係る撮像システムは、各種カメラに適用可能である。
１０ 撮像システム
１１ 撮像装置
１２ 画像生成装置
１０１ 波長変調部
１０２ 変調画像取得部
１０３ 送信回路
１０４ 受信回路
１０５ カラー画像生成回路
１０６ 出力Ｉ／Ｆ（インタフェース）装置
１０７ マルチバンド画像生成回路
２０１ 結像光学系
２０２ ランダムカラーフィルタアレイ
２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ カラーフィルタ
２０３ 撮像素子
２０３ａ フォトダイオード
２０３ｂ ＡＤ変換部
２０４ 散乱部
２０４ａ 粒子

Claims (10)

  1. 複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、
    前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、
    前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、
    前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、
    前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置し、
    前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む
    画像生成装置。
  2. 前記光学フィルタは、カラーフィルタであり、
    前記ランダム光学フィルタアレイは、ランダムカラーフィルタアレイであり、
    前記生成回路が生成する前記画像は、カラー画像である
    請求項１に記載の画像生成装置。
  3. 前記散乱部は、前記第１の屈折率を有する材料で構成される第１の層と、前記第１の層に散在する前記第２の屈折率を有する材料を含む粒子とを有する
    請求項１又は２に記載の画像生成装置。
  4. 前記第２の屈折率は１．９以上である
    請求項３に記載の画像生成装置。
  5. 前記粒子は、ＳｉＮ、ＴｉＯ２、ＺｒＯ２、ＺｎＯ又はＴａ２Ｏ５で構成される
    請求項３に記載の画像生成装置。
  6. 前記粒子の粒径は、５００ｎｍ以上１０００ｎｍ以下である
    請求項３〜５のいずれか一項に記載の画像生成装置。
  7. 前記散乱部は、前記第１の屈折率を有する材料で構成される第１の層と、前記第２の屈折率を有する材料で構成される第２の層とを含み、
    前記ランダム光学フィルタアレイの厚み方向に、前記第１の層と前記第２の層は、積層される
    請求項１又は２に記載の画像生成装置。
  8. 前記生成回路が生成する前記画像は、マルチバンド画像である
    請求項１に記載の画像生成装置。
  9. 前記生成回路は、圧縮センシング技術を用いて前記画像を生成する
    請求項１〜８のいずれか一項に記載の画像生成装置。
  10. 複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、
    前記ランダム光学フィルタアレイを透過した光を受光する複数のフォトダイオードと、
    前記複数のフォトダイオードのそれぞれで受光した光をデジタルデータに変換するＡＤ変換部とを備え、
    前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置し、
    前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む
    撮像装置。
JP2017215152A 2016-12-27 2017-11-08 画像生成装置及び撮像装置 Active JP6975897B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016254420 2016-12-27
JP2016254420 2016-12-27

Publications (2)

Publication Number Publication Date
JP2018107794A true JP2018107794A (ja) 2018-07-05
JP6975897B2 JP6975897B2 (ja) 2021-12-01

Family

ID=62630640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017215152A Active JP6975897B2 (ja) 2016-12-27 2017-11-08 画像生成装置及び撮像装置

Country Status (3)

Country Link
US (1) US10212401B2 (ja)
JP (1) JP6975897B2 (ja)
CN (2) CN108243331A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020045443A1 (ja) * 2018-08-30 2021-09-02 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
WO2022162801A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2022162800A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2022239326A1 (ja) * 2021-05-12 2022-11-17 ソニーグループ株式会社 撮像装置、および撮像装置の作動方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210199503A1 (en) * 2019-12-26 2021-07-01 Industrial Technology Research Institute Data processing system disposed on sensor and method thereof
JP7309640B2 (ja) * 2020-03-18 2023-07-18 株式会社東芝 光学検査装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09168157A (ja) * 1995-12-18 1997-06-24 Olympus Optical Co Ltd カラー画像撮像装置及びカラー画像撮像素子
JP2013511924A (ja) * 2009-11-20 2013-04-04 シン，ムリトゥンジェイ 圧縮カラー画像サンプリングおよび再構成のための方法およびシステム
JP2016118710A (ja) * 2014-12-22 2016-06-30 大日本印刷株式会社 カラーフィルタ及び電子ペーパー
JP2016178148A (ja) * 2015-03-19 2016-10-06 三菱電機株式会社 光電変換素子およびその製造方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
JP4311808B2 (ja) 1999-04-15 2009-08-12 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4279403B2 (ja) 1999-06-15 2009-06-17 富士フイルム株式会社 固体撮像装置およびその装置の製造方法
US8187726B2 (en) * 2005-08-09 2012-05-29 Sony Corporation Nanoparticle-resin composite material, light emitting device assembly, and filling material for the light-emitting device assembly
JP2007103401A (ja) * 2005-09-30 2007-04-19 Matsushita Electric Ind Co Ltd 撮像装置及び画像処理装置
JP5010533B2 (ja) * 2008-05-21 2012-08-29 株式会社リコー 撮像装置
KR101483714B1 (ko) * 2008-06-18 2015-01-16 삼성전자 주식회사 디지털 촬상 장치 및 방법
US8400537B2 (en) * 2008-11-13 2013-03-19 Omnivision Technologies, Inc. Image sensors having gratings for color separation
JP2011100900A (ja) * 2009-11-06 2011-05-19 Sony Corp 固体撮像装置及びその製造方法と設計方法並びに電子機器
US9118797B2 (en) * 2009-11-20 2015-08-25 Tripurari Singh Method and system for robust and flexible extraction of image information using color filter arrays
US8345132B2 (en) * 2010-07-23 2013-01-01 Omnivision Technologies, Inc. Image sensor with dual element color filter array and three channel color output
WO2013164902A1 (ja) * 2012-05-02 2013-11-07 パナソニック株式会社 固体撮像装置
JP6361965B2 (ja) 2013-10-24 2018-07-25 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、符号化装置、および撮像方法
KR102323204B1 (ko) * 2014-08-22 2021-11-08 삼성전자주식회사 선명한 색 구현이 가능한 이미지 센서 및 그 제조방법
CN105742510A (zh) * 2014-12-11 2016-07-06 固安翌光科技有限公司 一种有机电致发光器件及其制备方法
CN104849874B (zh) * 2015-06-02 2017-04-19 西安电子科技大学 基于稀疏表示的随机散射光学成像系统及成像方法
CN105006729B (zh) * 2015-08-20 2017-10-13 电子科技大学 随机激光器、随机谐振腔制造及探测微小颗粒浓度的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09168157A (ja) * 1995-12-18 1997-06-24 Olympus Optical Co Ltd カラー画像撮像装置及びカラー画像撮像素子
JP2013511924A (ja) * 2009-11-20 2013-04-04 シン，ムリトゥンジェイ 圧縮カラー画像サンプリングおよび再構成のための方法およびシステム
JP2016118710A (ja) * 2014-12-22 2016-06-30 大日本印刷株式会社 カラーフィルタ及び電子ペーパー
JP2016178148A (ja) * 2015-03-19 2016-10-06 三菱電機株式会社 光電変換素子およびその製造方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020045443A1 (ja) * 2018-08-30 2021-09-02 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
JP7336748B2 (ja) 2018-08-30 2023-09-01 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
JP7474953B2 (ja) 2018-08-30 2024-04-26 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
WO2022162801A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2022162800A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2022239326A1 (ja) * 2021-05-12 2022-11-17 ソニーグループ株式会社 撮像装置、および撮像装置の作動方法

Also Published As

Publication number Publication date
CN114189665A (zh) 2022-03-15
CN108243331A (zh) 2018-07-03
JP6975897B2 (ja) 2021-12-01
US10212401B2 (en) 2019-02-19
US20180184052A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
JP6975897B2 (ja) 画像生成装置及び撮像装置
JP2022002398A (ja) 撮像装置および分光システム
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
EP2715447B1 (en) System and method for extending depth of field in a lens system by use of color-dependent wavefront coding
US8462238B2 (en) Camera design for the simultaneous capture of near-infrared and visible images
JP5406383B2 (ja) 撮像装置
JP2013546249A5 (ja)
US10209440B2 (en) Imaging sensor with Bragg filter and method of manufacturing the same
JP7259757B2 (ja) 撮像装置、並びに、画像処理装置および方法
JP6653460B2 (ja) 撮像装置、撮像システム、画像生成装置およびカラーフィルタ
JPWO2019078335A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP6966934B2 (ja) 画像生成装置及び撮像装置
US20140307135A1 (en) Color imaging element
WO2012153532A1 (ja) 撮像装置
JP2018107731A (ja) 画像生成装置及び撮像装置
US8976275B2 (en) Color imaging element
JP2015185943A (ja) フィルタアレイ付マイクロレンズおよび固体撮像装置
Horstmeyer et al. Modified light field architecture for reconfigurable multimode imaging
JP2018513964A (ja) スナップショット型偏光ハイパースペクトルカメラ及び結像方法
US8675093B2 (en) Image capturing apparatus and image processing method
Rueda et al. Compressive spectral imaging based on colored coded apertures
US8736722B2 (en) Enhanced image capture sharpening
JP6655790B2 (ja) 撮像装置及び撮像システム
CN116417483A (zh) 一种光谱成像芯片及光谱成像芯片的制备方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211020

R151 Written notification of patent or utility model registration

Ref document number: 6975897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151