JP2018170757A - 画像生成装置及び撮像装置 - Google Patents

画像生成装置及び撮像装置 Download PDF

Info

Publication number
JP2018170757A
JP2018170757A JP2017244714A JP2017244714A JP2018170757A JP 2018170757 A JP2018170757 A JP 2018170757A JP 2017244714 A JP2017244714 A JP 2017244714A JP 2017244714 A JP2017244714 A JP 2017244714A JP 2018170757 A JP2018170757 A JP 2018170757A
Authority
JP
Japan
Prior art keywords
image
light
photodiode
filter array
random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017244714A
Other languages
English (en)
Other versions
JP6966934B2 (ja
Inventor
佐藤　智
Satoshi Sato
智 佐藤
尚志 渡邉
Hisashi Watanabe
尚志 渡邉
吾妻　健夫
Takeo Azuma
健夫 吾妻
登　一生
Kazuo Nobori
一生 登
信彦 若井
Nobuhiko Wakai
信彦 若井
貴真 安藤
Takamasa Ando
貴真 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2018170757A publication Critical patent/JP2018170757A/ja
Application granted granted Critical
Publication of JP6966934B2 publication Critical patent/JP6966934B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/65—Circuits for processing colour signals for synchronous modulators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Abstract

【課題】解像度の低下を抑制して適切な画像を生成することが可能な画像生成装置を提供する。【解決手段】画像生成装置としての撮像システムは、透過特性が異なる複数のカラーフィルタ２０２ａ〜２０２ｃと複数の凹レンズとを有するランダムカラーフィルタアレイ２０２と、ランダムカラーフィルタアレイ２０２を透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂと、そのデジタルデータとランダム光学フィルタアレイの変調情報とを用いて画像を生成するカラー画像生成回路１０５とを備え、複数の凹レンズは、複数のカラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間に位置する、又は、複数のカラーフィルタ２０２ａ〜２０２ｃは複数の凹レンズとフォトダイオードとの間に位置する。【選択図】図４

Description

本開示は、圧縮センシング技術を用いた画像生成装置等に関する。
カラー画像を撮像するためには、光の３原色に相当する赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの異なる波長域の情報を取得する必要がある。３つのイメージセンサでＲ、Ｇ及びＢの情報を取得するカラー撮像装置も存在する。しかし、多くのカラー撮像装置は、小型化及び低コスト化のために１つのイメージセンサしか搭載していない。そのため、多くのカラー撮像装置は、１つのイメージセンサでＲ、Ｇ及びＢの情報を取得する。
従来、画素毎にＲ、Ｇ及びＢのうち１つの波長域の情報を取得し、デモザイキングと呼ばれる処理を行うことで、画素毎にＲ、Ｇ及びＢの３つの波長域の情報を取得する手法が知られている。
図２１は、広く利用されているベイヤー配列を示した模式図である（例えば、特許文献１）。ベイヤー配列では、人間の視覚特性に近いＧの画素が全体の画素の１／２を占め、Ｒ及びＢの画素がそれぞれ全体の画素の１／４を占める。そして、デモザイキング処理によって、すべての画素に対してＲ、Ｇ及びＢの３つの波長域の情報が取得される。
一方、特許文献２では、ランダムな色パターンで光フィルタ要素を配置し、サンプルデータ集合に対して圧縮センシング技術を適用することでデモザイキングを行う技術が開示されている。
米国特許第５６２９７３４号明細書 特表２０１３−５１１９２４号公報 特許第５０５４８５６号公報 特許第５０９５０４０号公報
Ｒｕｄｉｎ Ｌ． Ｉ．， Ｏｓｈｅｒ Ｓ． Ｊ．， ａｎｄ Ｆａｔｅｍｉ Ｅ．： Ｎｏｎｌｉｎｅａｒ ｔｏｔａｌ ｖａｒｉａｔｉｏｎ ｂａｓｅｄ ｎｏｉｓｅ ｒｅｍｏｖａｌ ａｌｇｏｒｉｔｈｍｓ． Ｐｈｙｓｉｃａ Ｄ， ｖｏｌ．６０， ｐｐ．２５９−２６８， １９９２． Ｓｈｕｎｓｕｋｅ Ｏｎｏ， Ｉｓａｏ Ｙａｍａｄａ， "Ｄｅｃｏｒｒｅｌａｔｅｄ Ｖｅｃｔｏｒｉａｌ Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ"， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１４． Ｊ． Ｍａ， "Ｉｍｐｒｏｖｅｄ Ｉｔｅｒａｔｉｖｅ Ｃｕｒｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｃｏｍｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ ａｎｄ Ｍｅａｓｕｒｅｍｅｎｔ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ＆ Ｍｅａｓｕｒｅｍｅｎｔ， ｖｏｌ．６０， ｎｏ．１， ｐｐ．１２６−１３６， ２０１１． Ｍ． Ａｈａｒｏｎ， Ｍ． Ｅｌａｄ， ａｎｄ Ａ． Ｍ． Ｂｒｕｃｋｓｔｅｉｎ， "Ｋ−ＳＶＤ： Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｄｅｓｉｇｎｉｎｇ Ｏｖｅｒｃｏｍｐｌｅｔｅ Ｄｉｃｔｉｏｎａｒｉｅｓ ｆｏｒ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ．５４， ｎｏ．１１， ｐｐ．４３１１−４３２２， ２００６．
しかしながら、特許文献１及び２の手法では、イメージセンサの各画素において、Ｒ、Ｇ及びＢのうち１つの波長域の情報しか取得されない。そのため、デモザイキング後のカラー画像の解像度が低下し、偽色と呼ばれるアーチファクトが発生し得る。
本開示の非限定的ではない例示的な一態様は、解像度の低下を抑制して適切な画像を生成することが可能な画像生成装置である。また、本開示の非限定的ではない例示的な一態様は、適切な画像を生成するために用いられる撮像装置である。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
本開示の一態様に係る画像生成装置は、透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、前記複数の凹レンズは、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する。
また、本開示の一態様に係る撮像装置は、透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、前記複数の凹レンズは、前記複数の光学フィルタと前記フォトダイオードとの間に位置する、又は前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する。
上述の包括的または具体的な態様は、システム、方法及びコンピュータプログラム、コンピュータ読み取り可能な記録媒体を用いて実装されてもよいし、装置、システム、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体の組み合わせを用いて実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
本開示によれば、解像度の低下が抑制され、適切な画像が生成され得る。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
図１は、実施の形態１に係る撮像システムの構成を示す模式図である。 図２は、撮像システムにおける波長変調部及び変調画像取得部の構成の詳細を示す図である。 図３は、撮像システムにおけるランダムカラーフィルタアレイ及び撮像素子の構成を示す模式図である。 図４は、ランダムカラーフィルタアレイを含む撮像システムの模式図である。 図５は、実施の形態に係る３種類のフィルタの波長特性としての透過率を示す図である。 図６は、凹レンズ及び３種類のフィルタで構成したランダムカラーフィルタアレイ並びに撮像素子の２次元平面上の配置を示す模式図である。 図７は、凹レンズ及び３種類のフィルタで構成したランダムカラーフィルタアレイ並びに撮像素子の断面を示す模式図である。 図８は、従来のカラー撮像装置におけるカラーフィルタアレイの模式図である。 図９は、変形例１に係る凹レンズ及び３種類のフィルタで構成したランダムカラーフィルタアレイ並びに撮像素子の２次元平面上の配置を示す模式図である。 図１０は、変形例２に係る凹レンズ及び３種類のフィルタで構成したランダムカラーフィルタアレイ並びに撮像素子の２次元平面上の配置を示す模式図である。 図１１は、実施の形態に係る４種類のフィルタの波長特性としての透過率を示す図である。 図１２は、凹レンズ及び４種類のフィルタで構成したランダムカラーフィルタアレイ並びに撮像素子の２次元平面上の配置を示す模式図である。 図１３は、３種類の補色フィルタの波長特性としての透過率を示す図である。 図１４は、実施の形態１に係る撮像システムにおける画像生成装置の主要な処理の手順を示すフローチャートである。 図１５は、撮像素子の画素数がＮ＝１６である場合の変調画像と生成画像とを示す模式図である。 図１６は、実施の形態１におけるカラー画像生成回路等が生成したカラー画像の一例を示す。 図１７は、実施の形態２に係る撮像システムの構成を示す模式図である。 図１８は、実施の形態２に係る撮像システムにおける画像生成装置の主要な処理の手順を示すフローチャートである。 図１９は、撮像素子の画素数がＮ＝１６である場合の生成画像（マルチバンド画像）を示す模式図である。 図２０は、凹レンズの形状の別の例を示す断面図である。 図２１は、ベイヤー配列を示す模式図である。
（本開示の基礎となる知見）
特許文献１及び２に記載の技術では、１つの画素において、Ｒ（赤色）、Ｇ（緑色）及びＢ（青色）のいずれかの情報しか取得されない。このため、取得される情報は必ずしも十分ではなく、解像度の高い適切な画像が生成されない可能性がある。
これに対して、例えばＲ、Ｇ及びＢの各波長帯域の情報を混合して各画素に与え、かつ、その情報の混合を画素群に対してランダムに行うことで、各画素からより多くの情報が得られ、得られた情報から圧縮センシング技術によって適切な画像が生成され得る。例えば、主としてＲの波長帯域を透過するＲフィルタ、主としてＧの波長帯域を透過するＧフィルタ、主としてＢの波長帯域を透過するＢフィルタの合計３種類のカラーフィルタ等といった、少ない種類の光学フィルタを用いて、画素群に対して疑似的にランダムな情報の混合を実現することが有用となる。例えば、撮像素子が受光する光の光路上に、入射した平行光束を収束させずに発散させる凹レンズ等で構成される光線発散部と比較的少ない種類の各光学フィルタとを配置して構成されるランダム光学フィルタアレイを設置して撮像する。これにより、光線発散部での光の発散によって各光学フィルタを透過した光は１つの画素及び近傍画素にも受光され、各画素には多くの情報が与えられることとなるので、解像度が高い適切な画像の生成が可能となり得る。このように、画素にＲ、Ｇ及びＢのいずれかの情報だけを与えるようにして混色を防止していた従来技術とは異なり、本開示に係る技術は、光線発散部を用いて光の発散により例えば混色等を生じさせることで、解像度が高い画像を生成し得る。以上の知見に基づき、以下、本開示に係る画像生成装置等を説明する。
本開示の一態様に係る画像生成装置は、透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、前記複数の凹レンズは、前記複数種類の光学フィルタと、前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する。ここで、同じ種類の光学フィルタ同士は、光の波長と光透過率との関係に係る波長特性が同じであり、互いに異なる種類の光学フィルタ同士は、光の波長と光透過率との関係に係る波長特性が相違する。凹レンズが、複数種類の光学フィルタとフォトダイオードの間、又は複数種類の光学フィルタの前（つまりフォトダイオードの受光領域である受光面の前方）に位置し、例えば凸レンズ等の結像光学系部材を通過した光が受光面に至るまでの光路上に配置される。すなわち、（１）複数種類の光学フィルタとフォトダイオードの間に凹レンズを位置させる、又は、（２）凸レンズ等の結像光学系部材を通過した光が複数種類の光学フィルタに入射するまでの光路上に凹レンズを配置させ、かつ、凹レンズとフォトダイオードの間に複数種類の光学フィルタを位置させる。ランダム光学フィルタアレイの変調情報は、光学フィルタを略平面において複数配置して複数の凹レンズを含むランダム光学フィルタアレイにおける光透過率に関する情報であり、その平面上の位置及び光の波長に応じてその光透過率は変化し得る。なお、変調情報は、複数の凹レンズに対応する点拡がり関数にも関し、その平面上の位置に応じてその点拡がり関数は変化し得る。
これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数の光学フィルタを透過する光が発散してフォトダイオードに受光され、各画素としてのフォトダイオードが十分な情報を取得することができるので、解像度の低下が抑制され、適切な画像が生成され得る。
また、例えば、前記複数の凹レンズの各々は、互いに、大きさ、屈折率、及び、レンズの凹面を規定する曲率のうちの１つ以上が異なることとしてもよい。
このような互いに異なる複数の凹レンズにより、ランダム光学フィルタアレイは、複数の波長帯域の光が透過する任意の位置において、互いに異なる点拡がり関数を有することになる。このため、点拡がり関数が、単純な規則に従うのではなくランダムなものとなり、十分なランダム性を有するランダム光学フィルタアレイが実現され得る。
また、例えば、前記画像生成装置は、凸レンズを備え、前記複数の光学フィルタが前記複数の凹レンズと前記フォトダイオードとの間に位置する場合は、前記複数の凹レンズは前記凸レンズと前記複数の光学フィルタの間に位置し、前記複数の凹レンズは、前記凸レンズを透過した光を、前記複数の光学フィルタを透過するように発散させることとしてもよい。
これにより、凸レンズを透過した光がフォトダイオードに至るまでに凹レンズで発散されることで複数の光学フィルタを透過するので、画素に多くの情報が与えられることになる。
また、例えば、前記複数の光学フィルタは、複数のカラーフィルタであり、前記ランダム光学フィルタアレイは、前記複数のカラーフィルタをランダムに配置し、前記生成回路が生成する前記画像は、カラー画像であることとしてもよい。
これにより、例えばランダムに配置されたＲフィルタ、Ｇフィルタ及びＢフィルタ等のカラーフィルタの複数組のそれぞれを透過した光が、凹レンズで発散することにより近傍画素のフォトダイオード群において加算され、変調情報に基づいて例えば圧縮センシング技術で、解像度が高い適切なカラー画像が生成され得る。
また、例えば、前記生成回路が生成する前記画像は、光の波長帯域を４以上の領域に分割した信号で表現する画像、すなわちマルバンド画像であることとしてもよい。
これにより、解像度の高いマルチバンド画像が生成され得る。なお、例えば、ランダム光学フィルタアレイを、可視光以外の波長帯域の光を透過する光学フィルタを含めて構成してもよい。
また、例えば、前記生成回路は、圧縮センシング技術を用いて前記画像を生成することとしてもよい。
この圧縮センシングにより、適切に画像が生成され得る。
また、本開示の一態様に係る撮像装置は、透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、前記複数の凹レンズは、前記複数の光学フィルタと前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する。
これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数の光学フィルタを透過する光が発散してフォトダイオードに受光され、各画素としてのフォトダイオードが十分な情報を取得することができるようになる。このため、各画素の情報を用いて解像度が比較的高い適切な画像が生成され得る。
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組み合わせが含まれる。
以下、図面を参照しながら、本開示における画像生成装置に係る撮像システムの実施の形態について説明する。ここで示す実施の形態は、いずれも一例に過ぎない。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ及びステップの順序等は、一例であって、限定的なものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
（実施の形態１）
図１は、本実施の形態に係る撮像システム１０の構成を示す。撮像システム１０は、撮像装置１１と画像生成装置１２とを備える。
撮像装置１１は、波長変調部１０１と、変調画像取得部１０２と、送信回路１０３とを有する。一方、画像生成装置１２は、受信回路１０４と、カラー画像生成回路１０５と、出力Ｉ／Ｆ（インタフェース）装置１０６とを有する。撮像装置１１と画像生成装置１２とは、一体化していてもよい。もちろん、撮像装置１１と画像生成装置１２とが一体化している場合、送信回路１０３及び受信回路１０４は省略し得る。
（撮像装置１１）
まず、図２を参照しながら撮像装置１１を説明する。
図２は、波長変調部１０１及び変調画像取得部１０２の構成の詳細を示す。
図２に示されるように、波長変調部１０１は、結像光学系２０１及びランダムカラーフィルタアレイ２０２に対応する。また、変調画像取得部１０２は、撮像素子２０３に対応する。
（結像光学系２０１）
結像光学系２０１は、少なくとも、１枚又は複数枚のレンズと、レンズ位置調整機構とを有する（いずれも図示せず）。１枚又は複数枚のレンズは被写体からの光を集めて、光信号を結像する。光信号は被写体の像を示す。レンズ位置調整機構は、例えば、レンズによる結像位置を調整するためのアクチュエータ及びアクチュエータの駆動量を制御する制御回路（コントローラ）である。なお、１枚又は複数枚のレンズの焦点が固定されている場合には、レンズ位置調整機構は不要である。また、ピンホールカメラのように、レンズを利用せずに光信号を結像させてもよい。
結像光学系２０１は光学系と呼んでもよい。
（撮像素子２０３）
図３は、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の構成の詳細の一例を示す。
撮像素子２０３は、複数のフォトダイオード２０３ａと、少なくとも１つのＡＤ変換部２０３ｂとを含んで構成される。
フォトダイオード２０３ａは結像光学系２０１が結像した光信号を受け付け、ＡＤ変換部２０３ｂはフォトダイオード２０３ａの出力信号を受け付け、デジタル信号に変換する。デジタル信号は、画素毎の変調された画像である変調画像を示す。即ち、撮像素子２０３は、変調画像を生成する。撮像素子２０３は、レンズの焦点距離に配置される。
撮像素子２０３は光学系で集光された光を受光して、電気信号を出力する複数の画素を含む。画素は、フォトダイオード２０３ａに対応する。撮像素子２０３の複数のフォトダイオード２０３ａと複数の電気信号とは１対１に対応する。
（ランダムカラーフィルタアレイ２０２）
ランダムカラーフィルタアレイ２０２は、複数種類のカラーフィルタ２０２ａ〜２０２ｃと光線発散部２０４を含む。ランダムカラーフィルタアレイ２０２は、例えば、カラーフィルタ２０２ａ〜２０２ｃのそれぞれを複数個、略平面上の互いに異なる位置に配置してなるカラーフィルタの集合体と複数の光線発散部２０４とを備える。ランダムカラーフィルタアレイ２０２は、フォトダイオード２０３ａの受光面の前に配置される、つまり、ランダムカラーフィルタアレイ２０２は、結像光学系２０１から出力された光が撮像素子２０３に入射するまでにたどる光路上、例えば、結像光学系２０１の出光面とフォトダイオード２０３ａの受光面の間、に配置される。ランダムカラーフィルタアレイ２０２において複数種類のカラーフィルタ２０２ａ〜２０２ｃは、結像光学系２０１から出力された光がフォトダイオード２０３ａの受光面に入射するまでにたどる光路上に配置される。光線発散部２０４は、結像光学系２０１とフォトダイオード２０３ａとの間に配置される。光線発散部２０４は、結像光学系２０１と複数種類のカラーフィルタ２０２ａ〜２０２ｃの前、すなわち、光線発散部２０４は、結像光学系２０１と複数種類のカラーフィルタ２０２ａ〜２０２ｃの間に配置されてもよい。光線発散部２０４は、カラーフィルタ２０２ａ〜２０２ｃの後であって撮像素子２０３の前、すなわち、光線発散部２０４は、カラーフィルタ２０２ａ〜２０２ｃと撮像素子２０３の間に配置されてもよい。ここでは、光線発散部２０４は、複数種類のカラーフィルタ２０２ａ〜２０２ｃの前、すなわち、光線発散部２０４は、結像光学系２０１と複数種類のカラーフィルタ２０２ａ〜２０２ｃの間に配置される例を主に用いて説明する。
光線発散部２０４は、光線発散部２０４に入射する平行光束を収束させずに発散させるレンズである凹レンズで構成される。図３の例においては、光線発散部２０４である凹レンズは平凹レンズであって、結像光学系２０１からの光が凹レンズに入射する面が凹面形状で、凹レンズに入射した光が、凹レンズから出射する面が平面形状である。
カラーフィルタ２０２ａと、カラーフィルタ２０２ｂと、カラーフィルタ２０２ｃとは互いに種類（つまり、光の波長と透過率との関係に係る波長特性）の異なるカラーフィルタである。一例としては、１つの種類のカラーフィルタ２０２ａは、主としてＲの波長帯域を透過するＲフィルタであり、別の１つの種類のカラーフィルタ２０２ｂは、主としてＧの波長帯域を透過するＧフィルタであり、また別の１つの種類のカラーフィルタ２０２ｃは、主としてＢの波長帯域を透過するＢフィルタである。
図３の例は、ランダムカラーフィルタアレイ２０２において、１つのフォトダイオード２０３ａに対応して、３種類のカラーフィルタ２０２ａ〜２０２ｃのうちの１つのカラーフィルタが配置されていることを示している。各種類のカラーフィルタ２０２ａ〜２０２ｃの２次元平面上の配置（つまり２次元配列）は、例えばベイヤー配列（図２１参照）であり得る。
ランダムカラーフィルタアレイ２０２は、撮像素子２０３の受光面に接して配置されてもよい。ランダムカラーフィルタアレイ２０２は、撮像素子２０３の前に、前面から間隔を空けて配置、つまり、ランダムカラーフィルタアレイ２０２は、撮像素子２０３の受光面に非接触かつ撮像素子２０３の受光面側に配置されてもよい。この場合、ランダムカラーフィルタアレイ２０２と受光面間の距離は、ランダムカラーフィルタアレイ２０２と撮像素子２０３の受光面と反対側の面間の距離より短い。なお、本実施の形態においてはランダムカラーフィルタアレイ２０２に含まれるカラーフィルタ２０２ａ〜２０２ｃは、撮像素子２０３の受光面に非接触かつ撮像素子２０３の受光面側に配置される。
ランダムカラーフィルタアレイ２０２は、撮像素子２０３に入射する複数の波長帯域の光をフィルタリングするために用いられ、ランダムカラーフィルタアレイ２０２を用いて撮像した画像を変調画像と呼ぶ。ランダムカラーフィルタアレイ２０２は、複数の波長帯域の光が透過する任意の位置において、異なる光透過率と異なる点拡がり関数とを有している。ここで言う「位置」は、一定の面積を有する微小領域の位置を意味している。略平面形状の各カラーフィルタ２０２ａ〜２０２ｃを含むランダムカラーフィルタアレイ２０２が略平面形状であるとしてその平面上の各微小領域の位置毎に、光透過率及び点拡がり関数は相違し得る。このような位置毎の光透過率及び点拡がり関数は、ランダムカラーフィルタアレイ２０２を構成する複数種類のカラーフィルタ２０２ａ〜２０２ｃの波長特性と、ランダムカラーフィルタアレイ２０２の配置と、光線発散部２０４の構成及び配置とによって決まり、変調情報と呼ぶ。なお、光線発散部２０４の構成は材質を意味してもよい。また、光線発散部２０４の構成は、光線発散部２０４が凹レンズである場合、例えば凹レンズの大きさ、屈折率、レンズの凹面を規定する曲率の少なくとも１つで規定されてもよい。各微小領域の面積は、例えば撮像素子２０３の各フォトダイオード２０３ａの受光面積と等しくてもよいし、その受光面積より小さくてもよい。なお、光透過率は透過する波長（波長帯域）によっても異なり得る。
複数のフォトダイオード２０３ａとランダムカラーフィルタアレイ２０２に係る上述の複数の微小領域の位置とは、１対１で対応してもよい。
ランダムカラーフィルタアレイ２０２の更なる詳細は後に説明する。
（送信回路１０３）
送信回路１０３は、撮像素子２０３が撮像した変調画像と、ランダムカラーフィルタアレイ２０２に対応して設定された変調情報とを、画像生成装置１２に送信する。変調情報は、位置毎の波長特性としての光透過率と点拡がり関数とを示す。送信は、有線通信及び無線通信のいずれで行われてもよい。
なお、本実施の形態では、撮像システム１０が、送信回路１０３及び受信回路１０４を備え、概ねリアルタイムで変調画像及び変調情報を送受信して処理を行うことが想定されている。しかしながら、撮像システム１０は、変調画像及び変調情報を保存する記憶装置（例えばハードディスクドライブ）を備え、非リアルタイムで処理を行ってもよい。
（画像生成装置１２）
再び図１を参照し、画像生成装置１２の受信回路１０４、カラー画像生成回路１０５及び出力インタフェース装置１０６をそれぞれ説明する。
（受信回路１０４）
受信回路１０４は、撮像装置１１から出力された変調画像と変調情報とを受け取る。受信回路１０４と送信回路１０３との間の通信は、有線通信でも無線通信でもよい。なお、送信回路１０３が変調画像及び変調情報を有線通信で送信したとしても、有線通信を無線通信に変換する機器を経由することにより、受信回路１０４がこれらの情報を無線で受信してもよい。その逆も同様である。
（カラー画像生成回路１０５）
カラー画像生成回路１０５は、受信回路１０４が受信した変調画像及び変調情報を利用してカラー画像を生成する。カラー画像を生成する処理（カラー画像生成処理と称する）の詳細については後述する。カラー画像生成回路１０５は、生成されたカラー画像を出力インタフェース装置１０６に送る。
（出力インタフェース装置１０６）
出力インタフェース装置１０６は、映像出力端子等である。出力インタフェース装置１０６は、カラー画像を、デジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。
（ランダムカラーフィルタアレイ２０２の詳細）
次に、図４〜図７を参照しながら、ランダムカラーフィルタアレイ２０２をより詳細に説明する。
図４は、ランダムカラーフィルタアレイ２０２を含む撮像システム１０の模式図である。
上述したように、ランダムカラーフィルタアレイ２０２は、位置に応じて、かつ、波長帯域に応じて、異なり得る光透過率及び点拡がり関数を有している。つまり、複数の波長帯域の光が透過する任意の複数の位置それぞれでは、各波長帯域の光透過率と点拡がり関数との組み合わせが互いに異なっている。このような光学特性を実現するために、本実施の形態のランダムカラーフィルタアレイ２０２は、光の波長帯域に応じた光透過率の互いに異なる複数種類のカラーフィルタ２０２ａ〜２０２ｃと複数の光線発散部２０４とを有している。また、ランダムカラーフィルタアレイ２０２において各位置に配置されたカラーフィルタの種類は相違し得る。即ち、互いに近傍の複数のフォトダイオード２０３ａに対応する位置毎に互いに異なる種類のカラーフィルタが配置され得る。カラーフィルタ２０２ａ〜２０２ｃは、従来のベイヤー配列（図２１参照）のように規則的に配置してもよく、ランダムに配置してもよい。なお、撮像素子２０３における各フォトダイオード２０３ａの前方から見て、各カラーフィルタは、相互に一部重なり合ってもよいが、図４の例のように、相互に重ならないことで、フォトダイオード２０３ａが受光する光量の低減が抑制され得る。
なお、図４では、ランダムカラーフィルタアレイ２０２が３種類のカラーフィルタ２０２ａ〜２０２ｃを含み、１つのカラーフィルタが１つのフォトダイオード２０３ａに対応する例を記載しているが、これは一例に過ぎず、カラーフィルタの種類数は３に限られず、１つのフォトダイオード２０３ａに対応して配置されるカラーフィルタの数も１に限られない。
図５は、３種類のカラーフィルタ２０２ａ〜２０２ｃの各波長特性としての光透過率を示す図である。同図において、フィルタ１は、カラーフィルタ２０２ａであり、フィルタ２は、カラーフィルタ２０２ｂであり、フィルタ３は、カラーフィルタ２０２ｃである。
フィルタの波長特性は、フィルタに入射した光が、波長に応じて、どの程度、反射、透過及び吸収されるかを示す。反射光、透過光及び吸収光の総和は入射光に等しい。透過光と入射光との比率は、「透過率」と呼ばれる。この透過率を、光透過率とも称する。吸収光と入射光との比率は「吸収率」と呼ばれる。吸収率は、入射光の光量から反射光の光量と透過光の光量とを減算し、さらに入射光の光量で除算することでも求められる。図５では、各フィルタにおける光透過率と光の波長との関係を示している。
図６及び図７は、凹レンズで構成される光線発散部２０４及び３種類のカラーフィルタ２０２ａ〜２０２ｃで構成したランダムカラーフィルタアレイ２０２の模式図である。図６は、ランダムカラーフィルタアレイ２０２における光線発散部２０４を構成する凹レンズ、及び、各カラーフィルタ、並びに、撮像素子２０３の各フォトダイオード２０３ａの、２次元平面上の配置を示す。この２次元平面は、例えば撮像素子２０３の受光面に平行な平面である。図６では、カラーフィルタ２０２ａ、２０２ｂ及び２０２ｃをそれぞれ、Ｒ、Ｇ、Ｂで表しており、カラーフィルタ２０２ａ〜２０２ｃが、ランダムに配置された例を示している。ランダム配置の実現方法は、例えば、特許文献２、特許文献３、特許文献４に開示されている。また図６では、各光線発散部２０４を構成する凹レンズの外周が円形状である例を表している。図７は、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の断面を示す。ランダムカラーフィルタアレイ２０２において、入射した光線を発散させる凹レンズで構成される光線発散部２０４は、撮像素子に対応して従来備えられた凸レンズであるマイクロレンズを凹レンズに置き換えることで実現され得る。なお、従来のマイクロレンズは、入射光を集光することで撮像素子のフォトダイオードに入射する光量を増加させることを目的としているため、凸レンズで構成されている。一方、光線発散部２０４は、ランダムサンプリングを実現するために、入射光を発散させることを目的としているため、凹レンズを用いて構成される。
光線発散部２０４の凹レンズは、例えば、レンズの表面がレンズの中心に向かって凹む形状を有する。図７の例では、光線発散部２０４である凹レンズは平凹レンズであって、光が凹レンズに入射する面が凹面形状で、凹レンズに入射した光が、凹レンズから出射する面が平面形状である。光線発散部２０４の凹レンズの凹面は、例えば球面の一部と同様の形状である。この凹面が球面の一部と同様の形状を有する凹レンズは、レンズの光軸に垂直な任意の方向から見た、レンズの光軸を通る断面において凹部が円弧の形状を有する。
図７に示すように、３種類のカラーフィルタ２０２ａ〜２０２ｃは、撮像素子２０３から間隔をあけて配置されており、結像光学系２０１を透過した光が光線発散部２０４で発散され、３種類のカラーフィルタ２０２ａ〜２０２ｃを透過し、複数のフォトダイオード２０３ａで受光される。光線発散部２０４での光の発散により、例えば、第１光と第２光が１つのカラーフィルタを透過した場合、複数のフォトダイオード２０３ａに含まれるフォトダイオードＡが第１光、複数のフォトダイオード２０３ａに含まれるフォトダイオードＢが第２光を受光し得るし、ランダムカラーフィルタアレイ２０２に含まれる複数のカラーフィルタに含まれるカラーフィルタＡを透過した第３光と複数のカラーフィルタに含まれるカラーフィルタＢを透過した第４光を１つのフォトダイオード２０３ａが受光し得る。
図８は、従来のカラー撮像装置におけるベイヤー配列のカラーフィルタアレイ２０６の模式図である。本実施の形態に係るランダムカラーフィルタアレイ２０２（図７参照）と対比して、従来のカラーフィルタアレイ２０６は、光線発散部２０４を有しない。また、従来のカラーフィルタアレイ２０６では、カラーフィルタ間のクロストークを防止するため、カラーフィルタアレイ２０６を構成する１つのカラーフィルタ（カラーフィルタ２０２ａ等）を透過した光線が、できる限り同じフォトダイオード２０３ａで受光されるように設計されている。これを以下に説明する。
図８おいて、左端の配置位置である第１配置位置のカラーフィルタ２０２ａは左端の配置位置である第４配置位置のフォトダイオード２０３ａに対応し、中央の配置位置である第２配置位置のカラーフィルタ２０２ｂは中央の配置位置である第５配置位置のフォトダイオード２０３ａに対応し、右端の配置位置である第３配置位置のカラーフィルタ２０２ａは右端の配置位置である第６配置位置のフォトダイオード２０３ａに対応する。図８において、実線で示した光線は、第１配置位置のカラーフィルタ２０２ａを透過し、第２配置位置のカラーフィルタ２０２ｂを透過せず、第３配置位置のカラーフィルタ２０２ａを透過しない。第１配置位置のカラーフィルタ２０２ａに対応する第４配置位置のフォトダイオード２０３ａは実線で示した光線を受光し、第２配置位置のカラーフィルタ２０２ｂに対応する第５配置位置のフォトダイオード２０３ａは実線で示した光線を受光せず、第３配置位置のカラーフィルタ２０２ａに対応する第６配置位置のフォトダイオード２０３ａは実線で示した光線を受光しない。図８おいて、点線で示した光線は、第１配置位置のカラーフィルタ２０２ａを透過せず、第２配置位置のカラーフィルタ２０２ｂを透過し、第３配置位置のカラーフィルタ２０２ａを透過しない。第１配置位置のカラーフィルタ２０２ａに対応する第４配置位置のフォトダイオード２０３ａは点線で示した光線を受光せず、第２配置位置のカラーフィルタ２０２ｂに対応する第５配置位置のフォトダイオード２０３ａは点線で示した光線を受光し、第３配置位置のカラーフィルタ２０２ａに対応する第６配置位置のフォトダイオード２０３ａは点線で示した光線を受光しない。図８おいて、破線で示した光線は、第１配置位置のカラーフィルタ２０２ａを透過せず、第２配置位置のカラーフィルタ２０２ｂを透過せず、第３配置位置のカラーフィルタ２０２ａを透過する。第１配置位置のカラーフィルタ２０２ａに対応する第４配置位置のフォトダイオード２０３ａは破線で示した光線を受光せず、第２配置位置のカラーフィルタ２０２ｂに対応する第５配置位置のフォトダイオード２０３ａは破線で示した光線を受光せず、第３配置位置のカラーフィルタ２０２ａに対応する第６配置位置のフォトダイオード２０３ａは破線で示した光線を受光する。以上で、図８の説明を終える。
図７に示した本実施の形態に係るランダムカラーフィルタアレイ２０２では、例えば、実線で示す光３２２は、図８の実線で示した光の例と同様に、図７で左端の配置位置のカラーフィルタ２０２ａを透過して、図７で左端の配置位置のフォトダイオード２０３ａに受光されるが、実線で示す光３２１は、光線発散部２０４の凹レンズで発散され、図７で左端の配置位置のカラーフィルタ２０２ａを透過して、図８の実線で示した光の例とは異なって、図７で中央の配置位置のフォトダイオード２０３ａに受光される。
また、図７で、点線で示す光３２３は、光線発散部２０４の凹レンズで発散され、図７で中央の配置位置のカラーフィルタ２０２ｂを透過して、図８の点線で示した光の例とは異なって、図７で左端の配置位置のフォトダイオード２０３ａに受光される。
また、図７で、破線で示す光３２４は、光線発散部２０４の凹レンズで発散され、図８の破線で示した光の例とは異なって、図７で中央の配置位置のカラーフィルタ２０２ｂを透過して、図７で左端の配置位置のフォトダイオード２０３ａに受光される。
このように、本実施の形態のランダムカラーフィルタアレイ２０２は、光線発散部２０４を有することにより、複数の位置の異なるカラーフィルタを透過した光を１つのフォトダイオード２０３ａに受光させ、また、同一の位置の同一カラーフィルタを透過した光を複数のフォトダイオード２０３ａに受光させる。つまり、ランダムカラーフィルタアレイ２０２は、光線発散部２０４を有することで、位置及び光の波長に応じて異なる光透過率と点拡がり関数とを有するので、空間的にも、波長的にもランダムなサンプリングを実現可能にする。
なお、図７では、ランダムカラーフィルタアレイ２０２において光線発散部２０４である凹レンズは、結像光学系２０１とカラーフィルタ２０２ａ〜２０２ｃとの間に配置し、かつ、光線発散部２０４である凹レンズは、カラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間に配置しない例を示した。
ランダムカラーフィルタアレイ２０２において光線発散部２０４である凹レンズは、結像光学系２０１とカラーフィルタ２０２ａ〜２０２ｃとの間に配置し、かつ、光線発散部２０４である凹レンズはカラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間にも更に配置してもよい。
ランダムカラーフィルタアレイ２０２において光線発散部２０４である凹レンズは、結像光学系２０１とカラーフィルタ２０２ａ〜２０２ｃとの間に配置せず、かつ、光線発散部２０４である凹レンズは、カラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間に配置することとしてもよい。
また、図６及び図７の例では、個々の光線発散部２０４の凹レンズの大きさは、カラーフィルタ２０２ａ〜２０２ｃ及びフォトダイオード２０３ａと略同等にしたが、光線発散部２０４の凹レンズの大きさは、これに限られず、カラーフィルタ２０２ａ〜２０２ｃ及びフォトダイオード２０３ａよりも大きくてもよく、小さくてもよい。図６に示した光線発散部２０４の凹レンズの大きさを、より大きくした、ランダムカラーフィルタアレイ２０２の変形例１について図９に示す。図９の変形例１では、ランダムカラーフィルタアレイ２０２において、光線発散部２０４を変形して光線発散部２０４ａにしている。また、図９では、各光線発散部２０４ａを構成する凹レンズの外周が円形状である例を表している。この例では、個々の光線発散部２０４ａの凹レンズの大きさを、カラーフィルタ２０２ａ〜２０２ｃ及びフォトダイオード２０３ａより大きくしている。図９に示すように、個々の凹レンズをフォトダイオード２０３ａ等より大きくすることにより、フォトダイオード２０３ａにおける点拡がり関数は位置によるバリエーションが増えるため、よりランダム性を増したランダムカラーフィルタアレイ２０２を実現することができる。ランダムカラーフィルタアレイ２０２のランダム性が上がると、圧縮センシングによりカラー画像生成回路１０５が生成するカラー画像の画質が向上する。
ここまでの説明では、ランダムカラーフィルタアレイ２０２が備える複数の光線発散部２０４或いは複数の光線発散部２０４ａを構成する各凹レンズの大きさが一定である例を示した。しかし、ランダムカラーフィルタアレイ２０２が備える複数の凹レンズのそれぞれは、互いに、大きさ、屈折率、及び、曲率のうちの１つ以上が異なることとしてもよい。曲率は、凹レンズの曲面についての曲率である。凹レンズの曲率は、例えば凹レンズの光軸を通る断面において凹部が円弧の形状を有する場合にその円弧を有する円の半径の逆数である。なお、例えば、複数の凹レンズそれぞれの材質を互いに異ならせることで、凹レンズの屈折率を互いに異なるようにすることができる。ランダムカラーフィルタアレイ２０２の位置毎の点拡がり関数をランダムにすることは、例えば、ランダムカラーフィルタアレイ２０２が備える複数の凹レンズのそれぞれを、互いに、大きさ、屈折率、及び、曲率のうちの１つ以上が異なるようにすることで実現され得る。
図６に示した各凹レンズの大きさを、その凹レンズの位置毎に異なるようにした、ランダムカラーフィルタアレイ２０２の変形例２について図１０に示す。図１０の変形例２では、ランダムカラーフィルタアレイ２０２において、図６に示した光線発散部２０４の凹レンズと、それより大きいサイズである、図９に示した光線発散部２０４ａの凹レンズと、更に大きいサイズにした光線発散部２０４ｂの凹レンズとを含むようにしている。この例では、個々の光線発散部２０４、２０４ａ、２０４ｂの各凹レンズの大きさは、互いに異なる。このようにすることで、ランダムカラーフィルタアレイ２０２の位置毎の点拡がり関数のバリエーションが増加して多様になり、ランダムカラーフィルタアレイ２０２のランダム性を向上させることができる。ランダムカラーフィルタアレイ２０２が備える複数の凹レンズのそれぞれの大きさが互いに異なる他に、複数の凹レンズそれぞれの屈折率が互いに異なる場合、或いは、曲率が互いに異なる場合、或いは、大きさ、屈折率、及び、曲率のうち複数が互いに異なる場合においても、ランダムカラーフィルタアレイ２０２の位置毎の点拡がり関数のバリエーションが増加し、ランダムカラーフィルタアレイ２０２のランダム性を向上させることができる。ランダムカラーフィルタアレイ２０２のランダム性が上がると、圧縮センシングによりカラー画像生成回路１０５が生成するカラー画像の画質が向上する。
このように、光線発散部２０４は、光線発散部２０４ａに置き換えてもよく、光線発散部２０４ａ及び光線発散部２０４ｂと組み合わせてもよい。光線発散部２０４を構成する凹レンズの大きさ、屈折率、或いは、曲率は、凹レンズそれぞれについて任意に変更可能である。
以上のように、本実施の形態に係る撮像システム１０では、ランダムカラーフィルタアレイ２０２は、入射した光線を発散させる光線発散部２０４或いは光線発散部２０４ａ、２０４ｂを有することで、位置及び光の波長に応じて異なる光透過率と点拡がり関数とを有し、ランダムな（つまりランダムサンプリングを可能とする）光学フィルタアレイを実現している。ランダムカラーフィルタアレイ２０２において入射した光線を発散させる複数の凹レンズのそれぞれについて、互いに、大きさ、屈折率、及び、曲率のうちの１つ以上が異なるようにすれば、例えば点拡がり関数をランダムにすることができ、ランダムカラーフィルタアレイ２０２のランダム性を向上させることが可能である。この他に、例えば、図６に示すように、ランダムカラーフィルタアレイ２０２における、２次元平面上に２次元配列をなす各位置に３種類のカラーフィルタ２０２ａ〜２０２ｃのうちいずれか１つがランダムに選択されて配置されていれば、ランダムに配置されていない場合に比べて、ランダム性が向上し得る。
以上の説明では、ランダムカラーフィルタアレイ２０２を構成するフィルタは３種類のカラーフィルタ２０２ａ〜２０２ｃとしたが、フィルタを４種類以上にしてもよく、互いに波長特性として光透過率の異なる光学フィルタとして機能するものであれば、必ずしもカラーフィルタでなくてもよい。以下、上述のランダムカラーフィルタアレイ２０２として、４種類のフィルタを利用する形態について、説明する。
図１１は、４種類のフィルタの各波長特性としての光透過率を示す。また、図１２は、４種類のフィルタで構成したランダムカラーフィルタアレイ２０２の凹レンズ及び各フィルタ、並びに、撮像素子２０３の各フォトダイオード２０３ａの、２次元平面上の配置を示す。図１１において、フィルタ１〜３は、カラーフィルタ２０２ａ〜２０２ｃであり、フィルタ４は、全域を透過するフィルタである。図１２においてこのフィルタ４としてのカラーフィルタ２０２ｄをＷで表している。ここでは、ランダムカラーフィルタアレイ２０２における、この全域を透過するフィルタを、便宜上カラーフィルタと称する。このフィルタ４（つまりカラーフィルタ２０２ｄ）は、ランダムカラーフィルタアレイを生成する際、フィルタとしての部材を入れないことで実現可能である。このように部材を入れない部分を設けることで、全域を透過するフィルタを、ランダムカラーフィルタアレイ２０２に含ませると、コストを抑えることができる。また、フィルタの種類を増やすことで、ランダムカラーフィルタアレイ２０２のランダム性を向上させることができる。ランダムカラーフィルタアレイ２０２のランダム性が上がると、圧縮センシングによりカラー画像生成回路１０５が生成するカラー画像の画質が向上する。
上述の実施の形態で、ランダムカラーフィルタアレイ２０２を構成する３種類のカラーフィルタ２０２ａ〜２０２ｃは、それぞれ、Ｒ（赤色）フィルタ、Ｇ（緑色）フィルタ、Ｂ（青色）フィルタであることとしたが、フィルタ特性は、これに限らない。例えば、ランダムカラーフィルタアレイ２０２において、Ｒフィルタ、Ｇフィルタ或いはＢフィルタという原色フィルタに比べて透過帯域の広い補色フィルタ（例えばマゼンタ、シアン、黄色のフィルタ）を利用することとしてもよい。
図１３は、３種類の補色フィルタの各波長特性としての光透過率を示す図である。同図において、フィルタ１は、例えばマゼンタのフィルタであり、フィルタ２は、例えばシアンのフィルタであり、フィルタ３は、例えば黄色のフィルタである。
このような補色フィルタを利用することで、透過帯域が広がるため、ノイズを低減した画像を取得することができる。
もちろん、ランダムカラーフィルタアレイ２０２を構成するフィルタとして、Ｒ、Ｇ、Ｂのカラーフィルタつまり原色フィルタと、波長帯域の全域を透過するフィルタと、補色フィルタとを組み合わせるようにしてもよい。例えば、図１１と図１３とで示した各フィルタを組み合わせてランダムカラーフィルタアレイ２０２を構成してもよい。この場合には、ランダムカラーフィルタアレイ２０２は、７種類のフィルタの組み合わせ及び光線発散部２０４を有することで、ランダム性が向上し得る。
同様に、図５と図１３とで示した各フィルタを組み合わせ、６種類のフィルタの組み合わせ及び光線発散部２０４を有するランダムカラーフィルタアレイ２０２を構成してもよい。例えば、ランダムカラーフィルタアレイ２０２を、６種類のフィルタのうちの６個を透過した光が１つのフォトダイオード２０３ａで受光されるように構成してもよい。この場合には、ランダムカラーフィルタアレイ２０２は、６種類のフィルタの組み合わせ及び光線発散部２０４を有することで、ランダム性が向上し得る。
（画像生成装置１２の処理）
次に、図１４に即して画像生成装置１２（図１参照）における処理について説明する。
図１４は、画像生成装置１２の主要な処理の手順を示すフローチャートである。
画像生成装置１２の受信回路１０４は、撮像装置１１の送信回路１０３が送信した変調画像と変調情報とを受信する（ステップＳ１０１）。
次に、カラー画像生成回路１０５は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、カラー画像を生成する（ステップＳ１０２）。
次に、出力インタフェース装置１０６は、カラー画像生成回路１０５が生成したカラー画像を、ディスプレイに表示したり人検出等の画像処理に利用したりするために出力する（ステップＳ１０３）。
（カラー画像生成処理）
以下、ステップＳ１０２でのカラー画像生成回路１０５によるカラー画像生成処理について、より詳しく説明する。
カラー画像生成処理は、撮像された変調画像をｙ、生成されるカラーＲＧＢ画像である生成画像をｘとした場合、以下のように定式化できる。
ここで、行列Ａは、変調情報を示すサンプリング行列である。サンプリング行列Ａは、変調画像ｙと、生成画像ｘとの関係を示している。例えば、画素数がＮである場合、変調画像ｙはＮ行１列の行列で表現され、生成画像ｘは３Ｎ行１列の行列で表現され、サンプリング行列ＡはＮ行３Ｎ列の行列で表現される。
以下、サンプリング行列Ａの取得方法を説明する。
サンプリング行列Ａは、位置毎にかつ波長帯域に応じて異なる光透過率と点拡がり関数とを示す。そこで、例えば、被写体として撮像素子２０３が撮像する視野の全てを覆うようなモニタを配置し、モニタ上に赤、緑及び青のドット画像を順番に表示しながら撮影することで、サンプリング行列Ａを取得することができる。つまり、正解RGB値が既知のL種類の画像xi（i=1,…,L）を提示し、その際に撮像された変調画像をyiとした場合、以下の関係式が成り立つ。
ここで、サンプリング行列ＡはＮ行３Ｎ列の行列であるため、Lが３N以上であれば、式１’からサンプリング行列Ａを求めることができる。もちろん、このような処理は、実際にモニタ上に画像を表示したり、実際の被写体を配置して行ってもかまわないし、カラーフィルタの波長特性や光線発散部の大きさ、屈折率、及び、曲率などの情報を利用して、コンピュータシミュレーションによって計算してもかまわない。
次に、カラー画像生成回路１０５においてサンプリング行列Ａ及び変調画像ｙから生成画像ｘを取得する方法を説明する。説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６である場合について説明する。
図１５は、撮像素子２０３の画素数がＮ＝１６である場合の変調画像ｙとこの変調画像ｙに基づいて生成される生成画像（カラーＲＧＢ画像）ｘのＲ画像ｒ、Ｇ画像ｇ、Ｂ画像ｂを示す模式図である。この図において、（ａ）は変調画像ｙ、（ｂ）は変調画像ｙに基づいて生成されたカラーＲＧＢ画像の赤（Ｒ）チャネルであるＲ画像ｒ、（ｃ）は変調画像ｙに基づいて生成されたカラー画像の緑（Ｇ）チャネルであるＧ画像ｇ、（ｄ）は変調画像ｙに基づいて生成されたカラー画像の青（Ｂ）チャネルであるＢ画像ｂを示している。変調画像ｙと生成画像ｘとは、次式で表される。
この式２から明らかなように、式１において、未知数であるｘの要素数が４８であり、観測数であるｙの要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式１は、不良設定問題となっている。
撮像システム１０は、この不良設定問題を解くために、圧縮センシング技術を利用する。圧縮センシング技術とは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータを利用して復元処理を行うことで元の信号を復号（復元）する技術である。圧縮センシング処理では、不良設定問題を解くために、事前知識が利用される。
自然画像に対する事前知識として、画像上の近傍位置間における輝度変化の絶対値和であるトータル・バリエーション（Total Variation）（例えば、非特許文献１及び非特許文献２）が利用されてもよい。また、ウェーブレット（Wavelet）変換、ＤＣＴ変換、カーブレット（Curvelet）変換等の線形変換において多くの係数が０になるというスパース性（例えば、非特許文献３）が利用されてもよい。また、上述の線形変換の変換係数を学習によって取得するディクショナリ・ラーニング（Dictionary Learning）（例えば、非特許文献４）等が利用されてもよい。
ここでは、トータル・バリエーションの一種に分類される手法である、デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）について説明する。この手法は、カラー画像の輝度成分と色差成分の勾配とを分離して計算することにより、偽色と呼ばれるアーチファクトの発生を抑制する。これは、以下の評価関数を最小化することで実現される。
この評価関数は、以下の３つの項から成り立っている。
１．データフィデリティ（Data Fidelity）項：｜｜Ａｘ−ｙ｜｜２ ２：式１を満たす
ための拘束項。
２．ダイナミックレンジ（Dynamic Range）項：最小値ｍｉｎを演算するためのｘの範囲（［０，２５５］３×Ｎ）：画素値が０以上２５５以下であるための拘束項。
３．デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）項：Ｊ（ｘ）：カラー画像の輝度成分と色差成分との勾配を分離したトータル・バリエーション（Total Variation）項。
ここで、｜｜Ａｘ−ｙ｜｜２ ２は、Ａｘ−ｙの２乗和（Ｌ２ノルムの２乗）を示す。また、Ｊ（ｘ）は、画像全体における輝度成分及び色差成分に関する近傍画素間の差分に対応し、以下の式４〜式８で表現される。なお、式４〜式８において、Ｒは実数、Ｒ＋は非負の実数を示す。
図１６は、本実施の形態におけるカラー画像生成回路１０５が生成したカラー画像の一例を示す。図１６において、（ａ）は３板式カメラで撮像した正解画像（正解カラー画像）を示す。（ｂ）は一般的なデモザイキング手法であって特許文献１に記載のＡＣＰＩ（Adaptive Color Plane Interpolation）法によるデモザイキング画像を示す。（ｃ）は本実施の形態におけるカラー画像生成回路１０５により、デ・コリレイテッド・ベクトリアル・トータル・バリエーションを用いて、生成した生成画像（復元画像）を示している。本願発明者らは実際にカラー画像を生成し比較したが、図１６では、各画像が、その画像の輝度値（つまり色毎の係数を乗じてＲ、Ｇ及びＢの各成分値を加算することで算定した輝度値）に応じた濃淡により図示されている。また、図１６では、それぞれの画像に対するＰＳＮＲ（Peak Signal-to-Noise Ratio）も示している。
図１６に示すように、本実施の形態の生成画像（復元画像）は、ＡＣＰＩ法よりもＰＳＮＲが１ｄＢ以上向上しており、正解画像に最も近いと言える。
また、圧縮センシングでは、サンプリング行列Ａのランダム性が上がれば上がるほど、復元画像の画質が向上することが知られている。本実施の形態のランダムカラーフィルタアレイ２０２は、光線発散部２０４を有することでサンプリング行列Ａのランダム性を上げており、これにより復元画像の画質が向上し得る。
上述したランダムカラーフィルタアレイ２０２を利用して撮像を行う撮像システム１０によれば、圧縮センシング技術によってカラー画像生成処理が行われることにより、アーチファクトが低減された、高精細のカラー画像を取得することができる。
（実施の形態２）
図１７は、本実施の形態に係る撮像システム１０の構成を示す。本実施の形態に係る撮像システム１０の構成要素のうち、実施の形態１で示した撮像システム１０と同じ構成要素については、図１７において図１と同一の符号を付しており、ここでは説明を適宜省略する。本実施の形態に係る撮像システム１０は、画像生成装置１２において、実施の形態１で示したカラー画像生成回路１０５の代わりに、マルチバンド画像生成回路１０７を備える。この撮像システム１０は、３原色のＲＧＢカラー画像に限られないマルチバンド画像を生成し得る。マルチバンド画像は、光の波長帯域を４以上の領域に分割した信号で表現する画像である。その波長帯域は可視光に限られず、近赤外、赤外、紫外等の波長帯域であってもよく、マルチバンド画像は、例えば近赤外光画像、赤外光画像、紫外光画像等であり得る。
マルチバンド画像生成回路１０７は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、マルチバンド画像を生成する。マルチバンド画像生成回路１０７は、生成されたマルチバンド画像を出力インタフェース装置１０６に送る。
本実施の形態に係る出力インタフェース装置１０６は、マルチバンド画像を、デジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。出力インタフェース装置１０６は、明るいシーンでは可視光のカラー画像を出力し、暗いシーンでは近赤外光画像を出力するよう、出力画像を切り替えるようにしてもよい。
また、本実施の形態に係る撮像システム１０の波長変調部１０１（図１７参照）におけるランダムカラーフィルタアレイ２０２は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ等のカラーフィルタの他に、例えば主として近赤外光を透過するフィルタ等を含む複数種類の光学フィルタの配列として構成され、光線発散部２０４を含むランダム光学フィルタアレイであることとしてもよい。例えば、マルチバンド画像として近赤外光画像を取得する場合において、ランダム光学フィルタアレイには、近赤外光を透過するフィルタを含ませ得る。
以下、図１８に即して本実施の形態に係る画像生成装置１２（図１７参照）における処理について説明する。
図１８は、本実施の形態における画像生成装置１２の主要な処理の手順を示すフローチャートである。同図において、図１４と同じ要素には、同一の符号を付している。
画像生成装置１２の受信回路１０４は、送信回路１０３が送信した変調画像と変調情報を受信する（ステップＳ１０１）。
次にマルチバンド画像生成回路１０７は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、マルチバンド画像を生成するマルチバンド画像生成処理を行う（ステップＳ１０４）。
次に、出力インタフェース装置１０６は、マルチバンド画像生成回路１０７が生成したマルチバンド画像を、ディスプレイに表示したり人検出等の画像処理に利用したりするために出力する（ステップＳ１０５）。
（マルチバンド画像生成処理）
以下、ステップＳ１０４でのマルチバンド画像生成処理について、より詳しく説明する。
マルチバンド画像の生成処理は、撮像された変調画像をｙ’、生成されるＭバンドのマルチバンド画像をｘ’とした場合（Ｍは４以上の整数）、以下のように定式化できる。
ここで、行列Ａは、変調情報を示すサンプリング行列である。
説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６（図１５参照）であるとすると、この変調画像ｙ’と、この変調画像ｙ’に基づいて生成されるマルチバンド画像である生成画像ｘ’とは、次式で表される。生成画像ｘ’を、Ｍ個のチャネルそれぞれの画像に分けて表すと図１９に示すようになる。
この式１０から明らかなように、式９において未知数であるｘ’の要素数が１６Ｍであり、観測数であるｙ’の要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式９は、不良設定問題となっている。しかし、実施の形態１で示したように、圧縮センシング技術を利用することでこの不良設定問題を解くことができる。本実施の形態の撮像によりマルチバンド画像を生成する撮像システム１０についても、実施の形態１で示した各種技術を適用し得る。
以上のように、本実施の形態の撮像システム１０は、ランダムカラーフィルタアレイ２０２或いはランダム光学フィルタアレイを利用して撮像を行い、圧縮センシング技術によってマルチバンド画像生成処理を行うことにより、アーチファクトを低減し、高精細のマルチバンド画像を取得することができる。
（他の実施の形態）
以上のように、本開示に係る技術の例示として実施の形態１、２を説明した。しかしながら、本開示に係る技術は、これらの実施の形態に限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。即ち、本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施した形態、互いに異なる実施の形態における構成要素を組み合わせて構築される形態等は、本開示に係る技術の一実施態様に含まれる。例えば、以下のような変形例も本開示に係る技術の一実施態様に含まれる。
上記実施の形態では、撮像システム１０が撮像装置１１と画像生成装置１２とを備える例を示したが、本開示に係る画像生成装置は、上述した撮像装置１１を包含したものであってもよく、つまり、上述した撮像システム１０で構成されてもよい。
上記実施の形態では、カラー画像或いはマルチバンド画像を生成する撮像システム１０を示したが、撮像システム１０は、光の任意の波長帯域を２つ以上の領域に分割した信号で表現する画像を生成することとしてもよく、例えば、撮像システム１０が、赤外光領域を３つの領域に分割した信号で表現する画像を生成することとしてもよい。
また、上述した結像光学系２０１は、結像のためにレンズを用いるものに限られず、例えば反射鏡等を用いるものであってもよい。
また、上記実施の形態では図４、図７等で、光線発散部２０４が入射光を透過してフォトダイオード２０３ａへ導く凹レンズで構成される例を示した。凹レンズは、入射した平行光束の光を収束させずに発散させるレンズである。凹レンズは、例えば、入射光を受光する受光面又はその受光面の反対の面が、凹レンズの中心に向かって凹む形状を有する。図４及び図７の例では、光線発散部２０４を構成する凹レンズは、フォトダイオード２０３ａへ向かう入射光が凹レンズに入射する面の形状が凹面であり、凹レンズを透過した光が出射する面の形状が平面である平凹レンズとなっている。この例と逆に、光線発散部２０４を構成する凹レンズは、フォトダイオード２０３ａへ向かう入射光が凹レンズに入射する面の形状が平面であり、凹レンズを透過した光が出射する面の形状が凹面である平凹レンズであってもよい。また、ランダムカラーフィルタアレイ２０２或いはランダム光学フィルタアレイにおいて光線発散部２０４を、図２０に示すように、凹面をレンズの表裏の２面に有する両凹レンズで構成される光線発散部２０４ｃに置き換えてもよい。また、上記実施の形態では、凹レンズの凹面の形状は、例えば、球面と同様の形状であることとしたが、球面に限られず、例えば、回転２次曲面であってもよい。また、凹レンズの外周は円に限られず、例えば楕円であってもよい。また、凹レンズの凹面の形状が、例えば、円柱の側面と同様の形状であってもよい。この場合に凹レンズは、レンズの光軸に垂直な特定方向から見た、レンズの光軸を通る断面において円弧の形状の凹部を有するが、レンズの光軸及びその特定方向の両方に垂直な他の方向から見た、レンズの光軸を通る断面において凹部を有しない形状となる。また、凹レンズは、互いに異なる材質で構成される層を複数重ねた構造を有してもよいし、単一の材料で形成されてもよい。
また、上記の実施の形態で示した撮像システム１０の各構成要素（特に、各回路等）は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェア（プログラム）を実行することによって実現されてもよい。各構成要素は、マイクロプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記憶媒体（或いは記録媒体）に記録されたプログラムを読み出して実行することによって、実現されてもよい。
また、撮像装置１１に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。同様に、画像生成装置１２に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。また、例えば、上記実施の形態における特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、上記実施の形態における各種処理の実行順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
以上説明したように本開示に係る画像生成装置は、複数種類の光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ、或いは、補色フィルタ、可視光以外を主として透過するフィルタ等）と複数の凹レンズ（例えば光線発散部２０４、２０４ａ〜２０４ｃ等を構成する凹レンズ）と、ランダム光学フィルタアレイを透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂと、そのデジタルデータとランダム光学フィルタアレイの変調情報とを用いて画像を生成する生成回路（例えばカラー画像生成回路１０５、マルチバンド画像生成回路１０７等）とを備え、その複数の凹レンズは、複数種類の光学フィルタとフォトダイオード２０３ａとの間、又は複数種類の光学フィルタの前（例えば結像光学系２０１を通過した光が光学フィルタに至るまでの光路上）に位置する。これにより、複数の凹レンズでの光の発散により、波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタのいくつかを透過した光を受光する、各画素としてのフォトダイオード２０３ａが、十分な情報を取得することができるので、解像度の低下が抑制され、適切な画像が生成され得る。
また、例えば、上述した複数の凹レンズの各々は、互いに、大きさ、屈折率、及び、曲率のうちの１つ以上が異なることとしてもよい。
また、例えば、画像生成装置は、上述した複数の凹レンズの前に凸レンズ（例えば結像光学系２０１を構成する凸レンズ）を備え、その複数の凹レンズは、その凸レンズを透過した光を、複数の光学フィルタを透過するように発散させることとしてもよい。
また、例えば、光学フィルタは、カラーフィルタ２０２ａ〜２０２ｃであり、ランダム光学フィルタアレイは、ランダムカラーフィルタアレイ２０２であり、ランダムカラーフィルタアレイ２０２は、複数種類のカラーフィルタ２０２ａ〜２０２ｃをランダムに配置し、生成回路は、カラー画像生成回路１０５であることとしてもよい。
また、例えば、生成回路は、マルチバンド画像生成回路１０７であることとしてもよい。
また、例えば、生成回路（例えばカラー画像生成回路１０５、マルチバンド画像生成回路１０７等）は、圧縮センシング技術を用いて画像を生成することとしてもよい。
また、本開示に係る撮像装置は、複数種類の光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ等）と複数の凹レンズ（例えば光線発散部２０４、２０４ａ〜２０４ｃ等を構成する凹レンズ）とを有するランダム光学フィルタアレイ（例えばランダムカラーフィルタアレイ２０２）と、ランダム光学フィルタアレイを透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂとを備え、その複数の凹レンズは、複数種類の光学フィルタとフォトダイオード２０３ａとの間、又は複数種類の光学フィルタの前に位置する。これにより、複数の凹レンズでの光の発散により、波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタのいくつかを透過した光を受光し得るので、各画素としてのフォトダイオード２０３ａが、十分な情報を取得し得る。
本開示に係る撮像システムは、各種カメラに適用可能である。
１０ 撮像システム
１１ 撮像装置
１２ 画像生成装置
１０１ 波長変調部
１０２ 変調画像取得部
１０３ 送信回路
１０４ 受信回路
１０５ カラー画像生成回路
１０６ 出力Ｉ／Ｆ（インタフェース）装置
１０７ マルチバンド画像生成回路
２０１ 結像光学系
２０２ ランダムカラーフィルタアレイ
２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ カラーフィルタ
２０３ 撮像素子
２０３ａ フォトダイオード
２０３ｂ ＡＤ変換部
２０４、２０４ａ〜２０４ｃ 光線発散部
２０６ 従来のカラーフィルタアレイ

Claims (7)

  1. 透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、
    前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、
    前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、
    前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、
    前記複数の凹レンズは、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する
    画像生成装置。
  2. 前記複数の凹レンズの各々は、互いに、大きさ、屈折率、及び、レンズの凹面を規定する曲率のうちの１つ以上が異なる
    請求項１に記載の画像生成装置。
  3. 前記画像生成装置は、凸レンズを備え、
    前記複数の光学フィルタが前記複数の凹レンズと前記フォトダイオードとの間に位置する場合は、前記複数の凹レンズは前記凸レンズと前記複数の光学フィルタの間に位置し、 前記複数の凹レンズは、前記凸レンズを透過した光を、前記複数の光学フィルタを透過するように発散させる
    請求項１又は２記載の画像生成装置。
  4. 前記複数の光学フィルタは、複数のカラーフィルタであり、
    前記ランダム光学フィルタアレイは、前記複数のカラーフィルタをランダムに配置し、
    前記生成回路が生成する前記画像は、カラー画像である
    請求項１〜３のいずれか一項に記載の画像生成装置。
  5. 前記生成回路が生成する前記画像は、光の波長帯域を４以上の領域に分割した信号で表現する画像である
    請求項１〜３のいずれか一項に記載の画像生成装置。
  6. 前記生成回路は、圧縮センシング技術を用いて前記画像を生成する
    請求項１〜５のいずれか一項に記載の画像生成装置。
  7. 透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、
    前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、
    前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、
    前記複数の凹レンズは、前記複数の光学フィルタと前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する
    撮像装置。
JP2017244714A 2017-03-29 2017-12-21 画像生成装置及び撮像装置 Active JP6966934B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017066108 2017-03-29
JP2017066108 2017-03-29

Publications (2)

Publication Number Publication Date
JP2018170757A true JP2018170757A (ja) 2018-11-01
JP6966934B2 JP6966934B2 (ja) 2021-11-17

Family

ID=63669901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017244714A Active JP6966934B2 (ja) 2017-03-29 2017-12-21 画像生成装置及び撮像装置

Country Status (3)

Country Link
US (1) US10446600B2 (ja)
JP (1) JP6966934B2 (ja)
CN (1) CN108696728B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022162801A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2022162800A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190172385A1 (en) * 2017-12-01 2019-06-06 Innolux Corporation Display device and detecting method for signal from subject using the same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5151790A (en) 1990-07-23 1992-09-29 Fuji Photo Film Co., Ltd. Image pickup device for stabilizing optical aberrations
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US6737719B1 (en) * 2002-10-25 2004-05-18 Omnivision International Holding Ltd Image sensor having combination color filter and concave-shaped micro-lenses
JP2008270423A (ja) 2007-04-18 2008-11-06 Rosnes:Kk 固体撮像装置
JP5010533B2 (ja) * 2008-05-21 2012-08-29 株式会社リコー 撮像装置
CN102812709B (zh) * 2009-11-20 2015-11-25 M·辛格 压缩彩色图像采样和重建的方法和系统
US8400555B1 (en) * 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
JP5237978B2 (ja) * 2010-02-12 2013-07-17 パナソニック株式会社 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
CN102068277B (zh) * 2010-12-14 2013-03-13 哈尔滨工业大学 基于压缩感知的单阵元多角度观测光声成像装置及方法
JP6361965B2 (ja) 2013-10-24 2018-07-25 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、符号化装置、および撮像方法
JP6653460B2 (ja) 2015-09-08 2020-02-26 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、画像生成装置およびカラーフィルタ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022162801A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2022162800A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子

Also Published As

Publication number Publication date
US20180286906A1 (en) 2018-10-04
US10446600B2 (en) 2019-10-15
CN108696728A (zh) 2018-10-23
JP6966934B2 (ja) 2021-11-17
CN108696728B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
JP6975897B2 (ja) 画像生成装置及び撮像装置
TWI480583B (zh) 以色相關波前編碼延伸透鏡系統景深的系統及其方法
JP5406383B2 (ja) 撮像装置
EP2630788A1 (en) System and method for imaging using multi aperture camera
US10209440B2 (en) Imaging sensor with Bragg filter and method of manufacturing the same
JP2004228662A (ja) 撮像装置
JP6653460B2 (ja) 撮像装置、撮像システム、画像生成装置およびカラーフィルタ
JP6966934B2 (ja) 画像生成装置及び撮像装置
JP2018107731A (ja) 画像生成装置及び撮像装置
EP3131292B1 (en) Plenoptic camera comprising a shuffled color filter array
US20140307135A1 (en) Color imaging element
US8976275B2 (en) Color imaging element
JP2015185943A (ja) フィルタアレイ付マイクロレンズおよび固体撮像装置
US8675093B2 (en) Image capturing apparatus and image processing method
US9645290B2 (en) Color filter array and solid-state image sensor
Rueda et al. Compressive spectral imaging based on colored coded apertures
JP2015211430A (ja) 撮像装置および演算回路
US8736722B2 (en) Enhanced image capture sharpening
US10032253B2 (en) Imaging apparatus, imaging system, imaging method, and recording medium
JP6655790B2 (ja) 撮像装置及び撮像システム
JP7415464B2 (ja) 映像処理装置、映像処理方法およびプログラム
US20220408035A1 (en) Computational High-Speed Hyperspectral Infrared Camera System
US20230402485A1 (en) Imaging system using spatially separated spectral arrays

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211022

R151 Written notification of patent or utility model registration

Ref document number: 6966934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151