CN108696728A - 图像生成装置及拍摄装置 - Google Patents

图像生成装置及拍摄装置 Download PDF

Info

Publication number
CN108696728A
CN108696728A CN201810237992.8A CN201810237992A CN108696728A CN 108696728 A CN108696728 A CN 108696728A CN 201810237992 A CN201810237992 A CN 201810237992A CN 108696728 A CN108696728 A CN 108696728A
Authority
CN
China
Prior art keywords
light
image
photodiode
filters
filter array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810237992.8A
Other languages
English (en)
Other versions
CN108696728B (zh
Inventor
佐藤智
渡边尚志
吾妻健夫
登生
登一生
若井信彦
安藤贵真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108696728A publication Critical patent/CN108696728A/zh
Application granted granted Critical
Publication of CN108696728B publication Critical patent/CN108696728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/65—Circuits for processing colour signals for synchronous modulators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及图像生成装置及拍摄装置。作为图像生成装置的拍摄系统具备：随机彩色滤波器阵列(202)，其具有透射特性不同的多个彩色滤波器(202a～202c)和多个凹透镜；光电二极管(203a)，其接收透过随机彩色滤波器阵列(202)后的光；AD变换部(203b)，其将由光电二极管(203a)接收到的光变换为数字数据；以及彩色图像生成电路(105)，其使用该数字数据和随机光学滤波器阵列的调制信息来生成图像，多个凹透镜位于多个彩色滤波器(202a～202c)与光电二极管(203a)之间，或者，多个彩色滤波器(202a～202c)位于多个凹透镜与光电二极管之间。

Description

图像生成装置及拍摄装置
技术领域
本公开涉及使用了压缩感知(compressed sensing)技术的图像生成装置等。
背景技术
为了拍摄彩色图像，有时需要取得与光的三原色相当的红(R)、绿(G)以及蓝(B)这3个不同的波长范围的信息。也存在用3个图像传感器取得R、G以及B的信息的彩色拍摄装置。但是，大多的彩色拍摄装置为了小型化以及低成本化而仅搭载1个图像传感器。因此，大多的彩色拍摄装置用1个图像传感器取得R、G以及B的信息。
以往，已知如下的方法，即按每个像素取得R、G以及B中的1个波长范围的信息，通过进行被称为去马赛克(demosaicing)的处理，按每个像素取得R、G以及B这3个波长范围的信息。
图21是示出了被广泛利用的拜耳阵列的示意图(例如，专利文献1)。在拜耳阵列中，接近人的视觉特性的G像素占整体像素的1/2，R以及B像素分别占整体像素的1/4。并且，通过去马赛克处理，针对所有的像素取得R、G以及B这3个波长范围的信息。
另一方面，在专利文献2中，公开了以随机的颜色图案配置滤光器要素，并针对采样数据集合应用压缩感知技术，由此进行去马赛克的技术。
现有技术文献
专利文献
专利文献1：美国专利第5629734号说明书
专利文献2：日本特表2013-511924号公报
非专利文献
非专利文献1：Rudin L.I.,Osher S.J.,and Fatemi E.:Nonlinear totalvariation based noise removal algorithms.Physica D,vol.60,pp.259-268,1992.
非专利文献2：Shunsuke Ono,Isao Yamada,“Decorrelated Vectorial TotalVariation”,IEEE Conference on Computer Vision and Pattern Recognition,2014.
非专利文献3：J.Ma,“Improved Iterative Curvelet Thresholding forCompressed Sensing and Measurement”,IEEE Transactions on Instrumentation&Measurement,vol.60,no.1,pp.126-136,2011.
非专利文献4：M.Aharon,M.Elad,and A.M.Bruckstein,“K-SVD:An Algorithmfor Designing Overcomplete Dictionaries for Sparse Representation,”IEEETransactions on Image Processing,vol.54,no.11,pp.4311-4322,2006.
发明内容
但是，在专利文献1以及2的方法中，在图像传感器的各像素中，仅取得R、G以及B中的1个波长范围的信息。因此，去马赛克后的彩色图像的分辨率降低，可能产生被称为伪色(false color)的伪像(artifact)。
本公开作为非限定性的例示的一个技术方案，提供一种能够抑制分辨率的降低，生成恰当的图像的图像生成装置。另外，本公开的作为非限定性的例示的一个技术方案是用于生成恰当的图像的拍摄装置。从本说明书以及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征提供而得到，无需为了获得1个以上的益处和/或优点而实施所有的实施方式及特征。
本公开的一个技术方案的图像生成装置具备：随机光学滤波器阵列，其具有透射特性不同的多个光学滤波器和多个凹透镜；光电二极管，其接收透过所述随机光学滤波器阵列后的光；AD变换部，其将由所述光电二极管接收到的光变换为数字数据；以及生成电路，其使用所述数字数据和所述随机光学滤波器阵列的调制信息来生成图像，所述多个凹透镜位于所述多个种类的光学滤波器与所述光电二极管之间，或者所述多个光学滤波器位于所述多个凹透镜与所述光电二极管之间。
另外，本公开的一个技术方案的拍摄装置具备：随机光学滤波器阵列，其具有透射特性不同的多个光学滤波器和多个凹透镜；光电二极管，其接收透过所述随机光学滤波器阵列后的光；以及AD变换部，其将由所述光电二极管接收到的光变换为数字数据，所述多个凹透镜位于所述多个光学滤波器与所述光电二极管之间，或者，所述多个光学滤波器位于所述多个凹透镜与所述光电二极管之间。
上述总括性或者具体的技术方案既可以通过系统、方法、计算机程序、计算机可读取的记录介质来实现，也可以通过装置、系统、方法、计算机程序以及计算机可读取的记录介质的组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read OnlyMemory)等非易失性的记录介质。
根据本公开，能够抑制分辨率的降低，生成恰当的图像。本公开的一个技术方案的附加的益处以及优点会从本说明书以及附图中明确。该益处和/或优点能够通过本说明书以及附图中公开的各种技术方案以及特征独立地提供，无须为了得到1个以上的益处和/或优点而实施所有的技术方案以及特征。
附图说明
图1是示出实施方式1的拍摄系统的结构的示意图。
图2是示出拍摄系统中的波长调制部以及调制图像取得部的结构的详细的图。
图3是示出拍摄系统中的随机彩色滤波器阵列以及拍摄元件的结构的示意图。
图4是包括随机彩色滤波器阵列的拍摄系统的示意图。
图5是示出作为实施方式的3个种类的滤波器的波长特性的透射率的图。
图6是示出由凹透镜以及3个种类的滤波器构成的随机彩色滤波器阵列以及拍摄元件的二维平面上的配置的示意图。
图7是示出由凹透镜以及3个种类的滤波器构成的随机彩色滤波器阵列以及拍摄元件的截面的示意图。
图8是以往的彩色拍摄装置中的彩色滤波器阵列的示意图。
图9是示出变形例1的由凹透镜以及3个种类的滤波器构成的随机彩色滤波器阵列以及拍摄元件的二维平面上的配置的示意图。
图10是变形例2的由凹透镜以及3个种类的滤波器构成的随机彩色滤波器阵列以及拍摄元件的二维平面上的配置的示意图。
图11是示出作为实施方式的4个种类的滤波器的波长特性的透射率的图。
图12是示出由凹透镜以及4个种类的滤波器构成的随机彩色滤波器阵列以及拍摄元件的二维平面上的配置的示意图。
图13是示出作为3个种类的补色滤波器的波长特性的透射率的图。
图14是示出实施方式1的拍摄系统中的图像生成装置的主要处理的步骤的流程图。
图15是示出拍摄元件的像素数为N＝16的情况下的调制图像和生成图像的示意图。
图16示出实施方式1中的彩色图像生成电路等所生成的彩色图像的一例。
图17是示出实施方式2的拍摄系统的结构的示意图。
图18是示出实施方式2的拍摄系统中的图像生成装置的主要处理的步骤的流程图。
图19是示出拍摄元件的像素数为N＝16的情况下的生成图像(多频带图像)的示意图。
图20是示出凹透镜的形状的其它例的截面图。
图21是示出拜耳阵列的示意图。
标号的说明
10 拍摄系统
11 拍摄装置
12 图像生成装置
101 波长调制部
102 调制图像取得部
103 发送电路
104 接收电路
105 彩色图像生成电路
106 输出I/F(接口)装置
107 多频带图像生成电路
201 成像光学系统
202 随机彩色滤波器阵列
202a、202b、202c、202d 彩色滤波器
203 拍摄元件
203a 光电二极管
203b AD变换部
204、204a～204c 光线发散部
206 以往的彩色滤波器阵列
具体实施方式
(成为本公开的基础的见解)
在专利文献1以及2所记载的技术中，在1个像素中，仅取得R(红色)、G(绿色)以及B(蓝色)中的任意一个的信息。因此，所取得的信息不一定很充分，存在无法生成分辨率高的恰当的图像的可能性。
与此相对，例如将R、G以及B的各波长频带的信息进行混合而赋予给各像素，并且，对像素组随机地进行该信息的混合，由此，从各像素得到更多的信息，从所得到的信息中利用压缩感知技术能够生成适当的图像。例如，使用主要透过R的波长频带的R滤波器、主要透过G的波长频带的G滤波器、主要透过B的波长频带的B滤波器合计3个种类的彩色滤波器等较少种类的光学滤波器，针对像素组模拟地实现随机的信息的混合是有用的。例如，在拍摄元件所接收的光的光路上，设置通过配置由不使入射的平行光束收敛而使其发散的凹透镜等构成的光线发散部和比较少的种类的各光学滤波器而构成的随机光学滤波器阵列，并进行拍摄。由此，通过光线发散部的光的发散使得透过各光学滤波器后的光也被1个像素以及附近像素接收，会对各像素赋予较多的信息，因此，会有可能生成分辨率高的适当的图像。这样，与对像素仅赋予R、G以及B中的任意一个的信息来防止混色的以往技术不同，本公开的技术，使用光线发散部来通过光的发散产生例如混色等，由此，能够生成分辨率高的图像。基于以上的见解，以下，对本公开的图像生成装置等进行说明。
本公开的一个技术方案的图像生成装置具备：随机光学滤波器阵列，其具有透射特性不同的多个光学滤波器和多个凹透镜；光电二极管，其接收透过所述随机光学滤波器阵列后的光；AD变换部，其将由所述光电二极管接收到的光变换为数字数据；以及生成电路，其使用所述数字数据和所述随机光学滤波器阵列的调制信息来生成图像，所述多个凹透镜位于所述多个种类的光学滤波器与所述光电二极管之间，或者所述多个光学滤波器位于所述多个凹透镜与所述光电二极管之间。在此，关于相同种类的光学滤波器彼此，涉及光的波长与光透射率的关系的波长特性相同，关于相互不同的种类的光学滤波器彼此，涉及光的波长与光透射率的关系的波长特性不同。凹透镜位于多个种类的光学滤波器与光电二极管之间、或者位于多个种类的光学滤波器之前(也即是作为光电二极管的接收区域的受光面的前方)，例如配置在通过凸透镜等成像光学系统部件后的光到达受光面之前的光路上。即，(1)使凹透镜位于多个种类的光学滤波器与光电二极管之间，或者(2)使凹透镜配置在通过凸透镜等成像光学系统部件后的光入射到多个种类的光学滤波器之前的光路上，并且，使多个种类的光学滤波器位于凹透镜与光电二极管之间。随机光学滤波器阵列的调制信息，是与在大致平面上配置多个光学滤波器并包含多个凹透镜的随机光学滤波器阵列中的光透射率相关的信息，其光透射率可能根据该平面上的位置以及光的波长而变化。此外，调制信息也与同多个凹透镜对应的点扩散函数相关，该点扩散函数能够根据该平面上的位置而变化。
由此，从涉及光的波长与透射率的关系的波长特性相互不同的多个光学滤波器透过的光会发散而被光电二极管接收，作为各像素的光电二极管能够取得充分的信息，因此，分辨率的降低被抑制，能够生成适当的图像。
另外，例如也可以是，所述多个凹透镜中的各凹透镜的大小、折射率以及规定透镜的凹面的曲率中的1个以上相互不同。
利用这样相互不同的多个凹透镜，随机光学滤波器阵列在多个波长频带的光所透过的任意的位置，会具有相互不同的点扩散函数。因此，点扩散函数不是根据简单的规则而是随机的，能够实现具有充分的随机性的随机光学滤波器阵列。
另外，例如也可以是，在所述图像生成装置具备凸透镜，所述多个光学滤波器位于所述多个凹透镜与所述光电二极管之间的情况下，所述多个凹透镜位于所述凸透镜与所述多个光学滤波器之间，所述多个凹透镜使透过所述凸透镜后的光发散，以使得透过所述凸透镜后的光透过所述多个光学滤波器。
由此，透过凸透镜后的光在到达光电二极管之前在凹透镜被发散，由此透过多个光学滤波器，因此，会对像素赋予较多的信息。
另外，例如也可以是，所述多个光学滤波器是多个彩色滤波器，所述随机光学滤波器阵列随机地配置所述多个彩色滤波器，所述生成电路所生成的所述图像是彩色图像。
由此，例如透过随机地配置的R滤波器、G滤波器以及B滤波器等彩色滤波器的多个组中的各个组后的光在凹透镜被发散，由此在附近像素的光电二极管组中被相加，基于调制信息例如通过压缩感知技术能够生成分辨率高的适当的彩色图像。
另外，例如也可以是，所述生成电路所生成的所述图像是用将光的波长频带分割为4个以上的区域而得到的信号表现的图像、即多频带图像。
由此，能够生成分辨率高的多频带图像。此外，例如也可以是，以包含用于透过可见光以外的波长频带的光的光学滤波器的方式构成随机光学滤波器阵列。
另外，例如也可以是，所述生成电路使用压缩感知技术来生成所述图像。
通过该压缩感知，能够恰当地生成图像。
另外，本公开的一个技术方案的拍摄装置具备：随机光学滤波器阵列，其具有透射特性不同的多个光学滤波器和多个凹透镜；光电二极管，其接收透过所述随机光学滤波器阵列后的光；以及AD变换部，其将由所述光电二极管接收到的光变换为数字数据，所述多个凹透镜位于所述多个光学滤波器与所述光电二极管之间，或者，所述多个光学滤波器位于所述多个凹透镜与所述光电二极管之间。
由此，透过涉及光的波长与透射率的关系的波长特性相互不同的多个光学滤波器的光会发散而被光电二极管接收，作为各像素的光电二极管会能够取得充分的信息。因此，能够使用各像素的信息生成分辨率比较高的适当的图像。
此外，这些概括性或具体的各种技术方案中包括装置、系统、方法、集成电路、计算机程序、计算机可读记录介质等1个或多个的组合。
以下，参照附图，对本公开中的涉及图像生成装置的拍摄系统的实施方式进行说明。在此示出的实施方式都不过是一例。因此，在以下的实施方式中示出的数值、形状、材料、结构要素、结构要素的配置及连接方式、以及步骤和步骤的顺序等，都是一例，不是限定性的内容。以下的实施方式中的结构要素中未记载于独立权利要求的结构要素，是能够任意地附加的结构要素。另外，各图是示意图，不一定是严格的图示。
(实施方式1)
图1示出本实施方式的拍摄系统10的结构。拍摄系统10具备拍摄装置11和图像生成装置12。
拍摄装置11具有波长调制部101、调制图像取得部102以及发送电路103。另一方面，图像生成装置12具有接收电路104、彩色图像生成电路105、输出I/F(接口)装置106。拍摄装置11和图像生成装置12也可以一体化。当然，在拍摄装置11和图像生成装置12一体化的情况下，能够省略发送电路103以及接收电路104。
(拍摄装置11)
首先，参照图2对拍摄装置11进行说明。
图2示出波长调制部101以及调制图像取得部102的结构的详细。
如图2所示，波长调制部101与成像光学系统201以及随机彩色滤波器阵列202对应。另外，调制图像取得部102与拍摄元件203对应。
(成像光学系统201)
成像光学系统201至少具有1个或多个透镜和透镜位置调整机构(均未图示)。1个或多个透镜汇集来自被拍摄对象的光，将光信号成像。光信号表示被拍摄对象的像。透镜位置调整机构例如是控制用于调整由透镜成像的成像位置的致动器以及致动器的驱动量的控制电路(控制器)。此外，在1个或多个透镜的焦点被固定的情况下，不需要透镜位置调整机构。另外，也可以如针孔摄像头那样，不利用透镜地使光信号成像。
成像光学系统201也能够称为光学系统。
(拍摄元件203)
图3示出随机彩色滤波器阵列202以及拍摄元件203的结构的详细的一例。
拍摄元件203包括多个光电二极管203a和至少1个AD变换部203b而构成。
光电二极管203a接收由成像光学系统201成像后的光信号，AD变换部203b接收光电二极管203a的输出信号，并变换为数字信号。数字信号示出按各像素调制后的图像即调制图像。即，拍摄元件203生成调制图像。拍摄元件203配置于透镜的焦距的位置。
拍摄元件203包括接收由光学系统聚光后的光并输出电信号的多个像素。像素与光电二极管203a对应。拍摄元件203的多个光电二极管203a与多个电信号是1对1地对应的。
(随机彩色滤波器阵列202)
随机彩色滤波器阵列202包括多个种类的彩色滤波器202a～202c和光线发散部204。随机彩色滤波器阵列202例如具备将多个彩色滤波器202a～202c中的各彩色滤波器配置在大致平面上的相互不同的位置而成的彩色滤波器的集合体和多个光线发散部204。随机彩色滤波器阵列202配置在光电二极管203a的受光面之前，也即是，随机彩色滤波器阵列202配置在从成像光学系统201输出的光入射到拍摄元件203之前的光路上，例如，配置在成像光学系统201的出光面与光电二极管203a的受光面之间。在随机彩色滤波器阵列202中，多个种类的彩色滤波器202a～202c配置在从成像光学系统201输出的光入射到光电二极管203a的受光面之前的光路上。光线发散部204配置在成像光学系统201与光电二极管203a之间。光线发散部204也可以配置在成像光学系统201与多个种类的彩色滤波器202a～202c之前，即，光线发散部204也可以配置在成像光学系统201与多个种类的彩色滤波器202a～202c之间。光线发散部204也可以配置在彩色滤波器202a～202c之后且拍摄元件203之前，即，光线发散部204也可以配置在彩色滤波器202a～202c与拍摄元件203之间。在此，主要使用光线发散部204配置在多个种类的彩色滤波器202a～202c之前、即光线发散部204配置在成像光学系统201与多个种类的彩色滤波器202a～202c之间的例子来进行说明。
光线发散部204由凹透镜构成，凹透镜是不使入射至光线发散部204的平行光束收敛而使其发散的透镜。在图3的例子中，作为光线发散部204的凹透镜是平凹透镜，来自成像光学系统201的光入射至凹透镜的面是凹面形状，入射至凹透镜的光从凹透镜出射的面是平面形状。
彩色滤波器202a、彩色滤波器202b、彩色滤波器202c是相互不同种类(也即是，涉及光的波长与透射率的关系的波长特性)的彩色滤波器。作为一例，1个种类的彩色滤波器202a是主要透过R的波长频带的R滤波器，另一个种类的彩色滤波器202b是主要透过G的波长频带的G滤波器，再另一个种类的彩色滤波器202c是主要透过B的波长频带的B滤波器。
图3的例子示出在随机彩色滤波器阵列202中与1个光电二极管203a对应地配置3个种类的彩色滤波器202a～202c中的1个彩色滤波器。各种类的彩色滤波器202a～202c的二维平面上的配置(也即是二维排列)例如可能是拜耳阵列(参照图21)。
随机彩色滤波器阵列202也可以与拍摄元件203的受光面相接触地配置。也可以是，随机彩色滤波器阵列202在拍摄元件203之前从前表面隔开间隔地配置，也即是，随机彩色滤波器阵列202与拍摄元件203的受光面非接触并且配置在拍摄元件203的受光面侧。在该情况下，随机彩色滤波器阵列202与受光面间的距离，比随机彩色滤波器阵列202与拍摄元件203的受光面的相反侧的面间的距离短。此外，在本实施方式中，随机彩色滤波器阵列202所包含的彩色滤波器202a～202c与拍摄元件203的受光面非接触并且配置在拍摄元件203的受光面侧。
随机彩色滤波器阵列202用于对入射到拍摄元件203的多个波长频带的光进行滤波，使用随机彩色滤波器阵列202拍摄到的图像被称为调制图像。随机彩色滤波器阵列202，在多个波长频带的光所透过的任意的位置具有不同的光透射率和不同的点扩散函数。在此所说的“位置”意味着具有一定的面积的微小区域的位置。设为包括大致平面形状的各彩色滤波器202a～202c的随机彩色滤波器阵列202是大致平面形状，按该平面上的各微小区域的各位置，光透射率以及点扩散函数能够不同。这样的按各位置的光透射率以及点扩散函数，通过构成随机彩色滤波器阵列202的多个种类的彩色滤波器202a～202c的波长特性、随机彩色滤波器阵列202的配置、光线发散部204的结构以及配置来决定，称为调制信息。此外，光线发散部204的结构也可以意味材质。另外，在光线发散部204为凹透镜的情况下，光线发散部204的结构也可以由例如凹透镜的大小、折射率、规定透镜的凹面的曲率中的至少1个来规定。各微小区域的面积，例如既可以与拍摄元件203的各光电二极管203a的受光面积相等，又可以比该受光面积小。此外，光透射率也能够根据透过的波长(波长频带)而不同。
多个光电二极管203a和随机彩色滤波器阵列202的上述的多个微小区域的位置也可以是1对1对应的。
随机彩色滤波器阵列202的更详细的情况在下面进行说明。
(发送电路103)
发送电路103将由拍摄元件203拍摄到的调制图像和与随机彩色滤波器阵列202对应地设定的调制信息向图像生成装置12发送。调制信息表示作为按各位置的波长特性的光透射率和点扩散函数。发送也可以通过有线通信以及无线通信中的任意一个来进行。
此外，在本实施方式中，拍摄系统10具备发送电路103以及接收电路104，料想大致实时地对调制图像以及调制信息进行发送接收并进行处理。但是，拍摄系统10也可以具备用于保存调制图像以及调制信息的存储装置(例如硬盘驱动器)，非实时地进行处理。
(图像生成装置12)
再次参照图1，分别对图像生成装置12的接收电路104、彩色图像生成电路105以及输出接口装置106进行说明。
(接收电路104)
接收电路104接收从拍摄装置11输出的调制图像和调制信息。接收电路104与发送电路103之间的通信，既可以是有线通信，也可以是无线通信。此外，即便假定为发送电路103通过有线通信发送调制图像以及调制信息，也可以通过经由将有线通信变换为无线通信的设备，由接收电路104以无线的方式接收这些信息。反之亦然。
(彩色图像生成电路105)
彩色图像生成电路105利用接收电路104所接收到的调制图像以及调制信息来生成彩色图像。关于生成彩色图像的处理(称为彩色图像生成处理)的详细，后述。彩色图像生成电路105将所生成的彩色图像发送给输出接口装置106。
(输出接口装置106)
输出接口装置106是影像输出端子等。输出接口装置106将彩色图像作为数字信号或者作为模拟信号向图像生成装置12的外部输出。
(随机彩色滤波器阵列202的详细)
接下来，参照图4～图7对随机彩色滤波器阵列202更详细地进行说明。
图4是包括随机彩色滤波器阵列202的拍摄系统10的示意图。
如上所述，随机彩色滤波器阵列202具有能够根据位置并且根据波长频带而不同的光透射率以及点扩散函数。也即是，在多个波长频带的光所透过的任意的多个位置中的各位置，各波长频带的光透射率与点扩散函数的组合相互不同。为了实现这样的光学特性，本实施方式的随机彩色滤波器阵列202具有与光的波长频带对应的光透射率相互不同的多个种类的彩色滤波器202a～202c和多个光线发散部204。另外，在随机彩色滤波器阵列202中，配置在各位置的彩色滤波器的种类能够不同。即，能够按与相互位于附近的多个光电二极管203a对应的各位置配置相互不同的种类的彩色滤波器。彩色滤波器202a～202c既可以如以往的拜耳阵列(参照图21)那样规则地配置，又可以随机地配置。此外，从拍摄元件203中的各光电二极管203a的前方观察，各彩色滤波器可以相互重合一部分，但是，如图4的例子那样，通过相互不重叠，能够抑制光电二极管203a所接收的光量的降低。
此外，在图4中记载了随机彩色滤波器阵列202包括3个种类的彩色滤波器202a～202c，1个彩色滤波器与1个光电二极管203a对应的例子，但是这不过是一例，彩色滤波器的种类数不限定于3个，与1个光电二极管203a对应地配置的彩色滤波器的数量也不限定于1个。
图5是示出作为3个种类的彩色滤波器202a～202c的各波长特性的光透射率的图。在该图中，滤波器1是彩色滤波器202a，滤波器2是彩色滤波器202b，滤波器3是彩色滤波器202c。
滤波器的波长特性表示入射到滤波器的光与波长相应地以何种程度被反射、透过以及吸收。反射光、透过光以及吸收光的总和与入射光相等。透过光与入射光的比率被称为“透射率”。该透射率也被称为光透射率。吸收光与入射光的比率被称为“吸收率”。吸收率也可以通过从入射光的光量中减去反射光的光量和透过光的光量、再除以入射光的光量来求出。在图5中，示出各滤波器中的光透射率与光的波长的关系。
图6以及图7是由凹透镜构成的光线发散部204以及由3个种类的彩色滤波器202a～202c构成的随机彩色滤波器阵列202的示意图。图6示出随机彩色滤波器阵列202中的构成光线发散部204的凹透镜以及各彩色滤波器及拍摄元件203的各光电二极管203a的二维平面上的配置。该二维平面例如是与拍摄元件203的受光面平行的平面。在图6中示出彩色滤波器202a，202b以及202c分别用R、G、B表示、彩色滤波器202a～202c随机地配置的例子。随机配置的实现方法例如在日本特表2013-511924、日本专利第5054856号、日本专利第5095040号中公开。另外，在图6中，示出构成各光线发散部204的凹透镜的外周是圆形状的例子。图7示出随机彩色滤波器阵列202以及拍摄元件203的截面。在随机彩色滤波器阵列202中，由使入射的光线发散的凹透镜构成的光线发散部204，能够通过与拍摄元件对应地将以往所具备的作为凸透镜的微透镜置换为凹透镜而实现。此外，以往的微透镜是以使通过对入射光聚光而入射到拍摄元件的光电二极管的光量增加为目的的，因此，由凸透镜构成。另一方面，光线发散部204为了实现随机采样而以使入射光发散为目的，因此，使用凹透镜构成。
光线发散部204的凹透镜例如具有透镜的表面朝向透镜的中心凹进去的形状。在图7的例子中，作为光线发散部204的凹透镜是平凹透镜，光向凹透镜入射的面是凹面形状，入射到凹透镜的光从凹透镜出射的面是平面形状。光线发散部204的凹透镜的凹面，例如是与球面的一部分同样的形状。该凹面具有与球面的一部分同样的形状的凹透镜，在从与透镜的光轴垂直的任意的方向观察的、通过透镜的光轴的截面中凹部具有圆弧的形状。
如图7所示，3个种类的彩色滤波器202a～202c与拍摄元件203隔开间隔地配置，透过成像光学系统201后的光在光线发散部204被发散，透过3个种类的彩色滤波器202a～202c，被多个光电二极管203a接收。由于光线发散部204的光的发散，例如，在第1光和第2光透过了1个彩色滤波器的情况下，多个光电二极管203a所包含的光电二极管A可能接收第1光，多个光电二极管203a所包含的光电二极管B可能接收第2光，1个光电二极管203a可能接收透过随机彩色滤波器阵列202所包含的多个彩色滤波器中包含的彩色滤波器A后的第3光和透过多个彩色滤波器所包含的彩色滤波器B后的第4光。
图8是以往的彩色拍摄装置中的拜耳阵列的彩色滤波器阵列206的示意图。与本实施方式的随机彩色滤波器阵列202(参照图7)相对比，以往的彩色滤波器阵列206不具有光线发散部204。另外，在以往的彩色滤波器阵列206中，为了防止彩色滤波器间的串扰，而设计成透过构成彩色滤波器阵列206的1个彩色滤波器(彩色滤波器202a等)后的光线尽可能地被相同光电二极管203a接收。在以下对此进行说明。
在图8中，作为左端的配置位置的第1配置位置的彩色滤波器202a与作为左端的配置位置的第4配置位置的光电二极管203a对应，作为中央的配置位置的第2配置位置的彩色滤波器202b与作为中央的配置位置的第5配置位置的光电二极管203a对应，作为右端的配置位置的第3配置位置的彩色滤波器202a与作为右端的配置位置的第6配置位置的光电二极管203a对应。在图8中，用实线表示的光线透过第1配置位置的彩色滤波器202a，不透过第2配置位置的彩色滤波器202b，不透过第3配置位置的彩色滤波器202a。与第1配置位置的彩色滤波器202a对应的第4配置位置的光电二极管203a接收用实线表示的光线，与第2配置位置的彩色滤波器202b对应的第5配置位置的光电二极管203a不接收用实线表示的光线，与第3配置位置的彩色滤波器202a对应的第6配置位置的光电二极管203a不接收用实线表示的光线。在图8中，用点线表示的光线不透过第1配置位置的彩色滤波器202a，透过第2配置位置的彩色滤波器202b，不透过第3配置位置的彩色滤波器202a。与第1配置位置的彩色滤波器202a对应的第4配置位置的光电二极管203a不接收用点线表示的光线，与第2配置位置的彩色滤波器202b对应的第5配置位置的光电二极管203a接收用点线表示的光线，与第3配置位置的彩色滤波器202a对应的第6配置位置的光电二极管203a不接收用点线表示的光线。在图8中，用虚线表示的光线不透过第1配置位置的彩色滤波器202a，不透过第2配置位置的彩色滤波器202b，透过第3配置位置的彩色滤波器202a。与第1配置位置的彩色滤波器202a对应的第4配置位置的光电二极管203a不接收用虚线表示的光线，与第2配置位置的彩色滤波器202b对应的第5配置位置的光电二极管203a不接收用虚线表示的光线，与第3配置位置的彩色滤波器202a对应的第6配置位置的光电二极管203a接收用虚线表示的光线。以上，对图8的说明结束。
在图7所示的本实施方式的随机彩色滤波器阵列202中，例如，用实线表示的光322与图8的用实线表示的光的例子同样地，透过图7中左端的配置位置的彩色滤波器202a，被图7中左端的配置位置的光电二极管203a接收，但是，用实线表示的光321在光线发散部204的凹透镜被发散，透过图7中左端的配置位置的彩色滤波器202a，与图8的用实线表示的光的例子不同，被图7的中央的配置位置的光电二极管203a接收。
另外，在图7中，用点线表示的光323在光线发散部204的凹透镜被发散，透过图7中中央的配置位置的彩色滤波器202b，与图8的用点线表示的光的例子不同，被图7中左端的配置位置的光电二极管203a接收。
另外，在图7中，用虚线表示的光324在光线发散部204的凹透镜被发散，与图8的用虚线表示的光的例子不同，透过图7中中央的配置位置的彩色滤波器202b，被图7中左端的配置位置的光电二极管203a接收。
这样，本实施方式的随机彩色滤波器阵列202具有光线发散部204，由此，使1个光电二极管203a接收透过多个位置不同的彩色滤波器后的光，另外，使多个光电二极管203a接收透过同一位置的同一彩色滤波器后的光。也即是，随机彩色滤波器阵列202通过具有光线发散部204而具有根据位置以及光的波长而不同的光透射率和点扩散函数，因此，无论在空间上、还是在波长上都能够实现随机的采样。
此外，在图7中示出了在随机彩色滤波器阵列202中作为光线发散部204的凹透镜配置在成像光学系统201与彩色滤波器202a～202c之间、并且作为光线发散部204的凹透镜未配置在彩色滤波器202a～202c与光电二极管203a之间的例子。
也可以是，在随机彩色滤波器阵列202中，作为光线发散部204的凹透镜配置在成像光学系统201与彩色滤波器202a～202c之间，并且作为光线发散部204的凹透镜还配置在彩色滤波器202a～202c与光电二极管203a之间。
也可以设为，在随机彩色滤波器阵列202中，作为光线发散部204的凹透镜不配置在成像光学系统201与彩色滤波器202a～202c之间，并且，作为光线发散部204的凹透镜配置在彩色滤波器202a～202c与光电二极管203a之间。
另外，在图6以及图7的例子中，各光线发散部204的凹透镜的大小与彩色滤波器202a～202c以及光电二极管203a大致相等，但是，光线发散部204的凹透镜的大小不限于此，既可以比彩色滤波器202a～202c以及光电二极管203a大，也可以比其小。图9中示出使图6所示的光线发散部204的凹透镜的大小更大的随机彩色滤波器阵列202的变形例1。在图9的变形例1中，在随机彩色滤波器阵列202中，使光线发散部204变形而设为光线发散部204a。另外，在图9中，示出了构成各光线发散部204a的凹透镜的外周为圆形状的例子。在该例中，使各光线发散部204a的凹透镜的大小比彩色滤波器202a～202c以及光电二极管203a大。如图9所示，通过将各凹透镜设为比光电二极管203a等大，光电二极管203a中的点扩散函数的因位置而引起的变化增加，因此，能够实现进一步增加了随机性的随机彩色滤波器阵列202。若随机彩色滤波器阵列202的随机性提高，则彩色图像生成电路105通过压缩感知而生成的彩色图像的画质提高。
至此的说明中，示出了构成随机彩色滤波器阵列202所具备的多个光线发散部204或多个光线发散部204a的各凹透镜的大小为一定的例子。但是，随机彩色滤波器阵列202所具备的多个凹透镜中的各凹透镜也可以是相互间大小、折射率以及曲率中的1个以上不同。曲率是关于凹透镜的曲面的曲率。凹透镜的曲率在例如通过凹透镜的光轴的截面中凹部具有圆弧的形状的情况下为具有该圆弧的圆的半径的倒数。此外，例如，通过使多个凹透镜的各自的材质相互不同，能够使凹透镜的折射率相互不同。使随机彩色滤波器阵列202的按各位置的点扩散函数为随机，例如可以通过使随机彩色滤波器阵列202所具备的多个凹透镜中的各凹透镜相互间大小、折射率以及曲率中的1个以上不同来实现。
图10中示出使图6所示的各凹透镜的大小按该凹透镜的各位置不同的随机彩色滤波器阵列202的变形例2。在图10的变形例2中，在随机彩色滤波器阵列202中，包括图6所示的光线发散部204的凹透镜、具有比其大的尺寸的图9所示的光线发散部204a的凹透镜以及具有更大的尺寸的光线发散部204b的凹透镜。在该例中，各个光线发散部204、204a、204b的各凹透镜的大小相互不同。通过这样设置，随机彩色滤波器阵列202的按各位置的点扩散函数的变化增加而具有多样性，能够使随机彩色滤波器阵列202的随机性提高。在除了随机彩色滤波器阵列202所具备的多个凹透镜各自的大小相互不同之外、多个凹透镜各自的折射率也相互不同的情况、或者曲率也相互不同的情况、或者大小、折射率以及曲率中的多个也相互不同的情况下，能够使随机彩色滤波器阵列202的按各位置的点扩散函数的变化增加，能够提高随机彩色滤波器阵列202的随机性。若随机彩色滤波器阵列202的随机性提高，则彩色图像生成电路105通过压缩感知而生成的彩色图像的画质提高。
这样，光线发散部204既可以置换为光线发散部204a，也可以与光线发散部204a以及光线发散部204b组合。构成光线发散部204的凹透镜的大小、折射率或曲率，关于凹透镜中的各凹透镜能够任意地变更。
如以上那样，在本实施方式的拍摄系统10中，随机彩色滤波器阵列202具有使入射的光线发散的光线发散部204或光线发散部204a、204b，由此能够实现具有根据位置以及光的波长的不同而不同的光透射率和点扩散函数的随机的(也即是使得随机采样成为可能)光学滤波器阵列。在随机彩色滤波器阵列202中，关于使所入射的光线发散的多个凹透镜中的各凹透镜，如果使它们相互间大小、折射率以及曲率中的1个以上不同，则例如能够使点扩散函数成为随机，能够提高随机彩色滤波器阵列202的随机性。此外，例如，如图6所示，如果在随机彩色滤波器阵列202中的、在二维平面上形成二维排列的各位置随机地选择3个种类的彩色滤波器202a～202c中的任意一个而配置，则与不随机地配置的情况相比，能够使得随机性提高。
在以上的说明中，构成随机彩色滤波器阵列202的滤波器为3个种类的彩色滤波器202a～202c，但是也可以使滤波器为4个种类以上，只要能够作为彼此作为波长特性的光透射率不同的光学滤波器发挥作用即可，不一定是彩色滤波器。以下，对利用4个种类的滤波器作为上述的随机彩色滤波器阵列202的技术方案进行说明。
图11示出作为4个种类的滤波器的各波长特性的光透射率。另外，图12示出由4个种类的滤波器构成的随机彩色滤波器阵列202的凹透镜以及各滤波器以及拍摄元件203的各光电二极管203a的二维平面上的配置。在图11中，滤波器1～3是彩色滤波器202a～202c，滤波器4是透过整个波长频带的滤波器。在图12中，将作为该滤波器4的彩色滤波器202d用W表示。在此，方便起见将随机彩色滤波器阵列202中的、透过整个波长频带的滤波器称为彩色滤波器。该滤波器4(也即是彩色滤波器202d)，在生成随机彩色滤波器阵列时，能够通过不插入作为滤波器的部件来实现。通过这样设置不插入部件的部分，若使随机彩色滤波器阵列202包含透过整个波长频带的滤波器，则能够抑制成本。另外，通过增加滤波器的种类，能够使随机彩色滤波器阵列202的随机性提高。若随机彩色滤波器阵列202的随机性提高，则彩色图像生成电路105通过压缩感知生成的彩色图像的画质提高。
在上述的实施方式中，构成随机彩色滤波器阵列202的3个种类的彩色滤波器202a～202c分别是R(红色)滤波器、G(绿色)滤波器、B(蓝色)滤波器，但滤波器特性不限于此。例如，在随机彩色滤波器阵列202中，也可以利用与R滤波器、G滤波器或B滤波器这一原色滤波器相比、透射频带宽的补色滤波器(例如品红、青、黄色的滤波器)。
图13是示出作为3个种类的补色滤波器的各波长特性的光透射率的图。在该图中，滤波器1例如是品红的滤波器，滤波器2例如是青的滤波器，滤波器3例如是黄色的滤波器。
通过利用这样的补色滤波器，透射频带扩展，因此能够取得降低了噪声的图像。
当然，作为构成随机彩色滤波器阵列202的滤波器，也可以将R、G、B的彩色滤波器也即是原色滤波器、透射波长频带的整个范围的滤波器、补色滤波器进行组合。例如，也可以通过将图11和图13中示出的各滤波器组合而构成随机彩色滤波器阵列202。在该情况下，随机彩色滤波器阵列202具有7个种类的滤波器的组合以及光线发散部204，由此，随机性得以提高。
同样地，也可以将图5和图13中示出的各滤波器进行组合，构成具有6个种类的滤波器的组合以及光线发散部204的随机彩色滤波器阵列202。例如，也可以将随机彩色滤波器阵列202构成为透过6个种类的滤波器中的6个后的光由1个光电二极管203a接收。在该情况下，随机彩色滤波器阵列202具有6个种类的滤波器的组合以及光线发散部204，由此，随机性得以提高。
(图像生成装置12的处理)
接下来，参照图14对图像生成装置12(参照图1)中的处理进行说明。
图14是示出图像生成装置12的主要处理的步骤的流程图。
图像生成装置12的接收电路104接收由拍摄装置11的发送电路103发送来的调制图像和调制信息(步骤S101)。
接下来，彩色图像生成电路105根据调制图像和调制信息，并利用图像复原技术(例如压缩感知技术)来生成彩色图像(步骤S102)。
接下来，输出接口装置106为了将彩色图像生成电路105所生成的彩色图像显示于显示器、利用于人检测等图像处理而将其输出(步骤S103)。
(彩色图像生成处理)
以下，关于步骤S102中的彩色图像生成电路105的彩色图像生成处理，更详细地进行说明。
彩色图像生成处理，在设拍摄到的调制图像为y、设所生成的彩色RGB图像即生成图像为x的情况下，能够如以下那样进行公式化。
y＝Ax…(式1)
其中，矩阵A是表示调制信息的采样矩阵。采样矩阵A表示调制图像y和生成图像x的关系。例如，在像素数为N的情况下，调制图像y用N行1列的矩阵表现，生成图像x用3N行1列的矩阵表现，采样矩阵A用N行3N列的矩阵表现。
以下，对采样矩阵A的取得方法进行说明。
采样矩阵A表示按各位置且根据波长频带而不同的光透射率和点扩散函数。于是，例如，配置覆盖拍摄元件203所拍摄的视野的全部范围作为被拍摄对象那样的监视器，并在监视器上一边按顺序显示红、绿以及蓝的点图像、一边进行拍摄，由此，能够取得采样矩阵A。也即是，在正解RGB值提示已知的L种类的图像xi(i＝1、…、L)，将此时拍摄到的调制图像设为yi的情况下，以下的关系式成立。
[y1 y2…yL]＝A[x1 x2…xL]…(式1’)
其中，由于采样矩阵A是N行3N列的矩阵，因此，只要L为3N以上，则能够从式1’求出采样矩阵A。当然，这样的处理，既可以实际地在监视器上显示图像、配置实际的被拍摄对象来进行，又可以利用彩色滤波器的波长特性、光线发散部的大小、折射率以及曲率等信息，通过计算机模拟来计算。
接下来，对在彩色图像生成电路105中从采样矩阵A以及调制图像y取得生成图像x的方法进行说明。为了使说明简略化，对在拍摄元件203的像素数为N＝16的情况进行说明。
图15是表示在拍摄元件203的像素数为N＝16的情况下的调制图像y和基于该调制图像y生成的生成图像(彩色RGB图像)x的R图像r、G图像g、B图像b的示意图。在该图中，(a)表示调制图像y，(b)表示基于调制图像y生成的彩色RGB图像的红(R)通道即R图像r，(c)表示基于调制图像y生成的彩色图像的绿(G)通道即G图像g，(d)表示基于调制图像y生成的彩色图像的蓝(B)通道即B图像b。调制图像y和生成图像x用下式表示。
y＝[y1 y2 y3…y16]T.
x＝[r1 g1 b1 r2 g2 b2 r3 g3 b3…r16 g16 b16]T.
…(式2)
根据上述式2可以明确，在式1中，作为未知数的x的要素数为48，作为观测数的y的要素数为16。也即是，方程式的数量相对于未知数少。因此，式1会成为不良设定问题。
为了解决该不良设定问题，拍摄系统10利用压缩感知技术。压缩感知技术是指通过在信号的感知时进行相加处理(编码)对数据量进行压缩，利用压缩后的数据进行复原处理，由此对原来的信号进行解码(复原)的技术。在压缩感知处理中，为了解决不良设定问题，利用先备知识。
作为针对自然图像的先备知识，也可以利用图像上的附近位置间的辉度变化的绝对值和、即全变分(Total Variation)(例如，非专利文献1以及非专利文献2)。另外，还可以利用在小波(Wavelet)变换、DCT变换、曲波(Curvelet)变换等线性变换中大多的系数为0这一稀疏性(例如，非专利文献3)。另外，也可以利用通过学习取得上述的线性变换的变换系数的字典学习(Dictionary Learning)(例如，非专利文献4)等。
在此，对于作为被分类为全变分的一种的方法的去相关向量全变分(Decorrelated Vectorial Total Variation)进行说明。该方法通过对彩色图像的辉度分量与色差分量的梯度进行分离并计算，来抑制被称为伪色的伪像的发生。这通过将以下的评价函数最小化来实现。
该评价函数包括以下的三项而构成。
1.数据保真(Data Fidelity)项：||Ax-y||2 2：用于满足式1的约束项。
2.动态范围(Dynamic Range)项：用于运算最小值min的x的范围([0，255]3×N)：用于使像素值为0以上255以下的约束项。
3.去相关向量全变分(Decorrelated Vectorial Total Variation)项：J(x)：将彩色图像的辉度分量与色差分量的梯度分离后的全变分(Total Variation)项。
在此，||Ax-y||2 2表示Ax-y的平方和(L2范数的平方)。另外，J(x)与关于图像整体中的辉度分量以及色差分量的附近像素间的差分对应，通过以下的式4～式8来表现。此外，在式4～式8中，R表示实数，R+表示非负的实数。
x＝[xR T xG T xB T]T∈R3N···(式5)
D＝diag(D1 D1 D1)∈R6N×3N(彩色图像中的1次梯度运算符)
D1＝[Dv T Dh T]T∈R2N×N(各通道的1次梯度运算符)
Dv，Dh∈RN×N(垂直/水平的1次梯度运算符)(诺伊曼边界)
…(式7)
W∈(0，1)
图16示出本实施方式中的彩色图像生成电路105所生成的彩色图像的一例。在图16中，(a)表示由3板式摄像头拍摄到的正解图像(正解彩色图像)。(b)表示基于作为一般的去马赛克方法的专利文献1所记载的ACPI(Adaptive Color Plane Interpolation)法的去马赛克图像。(c)表示通过本实施方式中的彩色图像生成电路105并使用去相关向量全变分而生成的生成图像(复原图像)。本申请发明人们实际生成彩色图像并进行了比较，但是在图16中，各图像通过与该图像的辉度值(也即是通过乘以按各色的系数并将R、G以及B的各分量值相加而算出的辉度值)相应的浓淡来图示。另外，在图16中，也示出相对于各个图像的PSNR(Peak Signal-to-Noise Ratio)。
如图16所示，本实施方式的生成图像(复原图像)与ACPI法相比，PSNR提高1dB以上，可以说最接近正解图像。
另外，已知在压缩感知中采样矩阵A的随机性(Randomness)越高，则复原图像的画质越提高。本实施方式的随机彩色滤波器阵列202通过具有光线发散部204来提高采样矩阵A的随机性，由此，复原图像的画质能够提高。
根据利用上述的随机彩色滤波器阵列202进行拍摄的拍摄系统10，利用压缩感知技术进行彩色图像生成处理，由此，能够取得伪像减少的高清晰的彩色图像。
(实施方式2)
图17示出本实施方式的拍摄系统10的结构。关于本实施方式的拍摄系统10的结构要素中与实施方式1中示出的拍摄系统10相同的结构要素，在图17中标注与图1相同的标号，在此，适当省略说明。本实施方式的拍摄系统10，在图像生成装置12中具备多频带图像生成电路107来取代实施方式1中示出的彩色图像生成电路105。该拍摄系统10能够生成不限于三原色的RGB彩色图像的多频带图像。多频带图像是用将光的波长频带分割为4个以上的区域而得的信号表现的图像。该波长频带不限于可见光，也可以是近红外、红外、紫外等波长频带，多频带图像例如可能是近红外光图像、红外光图像、紫外光图像等。
多频带图像生成电路107，根据调制图像和调制信息并利用图像复原技术(例如压缩感知技术)，生成多频带图像。多频带图像生成电路107将所生成的多频带图像向输出接口装置106发送。
本实施方式的输出接口装置106将多频带图像作为数字信号或作为模拟信号向图像生成装置12的外部输出。输出接口装置106也可以按照在明亮的场面输出可见光的彩色图像，在暗的场面输出近红外光图像的方式对输出图像进行切换。
另外，本实施方式的拍摄系统10的波长调制部101(参照图17)中的随机彩色滤波器阵列202也可以构成为除了包含R滤波器、G滤波器、B滤波器等彩色滤波器以外、还包含例如主要透射近红外光的滤波器等多个种类的光学滤波器的排列并且包括光线发散部204的随机光学滤波器阵列。例如，在取得近红外光图像作为多频带图像的情况下，随机光学滤波器阵列可能包含透过近红外光的滤波器。
以下，根据图18对本实施方式的图像生成装置12(参照图17)中的处理进行说明。
图18是示出本实施方式中的图像生成装置12的主要处理的步骤的流程图。在该图中，对于与图14相同的要素，标注同一标号。
图像生成装置12的接收电路104接收由发送电路103发送的调制图像和调制信息(步骤S101)。
接下来，多频带图像生成电路107根据调制图像和调制信息，利用图像复原技术(例如压缩感知技术)，进行用于生成多频带图像的多频带图像生成处理(步骤S104)。
接下来，输出接口装置106为了将多频带图像生成电路107所生成的多频带图像显示于显示器、利用于人检测等图像处理而将其输出(步骤S105)。
(多频带图像生成处理)
以下，关于步骤S104中的多频带图像生成处理，更详细地进行说明。
在设拍摄到的调制图像为y’、设所生成的M频带的多频带图像为x’的情况下(M为4以上的整数)，多频带图像的生成处理能够按以下方式公式化。
y′＝Ax′.…(式9)
其中，矩阵A是表示调制信息的采样矩阵。
为了使说明简略化，当设拍摄元件203的像素数为N＝16(参照图15)时，该调制图像y’和基于该调制图像y’生成的多频带图像即生成图像x’，用下式表示。若将生成图像x’分为M个通道各自的图像来表示，则会成为图19所示。
y′＝[y1 y2 y3…y16].
x′＝[x1，1 x2，1 x3，1…xM，1 x1，2 x2，2 x3，2…xM，2 x1，16 x2，16 x3，16…xM，16]T.
…(式10)
从上述式10可以明确，在式9中，作为未知数的x’的要素数是16M，作为观测数的y’的要素数是16。也即是，相对于未知数，方程式的数量少。因此，式9成为不良设定问题。但是，如实施方式1所示，通过利用压缩感知技术能够解决该不良设定问题。对于本实施方式的通过拍摄生成多频带图像的拍摄系统10，也能够应用在实施方式1中示出的各种技术。
如以上那样，本实施方式的拍摄系统10利用随机彩色滤波器阵列202或随机光学滤波器阵列进行拍摄，通过压缩感知技术进行多频带图像生成处理，由此，能够减少伪像，取得高清晰的多频带图像。
(其他的实施方式)
如上所述，作为本公开的技术的例示，说明了实施方式1、实施方式2。但是，本公开的技术不限定于这些实施方式，也能够适用于适当进行了变更、置换、附加、省略等的实施方式。即，只要不脱离本公开的主旨，将本领域技术人员所能想到的各种变形应用于上述实施方式后的技术方案、将相互不同的实施方式中的结构要素组合而构筑的技术方案等，也包含于本公开的技术的一个实施方式。例如，以下那样的变形例也包含于本公开的技术的一个实施方式。
在上述实施方式中，示出了拍摄系统10具备拍摄装置11和图像生成装置12的例子，但是本公开的图像生成装置也可以不包含上述的拍摄装置11，也即是，也可以由上述的拍摄系统10构成。
在上述实施方式中，示出生成彩色图像或多频带图像的拍摄系统10，但是，拍摄系统10也可以生成用将光的任意的波长频带分割为2个以上的区域而得到的信号表现的图像，例如还可以是，拍摄系统10生成用将红外光区域分割为3个区域而得到的信号表现的图像。
另外，上述的成像光学系统201不局限于为了成像而使用透镜的系统，例如也可以是使用反射镜等的系统。
另外，在上述实施方式中，在图4、图7等示出了光线发散部204由使入射光透过并向光电二极管203a引导的凹透镜构成的例子。凹透镜是不使入射的平行光束的光收敛而使其发散的透镜。凹透镜的接收入射光的受光面或者该受光面的相反的面例如具有朝向凹透镜的中心凹陷的形状。在图4以及图7的例子中，构成光线发散部204的凹透镜成为朝向光电二极管203a的入射光入射到凹透镜的面的形状是凹面、透过凹透镜后的光出射的面的形状是平面的平凹透镜。与该例相反，构成光线发散部204的凹透镜也可以是朝向光电二极管203a的入射光入射到凹透镜的面的形状是平面、透过凹透镜后的光出射的面的形状是凹面的平凹透镜。另外，如图20所示，在随机彩色滤波器阵列202或随机光学滤波器阵列中也可以将光线发散部204置换为由在透镜的表背两面具有凹面的双凹透镜构成的光线发散部204c。另外，在上述实施方式中，凹透镜的凹面的形状例如是与球面同样的形状，但是，不限于球面，例如，也可以是旋转2次曲面。另外，凹透镜的外周不限于圆，例如也可以是椭圆。另外，凹透镜的凹面的形状例如也可以是与圆柱的侧面同样的形状。在该情况下，凹透镜成为在从与透镜的光轴垂直的特定方向观察的、通过透镜的光轴的截面中具有圆弧的形状的凹部、但是在从与透镜的光轴以及该特定方向双方垂直的其他的方向观察的、通过透镜的光轴的截面中不具有凹部的形状。另外，凹透镜既可以具有将由相互不同的材质构成的层重叠多个而形成的构造，也可以用单一的材料形成。
另外，在上述的实施方式中示出的拍摄系统10的各结构要素(尤其是各电路等)，由专用的硬件构成、或也可以通过执行适合各结构要素的软件(程序)来实现。各结构要素也可以通过由微处理器等程序执行部读出并执行记录于硬盘或半导体存储器等存储介质(或记录介质)的程序来实现。
另外，拍摄装置11所包含的多个电路，既可以作为整体构成1个电路，又可以分别是相互独立的电路。同样地，图像生成装置12所包含的多个电路，既可以作为整体构成1个电路，又可以是分别独立的电路。另外，这些电路，既可以分别是通用的电路，又可以是专用的电路。另外，例如也可以是，取代特定的结构要素而由其他的结构要素执行上述实施方式中的特定的结构要素所执行的处理。另外，既可以变更上述实施方式中的各种处理的执行顺序，又可以并行地执行多个处理。
如以上说明的那样，本公开的图像生成装置具备：随机光学滤波器阵列(例如随机彩色滤波器阵列202)，其具有多个种类的光学滤波器(例如彩色滤波器202a～202d、或者补色滤波器、主要用于透过可见光以外的光的滤波器等)和多个凹透镜(例如构成光线发散部204、204a～204c等的凹透镜)；光电二极管203a，其接收透过随机光学滤波器阵列后的光；AD变换部203b，其将由光电二极管203a接收到的光变换为数字数据；以及生成电路(例如彩色图像生成电路105、多频带图像生成电路107等)，其使用该数字数据和随机光学滤波器阵列的调制信息来生成图像，该多个凹透镜位于多个种类的光学滤波器与光电二极管203a之间，或者位于多个种类的光学滤波器之前(例如通过成像光学系统201后的光到达光学滤波器之前的光路上)。由此，接收通过多个凹透镜对光的发散而透过涉及波长和透射率的关系的波长特性相互不同的多个种类的光学滤波器中的几个光学滤波器后的光的、作为各像素的光电二极管203a能够取得充分的信息，因此，分辨率的降低被抑制，能够生成恰当的图像。
另外，例如也可以是，上述的多个凹透镜中的各凹透镜的大小、折射率以及曲率中的1个以上相互不同。
另外，例如也可以是，图像生成装置在上述的多个凹透镜之前具备凸透镜(例如构成成像光学系统201的凸透镜)，该多个凹透镜使透过该凸透镜后的光发散，以使得透过该凸透镜后的光透过多个光学滤波器。
另外，例如也可以是，光学滤波器是彩色滤波器202a～202c，随机光学滤波器阵列是随机彩色滤波器阵列202，随机彩色滤波器阵列202随机地配置多个种类的彩色滤波器202a～202c，生成电路是彩色图像生成电路105。
另外，例如，生成电路也可以是多频带图像生成电路107。
另外，例如，生成电路(例如彩色图像生成电路105、多频带图像生成电路107等)也可以使用压缩感知技术来生成图像。
另外，本公开的拍摄装置具备：随机光学滤波器阵列(例如随机彩色滤波器阵列202)，其具有多个种类的光学滤波器(例如彩色滤波器202a～202d等)和多个凹透镜(例如构成光线发散部204、204a～204c等的凹透镜)；光电二极管203a，其接收透过随机光学滤波器阵列后的光；以及AD变换部203b，其将由光电二极管203a接收到的光变换为数字数据，该多个凹透镜位于多个种类的光学滤波器与光电二极管203a之间，或者位于多个种类的光学滤波器之前。由此，利用多个凹透镜对光的发散，可以接收透过涉及波长和透射率的关系的波长特性相互不同的多个种类的光学滤波器中的几个光学滤波器后的光，因此，作为各像素的光电二极管203a能够取得充分的信息。
本公开的拍摄系统能够适用于各种摄像头。

Claims (7)

1.一种图像生成装置，具备：
随机光学滤波器阵列，其具有透射特性不同的多个光学滤波器和多个凹透镜；
光电二极管，其接收透过所述随机光学滤波器阵列后的光；
AD变换部，其将由所述光电二极管接收到的光变换为数字数据；以及
生成电路，其使用所述数字数据和所述随机光学滤波器阵列的调制信息来生成图像，
所述多个凹透镜位于所述多个光学滤波器与所述光电二极管之间，或者所述多个光学滤波器位于所述多个凹透镜与所述光电二极管之间。
2.根据权利要求1所述的图像生成装置，
所述多个凹透镜中的各凹透镜的大小、折射率以及规定透镜的凹面的曲率中的1个以上相互不同。
3.根据权利要求1或者2所述的图像生成装置，
所述图像生成装置具备凸透镜，
在所述多个光学滤波器位于所述多个凹透镜与所述光电二极管之间的情况下，所述多个凹透镜位于所述凸透镜与所述多个光学滤波器之间，
所述多个凹透镜使透过所述凸透镜后的光发散，以使得透过所述凸透镜后的光透过所述多个光学滤波器。
4.根据权利要求1～3中的任意一项所述的图像生成装置，
所述多个光学滤波器是多个彩色滤波器，
所述随机光学滤波器阵列随机地配置所述多个彩色滤波器，
所述生成电路所生成的所述图像是彩色图像。
5.根据权利要求1～3中的任意一项所述的图像生成装置，
所述生成电路所生成的所述图像是用将光的波长频带分割为4个以上的区域而得到的信号表现的图像。
6.根据权利要求1～5中的任意一项所述的图像生成装置，
所述生成电路使用压缩感知技术来生成所述图像。
7.一种拍摄装置，具备：
随机光学滤波器阵列，其具有透射特性不同的多个光学滤波器和多个凹透镜；
光电二极管，其接收透过所述随机光学滤波器阵列后的光；以及
AD变换部，其将由所述光电二极管接收到的光变换为数字数据，
所述多个凹透镜位于所述多个光学滤波器与所述光电二极管之间，或者所述多个光学滤波器位于所述多个凹透镜与所述光电二极管之间。
CN201810237992.8A 2017-03-29 2018-03-22 图像生成装置、拍摄装置及拍摄系统 Active CN108696728B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-066108 2017-03-29
JP2017066108 2017-03-29

Publications (2)

Publication Number Publication Date
CN108696728A true CN108696728A (zh) 2018-10-23
CN108696728B CN108696728B (zh) 2021-11-05

Family

ID=63669901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810237992.8A Active CN108696728B (zh) 2017-03-29 2018-03-22 图像生成装置、拍摄装置及拍摄系统

Country Status (3)

Country Link
US (1) US10446600B2 (zh)
JP (1) JP6966934B2 (zh)
CN (1) CN108696728B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190172385A1 (en) * 2017-12-01 2019-06-06 Innolux Corporation Display device and detecting method for signal from subject using the same
US20240121488A1 (en) * 2021-01-27 2024-04-11 Nippon Telegraph And Telephone Corporation Imaging device and optical element
KR20230127277A (ko) * 2021-01-27 2023-08-31 니폰 덴신 덴와 가부시끼가이샤 촬상 장치 및 광학소자
CN116309013B (zh) * 2023-02-08 2024-09-03 无锡英菲感知技术有限公司 一种图像映射方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6737719B1 (en) * 2002-10-25 2004-05-18 Omnivision International Holding Ltd Image sensor having combination color filter and concave-shaped micro-lenses
US20090290198A1 (en) * 2008-05-21 2009-11-26 Yukiko Hamano Imaging apparatus and image correction method
CN102068277A (zh) * 2010-12-14 2011-05-25 哈尔滨工业大学 基于压缩感知的单阵元多角度观测光声成像装置及方法
CN102369722A (zh) * 2010-02-12 2012-03-07 松下电器产业株式会社 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
CN102812709A (zh) * 2009-11-20 2012-12-05 M·辛格 压缩彩色图像采样和重建的方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5151790A (en) 1990-07-23 1992-09-29 Fuji Photo Film Co., Ltd. Image pickup device for stabilizing optical aberrations
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
JP2008270423A (ja) 2007-04-18 2008-11-06 Rosnes:Kk 固体撮像装置
US8400555B1 (en) * 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
JP6361965B2 (ja) 2013-10-24 2018-07-25 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、符号化装置、および撮像方法
JP6653460B2 (ja) 2015-09-08 2020-02-26 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、画像生成装置およびカラーフィルタ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6737719B1 (en) * 2002-10-25 2004-05-18 Omnivision International Holding Ltd Image sensor having combination color filter and concave-shaped micro-lenses
CN1505164A (zh) * 2002-10-25 2004-06-16 ��΢�뵼�壨�Ϻ����������ι�˾ 具有滤色器和微型凹透镜组合的图像传感器
US20090290198A1 (en) * 2008-05-21 2009-11-26 Yukiko Hamano Imaging apparatus and image correction method
CN102812709A (zh) * 2009-11-20 2012-12-05 M·辛格 压缩彩色图像采样和重建的方法和系统
CN102369722A (zh) * 2010-02-12 2012-03-07 松下电器产业株式会社 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
CN102068277A (zh) * 2010-12-14 2011-05-25 哈尔滨工业大学 基于压缩感知的单阵元多角度观测光声成像装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZAHRA SADEGHIPOOR; YUE M. LU; SABINE SÜSSTRUNK: "A NOVEL COMPRESSIVE SENSING APPROACH TO SIMULTANEOUSLY ACQUIRE COLOR AND NEAR-INFRARED IMAGES ON A SINGLE SENSOR", 《2013 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》 *

Also Published As

Publication number Publication date
JP6966934B2 (ja) 2021-11-17
US20180286906A1 (en) 2018-10-04
CN108696728B (zh) 2021-11-05
JP2018170757A (ja) 2018-11-01
US10446600B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
CN114189665B (zh) 图像生成装置及拍摄装置
CN103430551B (zh) 使用具有纵色像差的透镜单元的成像系统及其操作方法
TWI480583B (zh) 以色相關波前編碼延伸透鏡系統景深的系統及其方法
CN103458162B (zh) 用于分区图像传感器的透镜阵列
CN108696728A (zh) 图像生成装置及拍摄装置
US8169516B2 (en) Electo-optical color imaging systems having strong lateral chromatic aberration compensated by digital image processing
US20200275038A1 (en) Imaging apparatus and method, and image processing apparatus and method
JP2017055386A (ja) 撮像装置、撮像システム、画像生成装置およびカラーフィルタ
JP2018107731A (ja) 画像生成装置及び撮像装置
US8976275B2 (en) Color imaging element
US8237829B2 (en) Image processing device, image processing method, and imaging apparatus
US7602427B2 (en) Image sensor that provides raw output comprising compressed data
US20080007637A1 (en) Image sensor that provides compressed data based on junction area
Rueda et al. Compressive spectral imaging based on colored coded apertures
US8736722B2 (en) Enhanced image capture sharpening
JP7415464B2 (ja) 映像処理装置、映像処理方法およびプログラム
US10032253B2 (en) Imaging apparatus, imaging system, imaging method, and recording medium
JP6655790B2 (ja) 撮像装置及び撮像システム
JP2018037791A (ja) 撮像装置、画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
GR01 Patent grant
GR01 Patent grant