CN110741632A - 拍摄装置、拍摄元件以及图像处理方法 - Google Patents

拍摄装置、拍摄元件以及图像处理方法 Download PDF

Info

Publication number
CN110741632A
CN110741632A CN201880034579.XA CN201880034579A CN110741632A CN 110741632 A CN110741632 A CN 110741632A CN 201880034579 A CN201880034579 A CN 201880034579A CN 110741632 A CN110741632 A CN 110741632A
Authority
CN
China
Prior art keywords
pixel
pixels
component
polarized light
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880034579.XA
Other languages
English (en)
Other versions
CN110741632B (zh
Inventor
栗田哲平
海津俊
平泽康孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110741632A publication Critical patent/CN110741632A/zh
Application granted granted Critical
Publication of CN110741632B publication Critical patent/CN110741632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

拍摄部20的拍摄元件的4×4像素区域中的包含多种颜色分量的至少各颜色分量的像素是同一偏振光方向的偏振光像素，除了上述偏振光像素以外的像素占上述4×4像素区域的一半以上并且为非偏振光像素。图像处理部30的非偏振光分量计算部31使用由拍摄部20生成的偏振光像素的像素信号和非偏振光像素的像素信号，按每个像素对应每种颜色分量计算非偏振光分量。扩散反射分量计算部32使用由拍摄部20生成的偏振光像素的像素信号和非偏振光像素的像素信号，按每个像素对应每种颜色分量计算扩散反射分量。能够获得分辨率和灵敏度较高的非偏振光图像和每种颜色分量的反射分量。

Description

拍摄装置、拍摄元件以及图像处理方法
技术领域
本技术涉及拍摄装置、拍摄元件以及图像处理方法，能够获得分辨率和灵敏度较高的非偏振光图像和每种颜色分量的反射分量。
背景技术
以往，提出了不光获取彩色图像还能够获取偏振光图像的拍摄装置。例如，在专利文献1中，在拜耳排列的拍摄元件的前段配置有具有偏振滤光器层的光学滤波器。作为偏振光滤波器层，示出仅在由纵横邻接的4个像素构成的像素组所包含的2个G像素(绿色像素)的一方形成用于使入射光的水平偏振光分量以及垂直偏振光分量的任意一方入射的偏振器的结构、在2个G像素的一方形成用于使入射光的水平偏振光分量入射的偏振器并在另一方形成用于使入射光的垂直偏振光分量入射的偏振器的结构、相对于该结构在R像素(红色像素)以及B像素(蓝色像素)形成用于使入射光的水平偏振光分量入射的偏振器的结构。另外，示出在一个像素组所包含的2个G像素的一方以纵横邻接的4个像素组为单位周期性地形成用于使入射光的水平偏振光分量入射的偏振器、用于使入射光的垂直偏振光分量从一个G像素入射至在纵向以及横向远离1个像素的G像素的偏振器、以及用于使入射光的水平偏振光分量从一个G像素斜着入射至远离1个像素的G像素的偏振器的结构。进一步，也示出将用于使入射光的水平偏振光分量以及垂直偏振光分量的任意一方入射的偏振器形成为条纹状的图案的结构。使用由像这样的在前段配置有具有偏振滤光器层的光学滤波的拍摄元件生成的每种颜色的像素值，进行生成水平偏振光分量图像、垂直偏振光分量图像、彩色图像等。
专利文献1:日本特开2013－148505号公报
然而，如专利文献1所示的那样，在仅在G像素设置偏振器的结构中，无法获得有关红色分量、蓝色分量的反射分量。另外，在像素组的2个G像素、一个红色像素以及蓝色像素设置偏振器的结构中，导致在各像素中灵敏度降低。进一步，在将偏振器形成为条纹状的图案的结构中，关于非偏振光像素，与条纹方向正交的方向的分辨率劣化。
发明内容
因此，在本技术中，目的在于提供能够获得分辨率和灵敏度较高的非偏振光图像和每种颜色分量的反射分量的拍摄装置、拍摄元件以及图像处理方法。
本技术的第一方面在于一种拍摄装置，具备：
拍摄部，拍摄元件的4×4像素区域中的包含多种颜色分量的至少各颜色分量的像素是同一偏振光方向的偏振光像素，除了所述偏振光像素以外的像素占所述4×4像素区域的一半以上且为非偏振光像素；以及
图像处理部，使用由所述拍摄部生成的所述偏振光像素的像素信号和所述非偏振光像素的像素信号，按每个像素计算非偏振光分量和扩散反射分量的至少任意一个。
在本技术中，拍摄部的拍摄元件的4×4像素区域中的包含多种颜色分量的至少各颜色分量的像素是同一偏振光方向的偏振光像素，除了偏振光像素以外的像素占4×4像素区域的一半以上且为非偏振光像素。对拍摄对象的被拍摄体作为照明光照射与拍摄元件的偏振光像素的偏振光方向正交的偏振光方向的偏振光并进行拍摄。图像处理部基于由拍摄部生成的非偏振光像素和每种颜色分量的偏振光像素的像素信号来计算非偏振光分量和扩散反射分量，并基于计算出的非偏振光分量和扩散反射分量例如按每种颜色分量计算镜面反射分量。计算非偏振光分量和扩散反射分量例如通过使用像素信号的滤波处理来计算。图像处理部使用像素信号进行滤波处理并按每个像素计算每种颜色分量的低频分量，并按每个像素位置基于像素信号和与该像素相等的颜色分量的低频分量来计算高频分量信息。进一步，图像处理部根据按每个像素位置计算出的高频分量信息和每种颜色分量的低频分量，按每种颜色分量计算非偏振光分量和扩散反射分量。另外，图像处理部也可以代替滤波处理进行插值处理。图像处理部使用与偏振光像素同一颜色的非偏振光像素的像素信号进行插值处理来计算偏振光像素的非偏振光分量，并使用与非偏振光像素同一颜色的偏振光像素的像素信号进行插值处理来计算非偏振光像素的扩散反射分量。
图像处理部通过调整计算出的扩散反射分量和镜面反射分量的至少一方的分量的量并合成来生成输出图像信号。例如，图像处理部使镜面反射分量的分量的量降低、或者仅对扩散反射分量进行分量的量的调整再对扩散反射分量和镜面反射分量进行合成。另外，图像处理部使用非偏振光分量或者扩散反射分量进行被拍摄体识别，并按识别出的每个被拍摄体区域进行扩散反射分量和镜面反射分量的至少一方的分量的量的调整。
另外，在拍摄部中，根据偏振光特性和颜色分量相同的像素将信号相加进行像素信号的生成，在图像处理部中，在与进行信号的相加的像素的排列方向正交的方向上，进行与进行了信号的相加的像素数相应的图像缩小处理。
本技术的第二方面涉及的拍摄元件，在使用多种颜色分量的像素构成的像素区域，4×4像素区域内的包含所述多种颜色分量的至少各颜色分量的像素是同一偏振光方向的偏振光像素，设置所述4×4像素区域内的除了所述偏振光像素以外的像素占一半以上并且为非偏振光像素的区域。
在本技术中，4×4像素区域内的包含多种颜色分量的至少各颜色分量的像素为同一偏振光方向的偏振光像素，该4×4像素区域内的除了偏振光像素以外的像素占一半以上并且为非偏振光像素。例如将4×4像素区域中的2×2像素区域设为包含各颜色分量的同一偏振光方向的偏振光像素。或者，由各颜色分量的像素构成4×4像素区域所包含的4个2×2像素区域，并将2×2像素区域中的一个像素作为偏振光像素。或者，将4×4像素区域所包含的4个2×2像素区域的各2×2像素区域设为同一颜色分量的像素。像这样由偏振光像素和非偏振光像素构成的4×4像素区域在使用多种颜色分量的像素构成的像素区域，例如反复或者以规定间隔反复设置。
本技术的第三方面涉及的图像处理方法包括：
从拍摄元件的4×4像素区域中的包含多种颜色分量的至少各颜色分量的像素是同一偏振光方向的偏振光像素，除了所述偏振光像素以外的像素占所述4×4像素区域的一半以上并且为非偏振光像素的拍摄部获取所述偏振光像素的像素信号和所述非偏振光像素的像素信号；以及
使用从所述拍摄部获取到的所述偏振光像素的像素信号和所述非偏振光像素的像素信号，计算每个像素的非偏振光分量和扩散反射分量的至少任意一个。
根据本技术，拍摄部的拍摄元件的4×4像素区域中的包含多种颜色分量的至少各颜色分量的像素为同一偏振光方向的偏振光像素，除了偏振光像素以外的像素占4×4像素区域的一半以上并且为非偏振光像素。图像处理部使用由拍摄部生成的偏振光像素的像素信号和非偏振光像素的像素信号，按每个像素计算非偏振光分量和扩散反射分量。因此，能够获得分辨率和灵敏度较高的非偏振光图像和每种颜色分量的反射分量。此外，本说明书中记载的效果只是例示并不是限定的内容，另外也可以有附加的效果。
附图说明
图1是表示拍摄装置的结构的图。
图2是表示拍摄部的偏振光像素与照明部的照明光的关系的图。
图3是表示第一实施方式中的拍摄部的像素配置的图。
图4是例示滤波系数的图。
图5是用于对有关非偏振光的G像素的低频分量计算动作进行说明的图。
图6是表示每种颜色分量的非偏振光图像的图。
图7是表示每种颜色分量的偏振光图像的图。
图8是表示图像处理部的动作的流程图。
图9是表示第二实施方式中的拍摄部的像素配置的图。
图10是表示第三实施方式中的拍摄部的像素配置的图。
图11是表示第四实施方式中的拍摄部的像素配置的图。
图12是表示第五实施方式中的拍摄部的像素配置的图。
图13是用于对非偏振光分量计算部的动作进行说明的图。
图14是用于对线性插值进行说明的图。
图15是表示第一至第五实施方式的特性和以往的特性的图。
图16是例示出使系数α、β变化的情况下的输出图像的图。
图17是例示按每个被拍摄体区域使系数α、β变化的情况下的输出图像的图。
图18是例示将系数α固定并仅使系数β变化的情况下的输出图像的图。
图19是表示拍摄部的像素和读出信号线的图。
图20是用于对像素信号的读出动作进行说明的图。
图21是表示拍摄部20-1的像素配置与基于从拍摄部20-1输出的像素信号的图像的关系的图。
图22是例示出分辨率转换部的结构的图。
具体实施方式
以下，对用于实施本技术的方式进行说明。此外，说明按照以下的顺序来进行。
1.拍摄装置的结构
2.第一实施方式
3.第二实施方式
4.第三实施方式
5.第四实施方式
6.第五实施方式
7.关于第一至第五实施方式的特性和以往的结构的特性
8.反射分量调整部的动作
9.关于拍摄部中的信号读出
＜1.拍摄装置的结构＞
图1表示本技术的拍摄装置的结构。拍摄装置10具有拍摄部20和图像处理部30。另外，拍摄装置10也可以具有照明部40，还可以与拍摄装置10分体地设置照明部40。照明部40与拍摄装置10同步地进行照明动作。
在拍摄部20中使用的拍摄元件为在CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)、CCD(Charge Coupled Device：电荷耦合装置)等传感器部的拍摄面设置了滤色器和偏振器的结构。滤色器使用马赛克滤镜，例如拍摄元件的像素排列为在4×4像素区域内包含R像素(红像素)、G像素(绿像素)、以及B像素(蓝像素)的排列。偏振器构成为：4×4像素区域中的包含多种颜色分量的至少各颜色分量的像素为同一偏振光方向的偏振光像素，除了偏振光像素以外的像素占4×4像素区域的一半以上且非偏振光像素。例如，拍摄元件被设置为：在4×4像素区域中，将R像素(红色像素)、G像素(绿色像素)以及B像素(蓝色像素)各自的至少1个像素设为同一偏振光方向的偏振光像素，除了偏振光像素以外的像素占4×4像素区域的一半以上且各颜色分量的非偏振光像素。在使用多种颜色分量的像素而构成的拍摄元件的像素区域，反复或者以规定间隔反复设置有上述像素排列亦即4×4像素区域。
拍摄部20在从照明部40照射照明光的定时进行静止图像或者动态的拍摄，并将所生成的偏振光像素和非偏振光像素的像素信号输出至图像处理部30。另外，拍摄部20也可以进行白平衡调整，并使用白平衡调整后的像素信号如后述那样通过图像处理部30进行非偏振光分量和扩散反射分量的计算。此外，白平衡调整也可以由图像处理部30来进行。
照明部40将偏振光作为照明光照射至被拍摄体。照明部40与拍摄部20的拍摄动作同步地进行照明光的照射，如上述那样，可以在从照明部40照射照明光的定时进行拍摄部20的拍摄动作。
从照明部40照射的偏振光将偏振光方向设定为：在照射照明光并通过拍摄部20进行了拍摄动作时，除去来自被拍摄体的反射光中的镜面反射分量。具体而言，将从照明部40照射的偏振光的偏振光方向设定为与拍摄部20中的偏振光像素的偏振光方向正交。图2示有拍摄部的偏振光像素与照明部的照明光的关系。设置于拍摄部20中的传感器部21的入射面侧的偏振器22例如为线栅类型且栅格方向被设为垂直方向。照明部40使用光源41和例如线栅类型的偏振器42而构成，偏振器42的栅格方向为与拍摄部20的偏振器22的栅格方向正交的水平方向。在该情况下，从照明部40对被拍摄体OB照射偏振光方向被设为垂直方向的直线偏振光。另外，对来自被拍摄体OB的反射光通过偏振器22提取水平方向的偏振光分量并入射至传感器部21。因此，在拍摄部20中的非偏振光像素中，生成基于来自被拍摄体OB的反射光的像素信号，并在偏振光像素中生成基于来自被拍摄体OB的反射光中的水平方向的偏振光分量的像素信号。
图像处理部30例如具有非偏振光分量计算部31、扩散反射分量计算部32、镜面反射分量计算部33、反射分量调整部34。非偏振光分量计算部31使用从拍摄部20供给的非偏振光像素和偏振光像素的像素信号来计算非偏振光分量并输出至镜面反射分量计算部33。扩散反射分量计算部32使用从拍摄部20供给的非偏振光像素和偏振光像素的像素信号来计算扩散反射分量，并输出至镜面反射分量计算部33和反射分量调整部34。镜面反射分量计算部33基于由非偏振光分量计算部31计算出的非偏振光分量和由扩散反射分量计算部32计算出的扩散反射分量，来计算镜面反射分量并输出至反射分量调整部34。反射分量调整部34使用由扩散反射分量计算部32计算出的扩散反射分量和由镜面反射分量计算部33计算出的镜面反射分量，生成使反射分量成为所希望的等级的输出图像。
接下来，对拍摄部的构成例和与拍摄部的构成例对应的图像处理部的动作，在以下的实施方式中进行详细说明。
＜2.第一实施方式＞
图3示有拍摄部的像素配置。拍摄部20-1为使用多种颜色分量的像素而构成的像素区域拜耳排列R像素、G像素以及B像素的结构。此外，在各实施方式中，也将R像素位于左侧或者右侧的G像素称为Gr像素，将B像素位于左侧或者右侧的G像素称为Gb像素。另外，将由R像素和B像素这2个G像素(Gr像素和Gb像素)构成的2×2像素区域作为颜色像素排列单位。
例如，图3的(a)示有将左上的2×2像素区域内的像素作为偏振光像素的结构。另外，图3的(b)例示有将中央的2×2像素区域内的像素作为偏振光像素的结构，图3的(c)例示有将左下的2×2像素区域内的像素作为偏振光像素的结构，图3的(d)例示有将右端中央的2×2像素区域内的像素作为偏振光像素的结构。此外，拍摄部20-1的结构为将4×4像素区域中的一个2×2像素区域内的像素作为偏振光像素并将其它图像作为非偏振光像素的结构即可，并不限于图3中例示的结构。拍摄部20-1反复设置有像这样构成的4×4像素区域。
拍摄部20-1对由传感器部生成的像素信号Rs、Gs、Bs进行白平衡调整。具体而言，使用预先设定的每种颜色的白平衡调整增益Rwg、Gwg、Bwg来进行式(1)至(3)的运算，生成白平衡调整后的像素信号R、G、B并输出至图像处理部30。此外，像素信号Rs、R是R像素的像素信号，像素信号Gs、G是G像素的像素信号，像素信号Bs、B是B像素的像素信号。
R＝Rs×Rwg…(1)
G＝Gs×Gwg…(2)
B＝Bs×Bwg…(3)
图像处理部30的非偏振光分量计算部31使用白平衡调整后的像素信号R、G、B对每种颜色计算非偏振光分量。非偏振光分量计算部31设为在各像素中在各颜色分量中低频分量与高频分量的比例相等，根据非偏振光分量的计算对象像素的像素值和计算对象像素中的同一颜色分量并且相同偏振光特性的低频分量，来计算与低频分量和高频分量的关系相应的高频分量信息。进一步，非偏振光分量计算部31基于计算出的高频分量信息和计算对象像素中的非偏振光的低频分量，来计算计算对象像素中的每种颜色分量的非偏振光分量。
非偏振光分量计算部31使用像素信号R、G、B进行滤波处理，并使用非偏振光像素的像素信号按每个像素计算每种颜色分量的低频分量。另外，非偏振光分量计算部31按每个像素基于像素信号和与该像素相等的颜色分量的低频分量来计算高频分量信息，并根据按每个像素计算出的高频分量信息和每种颜色分量的低频分量按每种颜色分量计算非偏振光分量。非偏振光分量计算部31使用高频分量系数作为高频分量信息。高频分量系数是与计算对象像素所包含的低频分量和高频分量的关系相应的系数，例如为计算对象像素的像素值除以计算对象像素的颜色分量的低频分量所得的值。因此，随着计算对象像素中的低频分量减少而高频分量系数成为较大的值，随着计算对象像素中的低频分量增多而高频分量系数成为较小的值。另外，通过对低频分量乘以高频分量系数而能够计算包含低频分量和高频分量的计算对象像素的像素值。
非偏振光分量计算部31进行计算对象像素的加权滤波处理，来计算低频分量。图4例示有滤波系数，并示有使用以计算对象像素为中心的9×9像素的像素范围(滤波运算范围)的像素信号的滤波处理的情况。
非偏振光分量计算部31在计算对象像素为R像素的情况下，使用非偏振光的R像素的像素信号来进行加权滤波处理。另外，非偏振光分量计算部31在计算对象像素为B像素的情况下，使用非偏振光的B像素的像素信号来进行加权滤波处理，在计算对象像素为G像素的情况下，使用非偏振光的G像素的像素信号来进行加权滤波处理。
图5是用于对有关非偏振光的G像素的低频分量计算动作进行说明的图。此外，在图5中，用双边框表示计算对象像素，并用粗线框表示在低频分量的计算中使用的像素。非偏振光分量计算部31以计算对象像素为基准(x＝0，y＝0)，使用“x＝－4，y＝－4”至“x＝4，y＝4”的范围内(滤波运算范围内)的非偏振光的G像素的像素信号来进行加权滤波处理。具体而言，非偏振光分量计算部31对滤波运算范围内的非偏振光的G像素的像素值进行与像素位置相应的加权，并计算加权后的像素值的总和。进一步，非偏振光分量计算部31将加权后的像素值的总和除以加权所使用的权重的总和，来计算对象像素的绿颜色分量的低频分量GLPF。式(4)表示图5的情况下的低频分量GLPF的计算式。此外，GV(x，y)表示以计算对象像素为基准的像素位置(x，y)的G像素的像素值。
GLPF＝(1×GV(-4,-4)+14×GV(0,-4)+1×GV(4,-4)+16×GV(-3,-3)+48×GV(-1,-3)+…+1×GV(4,4))/(1+4+1+15+48+…+1)…(4)
接下来，非偏振光分量计算部31将计算对象像素的像素值除以相同的偏振光分量中相同的颜色分量的低频分量，来计算计算对象像素的像素位置上的高频分量系数。例如，在计算对象像素为G像素且像素值GV(0,0)的情况下，进行式(5)的运算，并计算高频分量系数HPF。
HPF＝GV(0,0)/GLPF…(5)
之后，如式(6)所示，非偏振光分量计算部31将低频分量与高频分量系数相乘，获得计算对象像素中的绿色非偏振光分量Gnp。
Gnp＝HPF×GLPF…(6)
在计算计算对象像素中的红色非偏振光分量的情况下，非偏振光分量计算部31对滤波运算范围内的非偏振光的R像素的像素值进行与像素位置相应的加权，来计算加权后的像素值的总和。进一步，非偏振光分量计算部31通过将加权后的像素值的总和除以加权所使用的权重的总和来计算低频分量RLPF。非偏振光分量计算部31如式(7)所示将计算出的低频分量RLPF和所计算的高频分量系数HPF相乘，而获得计算对象像素中的红色非偏振光分量Rnp。
Rnp＝HPF×RLPF…(7)
在计算计算对象像素中的蓝色非偏振光分量的情况下，非偏振光分量计算部31对滤波运算范围内的非偏振光的B像素的像素值进行与像素位置相应的加权，并计算加权后的像素值的总和。进一步，非偏振光分量计算部31通过将加权后的像素值的总和除以加权所使用的权重的总和来计算低频分量BLPF。非偏振光分量计算部31如式(8)所示将计算出的低频分量BLPF和所计算的高频分量系数HPF相乘，而获得计算对象像素中的蓝色非偏振光分量Bnp。
Bnp＝HPF×BLPF…(8)
此外，在图5中，使用G像素的像素值来计算高频分量系数HPF，但非偏振光分量计算部31在计算对象像素为R像素的情况下使用与R像素的像素值相同的颜色分量的低频分量来计算高频分量系数HPF。另外，非偏振光分量计算部31在计算对象像素为B像素的情况下使用与B像素的像素值相同的颜色分量的低频分量来计算高频分量系数HPF。
非偏振光分量计算部31按非偏振光像素的每个像素位置进行上述的处理，并按非偏振光像素的每个像素计算每种颜色分量的非偏振光分量。
在计算对象像素为偏振光像素的情况下，非偏振光分量计算部31如上述那样计算低频分量。即，非偏振光分量计算部31对滤波运算范围内的非偏振光的R像素(G像素、B像素)的像素值进行与像素位置相应的加权，并计算加权后的像素值的总和。进一步，非偏振光分量计算部31通过将加权后的像素值的总和除以加权所使用的权重的总和来计算低频分量RLPF(GLPF、BLPF)。
另外，非偏振光分量计算部31使用与计算对象像素相等的颜色的偏振光像素的像素信号进行加权滤波处理来计算低频分量，并通过将计算对象像素的像素值除以低频分量来计算高频分量系数HPF。例如，在图5中，在用虚线框表示的偏振光像素(G像素)为计算对象像素的情况下，非偏振光分量计算部31对以计算对象像素为基准的滤波运算范围内的偏振光像素亦即G像素的像素值进行与像素位置相应的加权，并计算加权后的像素值的总和。进一步，非偏振光分量计算部31通过将加权后的像素值的总和除以加权所使用的权重的总和来计算低频分量GLPFp。接下来，非偏振光分量计算部31通过将计算对象像素的像素值除以相同的偏振光分量中相同的颜色分量的低频分量，来计算计算对象像素的像素位置上的高频分量系数。即，在作为偏振光像素的计算对象像素为像素值G(0,0)p的情况下，进行式(9)的运算，并计算高频分量系数HPF。
HPF＝GV(0,0)p/GLPFp…(9)
非偏振光分量计算部31使用计算出的高频分量系数HPF、和对计算对象像素使用非偏振光像素计算出的每种颜色分量的低频分量RLPF(GLPF、BLPF)，进行式(6)至(8)的运算，按偏振光像素的每个像素计算每种颜色分量的非偏振光分量。
非偏振光分量计算部31将表示在各像素中计算出的非偏振光分量的图6的每种颜色分量的非偏振光图像PRnp、PGnp、PBnp的图像信号输出至镜面反射分量计算部33。
扩散反射分量计算部32使用白平衡调整后的像素信号R、G、B按每种颜色生成扩散反射分量信号。扩散反射分量计算部32设为在各像素中低频分量与高频分量的比例在各颜色分量中相等，并根据偏振光扩散分量的计算对象像素的像素值和计算对象像素中的同一颜色分量且相同偏振光特性的低频分量，计算与低频分量和高频分量的关系相应的高频分量信息。进一步，扩散反射分量计算部32基于计算出的高频分量信息和计算对象像素中的偏振光的低频分量，来计算计算对象像素中的每种颜色分量的扩散反射偏振光分量。
扩散反射分量计算部32使用像素信号R、G、B进行滤波处理，并使用偏振光像素的像素信号按每个像素计算每种颜色分量的低频分量。另外，扩散反射分量计算部32按每个像素基于像素信号和与该像素相等的颜色分量的低频分量来计算高频分量信息，并根据按每个像素计算出的高频分量信息和每种颜色分量的低频分量，按每种颜色分量计算扩散反射分量。进一步，扩散反射分量计算部32对计算出的扩散反射分量，修正由偏振器产生的消光。
扩散反射分量计算部32进行计算对象像素的加权滤波处理，来计算低频分量。此外，滤波系数使用与非偏振光分量计算部31相等的滤波系数，以例如能够利用与非偏振光分量图像的生成相等的特性来生成扩散反射分量图像。
在计算对象像素为R像素的情况下，扩散反射分量计算部32使用偏振光像素中的R像素的像素信号来进行加权滤波处理。另外，在计算对象像素为B像素的情况下，扩散反射分量计算部32使用偏振光像素中的B像素的像素信号来进行加权滤波处理，在计算对象像素为G像素的情况下，使用偏振光像素中的G像素的像素信号来进行加权滤波处理。
扩散反射分量计算部32例如在进行G像素的加权滤波处理的情况下，对滤波运算范围内的偏振光像素中的G像素的像素值进行与像素位置相应的加权，并计算加权后的像素值的总和。进一步，扩散反射分量计算部32通过加权后的像素值的总和除以加权所使用的权重的总和来计算低频分量GLPFp。
接下来，扩散反射分量计算部32通过将计算对象像素的像素值除以相同的偏振光分量中相同的颜色分量的低频分量，来计算计算对象像素的像素位置上的高频分量系数。在这里，在计算对象像素为像素值GV(0,0)p的情况下，进行式(10)的运算，并计算高频分量系数HPFp。
HPFp＝GV(0,0)p/GLPFp…(10)
之后，扩散反射分量计算部32如式(11)所示将低频分量和高频分量系数相乘，而获得计算对象像素中的绿色扩散分量Gp。
Gp＝HPFp×GLPFp…(11)
在计算计算对象像素的位置上的R像素的偏振器通过后的扩散反射分量的情况下，扩散反射分量计算部32对滤波运算范围内的偏振光像素中的R像素的像素值进行与像素位置相应的加权，并计算加权后的像素值的总和。进一步，扩散反射分量计算部32通过将加权后的像素值的总和除以加权所使用的权重的总和来计算低频分量RLPFp。扩散反射分量计算部32如式(12)所示将计算出的低频分量RLPFp和所计算的高频分量系数HPF相乘，而获得计算对象像素的位置上的R像素的红色扩散反射分量Rp。
Rp＝HPFp×RLPFp…(12)
在计算计算对象像素的位置上的B像素的偏振器通过后的扩散反射分量的情况下，扩散反射分量计算部32对滤波运算范围内的偏振光像素中的B像素的像素值进行与像素位置相应的加权，并计算加权后的像素值的总和。进一步，扩散反射分量计算部32通过将加权后的像素值的总和除以加权所使用的权重的总和来计算低频分量BLPFp。扩散反射分量计算部32如式(13)所示将计算出的低频分量BLPFp和所计算的高频分量系数HPF相乘，而获得计算对象像素的位置上的B像素的蓝色扩散反射分量Bp。
Bp＝HPFp×BLPFp…(13)
此外，在计算对象像素的位置的偏振光像素为R像素的情况下，扩散反射分量计算部32使用偏振光像素中的R像素的像素值来计算高频分量系数HPFp。另外，在计算对象像素的位置的偏振光像素为B像素的情况下，扩散反射分量计算部32使用偏振光像素中的B像素的像素值来计算高频分量系数HPFp。
扩散反射分量计算部32按偏振光像素的每个像素位置进行上述的处理，并按偏振光像素的每个像素位置计算每种颜色分量的扩散反射信号分量。
在计算对象像素的位置为非偏振光像素的位置的情况下，扩散反射分量计算部32如上述那样计算低频分量。即，扩散反射分量计算部32对滤波运算范围内的偏振光像素中的R像素(G像素、B像素)的像素值进行与像素位置相应的加权，并计算加权后的像素值的总和。进一步，扩散反射分量计算部32通过将加权后的像素值的总和除以加权所使用的权重的总和来计算低频分量RLPFp(GLPFp、BLPFp)。
另外，扩散反射分量计算部32通过使用与计算对象像素相等的颜色分量的非偏振光像素的像素信号的滤波处理来计算计算对象像素的低频分量，并通过将计算对象像素的像素值除以计算出的低频分量来计算高频分量系数HPFp。例如，在计算对象像素为非偏振光的G像素的情况下，扩散反射分量计算部32对以计算对象像素为基准的滤波运算范围内的非偏振光的G像素的像素值进行与像素位置相应的加权，并计算加权后的像素值的总和。进一步，扩散反射分量计算部32通过将加权后的像素值的总和除以加权所使用的权重的总和来计算低频分量GLPF。接下来，扩散反射分量计算部32通过将计算对象像素的像素值除以相同的偏振光分量中相同的颜色分量的低频分量，来计算计算对象像素的像素位置上的高频分量系数。即，在计算对象像素为非偏振光像素且像素值GV(0,0)的情况下，进行式(14)的运算，来计算高频分量系数HPFp。
HPFp＝GV(0,0)/GLPF…(14)
扩散反射分量计算部32使用计算出的高频分量系数HPFp、和使用计算对象像素偏振光像素计算出的低频分量RLPFp(GLPFp、BLPFp)，进行式(11)至(13)的运算，并按非偏振光像素的每个像素计算每种颜色分量的扩散反射分量。
进一步，扩散反射分量计算部32使用偏振器的透过率r进行式(15)的运算，并对由偏振器产生的消光进行修正来计算各像素的扩散反射分量。此外，“Ip”表示对由偏振器产生的消光进行修正之前的扩散反射分量Rq、Gq、Bq，“Idif”表示对由偏振器产生的消光进行修正的每种颜色分量的扩散反射分量Rdif、Gdif、Bdif。
Idif＝(2/r)×Ip…(15)
扩散反射分量计算部32将表示在各像素中计算出的扩散反射分量的图7的每种颜色分量的扩散反射分量图像PRdif、PGdif、PBdif的图像信号输出至镜面反射分量计算部33。
镜面反射分量计算部33如式(16)所示，通过按照每种颜色分量按每个像素位置从非偏振光分量中减去扩散反射分量来计算镜面反射分量Ispe。此外，“Inp”是每种颜色分量的非偏振光分量Rnp、Gnp、Bnp，“I spe”是每种颜色分量的镜面反射分量Rnp、Gnp、Bnp。镜面反射分量计算部33将表示在各像素中计算出的镜面反射分量的镜面反射分量图像的图像信号输出至反射分量调整部34。
I spe＝I np－I dif…(16)
反射分量调整部34对由扩散反射分量计算部32计算出的扩散反射分量和由镜面反射分量计算部33计算出的镜面反射分量进行合成，生成对反射分量进行调整后的图像信号并输出。此外，有关反射分量调整部34的动作的详细内容后述。
图8是表示图像处理部的动作的流程图。在步骤ST1中，图像处理部计算非偏振光分量。图像处理部30使用非偏振光像素的像素信号进行加权滤波处理，并按每种颜色分量计算每个像素位置的低频分量。另外，图像处理部30通过将非偏振光像素的像素值除以相同的颜色分量的低频分量，对非偏振光像素的每个像素位置计算高频分量系数，并将该高频分量系数和每种颜色分量的低频分量相乘，按非偏振光像素的每个像素位置，计算每种颜色分量的非偏振光分量。另外，图像处理部30使用偏振光像素的像素值进行加权滤波处理，按每个偏振光像素计算与偏振光像素相同的颜色分量的低频分量。另外，图像处理部30通过将偏振光像素的像素值除以相同的颜色分量的低频分量，来按每个偏振光像素计算高频分量系数。进一步，图像处理部30按每个偏振光像素进行该高频分量系数与通过使用非偏振光像素的像素信号的加权滤波处理计算出的偏振光像素位置上的每种颜色分量的低频分量的相乘，来按每种颜色分量计算偏振光像素的非偏振光分量。像这样，图像处理部30对偏振光像素和非偏振光像素计算每种颜色分量的非偏振光分量并进入步骤ST2。
在步骤ST2中，图像处理部计算扩散反射分量。图像处理部30使用偏振光像素的像素值进行加权滤波处理，并按每个偏振光像素按颜色分量计算低频分量。另外，图像处理部30通过将偏振光像素的像素值除以相同的颜色分量的低频分量，来按每个偏振光像素计算高频分量系数，并对每个偏振光像素进行该高频分量系数与每种颜色分量的低频分量的相乘，来按每种颜色分量计算偏振光像素中的扩散反射分量。另外，图像处理部30使用非偏振光像素的像素信号进行加权滤波处理，来计算与非偏振光像素相等的颜色分量的低频分量。另外，图像处理部30通过将非偏振光像素的像素值除以相同的颜色分量的低频分量，来计算每个非偏振光像素的高频分量系数。进一步，图像处理部30按每个非偏振光像素进行该高频分量系数与通过使用偏振光像素的像素信号的加权滤波处理计算出的非偏振光像素位置上的每种颜色分量的低频分量的相乘，来按每种颜色分量计算非偏振光像素中的扩散反射分量。像这样，图像处理部30按每种颜色分量计算偏振光像素和非偏振光像素的扩散反射分量并进入步骤ST3。
在步骤ST3中，图像处理部计算镜面反射分量。图像处理部30在各像素中按每种颜色分量进行从非偏振光分量中减去扩散反射分量的处理，并按每种颜色分量计算镜面反射分量并进入步骤ST4。
在步骤ST4中，图像处理部进行反射分量调整处理。图像处理部30在各像素中按每种颜色分量进行将扩散反射分量和镜面反射分量以所希望的比例相加的处理，获得对反射分量进行调整后的输出图像。
此外，图像处理部30的动作并不限于图8所示的顺序。例如，也可以将步骤ST2所示的扩散反射分量的计算在步骤ST1所示的非偏振光分量的计算之前来进行。另外，在能够进行并列处理的情况下，也可以并列地进行非偏振光分量的计算和扩散反射分量的计算。
像这样，第一实施方式的拍摄部20-1为以拜耳排列设置有R像素、G像素以及B像素，并将4×4像素区域所包含的一个2×2像素区域(颜色像素排列单位)内的像素作为偏振光像素，将其它像素作为非偏振光像素的结构。另外，图像处理部30使用由拍摄部20-1生成的图像信号，按每种颜色分量计算非偏振光分量、扩散反射分量以及镜面反射分量。因此，能够获取分辨率和灵敏度较高的非偏振光图像和各颜色的反射分量。
另外，第一实施方式的拍摄部20-1由于以拜耳排列设置有R像素、G像素以及B像素，所以即使对精细图案的被拍摄体进行拍摄也可获得波纹较少的拍摄画。
＜3.第二实施方式＞
接下来，对第二实施方式进行说明。第二实施方式的拍摄部的像素配置与第一实施方式不同。图9示有拍摄部的像素配置。拍摄部20-2为使用多种颜色分量的像素构成的像素区域拜耳排列R像素、G像素以及B像素而成的结构。另外，将由R像素、B像素以及2个G像素(Gr像素和Gb像素)构成的2×2像素区域设为颜色像素排列单位。拍摄部20-2为在4×4像素区域所包含的各颜色像素排列单位中，将相互不同的颜色分量像素设为偏振光像素，并在4×4像素区域内包含1个R像素、B像素以及2个G像素(Gr像素和Gb像素)的偏振光像素的结构。
例如，图9的(a)示有将左上的2×2像素区域内的Gr像素设为偏振光像素、将右上的2×2像素区域内的B像素设为偏振光像素、将左下的2×2像素区域内的R像素设为偏振光像素、将右下的2×2像素区域内的Gb像素设为偏振光像素的结构。另外，图9的(b)示有将左上的2×2像素区域内的R像素设为偏振光像素、将右上的2×2像素区域内的B像素设为偏振光像素、将左下的2×2像素区域内的Gb像素设为偏振光像素、将右下的2×2像素区域内的Gr像素设为偏振光像素的结构。另外，图9的(c)示有将左上的2×2像素区域内的Gb像素设为偏振光像素、将右上的2×2像素区域内的R像素设为偏振光像素、将左下的2×2像素区域内的B像素设为偏振光像素、将右下的2×2像素区域内的Gr像素设为偏振光像素的结构。进一步，图9的(d)示有将左上的2×2像素区域内的B像素设为偏振光像素、将右上的2×2像素区域内的Gr像素设为偏振光像素、将左下的2×2像素区域内的Gb像素设为偏振光像素、将右下的2×2像素区域内的R像素设为偏振光像素的结构。拍摄部20-2反复设置有像这样构成的4×4像素区域。
拍摄部20-2与第一实施方式相同，对由传感器部生成的像素信号Rs、Gs、Bs进行白平衡调整，生成白平衡调整后的图像信号R、G、B并输出至图像处理部30。
图像处理部30的非偏振光分量计算部31与第一实施方式相同，使用白平衡调整后的像素信号R、G、B按每种颜色计算非偏振光分量。非偏振光分量计算部31使用非偏振光像素的像素值进行加权滤波处理，按每种颜色分量计算每个像素位置的低频分量。另外，非偏振光分量计算部31通过将非偏振光像素的像素值除以相同的颜色分量的低频分量，按非偏振光像素的每个像素位置计算高频分量系数HPF。进一步，非偏振光分量计算部31使用计算出的高频分量系数和使用非偏振光像素计算出的低频分量，进行上述的式(6)至(8)的运算，按每个非偏振光像素对应每种颜色分量计算非偏振光分量。
另外，非偏振光分量计算部31使用偏振光像素的像素值进行加权滤波处理，来计算偏振光像素的每个像素位置的偏振光像素的颜色分量的低频分量。另外，非偏振光分量计算部31通过将偏振光像素的像素值除以相同的颜色分量的低频分量，按每个偏振光像素计算高频分量系数。进一步，非偏振光分量计算部31按每个偏振光像素进行该高频分量系数与通过使用非偏振光像素的像素信号的加权滤波处理计算出的偏振光像素位置上的每种颜色分量的低频分量的相乘，来按每种颜色分量计算偏振光像素的非偏振光分量。
非偏振光分量计算部31按每个像素进行上述的处理，在非偏振光像素和偏振光像素的各像素中按每种颜色分量计算非偏振光分量，并将表示非偏振光分量的图6的每种颜色分量的非偏振光图像PRnp、PGnp、PBnp的图像信号输出至镜面反射分量计算部33。
扩散反射分量计算部32与第一实施方式相同，使用白平衡调整后的像素信号R、G、B按每种颜色生成扩散反射分量信号。扩散反射分量计算部32使用偏振光像素的像素值进行加权滤波处理，来对每个偏振光像素按每种颜色分量计算低频分量。另外，扩散反射分量计算部32通过将偏振光像素的像素值除以相同的颜色分量的低频分量，对每个偏振光像素计算高频分量系数。进一步，扩散反射分量计算部32使用计算出的高频分量系数和使用偏振光像素计算出的低频分量，来进行上述的式(11)至(13)的运算，来对每个偏振光像素按每种颜色分量计算扩散反射分量。另外，扩散反射分量计算部32使用非偏振光像素的像素信号进行加权滤波处理，来计算与非偏振光像素相等的颜色分量的低频分量。另外，扩散反射分量计算部32通过将非偏振光像素的像素值除以相同的颜色分量的低频分量，来计算每个非偏振光像素的高频分量系数。进一步，图像处理部30对每个非偏振光像素进行该高频分量系数与通过使用偏振光像素的像素信号的加权滤波处理计算出的非偏振光像素位置上的每种颜色分量的低频分量的相乘，来按每种颜色分量计算非偏振光像素的扩散反射分量。进一步，扩散反射分量计算部32使用偏振器的透过率r，对由偏振器产生的消光进行修正来计算各像素的扩散反射分量。
扩散反射分量计算部32对每个像素进行上述的处理，在非偏振光像素和偏振光像素的各像素中按每种颜色分量计算扩散反射分量，将表示扩散反射分量的图7的每种颜色分量的扩散反射分量图像PRdif、PGdif、PBdif的图像信号输出至镜面反射分量计算部33。
镜面反射分量计算部33按每种颜色分量在每个像素位置从非偏振光分量中减去扩散反射分量来计算镜面反射分量，并将表示在各像素中计算出的镜面反射分量的镜面反射分量图像的图像信号输出至反射分量调整部34。
反射分量调整部34对由扩散反射分量计算部32计算出的扩散反射分量和由镜面反射分量计算部33计算出的镜面反射分量进行合成，生成对反射分量进行调整后的图像信号并输出。
此外，第二实施方式中的图像处理部的动作与图8所示的流程图相等。
像这样，第二实施方式的拍摄部20-2为以拜耳排列设置有R像素、G像素以及B像素，并在4×4像素区域所包含的各颜色像素排列单位，即由R像素、B像素以及2个G像素构成的2×2像素区域的颜色像素排列单位中，将相互不同的像素设为偏振光像素，并在4×4像素区域内1个R像素、B像素以及2个G像素作为偏振光像素来设置的结构。另外，图像处理部30使用由拍摄部20-2生成的图像信号，对每种颜色计算非偏振光分量、扩散反射分量以及镜面反射分量。因此，能够获得分辨率和灵敏度较高的非偏振光图像和各颜色的反射分量。
另外，第二实施方式的拍摄部20-2以拜耳排列设置有R像素、G像素以及B像素。因此，即使对精细图案的被拍摄体进行拍摄也能获得波纹较少的拍摄画像。进一步，在第二实施方式中，与第一实施方式相比，由于偏振光像素间的距离较小，所以能够反射分量的分辨率。
＜4.第三实施方式＞
接下来，对第三实施方式进行说明。第三实施方式的拍摄部的像素配置与第一至第二实施方式不同。图10示有拍摄部的像素配置。拍摄部20-3将2×2像素区域作为颜色单位并以同一颜色分量的像素构成使用多种颜色分量的像素构成的像素区域，并在4×4像素区域设置有R像素的颜色单位区域、B像素的颜色单位区域以及G像素的2个颜色单位区域。另外，拍摄部20-3为在4×4像素区域中，将1个R像素、B像素以及2个G像素邻接地设置于2×2像素区域的结构。
例如，图10的(a)将左上方的2×2像素区域内的位于右下方的R像素设为偏振光像素，并将右上方的2×2像素区域内的左下方的Gr像素设为偏振光像素。另外，示出将左下方的2×2像素区域内的位于右上方的Gb像素设为偏振光像素，并将右下方的2×2像素区域内的左上方的B像素设为偏振光像素的结构。另外，图10的(b)将左上方的2×2像素区域内的位于左下方的R像素设为偏振光像素，并将右上方的2×2像素区域内的右下方的Gr像素设为偏振光像素。另外，示有将左下方的2×2像素区域内的位于左上方的Gb像素设为偏振光像素，并将右下方的2×2像素区域内的右上方的B像素设为偏振光像素的结构。另外，图10的(c)将左上方的2×2像素区域内的位于右上方的R像素设为偏振光像素，并将右上方的2×2像素区域内的左上方的Gr像素设为偏振光像素。另外，示出将左下方的2×2像素区域内的位于右下方的Gb像素设为偏振光像素，并将右下方的2×2像素区域内的左下方的B像素设为偏振光像素的结构。进一步，图10的(d)将左上方的2×2像素区域内的位于左上方的R像素设为偏振光像素，并将右上方的2×2像素区域内的右上方的Gr像素设为偏振光像素。另外，示出将左下方的2×2像素区域内的位于左下方的Gb像素设为偏振光像素，并将右下方的2×2像素区域内的右下方的B像素设为偏振光像素的结构。拍摄部20-3反复设置有像这样构成的4×4像素区域。
拍摄部20-3与第一至第二实施方式相同，对由传感器部生成的像素信号Rs、Gs、Bs进行白平衡调整，生成白平衡调整后的图像信号R、G、B并输出至图像处理部30。
图像处理部30的非偏振光分量计算部31与第一以及第二实施方式相同，使用白平衡调整后的像素信号R、G、B对每种颜色计算非偏振光分量。非偏振光分量计算部31使用非偏振光像素的像素值进行加权滤波处理，来按每种颜色分量计算每个像素位置的低频分量。另外，非偏振光分量计算部31通过将非偏振光像素的像素值除以相同的颜色分量的低频分量，来对非偏振光像素的每个像素位置计算高频分量系数HPF。进一步，非偏振光分量计算部31使用计算出的高频分量系数和使用非偏振光像素计算出的低频分量，进行上述的式(6)至(8)的运算，来对每个非偏振光像素按每种颜色分量计算非偏振光分量。
另外，非偏振光分量计算部31使用偏振光像素的像素值进行加权滤波处理，来计算偏振光像素的每个像素位置的偏振光像素的颜色分量的低频分量。另外，非偏振光分量计算部31通过将偏振光像素的像素值除以相同的颜色分量的低频分量，对每个偏振光像素计算高频分量系数。进一步，非偏振光分量计算部31对每个偏振光像素进行该高频分量系数与通过使用非偏振光像素的像素信号的加权滤波处理计算出的偏振光像素位置上的每种颜色分量的低频分量的相乘，来按每种颜色分量计算偏振光像素的非偏振光分量。
非偏振光分量计算部31对每个像素进行上述的处理，在非偏振光像素和偏振光像素的各像素中按每种颜色分量计算非偏振光分量，并将表示偏振光分量的图6的每种颜色分量的非偏振光图像PRnp、PGnp、PBnp的图像信号输出至镜面反射分量计算部33。
扩散反射分量计算部32与第一以及第二实施方式相同，使用白平衡调整后的像素信号R、G、B对每种颜色生成扩散反射分量信号。扩散反射分量计算部32使用偏振光像素的像素值进行加权滤波处理，来对每个偏振光像素按每种颜色分量计算低频分量。另外，扩散反射分量计算部32通过将偏振光像素的像素值除以相同的颜色分量的低频分量，来对每个偏振光像素计算高频分量系数。进一步，扩散反射分量计算部32使用计算出的高频分量系数和使用偏振光像素计算出的低频分量，进行上述的式(11)至(13)的运算，来对每个偏振光像素按每种颜色分量计算扩散反射分量。另外，扩散反射分量计算部32使用非偏振光像素的像素信号进行加权滤波处理，来计算与非偏振光像素相等的颜色分量的低频分量。另外，扩散反射分量计算部32通过将非偏振光像素的像素值除以相同的颜色分量的低频分量，来计算每个非偏振光像素的高频分量系数。进一步，图像处理部30对每个非偏振光像素进行该高频分量系数与通过使用偏振光像素的像素信号的加权滤波处理计算出的非偏振光像素位置上的每种颜色分量的低频分量的相乘，来按每种颜色分量计算非偏振光像素的扩散反射分量。进一步，扩散反射分量计算部32使用偏振器的透过率r，对由偏振器产生的消光进行修正来计算各像素的扩散反射分量。
扩散反射分量计算部32对每个像素进行上述的处理，在非偏振光像素和偏振光像素的各像素中按每种颜色分量计算扩散反射分量，并将表示扩散反射分量的图7的每种颜色分量的扩散反射分量图像PRdif、PGdif、PBdif的图像信号输出至镜面反射分量计算部33。
镜面反射分量计算部33按每种颜色分量在每个像素位置从非偏振光分量中减去扩散反射分量来计算镜面反射分量，并将表示在各像素中计算出的镜面反射分量的镜面反射分量图像的图像信号输出至反射分量调整部34。
反射分量调整部34对由扩散反射分量计算部32计算出的扩散反射分量和由镜面反射分量计算部33计算出的镜面反射分量进行合成，生成对反射分量进行调整后的图像信号并输出。
此外，第三实施方式中的图像处理部的动作与图8所示的流程图相等。
像这样，第三实施方式的拍摄部20-3将2×2像素区域作为颜色单位并由同一颜色的像素构成，并在4×4像素区域设置有R像素的颜色单位、B像素的颜色单位以及G像素的2个颜色单位的区域。另外，拍摄部20-3为在4×4像素区域中，将包含1个R像素、B像素以及2个G像素的2×2像素区域作为偏振光像素区域的结构。另外，图像处理部30使用由拍摄部20-3生成的图像信号，对每种颜色计算非偏振光分量、扩散反射分量以及镜面反射分量。因此，能够获得分辨率和灵敏度较高的非偏振光图像和各颜色的反射分量。
另外，在第三实施方式中，由于将2×2像素区域作为颜色单位，所以与如第一实施方式、第二实施方式那样将R像素、G像素以及B像素设为拜耳排列的情况相比，可获得混色较少的拍摄画像。
＜5.第四实施方式＞
接下来，对第四实施方式进行说明。第四实施方式的拍摄部的像素配置与第一至第三实施方式不同。图11示有拍摄部的像素配置。拍摄部20-4为将2×2像素区域作为颜色单位并以同一颜色分量的像素构成使用多种颜色分量的像素构成的像素区域，并在4×4像素区域设置有R像素的颜色单位区域、B像素的颜色单位区域以及G像素的2个颜色单位区域。另外，拍摄部20-4为在每个颜色单位区域将一个像素设为偏振光像素，并在4×4像素区域中，将偏振光像素隔着1个像素分散地设置于水平方向和垂直方向的结构。
例如，图11的(a)将左上方的2×2像素区域内的位于右上方的R像素设为偏振光像素，并将右上方的2×2像素区域内的右上方的Gr像素设为偏振光像素。另外，示出将左下方的2×2像素区域内的位于右上方的Gb像素设为偏振光像素，并将右下方的2×2像素区域内的右上方的B像素设为偏振光像素的结构。另外，图11的(b)将左上方的2×2像素区域内的位于左上方的R像素设为偏振光像素，并将右上方的2×2像素区域内的左上方的Gr像素设为偏振光像素。另外，示出将左下方的2×2像素区域内的位于左上方的Gb像素设为偏振光像素，并将右下方的2×2像素区域内的左上方的B像素设为偏振光像素的结构。另外，图11的(c)将左上方的2×2像素区域内的位于左下方的R像素设为偏振光像素，并将右上方的2×2像素区域内的右上方的Gr像素设为偏振光像素。另外，示有将左下方的2×2像素区域内的位于右上方的Gb像素设为偏振光像素，并将右下方的2×2像素区域内的左下方的B像素设为偏振光像素的结构。进一步，图11的(d)将左上方的2×2像素区域内的位于右下方的R像素设为偏振光像素，并将右上方的2×2像素区域内的左上方的Gr像素设为偏振光像素。另外，示出将左下方的2×2像素区域内的位于左下方的Gb像素设为偏振光像素，并将右下方的2×2像素区域内的右上方的B像素设为偏振光像素的结构。拍摄部20-4反复设置有像这样构成的4×4像素区域。
拍摄部20-4与第一至第三实施方式相同，对由传感器部生成的像素信号Rs、Gs、Bs进行白平衡调整，生成白平衡调整后的图像信号R、G、B并输出至图像处理部30。
图像处理部30的非偏振光分量计算部31与第一至第三实施方式相同，使用白平衡调整后的像素信号R、G、B对每种颜色计算非偏振光分量。非偏振光分量计算部31使用非偏振光像素的像素值进行加权滤波处理，来按每种颜色分量计算每个像素位置的低频分量。另外，非偏振光分量计算部31通过将非偏振光像素的像素值除以相同的颜色分量的低频分量，来对非偏振光像素的每个像素位置计算高频分量系数HPF。进一步，非偏振光分量计算部31使用计算出的高频分量系数和使用非偏振光像素计算出的低频分量，进行上述的式(6)至(8)的运算，来对每个非偏振光像素按每种颜色分量计算非偏振光分量。
另外，非偏振光分量计算部31使用偏振光像素的像素值进行加权滤波处理，来计算偏振光像素的每个像素位置的偏振光像素的颜色分量的低频分量。另外，非偏振光分量计算部31通过将偏振光像素的像素值除以相同的颜色分量的低频分量，对每个偏振光像素计算高频分量系数。进一步，非偏振光分量计算部31对每个偏振光像素进行该高频分量系数与通过使用非偏振光像素的像素信号的加权滤波处理计算出的偏振光像素位置上的每种颜色分量的低频分量的相乘，来按每种颜色分量计算偏振光像素的非偏振光分量。
非偏振光分量计算部31对每个像素进行上述的处理，在非偏振光像素和偏振光像素的各像素中按每种颜色分量计算非偏振光分量，并将表示非偏振光分量的图6的每种颜色分量的非偏振光图像PRnp、PGnp、PBnp的图像信号输出至镜面反射分量计算部33。
扩散反射分量计算部32与第一至第三实施方式相同，使用白平衡调整后的像素信号R、G、B对每种颜色生成扩散反射分量信号。扩散反射分量计算部32使用偏振光像素的像素值进行加权滤波处理，来对每个偏振光像素按每种颜色分量计算低频分量。另外，扩散反射分量计算部32通过将偏振光像素的像素值除以相同的颜色分量的低频分量，对每个偏振光像素计算高频分量系数。进一步，扩散反射分量计算部32使用计算出的高频分量系数和使用偏振光像素计算出的低频分量，进行上述的式(11)至(13)的运算，来对每个偏振光像素按每种颜色分量计算扩散反射分量。另外，扩散反射分量计算部32使用非偏振光像素的像素信号进行加权滤波处理，来计算与非偏振光像素相等的颜色分量的低频分量。另外，扩散反射分量计算部32通过将非偏振光像素的像素值除以相同的颜色分量的低频分量，来计算每个非偏振光像素的高频分量系数。进一步，图像处理部30对每个非偏振光像素进行该高频分量系数与通过使用偏振光像素的像素信号的加权滤波处理计算出的非偏振光像素位置上的每种颜色分量的低频分量的相乘，来按每种颜色分量计算非偏振光像素的扩散反射分量。进一步，扩散反射分量计算部32使用偏振器的透过率r，对由偏振器产生的消光进行修正来计算各像素的扩散反射分量。
扩散反射分量计算部32对每个像素进行上述的处理，在非偏振光像素和偏振光像素的各像素中按每种颜色分量计算扩散反射分量，并将表示扩散反射分量的图7的每种颜色分量的扩散反射分量图像PRdif、PGdif、PBdif的图像信号输出至镜面反射分量计算部33。
镜面反射分量计算部33按每种颜色分量在每个像素位置从非偏振光分量中减去扩散反射分量来计算镜面反射分量，并将表示在各像素中计算出的镜面反射分量的镜面反射分量图像的图像信号输出至反射分量调整部34。
反射分量调整部34对由扩散反射分量计算部32计算出的扩散反射分量和由镜面反射分量计算部33计算出的镜面反射分量进行合成，生成对反射分量进行调整后的图像信号并输出。
此外，第四实施方式中的图像处理部的动作与图8所示的流程图相等。
像这样，第四实施方式的拍摄部20-4将2×2像素区域作为颜色单位并由同一颜色的像素构成，并在4×4像素区域设置有R像素的颜色单位、B像素的颜色单位以及G像素的2个颜色单位的区域。另外，拍摄部20-4为在4×4像素区域中，在每个颜色单位区域将一个像素设为偏振光像素，在4×4像素区域中，将偏振光像素隔着1个像素设置于水平方向和垂直方向的结构。因此，能够获得分辨率和灵敏度较高的非偏振光图像和各颜色的反射分量。
另外，在第四实施方式中，由于将2×2像素区域作为颜色单位，所以与如第一实施方式、第二实施方式那样将R像素、G像素以及B像素作为拜耳排列来设置的情况相比，可获得混色较少的拍摄画像。另外，在第四实施方式中，与第三实施方式相比，由于偏振光像素间的距离较小，所以能够提高反射分量的分辨率。
＜6.第五实施方式＞
接下来，对第五实施方式进行说明。第五实施方式的拍摄部的像素配置与第一至第四实施方式不同。在第一至第四实施方式中，示出了反复设置有具有包含多种颜色分量的至少各颜色分量的同一偏振光方向的偏振光像素的4×4像素区域的情况，但在第五实施方式中，示出以规定间隔反复设置有具有包含多种颜色分量的至少各颜色分量的同一偏振光方向的偏振光像素的4×4像素区域的情况。图12示出了拍摄部的像素配置，将具有包含多种颜色分量的至少各颜色分量的同一偏振光方向的偏振光像素的4×4像素区域设为4个像素区域的间隔。即，在8×8个像素区域内的4×4像素区域中设置包含多种颜色分量的至少各颜色分量的同一偏振光方向的偏振光像素，且除了偏振光像素以外的像素的一半以上为非偏振光像素。
例如，图12的(a)将像素排列设为拜耳排列，且将8×8个像素区域内的一个2×2像素区域内所包含的1个R像素、B像素以及2个G像素(Gr像素和Gb像素)设为偏振光像素。另外，图12的(b)将2×2像素区域设为颜色单位区域并由同一颜色的像素构成，并在4×4像素区域设置有R像素的颜色单位区域、B像素的颜色单位区域以及G像素的2个颜色单位区域。进一步，在上下左右各包含2个包含各颜色单位区域的4×4像素区域的8×8个像素区域中，将位于中央的2×2像素区域内所包含的1个R像素、B像素以及2个G像素(Gr像素和Gb像素)设为偏振光像素。
拍摄部20-5与第一至第四实施方式相同对由传感器部生成的像素信号Rs、Gs、Bs进行白平衡调整，生成白平衡调整后的图像信号R、G、B并输出至图像处理部30。
图像处理部30的非偏振光分量计算部31使用白平衡调整后的像素信号R、G、B对每种颜色分量计算非偏振光分量。在第五实施方式中，与上述的第一至第四实施方式相比，偏振光像素相对于非偏振光像素的比例较少。因此，非偏振光分量计算部31使用非偏振光像素进行插值处理，来计算偏振光像素的像素位置的非偏振光分量。
图13是用于对非偏振光分量计算部的动作进行说明的图。例如在计算作为R像素的偏振光像素的非偏振光分量RVt的情况下，使用在上下左右方向上远离1个像素的量的位置的非偏振光的R像素的像素值RV0、RV1、RV2、RV3进行式(17)所示的插值运算，来计算非偏振光分量Rt。此外，非偏振光像素的像素值为非偏振光分量。
RVt＝(RV0+RV1+RV2+RV3)/4…(17)
另外，在计算作为Gb像素的偏振光像素的非偏振光分量Gbt的情况下，使用在倾斜方向上邻接的非偏振光的G像素的像素值GVr0、GVr1进行式(18)所示的插值运算，来计算非偏振光分量GVbt。
GVbt＝(GVr0+GVr2)/2…(18)
另外，在计算作为Gr像素的偏振光像素的非偏振光分量GVrt的情况下，使用在倾斜方向上邻接的非偏振光的G像素的像素值GVb0、GVb1如上述那样进行插值运算，来计算非偏振光分量GVbt。进一步，在计算作为B像素的偏振光像素的非偏振光分量BVt的情况下，使用在上下左右方向上远离1个像素的量的位置的非偏振光的B像素的像素值BV0、BV1、BV2、BV3，与R像素相同进行插值运算，来计算非偏振光分量BVt。
非偏振光分量计算部31像这样进行插值处理来计算偏振光像素的非偏振光分量，生成各像素表示非偏振光分量的拜耳排列的非偏振光图像的图像信号。进一步，非偏振光分量计算部31使用作为拜耳排列的非偏振光图像的图像信号，进行与以往相同的马赛克处理，生成每种颜色分量的非偏振光图像PRnp、PGnp、PBnp的图像信号，并输出至镜面反射分量计算部33。
扩散反射分量计算部32使用白平衡调整后的像素信号R、G、B对每种颜色计算扩散反射分量。扩散反射分量计算部32将非偏振光像素设为计算对象像素，通过使用偏振光像素的像素值的线性插值，计算作为非偏振光像素的计算对象像素的扩散反射分量。图14是用于对线性插值进行说明的图。例如在计算计算对象像素的扩散反射分量It的情况下，使用位于周围的例如4个偏振光像素的像素值I0、I1、I2、I3。例如在计算对象像素为R像素的情况下，像素值I0、I1、I2、I3使用作为偏振光像素的R像素的像素值。此外，“It”表示各颜色分量的扩散反射分量的任意一个。另外，“I0、I1、I2、I3”表示与“It”颜色分量相等的偏振光像素的像素值。
扩散反射分量计算部32基于式(19)，来计算计算对象像素的扩散反射分量。此外，在式(19)中，“h0、h1”表示在与计算对象像素相等的颜色分量中与表示扩散反射分量的偏振光像素的垂直方向的距离，“W0、W1”表示在与计算对象像素相等的颜色分量中与表示扩散反射分量的偏振光像素的水平方向的距离。
[式1]
Figure BDA0002287577470000261
另外，在计算对象像素为G像素的情况下，进行将像素值I0、I1、I2、I3设为在Gr像素中表示扩散反射分量的偏振光像素的像素值的线性插值、以及将像素值I0、I1、I2、I3设为在Gb像素中表示扩散反射分量的偏振光像素的像素值的线性插值，并将2个线性插值的插值结果的平均值设为计算对象像素的G像素的扩散反射分量。
扩散反射分量计算部32将各非偏振光像素设为计算对象像素并进行上述的线性插值处理，使用各像素的扩散反射分量如上述的式(15)那样，来计算对由偏振器产生的消光进行修正后的各像素的扩散反射分量。扩散反射分量计算部32生成各像素表示扩散反射分量的拜耳排列的扩散反射图像的图像信号。进一步，扩散反射分量计算部32使用作为拜耳排列的扩散反射图像的图像信号，进行与以往相同的马赛克处理，生成每种颜色分量的扩散反射图像PRdif、PGdif、PBdif的图像信号，并输出至镜面反射分量计算部33。
镜面反射分量计算部33按每种颜色分量在每个像素位置从非偏振光分量中减去扩散反射分量来计算镜面反射分量，并将表示在各像素中计算出的镜面反射分量的镜面反射分量图像的图像信号输出至反射分量调整部34。
反射分量调整部34将由扩散反射分量计算部32生成的扩散反射分量信号、和由镜面反射分量计算部33生成的镜面反射分量信号进行混合，生成对反射分量进行调整后的图像信号并输出。
此外，第五实施方式中的图像处理部进行图8所示的流程图的处理，在步骤ST1中，图像处理部在通过使用相同的颜色分量的非偏振光像素的非偏振光分量的插值处理来计算偏振光像素的非偏振光分量之后进行马赛克处理等，来按每种颜色分量计算每个像素的非偏振光分量。另外，在步骤ST2中，图像处理部在通过使用相同的颜色分量的偏振光像素的扩散反射分量的插值处理来计算非偏振光像素的扩散反射分量之后进行马赛克处理、消光修正等，来按每种颜色分量计算每个像素的扩散反射分量。
像这样，第五实施方式的拍摄部20-5为在8×8个像素区域或者8×8个像素以上的宽范围的像素区域中，设置有1个R像素、B像素以及2个G像素的偏振光像素的结构。另外，8×8个像素区域或者8×8个像素以上的宽范围的像素区域为将R像素、G像素以及B像素设为拜耳排列的结构、或者为作为由同一颜色的像素构成的2×2像素区域的颜色单位区域，设置有R像素的颜色单位区域、B像素的颜色单位区域以及G像素的颜色单位区域的结构。因此，能够获取分辨率和灵敏度较高的非偏振光图像和各颜色分量的反射分量。
另外，在第五实施方式中，为在8×8个像素区域或者8×8个像素以上的宽范围的像素区域中，设置有1个R像素、B像素以及2个G像素的偏振光像素的结构。因此，与第一至第四实施方式相比，可获得偏振光像素较少，且较高的分辨率的非偏振光图像。
＜7.关于第一至第五实施方式的特性和以往的结构的特性＞
图15将第一至第五实施方式的特性和以往的特性作为一览表来表示。此外，将未设置偏振光像素的情况和在现有技术(日本特开2013－148505号公报)中示出的结构作为以往例来表示。
由于通过设置偏振光像素而灵敏度降低，所以若不设置偏振光像素则对于红色、绿色以及蓝色的任意一个都无法获取反射分量。另外，在如在先申请的第一实施方式那样在提高灵敏度的结构中无法将红色和蓝色的反射分量分离，而若为能够分离红色、绿色以及蓝色的任意一个的反射分量的结构则灵敏度较低。
例如，将未设置偏振光像素的情况下的灵敏度设为“1”，而设置有偏振器的像素的灵敏度为1/2。在该情况下，在在先申请的第一实施方式中，灵敏度为“0.875”但无法获得红色和蓝色的反射分量。另外，在在先申请的第五实施方式中，也能够获取红色、绿色以及蓝色的任意一个的反射分量，但灵敏度为“0.75”。但是，根据本技术的第一至第五实施方式，灵敏度为“0.875”，且也能够获取红色、绿色以及蓝色的任意一个的反射分量。
＜8.反射分量调整部的动作＞
接下来，对图像处理装置中的反射分量调整部的动作进行说明。反射分量调整部34对扩散反射分量I dif和镜面反射分量I spe的至少一方的分量的量进行调整并合成。例如，反射分量调整部34使用镜面反射分量I spe和扩散反射分量I dif进行式(20)的运算，并对镜面反射分量I spe和扩散反射分量I dif的至少一方的分量的量进行调整并合成，从而生成对反射分量进行调整后的输出图像信号I out。此外，对于系数α、β而言，能够由用户自由设定，也可以预先设定有多个系数α、β的组合，例如根据用户的指示或者被拍摄体、拍摄模式、拍摄条件、拍摄环境等来选择系数α、β的组合。
I out＝α×I spe+β×I dif…(20)
图16例示有使系数α、β变化后的情况下的输出图像。图16的(a)表示α＝β＝1的情况，输出图像为非偏振光图像。图16的(b)表示α＝0、β＝1的情况，输出图像为仅显示扩散反射分量的图像，且是无光泽的暗淡的颜色的哑光的图像。图16的(c)表示α＝1、β＝0的情况，输出图像为仅显示镜面反射分量的图像。图16的(d)示出在使镜面反射分量的分量的量降低并合成的情况下，例如α＝0.2、β＝1的情况。在该情况下，在扩散反射分量的图像中包含少量镜面反射分量，与非偏振光图像相比，反射被抑制，而能够成为使输出图像看起来不错的图像。
另外，反射分量调整部34也可以使用非偏振光分量或者扩散反射分量进行被拍摄体识别，对每个识别出的被拍摄体区域进行扩散反射分量和镜面反射分量的至少一方的分量的量的调整。图17是例示有对每个被拍摄体区域设定有系数α、β的情况下的输出图像的图。例如，通过被拍摄体识别来判别眼睛的区域，并将目的区域以外的系数设定为“α＝0.2、β＝1”，而成为与非偏振光图像相比抑制了反射的图像。另外，将眼睛的区域的系数设定为“α＝1、β＝1”，为眼睛的区域为剩余有反射的状态。若这样，与图17的(a)所示的非偏振光图像相比，如图17的(b)所示不会将油腻地显示面部，并且可获得眼睛的部分保持有亮度的输出图像。另外，通过被拍摄体识别，来判别嘴的区域，若将嘴的区域设定为与其它区域不同的系数，则即使抑制面部的反射(油光满面)，也能够以有光泽的颜色来表示嘴唇。
另外，反射分量调整部34也可以仅对扩散反射分量进行分量的量的调整。具体而言，通过将与镜面反射分量有关的系数α固定，并使与扩散反射分量有关的系数β变化，来对例如皮肤的颜色进行调整。图18是例示有将系数α固定而仅使系数β变化的情况下的输出图像的图。例如，与图18的(a)所示的非偏振光图像相比，通过减小系数β，能够如图18的(b)所示将皮肤的颜色设为如晒黑后的较暗的颜色。另外，通过增大系数β，能够如图18的(c)所示将皮肤的颜色设为较亮的颜色。
＜9.有关拍摄部中的信号读出＞
然而，在拍摄部20中使用CMOS图像传感器的情况下，能够将像素信号相加并读出。另外，在将像素信号相加并读出的情况下，能够以高帧频进行像素信号的读出，也能够提高像素信号的S/N比。
接下来，对于通过拍摄部从像素中将信号相加并读出的情况的动作，例如对使用第一实施方式的拍摄部20-1的情况进行说明。
图19示有拍摄部的像素和读出信号线。图19的(a)例示出拍摄部20-1中的像素排列的一部分。另外，图19的(b)示出读出信号线。虽然未图示，但拍摄部20-1的像素具有光电二极管以及电荷转移用、复位用的晶体管。各像素通过复位信号驱动复位用的晶体管来排出积累电荷。之后，各像素通过读出信号驱动电荷转移用的晶体管，将从复位结束到读出开始的曝光期间中积累的电荷作为像素信号输出至读出信号线。读出信号线与模拟/数字转换部(A/D)连接，将从各像素读出的模拟像素信号转换为数字像素信号，并在进行噪声除去等之后输出至图像处理部30。
图20是用于对像素信号的读出动作进行说明的图。拍摄部20-1从与同一读出信号线连接的同一列的像素中的同一颜色分量以及同一偏振光特性的像素中将像素信号依次相加并读出。例如，如图20的(a)所示，拍摄部20-1经由读出信号线VSL0，从作为偏振光像素的2个R像素中将像素信号相加并读出，并生成作为偏振光像素的1个R像素的数字像素信号。另外，拍摄部20-1经由读出信号线VSL1，从作为偏振光像素的2个Gr像素中将像素信号相加并读出，并生成作为偏振光像素的一个Gr像素的数字像素信号。另外，拍摄部20-1经由读出信号线VSL2，从作为非偏振光像素的2个R像素中将像素信号相加并读出，并生成作为非偏振光像素的1个R像素的数字像素信号。进一步，拍摄部20-1经由读出信号线VSL3，从作为非偏振光像素的2个Gr像素中将像素信号相加并读出，并生成作为非偏振光像素的一个Gr像素的数字像素信号。像这样，生成1行的量的像素信号。
接下来，拍摄部20-1生成下一行的像素信号。例如，如图20的(b)所示，拍摄部20-1经由读出信号线VSL0，从作为偏振光像素的2个Gr像素中将像素信号相加并读出，并生成作为偏振光像素的一个Gr像素的数字像素信号。另外，拍摄部20-1经由读出信号线VSL1，从作为偏振光像素的2个B像素中将像素信号相加并读出，并生成作为偏振光像素的一个B像素的数字像素信号。另外，拍摄部20-1经由读出信号线VSL2，从作为非偏振光像素的2个Gb像素中将像素信号相加并读出，并生成作为非偏振光像素的一个Gb像素的数字像素信号。进一步，拍摄部20-1经由读出信号线VSL3，从作为非偏振光像素的2个B像素中将像素信号相加并读出，并生成作为非偏振光像素的一个B像素的数字像素信号。像这样，生成1行的量的像素信号。
进一步，拍摄部20-1例如图20的(c)(d)所示，拍摄部20-1经由读出信号线VSL0～VSL3，从作为非偏振光像素的2个像素将像素信号相加并读出，并生成作为非偏振光像素的一个像素的数字像素信号。拍摄部20-1反复将图20所示的同一色且同一偏振光特性的2个像素相加生成1个像素的像素信号的处理来生成图像信号。像这样，拍摄部20-1使成为信号相加的对象的像素沿垂直方向依次移动，对每一行生成像素信号。
图21示有拍摄部20-1的像素配置和基于从拍摄部20-1输出的像素信号的图像的关系。若对图21的(a)所示的拍摄部20-1的像素配置进行图20所示的处理，则如图21的(b)所示，基于从拍摄部20-1输出的像素信号的图像的垂直方向的分辨率为1/2。因此，在图像处理部30中，也可以以将水平方向的分辨率设为1/2，输出图像的纵横比不变化的方式进行处理。
图22例示有将水平方向的分辨率设为1/2的分辨率转换部的结构。分辨率转换部35具有加法部351和除法部352。分辨率转换部35例如使用从反射分量调整部34输出的图像信号来进行分辨率转换。
分辨率转换部35的加法部351将在水平方向上邻接的2个像素的像素值相加，并将相加结果输出至除法部352。除法部352进行执行1位的右移处理，并将加法部351的相加结果设为1/2的运算。像这样，分辨率转换部35进行将在水平方向上邻接的2个像素的像素值相加，并将相加结果设为1/2的图像缩小处理。因此，从分辨率转换部35输出的图像即使通过拍摄部从多个像素中将信号相加并读出，也能够保持纵横比，使得能够进行高帧频的动作且能够提高像素信号的S/N比。此外，在图22中，例示出在加法部351设置多个加法器，并在乘法部352中对每个加法部351的加法器设置除法部的情况，但也可以分别设置一个加法器和除法部，并对每一行沿水平方向依次进行根据2个像素的像素信号生成1个像素的像素信号的处理。
此外，在上述的实施方式中，例示出使用原色系的滤色器来构成拍摄部的情况，但拍摄部也可以使用互补色系的滤色器来构成。另外，非偏振光像素并不限于由颜色分量像素构成的情况，也可以包含在其它特性的像素例如白像素、红外区域具有灵敏度的红外像素等。
另外，在说明书中说明的一系列的处理能够通过硬件、或软件、或者两者的复合结构来执行。在执行由软件进行的处理的情况下，将记录有处理序列的程序安装于设置于专用的硬件的计算机内的存储器并执行。或者，能够通过在可执行各种处理的通用计算机中安装程序并执行。
例如，程序能够预先记录于作为记录介质的硬盘、SSD(Solid State Drive：固态硬盘)、ROM(Read Only Memory：只读存储器)。或者，程序能够暂时或者永久地储存(记录)于软盘、CD－ROM(Compact Disc Read Only Memory：光盘只读存储器)、MO(Magnetooptical：磁光)盘、DVD(Digital Versatile Disc：数字多功能光盘)、BD(Blu-Ray Disc(注册商标)：蓝光光盘)、磁盘、半导体存储卡等可移动记录介质。这样的可移动记录介质能够作为所谓的打包软件来提供。
另外，程序除了从可移动记录介质安装于计算机以外，也可以从下载站点经由LAN(Local Area Network：局域网)、互联网等网络，通过无线或者有线转移至计算机。在计算机中，能够接收像这样转移来的程序，并安装于内置的硬盘等记录介质。
此外，本说明书中记载的效果只是例示而并不是限定的内容，也可以有未记载的附加的效果。另外，本技术不应限定并解释为上述的技术的实施方式。本技术的实施方式以作为例示的方式来公开本技术，显而易见本领域技术人员可以在不脱离本技术的主旨的范围内进行实施方式的修正、代用。即，为了判断本技术的主旨，应考虑本发明的保护范围。
另外，本技术的拍摄装置也能够采取如以下的结构。
(1)一种拍摄装置，具备：拍摄部，拍摄元件的4×4像素区域中的包含多种颜色分量的至少各颜色分量的像素是同一偏振光方向的偏振光像素，除了所述偏振光像素以外的像素占所述4×4像素区域的一半以上且为非偏振光像素；以及
图像处理部，使用由所述拍摄部生成的所述偏振光像素的像素信号和所述非偏振光像素的像素信号，按每个像素计算非偏振光分量和扩散反射分量的至少任意一个。
(2)根据(1)所述的拍摄装置，所述图像处理部计算所述非偏振光分量和所述扩散反射分量，基于计算出的所述非偏振光分量和所述扩散反射分量来计算镜面反射分量。
(3)根据(2)所述的拍摄装置，所述图像处理部按每种颜色分量计算所述非偏振光分量和所述扩散反射分量的至少任意一个、或者所述非偏振光分量、所述扩散反射分量以及所述镜面反射分量。
(4)根据(3)所述的拍摄装置，所述图像处理部使用所述像素信号进行滤波处理并按每个像素计算每种颜色分量的低频分量，按每个像素位置基于像素信号和与该像素相等的颜色分量的低频分量计算高频分量信息，根据按每个像素位置计算出的高频分量信息和每种颜色分量的低频分量按所述每种颜色分量计算所述非偏振光分量和所述扩散反射分量。
(5)根据(3)所述的拍摄装置，所述图像处理部使用与偏振光像素同一颜色的非偏振光像素的像素信号进行插值处理来计算所述偏振光像素的非偏振光分量，并使用与非偏振光像素同一颜色的偏振光像素的像素信号进行插值处理来计算所述非偏振光像素的扩散反射分量。
(6)根据(2)至(5)中任一项所述的拍摄装置，所述图像处理部对所述扩散反射分量和所述镜面反射分量的至少一方的分量的量进行调整并合成。
(7)根据(6)所述的拍摄装置，所述图像处理部降低所述镜面反射分量的分量的量并进行合成。
(8)根据(6)所述的拍摄装置，所述图像处理部仅对所述扩散反射分量进行分量的量的调整。
(9)根据(6)所述的拍摄装置，其中，所述图像处理部使用所述非偏振光分量或者所述扩散反射分量进行被拍摄体识别，并按识别出的每个被拍摄体区域进行所述扩散反射分量和所述镜面反射分量的至少一方的分量的量的调整。
(10)根据(1)至(9)中任一项所述的拍摄装置，其中，所述拍摄部根据偏振光特性和颜色分量相同的像素将信号相加来进行像素信号的生成，
所述图像处理部在与进行信号的相加的像素的排列方向正交的方向上，进行与进行了所述信号的相加的像素数相应的图像缩小处理。
(11)根据(1)至(10)中任一项所述的拍摄装置，其中，对被所述拍摄部拍摄的被拍摄体，照射与所述拍摄元件的偏振光像素的偏振光方向正交的偏振光方向的偏振光。
(12)根据(11)所述的拍摄装置，其中，所述拍摄装置还具备照明部，所述照明部照射所述偏振光。
工业上的可利用性
根据本技术，拍摄元件的4×4像素区域中的包含多种颜色分量的至少各颜色分量的像素为同一偏振光方向的偏振光像素，并且，将4×4像素区域中的一半以上的像素设为非偏振光像素，使用偏振光像素的像素信号和非偏振光像素的像素信号，对每个像素计算非偏振光分量和扩散反射分量。因此，能够获得分辨率和灵敏度较高的非偏振光图像和每种颜色分量的反射分量。因此，适合具有被拍摄体图像的调整功能的拍摄装置、具有使用由拍摄部生成的图像信号来进行图像处理的功能的电子设备等。
附图标记说明
10…拍摄装置；20、20-1、20-2、20-3、20-4、20-5…拍摄部；21…传感器部；22、42…偏振器；30…图像处理部；31…非偏振光分量计算部；32…扩散反射分量计算部；33…镜面反射分量计算部；34…反射分量调整部；35…分辨率转换部；351…加法部；352…除法部；40…照明部；41…光源。

Claims (20)

1.一种拍摄装置，具备：
拍摄部，拍摄元件的4×4像素区域中的包含多种颜色分量的至少各颜色分量的像素是同一偏振光方向的偏振光像素，除了所述偏振光像素以外的像素占所述4×4像素区域的一半以上且为非偏振光像素；以及
图像处理部，使用由所述拍摄部生成的所述偏振光像素的像素信号和所述非偏振光像素的像素信号，按每个像素计算非偏振光分量和扩散反射分量的至少任意一个。
2.根据权利要求1所述的拍摄装置，其中，
所述图像处理部计算所述非偏振光分量和所述扩散反射分量，基于计算出的所述非偏振光分量和所述扩散反射分量来计算镜面反射分量。
3.根据权利要求2所述的拍摄装置，其中，
所述图像处理部按每种颜色分量计算所述非偏振光分量和所述扩散反射分量的至少任意一个、或者所述非偏振光分量、所述扩散反射分量以及所述镜面反射分量。
4.根据权利要求3所述的拍摄装置，其中，
所述图像处理部使用所述像素信号进行滤波处理并按每个像素计算每种颜色分量的低频分量，按每个像素位置基于像素信号和与该像素相等的颜色分量的低频分量计算高频分量信息，根据按每个像素位置计算出的高频分量信息和每种颜色分量的低频分量按所述每种颜色分量计算所述非偏振光分量和所述扩散反射分量。
5.根据权利要求3所述的拍摄装置，其中，
所述图像处理部使用与偏振光像素同一颜色的非偏振光像素的像素信号进行插值处理来计算所述偏振光像素的非偏振光分量，并使用与非偏振光像素同一颜色的偏振光像素的像素信号进行插值处理来计算所述非偏振光像素的扩散反射分量。
6.根据权利要求2所述的拍摄装置，其中，
所述图像处理部对所述扩散反射分量和所述镜面反射分量的至少一方的分量的量进行调整并合成。
7.根据权利要求6所述的拍摄装置，其中，
所述图像处理部降低所述镜面反射分量的分量的量并进行合成。
8.根据权利要求6所述的拍摄装置，其中，
所述图像处理部仅对所述扩散反射分量进行分量的量的调整。
9.根据权利要求6所述的拍摄装置，其中，
所述图像处理部使用所述非偏振光分量或者所述扩散反射分量进行被拍摄体识别，并按识别出的每个被拍摄体区域进行所述扩散反射分量和所述镜面反射分量的至少一方的分量的量的调整。
10.根据权利要求1所述的拍摄装置，其中，
所述拍摄部根据偏振光特性和颜色分量相同的像素将信号相加来进行像素信号的生成，
所述图像处理部在与进行信号的相加的像素的排列方向正交的方向上，进行与进行了所述信号的相加的像素数相应的图像缩小处理。
11.根据权利要求1所述的拍摄装置，其中，
对被所述拍摄部拍摄的被拍摄体，照射与所述拍摄元件的偏振光像素的偏振光方向正交的偏振光方向的偏振光。
12.根据权利要求11所述的拍摄装置，其中，
所述拍摄装置还具备照明部，所述照明部照射所述偏振光。
13.一种拍摄元件，在使用多种颜色分量的像素构成的像素区域，4×4像素区域内的包含所述多种颜色分量的至少各颜色分量的像素是同一偏振光方向的偏振光像素，设置所述4×4像素区域内的除了所述偏振光像素以外的像素占一半以上并且为非偏振光像素的区域。
14.根据权利要求13所述的拍摄元件，其中，
在所述像素区域反复设置所述4×4像素区域。
15.根据权利要求14所述的拍摄元件，其中，
以规定间隔反复设置所述4×4像素区域。
16.根据权利要求13所述的拍摄元件，其中，
将所述4×4像素区域中的2×2像素区域设为包含所述各颜色分量的同一偏振光方向的偏振光像素。
17.根据权利要求13所述的拍摄元件，其中，
由所述各颜色分量的像素构成所述4×4像素区域所包含的4个2×2像素区域，将所述2×2像素区域中的一个像素设为所述偏振光像素。
18.根据权利要求13所述的拍摄元件，其中，
将所述4×4像素区域所包含的4个2×2像素区域的各2×2像素区域设为同一颜色分量的像素。
19.根据权利要求18所述的拍摄元件，其中，
将所述偏振光像素分散或者邻接地设置。
20.一种图像处理方法，包括：
从拍摄元件的4×4像素区域中的包含多种颜色分量的至少各颜色分量的像素是同一偏振光方向的偏振光像素，除了所述偏振光像素以外的像素占所述4×4像素区域的一半以上并且为非偏振光像素的拍摄部获取所述偏振光像素的像素信号和所述非偏振光像素的像素信号；以及
使用从所述拍摄部获取到的所述偏振光像素的像素信号和所述非偏振光像素的像素信号，计算每个像素的非偏振光分量和扩散反射分量的至少任意一个。
CN201880034579.XA 2017-06-13 2018-04-09 拍摄装置、拍摄元件以及图像处理方法 Active CN110741632B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-115755 2017-06-13
JP2017115755 2017-06-13
PCT/JP2018/014915 WO2018230119A1 (ja) 2017-06-13 2018-04-09 撮像装置と撮像素子および画像処理方法

Publications (2)

Publication Number Publication Date
CN110741632A true CN110741632A (zh) 2020-01-31
CN110741632B CN110741632B (zh) 2021-08-03

Family

ID=64660016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880034579.XA Active CN110741632B (zh) 2017-06-13 2018-04-09 拍摄装置、拍摄元件以及图像处理方法

Country Status (5)

Country Link
US (1) US11108951B2 (zh)
JP (1) JP7006690B2 (zh)
CN (1) CN110741632B (zh)
DE (1) DE112018002992T5 (zh)
WO (1) WO2018230119A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020213238A1 (zh) * 2019-04-19 2020-10-22
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
CN114766003B (zh) 2019-10-07 2024-03-26 波士顿偏振测定公司 用于利用偏振增强传感器系统和成像系统的系统和方法
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
EP4066001A4 (en) * 2019-11-30 2024-01-24 Boston Polarimetrics Inc SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100282945A1 (en) * 2009-05-11 2010-11-11 Sony Corporation Two-dimensional solid-state image capture device and polarization-light data processing method therefor
CN102356628A (zh) * 2009-12-08 2012-02-15 松下电器产业株式会社 图像处理装置
CN103037751A (zh) * 2010-11-30 2013-04-10 松下电器产业株式会社 图像处理装置
JP2013148505A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5799264B2 (ja) * 2013-02-15 2015-10-21 パナソニックＩｐマネジメント株式会社 画像処理装置および内視鏡
JP6693712B2 (ja) * 2015-07-01 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100282945A1 (en) * 2009-05-11 2010-11-11 Sony Corporation Two-dimensional solid-state image capture device and polarization-light data processing method therefor
CN102356628A (zh) * 2009-12-08 2012-02-15 松下电器产业株式会社 图像处理装置
CN103037751A (zh) * 2010-11-30 2013-04-10 松下电器产业株式会社 图像处理装置
JP2013148505A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両

Also Published As

Publication number Publication date
JP7006690B2 (ja) 2022-01-24
JPWO2018230119A1 (ja) 2020-04-16
US11108951B2 (en) 2021-08-31
US20200204729A1 (en) 2020-06-25
WO2018230119A1 (ja) 2018-12-20
DE112018002992T5 (de) 2020-02-27
CN110741632B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN110741632B (zh) 拍摄装置、拍摄元件以及图像处理方法
US11244209B2 (en) Image processing device, imaging device, and image processing method
JP5011814B2 (ja) 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US10630920B2 (en) Image processing apparatus
JP5701785B2 (ja) カメラモジュール
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
JP2007174276A (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2016207990A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JPWO2019092844A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2011199786A (ja) 画像処理装置及び画像処理方法並びにプログラム
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
US9807325B2 (en) Imaging apparatus, control method for imaging apparatus, and non-transitory computer-readable storage medium
TWI338511B (zh)
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
WO2016111175A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
US9143762B2 (en) Camera module and image recording method
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JP2012095341A (ja) 撮像装置
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10334161B2 (en) Image processing apparatus, image processing method, computer program and imaging apparatus
JP6316140B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6764518B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant