CN101868979A - 图像处理装置、图像处理方法以及摄影装置 - Google Patents

图像处理装置、图像处理方法以及摄影装置 Download PDF

Info

Publication number
CN101868979A
CN101868979A CN200880117230A CN200880117230A CN101868979A CN 101868979 A CN101868979 A CN 101868979A CN 200880117230 A CN200880117230 A CN 200880117230A CN 200880117230 A CN200880117230 A CN 200880117230A CN 101868979 A CN101868979 A CN 101868979A
Authority
CN
China
Prior art keywords
pixel
mentioned
polarizer
color
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880117230A
Other languages
English (en)
Other versions
CN101868979B (zh
Inventor
金森克洋
佐藤智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101868979A publication Critical patent/CN101868979A/zh
Application granted granted Critical
Publication of CN101868979B publication Critical patent/CN101868979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Polarising Elements (AREA)
  • Optical Filters (AREA)

Abstract

本发明提供一种图像处理装置、图像处理方法以及摄影装置。所述图像处理装置具有：单板彩色拍摄元件，其具有：彩色拼接滤波器(201)，以及具有不同的至少3种角度的透射偏振面的多个偏振器单位设置在彩色拼接滤波器(201)内的同一颜色(G)的多个像素中的图形化偏振器(202)。另外，该装置还包括：具有上述结构的单板彩色拍摄元件的彩色偏振光获取部(101)；偏振光信息处理部(103)，其用正弦函数，对在G像素中透射了偏振器单位的光的亮度与偏振器单位的透射偏振面的角度的关系进行近似；彩色拼接内插部(102)，其通过进行色彩亮度的内插，获得用关注像素所得不到的色彩亮度，生成色彩亮度图像。

Description

图像处理装置、图像处理方法以及摄影装置
技术领域
本发明涉及可以同时获取被摄体的彩色信息和偏振光信息的图像处理装置以及方法。另外，本发明涉及可以很合适地应用于这种图像处理的拍摄装置。
背景技术
近年来，数码摄像机的进步异常显著，可以预想到将来的便携式电话的照相机也可以获得HDTV画质。但是，如果将光学系统或拍摄元件小型化，则由于灵敏度或透镜衍射极限等原因，会产生图像拍摄的极限问题，因此，可以认为在将来高精细化也会达到极限。在这种情况下，在不够满意的被摄体的图像信息中施加计算机图形化处理对于画质的提高很有效。但是，为此需要获取被摄体的三维形状信息或照明被摄体的光源等图像生成过程中的物理信息。为了获取形状信息，通常需要使用激光或LED(Light Emitting Diode)的有源传感器或双视野立体摄影等的距离测量系统。这些系统不仅规模大，而且受到各种制约。例如，该制约包括：只能在照相机和被摄体的距离最多为数米左右的范围内进行拍摄，或者作为拍摄对象的被摄体被限定为固定形状的、明亮的漫射物体等。这样一来，不能应用于远距离的室外场景拍摄、或者头发或服装很重要的人物拍摄。
以往，作为无源的(被动的)被摄体形状传感方式，有利用偏振光的技术。这是一种利用来自被照射了非偏振光的自然光的被摄体的反射光(镜面反射光、或漫射反射光)由于表面方向或视点这些几何学上的原因而呈现各种部分偏振光的现象的技术。为了获取该信息，需要获取被摄体各像素的部分偏振光状态作为偏振光图像。
专利文献1以及非专利文献1公开了：为了同时获取亮度图像和被摄体的部分偏振光图像，在拍摄元件中空间上配置具有多个不同的偏振光主轴的图形化偏振器。作为图形化偏振器，使用光子结晶或结构双折射微偏极延迟阵列(form birefringence microretarder array)。但是，在这些技术中仅仅能同时获取单色图像和偏振光图像。
专利文献2公开了通过在贝尔彩色拼接中的G(绿色)像素的一部分中配置偏振光滤光器，使拍摄元件的一部分具有偏振光特性，且同时获取彩色图像和偏振光信息的内容。通过该技术可以从彩色图像中得到抑制了镜面反射分量的图像。在该技术中，由于进行获取不同的2个偏振光像素之间的差分的这一简单操作，因此，不能完全获取被摄体的部分偏振光的信息。
专利文献1：JP特开2007-86720号公报
专利文献2：JP特开2006-254331号公报
非专利文献1：菊田、岩田：“偏振光图像测量系统”Oplus E、Vol.25、No.11、P1241-1247、2003
在以往的技术中，不能同时获取被摄体的彩色图像和被摄体的部分偏振光的偏振光图像。因此，获取彩色动态图像和在时间上没有偏差的形状信息是不可能的。
专利文献2公开了在彩色图像中加入一部分的偏振光信息来控制彩色图像，并控制镜面反射的技术。在该技术中，如图24所示，像素被配置成拜耳拼接(Bayer Mosiac)形状。在图23中，G1和G2都表示G像素，但是，在G1的位置上配置有偏振器，而在G1的位置上没有配置偏振器。另一方面，R1和B1分别表示R(红色)和B(蓝色)的像素，在这些像素位置上没有设置偏振器。即，在这种像素配置中，只有G2像素作为偏振光像素发挥功能。
专利文献2的装置进行的处理将G1以及G2的像素位置上的亮度差设为常数倍，分别与R1、G1、B1这些非偏振光像素相加。由此可控制色彩亮度值。通过该结构即使获得彩色图像和偏振光信息，由于在G2的像素位置上设置了偏振器而与原来的G像素不同，因此，如果就在该状态下进行彩色拼接内插，则会在彩色图像上产生色偏差。
并且，由于只使用2种偏振光像素，因此，获取的部分偏振光的信息不完全。其结果是，在各像素位置上，不清楚在哪个方向上产生了何种程度的部分偏振光。即，不能获取完全的偏振光信息的图像。
发明内容
本发明是为了解决上述课题而完成的，其目的是：提供一种能够获取彩色拼接被正确地内插的全彩色图像，并且能同时获取表示偏振光的方向和程度的偏振光图像的图像处理装置以及图像处理方法。
另外，本发明的目的还在于提供一种可以很合适地应用于这种图像处理的拍摄装置。
本发明的图像处理装置具有：彩色偏振光获取部，其包括单板彩色拍摄元件，该单板彩色拍摄元件具有：彩色拼接滤波器、以及具有不同的至少3种角度的透射偏振面的多个偏振器单位被设置在上述彩色拼接滤波器内的同一颜色的多个像素中的图形化偏振器；偏振光信息处理部，其用正弦函数对在上述同一颜色的多个像素中透射过上述偏振器单位的光的亮度与上述偏振器单位的透射偏振面的角度的关系进行近似；以及彩色拼接内插部，其通过进行色彩亮度的内插，将透射偏振面的角度彼此不同、并且由相邻的3个偏振器单位形成的三角形区域作为像素单位，来生成色彩亮度图像。
在优选的实施方式中，上述图形化偏振器具有：透射偏振面的角度彼此不同的3种偏振器单位相邻配置的结构。
在优选的实施方式中，上述彩色拼接滤波器具有：单一特定颜色的像素排列成锯齿状的结构，上述偏振器单位配置在上述排列成锯齿状的像素中。
在优选的实施方式中，上述彩色拼接滤波器具有：将单一特定颜色的像素被排列成锯齿状的正方形晶格旋转45度的结构，上述偏振器单位配置在上述排列成锯齿状的像素中。
在优选实施方式中，各像素具有八角形的形状。
在优选实施方式中，上述单一特定颜色为R(红色)、G(绿色)、B(蓝色)中的G(绿色)。
在优选实施方式中，上述彩色拼接滤波器具有各像素为六角形形状的六角形晶格的结构，上述偏振器单位配置在上述排列的单一特定颜色的像素中。
在优选实施方式中，上述彩色拼接内插部通过在应该内插色彩亮度的像素的旁边，将在同一颜色的像素中观测到的亮度平均化，来消除偏振光的效果，并对色彩亮度进行内插，上述同一颜色的像素具有透射偏振面的角度彼此相差60度的3种偏振器单位。
本发明的图像处理方法具有：利用在彩色像素排列中的单一特定颜色的多个像素中设置了透射偏振面的角度不同的3种偏振器单位的单板彩色拍摄元件，来观测各像素的亮度的步骤；从在上述单一特定颜色的透射偏振面的角度不同的3种像素中观测到的亮度，获取偏振光信息的步骤；以及将由上述单一特定颜色的透射偏振面的角度不同的3种像素形成的三角形区域作为像素单位来进行色彩亮度的内插，从而生成色彩亮度图像的步骤。
本发明的拍摄装置具有：彩色拼接滤波器；图形化偏振器，其中，具有不同的3种角度的透射偏振面的多个偏振器单位被设置在上述彩色拼接滤波器内的同一颜色的多个像素中；以及单板彩色拍摄元件，其以像素单位输出与透射上述彩色拼接滤波器以及图形化偏振器的光的亮度相应的信号。
在优选的实施方式中，上述彩色拼接滤波器具有：单一特定颜色的像素排列成锯齿状的结构，上述偏振器单位配置在上述排列成锯齿状的像素中。
在优选的实施方式中，上述彩色拼接滤波器具有：将单一特定颜色的像素被排列成锯齿状的正方形晶格旋转45度的结构，上述偏振器单位配置在上述排列成锯齿状的像素中。
在优选实施方式中，各像素具有八角形的形状。
在优选实施方式中，上述彩色拼接滤波器具有各像素为六角形形状的六角形晶格的结构，上述偏振器单位配置在上述排列的单一特定颜色的像素中。
(发明效果)
根据本发明，由于是将多种偏振器单位组合到彩色拼接滤波器的像素排列中使用，因此，可同时获取、处理关于色彩亮度以及偏振光的信息。
另外，在本发明中，透射偏振面的角度彼此不同，并且，将由相邻的3种偏振器单位构成的三角形区域作为像素单位，因此，与将由透射偏振面的角度彼此不同的4种以上的偏振器单位构成的区域作为像素单位的情况相比，能够从面积更小的像素单位获取局部的、精度高的偏振光信息。
附图说明
图1是表示本发明的图像处理装置的结构的框图。
图2是表示本发明的彩色偏振光获取部的结构的图。
图3是偏振器单位的3种偏振光主轴的说明图。
图4(a)和(b)是第1实施方式的彩色滤波器以及图形化偏振光元件的排列状态的说明图。
图5(a)和(b)是第1实施方式的彩色滤波器以及图形化偏振光元件的排列状态的其他例子的说明图。
图6是说明第1实施方式中的正弦函数状亮度变动和观测亮度点的图。
图7是说明第1实施方式中的正弦函数的3种未知参数的图。
图8是表示第1实施方式中的三角形区域的集合与G色彩亮度的内插方法的图。
图9是表示第1实施方式中的三角形区域的集合与B色彩亮度的内插方法的图。
图10是表示第1实施方式中的三角形区域的集合与R色彩亮度的内插方法的图。
图11是说明第1实施方式中的彩色拼接内插部的操作的流程图。
图12是说明第1实施方式中的偏振光信息处理部的操作的流程图。
图13(a)是作为球体的塑料制成的球的被摄体的输入图像；(b)以及(c)是分别表示针对(a)的被摄体的偏光度图像ρ(x，y)以及偏振相位图像
Figure GPA00001140391600061
(x，y)的例子的图像。
图14(a)以及(b)是表示偏光度图像ρ(x，y)以及偏振相位图像(x，y)的被摄体上的数值变化的示意图。
图15(a)到(c)是表示向镜面反射分量图像和漫射反射分量图像分离的例子的图。
图16是表示第2实施方式中的彩色滤波器和图形化偏振器的排列以及单位像素的形状的图。
图17是表示第2实施方式中的三角形区域的集合和内插方法的图。
图18是说明第3实施方式中的彩色滤波器和图形化偏振器的排列以及单位像素的形状的图。
图19是表示第3实施方式中的三角形区域的集合的图。
图20是说明第3实施方式中的三角形区域的集合和G色彩亮度的内插方法的图。
图21是说明第3实施方式中的三角形区域的集合和B色彩亮度的内插方法的图。
图22是说明第3实施方式中的三角形区域的集合和R色彩亮度的内插方法的图。
图23是表示本发明的拍摄装置的实施方式的结构的框图。
图24是现有技术的说明图。
符号的说明：
100透镜
101彩色偏振光获取部
102彩色拼接内插部
103偏振光信息处理部
104彩色图像帧存储器
105偏光度图像帧存储器
106偏振相位图像帧存储器
107拼接图像帧存储器
具体实施方式
以下，参照附图对本发明的图像处理装置以及图像处理方法的实施方式进行说明。以下要说明的本发明的优选实施方式大概地具有如下结构。
实施方式1：只在贝尔彩色拼接中的G像素中配置不同的3种偏振器。
实施方式2：在将贝尔彩色拼接旋转45度的结构中，只在G像素中配置不同的3种偏振器。
实施方式3：在六角晶格的彩色拼接排列中，只在G中配置不同的3种偏振器。
(实施方式1)
图1是表示与在本说明书中说明的本发明的所有实施方式共通的基本结构的框图。本实施方式的装置可以在从被摄体实时地获取彩色图像信息的同时，获取偏振光图像信息，并作为2种偏振光图像(偏光度图像ρ以及偏振相位图像)输出。偏光度图像ρ以及偏振相位图像
Figure GPA00001140391600072
可以是静止、动态图像中的任意一种情况。
通过图1所示的透镜100的入射光入射到彩色偏振光获取部101。彩色偏振光获取部101从该入射光同时获取彩色动态图像图像和偏振光信息图像的数据。从彩色偏振光获取部101输出的彩色拼接图像的数据存储在拼接图像帧存储器107中。
从拼接图像帧存储器107按顺序读出拼接图像的数据，发送到彩色拼接内插部102，进行内插处理。针对每个像素，内插处理的结果存储在由RGB的3位面结构形成的彩色图像帧存储器104中，也适当地进行读出。
从拼接图像帧存储器107中按顺序读出像素信号，发送到偏振光信息处理部103。这些像素信号由偏振光信息处理部103进行处理，并被存储到偏光度图像帧存储器105以及偏振相位图像帧存储器106中。偏光度图像(ρ)的数据被从偏光度图像帧存储器105输出，偏振相位图像(
Figure GPA00001140391600081
)的数据被从偏振相位图像帧存储器106输出。
图2是表示彩色偏振光获取部101的基本结构的示意图。在所图示的例子中，彩色拼接滤波器201以及图形化偏振器202重叠设置在拍摄元件像素203的前面。图2为概念性的图，彩色拼接滤波器201和图形化偏振器202的重叠顺序与图2相反，图形化偏振器202可以重叠在彩色拼接滤波器201的前面，另外，在使用融合了彩色滤波器功能和偏振光功能的光学元件的情况下，由于其自身可以实现2种功能，因此，重叠操作这一操作本身就不需要。
入射光204透射彩色拼接滤波器201以及图形化偏振器202到达拍摄元件，通过拍摄元件像素203以像素单位观测亮度。根据本实施方式，可使用单板彩色拍摄元件，同时获取彩色信息以及偏振光信息两者。并且，如后面将要详细说明的那样，图形化偏振器202由包括透射偏振面的角度彼此不同的偏振器单位(节段)的多个偏振器单位构成。典型而言，各个偏振器单位具有相当于1个像素的大小，但是，偏振器单位无需配置在彩色拼接滤波器201的所有的像素中。图形化偏振器202配置为方格花纹形状。
这种图形化偏振器202可使用例如非专利文献1记载的光子结晶来实现。在光子结晶的情况下，具有与在其表面上形成的沟平行的电场矢量(振动面)的光为TE波(Transverse ElectricWave，电场分量相对于入射面为横向)，具有垂直的电场矢量(振动面)的光为TM波(Transverse Magnetic Wave，磁场分量相对于入射面为横向)。另外，偏振器单位表示在各波长频域中TM波透射而TE波反射(不透射)的偏振光特性。
图3表示在图形化偏振器202的各偏振器单位中示意性地画出的斜线的含义。图3所示的各像素内的斜线表示在各像素上设置的微小的偏振片(偏振器单位)的偏振光主轴方向。在此，“偏振光主轴”是指与透射偏振器的光的偏振面(透射偏振面)平行的轴。
偏振器单位在主轴方向上透射具有振动面的光，而且屏蔽具有垂直振动面的光。在本说明书中，分别将角度Ψ＝0°、60°、120°的偏振光主轴分配给偏振器编号1～3的偏振器单位。偏振器单位的偏振光透射率取决于所利用的光的波长，因此，与彩色拼接滤波器的透射波长域一起进行设计。例如，用符合“G1”限定的偏振器单位被设计为：在“G”的波长域内，主轴方向使“1”(即，角度Ψ＝0°)的方向的偏振光透射。
图4表示本实施方式的彩色偏振光获取部101中的像素的配置。图4(a)表示只在贝尔彩色拼接滤波器中的G像素的位置上配置“G1”～“G3”这3种偏振器单位。在该例中，当关注G的排列的情况下，在纵向上排列了G1的列401、排列了G2的列402和排列了G3的列403按照该顺序周期性地排列。在行404中，在横向上G1、G3、G2按照该顺序交替排列。另外，在行405中，虽然与行404同样，G1、G3、G2按照该顺序交替排列，但是，相对于行404，排列的相位向横向移位了3个像素。并且，在R像素以及B像素的位置上没有配置偏振器单位。
虽然图4中只显示了5×5＝25个像素，但是，在实际的彩色偏振光获取部101中，与此处所示的25个像素块相同的多个像素块在与拍摄面平行的面内周期性地排列。在图4(b)中，描述了三角形G1-G2-G3的集合体。以相邻的3种G像素作为顶点的三角形区域实际上很微小，在该三角形区域的内部，偏振光信息可认为是相同，因此，从以这3种偏振器单位观测的亮度获取以下的偏振光信息。即，三角形成为获取偏振光信息的基本单位。因此，在本说明书中，可认为三角形区域G1-G2-G3是与作为拍摄元件表面上的物理性受光单位的像素不同的虚拟三角形像素。在本实施方式中，拍摄面上的像素排列本身为正方形的晶格，因此，虚拟三角形像素成为等腰三角形。
图5表示本实施方式的彩色偏振光获取部101中的像素配置的其他的例子。该配置方式为：在纵向上排列了G2的列501、排列了G1的列502和排列G3的列503按照该顺序周期性地排列。在行504中，在横向上G2、G3、G1按照该顺序交替排列。另外，在行505中，虽然与行504同样，G2、G3、G1按照该顺序交替排列，但是，相对于行504，排列的相位向横向移位了3个像素。三角形G1-G2-G3的结构与图4的排列的结构相同。
(偏振光信息)
图6表示透射了具有方向不同的偏振光主轴(Ψi＝0°、60°、120°)的3种偏振器的G光的亮度601～603。在此，将偏振光主轴的旋转角Ψ为Ψi时的观测亮度设为Ii。其中，“i”是1以上N以下的整数，“N”为样本数。在图6所示的例子中，由于N＝3，所以i＝1、2、3。图6中显示了与3个G像素的样本(Ψi、Ii)对应的亮度601～603。偏振光主轴的角度Ψi与亮度601～603的关系通过周期＝π(180°)的正弦函数来表示。周期固定的正弦函数所具有的未知数只有振幅、相位以及平均值3种，通过观测不同的Ψ的3个亮度601～603，可完全确定1条正弦函数曲线。
相对于偏振器单位的偏振光主轴的角Ψ的观测亮度用以下的公式表示。
【公式1】
I(Ψ)＝A·sin 2(Ψ-B)+C    (式1)
在此，如图7所示，A、B、C为未知常数，分别表示偏振光亮度的变动曲线的振幅、相位、平均值。根据3个点的观测(公式1)，成为以下的联立方程式。
【公式2】
I 1 = - A sin ( 2 B ) + C I 2 = A sin ( 2 π 3 - 2 B ) + C = A [ 3 2 cos ( 2 B ) + 1 2 sin ( 2 B ) ] + C I 3 = A sin ( 4 π 3 - 2 B ) + C = A [ - 3 2 cos ( 2 B ) + 1 2 sin ( 2 B ) ] + C (式2)
未知数C为具有均等的相位差的偏振光像素亮度的平均值，因此，如以下的(公式3)所示被确定。
【公式3】
C = I 1 + I 2 + I 3 3 (式3)
另外，A以及B通过(公式2)的联立方程式分别如(公式4)以及(公式5)所示被确定。
【公式4】
A = 2 3 ( I 1 2 + I 2 2 + I 3 2 - I 1 I 2 - I 2 I 3 - I 3 I 1 ) (式4)
【公式5】
B = 1 2 tan - 1 ( I 2 + I 3 - 2 I 1 3 ( I 2 - I 3 ) ) (式5)
并且，本说明书中的“偏振光信息”是指：表示对于亮度的偏振光主轴角度的依存性的正弦函数曲线上的振幅调制度ρ以及相位信息φ。如果通过以上的处理，针对每个三角形区域G1-G2-G3确定了正弦函数的A、B、C的3个参数，则可以求出表示各像素中的偏光度ρ的偏光度图像和表示各像素中的偏振相位φ的偏振相位图像。偏光度ρ表示该像素的光偏振的程度，偏振相位φ表示取正弦函数的最大值的角度位置。该角度是在图像面内部表示当来自被摄体的反射光引起内部漫射反射的情况下的被摄体的表面法线存在的面的角度。并且，偏振光主轴的角度0°和180°(π)相同。
数值ρ、φ(0≤φ≤π)分别通过以下的(公式6)以及(公式7)计算出。
【公式6】
ρ = I max - I min I max + I min = A C (式6)
【公式7】
φ = π 4 + B (式7)
并且，针对每个三角形区域G1-G2-G3求得上述偏光度和偏振相位意味着偏光度图像帧存储器105以及偏振相位帧存储器106的图像成为三角形像素的结构。
(G的色彩亮度的内插)
图9描述了图4(b)或图5(b)中的8个三角形像素的集合，三角形的各顶点(a)～(i)对应于由G的偏振光像素G1、G2、G3中的任意一个构成的9个像素。在本发明的优选实施方式中，如图9所示，色彩亮度内插也以三角形像素为单位实施。如果将各顶点像素的观测亮度设为Ia～Ie，则将由图中所示的(a)(b)(e)(d)构成的斜正方形进行上下分割后的三角形(a)(b)(d)的G亮度即Gu以及三角形(b)(e)(d)的G亮度即Gd可通过以下的(公式8)以及(公式9)求出。
【公式8】
G U = 2 ( I a + I b + I d ) 3 T (式8)
【公式9】
G d = 2 ( I b + I d + I e ) 3 T (式9)
公式8、公式9中的常数2是在非偏振的光透射了直线偏振光的情况下光量变为1/2的现象的校正项。另外，这些公式中的T表示偏振器的透射率，是T不为100％的修正项。
同样，图8的所有三角形区域中的G亮度Gu和Gd可以求出。并且，这些三角形像素分别成为1个具有亮度的单位。
(B的色彩亮度的内插)
图9是表示为了获取图4(b)或图5(b)所示的三角形像素的B的色彩亮度所需的像素的图。图9所示的9个顶点(a)～(i)构成三角形像素的顶点，与G的偏振光像素1、2、3中的任意一个对应。在图9，作为用于获取内插所需要的数据的像素位置，图示了通过上述顶点(a)～(i)构成的三角形像素的外侧的4个顶点(α)(β)(γ)(δ)以及外侧的顶点(μ)(v)。
在图9中，用虚线围起来的矩形区域901～904表示具有B色彩亮度的正方形像素。
B像素位于矩形区域901～904内，B像素的面积占三角形像素的面积的50％。作为上下的三角形像素也采用该值。如果基于该想法，则在图9中存在B值的是画了斜线的区域。具体而言，为斜正方形(b)(c)(f)(e)、斜正方形(e)(h)(g)(d)、三角形(α)(b)(a)、三角形(a)(d)(β)、三角形(f)(γ)(i)、三角形(h)(i)(δ)。
欠缺B亮度的三角形区域是斜正方形(a)(b)(e)(d)以及斜正方形(e)(f)(i)(h)中所分别包含的2个白色区域所示的三角形。这些三角形像素中的B色彩亮度必须通过内插生成。而且，可通过将矩形区域901～904的B色彩亮度进行平均来实施内插。例如，如果将矩形区域901的B亮度记载为B901，则可以通过以下的(公式10)计算出内插值。
【公式10】
B = B 901 + B 902 + B 903 + B 904 4 (式10)
其中，需要将斜正方形的区域上下分割为2个三角形像素。利用B色彩亮度和G色彩亮度的相关性，通过以下的(公式11)计算每个三角形像素的B色彩亮度Bu、Bd。
【公式11】
B U = 2 G u G u + G d B
(式11)
B d = 2 G d G u + G d B
图10是表示为了获取图4(b)或图5(b)所示的三角形像素的R的色彩亮度所需的像素的图。作为内插所需要的数据，也描述了由顶点(a)～(i)构成的三角形像素的外侧的G像素位置即4个顶点(ε)(ζ)(η)(θ)。在此，根据与上述B像素相同的想法，存在R像素的是画斜线的区域。具体而言是斜正方形(a)(b)(e)(d)、斜正方形(e)(f)(i)(h)的位置、三角形(ε)(c)(b)、三角形(c)(ζ)(f)、三角形(d)(g)(η)、三角形(g)(h)(θ)。
(R的色彩亮度的内插)
图10是表示为了获取图4(b)或图5(b)所示的三角形像素的R的色彩亮度所需的像素的图。作为内插所需要的数据，也描述了由顶点(a)～(i)构成的三角形像素的外侧的G像素位置即4个顶点(ε)(ζ)(η)(θ)。在此，根据与上述B像素相同的想法，存在R像素的是画斜线的区域。具体而言是斜正方形(a)(b)(e)(d)、斜正方形(e)(f)(i)(h)的位置、三角形(ε)(c)(b)、三角形(c)(ζ)(f)、三角形(d)(g)(η)、三角形(g)(h)(θ)。不具有R像素的三角形像素的内插与B像素的内插相同，可根据以下的(公式12)和(公式13)计算出。
【公式12】
R = R 1001 + R 1002 + R 1003 + R 1004 4 (式12)
【公式13】
R u = 2 G u G u + G d R
(式13)
R d = 2 G d G u + G d R
通过以上的处理，生成图4(b)或图5(b)所示的每个三角形像素的偏光度图像和偏光相位图像以及(RGB)全色亮度图像。
如果试着将彩色偏振光获取部的像素结构和在获得三角形像素图像的情况下的像素结构重叠显示，则三角形像素和本来的正方形图像在面积上相等。但是，在不使用三角形像素的情况下，偏振光信息或G色彩亮度的内插结果所处的中心坐标位置会偏离原来的正方形晶格的坐标系。出于复杂化的担心而采用了该处理。
接下来，参照图11对图1中的彩色拼接内插部102的操作进行说明。
首先，将在彩色偏振光获取部101获取的彩色拼接图像的数据设为存储于拼接图像帧存储器107中的数据。在步骤S1101中，拼接图像的G亮度的像素组(G1-G2-G3)被作为1个单位读出。
在步骤S1102中，使用(公式8)或(公式9)将G亮度内插。
在步骤S1103中，在彩色图像帧存储器104的G位面中存储G亮度作为三角形像素。在步骤S1104中，判断所有的G亮度的像素组(G1-G2-G3)是否结束。在没有结束的情况下，反复进行步骤1101～1104的处理。当在步骤S1104中判断为“结束”的情况下，进入步骤S1105。
接下来，在步骤S1105中，从拼接图像帧存储器获取B亮度和R亮度的像素。该获取可并列进行。在步骤S1106中，如果是B亮度则使用(公式10)；如果是R亮度则使用(公式12)，计算出三角形像素中的B亮度和R基础。在步骤S1107中，如果是欠缺B亮度的三角形像素则使用(公式11)；如果是欠缺R亮度的三角形像素则使用(公式13)进行内插。在步骤S1108中，将上述内插后的B亮度的三角形像素和R亮度的三角形像素存储在彩色图像帧存储器104的B、R位面中。
在步骤S1109中，针对拼接图像帧存储器中所包含的所有B亮度像素、R亮度像素，判断上述处理是否结束。当判断为没有结束的情况下，重复进行步骤S1105～S1109的处理。
作为上述处理的结果，各像素中(RGB)的具有亮度值的色彩亮度图像I(x、y)的数据在彩色图像帧存储器104内生成。该I(x、y)的图像虽然是三角形像素结构，但是，具有与使用通常的贝尔彩色拼接的单板彩色拍摄元件相同程度的颜色再现性的全色图像可内插生成。
接下来，参照图12对图1的偏振光信息处理部103的操作进行说明。
首先，将由彩色偏振光获取部101获取的彩色拼接图像的数据设为拼接图像帧存储器107中所存储的数据。在步骤S1201中，从拼接图像帧存储器读出G亮度像素(G1-G2-G3)组。接下来，使用G1、G2、G3这些偏振光亮度，利用(公式2)到(公式5)确定正弦函数参数A、B、C。
在步骤S1203中，使用(公式6)、(公式7)生成偏光度ρ和偏振相位φ。
在步骤S1204中，将生成的值存储在偏振光图像帧存储器105和偏振相位图像帧存储器106中的三角形像素的位置上。
一直到由步骤S1205判断出拼接图像帧存储器的所有像素都结束为止，反复进行以上的处理。这样，在偏光度图像帧存储器105内生成偏光度图像ρ(x，y)的数据；另外，在偏振相位图像帧存储器106内生成偏振相位图像φ(x，y)的数据。由其形成过程可知，这些图像的大小与彩色拼接图像的图像结构不同，成为三角形像素的结构。其结果是：尽管只在G像素中配置了图形化偏振器，但还是可通过与全色图像I(x、y)相同的像素结构以及清晰度获得偏振光信息。
并且，图11以及图12的处理相互独立，因此，也可以并列地进行这些处理。另外，这些处理可以利用软件实施，也可以利用硬件实施。
在本实施方式中，虽然使用由光子结晶形成的图形化偏振器，但是，也可以使用薄膜型的偏振光元件、或者利用线栅型或其他原理的偏振光元件。
图13(a)为球体即塑料制成的球的被摄体的输入图像。图13(b)以及(c)分别表示相对于图13(a)的被摄体的偏光度图像ρ(x、y)以及偏振相位图像φ(x、y)的例子。图13(a)、(b)示出，各图像的偏光度ρ、偏振相位φ越大，越表示明亮度高。
图14(a)以及(b)是用于说明图13(b)以及(c)的图像的示意图。在偏光度图像ρ(x、y)中，像素位置越是从照相机的视线方向和球的表面法线相同的中心附近向方位1401方向偏离，该像素的偏光度ρ越增加。另外，在球的表面法线相对于照相机的视线方向接近90°的球的遮蔽边缘(与背景的边界)附近，偏光度ρ成为最大。在图14(a)中，用等高线示意性地表示了该偏光度ρ。
由图14(b)的偏振相位图像φ(x、y)可知，相对于表示相位＝0°的图像的上下方向的垂线，偏振相位以180°的周期在球体周围逆时针旋转地向箭头1402、1403方向单调增加。根据这些偏振光信息图像可知，偏光度ρ和偏振相位φ相当于被摄体的表面法线的2自由度的方向。即，偏振光信息可推断被摄体的形状。
并且，在本实施方式中，虽然将被摄体的反射光中的漫射反射分量的偏光度图像和偏振相位图像作为输出，但是，其也可以是镜面反射分量，在该情况下，偏振相位φ变成相差90°。
另外，作为偏振光信息，除了(ρ、φ)这一组合，如果是从图7的正弦函数获得的信息，则也可以是其他的信息组，也可以是由该信息生成的图像。例如，从偏振光信息将电介质被摄体的漫射反射分量和镜面反射分量作为分量进行分离，这一操作从应用的方面来讲是很重要的。为了在本发明中进行该操作，使用正弦函数参数的A、C。
图15(a)用与正弦函数变动的关系表示镜面反射分量和漫射反射分量的关系。因此，如果假设将由菲涅耳反射公式确定的一定的折射率和具有照明入射角的镜面反射的部分偏振光比率(Specular PFR)设为r，则偏振光信息可以从G彩色分量获得，
【公式14】
G S + A G S - A = r (式14)
所以，可基于此，按照以下的方法求出色彩亮度镜面反射分量。
【公式15】
G S = ( r + 1 r - 1 ) A
R S = ( G S G ) R (式15)
B S = ( G S G ) B
如上所述生成的图像的例子如图15(b)(c)所示。
(实施方式2)
以下，对本发明的图像处理装置的第2实施方式进行说明。
图1的框图中也表示过本实施方式的基本结构，因此，在此适当地参照图1。
图16表示本实施方式的彩色偏振光获取部101中的像素的配置。本实施方式中的像素处理装置的特点在于：彩色滤波器的排列与实施方式1中的彩色滤波器的排列不同。具体而言，与将图4或图5所示的贝尔型的正方形晶格排列旋转45度后的排列等效，相对于2个G像素，R、B像素分别只配置1个的贝尔排列的性质得到维持。由于增大了受光面积，所以各自的像素的形状可以不是正方形而是八角形。在图16中，作为具有八角形的形状的像素的代表例，示意性地记载了扩大的3个像素G1、B、G3。
通过采用图16所示的像素排列，内插后的彩色图像、偏光度图像、偏振相位图像的像素排列结构呈直立，因此，可以生成适于图像处理的图像。
在图16的例子中，只在G像素配置了“G1”～“G3”这3种偏振器单位而在R像素以及B像素的位置上没有配置偏振器单位。虽然在图16中只表示了32个像素，但是，在实际的彩色偏振光获取部101中，与图中所示的32个像素块相同的多个像素块在与拍摄面平行的面内被周期性地排列。
图17描述了三角形G1-G2-G3的集合体。可认为在该三角形内偏振光信息相同，因此，从以这3种偏振器单位观测到的亮度获取上述偏振光信息。与实施方式1相同，该三角形像素成为偏振光信息获取以及色彩亮度内插的基本单位。实际的内插处理或处理的流程图也与实施方式1所说明的相同，因此省略其说明。最终得到的像素结构成为图17的正方形晶格。在实施方式1中为斜的像素结构而在本实施方式中为直立状态，因此，优点是具有便于处理的结构。
(实施方式3)
以下，对本发明的图像处理装置的第3实施方式进行说明。
本实施方式的基本结构也在图1的框图中表示过，因此，在此适当地参照图1。
图18表示本实施方式的彩色偏振光获取部101中的像素的配置。本实施方式的图像处理装置的特点在于：成为追加图形化偏振器的基础的彩色滤波器的排列与实施方式1或2在以下方面不同。
1)不是基于正方形晶格的排列，而是基于六角形晶格的排列。这表明是像素各错开半个像素的排列。
2)G像素、B像素、R像素的出现频率都相等。
以这种彩色拼接滤波器为基础，只在G像素中设置了3种偏振器G1、G2、G3。虽然在图18中只显示了9×5＝45个像素，但是，在实际的彩色偏振光获取部101中，与图中所示的45个像素块相同的多个像素块在与拍摄面平行的面内被周期性地排列。
各像素单位的形状可以不是正方形，而是可更加有效利用受光面积的六角形。在图18中，作为具有六角形的形状的像素的代表例，示意性地描述了扩大的3个像素B、G3、R。
在图18所示的排列中，成为信息获取单位的三角形的形状与第1、第2实施方式相比，接近于正三角形，具有在从3种偏振光像素的信息获取中偏差少的优点。
图19描述了三角形G1-G2-G3的集合体。该等腰三角形的3个边的长度如以下的(公式16)所示。
【公式16】
[ 2 , 13 2 , 13 2 ] ≈ [ 1.00,0.901,0.901 ] (式16)
另一方面，第1、第2实施方式的三角形的3个边如以下的(公式17)所示。
【公式17】
[ 2 , 1,1 ] ≈ [ 1.00,0.707,0.707 ] (式17)
由于在该局部的三角形内可认为偏振光信息相同，所以，能够从以这3种偏光器单位观测到的亮度获取以下的偏振光信息。即，该三角形成为偏振光信息获取以及色彩亮度内插的基本单位这一内容与第1、第2实施方式相同。
(偏振光信息)
由图19的结构可知，从具有仅G颜色的不同的3种偏振光信息的三角形区域可以获得1个偏振光信息。如在其他的实施方式中所详细说明的那样，在本实施方式中也可以将平面作为三角形区域的像素的集合体来获得偏光度图像和偏振相位图像信息。
(G的色彩亮度的内插)
图20所示的点(a)～(i)表示图19的三角形的集合体的顶点。因此，可将各三角形视为1个像素，将各三角形像素的G色彩亮度作为位于3个顶点的G1、G2、G3的平均值进行内插。例如，将以点(b)(f)(e)作为顶点的三角形像素的G色彩亮度表示为Gb-f-e的情况下，亮度Gb-f-e可以通过以下的(公式18)计算。
【公式18】
G b - f - e = 2 ( I b + I f + I e ) 3 T (式18)
其中，Ib、If、Ie分别为在位于点(b)、(f)、(e)的G像素中观测的G色彩亮度。
(B、R的色彩亮度的内插)
图21、图22是描述图19中的三角形的集合的图。图21、图22中表示了顶点与G的偏振光像素G1、G2、G3中的任意一个对应的点(a)～(i)的9个像素。在此，欠缺B色彩亮度或R色彩亮度的三角形区域由周围的三角形进行内插。在进行B色彩亮度的内插的情况下，如图21的箭头所示，该内插利用周围的3种三角形区域进行。在内插R色彩亮度的情况下，如图22的箭头所示，使用周围的3种三角形区域进行。
例如，将以点(b)(f)(e)为顶点的三角形像素的B色彩亮度表示为Bb-f-e的情况下，亮度Bb-f-e可以通过以下的(公式19)计算。
【公式19】
B b - f - e = B b - c - f + B a - b - e + B e - f - i 3 (式19)
另外，例如，将以点(e)(h)(d)为顶点的三角形像素的B色彩亮度表示为Bb-f-e的情况下，亮度Re-h-d可以通过以下的(公式20)计算。
【公式20】
R e - h - d = R a - e - d + R e - i - h + R d - h - g 3 (式20)
通过以上处理，针对每个三角形区域，生成偏光度图像和显示各像素中的偏振相位φ的偏振相位图像以及(RGB)全色亮度图像。
如图1所示，上述各实施方式不仅具有彩色偏振光获取部101，还具有彩色拼接内插部102等的图像处理部，但是，本发明不是作为这种图像处理装置，而是作为拍摄装置也可以实现。即，可作为具有图2中举例所示的彩色拼接滤波器201、图形化偏振器202以及拍摄元件像素203的拍摄装置来实施本发明。
图23是表示本发明的拍摄装置的实施方式的结构的框图。
本实施方式的拍摄装置232具有实施方式1～3中的透镜100、彩色偏振光获取部101、以及拼接图像帧存储器107，另外还具有用于将拼接图像帧存储器107的数据输出到外部的输出部108a。
本实施方式中的透镜100、彩色偏振光获取部101以及拼接图像帧存储器107的结构以及操作如实施方式1～3所说明的那样，因此，在此不重复其说明。输出部108a具有读出拼接图像帧存储器107中所记录的数据，并向外部输出的功能。
从本实施方式中的拍摄装置232输出的信号被输入到图23所示的处理装置234中。在图23所示的处理装置234中，输入部108b接收来自拍摄装置232的信号，并将数据记录在帧存储器109中。拼接图像的数据被从帧存储器109按顺序读出，并被发送到彩色拼接内插部102，进行内插处理。内插处理的结果是：每个像素存储在由RGB的3位面结构构成的彩色图像帧存储器104中，还适当地进行读出。另外，像素信号被从帧存储器109中按顺序读出，并被发送到偏振光信息处理部103。这些像素信号由偏振光信息处理部103进行处理，并被保存在偏光度图像帧存储器105以及偏振相位图像帧存储器106中。从偏光度图像帧存储器105输出偏光度图像(ρ)的数据，从偏振相位图像帧存储器106输出偏振相位图像(φ)的数据。
处理装置234可以是内置了执行例如图12所示的处理的软件程序的通用计算机，也可以是为实施本发明而制造的处理装置。
(产业上的可利用性)
本发明的图像处理装置以及图像处理方法可以同时获取来自被摄体的彩色信息和偏振光信息，因此，可以应用于各种数字静态照相机、数字摄像机、监控摄像机、车载摄像机等。

Claims (15)

1.一种图像处理装置，具有：
彩色偏振光获取部，其包括单板彩色拍摄元件，该单板彩色拍摄元件具有：彩色拼接滤波器、以及具有不同的至少3种角度的透射偏振面的多个偏振器单位被设置在上述彩色拼接滤波器内的同一颜色的多个像素中的图形化偏振器；
偏振光信息处理部，其用正弦函数，对在上述同一颜色的多个像素中透射过上述偏振器单位的光的亮度与上述偏振器单位的透射偏振面的角度的关系进行近似；以及
彩色拼接内插部，其通过进行色彩亮度的内插，将透射偏振面的角度彼此不同、并且由相邻的3个偏振器单位形成的三角形区域作为像素单位，来生成色彩亮度图像。
2.根据权利要求1所述的图像处理装置，其中，
上述图形化偏振器具有：透射偏振面的角度彼此不同的3种偏振器单位相邻配置的结构。
3.根据权利要求1所述的图像处理装置，其中，
上述彩色拼接滤波器具有：单一特定颜色的像素排列成锯齿状的结构，
上述偏振器单位配置在上述排列成锯齿状的像素中。
4.根据权利要求1所述的图像处理装置，其中，
上述彩色拼接滤波器具有：将单一特定颜色的像素被排列成锯齿状的正方形晶格旋转45度的结构，
上述偏振器单位配置在上述排列成锯齿状的像素中。
5.根据权利要求4所述的图像处理装置，其中，
各像素具有八角形的形状。
6.根据权利要求3所述的图像处理装置，其中，
上述单一特定颜色为R、G、B中的G，其中R为红色，G为绿色，B为蓝色。
7.根据权利要求4所述的图像处理装置，其中，
上述单一特定颜色为R、G、B中的G，其中R为红色，G为绿色，B为蓝色。
8.根据权利要求1所述的图像处理装置，其中，
上述彩色拼接滤波器具有：各像素为六角形形状的六角形晶格结构，
上述偏振器单位配置在上述排列的单一特定颜色的像素中。
9.根据权利要求1所述的图像处理装置，其中，
上述彩色拼接内插部通过在应该内插色彩亮度的像素的旁边，将在同一颜色的像素中观测到的亮度平均化，来消除偏振光的效果，并对色彩亮度进行内插，上述同一颜色的像素具有透射偏振面的角度彼此相差60°的3种偏振器单位。
10.一种图像处理方法，具有：
利用在彩色像素排列中的单一特定颜色的多个像素中设置了透射偏振面的角度不同的3种偏振器单位的单板彩色拍摄元件，来观测各像素的亮度的步骤；
从在上述单一特定颜色的透射偏振面的角度不同的3种像素中观测到的亮度，获取偏振光信息的步骤；以及
将由上述单一特定颜色的透射偏振面的角度不同的3种像素形成的三角形区域作为像素单位来进行色彩亮度的内插，从而生成色彩亮度图像的步骤。
11.一种拍摄装置，具有：
彩色拼接滤波器；
图形化偏振器，其中，具有不同的3种角度的透射偏振面的多个偏振器单位被设置在上述彩色拼接滤波器内的同一颜色的多个像素中；以及
单板彩色拍摄元件，其以像素单位输出与透射过上述彩色拼接滤波器以及图形化偏振器的光的亮度相应的信号。
12.根据权利要求11所述的拍摄装置，其中，
上述彩色拼接滤波器具有：单一特定颜色的像素排列成锯齿状的结构，
上述偏振器单位配置在上述排列成锯齿状的像素中。
13.根据权利要求11所述的拍摄装置，其中，
上述彩色拼接滤波器具有：将单一特定颜色的像素被排列成锯齿状的正方形晶格旋转45度的结构，
上述偏振器单位配置在上述排列成锯齿状的像素中。
14.根据权利要求13所述的拍摄装置，其中，
各像素具有八角形的形状。
15.根据权利要求11所述的拍摄装置，其中，
上述彩色拼接滤波器具有：各像素为六角形形状的六角形晶格结构，
上述偏振器单位配置在上述排列的单一特定颜色的像素中。
CN2008801172309A 2007-12-07 2008-11-28 拍摄装置 Active CN101868979B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007317060 2007-12-07
JP2007-317060 2007-12-07
PCT/JP2008/003531 WO2009072260A1 (ja) 2007-12-07 2008-11-28 画像処理装置および画像処理方法ならびに撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201310075540.1A Division CN103152582B (zh) 2007-12-07 2008-11-28 图像处理装置、图像处理方法

Publications (2)

Publication Number Publication Date
CN101868979A true CN101868979A (zh) 2010-10-20
CN101868979B CN101868979B (zh) 2013-03-27

Family

ID=40717442

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008801172309A Active CN101868979B (zh) 2007-12-07 2008-11-28 拍摄装置
CN201310075540.1A Active CN103152582B (zh) 2007-12-07 2008-11-28 图像处理装置、图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201310075540.1A Active CN103152582B (zh) 2007-12-07 2008-11-28 图像处理装置、图像处理方法

Country Status (5)

Country Link
US (1) US8564700B2 (zh)
EP (1) EP2216999B1 (zh)
JP (2) JP4486703B2 (zh)
CN (2) CN101868979B (zh)
WO (1) WO2009072260A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105021282A (zh) * 2015-07-06 2015-11-04 中国科学院遥感与数字地球研究所 快照式偏振高光谱相机及成像方法
CN107179575A (zh) * 2016-03-09 2017-09-19 松下知识产权经营株式会社 光检测装置及光检测系统
CN107615485A (zh) * 2015-06-10 2018-01-19 索尼公司 固态成像装置和电子设备
WO2022033211A1 (zh) * 2020-08-14 2022-02-17 华为技术有限公司 偏振器及阵列、偏振可控方法及装置、电子设备

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3217660B1 (en) * 2007-06-15 2018-10-31 Panasonic Intellectual Property Management Co., Ltd. Image processing device
JP5057389B2 (ja) * 2008-03-31 2012-10-24 富士フイルム株式会社 撮像装置
WO2011083542A1 (ja) * 2010-01-05 2011-07-14 パナソニック株式会社 ３次元撮像装置
JP4971531B2 (ja) 2010-07-21 2012-07-11 パナソニック株式会社 画像処理装置
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
JP5839253B2 (ja) * 2010-11-30 2016-01-06 株式会社リコー 物体検出装置及びこれを備えた車載機器制御装置
JP5150796B2 (ja) * 2011-03-30 2013-02-27 富士フイルム株式会社 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置
KR20140002034A (ko) 2011-05-12 2014-01-07 애플 인크. 존재 감지
US20120287031A1 (en) 2011-05-12 2012-11-15 Apple Inc. Presence sensing
DE102011051583A1 (de) * 2011-07-05 2013-01-10 Conti Temic Microelectronic Gmbh Bildaufnahmevorrichtung für ein Fahrzeug
WO2013031100A1 (ja) * 2011-09-02 2013-03-07 パナソニック株式会社 偏光撮像素子および内視鏡
WO2013044149A1 (en) * 2011-09-21 2013-03-28 Aptina Imaging Corporation Image sensors with multiple lenses of varying polarizations
JP5777825B2 (ja) * 2012-12-05 2015-09-09 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
WO2014087808A1 (ja) * 2012-12-07 2014-06-12 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
WO2014087804A1 (ja) * 2012-12-07 2014-06-12 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
WO2014119257A1 (ja) * 2013-01-29 2014-08-07 パナソニック株式会社 撮像システム
WO2014136570A1 (ja) * 2013-03-05 2014-09-12 富士フイルム株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム
JP2015060121A (ja) 2013-09-19 2015-03-30 株式会社東芝 カラーフィルタアレイおよび固体撮像素子
JP2015144194A (ja) * 2014-01-31 2015-08-06 ソニー株式会社 固体撮像素子および電子機器
US9645074B2 (en) 2014-02-06 2017-05-09 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus
US9307159B2 (en) 2014-03-04 2016-04-05 Panasonic Intellectual Property Management Co., Ltd. Polarization image processing apparatus
US9571786B1 (en) * 2015-10-15 2017-02-14 Eth Zurich Systems and methods for interpolating frames of a video
WO2017081925A1 (ja) * 2015-11-10 2017-05-18 ソニー株式会社 画像処理装置と画像処理方法
JP6761974B2 (ja) * 2016-03-09 2020-09-30 パナソニックＩｐマネジメント株式会社 光検出装置および光検出システム
DE102016212771A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Abtasten eines Lichtsensors
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
US10750136B2 (en) * 2016-10-17 2020-08-18 Sony Corporation Image processing apparatus, image processing method, and image pickup device
US9911215B1 (en) 2016-11-04 2018-03-06 Disney Enterprises, Inc. Systems and methods for propagating edits through a video
JP6843682B2 (ja) * 2017-04-07 2021-03-17 キヤノン株式会社 撮像素子および撮像装置
JP6821028B2 (ja) * 2017-08-04 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および画像データ読み出し方法
US10817594B2 (en) 2017-09-28 2020-10-27 Apple Inc. Wearable electronic device having a light field camera usable to perform bioauthentication from a dorsal side of a forearm near a wrist
CN111247794B (zh) * 2017-10-30 2023-03-24 索尼半导体解决方案公司 固态摄像装置和电子设备
US10367020B2 (en) * 2017-11-15 2019-07-30 Taiwan Semiconductor Manufacturing Co., Ltd. Polarizers for image sensor devices
DE102018124442A1 (de) * 2017-11-15 2019-05-16 Taiwan Semiconductor Manufacturing Co. Ltd. Polarisatoren für Bildsensorvorrichtungen
US11605661B2 (en) 2017-11-21 2023-03-14 Sony Corporation Image processing apparatus, image processing method, and solid-state imaging apparatus to detect polarization properties of each color
CN112788314B (zh) * 2021-01-20 2022-05-31 西北工业大学深圳研究院 基于边缘变化感应的偏振去马赛克方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE37752E1 (en) * 1992-10-29 2002-06-18 Equinox Corporation Polarization viewer
US5557324A (en) 1992-10-29 1996-09-17 The Johns Hopkins University Polorization viewer
JP3830590B2 (ja) * 1996-10-30 2006-10-04 株式会社東芝 固体撮像装置
US6355939B1 (en) * 1998-11-03 2002-03-12 Lockheed Martin Corporation Multi-band infrared photodetector
AU2001271847A1 (en) * 2000-07-06 2002-01-21 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
US7149262B1 (en) * 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
JP4531231B2 (ja) 2000-09-18 2010-08-25 三菱電機株式会社 撮像装置
WO2004054001A2 (en) * 2002-12-09 2004-06-24 Quantum Semiconductor Llc Cmos image sensor
US20050133879A1 (en) 2003-04-07 2005-06-23 Takumi Yamaguti Solid-state imaging device, signal processing device, camera, and spectral device
JP4287320B2 (ja) * 2003-04-07 2009-07-01 パナソニック株式会社 固体撮像装置、信号処理装置、カメラ及び分光装置
JP4455156B2 (ja) * 2004-05-19 2010-04-21 オリンパス株式会社 撮像装置
EP1679907A1 (en) * 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
JP2006254331A (ja) 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd 被写体の反射光成分を検出する画像処理方法およびこれを実行する装置
DE102005031966B4 (de) * 2005-07-08 2011-10-27 Günter Grau Herstellung eines polarisationsempfindlichen Filters mit gezielter Ausdehnung und Orientierung für CCD- oder CMOS-Bildsensoren
JP4566848B2 (ja) * 2005-07-11 2010-10-20 富士フイルム株式会社 撮影装置および撮影装置の駆動方法
JP4872911B2 (ja) * 2005-08-15 2012-02-08 ソニー株式会社 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム
JP4974543B2 (ja) 2005-08-23 2012-07-11 株式会社フォトニックラティス 偏光イメージング装置
CN101044507B (zh) * 2005-09-01 2010-08-18 松下电器产业株式会社 图像处理方法以及图像处理装置
JP3996631B2 (ja) * 2005-09-09 2007-10-24 松下電器産業株式会社 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
US7522278B2 (en) * 2006-03-10 2009-04-21 University Of Washington Real-time linear-birefringence-detecting polarization microscope
EP3217660B1 (en) * 2007-06-15 2018-10-31 Panasonic Intellectual Property Management Co., Ltd. Image processing device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107615485A (zh) * 2015-06-10 2018-01-19 索尼公司 固态成像装置和电子设备
CN105021282A (zh) * 2015-07-06 2015-11-04 中国科学院遥感与数字地球研究所 快照式偏振高光谱相机及成像方法
CN105021282B (zh) * 2015-07-06 2017-12-19 中国科学院遥感与数字地球研究所 快照式偏振高光谱相机及成像方法
CN107179575A (zh) * 2016-03-09 2017-09-19 松下知识产权经营株式会社 光检测装置及光检测系统
WO2022033211A1 (zh) * 2020-08-14 2022-02-17 华为技术有限公司 偏振器及阵列、偏振可控方法及装置、电子设备

Also Published As

Publication number Publication date
EP2216999B1 (en) 2015-01-07
CN103152582B (zh) 2015-02-25
CN103152582A (zh) 2013-06-12
JP4486703B2 (ja) 2010-06-23
US8564700B2 (en) 2013-10-22
EP2216999A1 (en) 2010-08-11
JP5159809B2 (ja) 2013-03-13
JPWO2009072260A1 (ja) 2011-04-21
JP2010166580A (ja) 2010-07-29
EP2216999A4 (en) 2013-10-16
CN101868979B (zh) 2013-03-27
US20100253820A1 (en) 2010-10-07
WO2009072260A1 (ja) 2009-06-11

Similar Documents

Publication Publication Date Title
CN101868979B (zh) 拍摄装置
JP4500360B2 (ja) 画像処理装置
CN101584222B (zh) 图像处理装置
CN104427328B (zh) 光学单元和成像装置
CN202750183U (zh) 视差成像设备和视差成像系统
US5557324A (en) Polorization viewer
CN101960859B (zh) 图像处理方法、图像处理装置、图像合成方法和图像合成装置
KR102635003B1 (ko) 라이트 필드 데이터 표현
CN103703770A (zh) 偏振彩色摄像装置
CN109565578A (zh) 检查设备、检查方法和程序
US20180075615A1 (en) Imaging device, subject information acquisition method, and computer program
CN104170377A (zh) 图像处理装置、摄像装置及图像处理程序
CN103052914A (zh) 三维摄像装置
CN106504291A (zh) 基于场景Stokes矢量测量及其RGB图像优化的多物体区分方法
JP6923897B2 (ja) フィルタ、画像撮影装置および画像撮影システム
JP6843682B2 (ja) 撮像素子および撮像装置
Horváth et al. Polarimetry: From Point-Source to Imaging Polarimeters
CN110266919A (zh) 图像传感器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant