CN115039400A - 图像处理装置、摄像装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN115039400A
CN115039400A CN202180011124.8A CN202180011124A CN115039400A CN 115039400 A CN115039400 A CN 115039400A CN 202180011124 A CN202180011124 A CN 202180011124A CN 115039400 A CN115039400 A CN 115039400A
Authority
CN
China
Prior art keywords
polarization
image data
image processing
matrix
imaging element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180011124.8A
Other languages
English (en)
Inventor
冈田和佳
岸根庆延
川中子睦
平川友也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN115039400A publication Critical patent/CN115039400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133528—Polarisers
    • G02F1/133538—Polarisers with spatial distribution of the polarisation direction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses

Abstract

本发明提供一种根据从成像元件获取的偏振图像数据良好地生成多个偏振图像数据的图像处理装置、摄像装置、图像处理方法及图像处理程序。图像处理装置(200)的处理器(200B)进行如下处理：获取处理，从在二维地排列的像素中有规律地设置有不同偏振方向的4个第1起偏器的成像元件(100)获取第1图像数据；第1偏振图像数据生成处理，对第1图像数据进行去马赛克处理来生成不同偏振方向的4个第1偏振图像数据；及第2偏振图像数据生成处理，使用4个第1偏振图像数据和存储于存储器(200C)中的4个第1起偏器的偏振方向之间的关系来生成4个以下第2偏振图像数据。

Description

图像处理装置、摄像装置、图像处理方法及图像处理程序
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法及图像处理程序，尤其涉及一种根据从成像元件获取的偏振图像数据生成多个偏振图像数据的技术。
背景技术
专利文献1中记载的成像元件具备排列成阵列状且分别检测特定颜色及特定偏振角度的光的多个受光单元(cell)，多个单元中，相邻的单元所检测的颜色及偏振角度均不同。
具体而言，多个单元上设置有使偏振角度0°、45°、90°、135°中的任一偏振角度的光透射的起偏器(偏振滤波器)，并且还设置有红色、绿色、蓝色(RGB)中的任一滤色器。
由此，能够按偏振角度0°、45°、90°、135°生成RGB的图像(偏振图像)。
并且，专利文献1中记载了一种对偏振RAW图像去马赛克来生成不同偏振角度的多个偏振图像的图像处理部。在此，去马赛克是指根据由成像元件捕获的像素组按同一偏振角度生成偏振图像的处理。
以往技术文献
专利文献
专利文献1：日本特开2016-171368号公报
发明内容
发明要解决的技术课题
本发明的技术所涉及的一个实施方式提供一种根据从成像元件获取的偏振图像数据良好地生成多个偏振图像数据的图像处理装置、摄像装置、图像处理方法及图像处理程序。
用于解决技术课题的手段
第1方式所涉及的发明为一种图像处理装置，其具备处理器和存储偏振方向之间的关系的存储器，并由处理器进行图像处理，处理器进行如下处理：获取处理，当n为4以上的整数时，从在由二维地排列的光电转换元件构成的多个像素中有规律地设置有偏振方向互不相同的n个第1起偏器的成像元件获取第1图像数据；第1偏振图像数据生成处理，对第1图像数据进行去马赛克处理来生成与不同偏振方向对应的n个第1偏振图像数据；及第2偏振图像数据生成处理，使用n个第1偏振图像数据和存储于存储器中的偏振方向之间的关系来生成n个以下第2偏振图像数据。
在本发明的第2方式所涉及的图像处理装置中，优选，偏振方向之间的关系为n个第1起偏器所具有的特性与对应于第1起偏器的像素的物理量之间的关系。
在本发明的第3方式所涉及的图像处理装置中，优选，在n为4的情况下，
当将从第1图像数据中按每个偏振方向分离出的4个偏振图像数据分别设为I1、I2、I3、I4时，处理器进行下式的运算来生成经去马赛克处理的4个第1偏振图像数据。
[数式1]
Figure BDA0003765287350000021
其中，
Figure BDA0003765287350000022
Figure BDA0003765287350000023
(其中，a为参数)
在本发明的第4方式所涉及的图像处理装置中，优选，在n为4的情况下，存储器存储以下矩阵作为n个第1起偏器的偏振方向之间的关系，
[数式2]
Figure BDA0003765287350000031
(其中，l1～l3、c0～c3为系数)
当将在n个第1偏振图像数据的各像素位置原本所存在的第1像素值设为x0、将在像素位置通过去马赛克处理生成的3个第2像素值分别设为x1demo、x2demo、x3demo时，处理器通过下式计算用于生成4个以下的第2偏振图像数据的在像素位置生成的3个像素值(x1r、x2r、x3r)。
[数式3]
Figure BDA0003765287350000032
在本发明的第5方式所涉及的图像处理装置中，当将光量分布均匀的非偏振光入射于成像元件时得到的相邻像素的4个偏振信息设为x0～x3时，系数c0～c3和偏振信息x0～x3满足下式。
[数式4]
Figure BDA0003765287350000033
作为一例，xi为光的亮度值。
在本发明的第6方式所涉及的图像处理装置中，当将参数i设为1～3而由l1表示[数式1]所示的矩阵内的系数l1、l2、l3且由ci表示系数c1、c2、c3时，l1由下式表示。
[数式10]
Figure BDA0003765287350000041
Figure BDA0003765287350000046
去除{c0，c1，c2，c3}T的第i+1分量面成的3个要素的矢量
Figure BDA0003765287350000043
赋予从4个偏振信息向另外n个物理量的转换的矩阵
Figure BDA0003765287350000047
去除ATA的第i+1行及第j+1列而成的3行3列的矩阵
～：余因子矩阵
(其中，当将矩阵A设为赋予由从成像元件获取的4个偏振信息向另外m个物理量的转换的m行4列的矩阵时，式[数式10]中的矩阵B为去除ATA的第(i+1)行及第(j+1)列而成的3行3列的矩阵B的余因子矩阵)
在本发明的第7方式所涉及的图像处理装置中，优选，矩阵A为4行4列的单位矩阵。
在本发明的第8方式所涉及的图像处理装置中，当将参数i设为1～3而由li表示[数式2]所示的矩阵内的系数l1、l2、l3且由ci表示系数c1、c2、c3时，li由下式表示。
[数式18]
Figure BDA0003765287350000045
本发明的第9方式所涉及的摄像装置具备：摄影光学系统；当n为4以上的整数时，成像元件，在由二维地排列的光电转换元件构成的多个像素中有规律地设置有偏振方向互不相同的n个第1起偏器；及第1方式至第8方式中的任一图像处理装置，处理器从成像元件获取第1图像数据。
本发明的第10方式所涉及的摄像装置具备：摄影光学系统，包括3个第2起偏器和3个波长选择元件，该3个第2起偏器的光瞳区域被分割为第1光瞳区域、第2光瞳区域及第3光瞳区域，并且使通过第1光瞳区域、第2光瞳区域及第3光瞳区域的光向互不相同的方向偏振，该3个波长选择元件允许互不相同的波段的光从第1光瞳区域、第2光瞳区域及第3光瞳区域通过；成像元件，在由二维地排列的光电转换元件构成的多个像素中有规律地设置有偏振方向互不相同的4个第1起偏器；及第6方式的图像处理装置，处理器从成像元件获取第1图像数据，矩阵A为根据第1图像数据计算与去除3个各波段的光的干扰后的3个各波段的光对应的3个图像数据时的干扰去除矩阵。
第11方式所涉及的发明为一种图像处理方法，其具备处理器和存储偏振方向之间的关系的存储器，并由处理器进行图像处理，该图像处理方法包括：当n为4以上的整数时，从在由二维地排列的光电转换元件构成的多个像素中有规律地设置有偏振方向互不相同的n个第1起偏器的成像元件获取第1图像数据的步骤；对第1图像数据进行去马赛克处理来生成不同偏振方向的n个第1偏振图像数据的步骤；及使用n个第1偏振图像数据和存储于存储器中的偏振方向之间的关系来生成n个以下第2偏振图像数据的步骤。
本发明的第12方式所涉及的图像处理程序通过计算机来实现如下功能：当n为4以上的整数时，从在由二维地排列的光电转换元件构成的多个像素中有规律地设置有偏振方向互不相同的n个第1起偏器的成像元件获取第1图像数据的功能；对第1图像数据进行去马赛克处理来生成不同偏振方向的n个第1偏振图像数据的功能；及使用n个第1偏振图像数据和n个第1起偏器的偏振方向之间的关系来生成n个以下第2偏振图像数据的功能。
附图说明
图1是表示本发明所涉及的摄像装置的第1实施方式的概略结构的图。
图2是表示图1所示的成像元件的概略结构的图。
图3是表示图2所示的1个像素(图2的虚线部)的概略结构的剖视图。
图4是表示设置于成像元件的各像素块中的偏振滤波元件的排列图案的一例的图。
图5是表示图1所示的成像元件的像素的排列的概略结构的图。
图6是表示图1所示的图像处理装置的概略结构的框图。
图7是表示从偏振RAW图像数据分离每个偏振方向的偏振图像数据I1～I4的方式的示意图。
图8是表示通过针对每个偏振图像数据I1～I4进行核K卷积来内插黑色部分的像素值以生成4个第1偏振图像数据的方式的示意图。
图9是表示以像素P1为中心的相邻的8个像素(共计9个像素)的图。
图10是表示不同偏振方向的4个像素P1、P2、P3、P4的像素值之间的关系的示意图。
图11是表示本发明所涉及的摄像装置的第2实施方式的概略结构的图。
图12是表示图11所示的带通滤波器单元的实施方式的主视图。
图13是表示各带通滤波器的透射波长特性的一例的曲线图。
图14是表示图11所示的偏振滤波器单元的实施方式的主视图。
具体实施方式
以下，根据附图对本发明所涉及的图像处理装置、摄像装置、图像处理方法及图像处理程序的优选实施方式进行说明。
[摄像装置的结构]
图1是表示本发明所涉及的摄像装置的第1实施方式的概略结构的图。
第1实施方式的摄像装置1-1为拍摄偏振方向互不相同的4个偏振图像的偏振相机，其具备摄影光学系统10-1、成像元件100及图像处理装置200。
摄影光学系统10-1为使被摄体的光学像成像于成像元件100的受光面上的普通的摄影透镜。
并且，摄影光学系统10-1具有未图示的焦点调节机构及光圈。焦点调节机构例如通过沿着光轴L前后移动整个摄影光学系统10-1来调节焦点。
<成像元件>
图2是表示图1所示的成像元件的概略结构的图。图3是表示图2所示的1个像素(图2的虚线部)的概略结构的剖视图。
成像元件100为CMOS(Complementary Metal-Oxide Semiconductor(互补金属氧化物半导体))型图像传感器，其具有像素阵列层110、偏振滤波元件阵列层120及微透镜阵列层140。各层从像面侧朝向物体侧依次配置有像素阵列层110、偏振滤波元件阵列层120、微透镜阵列层140。另外，成像元件100并不限于CMOS型，也可以为XY地址型或CCD(ChargeCoupled Device(电荷耦合器件))型图像传感器。
像素阵列层110通过二维地排列多个作为光电转换元件的光电二极管112来构成。1个光电二极管112构成1个像素。各光电二极管112沿着水平方向(x方向)及垂直方向(y方向)有规律地配置。
偏振滤波元件阵列层120有规律地设置有所透射的光的偏振方向互不相同的n个第1起偏器(偏振滤波元件122A、122B、122C、122D)。另外，n为4以上的整数，在本例子中，示出了n＝4的情况。
图4是表示设置于成像元件的各像素块中的偏振滤波元件的排列图案的一例的图。
如图4所示，由相邻的4个(2×2个)像素P1、P2、P3、P4构成1个像素块PB(X，Y)，像素块PB内的各像素P1、P2、P3、P4中分别设置有上述偏振滤波元件122A、122B、122C、122D。
4个偏振滤波元件122A、122B、122C、122D的偏振方向彼此相差45°。
例如，在偏振滤波元件122A仅使入射光中图4的左右方向(x轴方向)上的光分量透射的情况下，当将此时的偏振方向θ1设为0°时，偏振滤波元件122B的偏振方向θ2为45°，偏振滤波元件122C的偏振方向θ3为90°，偏振滤波元件122D的偏振方向为135°。另外，4种偏振滤波元件122A、122B、122C、122D的排列图案并不限定于图4所示的例子。
图5是表示图1所示的成像元件的像素的排列的概略结构的图。
如图5所示，成像元件100如上所述在受光面上具有4种像素P1～P4。相邻的4个(2×2个)像素块PB(X，Y)沿着水平方向(x轴方向)及垂直方向(y轴方向)有规律地排列。
若摄像装置1-1从释放开关等接收到摄影命令输入，则进行成像元件100中的曝光控制。通过该曝光控制成像于成像元件100的受光面上的被摄体的光学像由成像元件100转换为电信号。与入射于光电二极管112的光的光量对应的电荷被积聚到成像元件100的各像素中，并从成像元件100读取与积聚在各像素中的电荷量对应的电信号作为图像信号(第1图像数据)。
在此，在本例子中，第1图像数据为具有每个像素P1～P4的4个偏振信息的图像数据。以下，将第1图像数据称为“偏振RAW图像数据”。
返回到图1，图像处理装置200从成像元件100获取偏振RAW图像数据，并进行后述的图像处理(RAW显影处理)，生成针对每个偏振方向的4个偏振图像数据(第2偏振图像数据)。
<图像处理装置>
图6是表示图1所示的图像处理装置的概略结构的框图。
如图6所示，图像处理装置200包括模拟信号处理部200A、处理器200B及存储器200C。
模拟信号处理部200A读入从成像元件100输出的模拟像素信号，实施规定的信号处理(例如，相关双采样处理、扩增处理等)之后，转换为数字信号进行输出。
处理器200B进行从模拟信号处理部200A获取偏振RAW图像数据的获取处理。另外，在成像元件100为CMOS型成像元件的情况下，模拟信号处理部等通常内置于CMOS型成像元件内，在该情况下，处理器200B可以从CMOS型成像元件获取偏振RAW图像数据。
处理器200B对获取到的偏振RAW图像数据进行去马赛克处理，生成偏振方向互不相同的4个偏振图像数据(第1偏振图像数据)。
《去马赛克处理》
接着，对偏振RAW图像数据的去马赛克处理进行说明。
当将从偏振RAW图像数据中按偏振方向分离出的4个偏振图像数据分别设为I1、I2、I3、I4时，处理器200B进行下式的运算来进行生成经去马赛克处理的4个第1偏振图像数据的第1偏振图像数据生成处理。
[数式1]
Figure BDA0003765287350000081
其中，
Figure BDA0003765287350000082
Figure BDA0003765287350000083
(其中，a为参数)
4个偏振图像数据(I1、I2、I3、I4)中的偏振图像数据I1为仅具有像素P1的像素值而其他像素位置的像素值为零的图像数据。同样地，偏振图像数据I2为仅具有像素P2的像素值而其他像素位置的像素值为零的图像数据，偏振图像数据I3为仅具有像素P3的像素值而其他像素位置的像素值为零的图像数据，偏振图像数据I4为仅具有像素P4的像素值而其他像素位置的像素值为零的图像数据。
式[数式1]表示通过各偏振图像数据I1～I4与具有加权系数的7×7的核K的卷积运算(卷积)根据像素值为零的像素位置上的像素的周边像素的像素值推测(内插)该像素值为零的像素位置上的像素值的去马赛克处理。
关于核K的系数，像素位置越靠近推测像素值的像素位置，分配越大的加权系数。
并且，核K中的a为参数，通过调整参数a，能够控制锐度。例如，当参数a接近0时，锐度较小且噪声较小，当参数a为较大的负值时，锐度较高且噪声较大。
另外，式[数式1]所示的核K的大小、加权系数及参数a仅为一例，本发明并不限定于此。
图7是表示从偏振RAW图像数据分离每个偏振方向的偏振图像数据I1～I4的方式的示意图。通过分离每个偏振方向的偏振图像数据I1～I4，容易进行后续处理。
在图7所示的偏振图像数据I1～I4中，黑色部分的像素值为零。去马赛克处理为如下处理：根据黑色部分的像素的周边像素的像素值推测(内插)该黑色部分的像素值，嵌入内插于黑色部分的像素值，生成4个第1偏振图像数据。
图8是表示通过针对每个偏振图像数据I1～I4进行核K卷积来内插黑色部分的像素值以生成4个第1偏振图像数据的方式的示意图。
核K例如存储于存储器200C中，处理器200B从存储器200C读取核K，并针对每个偏振图像数据I1～I4进行核K卷积，由此进行生成4个第1偏振图像数据的去马赛克处理。
上述去马赛克处理中，根据如图4及图5所示具有不同偏振方向的4种第1起偏器的像素P1～P4的空间配置关系，通过内插处理针对每个偏振图像数据I1～I4生成规定的像素位置(图8所示的黑色部分的像素位置)上的像素值。
《第2偏振图像数据的生成方法》
接着，对使用n个第1偏振图像数据及n个第1起偏器的偏振方向之间的关系来生成内插精度高于第1偏振图像数据的n个以下第2偏振图像数据的方法进行说明。n个第1起偏器的偏振方向之间的关系待留后述。
以下，为了便于说明，对n为4的情况进行说明。
在n为4的情况下，图6所示的存储器200C中存储有以下矩阵作为不同偏振方向的n个(4个)第1起偏器的偏振方向之间的关系。
[数式2]
Figure BDA0003765287350000101
(其中，l1～l3、c0～c3为系数)
并且，在n为4的情况下，通过去马赛克处理生成4个第1偏振图像数据。
4个第1偏振图像数据的相同像素位置上存在原本所存在的像素值(以下，称为“第1像素值x0”)和通过去马赛克处理生成的3个像素值(以下，称为“第2像素值(x1demo、x2demo、x3demo)”)。
图6所示的处理器200B根据存储于存储器200C中的4个第1起偏器的偏振方向之间的关系([数式2]的矩阵)和各像素位置的4个像素值(第1像素值(x0)、3个第2像素值(x1demo、x2demo、x3demo))进行下式的运算，
[数式3]
Figure BDA0003765287350000111
运算在各像素位置上校正通过去马赛克处理生成的3个第2像素值(xldemo、x2demo、x3demo)而得的3个像素值(x1r、x2r、x3r)。
由此，处理器200B进行生成内插精度高于经去马赛克处理的4个第1偏振图像数据的4个以下(在本例子中为4个)第2偏振图像数据(I1r、I2r、I3r、I4r)的第2偏振图像数据生成处理。
通过这种方式生成的4个第2偏振图像数据(I1r、I2r、I3r、I4r)可以输出至后述的未图示的显示装置或记录装置来显示或记录。
《偏振方向之间的关系》
作为n个第1起偏器的偏振方向之间的关系，可举出n个第1起偏器所具有的特性与对应于第1起偏器的像素的物理量之间的关系等。作为一例，对[数式2]的矩阵所示的n＝4时的第1起偏器的偏振方向之间的关系进行说明。
在面内的光量分布均匀的非偏振光(作为一例为自然光)入射于成像元件100的情况下，当将由图4及图5所示的相邻的4个(2×2个)像素P1、P2、P3、P4得到的4个偏振信息(像素值)设为x0～x3时，[数式3]所示的矩阵内的系数c0～c3和像素值x0～x3满足下式。
[数式4]
Figure BDA0003765287350000112
换言之，存在满足式[数式4]的系数c0～c3。
在此，关于均匀度，允许在可校正像素值的范围内的分布(明暗差)。作为一例，以20％以下进行了确认。并且，非偏振光表示混有多个方向的偏振光，而不是单一方向的偏振光。
图9是表示以像素P1为中心的相邻的8个像素(共计9个像素)的图。
图10是表示不同偏振方向的4个像素P1、P2、P3、P4的像素值之间的关系的示意图。
如图10所示，在将偏振方向的间隔分为4等份(45°间隔)的情况下，式[数式4]的ci为c0＝c2＝1、c1＝c3＝-1。
然而，实际上，会因成像元件100的制造误差的影响等而略微脱离上述关系。
因此，使整体全白的输入(均匀的非偏振光)入射于成像元件100，并使用成像元件100的输出结果进行校准。
在整体全白的图像中，不存在骤变，因此只要检查相邻像素之间的关系即可。然后，确定满足式[数式4]的ci。将ci常数倍后的值也满足相同条件，因此ci并不是唯一确定的。因此，通过设定ci的总和为1等约束来确定ci。
式[数式4]在通过去马赛克处理生成的不同偏振方向的4个像素值(x0demo、x1demo、x2demo、x3demo)之间也成立，像素值(x0demo、x1demo、x2demo、x3demo)与系数c0～c3之间的关系可以由下式表示。
[数式5]
c0x0demo+c1x1demo+c2x2demo+c3x3demo＝0
下述式[数式5’]为将上述式[数式5]变形而得的数式。
[数式5’]
x0demo＝-(1/c0)(c1x1demo+c2x2demo+c3x3demo)
并且，在偏振方向互不相同的4个像素P1、P2、P3、P4中的某一偏振方向的像素(例如，偏振方向0°的像素P1)中，将原本所存在的第1像素值与通过去马赛克处理推测出的第2像素值(相同偏振方向的像素值)之间的误差设为δ。
同样地，在偏振方向从4个像素P1、P2、P3、P4中的某一偏振方向的像素分别按45°刻度错开的3个像素(例如，偏振方向45°、90°及135°的像素P2、P3、P4)中，将原本所存在的第1像素值与通过去马赛克处理推测出的第2像素值之间的误差分别设为l1δ、l2δ、l3δ。
系数l1、l2、l3与[数式2]的矩阵内的l1、l2、l3相同。并且，系数l1、l2、l3的计算方法待留后述。
当前，在像素P1的像素位置上，当将偏振方向与像素P1相差45°的像素P2的真实值(要求出的像素值)设为x1r时，像素值x1r可以由下式表示。
[数式6]
x1r＝x1demo+l1δ
上述式[数式6]中的误差δ为像素P1的原本所存在的像素值x0与通过去马赛克处理推测出的像素值x0demo之间的误差，因此可以由下式表示。
[数式7]
δ＝x0-x0demo
若将式[数式7]的右边代入式[数式6]的δ中，则[数式6]可以由下式表示。
[数式8]
x1r＝x1demo+l1(x0-x0demo)
并且，若将式[数式6]的右边代入式[数式8]的x0demo中进行整理，则式[数式8]可以由下式表示。
[数式9]
x1r＝l1x0+{(1+l1c1/c0)xldemo+(l1c2/c0)x2demo+(l1c3/c0)x3demo}
上述式[数式9]相当于式[数式3]中计算x1r的数式。
并且，在像素P1的像素位置上，也可以同样地求出计算偏振方向与像素P1相差90°的像素P3的像素值x2r(没有误差l2δ的像素值)及偏振方向与像素P1相差135°的像素P4的像素值x3r(没有误差l3δ的像素值)的数式。
并且，式[数式3]为表示求出这些没有误差的像素值(x1r、x2r、x3r)的数式的式，式[数式3]的右边的矩阵为[数式2]所示的矩阵。
另外，式[数式2]及式[数式3]所示的系数l1～l3可以分别为1。
《系数l1、l2、l3的计算方法》
当由li表示[数式1]所示的矩阵内的系数l1、l2、l3且由ci表示系数c1、c2、c3时，li可以由下式表示。
[数式10]
Figure BDA0003765287350000141
Figure BDA0003765287350000147
去除{c0，c1，c2，c3}T的第i+1分量而成的3个要素的矢量
Figure BDA0003765287350000143
赋予从4个偏振信息向另外n个物理量的转换的矩阵
Figure BDA0003765287350000148
去除ATA的第i+1行及第j+1列面成的3行3列的矩阵
～：汆因子矩阵
(其中，当将矩阵A设为赋予由从所述成像元件获取的4个偏振信息向另外4个物理量的转换的m行4列的矩阵时，所述式[数式5]中的矩阵B为去除ATA的第(i+1)行及第(j+1)列而成的3行3列的矩阵B的余因子矩阵)。
当前，将矩阵A设为[数式11]所示的单位矩阵。
[数式11]
Figure BDA0003765287350000145
ATA可以由[数式12]所示的矩阵表示。
[数式12]
Figure BDA0003765287350000146
去除ATA的第(i+1)行及第(j+1)列而成的矩阵Bi，j可以由[数式13]表示。
[数式13]
Figure BDA0003765287350000151
Figure BDA0003765287350000152
式[数式10]中的余因子矩阵Bi，j可以基于式[数式13]的矩阵B由下式表示。
[数式14]
Figure BDA0003765287350000153
Figure BDA0003765287350000154
并且，ci为排除第(i+1)分量而成的矢量，因此可以由下式表示。
[数式15]
Figure BDA0003765287350000155
因此，式[数式10]的系数l1可以由下式表示。
[数式16]
Figure BDA0003765287350000161
同样地，式[数式10]的系数l2、l3也可以分别由下式表示。
[数式17]
Figure BDA0003765287350000162
由此，式[数式10]的系数l1～l3可以由下式表示。
[数式18]
Figure BDA0003765287350000163
并且，设置于本例子的成像元件100的4种偏振滤波元件122A～122D各自的偏振方向(θ1～θ4)为将180°分为n(＝4)等份而得的按45°刻度错开的0°、45°、90°及135°，但各偏振方向并不限定于此。
接着，对cos平方模型下的系数ci的导出进行说明。
当n为4以上的整数时，式[数式4]可以由下式表示。
[数式19]
Figure BDA0003765287350000164
在式[数式19]中，φi为表示成像元件的互不相同的多个像素的偏振方向的角度。
为了使式[数式19]在任意的θ下成立，需要满足下式。
[数式20]
Figure BDA0003765287350000171
Figure BDA0003765287350000172
Figure BDA0003765287350000173
由于变量较为冗长，因此例如若使c0＝1，则可以将式[数式20]改写为下式。
[数式21]
Figure BDA0003765287350000174
Figure BDA0003765287350000175
Figure BDA0003765287350000176
式[数式21]可以由下式表示。
[数式22]
Figure BDA0003765287350000177
在此，
[数式23]
若使ΦC＝-φ0
Figure BDA0003765287350000181
Φ＝{φ1 φ2…φn}
Figure BDA0003765287350000182
，使||C||→min，则可以表示为
C＝-ΦT(ΦΦT)-1φ0。
例如，若使φ0＝0°、φ1＝45°、φ2＝90°、φ4＝135°，则c0＝1、c1＝-1、c2＝1、c3＝-1，若使φ0＝0°、φ1＝10°、φ2＝30°、φ4＝60°，则c0＝1、c1＝-1.6527、c2＝0.8794、c3＝-0.2267。
<第2实施方式>
图11是表示本发明所涉及的摄像装置的第2实施方式的概略结构的图。
第2实施方式的摄像装置1-2为拍摄波段互不相同的3张以上的多个图像(多光谱图像)的多光谱相机，其具备摄影光学系统10-2、成像元件100及图像处理装置200-2。
另外，在图11中，对与图1所示的第l实施方式的摄像装置1-1相同的部分标注相同的符号，并省略其详细说明。并且，图像处理装置200-2与图6所示的图像处理装置200相同，但用于运算的系数不同。
第2实施方式的摄像装置1-2与第1实施方式的摄像装置1-1相比，主要是摄影光学系统10-2与第1实施方式的摄像装置1-1的摄影光学系统10-1不同。
《摄影光学系统》
摄影光学系统10-2通过组合多个透镜12而构成。摄影光学系统10-2在其光瞳附近具有带通滤波器单元16及偏振滤波器单元18。并且，摄影光学系统10-2具有未图示的焦点调节机构。焦点调节机构例如通过沿着光轴L前后移动整个摄影光学系统10-2来调节焦点。
摄影光学系统10-2的光瞳区域被分割为第1光瞳区域、第2光瞳区域及第3光瞳区域。带通滤波器单元16具有允许互不相同的波段的光从第1光瞳区域、第2光瞳区域及第3光瞳区域通过的3个波长选择元件。
图12是表示图11所示的带通滤波器单元的实施方式的主视图。
图12所示的带通滤波器单元16具有允许第1波段λ1的光通过的第1光瞳区域Z1、允许第2波段λ2的光通过的第2光瞳区域Z2及允许第3波段λ3的光通过的第3光瞳区域Z3，并且发挥按第1光瞳区域Z1、第2光瞳区域Z2及第3光瞳区域Z3使不同波段的光透射的波长选择单元的功能。
即，带通滤波器单元16配置成其中心与摄影光学系统10-2的光轴L一致，并且由具备中心角为90°的3个扇形开口区域16A1、16A2、16A3的具有遮光性的框体16A和设置于该框体16A的各开口区域16A1、16A2、16A3的3个波长选择元件即带通滤波器16B1、16B2、16B3构成。
图13是表示各带通滤波器的透射波长特性的一例的曲线图。
各带通滤波器16B1～16B3分别使不同波段的光透射。具体而言，带通滤波器16B1使波段λ1的光透射。带通滤波器16B2使波段λ2的光透射。带通滤波器16B3使波段λ3的光透射。
并且，偏振滤波器单元18具有使通过经光瞳分割的第1光瞳区域Z1、第2光瞳区域Z2及第3光瞳区域Z3的光向互不相同的方向偏振的3个第2起偏器。
图14是表示图11所示的偏振滤波器单元的实施方式的主视图。
与图11所示的带通滤波器单元16相同地，图14所示的偏振滤波器单元18配置成其中心与摄影光学系统10-2的光轴L一致，并且由具备中心角为90°的3个扇形开口区域18A1、18A2、18A3的具有遮光性的框体18A和使通过第1光瞳区域Z1、第2光瞳区域Z2及第3光瞳区域Z3的光向互不相同的方向偏振的3个第2起偏器(偏振滤波器18B1、18B2、18B3)构成。
带通滤波器单元16及偏振滤波器单元18靠近配置，并且各自的第1光瞳区域Z1、第2光瞳区域Z2及第3光瞳区域Z3的投影形状相同。因此，透射带通滤波器单元16的带通滤波器16B1之后的光仅通过偏振滤波器单元18的偏振滤波器18B1，同样地，透射带通滤波器16B2之后的光仅通过偏振滤波器18B2，透射带通滤波器16B3之后的光仅通过偏振滤波器18B3。
并且，本例子的偏振滤波器单元18的各偏振滤波器18B1、18B2、18B3的偏振方向(θ1、θ2、θ3)与设置于成像元件100的像素P1、P2、P3的各偏振滤波元件122A、122B、122C的偏振方向(θ1、θ2、θ3)相同。
因此，通过第1光瞳区域Z1的具有波段λ1的偏振方向θ1的光入射于成像元件100的相同偏振方向θ1的像素P1和偏振方向与偏振方向θ1相差±45°的像素P2、P4的各光电二极管112，同样地，通过第2光瞳区域Z2的具有波段λ2的偏振方向θ2的光入射于成像元件100的相同偏振方向θ2的像素P2和偏振方向与偏振方向θ2相差±45°的像素P3、P1的各光电二极管112，并且通过第3光瞳区域Z3的具有波段λ3的偏振方向θ3的光入射于成像元件100的相同偏振方向θ3的像素P3和偏振方向与偏振方向θ3相差±45°的像素P2、P4的各光电二极管112。
分别通过摄影光学系统10-2的第1光瞳区域Z1、第2光瞳区域Z2及第3光瞳区域Z3的具有波段λ1的偏振方向θ1的光、具有波段λ2的偏振方向θ2的光及具有波段λ3的偏振方向θ3的光入射于成像元件100的像素P1的光电二极管。
即，各波段λ1～λ3的光分别入射(干扰)于成像元件100的像素P1的光电二极管。同样地，各波段λ1～λ3的光也分别入射于成像元件100的像素P2～P4的光电二极管。
因此，图像处理装置200-2(图11)进行干扰去除处理来生成各波段λ1～λ3的图像信号。
进行干扰去除时也通过进行式[数式3]所示的运算来运算在各像素位置上校正通过去马赛克处理生成的3个第2像素值(x1demo、x2demo、x3demo)而得的3个像素值(x1r、x2r、x3r)。在该情况下，3个像素值(x1r、x2r、x3r)为各波段λ1～λ3的像素值。
并且，在进行干扰去除时，仅打开带通滤波器单元16及偏振滤波器单元18的3个第1光瞳区域Z1、第2光瞳区域Z2及第3光瞳区域Z3中的任一光瞳区域，遮挡其他光瞳区域，并使整体全白的输入入射于成像元件100，获取成像元件100的输出结果。针对3个第1光瞳区域Z1、第2光瞳区域Z2及第3光瞳区域Z3的每一个实施该步骤。使用通过这种方式获取到的成像元件100的输出结果，检查相邻像素之间的干扰关系，确定满足式[数式4]的ci。
并且，将求出式[数式10]所示的系数li时的矩阵A(用于求出余因子矩阵B的基础矩阵)作为干扰去除矩阵。
图6所示的图像处理装置200的存储器200C存储有进行干扰去除时的[数式2]所示的矩阵，当进行干扰去除时，处理器200B可以通过根据存储于存储器200C中的用于干扰去除的4个第1起偏器的偏振方向之间的关系([数式2]的矩阵)和各像素位置的4个像素值(第1像素值(x0)、3个第2像素值(x1demo、x2demo、x3demo))进行式[数式3]所示的运算来获取与各波段λ1～λ3对应的3张光谱图像(多光谱图像)。
另外，摄影光学系统10-2的带通滤波器单元16及偏振滤波器单元18的3个第1光瞳区域Z1、第2光瞳区域Z2及第3光瞳区域Z3分别是中心角为90°的扇型，但也可以是中心角为120°的扇型。并且，3个光瞳区域并不限于扇型，也可以是由以光轴L为中心的1个圆和2个环状带构成的3个光瞳区域。
[其他]
本实施方式的成像元件100不具备滤色器，但也可以在各像素中例如针对每2×2个像素块PB以拜耳法排列重复配置有红色滤波器、绿色滤波器或蓝色滤波器。据此，能够针对每个颜色(红色、绿色及蓝色)获取不同偏振方向的多个偏振图像，并且，通过设置在滤色器、绿色滤波器或蓝色滤波器的各波段内选择3个以下波段的带通滤波器，最多能够拍摄9张(＝3×3)多光谱图像。
并且，本发明并不限于摄像装置，例如还包括图6所示的图像处理装置200及图6所示的图像处理装置200的图像处理方法及图像处理程序。
在该情况下，图像处理方法具备处理器200B和存储器200C，并且由处理器200B执行以下所示的各步骤。即，处理器200B执行从成像元件100获取偏振RAW图像数据(第1图像数据)的步骤、对第1图像数据进行去马赛克处理来生成不同偏振方向的4个第1偏振图像数据的步骤及使用4个第1偏振图像数据和存储于存储器200C中的4个第1起偏器的偏振方向之间的关系来生成4个以下第2偏振图像数据的步骤。
图像处理程序通过计算机来实现上述图像处理方法。
在本实施方式中，例如，处理器200B的执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)来发挥各种处理部的功能的常用的处理器即CPU(Central Processing Unit(中央处理器))、FPGA(Field Programmable Gate Array(现场可编程门阵列))等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有ASIC(Application Specific Integrated Circuit(专用集成电路))等为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上处理器(例如，多个FPGA或CPU和FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，首先，如以客户端或服务器等计算机为代表有如下方式：由1个以上的CPU和软件的组合构成1个处理器，并由该处理器发挥多个处理部的功能。其次，如以片上系统(System On Chip：SeC)等为代表有如下方式：使用由1个IC(Integrated Circuit(集成电路))芯片来实现包括多个处理部的系统整体的功能的处理器。如此，各种处理部使用1个以上上述各种处理器来构成为硬件结构。
进而，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。
并且，本发明并不限定于上述实施方式，可以在不脱离本发明的精神的范围内进行各种变形是不言而喻的。
符号说明
1-1、1-2-摄像装置，10-1、10-2-摄影光学系统，12-透镜，16-带通滤波器单元，16A-框体，16A1、16A2、16A3-开口区域，16B1、16B2、16B3-带通滤波器，18-偏振滤波器单元，18A-框体，18A1、18A2、18A3-开口区域，18B1、18B2、18B3-偏振滤波器，100-成像元件，110-像素阵列层，112-光电二极管，120-偏振滤波元件阵列层，122A、122B、122C、122D-偏振滤波元件，140-微透镜阵列层，200-图像处理装置，200A-模拟信号处理部，200B-处理器，200C-存储器，L-光轴。

Claims (13)

1.一种图像处理装置，其具备处理器和存储偏振方向之间的关系的存储器，并由所述处理器进行图像处理，
所述处理器进行如下处理：
获取处理，当n为4以上的整数时，从在由二维地排列的光电转换元件构成的多个像素中有规律地设置有偏振方向互不相同的n个第1起偏器的成像元件获取第1图像数据；
第1偏振图像数据生成处理，对所述第1图像数据进行去马赛克处理来生成与不同的所述偏振方向对应的n个第1偏振图像数据；及
第2偏振图像数据生成处理，使用所述n个第1偏振图像数据和存储于所述存储器中的所述偏振方向之间的关系来生成n个以下第2偏振图像数据。
2.根据权利要求1所述的图像处理装置，其中，
所述偏振方向之间的关系为所述n个第1起偏器所具有的特性与对应于所述第1起偏器的像素的物理量的关系。
3.根据权利要求1或2所述的图像处理装置，其中，
在所述n为4的情况下，
当将从所述第l图像数据中按每个偏振方向分离出的4个偏振图像数据分别设为I1、I2、I3、I4时，所述处理器进行下式的运算来生成经所述去马赛克处理的4个第1偏振图像数据，
[数式1]
Figure FDA0003765287340000011
其中，
Figure FDA0003765287340000012
Figure FDA0003765287340000013
其中，a为参数。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
在所述n为4的情况下，
所述存储器存储以下矩阵作为所述n个所述第1起偏器的偏振方向之间的关系，
[数式2]
Figure FDA0003765287340000021
其中，l1～l3、c0～c3为系数，
当将在所述n个第1偏振图像数据的各像素位置原本所存在的第1像素值设为x0、
将在所述像素位置通过所述去马赛克处理生成的3个第2像素值分别设为x1demo、x2demo、x3demo时，
所述处理器通过下式计算用于生成4个以下的所述第2偏振图像数据的在所述像素位置生成的3个像素值即x1r、x2r、x3r，
[数式3]
Figure FDA0003765287340000022
5.根据权利要求4所述的图像处理装置，其中，
当将光量分布均匀的非偏振光入射于所述成像元件时得到的相邻像素的4个偏振信息设为x0～x3时，所述系数c0～c3和所述偏振信息x0～x3满足下式，
[数式4]
Figure FDA0003765287340000031
6.根据权利要求4或5所述的图像处理装置，其中，
当将参数i设为1～3而由li表示所述[数式1]所示的矩阵内的系数l1、l2、l3且由ci表示系数c1、c2、c3时，所述li由下式表示，
[数式10]
Figure FDA0003765287340000032
Figure FDA0003765287340000033
去隙{c0，c1，c2，c3}T的第i+1分量而成的3个要素的矢量
Figure FDA0003765287340000034
赋予从4个偏振信息向另外n个物理量的转换的矩阵
Figure FDA0003765287340000035
去除ATA的第i+1行及第j+1列面成的3行3列的矩阵
-：余因子矩阵
其中，当将矩阵A设为赋予由从所述成像元件获取的4个偏振信息向另外4个物理量的转换的m行4列的矩阵时，所述式[数式10]中的矩阵B为去除ATA的第(i+1)行及第(j+1)列而成的3行3列的矩阵B的余因子矩阵。
7.根据权利要求6所述的图像处理装置，其中，
所述矩阵A为4行4列的单位矩阵。
8.根据权利要求4至7中任一项所述的图像处理装置，其中，
当将参数i设为1～3，由li表示所述[数式2]所示的矩阵内的系数l1、l2、l3且由ci表示系数c1、c2、c3时，所述li由下式表示，
[数式18]
Figure FDA0003765287340000036
9.一种摄像装置，其具备：
摄影光学系统；
成像元件，当n为4以上的整数时，在由二维地排列的光电转换元件构成的多个像素中有规律地设置偏振方向互不相同的n个第1起偏器；及
权利要求1至8中任一项所述的图像处理装置，
所述处理器从所述成像元件获取第1图像数据。
10.一种摄像装置，其具备：
摄影光学系统，包括3个第2起偏器和3个波长选择元件，所述3个第2起偏器的光瞳区域被分割为第1光瞳区域、第2光瞳区域及第3光瞳区域，并且使通过所述第1光瞳区域、第2光瞳区域及第3光瞳区域的光向互不相同的方向偏振，所述3个波长选择元件允许互不相同的波段的光从所述第1光瞳区域、第2光瞳区域及第3光瞳区域通过；
成像元件，在由二维地排列的光电转换元件构成的多个像素中有规律地设置偏振方向互不相同的4个第1起偏器；及
权利要求6所述的图像处理装置，
所述处理器从所述成像元件获取所述第1图像数据，
所述矩阵A为根据所述第1图像数据计算与去除3个各波段的光的干扰后的3个各波段的光对应的3个图像数据时的干扰去除矩阵。
11.一种图像处理方法，其具备处理器和存储偏振方向之间的关系的存储器，并由所述处理器进行图像处理，所述图像处理方法包括：
当n为4以上的整数时，从在由二维地排列的光电转换元件构成的多个像素中有规律地设置有偏振方向互不相同的n个第1起偏器的成像元件获取第1图像数据的步骤；
对所述第1图像数据进行去马赛克处理来生成偏振方向不同的n个第1偏振图像数据的步骤；及
使用所述n个第1偏振图像数据和存储于所述存储器中的所述偏振方向之间的关系来生成n个以下第2偏振图像数据的步骤。
12.一种图像处理程序，其通过计算机来实现如下功能：
当n为4以上的整数时，从在由二维地排列的光电转换元件构成的多个像素中有规律地设置有偏振方向互不相同的n个第1起偏器的成像元件获取第1图像数据的功能；
对所述第1图像数据进行去马赛克处理来生成偏振方向不同的n个第1偏振图像数据的功能；及
使用所述n个第1偏振图像数据和所述n个第1起偏器的偏振方向之间的关系来生成n个以下第2偏振图像数据的功能。
13.一种记录介质，为计算机可读取的非临时性记录介质，记录有权利要求12所述的图像处理程序。
CN202180011124.8A 2020-01-31 2021-01-25 图像处理装置、摄像装置、图像处理方法及图像处理程序 Pending CN115039400A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020015550 2020-01-31
JP2020-015550 2020-01-31
PCT/JP2021/002355 WO2021153472A1 (ja) 2020-01-31 2021-01-25 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN115039400A true CN115039400A (zh) 2022-09-09

Family

ID=77079104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180011124.8A Pending CN115039400A (zh) 2020-01-31 2021-01-25 图像处理装置、摄像装置、图像处理方法及图像处理程序

Country Status (3)

Country Link
JP (1) JP7399194B2 (zh)
CN (1) CN115039400A (zh)
WO (1) WO2021153472A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016171368A (ja) 2015-03-11 2016-09-23 株式会社東芝 撮像装置、撮像素子、及び撮像方法
US10460422B2 (en) 2015-11-10 2019-10-29 Sony Corporation Image processing device and image processing method
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Also Published As

Publication number Publication date
JP7399194B2 (ja) 2023-12-15
JPWO2021153472A1 (zh) 2021-08-05
US20220365391A1 (en) 2022-11-17
WO2021153472A1 (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
JP6124079B2 (ja) 偏光カラー撮像装置
JP5463718B2 (ja) 撮像装置
JP4941332B2 (ja) 撮像装置
TWI507012B (zh) ３次元攝像裝置（一）
CN103444185B (zh) 彩色摄像元件及摄像装置
JP5446521B2 (ja) 撮像装置
JP2006033493A (ja) 撮像装置
US8446513B2 (en) Imaging apparatus with light transmissive filter
CN103444184B (zh) 彩色摄像元件及摄像装置
JP4968527B2 (ja) 撮像装置
CN103460703B (zh) 彩色摄像元件及摄像装置
CN115152205A (zh) 摄像装置及方法
WO2011142062A1 (ja) ３次元撮像装置
CN103460704B (zh) 彩色摄像元件及摄像装置
JP4866147B2 (ja) 画像シフト検出方法および装置および画像入力装置
US20140204200A1 (en) Methods and systems for speed calibration in spectral imaging systems
CN103460702B (zh) 彩色摄像元件及摄像装置
CN115039400A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
US11982899B2 (en) Image processing device, imaging device, image processing method, and image processing program
WO2020213418A1 (ja) 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
JP7293020B2 (ja) 撮像素子、およびこれを備える撮像装置
US20150077585A1 (en) Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit
WO2023053767A1 (ja) データ処理装置、方法及びプログラム並びにマルチスペクトルカメラ
WO2023047794A1 (ja) 情報処理方法、情報処理装置、情報処理プログラム、及び情報処理システム
WO2022234753A1 (ja) 固体撮像装置及び電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination