CN114930800A - 图像处理装置、图像处理方法和成像装置 - Google Patents

图像处理装置、图像处理方法和成像装置 Download PDF

Info

Publication number
CN114930800A
CN114930800A CN202080091404.XA CN202080091404A CN114930800A CN 114930800 A CN114930800 A CN 114930800A CN 202080091404 A CN202080091404 A CN 202080091404A CN 114930800 A CN114930800 A CN 114930800A
Authority
CN
China
Prior art keywords
polarization
pixel
pixels
image
polarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080091404.XA
Other languages
English (en)
Inventor
平泽康孝
近藤雄飞
孙乐公
大野大志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114930800A publication Critical patent/CN114930800A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

无效像素检测单元32从非偏振图像和具有不同偏振方向的多个偏振图像中检测无效像素，非偏振图像和偏振图像是通过使用偏振成像单元20进行成像所获得的。例如，无效像素检测单元32从非偏振图像中检测具有比预设饱和检测阈值大的像素值的饱和像素、以及具有比预设暗部缺失检测阈值小的像素值的暗部缺失像素作为无效像素。偏振信息生成单元33基于非偏振图像和偏振图像执行偏振信息生成处理、根据无效像素检测单元32中无效像素的检测结果来切换偏振信息生成处理、以及在不使用无效像素的情况下生成偏振信息，从而能够获取正确的偏振信息。

Description

图像处理装置、图像处理方法和成像装置
技术领域
本技术涉及图像处理装置、图像处理方法和摄像装置，并且能够获取高精度的偏振信息。
背景技术
常规地，已经公开了通过使用偏振摄像单元和偏振滤波器来获取偏振图像的方法。例如，专利文献1公开了以下方法，该方法在摄像元件的前方设置图案化偏振器和彩色马赛克滤波器，以执行对对象的摄像，并且基于所获得的偏振图像来获取颜色信息和偏振信息。此外，专利文献2公开了：与基于偏振图像生成偏振信息的情况相比，通过不仅使用指示偏振分量的偏振图像而且还使用其中光的量没有减少的非偏振图像，来获取高精度的偏振信息。
引用列表
专利文献
专利文献1：日本专利申请公开第2009-290895号
专利文献2：国际公开WO 2018/074064
发明内容
本发明要解决的问题
同时，需要两个非偏振像素和两个偏振像素二者保持有效的像素值，以通过使用非偏振像素获取高精度的偏振信息，并且如果发生非偏振像素的饱和或偏振像素的暗部缺失(black crushing)，则可能在所获取的偏振信息中包括误差。
因此，本技术提供能够获取正确的偏振信息的图像处理装置、图像处理方法和摄像装置。
问题的解决方案
本技术的第一方面是一种图像处理装置，包括：
无效像素检测单元，其从通过使用偏振摄像单元执行摄像而获得的非偏振图像和不同偏振方向的多个偏振图像中，检测饱和像素和暗部缺失像素作为无效像素；以及
偏振信息生成单元，其基于非偏振图像和偏振图像来执行生成偏振信息的处理，并且根据无效像素检测单元中的无效像素的检测结果来切换生成偏振信息的处理。
在本技术中，无效像素检测单元从通过使用偏振摄像单元执行摄像而获得的非偏振图像和不同偏振方向的多个偏振图像中检测无效像素。例如，无效像素检测单元从非偏振图像中检测具有比预设饱和检测阈值大的像素值的饱和像素以及具有比预设暗部缺失检测阈值小的像素值的暗部缺失像素作为无效像素。可以根据由偏振摄像单元通过摄像所获取的图像的特性来设置饱和检测阈值和暗部缺失检测阈值。例如，将暗部缺失检测阈值设置为比偏振摄像单元的输出最小值大第一电平，将饱和检测阈值设置为比偏振摄像单元的输出最大值小第二电平，第二电平小于第一电平。
偏振信息生成单元基于非偏振图像和偏振图像执行生成偏振信息的处理，并且根据无效像素检测单元中无效像素的检测结果来切换生成偏振信息的处理。例如，在非偏振图像的像素被检测为无效像素的情况下，偏振信息生成单元通过使用非偏振图像的像素和未被检测为无效像素的至少偏振方向彼此不正交的两个或更多个偏振图像的像素来生成偏振信息。多个偏振图像是不同偏振方向的三个或更多个偏振图像，并且偏振信息生成单元通过使用非偏振图像的像素和未被检测为无效像素的至少两个偏振图像的像素来生成偏振信息。此外，在检测到没有无效像素的情况下，偏振信息生成单元通过使用非偏振图像的像素和偏振图像的像素来生成偏振信息。
本技术的第二方面是一种图像处理方法，包括以下步骤：
由无效像素检测单元从通过使用偏振摄像单元执行摄像而获得的非偏振图像和不同偏振方向的多个偏振图像中将饱和像素和暗部缺失像素检测为无效像素；以及
由偏振信息生成单元基于非偏振图像和偏振图像来执行生成偏振信息的处理，并且根据无效像素检测单元中的无效像素的检测结果来切换生成偏振信息的处理。
本技术的第三方面是一种使计算机执行偏振信息生成的程序，该程序使计算机执行包括以下的过程：
从通过使用偏振摄像单元执行摄像而获得的非偏振图像和不同偏振方向的多个偏振图像中将饱和像素和暗部缺失像素检测为无效像素的过程；
基于非偏振图像和偏振图像执行生成偏振信息的处理的过程；以及
根据无效像素的检测结果来切换生成偏振信息的处理的过程。
附图说明
图1是示出使用图像处理装置的系统的配置的图。
图2是示出偏振摄像单元的配置的图。
图3是示出摄像元件的配置的图。
图4是示出偏振滤波器的像素配置的图。
图5是示出去马赛克处理单元的配置的图。
图6是用于说明偏振像素的去马赛克处理的图。
图7是示出非偏振像素的亮度、偏振像素的亮度与偏振方向的角度之间的关系(第1部分)的图。
图8是示出非偏振像素的亮度、偏振像素的亮度与偏振方向的角度之间的关系(第2部分)的图。
图9是示出图像处理单元的操作的流程图。
图10是示出生成彩色捕获图像的偏振摄像单元的配置的图。
图11示出了彩色马赛克滤波器与偏振滤波器(两个偏振方向)之间的关系。
图12示出了彩色马赛克滤波器与偏振滤波器(三个偏振方向)之间的关系。
具体实施方式
以下描述将说明用于实施本技术的模式。注意，描述将按以下顺序给出。
1.实施方式的配置和操作
2.另一实施方式
3.应用示例
<1.实施方式的配置和操作>
图1示出了使用图像处理装置的系统的配置。系统10包括偏振摄像单元20和图像处理单元30。
在偏振摄像单元20中，布置有非偏振像素和针对至少两个偏振方向中的每个偏振方向设置的偏振像素，并且生成捕获图像的图像信号并将其输出至图像处理单元30。
图2示出了偏振摄像单元的配置。偏振摄像单元20具有其中偏振滤波器22被布置在诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的摄像元件21的入射表面上的配置。
图3示出了摄像元件的配置。摄像元件21具有：像素阵列单元211，其中，多个像素被以阵列例如二维矩阵布置；以及执行像素阵列单元211的驱动控制等的竖直扫描电路212和水平扫描电路213。注意，在像素阵列单元211中仅示出行方向和列方向上的一些像素，以简化描述。
尽管未示出，但像素阵列单元211的每个像素具有用于电荷转移或复位的光电二极管和晶体管。每个像素经由复位线和选择线与竖直扫描电路212连接，并且经由信号线与水平扫描电路213连接。
竖直扫描电路212经由复位线将复位信号输出至像素复位晶体管以对累积的电荷放电。此后，竖直扫描电路212经由选择线将读取信号输出至偏振像素和非偏振像素的电荷转移晶体管，并且将在从复位信号的输出到读取信号的输出的曝光时间段期间所累积的电荷作为信号电流输出至信号线。水平扫描电路213执行将从每个像素读取的信号电流转换成数字像素信号的处理、对像素信号的增益调整处理等，并且按照水平方向的像素顺序将经处理的像素信号输出至图像处理单元30。此外，竖直扫描电路212和水平扫描电路213针对每一行执行上述处理。
图4示出了偏振滤波器的像素配置。偏振滤波器22包括非偏振像素和至少两个偏振方向的偏振像素，并且在偏振像素中使用光子液晶、线栅等。
图4的(a)示出了偏振滤波器22包括非偏振像素和不同偏振方向的三种类型的偏振像素的情况。偏振滤波器22包括例如作为偏振像素块的2×2像素区域，偏振像素块包括一个非偏振像素和偏振方向为“0°、90°和135°”的三个偏振像素，并且在水平方向和竖直方向上重复设置这样的偏振像素块。
图4的(b)示出了偏振滤波器22包括非偏振像素和不同偏振方向的两种类型的偏振像素的情况。偏振滤波器22包括例如作为偏振像素块的2×2像素区域，偏振像素块包括两个非偏振像素和偏振方向为“90°和135°”的两个偏振像素，并且在水平方向和竖直方向上重复设置这样的偏振像素块。
如上所述配置的偏振摄像单元20依次地读取像素信号，以生成包括偏振像素和非偏振像素的捕获图像的图像信号，并且将图像信号输出至图像处理单元30。此外，偏振摄像单元20可以控制非偏振像素的复位时间，以设置非偏振像素的曝光时间段，使得非偏振像素具有与偏振像素的灵敏度相同的灵敏度。
图像处理单元30包括去马赛克处理单元31、无效像素检测单元32和偏振信息生成单元33。注意，去马赛克处理单元31可以设置在偏振摄像单元20中。
去马赛克处理单元31根据由偏振摄像单元20所获取的捕获图像生成非偏振图像和每个偏振方向的偏振图像。
去马赛克处理单元31通过使用由偏振摄像单元20所获取的捕获图像中的目标像素和目标像素的周边像素中针对相同偏振方向的像素位置处的偏振像素、以及像素位置与偏振像素相同和目标像素的像素位置处的非偏振像素，来计算每个偏振方向的目标像素的像素位置处的偏振像素的像素值。
此外，在与偏振像素相比具有更高灵敏度的非偏振像素的像素间隔等于或小于相同偏振方向上的像素间隔的情况下，根据非偏振像素所生成的非偏振图像具有的分辨率等于或高于根据相同偏振方向上的像素所生成的偏振图像的分辨率。因此，假设在非偏振像素与偏振像素之间存在正相关，则去马赛克处理单元31通过根据非偏振图像补偿在偏振图像中缺失的高频分量来生成高分辨率偏振图像。例如，去马赛克处理单元通过使用在相同偏振方向的像素位置处的非偏振像素的像素平均值与在目标像素的像素位置处的非偏振像素的像素值之间的关系，相对于在相同偏振方向的像素位置处的偏振像素的像素平均值，计算在目标像素的像素位置处的偏振像素的像素值。
图5示出了去马赛克处理单元的配置。去马赛克处理单元31包括：用于生成非偏振图像的非偏振像素插值单元310、用于通过使用非偏振图像生成高分辨率偏振图像的偏振像素平均化处理单元311、非偏振像素平均化处理单元312、中心像素获取单元313和相关处理单元314。
非偏振像素插值单元310通过使用周边非偏振像素的像素值进行插值处理等来计算在由偏振摄像单元20所获取的捕获图像中未获得非偏振像素的像素值的像素位置处的像素值，以生成非偏振图像。非偏振像素插值单元310将所生成的非偏振图像输出至非偏振像素平均化处理单元312和中心像素获取单元313。
偏振像素平均化处理单元311通过使用目标像素和位于目标像素周围的周边像素，来计算针对每个偏振方向的目标像素的像素平均值，并且将像素平均值输出至相关处理单元314。
与由偏振像素平均化处理单元311计算每个偏振方向的像素平均值的情况相同，非偏振像素平均化处理单元312通过使用目标像素和位于目标像素周围的周边像素，根据像素位置处的像素来计算像素平均值，并且将像素平均值输出至相关处理单元314。
中心像素获取单元313从非偏振图像中提取目标像素的像素值，并且将该像素值输出至相关处理单元314。
相关处理单元314根据由偏振像素平均化处理单元311所计算的每个偏振方向的像素平均值、由非偏振像素平均化处理单元312根据每个偏振方向的像素平均值所计算的像素平均值、以及由中心像素获取单元313所提取的目标像素的像素值来计算每个偏振方向的目标像素的像素值。
将参照图6描述偏振像素的去马赛克处理。图6的(a)示出偏振图像，图6的(b)示出非偏振图像。偏振像素平均化处理单元311通过使用偏振图像中目标像素位置“x，y”和周边像素位置“x-1，y-1”、“x，y-1”、“x+1，y-1”、“x-1，y”、“x+1，y”、“x-1，y+1”、“x，y+1”和“x+1，y+1”处的像素来计算每个偏振方向的像素平均值。这里，偏振图像中目标像素位置处的像素值表示为“P(x，y)”，并且周边像素位置处的像素值表示为“P(x-1，y-1)”、“P(x，y-1)”、“P(x+1，y-1)”、“P(x-1，y)”、“P(x+1，y)”、“P(x-1，y+1)”、“P(x，y+1)”和“P(x+1，y+1)”。此外，非偏振图像中目标像素位置处的像素值表示为“Q(x，y)”，并且周边像素位置处的像素值表示为“Q(x-1，y-1)”、“Q(x，y-1)”、“Q(x+1，y-1)”、“Q(x-1，y)”、“Q(x+1，y)”、“Q(x-1，y+1)”、“Q(x，y+1)”和“Q(x+1，y+1)”。
偏振像素平均化处理单元311例如基于表达式(1)计算目标像素位置“x，y”处“α0＝90°”的偏振方向的像素平均值mP0(x，y)。类似地，偏振像素平均化处理单元311基于表达式(2)计算目标像素位置“x，y”处“α1＝0°”的偏振方向的像素平均值mP1(x，y)。此外，偏振像素平均化处理单元311基于表达式(3)计算目标像素位置“x，y”处“α2＝135°”的偏振方向的像素平均值mP2(x，y)。
m P0(x，y)＝P(x，y) ···(1)
m P1(x，y)＝(P(x-1，y-1)+P(x+1，y-1)+P(x-1，y+1)+P(x+1，y+1))/4 ···(2)
m P2(x，y)＝(P(x，y-1)+P(x，y+1))/2 ···(3)
与计算每个偏振方向的像素平均值的情况相同，非偏振像素平均化处理单元312通过使用非偏振图像中的目标像素和目标像素的周边像素，根据像素位置处的像素值来计算像素平均值。例如，非偏振像素平均化处理单元312基于表达式(4)，相对于在目标像素位置“x，y”处的“α0＝0°”的偏振方向的像素平均值来计算像素平均值mQ0(x，y)。类似地，非偏振像素平均化处理单元312基于表达式(5)，相对于“α1＝0°”的偏振方向的像素平均值来计算像素平均值mQ1(x，y)。此外，非偏振像素平均化处理单元312基于表达式(6)，相对于“α2＝135°”的偏振方向的像素平均值来计算像素平均值mQ2(x，y)。
m Q0(x，y)＝Q(x，y) ···(4)
m Q1(x，y)＝(Q(x-1，y-1)+Q(x+1，y-1)+Q(x-1，y+1)+Q(x+1，y+1))/4 ···(5)
m Q2(x，y)＝(Q(x，y-1)+Q(x，y+1))/2 ···(6)
假设偏振像素与非偏振像素之间存在正相关，相关处理单元314根据从偏振图像计算的像素平均值、从非偏振图像计算的像素平均值以及非偏振图像中的目标像素的像素值来计算目标像素位置处每个偏振方向的像素值。
例如，相关处理单元314基于表达式(7)计算在目标像素位置“x，y”处的“α0＝90°”的偏振方向的偏振像素的像素值P0(x，y)。类似地，相关处理单元314基于表达式(8)计算在目标像素位置“x，y”处的“α1＝0°”的偏振方向的偏振像素的像素值P1(x，y)。此外，相关处理单元314基于表达式(9)计算在目标像素位置“x，y”处的“α2＝135°”的偏振方向的偏振像素的像素值P2(x，y)。注意，相关处理单元314输出像素值Q(x，y)作为非偏振图像的目标像素的像素值。
P0(x，y)＝m P0(x，y)·Q(x，y)/mQ0(x，y) ···(7)
P1(x，y)＝m P1(x，y)·Q(x，y)/m Q1(x，y) ···(8)
P2(x，y)＝mP2(x，y)·Q(x，y)/m Q2(x，y) ···(9)
去马赛克处理单元31通过利用偏振图像的每个像素作为目标像素执行上述处理来生成每个偏振方向的偏振图像。此外，由于去马赛克处理单元31利用像素平均值对非偏振像素的信号分量进行归一化，并且将归一化的信号分量叠加在偏振像素上，因此可以改善例如由偏振像素的频率限制所引起的折叠的问题，并且可以针对每个偏振方向生成具有与非偏振图像的分辨率相等的分辨率的偏振图像。注意，在像素阵列与拜耳阵列对应的情况下，例如，可以通过执行与文献“B.Gunturk、J.Glotzbach、Y.Altunbasak、R.schafer和R.Mersereau，“Demosaicing：Color filter array interpolation”，IEEE SignalProcessing Magazine，2005年1月第22卷第1期”中公开的处理类似的处理来生成非偏振图像和每个偏振方向的偏振图像。此外，去马赛克处理单元31只需要能够生成非偏振图像和每个偏振方向的偏振图像，并且去马赛克处理不限于上述方法。
无效像素检测单元32通过将预设阈值与非偏振像素和偏振像素的像素值进行比较来检测无效像素。设置用于检测饱和像素的饱和检测阈值Tha和用于检测暗部缺失像素的暗部缺失检测阈值Thb作为阈值。无效像素检测单元32将每个像素的像素值与饱和检测阈值Tha进行比较，并且将像素值比饱和检测阈值Tha大的像素确定为无效像素。此外，无效像素检测单元32将每个像素的像素值与暗部缺失检测阈值Thb进行比较，并且将像素值比暗部缺失检测阈值Thb小的像素确定为无效像素。此外，因为没有设置偏振滤波器，所以非偏振像素具有比偏振像素更大量的入射光(更高的灵敏度)，并且因为通过偏振滤波器减少了光量，所以偏振像素具有比偏振像素更少量的入射光(更低的灵敏度。因此，可以通过比较非偏振图像的像素值与饱和检测阈值Tha来检测无效像素，并且可以通过比较偏振图像的像素值与暗部缺失检测阈值Thb来检测无效像素。
对于饱和检测阈值Tha和暗部缺失检测阈值Thb，可以将规定电平与阈值之间的电平差(例如，偏振摄像单元20的最大输出电平与饱和检测阈值Tha之间的电平差、以及偏振摄像单元20的最小输出电平与暗部缺失检测阈值Thb之间的电平差)设置为相等，或者可以根据偏振摄像单元20的特性分别设置阈值。例如，已知取决于信号电荷量的散粒噪声出现在摄像元件21中，并且散粒噪声与信号电荷量的平方根成比例。因此，暗部缺失检测阈值Thb被设置为比偏振摄像单元20的输出最小值大第一电平，并且饱和检测阈值Tha被设置为比偏振摄像单元20的输出最大值小第二电平，第二电平小于第一电平。通过以该方式设置饱和检测阈值Tha和暗部缺失检测阈值Thb，可以防止在检测到其中已经发生暗部缺失的无效像素时的噪声影响变得大于检测到其中已经发生饱和的无效像素时的噪声影响。此外，可以根据偏振滤波器22的光学特性来设置饱和检测阈值Tha和暗部缺失检测阈值Thb。例如，当偏振滤波器22的透射率低时，入射在摄像元件21上的光的量小，并且因此像素信号的信号电平低。此外，在调整像素信号的电平的情况下，增益变高，并且与透射率高的情况相比，噪声的影响有可能变大。因此，规定的电平与阈值之间的电平差在偏振滤波器22的透射率低的情况下可以比在透射率高的情况下大。
无效像素检测单元32将饱和检测阈值Tha和暗部缺失检测阈值Thb(<Tha)与像素x的像素值I(x，θ)进行比较，并且在满足I(x，θ)>Tha或者Thb>I(x，θ)的情况下，将像素x设置为无效像素。注意，“x”是像素的索引。此外，“θ”指示像素的类型。例如，当偏振方向为0°时设置“θ＝0”，当偏振方向为90°时设置“θ＝90”，当偏振方向为135°时设置“θ＝135”，并且在像素为非偏振像素的情况下设置“θ＝-1”。无效像素检测单元32为每个像素设置无效标志V(x，θ)，并且将被确定为无效像素的像素的无效标志设置为V(x，θ)＝1，并且将未被确定为无效像素的像素的无效标志设置为V(x，θ)＝0。无效像素检测单元32将指示无效像素的检测结果的无效标志V(x，θ)输出至偏振信息生成单元33。
偏振信息生成单元33基于由去马赛克处理单元31所生成的非偏振图像和每个偏振方向的偏振图像，执行生成偏振信息的处理，并且根据无效像素检测单元32中的无效像素的检测结果来切换生成偏振信息的处理。
已知可以通过例如表达式(10)中所示的偏振模型公式来表示对象的偏振状态。注意，在表达式(10)中，参数S0、S1和S2是斯托克斯(Stokes)参数，并且斯托克斯参数S0是0°偏振的观察亮度和90°偏振的观察亮度之和，并且是指示强度的参数。斯托克斯参数S1是指示0°偏振的观察亮度与90°偏振的观察亮度之间的差的参数，并且斯托克斯参数S2是指示45°偏振的观察亮度与135°偏振的观察亮度之间的差的参数。
[表达式1]
I(x，θ)＝S2·sin(2·θ)+S1·cos(2·θ)+S0 ···(10)
偏振信息生成单元33通过使用非偏振图像和每个偏振方向的偏振图像的像素值对表达式(10)中所示的偏振模型公式执行拟合来计算斯托克斯参数，并且生成指示所计算的斯托克斯参数的偏振信息并且输出。此外，在拟合偏振模型公式时，偏振信息生成单元33切换生成偏振信息的处理，即，基于来自无效像素检测单元32的无效标志V(x，θ)来计算斯托克斯参数的方法，并且例如通过使用尚未被确定为无效像素的像素的像素值的最小二乘法等来计算在表达式(10)的偏振模型公式中的斯托克斯参数S0、S1和S2。
例如，如图4的(a)所示，2×2像素的偏振像素块包括三个偏振像素(偏振方向为“0°”、“90°”和“135°”的像素)和一个非偏振像素。图7示出了非偏振像素的亮度、偏振像素的亮度与偏振方向的角度之间的关系(第1部分)。图7的(a)示出了偏振像素块中的所有像素未被确定为无效像素的情况。在偏振像素块中的所有像素未被确定为无效像素的情况下，即，在无效标志满足V(x，-1)＝V(x，0)＝V(x，90)＝V(x，135)＝0的情况下，基于表达式(11)计算斯托克斯参数S0。注意，表达式(11)中的系数K是吸收偏振像素与非偏振像素之间的灵敏度差的系数。
[表达式2]
Figure BDA0003725751130000111
此外，偏振信息生成单元33使用像素值I(x，0)、I(x，90)和I(x，135)以及斯托克斯参数S0，通过最小二乘法等计算斯托克斯参数S2和S1。
接下来，将描述偏振像素块中仅非偏振像素被确定为无效像素的情况。图7的(b)示出了仅非偏振像素被确定为无效像素的情况。当偏振摄像单元20上的入射光的量增加并且在非偏振像素中发生饱和时，非偏振像素的像素值例如变为处于比取决于入射光的量的像素值Isa更低水平的像素值I(x，-1)。具有以此种方式饱和的像素值的非偏振像素被确定为无效像素。因此，在仅非偏振像素被确定为无效像素的情况下，即，在无效标志满足V(x，-1)＝1并且V(x，0)＝V(x，90)＝V(x，135)＝0的情况下，偏振信息生成单元33在不使用非偏振像素的情况下计算斯托克斯参数。偏振信息生成单元33根据不是无效像素的偏振像素的像素值I(x，0)、I(x，90)和I(x，135)以及表达式(10)中所示的偏振模型公式，通过最小二乘法等来计算斯托克斯参数S2、S1和S0。
接下来，将描述偏振像素块中仅一个偏振像素被确定为无效像素的情况。图7的(c)示出了偏振像素块中仅一个偏振像素被确定为无效像素的情况。当偏振摄像单元20上的入射光的量减少并且在90度的偏振方向的偏振像素中发生暗部缺失时，偏振像素的像素值例如变为处于比取决于入射光的量的像素值Isb更高水平的像素值I(x，90)。如上所述，其中像素值中发生暗部缺失的偏振像素被确定为无效像素。注意，图7的(c)示出了：由于偏振像素的暗部缺失，偏振模型的平均值I(x，avg)改变为平均值Ibc。因此，在偏振像素块中仅一个偏振像素被确定为无效像素的情况下，例如，在无效标志满足V(x，-1)＝V(x，0)＝V(x，135)并且V(x，90)＝1的情况下，偏振信息生成单元33在不使用被确定为无效像素的135°偏振像素的情况下计算斯托克斯参数。偏振信息生成单元33基于表达式(12)计算斯托克斯参数S0。注意，系数K是吸收偏振像素与非偏振像素之间的灵敏度差的系数。
S0＝K×I(x，-1) …(12)
此外，偏振信息生成单元33使用像素值I(x，0)和I(x，90)以及斯托克斯参数S0，通过最小二乘法等来计算斯托克斯参数S2和S1。
注意，在偏振像素块中的三个偏振像素中的两个偏振像素是无效像素的情况下，偏振信息生成单元33不能计算斯托克斯参数S2、S1和S0。在此情况下，偏振信息生成单元33可以使用指示不能被获取的偏振特性的信息作为偏振信息。
此外，如图4的(b)中所示，2×2像素的偏振像素块包括两个偏振像素(偏振方向为“90°”和“135°”的像素)和两个非偏振像素。图8示出了非偏振像素的亮度、偏振像素的亮度与偏振方向的角度之间的关系(第2部分)。图8的(a)示出了偏振像素块中的所有像素未被确定为无效像素的情况。在偏振像素块中的所有像素未被确定为无效像素的情况下，即，在无效标志满足V(x，-1a)＝V(x，-1b)＝V(x，90)＝V(x，135)＝0的情况下，基于公式(11)计算斯托克斯参数S0。注意，无效标志V(x，-1a)指示两个非偏振像素中的一个非偏振像素的检测结果，并且无效标志V(x，-1b)指示两个非偏振像素中的另一个非偏振像素的检测结果。
此外，偏振信息生成单元33使用像素值I(x，90)和I(x，135)以及斯托克斯参数S0，通过最小二乘法等计算斯托克斯参数S2和S1。
接下来，将描述偏振像素块中仅一个非偏振像素被确定为无效像素的情况。图8的(b)示出了仅一个非偏振像素被确定为无效像素的情况。当偏振摄像单元20上的入射光的量增加并且在非偏振像素中发生饱和时，非偏振像素的像素值例如变为处于比取决于入射光的量的像素值Isa更低水平的像素值I(x，-1a)。具有以该方式饱和的像素值的非偏振像素被确定为无效像素。因此，在仅一个非偏振像素被确定为无效像素的情况下，即，偏振信息生成单元33将无效标志设置为V(x，-1a)＝1、V(x，-1b)＝V(x，90)＝V(x，135)＝0。在此情况下，与图4的(a)所示的像素配置中的偏振像素块中仅一个偏振像素被确定为无效像素的情况类似，用于计算斯托克斯参数的像素是一个非偏振像素和两个偏振像素。因此，偏振信息生成单元33通过使用不是无效像素的非偏振像素的像素值和两个偏振像素的像素值，计算如上所述的斯托克斯参数S2、S1和S0。
注意，在偏振像素块中的两个非偏振像素或一个偏振像素被确定为无效像素的情况下，偏振信息生成单元33不能计算斯托克斯参数S2、S1和S0。图8的(c)示出了偏振像素块中的一个偏振像素被确定为无效像素的情况。当偏振摄像单元20上的入射光的量减少并且在90度的偏振方向的偏振像素中发生暗部缺失时，偏振像素的像素值例如变为处于比取决于入射光的量的像素值Isb更高水平的像素值I(x，90)。如上所述，其中像素值中发生暗部缺失的偏振像素被确定为无效像素。注意，图8的(c)示出了：由于偏振像素的暗部缺失，偏振模型的平均值I(x，avg)改变为平均值Ibc。因此，在偏振像素块中仅一个偏振像素被确定为无效像素的情况下，偏振信息生成单元33将无效标志设置为V(x，90)＝1并且V(x，-1a)＝V(x，-1b)＝V(x，135)＝0。这里，由于90度的偏振方向的偏振像素是无效像素，因此在使用135度偏振像素的像素值和两个非偏振像素的像素值的情况下，不能执行对偏振模型公式的拟合。因此，偏振信息生成单元33可以使用指示不能被获取的偏振特性的信息作为偏振信息。
图9是示出图像处理单元的操作的流程图。在步骤ST1中，图像处理单元获取捕获图像。图像处理单元通过使用包括偏振像素和非偏振像素的偏振摄像单元来生成捕获图像，并且进行至步骤ST2。
在步骤ST2中，图像处理单元生成每个偏振方向的偏振图像和非偏振图像。图像处理单元通过使用捕获图像来执行去马赛克处理，生成每个偏振方向的偏振图像和非偏振图像，并且进行至步骤ST3。
在步骤ST3中，图像处理单元检测无效像素。图像处理单元将非偏振像素的像素值和偏振像素的像素值与预设的饱和检测阈值Tha和预设的暗部缺失检测阈值Thb进行比较，检测具有比饱和检测阈值Tha大的像素值的像素和具有比暗部缺失检测阈值Thb小的像素值的像素作为无效像素，并且进行至步骤ST4。
在步骤ST4中，图像处理单元生成偏振信息。图像处理单元基于每个偏振方向的像素值、非偏振像素值和无效像素检测结果，通过使用不是无效像素的偏振像素的像素值和非偏振像素的像素值来执行对偏振模型公式的拟合，并且计算例如斯托克斯参数。图像处理单元生成指示所计算的斯托克斯参数的偏振信息。
如上所述，图像处理单元使去马赛克处理单元31根据由布置有非偏振像素和至少两个偏振方向的偏振像素的偏振摄像单元20所生成的捕获图像生成非偏振图像和每个偏振方向的偏振图像。此外，图像处理单元使偏振信息生成单元33根据由去马赛克处理单元31所生成的非偏振图像和偏振图像生成指示包括在捕获图像中的对象的偏振特性的偏振信息。如上所述，由于不仅使用偏振图像而且还使用高度敏感的非偏振图像来生成偏振信息，因此与基于偏振图像生成偏振信息的情况相比，可以获取高精度的偏振信息。此外，图像处理单元从非偏振图像和偏振图像中检测无效像素，并在不使用无效像素的情况下生成偏振信息，使得可以获得正确的偏振信息。
<2.另一实施方式>
同时，尽管已经示出了在上述的图像处理单元中偏振像素的偏振角度为“0°、90°和135°”的情况，但是偏振角度可以是彼此不正交的角度。例如，偏振像素块可以包括一个非偏振像素和偏振角度为“0°、60°和120°”的三个偏振像素。
当以该方式设置偏振角度时，即使三个不同偏振方向的偏振像素中的一个偏振像素成为暗部缺失像素，其余两个偏振方向彼此不正交，并且因此，可以基于非偏振像素和彼此不正交的两个偏振像素来执行对偏振模型公式的拟合。因此，即使三个不同偏振方向中的任何一个偏振方向的偏振像素成为暗部缺失像素，也可以获取偏振信息。
此外，尽管偏振信息生成单元33计算斯托克斯参数作为上述实施方式中的偏振信息，但偏振信息不限于指示斯托克斯参数的情况。例如，偏振信息生成单元33可以生成法线信息作为偏振信息。在此情况下，偏振信息生成单元33例如基于表达式(13)来计算方位角
Figure BDA0003725751130000144
此外，偏振信息生成单元33基于表达式(14)来计算天顶角θ。注意，表达式(14)中的参数A、B、C和D是由表达式(15)至表达式(18)所计算的值，并且表达式(15)和表达式(16)中所示的偏振度ρ是基于表达式(19)所计算的。此外，在表达式(15)、表达式(17)和表达式(18)中，使用对象OB的折射率n来计算参数A、B、C和D。
[表达式3]
Figure BDA0003725751130000141
Figure BDA0003725751130000142
Figure BDA0003725751130000143
B＝4ρ…(16)
C＝1+n2…(17)
D＝1-n2…(18)
Figure BDA0003725751130000151
此外，偏振摄像单元20可以被配置成生成彩色捕获图像，并且图像处理单元30可以基于彩色捕获图像来生成偏振信息。图10示出了生成彩色捕获图像的偏振摄像单元的配置。在由偏振摄像单元20生成彩色捕获图像的情况下，在摄像元件21的入射表面上设置有彩色马赛克滤波器23。注意，彩色马赛克滤波器23不限于设置在摄像元件21与偏振滤波器22之间，并且可以设置在偏振滤波器22的入射表面上。
偏振滤波器22和彩色马赛克滤波器23包括每个偏振方向的相同颜色的像素，以不受不同偏振方向的偏振像素之间的颜色差异的影响。此外，偏振滤波器22和彩色马赛克滤波器23被配置成获得每种颜色的非偏振像素的像素值。
图11示出了彩色马赛克滤波器与偏振滤波器(两个偏振方向)之间的关系。在图11的(a)中，偏振滤波器22具有以下配置：在2×2像素区域中接收两个非偏振像素和不同偏振方向的两个偏振像素。此外，彩色马赛克滤波器23具有以下配置：2×2像素区域被设置为红色(R)、绿色(G)或蓝色(B)的颜色单元，并且4×4像素区域包括红色2×2像素区域、蓝色2×2像素区域和两个绿色2×2像素区域。在此情况下，在偏振摄像单元20中，针对每个2×2像素区域生成两个偏振方向中的每个偏振方向的偏振像素的像素值以及红色、绿色或蓝色中的任何颜色的非偏振像素的像素值。
在图11的(b)中，彩色马赛克滤波器23具有以下配置：2×2像素区域被设置为红色(R)、绿色(G)或蓝色(b)的颜色单元。此外，偏振滤波器22具有以下配置：在绿色2×2像素区域中接收两个非偏振像素和不同偏振方向的两个偏振像素，并且4×4像素区域包括红色2×2像素区域、蓝色2×2像素区域和两个绿色2×2像素区域。在此情况下，在偏振摄像单元20中，针对每个2×2像素区域生成红色、绿色或蓝色中的任何颜色的非偏振像素的像素值以及绿色的两个偏振方向的偏振像素的像素值。
在图11的(c)中，偏振滤波器22具有以下配置：在2×2像素区域中接收两个非偏振像素和不同偏振方向的两个偏振像素。此外，彩色马赛克滤波器23具有以下配置：2×2像素区域包括三个绿色(G)像素和一个红色(R)或蓝色(B)像素，并且4×4像素区域包括：各自包含红色像素的两个2×2像素区域以及各自包含蓝色像素的两个2×2像素区域。在此情况下，在偏振摄像单元20中，针对每个2×2像素区域生成绿色像素和红色像素或者绿色像素和蓝色像素的非偏振像素的像素值以及绿色的两个偏振方向中的每个偏振方向的偏振像素的像素值。
在图11的(d)中，彩色马赛克滤波器23具有以下配置：2×2像素区域包括两个白色(W)像素和红色(R)、绿色(G)或蓝色(B)中的任何颜色的两个像素。此外，4×4像素区域包括：包含红色像素的2×2像素区域、包含蓝色像素的2×2像素区域以及包含绿色像素的两个2×2像素区域。此外，偏振滤波器22具有以下配置：包含绿色像素的2×2像素区域中的白色像素被设置为相同偏振方向的偏振像素，并且两个偏振方向中的每个偏振方向的两个偏振像素设置在4×4像素区域中。在此情况下，在偏振摄像单元20中，针对每个2×2像素区域生成红色、绿色或蓝色中的任何颜色的非偏振像素的像素值，以及包括绿色像素的2×2像素区域中的两个偏振方向中的任何偏振方向的偏振像素的像素值。
在图11的(e)中，彩色马赛克滤波器23具有以下配置：2×2像素区域包括两个白色(W)像素和绿色(G)和红色(R)像素或者两个白色(W)像素和绿色(G)和蓝色(B)像素。此外，4×4像素区域包括：各自包含红色像素的两个2×2像素区域以及各自包含蓝色像素的两个2×2像素区域。此外，偏振滤波器22具有以下配置：在2×2像素区域中的一个白色像素是偏振像素，并且两个偏振方向中的每个偏振方向的两个偏振像素设置在4×4像素区域中。在此情况下，在偏振摄像单元20中，针对每个2×2像素区域生成绿色和红色或者绿色和蓝色的非偏振像素的像素值以及两个偏振方向中的任何偏振方向的偏振像素的像素值。
此外，在图11中，在偏振摄像单元20中，针对每个4×4像素区域生成每个颜色的非偏振像素的像素值和每个偏振方向的偏振像素的像素值。
图12示出了彩色马赛克滤波器与偏振滤波器(三个偏振方向)之间的关系。在图12的(a)中，彩色马赛克滤波器23具有以下配置：2×2像素区域包括两个白色(W)像素和红色(R)、绿色(G)或蓝色(B)中的任何颜色的两个像素。此外，4×4像素区域包括：包含红色像素的2×2像素区域、包含蓝色像素的2×2像素区域以及包含绿色像素的两个2×2像素区域。此外，偏振滤波器22具有以下配置：在2×2像素区域中的白色像素是任何偏振方向的偏振像素，并且四个偏振方向中的每个偏振方向的两个偏振像素设置在4×4像素区域中。在此情况下，在偏振摄像单元20中，针对每个2×2像素区域生成红色、绿色或蓝色中的任何颜色的非偏振像素的像素值以及四个偏振方向中的任何偏振方向的偏振像素的像素值。
在图12的(b)中，彩色马赛克滤波器23具有以下配置：2×2像素区域包括两个白色(W)像素和绿色(G)和红色(R)像素、或者两个白色(W)像素和绿色(G)和蓝色(b)像素。此外，4×4像素区域包括：各自包含红色像素的两个2×2像素区域以及各自包含蓝色像素的两个2×2像素区域。此外，偏振滤波器22具有以下配置：在2×2像素区域中的两个白色像素是不同偏振方向的偏振像素，并且四个偏振方向中的每个偏振方向的两个偏振像素设置在4×4像素区域中。在此情况下，在偏振摄像单元20中，针对每个2×2像素区域生成绿色和红色或者绿色和蓝色的非偏振像素的像素值以及两个偏振方向的偏振像素的像素值。在此情况下，在偏振摄像单元20中，针对每个2×2像素区域生成绿色和红色或者绿色和蓝色的非偏振像素的像素值以及四个偏振方向中的任何两个偏振方向的偏振像素的像素值。
在图12的(c)中，彩色马赛克滤波器23具有以下配置：2×2像素区域被设置为红色(R)、绿色(G)或蓝色(B)的颜色单元，并且4×4像素区域包括红色2×2像素区域、蓝色2×2像素区域和两个绿色2×2像素区域。此外，偏振滤波器22具有以下配置：不同偏振方向的四个偏振像素设置在每个绿色2×2像素区域中。在这种情况下，在偏振摄像单元20中，在红色或蓝色2×2像素区域中生成非偏振像素的像素值，并且在每个绿色2×2像素区域中生成每个偏振方向的偏振像素的像素值。
此外，在图12的(a)和(b)中，在偏振摄像单元20中，针对每个4×4像素区域生成每个颜色的非偏振像素的像素值以及每个偏振方向的偏振像素的像素值。
在由偏振摄像单元20生成彩色捕获图像的情况下，去马赛克处理单元31根据彩色图像生成每个颜色分量的非偏振图像。此外，去马赛克处理单元31生成每个偏振方向的偏振图像。偏振信息生成单元33通过使用由去马赛克处理单元31所生成的偏振图像和非偏振图像来生成偏振信息。由于偏振像素是如上所述的白色或相同颜色的像素，所以不存在偏振像素之间的颜色差异的影响。因此，即使在使用彩色捕获图像时，也可以正确地生成偏振信息。由于绿色像素是图12的(c)中的偏振像素，所以注意，绿色像素具有的灵敏度低于作为非偏振像素的红色像素或蓝色像素的灵敏度。因此，如果根据偏振像素的灵敏度的降低来校正绿色像素的像素值，则执行常规的拜耳阵列的去马赛克处理，使得可以生成与每个颜色分量的像素是非偏振像素的情况类似的颜色分量图像。
以此方式，如果由偏振摄像单元生成彩色捕获图像，则可以通过使用颜色来生成高精度的偏振信息。此外，在由偏振摄像单元生成彩色捕获图像的情况下，图像处理单元30可以通过使用相同颜色的像素执行统合处理来生成每个颜色的非偏振图像。
此外，图像处理单元的配置不限于图1所示的配置。例如，由于图像处理单元30被配置成与上述偏振摄像单元20的像素配置对应，所以偏振摄像单元20和图像处理单元30可以被整体地配置。
<应用示例>
根据本公开内容的技术可以应用于各种产品。例如，根据本公开内容的技术可以被实现为安装在任何类型的移动体上的装置，移动体例如汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、建筑机械或者农业机械(拖拉机)。当应用于这样的领域时，可以获取高精度的偏振信息，并且因此，例如，可以基于偏振信息在三维中精确地把握周围环境，并且可以减少驾驶员或者工人的疲劳。此外，可以更安全地执行自动驾驶等。
根据本公开内容的技术也可以应用于医疗领域。例如，当应用于在执行外科手术中使用手术部位的捕获图像的情况时，可以以高精度获得没有手术部位的三维形状或反射的图像，并且可以减少操作者的疲劳或者安全并且更可靠地执行外科手术。
此外，根据本公开内容的技术还可以应用于诸如公共服务的领域。例如，当对象的图像发布在书籍、杂志等中时，可以从对象的图像中准确地移除不必要的反射分量等。
说明书中描述的一系列处理可以通过硬件、软件或两者的组合配置来执行。在通过软件执行处理的情况下，在并入专用硬件的计算机的存储器中安装其中记录有处理序列的程序并且执行程序。替选地，可以在能够执行各种类型处理的通用计算机中安装和执行程序。
例如，程序可以被预先记录在用作记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)中。替选地，程序可以临时地或永久地存储(记录)在可移动记录介质中，可移动记录介质例如软磁盘、致密盘只读存储器(CD-ROM)、磁光盘(MO)、数字多功能光盘(DVD)、蓝光光盘(BD)(注册商标)、磁盘或者半导体存储卡。这样的可移动记录介质可以作为所谓的封装软件被提供。
此外，除了将程序从可移动记录介质安装至计算机之外，还可以经由诸如局域网(LAN)或因特网的网络将程序无线地或者通过有线从下载站点传输至计算机。在计算机中，这样传输的程序可以被接收并安装在诸如内置硬盘的记录介质中。
注意，本说明书中描述的效果仅是示例性的，而不是限制性的，并且可能存在未描述的附加效果。此外，本技术不应该被解释为限于上述的实施方式。本技术的实施方式以例示的形式公开了本技术，并且明显的是，在不脱离本技术主旨的情况下，本领域技术人员可以对实施方式进行修改或替换。即，为了确定本技术的主旨，应当考虑权利要求。
此外，本技术的图像处理装置还可以具有以下配置。
(1)一种图像处理装置，包括：
无效像素检测单元，其从通过使用偏振摄像单元执行摄像所获得的非偏振图像和不同偏振方向的多个偏振图像中，检测饱和像素和暗部缺失像素作为无效像素；以及
偏振信息生成单元，其基于所述非偏振图像和所述偏振图像来执行生成偏振信息的处理，并且根据所述无效像素检测单元中的所述无效像素的检测结果来切换生成所述偏振信息的处理。
(2)根据项(1)所述的图像处理装置，其中，在所述非偏振图像的像素被检测为无效像素的情况下，所述偏振信息生成单元通过使用所述多个偏振图像的像素来生成所述偏振信息。
(3)根据项(1)所述的图像处理装置，其中，在所述多个偏振图像中的任何一个偏振图像的像素被检测为无效像素的情况下，所述偏振信息生成单元通过使用所述非偏振图像的像素和未被检测为无效像素的另一偏振图像的像素来生成所述偏振信息。
(4)根据项(3)所述的图像处理装置，
其中，所述多个偏振图像是不同偏振方向的三个或更多个偏振图像，并且
所述偏振信息生成单元通过使用所述非偏振图像的像素和未被检测为无效像素的至少两个偏振图像的像素来生成所述偏振信息。
(5)根据项(4)所述的图像处理装置，其中，所述至少两个偏振图像是偏振方向彼此不正交的的偏振图像。
(6)根据项(1)至项(5)所述的图像处理装置，其中，在检测到没有无效像素的情况下，所述偏振信息生成单元通过使用所述非偏振图像的像素和偏振图像的像素来生成所述偏振信息。
(7)根据项(1)至项(6)所述的图像处理装置，其中，所述无效像素检测单元从所述非偏振图像中检测所述饱和像素并且从所述偏振图像中检测所述暗部缺失像素作为所述无效像素。
(8)根据项(1)至项(7)所述的图像处理装置，其中，所述无效像素检测单元将具有比预设饱和检测阈值大的像素值的像素检测为所述饱和像素，并且将具有比预设暗部缺失检测阈值小的像素值的像素检测为所述暗部缺失像素。
(9)根据项(8)所述的图像处理装置，其中，所述饱和检测阈值和所述暗部缺失检测阈值根据通过所述偏振摄像单元执行所述摄像所获取的图像的特性来设置的。
(10)根据项(9)所述的图像处理装置，其中，所述暗部缺失检测阈值被设置为比所述偏振摄像单元的输出最小值大第一电平，并且所述饱和检测阈值被设置为比所述偏振摄像单元的输出最大值小第二电平，所述第二电平小于所述第一电平。
附图标记列表
10 系统
20 偏振摄像单元
21 摄像元件
22 偏振滤波器
23 彩色马赛克滤波器
30 图像处理单元
31 去马赛克处理单元
32 无效像素检测单元
33 偏振信息生成单元
211 像素阵列单元
212 竖直扫描电路
213 水平扫描电路
310 非偏振像素插值单元
311 偏振像素平均化处理单元
312 非偏振像素平均化处理单元
313 中心像素获取单元
314 相关处理单元

Claims (12)

1.一种图像处理装置，包括：
无效像素检测单元，其从通过使用偏振摄像单元执行摄像所获得的非偏振图像和不同偏振方向的多个偏振图像中，检测饱和像素和暗部缺失像素作为无效像素；以及
偏振信息生成单元，其基于所述非偏振图像和所述偏振图像来执行生成偏振信息的处理，并且根据所述无效像素检测单元中的所述无效像素的检测结果来切换生成所述偏振信息的处理。
2.根据权利要求1所述的图像处理装置，
其中，在所述非偏振图像的像素被检测为无效像素的情况下，所述偏振信息生成单元通过使用所述多个偏振图像的像素来生成所述偏振信息。
3.根据权利要求1所述的图像处理装置，
其中，在所述多个偏振图像中的任何一个偏振图像的像素被检测为无效像素的情况下，所述偏振信息生成单元通过使用所述非偏振图像的像素和未被检测为无效像素的另一偏振图像的像素来生成所述偏振信息。
4.根据权利要求3所述的图像处理装置，
其中，所述多个偏振图像是不同偏振方向的三个或更多个偏振图像，并且
所述偏振信息生成单元通过使用所述非偏振图像的像素和未被检测为无效像素的至少两个偏振图像的像素来生成所述偏振信息。
5.根据权利要求4所述的图像处理装置，
其中，所述至少两个偏振图像是偏振方向彼此不正交的偏振图像。
6.根据权利要求1所述的图像处理装置，
其中，在检测到没有无效像素的情况下，所述偏振信息生成单元通过使用所述非偏振图像的像素和偏振图像的像素来生成所述偏振信息。
7.根据权利要求1所述的图像处理装置，其中，所述无效像素检测单元从所述非偏振图像中检测所述饱和像素并且从所述偏振图像中检测所述暗部缺失像素作为所述无效像素。
8.根据权利要求1所述的图像处理装置，
其中，所述无效像素检测单元将具有比预设饱和检测阈值大的像素值的像素检测为所述饱和像素，并且将具有比预设暗部缺失检测阈值小的像素值的像素检测为所述暗部缺失像素。
9.根据权利要求8所述的图像处理装置，
其中，所述饱和检测阈值和所述暗部缺失检测阈值是根据通过所述偏振摄像单元执行所述摄像所获取的图像的特性来设置的。
10.根据权利要求9所述的图像处理装置，
其中，所述暗部缺失检测阈值被设置为比所述偏振摄像单元的输出最小值大第一电平，并且所述饱和检测阈值被设置为比所述偏振摄像单元的输出最大值小第二电平，所述第二电平小于所述第一电平。
11.一种图像处理方法，包括以下步骤：
通过无效像素检测单元，从通过使用偏振摄像单元执行摄像所获得的非偏振图像和不同偏振方向的多个偏振图像中，检测饱和像素和暗部缺失像素作为无效像素；以及
通过偏振信息生成单元，基于所述非偏振图像和所述偏振图像来执行生成偏振信息的处理，并且根据所述无效像素检测单元中的所述无效像素的检测结果来切换生成所述偏振信息的处理。
12.一种程序，使计算机生成偏振信息，所述程序使所述计算机执行包括以下的过程：
从通过使用偏振摄像单元执行摄像所获得的非偏振图像和不同偏振方向的多个偏振图像中检测饱和像素和暗部缺失像素作为无效像素的过程；
基于所述非偏振图像和所述偏振图像来执行生成偏振信息的处理的过程；以及
根据所述无效像素的检测结果来切换生成所述偏振信息的处理的过程。
CN202080091404.XA 2020-01-09 2020-12-18 图像处理装置、图像处理方法和成像装置 Pending CN114930800A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020002033 2020-01-09
JP2020-002033 2020-01-09
PCT/JP2020/047434 WO2021140873A1 (ja) 2020-01-09 2020-12-18 画像処理装置と画像処理方法および撮像装置

Publications (1)

Publication Number Publication Date
CN114930800A true CN114930800A (zh) 2022-08-19

Family

ID=76792845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080091404.XA Pending CN114930800A (zh) 2020-01-09 2020-12-18 图像处理装置、图像处理方法和成像装置

Country Status (5)

Country Link
US (1) US11758290B2 (zh)
EP (1) EP4060981A4 (zh)
JP (1) JPWO2021140873A1 (zh)
CN (1) CN114930800A (zh)
WO (1) WO2021140873A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100467A1 (ja) * 2021-11-30 2023-06-08 ソニーグループ株式会社 情報処理装置と情報処理方法とプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006511295A (ja) * 2002-12-20 2006-04-06 キンバリー クラーク ワールドワイド インコーポレイテッド 遅延分散性の陰唇間吸収性物品
CN102301694A (zh) * 2009-11-18 2011-12-28 松下电器产业株式会社 图像处理方法及图像处理装置
WO2013047099A1 (ja) * 2011-09-30 2013-04-04 シャープ株式会社 表示装置
US20150310589A1 (en) * 2014-04-25 2015-10-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法
WO2017099253A1 (ja) * 2015-12-11 2017-06-15 株式会社ニコン 偏光特性画像計測装置、偏光特性画像計測方法
CN107251539A (zh) * 2015-02-27 2017-10-13 索尼公司 成像装置、图像处理装置和图像处理方法
CN108353153A (zh) * 2015-11-10 2018-07-31 索尼公司 图像处理装置和图像处理方法
WO2019021591A1 (ja) * 2017-07-28 2019-01-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび画像処理システム
CN109565550A (zh) * 2016-08-18 2019-04-02 索尼公司 成像设备和成像方法
CN109804621A (zh) * 2016-10-17 2019-05-24 索尼公司 图像处理装置、图像处理方法和图像拾取装置
WO2019102698A1 (ja) * 2017-11-21 2019-05-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび固体撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8130293B2 (en) 2007-06-15 2012-03-06 Panasonic Corporation Image processing apparatus having patterned polarizer, patterned polarizer, and image processing method
JP2017228983A (ja) 2016-06-23 2017-12-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
CN109565546B (zh) * 2016-08-24 2020-12-01 索尼公司 图像处理设备、信息生成设备以及信息生成方法
EP3509294B1 (en) 2016-08-31 2020-08-12 Sony Corporation Image processing device and image processing method
DE112021001440T5 (de) * 2020-03-05 2023-02-09 Fanuc Corporation Dreidimensionales Messgerät, das aus einem von mehreren Kameras aufgenommenen Bild Positionsinformationen für eine Objektoberfläche erzeugt

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006511295A (ja) * 2002-12-20 2006-04-06 キンバリー クラーク ワールドワイド インコーポレイテッド 遅延分散性の陰唇間吸収性物品
CN102301694A (zh) * 2009-11-18 2011-12-28 松下电器产业株式会社 图像处理方法及图像处理装置
WO2013047099A1 (ja) * 2011-09-30 2013-04-04 シャープ株式会社 表示装置
US20150310589A1 (en) * 2014-04-25 2015-10-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN107251539A (zh) * 2015-02-27 2017-10-13 索尼公司 成像装置、图像处理装置和图像处理方法
CN108353153A (zh) * 2015-11-10 2018-07-31 索尼公司 图像处理装置和图像处理方法
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法
CN108293093A (zh) * 2015-11-19 2018-07-17 索尼公司 图像处理设备和图像处理方法
WO2017099253A1 (ja) * 2015-12-11 2017-06-15 株式会社ニコン 偏光特性画像計測装置、偏光特性画像計測方法
CN109565550A (zh) * 2016-08-18 2019-04-02 索尼公司 成像设备和成像方法
CN109804621A (zh) * 2016-10-17 2019-05-24 索尼公司 图像处理装置、图像处理方法和图像拾取装置
WO2019021591A1 (ja) * 2017-07-28 2019-01-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび画像処理システム
WO2019102698A1 (ja) * 2017-11-21 2019-05-31 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび固体撮像装置

Also Published As

Publication number Publication date
EP4060981A1 (en) 2022-09-21
US20230053038A1 (en) 2023-02-16
WO2021140873A1 (ja) 2021-07-15
EP4060981A4 (en) 2023-01-18
JPWO2021140873A1 (zh) 2021-07-15
US11758290B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
US10638099B2 (en) Extended color processing on pelican array cameras
US9894302B2 (en) Imaging apparatus, image processing method, and program
JP5546229B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US8300120B2 (en) Image processing apparatus and method of processing image for reducing noise of the image
US8035704B2 (en) Method and apparatus for processing a digital image having defective pixels
US8199229B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
US8160381B2 (en) Method and apparatus for image noise reduction using noise models
US10630920B2 (en) Image processing apparatus
US9615017B2 (en) Focus detection apparatus and method, method of controlling focus detection apparatus, and image capturing apparatus
JP2011123589A5 (zh)
JP2009177727A (ja) 撮像装置
US9843782B2 (en) Interpolation device, storage medium, and method with multi-band color filter and noise reduced reference image
WO2008130832A1 (en) Methods, systems and apparatuses for high-quality green imbalance compensation in images
CN113557709A (zh) 成像装置、图像处理装置和图像处理方法
JP2009080113A (ja) 距離推定方法、距離推定装置、撮像装置およびコンピュータ読み取り可能な媒体
CN114930800A (zh) 图像处理装置、图像处理方法和成像装置
WO2019202984A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
US8704925B2 (en) Image sensing apparatus including a single-plate image sensor having five or more brands
JP5256236B2 (ja) 画像処理装置および方法，ならびに画像処理プログラム
JP2014158165A (ja) 画像処理装置、画像処理方法およびプログラム
US20240147080A1 (en) Image processing apparatus and method, and image capturing apparatus
JP7123384B2 (ja) 画像信号処理装置
JP5348253B2 (ja) 画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination