CN105814607B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN105814607B
CN105814607B CN201480067376.2A CN201480067376A CN105814607B CN 105814607 B CN105814607 B CN 105814607B CN 201480067376 A CN201480067376 A CN 201480067376A CN 105814607 B CN105814607 B CN 105814607B
Authority
CN
China
Prior art keywords
image
polarization
feature amount
characteristic quantity
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480067376.2A
Other languages
English (en)
Other versions
CN105814607A (zh
Inventor
近藤雄飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105814607A publication Critical patent/CN105814607A/zh
Application granted granted Critical
Publication of CN105814607B publication Critical patent/CN105814607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

偏振图像获取单元(11)获取三个或更多个偏振方向的偏振图像。特征值计算单元(15)基于所获取的偏振图像来执行图像特征值的计算。例如，针对每个像素对每个偏振图像的亮度进行归一化，并且将偏振图像的归一化亮度用作图像特征值。偏振图像的亮度水平根据受摄体的表面形状而变化。因此，基于偏振图像计算的图像特征值是与受摄体的表面形状对应的特征值。利用这样的图像特征值使得能够基于受摄体的表面形状来执行图像处理如图像识别、特征点检测或特征点匹配。

Description

图像处理装置以及图像处理方法
技术领域
本技术涉及图像处理装置以及图像处理方法，并且被设置成基于对象表面形状来执行图像处理。
背景技术
按照惯例，从多个偏振方向的偏振图像来获取对象的法向信息。例如，在非专利文献1和非专利文献2中，通过将多个偏振方向的偏振图像应用于模型表达式来计算法向信息。此外，使用偏振图像来执行对象的识别等。例如，在专利文献1中，布置了照明装置，使得照明光用作预定参考表面的p偏振光并且给对象进行照明。此外，在专利文献1中，当要被测量的对象沿着参考表面运动时，通过将来自参考表面的反射光分成s偏振光和p偏振光来测量每个偏振光分量的光强度，并且基于所获得的光强度的测量结果来识别对象。
引用列表
专利文献
专利文献1：JP2011-150689A
非专利文献
非专利文献1：Lawrence B.Wolff和Terrance E.Boult：“Constraining ObjectFeatures Using a Polarization Reflectance Model”，IEEE Transaction on patternanalysis and machine intelligence,Vol.13,No.7，1991年7月
非专利文献2：Gary A.Atkinson和Edwin R.Hancock：“Recovery of surfaceorientation from diffuse polarization”，IEEE Transactions of Image Processing,Vol.15,Issue.6，第1653页至第1664页，2006年
发明内容
技术问题
当通过将多个偏振方向的偏振图像应用于模型表达式来计算法向信息时，偏振图像的偏振方向与亮度之间的关系具有180度的周期性。例如，偏振图像的亮度在0度与180度之间变得相同并且偏振图像的亮度在45度处与在225度处相同。因此，当获得法向的方位角时，存在所谓的180度的不确定性问题。此外，虽然可以在使用s偏振光和p偏振光的识别中来识别对象的表面材料之间的差异，但是不可以根据两个偏振方向在理论上识别对象的表面形状。
因此，本技术的目的是提供能够基于对象的表面形状来执行图像处理的图像处理装置以及图像处理方法。
问题的解决方案
本技术的第一方面在于图像处理装置，包括：偏振图像获取单元，被配置成获取偏振图像；以及图像处理单元，被配置成使用基于由偏振图像获取单元获取的偏振图像所计算的图像特征量来执行图像处理。
例如，在本技术中，获取三个或更多个偏振方向的偏振图像并且使用针对每个像素基于获取的偏振图像的亮度所计算的图像特征量来执行图像处理如对象识别处理、对象的特征点检测或者与对象的特征点的匹配处理。在图像特征量的计算中对亮度进行归一化，并且将每个偏振方向的归一化亮度用作图像特征量。此外，针对每个像素来计算图像特征量，并且在特征量计算目标像素的图像特征量的计算中还使用位于特征量目标像素附近的像素的图像特征量。此外，在图像特征量的计算中，基于偏振图像中的对象的反射特征根据漫反射分量与镜面反射分量之间的比率来计算图像特征量。此外，在图像特征量的计算中，基于偏振图像和该偏振图像中的对象的折射率来执行图像特征量的计算。此外，还设置有非偏振图像特征量计算单元，被配置成根据所获取的偏振图像生成非偏振图像并且基于该非偏振图像来计算特征量，其中，使用基于在非偏振图像特征量计算单元计算特征量时所确定的梯度强度和梯度方向的信息来计算图像特征量。此外，由非偏振图像特征量计算单元计算的图像特征量也被包括在所计算的图像特征量中。
本技术的第二方面在于图像处理方法，包括以下步骤：由偏振图像获取单元获取偏振图像；以及由图像处理单元使用基于由偏振图像获取单元获取的偏振图像所计算的图像特征量来执行图像处理。
本发明的有益效果
根据本技术，获取偏振图像并且使用基于所获取的偏振图像所计算的图像特征量来执行图像处理。因此，根据基于偏振图像来计算图像特征量的事实，可以由图像特征量来表示对象的表面形状的特征，并且基于对象的表面形状的图像处理被配置成使用图像特征量来执行。此外，本说明书中所公开的效果仅仅是说明性的而非限制性的，而且可以存在另外的效果。
附图说明
[图1]图1是示出了图像特征量计算装置的配置的图。
[图2]图2是用于描述由偏振图像获取单元获取的偏振图像的图。
[图3]图3是用于描述图像特征量的计算的图。
[图4]图4是用于描述对象表面形状和偏振图像的图。
[图5]图5是示出了亮度与偏振角之间的关系的图。
[图6]图6是示出了偏振度与天顶角之间的关系的图。
[图7]图7是示出了图像特征量计算装置的操作的流程图。
[图8]图8是用于描述当使用空间方向的信息时特征量计算单元的操作的图。
[图9]图9是示出了根据折射率来计算图像特征量的情况的图。
[图10]图10是示出了图像特征量计算装置的另一种配置的图。
[图11]图11是用于描述当非偏振图像特征量计算单元计算SIFT特征量时特征量计算单元的操作的图。
[图12]图12是用于描述图像特征量中包括SIFT特征量的情况的图。
[图13]图13是用于描述当非偏振图像特征量计算单元计算SURF特征量时特征量计算单元的操作的图。
[图14]图14是用于描述图像特征量中包括SURF特征量的情况的图。
[图15]图15是用于描述当非偏振图像特征量计算单元计算二进制特征量时特征量计算单元的操作的图。
[图16]图16是示出了图像特征量计算装置的另一种配置的操作的流程图。
[图17]图17是示出了偏振图像的另一个示例的图。
[图18]图18是示出了图像处理装置执行识别处理的配置的图。
[图19]图19是用于描述图像处理装置的操作的图。
[图20]图20是示出了识别处理的操作的流程图。
[图21]图21是示出了识别处理的图。
[图22]图22是示出了当图像处理装置检测特征点时的配置的图。
[图23]图23是用于描述特征点检测单元的操作的图。
[图24]图24是示出了特征点检测处理的操作的流程图。
[图25]图25是示出了当图像处理装置执行特征点匹配时的配置的图。
[图26]图26是用于描述匹配处理单元的操作的图。
[图27]图27是示出了特征点匹配处理的操作的流程图。
具体实施方式
在下文中，将描述用于执行本技术的模式。另外，将按照下面的顺序提供描述。
1.图像特征量计算装置的配置和操作
1-1.图像特征量计算装置的配置
1-2.图像特征量计算装置的操作
1-3.图像特征量计算装置的其他操作
2.图像特征量计算装置的其他配置和操作
2-1.图像特征量计算装置的其他配置
2-2.图像特征量计算装置的其他配置的操作
3.图像处理装置的配置和操作
3-1.识别处理
3-2.特征点检测
3-3.特征点匹配
<1.图像特征量计算装置的配置和操作>
[1-1.图像特征量计算装置的配置]
图1示出了用于计算图像特征量的图像特征量计算装置的配置。图像特征量计算装置10包括偏振图像获取单元11和特征量计算单元15。
偏振图像获取单元11获取三个或更多个偏振方向的偏振图像。偏振图像获取单元11可以是具有被配置成生成三个或更多个偏振方向的偏振图像的成像单元的部件或者可以是被配置成从外部装置、记录介质等获取三个或更多个偏振方向的偏振图像的部件。
特征量计算单元15基于由偏振图像获取单元11获取的偏振图像来计算图像特征量。
[1-2.图像特征量计算装置的操作]
图2是用于描述由偏振图像获取单元获取的偏振图像的图。例如，如图2的(A)中所示，通过以下操作生成偏振图像：通过旋转设置在成像单元CM前方的偏振片PL来在三个或更多个偏振方向中的每一个偏振方向执行成像。此外，如图2的(B)中所示，可以通过在图像传感器110中布置具有三个或更多个偏振方向的像素分量的偏振滤光器111之后执行成像来生成偏振图像。此外，在图2的(B)中，示出了以下情况：具有四种不同类型的偏振方向(偏振方向由箭头表示)的任意像素的偏振滤光器111被布置在图像传感器110的前表面中。此外，如图2的(C)中所示，可以通过以下操作生成偏振图像：在在成像单元CM1至CM4的前方设置具有不同的偏振方向的偏振片PL1至PL4之后，使用成像单元CM1至CM4从同一位置顺序地执行成像。此外，如图2的(D)中所示，可以使用多透镜阵列的配置来生成不同偏振方向的多个偏振图像。例如，通过在图像传感器110的前表面中设置多个透镜(图2的(D)中的四个透镜)使用每个透镜112在图像传感器110的成像面上形成对象的光学图像。此外，偏振片113被布置在透镜112的前表面中并且偏振片113的偏振方向被配置成不同的方向。根据该配置，图像传感器110可以生成不同偏振方向的偏振图像。
此外，当在成像单元中未使用滤色镜时，偏振图像获取单元11可以获取亮度偏振图像。在此，在图2的(A)和(C)中，可以通过根据每个像素对偏振方向不同的亮度偏振图像的亮度求平均来获取与非偏振法向亮度图像等同的图像。此外，在图2的(B)的情况下，可以通过对具有不同偏振方向的四个相邻像素的亮度求平均来获取与非偏振法向亮度图像等同的图像。此外，在图2的(D)的情况下，可以通过对不同偏振方向的偏振图像的亮度求平均来获取与非偏振法向亮度图像等同的图像，原因在于：如果透镜112之间的距离短到可以相对于透镜到对象的距离而忽略透镜112之间的距离的程度，就可以忽略不同偏振方向的多个偏振图像的视差。此外，当不可以忽略视差时，如果根据视差量对不同偏振方向的偏振图像进行对准并且对对准的偏振图像的亮度求平均，就可以获取与非偏振法向亮度图像等同的图像。此外，偏振图像获取单元11可以通过在成像单元中设置滤色镜来同时生成三原色图像和亮度偏振图像或者同时生成红外图像等。
特征量计算单元15基于由偏振图像获取单元11获取的偏振图像来计算图像特征量。特征量计算单元15根据偏振图像中的对象的表面形状，例如，针对每个像素基于偏振图像来计算图像特征量。图3是用于描述图像特征量的计算的图。图3的(A)和(B)示出了偏振图像中的图像特征量的特征量计算目标像素(在下文中简称为“目标像素”)在偏振方向上的角度与亮度之间的关系。图3的(B)示出了照明光比图3的(A)的照明光更亮的情况。此外，图3示出了偏振图像获取单元11获取其中偏振方向的角度(在下文中称为“偏振角”)为0度、45度、90度和135度的偏振图像的情况。此外，当目标像素中的偏振角为0度时，亮度为I0°和I’0°；当偏振角为45度时，亮度为I45°和I’45°；当偏振角为90度时，亮度为I90°和I’90°；当偏振角为135度时，亮度为I135°和I’135°。因此，偏振图像的亮度根据照明等而变化。因此，特征量计算单元15对亮度进行归一化，使得即使亮度不同特征仍然相同。特征量计算单元15计算偏振角的亮度的平均值并且通过将每个偏振角的亮度除以所计算的平均亮度来计算归一化亮度。此外，图3的(C)示出了归一化亮度，并且归一化基准水平对应于平均亮度。
特征量计算单元15将每个偏振角的归一化亮度指定为图像特征量。此外，公式(1)示出了当获取了具有0度、45度、90度或135度的偏振角的偏振图像时图像特征量的示例。
[数学式1]
如上所述计算的图像特征量被指定为表示与目标像素对应的对象位置的表面形状的信息。
在此，将使用图4来描述对象表面形状和偏振图像。例如，如图4所示，使用光源LT执行对象OB的照明，并且成像单元CM经由偏振片PL对对象OB进行成像。在这种情况下，所捕获的图像中的对象OB的亮度根据偏振片PL的旋转而变化。此外，当旋转偏振片PL时，将最高亮度指定为Imax，将最低亮度指定为Imin。此外，当在偏振片PL的平面上设置二维坐标系中的x轴和y轴时，将当旋转偏振片PL时y轴方向到x轴的角度指定为偏振角υ。当偏振片PL被旋转180度并且具有180度的周期时，偏振片PL返回至原始偏振状态。此外，将当观察最大亮度Imax时的偏振角υ指定为方位角φ。当执行这样的限定时，可以如公式(2)中那样来表示当旋转偏振片PL时所观察到的亮度I。此外，图5示出了亮度与偏振角之间的关系。此外，该示例示出了漫反射的模型，并且与镜面反射情况下的偏振角相比，方位角改变了90度。
[数学式2]
在公式(2)中，当生成偏振图像并且最大亮度Imax、最小亮度Imin和方位角φ变成变量时，偏振角υ变得清楚。因此，可以通过使用三个或更多个偏振方向的偏振图像的亮度对公式(2)中所示的函数执行拟合来确定方位角φ，该方位角φ是基于表示亮度与偏振角之间的关系的函数提供的最大亮度处的偏振角。
此外，物理对象表面法线通过极坐标系统来表示，并且法向信息被指定为方位角φ和天顶角θ。此外，如上所述，天顶角θ是从z轴朝向法线的角度，并且方位角φ是y轴方向到x轴方向的角度。在此，如果当偏振片PL旋转时获得最小亮度Imin和最大亮度Imax，那么可以基于公式(3)来计算偏振度ρ。
[数学式3]
根据漫反射情况下的菲涅尔(Fresnel)公式，可以看出偏振度ρ与天顶角θ之间的关系具有例如图6中所示的特性。因此，可以根据图6中所示的特性基于偏振度ρ来确定天顶角θ。此外，图6中所示的特性是说明性的并且这些特性取决于对象的折射率等而变化。例如，偏振度随着折射率增大而增大。
如上所述，根据以下事实：亮度的幅度具有天顶角的特性并且表示亮度与偏振角之间的关系的函数的相位具有方位角的特性，目标像素的图像特征量是表示与目标像素对应的对象位置的表面形状的信息。
如上所述，特征量计算单元15对三个或更多个偏振方向的偏振图像的亮度进行归一化，并且将每个偏振方向的偏振图像中的归一化亮度指定为图像特征量。
此外，在图像特征量的计算中，优选的是，偏振角υ在“0度≤υ≤180度”的范围内，并且使用偏振角之间的差相同的所有偏振图像。例如，可以使用具有“0度、60度和120度”的偏振角υ的偏振图像，或者可以使用具有“0度、30度、60度、90度、120度和150度”等的偏振角υ的偏振图像。此外，当包括偏振角之间的差不同的偏振图像时，优选的是，通过选择性地利用满足公式(4)的偏振角υ处的偏振图像来计算图像特征量。例如，当偏振图像的偏振角υ为“0度、60度、120度和150度”时，使用具有“0度、60度和120度”的偏振角υ的偏振图像执行归一化。如上所述，可以使用偏振角之间的差相同的偏振图像来精确度较高地执行归一化。
[数学式4]
∑cos(2υ-2φ)＝o (4)
图7是示出了图像特征量计算装置的操作的流程图。在步骤ST1中，图像特征量计算装置10获取偏振图像。图像特征量计算装置10生成三个或更多个偏振方向的偏振图像，并且操作进行至步骤ST2。
在步骤ST2中，图像特征量计算装置10计算图像特征量。图像特征量计算装置10对三个或更多个偏振方向的偏振图像的亮度进行归一化。此外，图像特征量计算装置10将每个偏振图像的归一化亮度指定为要用于每个像素的图像特征量。
如上所述，图像特征量计算装置获取三个或更多个偏振方向的偏振图像，并且基于所获取的偏振图像来计算图像特征量。如上所述，根据偏振图像具有根据偏振方向和对象的表面形状而变化的亮度的事实，可以通过基于偏振图像计算图像特征量来计算根据对象的表面形状的图像特征量。此外，根据图像特征量是与法向方向有关的信息但不是表示法向方向的计算结果的信息的事实，不必考虑180度的不确定性。此外，根据图像特征量是根据对象表面形状的特征量的事实，图像特征量不像基于单一三原色图像或亮度图像的梯度信息的特征量一样易受光源影响。
此外，图像特征量计算装置可以对偏振图像的亮度进行归一化并且使用归一化亮度来计算对照明光的亮度的差异等鲁棒的图像特征量。此外，根据使用归一化亮度的事实，不必与在法向信息的生成中一样执行对公式(2)中所示的函数进行拟合等的处理，并且可以容易地计算图像特征量。此外，即使对象具有扁平形状，也可以计算图像特征量。
[1-3.图像特征量计算装置的其他操作]
接下来，例如，将使用空间方向的信息的情况的操作以及反射分量或折射率清楚的情况的操作描述为图像特征量计算装置的其他操作。
图8是用于描述当使用空间方向的信息时特征量计算单元的操作的图。如上所述，特征量计算单元15使用偏振图像的归一化亮度计算每个像素位置的图像特征量。此后，特征量计算单元15使用位于目标像素附近的像素的图像特征量来将所使用的图像特征量指定为目标像素的图像特征量。此外，图8的(A)示出了使用与目标像素相邻的八个像素的图像特征量的情况，并且图8的(B)示出了使用目标像素周围的圆周位置处由斜线表示的像素的图像特征量的情况。
如图8的(A)中所示，当目标像素由P5表示并且相邻像素由P1至P4以及P6至P9表示时，目标像素的图像特征量是如公式(5)中所示的36(＝9×4)维特征量。
[数学式5]
如图8的(B)中所示，当目标像素是由网状线表示的像素时，使用目标像素周围的圆周位置处由斜线表示的像素的图像特征量。在此，根据由斜线表示的外围像素的数量是16的事实，当偏振方向的数量是4时，目标像素的图像特征量变为64(＝16×4)维特征量。此外，目标像素的图像特征量可以是使用由斜线表示的像素的图像特征量以及由网状线表示的目标像素的图像特征量的68(＝17×4)维特征量。
因此，如果基于目标像素使用空间方向的像素的图像特征量，可以考虑目标像素周围的形状来计算图像特征量。
接下来，将描述反射分量清楚的情况。反射分量包括漫反射分量和镜面反射分量，并且在漫反射与镜面反射之间方位角具有90度的相位差。因此，当反射分量清楚时，特征量计算单元15考虑反射分量来计算图像特征量。
反射分量清楚的情况包括漫反射分量与镜面反射分量之间的比率不清楚但哪个分量占优势是清楚的情况以及漫反射分量与镜面反射分量之间的比率清楚的情况。
当漫反射分量与镜面反射分量之间的比率不清楚但哪个分量占优势清楚时，特征量计算单元15将在偏振图像中的漫反射分量占优势的区域以及镜面反射分量占优势的区域中发生90度的相位差的图像特征量指定为图像特征量。例如，偏振图像获取单元11获取偏振角为0度、45度、90度和135度的四个方向的偏振图像。在这种情况下，特征量计算单元15使用公式(6)中所示的漫反射分量占优势的区域中的图像特征量并且使用公式(7)中所示的在镜面反射分量占优势的区域中发生90度的相位差的图像特征量。
[数学式6]
当漫反射分量与镜面反射分量之间的比率清楚时，特征量计算单元15考虑该比率来计算图像特征量。例如，当漫反射分量与镜面反射分量之间的比率为“d:s”时，特征量计算单元15通过将偏振图像的亮度乘以d(或者“d/(d+s)”)来获得漫反射光的分量的图像特征量。此外，特征量计算单元15通过将偏振图像的亮度乘以s(或者“s/(d+s)”)来获得镜面反射光的分量的图像特征量。此外，特征量计算单元15使用每个分量的特征量将公式(8)中所示的8维特征量指定为图像特征量。
因此，因为可以考虑反射分量来计算图像特征量，所以特征量计算单元15可以根据对象的反射分量之间的差异来计算图像特征量。
[数学式7]
接下来，将描述对象的折射率清楚的情况。根据偏振度ρ与天顶角θ之间的关系，例如，当天顶角与上述图6中所示相同时，偏振度随着折射率减小而减小。此外，当归一化基准水平(平均亮度)相同时，在偏振度ρ的计算中使用的公式(3)的分母相同。因此，随着折射率减小，亮度变化的幅度(对应于公式(3)的分子)减小。因此，当折射率清楚时，根据折射率来计算图像特征量。图9示出了根据折射率来计算图像特征量的情况。特征量计算单元15例如基于归一化亮度水平将每个偏振图像的亮度设置成乘以(1/折射率比率)的值。此外，折射率比率表示对象的折射率与预设的预定折射率的比率，并且当对象的折射率小于预定折射率时幅度增大。因此，如图9所示，将亮度从黑色圆形的水平调整至正方形的水平，并且经调整的亮度被用作图像特征量。此外，图9示出了偏振图像的偏振角为0度、45度、90度和135度的情况。
图像特征量计算装置10可以通过如上所述的基于折射率计算图像特征量来根据对象的折射率的差计算图像特征量。例如，即使对象的表面形状相同，当对象的材料不同并且折射率不同时，也可以计算不同值的图像特征量。
<2.图像特征量计算装置的其他配置和操作>
图像特征量的计算不限于根据偏振图像来计算图像特征量的情况，而是还可以使用以另一种特征量计算技术来计算的特征量。接下来，将描述当使用以其他特征量计算技术来计算的特征量，例如，根据非偏振图像计算的特征量时图像特征量计算装置的配置和操作。
[2-1.图像特征量计算装置的其他配置]
图10示出了图像特征量计算装置的其他配置。图像特征量计算装置20包括偏振图像获取单元21、非偏振图像特征量计算单元23和特征量计算单元25。
偏振图像获取单元21获取三个或更多个偏振方向的偏振图像。偏振图像获取单元21例如可以是具有被配置成生成三个或更多个偏振方向的偏振图像的成像单元的部件或者被配置成从外部装置、记录介质等获取三个或更多个偏振方向的偏振图像的部件。
非偏振图像特征量计算单元23根据由偏振图像获取单元21获取的偏振图像生成非偏振图像并且基于该非偏振图像来计算特征量。
特征量计算单元25使用由偏振图像获取单元21获取的偏振图像以及由非偏振图像特征量计算单元23计算的特征量来计算图像特征量。
[2-2.图像特征量计算装置的其他配置的操作]
非偏振图像特征量计算单元23根据三个或更多个偏振方向的偏振图像来生成非偏振亮度图像。例如，非偏振图像特征量计算单元23通过针对每个像素对三个或更多个偏振方向的偏振图像的亮度求平均来生成非偏振亮度图像。接下来，非偏振图像特征量计算单元23执行以下处理：使用所生成的亮度图像例如基于亮度的梯度信息来计算特征量。非偏振图像特征量计算单元23执行特征量计算处理如尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、来自加速分段测试的特征(FAST)、海森(Hessian)或者作为基于梯度信息的特征量计算技术或者计算二进制代码的特征量的哈里斯(Harris)。非偏振图像特征量计算单元23将在特征量计算处理中获得的信息或者所计算的特征量输出至特征量计算单元25。
特征量计算单元25使用偏振图像和信息或者由非偏振图像特征量计算单元23提供的特征量来计算图像特征量。
图11是用于描述当非偏振图像特征量计算单元计算SIFT特征量时特征量计算单元的操作的图。如图11的(A)中所示，非偏振图像特征量计算单元23通过对描述区域ARk执行归一化(方向的归一化)来计算特征量，描述区域ARk是针对从非偏振图像检测到的关键点KP的朝着取向Rk的方向的关键点KP的外围区域。因此，非偏振图像特征量计算单元23可以计算对旋转鲁棒的SIFT特征量。此外，取向Rk的方向是基于根据从其检测到关键点P的平滑图像计算的梯度强度以及通过生成梯度方向的直方图所获得的梯度方向直方图确定的方向。特征量计算单元25基于梯度强度和梯度方向，即，表示取向Rk的方向的信息从非偏振图像特征量计算单元23获取信息，并且通过如图11的(B)中所示的插值等来创建与取向的方向对应的角度的亮度。例如，当取向的方向是Hkp时，“Hkp”的亮度I1、“Hkp+45度”的亮度I2、“Hkp+90度”的亮度I3和“Hkp+135度”的亮度I4被计算并且被指定为方向被归一化的图像特征量。因此，特征量计算单元25可以使用表示取向Rk的方向的信息来计算对旋转鲁棒的图像特征量。
此外，特征量计算单元25可以使用SIFT特征量来增加图像特征量的维度。例如，特征量计算单元25将描述区域ARk划分成多个块，针对朝着取向Rk的方向归一化的描述区域ARk中的每个块的多个预定方向中的每一个来计算梯度强度，并且将该梯度强度添加至图像特征量。
图12是用于描述在图像特征量中包括SIFT特征量的情况的图。如图12的(A)中所示，特征量计算单元25朝着取向Rk的方向对描述区域ARk进行归一化，并且如图12的(B)中所示，特征量计算单元25将例如描述区域ARk划分成4块×4块。此外，如图12的(C)中所示，特征量计算单元25在对朝着取向Rk的方向归一化的描述区域ARk进行划分之后针对每个块获得八个方向的特征向量并且将该特征向量指定为八个方向(八维)的梯度强度。当执行该处理时，“4块×4块×9维＝128维”，并且特征量计算单元25可以计算128维特征量。此外，当将该特征量添加至通过对每个偏振图像的亮度进行归一化所计算的图像特征量(4维)时，“4块×4块×(8维+4维)＝192维”以及特征量计算单元25可以计算192维图像特征量。此外，根据偏振图像的亮度的归一化可以被配置成在根据取向的方向的归一化之前或者之后被执行。
图13是用于描述当非偏振图像特征量计算单元计算SURF特征量时特征量计算单元的操作的图。如图13的(A)中所示，非偏振图像特征量计算单元23通过对描述区域ARk执行归一化(方向的归一化)来计算特征量，描述区域ARk是针对从非偏振图像检测到的关键点KP的朝着取向Rk的方向的关键点KP的外围区域。因此，非偏振图像特征量计算单元23可以计算对旋转鲁棒的SURF特征量。特征量计算单元25基于梯度强度和梯度方向，即，表示取向Rk的方向的信息从非偏振图像特征量计算单元23获得信息，并且通过如图13的(B)中所示的插值等来创建与取向的方向对应的角度的亮度。例如，当取向的方向为Hkp时，“Hkp”的亮度I1、“Hkp+45度”的亮度I2、“Hkp+90度”的亮度I3和“Hkp+135度”的亮度I4被计算并被指定为方向被归一化的图像特征量。因此，特征量计算单元25可以使用表示取向Rk的方向的信息来计算对旋转鲁棒的图像特征量。
此外，特征量计算单元25可以使用SURF特征量来增加图像特征量的维度。例如，特征量计算单元25将作为关键点的外围区域的描述区域ARk划分成多个块，针对每个块计算哈尔小波(Haar-Wavelet)响应，并且将根据响应值所计算的特征量添加至图像特征量。
图14是用于描述SURF特征量被包括在图像特征量中的情况的图。如图14的(A)中所示，特征量计算单元25朝着取向Rk的方向对描述区域ARk进行归一化，并且如图14的(B)中所示，特征量计算单元25将例如描述区域ARk划分成4块×4块。此外，特征量计算单元25针对每个划分块计算从块采样的5×5个点中的每一个的哈尔小波响应。此外，特征量计算单元25根据所计算的响应值来计算图14的(C)中所示的4维特征量。通过执行该处理，可以获得“4块×4块×4维＝64维”的特征量。当将该特征量添加至4维图像特征量时，“4块×4块×9维＝128维”，并且特征量计算单元25可以计算128维特征量。此外，根据偏振图像的亮度的归一化可以被配置成在根据取向的方向的归一化之前或之后被执行。
图15是用于描述当非偏振图像特征量计算单元计算二进制特征量时特征量计算单元的操作的图。在计算二进制特征量例如二进制鲁棒独立基本特征(BRIEF)的过程中，通过对片内随机选择的两个点的像素值进行比较来生成二进制序列。在此，片AP的二元测试τ表示公式(9)中所示的根据该片AP内的两个点(一对点x与点y)的像素值的比较结果的二进制值。此外，片AP内的二元测试的空间布置由图15中的线段来表示。因此，如果关于非偏振亮度图像执行128对的处理，则可以获得128位特征量；如果关于非偏振亮度图像执行256对的处理，则可以获得256位特征量。
[数学式8]
例如对于四维图像特征量中的每一个，特征量计算单元25基于二进制特征量的计算目标的像素来设置片，并且对片内随机选择的图像特征量对执行如公式(9)中的比较。在此，对于每维的特征量，当在片内设置128对时，可以计算(128×4)位图像特征量，并且当设置256对时，可以计算(256×4)位图像特征量。
此外，计算二进制特征量的处理可以被配置成使用另外的方法。例如，可以使用二进制鲁棒不变可缩放关键点(BRISK)来计算具有尺度不变性和旋转不变性的图像特征量。
因此，如果基于梯度信息使用特征量计算技术来计算特征量，则还可以计算高维图像特征量。此外，如果使用SIFT、SURF等来计算特征量，则可以计算对旋转鲁棒的图像特征量。
图16是示出了图像特征量计算装置的其他配置的操作的流程图。在步骤ST11中，图像特征量计算装置20获取偏振图像。图像特征量计算装置20生成三个或更多个偏振方向的偏振图像并且操作进行至步骤ST12。
在步骤ST12中，图像特征量计算装置20基于梯度信息来计算特征量。图像特征量计算装置20根据三个或更多个偏振方向的偏振图像来生成非偏振亮度图像。图像特征量计算装置20根据所生成的非偏振亮度图像基于梯度信息来计算特征量，例如，SIFT特征量或SURF特征量、二进制代码的特征量等，并且操作进行至步骤ST13。
在步骤ST13中，图像特征量计算装置20计算图像特征量。图像特征量计算装置20对三个或更多个偏振方向的偏振图像的亮度进行归一化并且将归一化亮度指定为图像特征量。图像特征量计算装置20可以将在步骤ST12中计算的特征量包括在图像特征量中。此外，图像特征量计算装置20可以基于在步骤ST12中的特征量计算中获得的信息来执行旋转方向等的归一化，并且计算对旋转或者亮度差异鲁棒的图像特征量。
因此，在图像特征量计算装置的其他配置中，可以根据以下事实来计算对旋转鲁棒的图像特征量：使用当基于非偏振图像的梯度信息计算特征量时所确定的梯度强度以及基于梯度方向的信息来计算图像特征量。此外，可以通过将基于非偏振图像的梯度信息所计算的特征量包括在基于偏振图像所计算的图像特征量中来实现高维图像特征量。此外，图像特征量通过将基于梯度信息的特征量包括在基于偏振图像的图像特征量中用作表示对象的表面形状以及对象的亮度的特征的信息。因此，例如，即使对象的表面形状与对象的亮度中的一个相似，如果其他不同，仍然可以生成不同值的图像特征量。
此外，根据计算了SIFT、SURF、FAST、海森、哈里斯等的特征量的事实，非偏振图像特征量计算单元23可以基于特征量来执行特征点检测，并且仅针对包括所检测的特征点的区域使用偏振图像来计算图像特征量。
此外，对于由偏振图像获取单元11和21获取的偏振图像，如图17的(A)中所示，可以获取白色像素的偏振图像；或者如图17的(B)中所示，可以使用滤色镜获取红外图像的偏振图像。此外，如图17的(C)中所示，可以获取三原色R、G和B的偏振图像。据此，可以同时获取三原色图像或红外图像以及偏振图像。此外，根据可以在图像特征量计算装置10和20中同时获取亮度图像和三原色图像或红外图像的事实，特征量计算单元15和25还可以通过将信息如亮度值和三原色像素值/红外像素值包括在图像特征量中来增加维度。
<3.图像处理装置的配置和操作>
接下来，将描述用于使用由图像特征量计算装置计算的图像特征量来执行各种处理的图像处理装置。图像处理装置使用由图像特征量计算装置计算的图像特征量来执行各种处理，例如识别处理、特征点检测处理、匹配处理等。接下来，将描述这些处理。
[3-1.识别处理]
图18是示出了图像处理装置执行识别处理的配置的图。图像处理装置30具有偏振图像获取单元11、特征量计算单元15以及被配置成使用图像特征量执行图像处理的图像处理单元，例如，被配置成执行识别处理的图像识别单元31。
如上所述，偏振图像获取单元11获取三个或更多个偏振方向的偏振图像并且将偏振图像输出至特征量计算单元15和图像识别单元31。此外，特征量计算单元15基于由偏振图像获取单元11获取的偏振图像来计算图像特征量。
图像识别单元31基于由偏振图像获取单元11提供的偏振图像对区域进行划分。图像识别单元31通过对三个或更多个偏振方向的偏振图像的亮度求平均来生成例如与非偏振法向亮度图像等同的图像。图像识别单元31使用所生成的非偏振亮度图像来执行纹理分析、轮廓提取等，并且将由偏振图像获取单元11获取的图像划分成对象特定区域。此外，当由偏振图像获取单元11提供的偏振图像是彩色图像时，图像识别单元31执行颜色分析等，并且基于分析结果将由偏振图像获取单元11获取的图像划分成对象特定区域。图像识别单元31将划分区域指定为识别目标区域并且使用识别目标区域内的图像特征量以及由学习装置40预先生成的教师数据针对识别目标区域执行对象识别。例如，图像识别单元31将与和识别目标区域内的图像特征量最相似的教师数据对应的对象确定为识别目标区域的对象。
学习装置40具有偏振图像获取单元41、特征量计算单元45以及被配置成使用图像特征量来生成教师数据的教师数据生成单元47。
偏振图像获取单元41获取通过对学习对象，例如面部、汽车、飞机等进行成像所获得的三个或更多个偏振方向的教师偏振图像。偏振图像获取单元41可以是例如具有被配置成生成三个或更多个偏振方向的教师偏振图像的成像单元的部件或者被配置成从外部装置、记录介质等获取三个或更多个偏振方向的教师偏振图像的部件。偏振图像获取单元41将所获取的教师偏振图像输出至特征量计算单元45和教师数据生成单元47。
特征量计算单元45基于由偏振图像获取单元41获取的教师偏振图像来计算图像特征量。
与在图像识别单元31中一样，教师数据生成单元47基于由偏振图像获取单元41提供的偏振图像对区域进行划分。教师数据生成单元47通过对不同偏振方向的教师偏振图像的亮度求平均来生成例如与非偏振法向亮度图像等同的图像。教师数据生成单元47使用所生成的非偏振亮度图像来执行纹理分析、轮廓提取等，并且将由偏振图像获取单元41获取的教师偏振图像划分成对象特定区域。此外，当由偏振图像获取单元41提供的教师偏振图像是彩色图像时，教师数据生成单元47执行颜色分析等并且基于分析结果将由偏振图像获取单元41获取的教师偏振图像划分成对象特定区域。教师数据生成单元47将划分之后的对象区域内的图像特征量指定为与对象区域对应的对象的教师数据。学习装置40可以针对每个对象预先执行该处理并且针对每个对象生成教师数据。此外，当执行识别处理时，学习装置40将预先生成的教师数据输出至图像识别单元31。因此，如果预先生成各种对象的教师数据并且与识别目标区域的图像特征量对应的教师数据清楚，那么针对其捕获识别目标区域的图像的对象是可识别的。
此外，在识别处理中，可以使用多个偏振图像以及图像特征量。例如，当添加每个相同像素位置的像素值并且使用多个偏振图像对其求平均时，可以获得与非偏振亮度图像或者三原色图像相似的图像。因此，可以使用根据多个偏振图像生成的图像特征量和非偏振图像通过执行识别处理来精确地执行识别处理。
图19是用于描述图像处理装置的操作的图。此外，图19示出了例如通过特征包执行识别的情况。在特征包中，学习装置40根据教师偏振图像计算图像特征量并且对所计算的图像特征量执行向量量化。在向量量化中使用的编码本被称为“视觉词典”并且根据教师偏振图像被预先创建。此外，学习装置40使用对其执行向量量化的图像特征量来创建向量量化直方图。将所获得的向量量化直方图指定为教师数据。图像处理装置30获取包括识别目标的对象的识别目标偏振图像，根据该识别目标偏振图像来计算图像特征量，并且使用预先创建的编码本对图像特征量执行向量量化。此外，图像处理装置30创建表示对其执行向量量化的图像特征量的每个“视觉单词”的频率的向量量化直方图。图像处理装置30识别与所获得的向量量化直方图(教师偏振图像的向量量化直方图)最相似的教师数据，并且将与所识别的教师数据对应的对象指定为识别目标偏振图像的对象。因此，在通过特征包进行的识别中，使用基于图像特征量创建的向量量化直方图来识别对象。
图20是示出了识别处理的操作的流程图。在步骤ST21中，图像处理装置30获取偏振图像。图像处理装置30生成三个或更多个偏振方向的偏振图像，并且操作进行至步骤ST22。
在步骤ST22中，图像处理装置30计算图像特征量。图像处理装置30对三个或更多个偏振方向的偏振图像的亮度进行归一化并且将归一化亮度指定为图像特征量。
在步骤ST23中，图像处理装置30执行对象识别。图像处理装置30基于在步骤ST21中获取的偏振图像将例如图像区域划分成对象特定区域。此外，图像处理装置30将所划分的区域指定为识别目标区域，并且使用识别目标区域内的图像特征量以及由学习装置预先生成的教师数据针对识别目标区域执行对象识别。
图21示出了使用基于偏振图像所计算的图像特征量进行的识别处理。例如，在识别处理中，执行物理对象识别、面部识别、手识别、人识别等。物理对象识别不限于针对各种物理对象的一般物理对象识别，并且可以执行材料的质量识别或者表面识别、金属的识别等。在面部识别中，可以执行身份认证、面部表情识别、视线方向估计等。在手识别中，可以执行手指形状检测、指向方向估计等。此外，在人识别中，可以执行整个身体的体形的认证、姿势识别等。
图像处理装置30被配置成通过执行上述处理来精确地执行识别处理。例如，当使用基于梯度信息的特征量时，在梯度信息相似时，真实的面部或者照片中所示的面部的识别是困难的。然而，可以根据使用三个或更多个偏振方向的偏振图像所计算的图像特征量是根据对象的表面形状的特征量的事实来正确地识别真实的面部和照片中所示的面部。因此，可以将本技术应用为安全识别技术。
此外，如上所述，图像处理装置30和学习装置40可以通过提供被配置成基于非偏振图像的梯度信息计算特征量的非偏振图像特征量计算单元来计算图像特征量。
[3-2.特征点检测]
图22示出了当图像处理装置检测特征点时的配置。图像处理装置50具有偏振图像获取单元11、特征量计算单元15以及被配置成使用图像特征量执行图像处理的图像处理单元，例如，被配置成执行特征点检测的特征点检测单元51。
如上所述，偏振图像获取单元11获取三个或更多个偏振方向的偏振图像。此外，特征量计算单元15基于由偏振图像获取单元11获取的偏振图像来计算图像特征量。
特征点检测单元51基于由偏振图像获取单元11提供的偏振图像对区域进行划分。与在上述图像识别单元31中一样，特征点检测单元51将由偏振图像获取单元11获取的图像划分成对象特定区域。此外，特征点检测单元51通过将所划分的区域用作特征点检测目标区域基于特征点检测目标区域中的处理目标像素的图像特征量与位于处理目标像素附近的外围像素的图像特征量之间的差异来确定处理目标像素是否为特征点。
图23是用于描述特征点检测单元的操作的图。特征点检测单元51示出了使用处理目标像素Pt周围的八个相邻像素的图像特征量来确定处理目标像素Pt是否为特征点的情况。在此，如图23的(A)中所示，处理目标像素Pt＝P5，并且外围像素由P1至P4以及P6至P9表示。此外，特征量计算单元15被配置成基于偏振角υ为0度、45度、90度和135度的亮度来计算图像特征量。例如，将像素P1的图像特征量指定为[F1 0°，F1 45°，F1 90°，F1 135°]，…，并且将像素P9的图像特征量指定为[F9 0°，F9 45°，F9 90°，F9 135°]。
特征点检测单元51计算公式(10)并且计算确定值S。在此，当确定值S大于预设阈值时，将确定值S的点设置为特征点。
[数学式9]
此外，如图23的(B)中所示，特征点检测单元51可以使用处理目标像素Pt周围的圆周位置处由斜线表示的像素的图像特征量。在这种情况下，通过计算处理目标像素Pt的图像特征量与由斜线表示的像素的特征量之间的差的平方和来获得确定值S。
图24是示出了特征点检测处理的操作的流程图。在步骤ST31中，图像处理装置50获取偏振图像。图像处理装置50生成三个或更多个偏振方向的偏振图像。
在步骤ST32中，图像处理装置50计算图像特征量。图像处理装置50对三个或更多个偏振方向的偏振图像的亮度进行归一化并且将归一化亮度指定为图像特征量。
在步骤ST33中，图像处理装置50检测特征点。图像处理装置50基于在步骤ST31中获取的偏振图像对例如区域进行划分并且将图像划分成对象特定区域。此外，图像处理装置50将所划分的区域指定为特征点检测目标区域，并且基于该特征点检测目标区域的图像特征量来检测特征点。
图像处理装置50被配置成通过执行上述处理基于根据偏振图像所计算的图像特征量来检测特征点。
此外，基于根据非偏振图像所计算的特征量来执行特征点检测。仅针对包括所检测到的特征点的区域使用偏振图像来计算图像特征量，并且可以基于所计算的图像特征量来执行特征点检测。因此，还可以从具有梯度信息的特征的特征点提取具有表面形状的特征的特征点。因此，便利了具有作为面部的形状如面部中的鼻尖的特征的部分的检测。因为可以基于对象的表面形状检测特征点，所以可以通过将对象被成像的情况与对象的照片被捕获的情况进行区分来检测特征点。
[3-3.特征点匹配]
图25示出了当图像处理装置执行特征点匹配时的配置。此外，在图25中，可以执行使用两个偏振图像获取单元所获取的偏振图像之间的对应点搜索。
图像处理装置60具有偏振图像获取单元11a和11b，特征量计算单元15a和15b，被配置成使用图像特征量执行图像处理的图像处理单元，例如，被配置成执行特征点检测处理的特征点检测单元51a和51b以及被配置成使用所检测到的特征点执行匹配处理的匹配处理单元61。
如上所述，偏振图像获取单元11a和11b获取三个或更多个偏振方向的偏振图像。此外，偏振图像获取单元11a获取一个偏振图像以用于匹配，并且偏振图像获取单元11b获取其他偏振图像以用于匹配。特征量计算单元15a基于由偏振图像获取单元11a获取的偏振图像来计算图像特征量。特征量计算单元15b基于由偏振图像获取单元11b获取的偏振图像来计算图像特征量。特征点检测单元51a执行与上述特征点检测单元51的处理相似的处理，并且基于由特征量计算单元15a计算的图像特征量来检测特征点。特征点检测单元51b执行与上述特征点检测单元51的处理相似的处理，并且基于由特征量计算单元15b计算的图像特征量来检测特征点。
匹配处理单元61确定由特征点检测单元51a和51b中之一检测到的特征点是否与由其他单元检测到的特征点中的任意一个匹配。图26是用于描述匹配处理单元的操作的图。使用由特征点检测单元51a检测到的特征点的图像特征量和由特征点检测单元51b检测到的特征点的图像特征量根据其他特征点来确定与匹配目标的特征点(在下文中被称为“目标特征点”)匹配的特征点。特征点检测单元51a和51b基于根据偏振角υ为0度、45度、90度和135度的亮度所计算的图像特征量来检测例如特征点。在此，将目标特征点TP0的图像特征量指定为[Fo 0°，Fo 45°，Fo 90°，Fo 135°]。将其他特征点TQj的图像特征量指定为[Fj 0°，Fj 45°，Fj 90°，Fj 135°]。此外，“j”是表示其他特征点中的第j个特征点的变量。
匹配处理单元61确定图像特征量的向量之间的距离最小的点并且将所确定的点指定为匹配点。例如，匹配处理单元61通过计算公式(11)根据其他特征点确定与目标特征点的图像特征量的差的平方和最小的特征点j，并且将所确定的特征点j指定为匹配点。
[数学式10]
图27是示出了特征点匹配处理的操作的流程图。在步骤ST41中，图像处理装置60获取第一偏振图像。图像处理装置60生成三个或更多个偏振方向的第一偏振图像。
在步骤ST42中，图像处理装置60获取第二偏振图像。图像处理装置60生成第二偏振图像以与第一偏振图像进行匹配。此外，与第一偏振图像一样，第二偏振图像是三个或更多个偏振方向的偏振图像。
在步骤ST43中，图像处理装置60计算第一图像特征量。图像处理装置60对第一偏振图像的亮度进行归一化并且将归一化亮度指定为第一图像特征量。
在步骤ST44中，图像处理装置60计算第二图像特征量。图像处理装置60对第二偏振图像的亮度进行归一化并且将归一化亮度指定为第二图像特征量。
在步骤ST45中，图像处理装置60检测第一偏振图像的特征点。图像处理装置60基于在步骤ST41中获取的偏振图像将例如图像区域划分成对象特定区域。此外，图像处理装置60将所划分的区域指定为特征点检测目标区域并且基于该特征点检测目标区域的图像特征量来检测特征点。
在步骤ST46中，图像处理装置60检测第二偏振图像的特征点。图像处理装置60基于在步骤ST42中获得的偏振图像将例如图像区域划分成对象特定区域。此外，图像处理装置60将所划分的区域指定为特征点检测目标区域并且基于该特征点检测目标区域的图像特征量来检测特征点。
在步骤ST47中，图像处理装置60执行匹配处理。图像处理装置60确定第一偏振图像和第二偏振图像中的一个偏振图像中的匹配检测区域的特征点与其他偏振图像中的任意区域的特征点是否匹配。图像处理装置60根据其他偏振图像的区域来确定图像特征量与匹配检测区域的特征点的差最小的特征点，并且将所确定的特征点指定为匹配点。
图像处理装置60可以被配置成通过执行上述处理精确地检测匹配点。使用如上所述获得的匹配点的检测结果容易执行用于计算深度信息、两个图像的拼接等的视差的计算。
此外，图像处理装置60可以基于根据非偏振图像所计算的特征量来执行特征点检测，并且可以针对所检测到的特征点使用偏振图像来计算图像特征量以使用所计算的图像特征量执行匹配。
此外，在说明书中说明的处理顺序可以通过硬件、通过软件以及通过使硬件和软件结合的配置来实现。在处理由软件来实现的情况下，可以在被包括在专用硬件中的计算机内的存储器中安装处理序列被编码的程序并且执行该程序。还可以在能够执行各种类型的处理的通用计算机中安装程序并且执行该程序。
例如，可以预先将程序记录在作为记录介质的硬盘、SSD(固态驱动器)或者ROM(只读存储器)上。可替代地，程序可以被临时或永久存储(记录)在可移除记录介质如软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能光盘)、BD(蓝光盘(注册商标))、磁盘、或者半导体存储卡中(上)。可以作为所谓的封装软件来提供这样的可移除记录介质。
另外，不仅可以将程序从可移除记录介质安装在计算机上，而且可以经由网络如LAN(局域网)或因特网从下载站点无线地或通过电线将程序递送至计算机。在这样的计算机中，以前面提到的方式递送的程序可以被接收并且被安装在记录介质如内置硬件上。
本技术不应被理解为限于本技术的上述实施方式。本技术的实施方式以例证的形式公开了本技术，并且应当清楚，在不偏离本技术的本质的情况下，本领域的技术人员可以对实施方式作出修改或替换。换言之，为了确定本技术的本质，应当考虑权利要求。
另外，还可以如下配置根据本技术的图像特征量计算装置。
(1)一种图像处理装置，包括：
偏振图像获取单元，被配置成获取偏振图像；以及
图像处理单元，被配置成使用基于由所述偏振图像获取单元获取的偏振图像所计算的图像特征量来执行图像处理。
(2)根据(1)所述的图像处理装置，其中，所述图像处理单元使用所述图像特征量来执行识别所述偏振图像中的对象的处理作为所述图像处理。
(3)根据(1)和(2)中任一项所述的图像处理装置，其中，所述图像处理单元使用所述图像特征量来执行检测所述偏振图像中的对象的特征点的处理作为所述图像处理。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，所述图像处理单元使用所述图像特征量执行与所述偏振图像中的对象的特征点的匹配处理作为所述图像处理。
(5)根据(1)至(4)中任一项所述的图像处理装置，还包括：
特征量计算单元，被配置成使用由所述偏振图像获取单元获取的偏振图像来计算图像特征量。
(6)根据(5)所述的图像处理装置，其中，所述特征量计算单元针对每个像素使用所述偏振图像的亮度来计算所述图像特征量。
(7)根据(6)所述的图像处理装置，其中，所述特征量计算单元对所述亮度进行归一化并且将针对每个偏振方向的归一化亮度指定为所述图像特征量。
(8)根据(5)至(7)中任一项所述的图像处理装置，其中，所述特征量计算单元在所述图像特征量的计算中使用位于特征量计算目标像素附近的像素的特征量。
(9)根据(5)至(8)中任一项所述的图像处理装置，其中，所述特征量计算单元基于所述偏振图像中的对象的反射特征来计算所述图像特征量。
(10)根据(9)所述的图像处理装置，其中，所述特征量计算单元基于漫反射分量与镜面反射分量之间的比率来计算所述图像特征量。
(11)根据(5)至(10)中任一项所述的图像处理装置，其中，所述特征量计算单元基于所述偏振图像中的对象的折射率来计算所述图像特征量。
(12)根据(5)至(11)中任一项所述的图像处理装置，还包括：
非偏振图像特征量计算单元，被配置成根据由所述偏振图像获取单元获取的偏振图像来生成非偏振图像并且基于所述非偏振图像来计算特征量，
其中，所述特征量计算单元使用在所述非偏振图像特征量计算单元计算所述特征量时所确定的信息来计算所述图像特征量。
(13)根据(12)所述的图像处理装置，
其中，所述非偏振图像特征量计算单元基于所述非偏振图像的梯度信息来计算所述特征量，并且
其中，所述特征量计算单元使用基于在所述非偏振图像特征量计算单元计算所述特征量时所确定的梯度强度和梯度方向的信息来计算所述图像特征量。
(14)根据(12)至(13)中任一项所述的图像处理装置，其中，所述特征量计算单元将由所述非偏振图像特征量计算单元计算的特征量包括在使用所述偏振图像计算的图像特征量中。
(15)根据(1)至(14)中任一项所述的图像处理装置，其中，所述偏振图像获取单元获取三个或更多个偏振方向的偏振图像。
工业实用性
在本技术的图像处理装置和图像处理方法中，获取偏振方向并且使用基于所获取的偏振图像计算的图像特征量来执行图像处理。因此，根据基于偏振图像计算图像特征量的事实，可以由图像特征量表示对象的表面形状的特征，并且基于对象的表面形状的图像处理被配置成使用图像特征量来执行。因此，本技术适合于用于执行与三维对象有关的图像处理的图像处理装置等。
附图标记列表
10，20 图像特征量计算装置
11，11a，11b，21，41 偏振图像获取单元
15，15a，15b，25，45 特征量计算单元
23 非偏振图像特征量计算单元
30，50，60 图像处理装置
31 图像识别单元
40 学习装置
47 教师数据生成单元
51，51a，51b 特征点检测单元
61 匹配处理单元
110 图像传感器
111 偏振滤光器
112 透镜
113 偏振片

Claims (14)

1.一种图像处理装置，包括：
偏振图像获取单元，被配置成获取偏振图像；
特征量计算单元，被配置成使用由所述偏振图像获取单元获取的偏振图像来计算图像特征量，其中，所述图像特征量表示所述偏振图像中的对象的表面形状；以及
图像处理单元，被配置成使用所述图像特征量来执行图像处理，
其中，所述特征量计算单元在所述图像特征量的计算中使用位于特征量计算目标像素附近的多个像素的特征量。
2.根据权利要求1所述的图像处理装置，其中，所述图像处理单元使用所述图像特征量来执行识别所述偏振图像中的对象的处理作为所述图像处理。
3.根据权利要求1所述的图像处理装置，其中，所述图像处理单元使用所述图像特征量来执行检测所述偏振图像中的对象的特征点的处理作为所述图像处理。
4.根据权利要求1所述的图像处理装置，其中，所述图像处理单元使用所述图像特征量来执行与所述偏振图像中的对象的特征点的匹配处理作为所述图像处理。
5.根据权利要求1所述的图像处理装置，其中，所述特征量计算单元针对每个像素使用所述偏振图像的亮度来计算所述图像特征量。
6.根据权利要求5所述的图像处理装置，其中，所述特征量计算单元对所述亮度进行归一化并且将针对每个偏振方向的归一化亮度指定为所述图像特征量。
7.根据权利要求1所述的图像处理装置，其中，所述特征量计算单元基于所述偏振图像中的对象的反射特征来计算所述图像特征量。
8.根据权利要求7所述的图像处理装置，其中，所述特征量计算单元基于漫反射分量与镜面反射分量之间的比率来计算所述图像特征量。
9.根据权利要求1所述的图像处理装置，其中，所述特征量计算单元基于所述偏振图像中的对象的折射率来计算所述图像特征量。
10.根据权利要求1所述的图像处理装置，还包括：
非偏振图像特征量计算单元，被配置成根据由所述偏振图像获取单元获取的偏振图像来生成非偏振图像并且基于所述非偏振图像来计算特征量，
其中，所述特征量计算单元使用在所述非偏振图像特征量计算单元计算所述特征量时所确定的信息来计算所述图像特征量。
11.根据权利要求10所述的图像处理装置，
其中，所述非偏振图像特征量计算单元基于所述非偏振图像的梯度信息来计算所述特征量，并且
其中，所述特征量计算单元使用基于在所述非偏振图像特征量计算单元计算所述特征量时所确定的梯度强度和梯度方向的信息来计算所述图像特征量。
12.根据权利要求10所述的图像处理装置，其中，所述特征量计算单元将由所述非偏振图像特征量计算单元计算的特征量包括在使用所述偏振图像计算的图像特征量中。
13.根据权利要求1所述的图像处理装置，其中，所述偏振图像获取单元获取三个或更多个偏振方向的偏振图像。
14.一种图像处理方法，包括以下步骤：
由偏振图像获取单元获取偏振图像；
由特征量计算单元使用由所述偏振图像获取单元获取的偏振图像来计算图像特征量，其中，所述图像特征量表示所述偏振图像中的对象的表面形状；以及
由图像处理单元使用由所述特征量计算单元计算的图像特征量来执行图像处理，
其中，所述特征量计算单元在所述图像特征量的计算中使用位于特征量计算目标像素附近的多个像素的特征量。
CN201480067376.2A 2013-12-16 2014-11-17 图像处理装置以及图像处理方法 Active CN105814607B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-259076 2013-12-16
JP2013259076A JP2015115041A (ja) 2013-12-16 2013-12-16 画像処理装置と画像処理方法
PCT/JP2014/080324 WO2015093206A1 (ja) 2013-12-16 2014-11-17 画像処理装置と画像処理方法

Publications (2)

Publication Number Publication Date
CN105814607A CN105814607A (zh) 2016-07-27
CN105814607B true CN105814607B (zh) 2019-09-24

Family

ID=53402561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480067376.2A Active CN105814607B (zh) 2013-12-16 2014-11-17 图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US10366303B2 (zh)
EP (1) EP3086282B1 (zh)
JP (1) JP2015115041A (zh)
CN (1) CN105814607B (zh)
WO (1) WO2015093206A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152984A2 (en) * 2014-01-22 2015-10-08 Polaris Sensor Technologies, Inc. Polarization imaging for facial recognition enhancement system and method
WO2016174915A1 (ja) * 2015-04-30 2016-11-03 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
WO2017002475A1 (ja) * 2015-06-30 2017-01-05 日本電気株式会社 個体識別子抽出装置
WO2017013913A1 (ja) * 2015-07-17 2017-01-26 ソニー株式会社 視線検出装置、アイウェア端末、視線検出方法及びプログラム
JP6894672B2 (ja) * 2016-05-18 2021-06-30 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6682350B2 (ja) 2016-05-18 2020-04-15 キヤノン株式会社 情報処理装置、制御装置、情報処理方法、制御方法、並びにプログラム
JP6615723B2 (ja) 2016-09-07 2019-12-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および対象物認識方法
JP6697986B2 (ja) 2016-09-07 2020-05-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像領域分割方法
JP6662745B2 (ja) 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法
US10466036B2 (en) * 2016-10-07 2019-11-05 Arizona Board Of Regents On Behalf Of The University Of Arizona Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
JP6965891B2 (ja) * 2016-11-07 2021-11-10 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
US11023771B2 (en) 2017-02-09 2021-06-01 Sony Corporation Information processing apparatus, information processing method, and recording medium
JP7024737B2 (ja) * 2017-02-15 2022-02-24 ソニーグループ株式会社 情報処理装置と情報処理方法とプログラムおよび撮像装置
JP6799154B2 (ja) * 2017-06-29 2020-12-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および材質特定方法
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法
WO2019021569A1 (ja) * 2017-07-26 2019-01-31 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20200211275A1 (en) * 2017-08-30 2020-07-02 Sony Corporation Information processing device, information processing method, and recording medium
CN109670389B (zh) * 2017-10-16 2023-04-07 富士通株式会社 评价人脸图像中的光照条件的方法和设备
WO2019089049A1 (en) * 2017-11-06 2019-05-09 Google Llc Systems and methods for improved feature extraction using polarization information
CN111356895A (zh) * 2017-11-24 2020-06-30 索尼公司 检测装置以及生产电子装置的方法
WO2019123625A1 (ja) * 2017-12-22 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および表面粗さ取得方法
WO2019215821A1 (ja) 2018-05-08 2019-11-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
WO2019215820A1 (ja) * 2018-05-08 2019-11-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
US20210211619A1 (en) * 2018-06-05 2021-07-08 Sony Corporation Information generation device, information generation method and program
WO2020049816A1 (ja) * 2018-09-03 2020-03-12 ソニー株式会社 情報処理装置と情報処理方法およびプログラム
US20210178265A1 (en) * 2018-09-04 2021-06-17 Sony Interactive Entertainment Inc. Information processing apparatus and play field deviation detecting method
CN112655219B (zh) * 2018-09-12 2024-05-10 索尼公司 图像处理装置、图像处理方法和记录介质
CN110633662B (zh) * 2019-09-03 2022-03-25 云南白药集团健康产品有限公司 一种图像处理方法、装置及系统
CN115769594A (zh) * 2020-06-29 2023-03-07 索尼集团公司 图像处理装置、图像处理方法和程序
JP7424272B2 (ja) * 2020-11-04 2024-01-30 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
CN114937067B (zh) * 2022-06-14 2023-01-31 陕西师范大学 分孔径偏振相机的图像配准方法
WO2024079903A1 (ja) * 2022-10-14 2024-04-18 日本電気株式会社 重要度判定システム、重要度判定装置、および重要度判定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2427975A (en) * 2005-06-30 2007-01-10 James Plant Real-time polarization difference imaging
EP2072947A1 (en) * 2007-08-07 2009-06-24 Panasonic Corporation Image processing device and image processing method
CN101558282A (zh) * 2007-02-13 2009-10-14 松下电器产业株式会社 图像处理系统、方法、装置、以及图像格式
CN102782720A (zh) * 2009-12-25 2012-11-14 株式会社理光 对象识别装置、移动主体控制装置及信息提供装置
CN103080978A (zh) * 2010-07-01 2013-05-01 株式会社理光 对象识别装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000002651A (ja) 1998-06-17 2000-01-07 Hitachi Plant Eng & Constr Co Ltd プラスチックの識別方法及び装置
WO2007110927A1 (ja) * 2006-03-28 2007-10-04 Fujitsu Limited 半導体メモリ
EP3396416A1 (en) 2008-11-25 2018-10-31 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging
JP5696927B2 (ja) 2009-12-25 2015-04-08 株式会社リコー 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
JP5664152B2 (ja) 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
JP2013030889A (ja) 2011-07-27 2013-02-07 Dainippon Printing Co Ltd 個体識別装置、個体識別対象物、個体識別方法、及びプログラム
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
US10395113B2 (en) * 2014-01-22 2019-08-27 Polaris Sensor Technologies, Inc. Polarization-based detection and mapping method and system
US10540571B2 (en) * 2016-12-22 2020-01-21 Advanced Optical Technologies, Inc. Polarimeter with multiple independent tunable channels and method for material and object classification and recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2427975A (en) * 2005-06-30 2007-01-10 James Plant Real-time polarization difference imaging
CN101558282A (zh) * 2007-02-13 2009-10-14 松下电器产业株式会社 图像处理系统、方法、装置、以及图像格式
EP2072947A1 (en) * 2007-08-07 2009-06-24 Panasonic Corporation Image processing device and image processing method
CN102782720A (zh) * 2009-12-25 2012-11-14 株式会社理光 对象识别装置、移动主体控制装置及信息提供装置
CN103080978A (zh) * 2010-07-01 2013-05-01 株式会社理光 对象识别装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于偏振测量的雾天图像场景分割;方帅 等;《光子学报》;20111215;第40卷(第12期);摘要、正文第2.4小节 *

Also Published As

Publication number Publication date
EP3086282B1 (en) 2022-09-07
WO2015093206A1 (ja) 2015-06-25
US10366303B2 (en) 2019-07-30
CN105814607A (zh) 2016-07-27
US20160267348A1 (en) 2016-09-15
EP3086282A4 (en) 2017-07-19
JP2015115041A (ja) 2015-06-22
EP3086282A1 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
CN105814607B (zh) 图像处理装置以及图像处理方法
Matern et al. Gradient-based illumination description for image forgery detection
Riess et al. Scene illumination as an indicator of image manipulation
Hui et al. Reflectance capture using univariate sampling of brdfs
Elder et al. Local scale control for edge detection and blur estimation
Suo et al. Fast and high quality highlight removal from a single image
Artusi et al. A survey of specularity removal methods
Su et al. Material classification using raw time-of-flight measurements
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
Kang et al. Learning efficient illumination multiplexing for joint capture of reflectance and shape.
Lopez‐Moreno et al. Multiple light source estimation in a single image
CN107085728B (zh) 利用视觉系统对图像中的探针进行有效评分的方法及系统
CN108550165A (zh) 一种基于局部不变特征的图像匹配方法
Oxholm et al. The scale of geometric texture
Libert et al. Guidance for evaluating contactless fingerprint acquisition devices
Hu et al. Effective composite image detection method based on feature inconsistency of image components
Yi et al. Illumination normalization of face image based on illuminant direction estimation and improved retinex
CN116977341B (zh) 一种尺寸测量方法及相关装置
Zhong et al. Water reflection recognition based on motion blur invariant moments in curvelet space
Ma et al. Intrinsic image decomposition: A comprehensive review
Shimokawa et al. Computational model for human 3D shape perception from a single specular image
Anggara et al. Integrated Colormap and ORB detector method for feature extraction approach in augmented reality
Almaddah et al. Face relighting using discriminative 2D spherical spaces for face recognition
Song et al. Human eye location algorithm based on multi-scale self-quotient image and morphological filtering for multimedia big data
Vidyadharan et al. Detecting spliced face in a group photo using PCA

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant