CN111465818A - 图像处理设备、图像处理方法、程序和信息处理系统 - Google Patents

图像处理设备、图像处理方法、程序和信息处理系统 Download PDF

Info

Publication number
CN111465818A
CN111465818A CN201880078938.1A CN201880078938A CN111465818A CN 111465818 A CN111465818 A CN 111465818A CN 201880078938 A CN201880078938 A CN 201880078938A CN 111465818 A CN111465818 A CN 111465818A
Authority
CN
China
Prior art keywords
parallax
cost
pixel
image
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880078938.1A
Other languages
English (en)
Other versions
CN111465818B (zh
Inventor
海津俊
平泽康孝
栗田哲平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111465818A publication Critical patent/CN111465818A/zh
Application granted granted Critical
Publication of CN111465818B publication Critical patent/CN111465818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

视差检测单元36的局部匹配处理单元361生成成本量，该成本量针对每个像素和每个视差表示与使用具有不同视点位置的图像捕获单元21、22获取的图像之间的相似度对应的成本。成本量处理单元363基于由图像捕获单元21获取的偏振图像，使用每个像素的由法线信息生成单元31生成的法线信息来对成本量执行成本调整处理。最小值搜索处理单元365使用视差检测目标像素中的每个视差的成本，以从成本调整处理之后的成本量中检测具有最高相似度的视差。深度计算单元37基于由视差检测单元36针对每个像素检测到的视差来生成表示每个像素的深度的深度信息。以这种方式，主体的形状或成像条件不容易造成影响，并且因此，可以以高的准确度来检测视差。

Description

图像处理设备、图像处理方法、程序和信息处理系统
技术领域
本技术涉及图像处理设备、图像处理方法、程序和信息处理系统，并且使得能够高精度地检测视差。
背景技术
常规地，已经通过使用偏振信息来获取深度信息。例如，专利文献1中公开的图像处理设备通过使用深度信息(深度图)来执行对从多个视点获得的偏振图像的定位，该深度信息指示通过立体匹配处理生成的到对象的距离，在该立体匹配处理中使用了捕获的多视点图像。此外，图像处理设备基于通过使用定位的偏振图像检测到的偏振信息来生成法线信息(法线图)。此外，图像处理设备通过使用生成的法线信息来提高深度信息的精度。
此外，非专利文献1描述了通过使用基于偏振信息获得的法线信息和由ToF(飞行时间)传感器获得的深度信息来高精度地生成深度信息。
引用列表
专利文献
专利文献1
PCT专利公布第WO2016/088483号
非专利文献
非专利文献1
Achuta Kadamb等人的“Polarized 3D:High-Quality Depth Sensing withPolarization Cues”.ICCV(2015)。
发明内容
技术问题
顺便提及，专利文献1中公开的图像处理设备基于通过立体匹配处理检测到的视差来生成深度信息，在该立体匹配处理中，使用了捕获的多视点图像。因此，通过立体匹配处理难以精确地检测平坦部分中的视差，从而存在无法高精度地获得深度信息的可能性。在如非专利文献1中使用ToF传感器的情况下，在没有投影光到达的条件下或在返回光很难被检测到的条件下无法获得深度信息。此外，因为需要投影光，因此功耗会变大。
因此，本技术的目的是提供图像处理设备、图像处理方法、程序和信息处理系统，其使得在几乎不受对象形状、图像捕获条件等的影响的情况下能够精确地检测视差。
问题的解决方案
本技术的第一方面是一种图像处理设备，该图像处理设备包括：
视差检测部，该视差检测部通过使用基于偏振图像的各个像素中的法线信息来对成本量执行成本调整处理，该成本量针对每个像素和每个视差指示与包括偏振图像的多视点图像之间的相似度对应的成本，并且该视差检测部通过使用视差检测目标像素的基于视差的成本，从经历了成本调整处理的成本量中检测相似度最大处的视差。
在该技术中，视差检测部通过使用基于偏振图像的各个像素中的法线信息对成本量执行成本调整处理，该成本量针对每个像素和每个视差指示与包括偏振图像的多视点图像之间的相似度对应的成本。在成本调整处理中，基于使用视差检测目标像素中的法线信息针对以视差检测目标像素为基准的周围区域中的像素计算的成本来执行视差检测目标像素的成本调整。此外，在成本调整中，可以对针对周围区域中的像素计算的成本执行以下操作中至少之一：根据视差检测目标像素中的法线信息与周围区域中的像素中的法线信息之间的法线差进行加权；根据视差检测目标像素与周围区域中的像素之间的距离进行加权；或根据视差检测目标像素的亮度值与周围区域中的像素的亮度值之间的差进行加权。
视差检测部基于法线信息针对在其之间生成不确定性的法线方向中的每一个法线方向执行成本调整处理，并且通过使用经历了针对法线方向中的每一个法线方向执行的成本调整处理的成本量来检测相似度最大处的视差。此外，成本量是将每个视差用作指定像素单位来生成的，并且基于以相似度最大处的指定像素单位的视差为基础的指定视差范围内的成本，视差检测部以高于指定像素单位的分辨率来检测相似度最大处的视差。此外，深度信息生成部被设置成基于由视差检测部检测到的视差来生成深度信息。
本技术的第二方面是一种图像处理方法，该图像处理方法包括：
通过使用基于偏振图像的各个像素中的法线信息来对成本量执行成本调整处理，该成本量针对每个像素和每个视差指示与包括偏振图像的多视点图像之间的相似度对应的成本；以及通过使用视差检测目标像素的基于视差的成本，从经历了成本调整处理的成本量中检测相似度最大处的视差。
本技术的第三方面是一种用于使计算机处理包括偏振图像的多视点图像的程序，该程序用于使计算机执行：
通过使用基于偏振图像的各个像素中的法线信息，对成本量执行成本调整处理的过程，该成本量针对每个像素和每个视差指示与包括偏振图像的多视点图像之间的相似度对应的成本；以及
通过使用视差检测目标像素的基于视差的成本，从经历了成本调整处理的成本量中检测相似度最大处的视差的过程。
要注意的是，根据本技术的程序可以由诸如光盘、磁盘或半导体存储器的记录介质或诸如网络的通信介质来提供，以用于将各种程序代码以计算机可读格式提供给能够执行各种程序代码的通用计算机。作为以计算机可读格式提供这样的程序的结果，可以在计算机中执行与该程序对应的处理。
本技术的第四方面是一种信息处理系统，该信息处理系统包括：
成像部，其获取包括偏振图像的多视点图像；
视差检测部，该视差检测部通过使用基于偏振图像的各个像素中的法线信息来对成本量执行成本调整处理，该成本量针对每个像素和每个视差指示与包括偏振图像的多视点图像之间的相似度对应的成本，并且该视差检测部通过使用视差检测目标像素的基于视差的成本，从经历了成本调整处理的成本量中检测相似度最大处的视差；以及
深度信息生成部，其基于由视差检测部检测到的视差来生成深度信息。
本发明的有益效果
根据该预设技术，针对每个像素和每个视差，通过使用针对每个像素获得的以及基于偏振图像的法线信息，对成本量执行成本调整处理，该成本量指示与包括偏振图像的多视点图像之间的相似度对应的成本，使得从经历了成本调整处理的成本量中，通过使用视差检测目标像素的基于视差的成本来检测相似度最大处的视差。因此，几乎可以在不受对象形状、图像捕获条件等的影响的情况下精确地检测视差。要注意的是，本文描述的效果仅是实例，因此不是限制性的。还可以提供附加效果。
附图说明
[图1]图1是示出根据本技术的信息处理系统的第一实施方式的配置的图。
[图2]图2示出了成像部21的配置。
[图3]图3是用于说明法线信息生成部31的操作的图。
[图4]图4是示出亮度与偏振角之间的关系的图。
[图5]图5是示出深度信息生成部35的配置的图。
[图6]图6是用于说明局部匹配处理部361的操作的图。
[图7]图7是用于说明由局部匹配处理部361生成的成本量的图。
[图8]图8是示出成本量处理部363的配置的图。
[图9]图9是用于说明计算周围像素中的视差的操作的图。
[图10]图10是用于说明计算视差dNj处的成本Cj,dNj的操作的图。
[图11]图11是用于说明检测成本最小处的视差的操作的图。
[图12]图12是示出在法线之间具有不确定性的情况的图。
[图13]图13是示出处理目标像素的基于视差的成本的实例的图。
[图14]图14是示出成像部21和成像部22的布置的图。
[图15]图15是示出图像处理设备的操作的流程图。
[图16]图16是示出根据本技术的信息处理系统的第二实施方式的实例配置的图。
[图17]图17是示出深度信息生成部35a的实例配置的图。
[图18]图18是示出车辆控制系统的示意性配置的实例的框图。
[图19]图19是辅助说明车外信息检测部和成像部的安装位置的实例的图。
具体实施方式
在下文中，将说明用于实现本技术的实施方式。要注意的是，将根据以下顺序给出说明。
1.第一实施方式
1-1.第一实施方式的配置
1-2.每个部的操作
2.第二实施方式
2-1.第二实施方式的配置
2-2.每个部的操作
3.其他实施方式
4.应用的实例
<1.第一实施方式>
<1-1.第一实施方式的配置>
图1示出了根据本技术的信息处理系统的第一实施方式的配置。信息处理系统10通过使用成像设备20和图像处理设备30来构成。成像设备20包括多个成像部，例如成像部21和22。图像处理设备30包括法线信息生成部31和深度信息生成部35。
成像部21将通过捕获期望对象的图像而获得的偏振图像信号输出至法线信息生成部31和深度信息生成部35。此外，成像部22生成通过从与成像部21的视点不同的视点捕获期望对象的图像而获得的偏振图像信号或非偏振图像信号，并且将信号输出至深度信息生成部35。
图像处理设备30的法线信息生成部31基于从成像部21提供的偏振图像信号，生成指示每个像素的法线方向的法线信息并且将该法线信息输出至深度信息生成部35。
深度信息生成部35通过使用从不同视点获取并且从成像部21和成像部22提供的两个图像信号，针对每个像素和每个视差计算指示图像之间的相似度的成本，从而生成成本量。此外，深度信息生成部35通过使用从成像部21提供的图像信号以及由法线信息生成部31生成的法线信息，对成本量执行成本调整处理。深度信息生成部35通过使用视差检测目标像素的基于视差的成本，从经历了成本调整处理的成本量中检测相似度最大处的视差。例如，深度信息生成部35通过使用处理目标像素和以经历了成本调整处理的处理目标像素为基准的周围区域中的像素中的法线信息来针对每个像素和每个视差执行滤波处理，以便完成对成本量的成本调整处理。此外，深度信息生成部35可以基于处理目标像素与周围区域中的像素之间的法线的差、位置差和亮度差来计算权重并且通过使用计算的权重和由法线信息生成部31生成的法线信息来执行针对每个像素和每个视差的滤波处理，以便完成对成本量的成本调整处理。深度信息生成部35根据成像部21与成像部22之间的基线长度和焦距以及检测的视差来计算每个像素的深度，从而生成深度信息。
<1-2.每个部的操作>
接下来，将说明成像设备20的每个部的操作。成像部21生成三个或更多个偏振方向被使用的偏振图像信号。图2示出了成像部21的配置。例如，图2(a)示出了偏振板212被设置在包括成像光学系统(包括成像透镜等)、图像传感器等的相机块211的前面的配置。具有该配置的成像部21在旋转偏振板212的同时捕获图像，并且针对数量为三个或更多个的偏振方向中的每一个来生成图像信号(下文中被称为“偏振图像信号”)。图2(b)示出在图像传感器213的入射表面上设置用于提供偏振像素使得可以计算偏振特性的偏振器214的配置。要注意的是，针对图2(b)中的每个像素设置四个偏振方向中的任何一个。偏振像素不限于各自具有如图2(b)所示的四个偏振方向中的任何一个的那些偏振像素，并且可以针对每个偏振像素设置三个偏振方向中的任何一个。替选地，可以提供针对其中每一个设置两个不同偏振方向中的任何一个的非偏振像素和偏振像素，使得可以计算偏振特性。在成像部21具有图2(b)所示的配置的情况下，通过使用被设置相同的偏振方向的像素的插值处理或滤波处理来计算设置有不同偏振方向处的像素位置中的像素值，从而可以生成由图2(a)所示的配置针对各个偏振方向生成的图像信号。要注意的是，成像部21可以生成偏振图像信号就足够了，并且因此，成像部21不限于图2所示的配置。成像部21将偏振图像信号输出至图像处理设备30。
成像部22可以具有与成像部21的配置类似的配置，或者可以具有不使用偏振板212或不使用偏振器214的配置。成像部22将生成的图像信号(或偏振图像信号)输出至图像处理设备30。
图像处理设备30的法线信息生成部31基于偏振图像信号来获取法线。图3是用于说明法线信息生成部31的操作的图。如图3所示，例如，利用光源LT来照明对象OB，并且成像部CM通过偏振板PL捕获对象OB的图像。在这种情况下，在所捕获的图像中，对象OB的亮度取决于偏振板PL的偏振方向而变化。要注意的是，最高亮度被限定为Imax，并且最低亮度被限定为Imin。此外，在偏振板PL的平面上设置二维坐标的x轴和y轴，并且将y轴方向相对于x轴的角度限定为偏振角υ，该偏振角υ指示偏振板PL的偏振方向(透射轴的角度)。偏振板PL具有180度的循环，其中通过将偏振方向旋转180度来恢复原始的偏振状态。此外，将观察到最大亮度Imax时获得的偏振角υ限定为方位角
Figure BDA0002526218400000074
作为该限定的结果，当改变偏振板PL的偏振方向时，观察到可以由表达式(1)中所示的偏振模型表达式表达的亮度I(υ)。要注意的是，图4示出了亮度与偏振角之间的关系的实例。表达式(1)中的参数A、B、C各自表示通过偏振获得的Sin波形。此处，例如，如下设置四个偏振方向上的亮度值：将偏振角υ被设置为“υ＝0度”时的观察值限定为亮度值I0，将偏振角υ被设置为“υ＝45度”时的观察值限定为亮度值I45，将偏振角υ被设置为“υ＝90度”时的观察值限定为亮度值I90，并且将偏振角υ被设置为“υ＝135度”时的观察值限定为亮度值I135。基于表达式(2)来计算参数A，基于表达式(3)来计算参数B，并且基于表达式(4)来计算参数C。要注意的是，由于在偏振模型表达式中给出了三个参数，因此可以使用三个偏振方向上的亮度值来计算参数A、B和C，但是省略其详细说明。
[数学式.1]
I(v)＝A·sin2υ+B·cos2υ+C...(1)
Figure BDA0002526218400000071
Figure BDA0002526218400000072
Figure BDA0002526218400000073
当根据表达式(1)所示的偏振模型表达式改变坐标系时，获得表达式(5)。基于表达式(6)来计算表达式(5)中的偏振度ρ，并且基于表达式(7)来计算表达式(5)中的方位角
Figure BDA0002526218400000087
要注意的是，偏振度ρ表示偏振模型表达式的幅度，并且方位角
Figure BDA0002526218400000088
表示偏振模型表达式的相位。
[数学式.2]
I(υ)＝C·(1+ρ·cos(2(υ-φ))...(5)
Figure BDA0002526218400000081
Figure BDA0002526218400000082
此外，已知可以使用偏振度ρ和对象的折射率n基于表达式(8)来计算天顶角θ。注意，在表达式(8)中，基于表达式(9)来计算系数k0，并且基于表达式(10)来计算k1。此外，分别基于表达式(11)和(12)来计算系数k2和k3。
[数学式.3]
Figure BDA0002526218400000083
Figure BDA0002526218400000084
k1＝4ρ...(10)
k2＝1+n2...(11)
k3＝1-n2...(12)
因此，法线信息生成部31可以通过以上计算来计算方位角
Figure BDA0002526218400000089
和天顶角θ而生成法线信息N(Nx，Ny，Nz)。法线信息N中的Nx表示x轴方向分量，并且基于表达式(13)来计算。此外，Ny是y轴方向分量，并且基于表达式(14)来计算。此外，Nz表示z轴方向分量，并且基于表达式(15)来计算。
Figure BDA0002526218400000085
Figure BDA0002526218400000086
Nz＝cos(θ)...(15)
法线信息生成部31针对每个像素生成法线信息N，并且将针对每个像素生成的法线信息输出至深度信息生成部35。
图5示出了深度信息生成部35的配置实例。深度信息生成部35包括视差检测部36和深度计算部37。此外，视差检测部36包括局部匹配处理部361、成本量处理部363和最小值搜索处理部365。
局部匹配处理部361通过使用由成像部21和成像部22生成的图像信号，针对一个捕获图像中的每个像素来检测另一捕获图像中的对应点。图6是用于说明局部匹配处理部361的操作的图。图6(a)示出了由成像部21获取的左视点图像。图6(b)示出了由成像部22获取的右视点图像。成像部21和成像部22在水平方向上并排布置，使得成像部21和成像部22在垂直方向上的各个位置相互匹配。局部匹配处理部361从右视点图像检测与左视点图像中的处理目标像素对应的点。具体地，局部匹配处理部361将右视点图像中的在垂直方向上与左视点图像中的处理目标像素的像素位置相同的像素位置视为参考位置。例如，局部匹配处理部361将右视点图像中的位于与左视点图像中的处理目标像素的位置相同的位置处的像素位置视为参考位置。此外，局部匹配处理部361将搜索方向设置为相对于成像部21布置成像部22的水平方向。局部匹配处理部361计算指示处理目标像素与搜索范围内的像素之间的相似度的成本。局部匹配处理部361例如可以将通过表达式(16)所示的像素基计算的绝对差用作成本，或者可以将通过表达式(17)所示的窗基(window base)计算的绝对差的零均值和用作成本。此外，可以针对指示相似度的成本使用诸如互相关系数的另一统计量。
[数学式.4]
CAD(i，d)＝|Li-Ri+d|...(16)
Figure BDA0002526218400000091
在表达式(16)中，“Li”表示左视点图像中的处理目标像素i的亮度值，并且“d”表示距右视点图像中的参考位置的像素单位距离，并且对应于视差。“Ri+d”表示以下像素的亮度值，在该像素处生成距右视点图像中的参考位置的视差d。此外，在表达式(17)中，“x，y”表示窗口中的位置，条Li表示以处理目标像素i为基准的周围区域中的平均亮度值，并且条Ri+d表示以下述位置为基准的周围区域中的平均亮度值，在该位置处生成距参考位置的视差d。此外，在使用表达式(16)或(17)的情况下，当计算值较小时，相似度较高。
此外，非偏振图像信号从成像部22被提供给局部匹配处理部361，局部匹配处理部361基于从成像部21提供的偏振图像信号来生成非偏振图像信号并且执行局部匹配处理。例如，由于上述参数C表示非偏振光分量，因此局部匹配处理部361使用指示基于像素的参数C的信号作为非偏振图像信号。此外，由于使用偏振板和偏振器导致灵敏度的劣化，因此局部匹配处理部361可以对根据偏振图像信号生成的非偏振图像信号执行增益调整，使得可以获得与根据来自成像部22的非偏振图像信号获得的灵敏度等同的灵敏度。
局部匹配处理部361通过计算左视点图像中的每个像素和每个视差的相似度来生成成本量。图7是用于说明由局部匹配处理部361生成的成本量的图。在图7中，在相同视差下针对左视点图像中的各个像素计算的相似度由一个平面来指示。因此，针对视差搜索范围内的每个搜索移动量(视差)提供指示针对左视点图像中的各个像素计算的相似度的平面，从而形成成本量。局部匹配处理部361将生成的成本量输出至成本量处理部363。
成本量处理部363对由局部匹配处理部361生成的成本量执行成本调整处理，使得可以高精度地执行视差检测。成本量处理部363通过使用与用于成本调整处理的处理目标像素和以处理目标像素为基准的周围区域中的像素有关的法线信息，针对每个像素和每个视差执行滤波处理，来对成本量执行成本调整处理。替选地，深度信息生成部35可以通过以下操作来对成本量执行成本调整处理：基于处理目标像素与周围区域中的像素之间的法线差、位置差和亮度差计算权重；以及通过使用计算的权重和由法线信息生成部31生成的法线信息，针对每个像素和每个视差执行滤波处理。
接下来，将说明基于处理目标像素与周围区域中的像素之间的法线差、位置差和亮度差来计算权重以及使用计算的权重和由法线信息生成部31生成的法线信息执行滤波处理的情况。
图8示出了成本量处理部363的配置。成本量处理部363包括权重计算处理部3631、周围视差计算处理部3632和滤波器处理部3633。
权重计算处理部3631根据处理目标像素和周围像素的法线信息、位置以及亮度来计算权重。权重计算处理部3631基于关于处理目标像素和周围像素的法线信息来计算距离函数值，并且通过使用所计算的距离函数值以及处理目标像素和周围区域中的像素的位置和/或亮度来计算针对周围像素的权重。
权重计算处理部3631通过使用关于处理目标像素和周围像素的法线信息来计算距离函数值。例如，假设法线信息Ni＝(Ni,x，Ni,y，Ni,z)关于处理目标像素i，并且法线信息Nj＝(Nj,x，Nj,y，Nj,z)关于周围像素j。在这种情况下，通过表达式(18)计算处理目标像素i和周围区域中的周围像素j的距离函数值dist(Ni-Nj)，以指示法线差。
[数学式.5]
Figure BDA0002526218400000111
通过使用距离函数值dist(Ni-Nj)并使用例如处理目标像素i的位置Pi和周围像素j的位置Pj，权重计算处理部3631基于表达式(19)来计算周围像素相对于处理目标像素的权重Wi,j。要注意的是，在表达式(19)中，参数σs表示用于调整空间相似度的参数，参数σn表示用于调整法线相似度的参数，并且参数Ki表示归一化项。参数σs、σn、Ki是预先设置的。
[数学式.6]
Figure BDA0002526218400000112
此外，通过使用距离函数值dist(Ni-Nj)、处理目标像素i的位置Pi和亮度值Ii以及周围像素j的位置Pj和亮度值Ij，权重计算处理部3631可以基于表达式(20)来计算周围区域中的像素的权重Wi,j。要注意的是，在表达式(20)中，参数σc表示用于调整亮度相似度的参数。参数σc是预先设置的。
[数学式.7]
Figure BDA0002526218400000113
权重计算处理部3631计算周围像素相对于处理目标像素的相应权重并且将权重输出至滤波器处理部3633。
周围视差计算处理部3632计算周围像素相对于处理目标像素的视差。图9是用于说明用于计算周围像素中的视差的操作的图。当成像平面为xy平面时，处理目标像素的位置Pi(＝xi，xj)对应于对象OB的位置Qi，并且周围像素的位置Pj(＝xj，yj)对应于对象OB的位置Qj。通过使用处理目标像素i的位置Pi(即，对象OB的位置Qi处的法线信息Ni＝(Ni,x，Ni,y，Ni,z))、使用周围像素j的位置Pj(即，对象OB的位置Qj处的法线信息Nj＝(Nj,x，Nj,y，Nj,z))以及使用视差di，周围视差计算处理部3632基于表达式(21)来计算周围像素j中的视差dNj。
[数学式.8]
Figure BDA0002526218400000121
周围视差计算处理部3632计算每个周围像素相对于处理目标像素的视差dNj，并且将视差dNj输出至滤波器处理部3633。
滤波器处理部3633通过使用由权重计算处理部3631计算的周围像素的权重并且使用由周围视差计算处理部3632计算的周围像素中的视差，对由局部匹配处理部361计算的成本量执行滤波处理。通过使用由权重计算处理部3631计算的处理目标像素i的周围区域中的像素j的权重Wi,j并且使用处理目标像素i的周围区域中的像素j中的视差dNj，滤波器处理部3633基于表达式(22)来计算经历了滤波处理的成本量。
[数学式.9]
CNi,d＝∑jWi,j·Cj，dNj...(22)
针对每个视差d计算周围像素的成本量，并且视差d是像素单位值并且是整数值。基于表达式(20)计算的周围像素中的视差dNj不限于整数值。因此，在视差dNj不是整数值的情况下，滤波器处理部3633通过使用在接近视差dNj的视差处获得的成本量来计算视差dNj处的成本Cj,dNj。图10是用于说明计算视差dNj处的成本Cj,dNj的操作的图。例如，通过对视差dNj的分数处理，滤波器处理部3633通过将小数点后的数字向下舍入来获得视差da，并且通过将小数点后的数字向上舍入来获得视差da+1。此外，滤波器处理部3633使用视差da处的成本Ca和视差da+1处的成本Ca+1通过线性插值来获得视差dNj处的成本Cj,dNj。
滤波器处理部3633通过使用由权重计算处理部3631计算的相应周围像素的权重和由周围视差计算处理部3632计算的每个周围像素处的视差dNj中的成本Cj，dNj，基于表达式(22)获得处理目标像素中的成本CNi,d。此外，滤波器处理部3633通过将每个像素视为处理目标像素来计算针对每个视差的成本CNi,d。以到目前为止描述的方式，滤波器处理部3633通过使用处理目标像素和周围像素的法线信息、位置和亮度之间的关系来对成本量执行成本调整处理，使得在由于视差的差而引起的成本变化中相似度最大处的视差被强调。滤波器处理部3633将经历了成本调整处理的成本量输出至最小值搜索处理部365。
要注意的是，当权重Wi,j在表达式(22)或(25)中为“1”时，滤波器处理部3633通过基于法线信息的滤波处理执行成本调整处理。此外，当使用基于表达式(19)计算的权重Wi,j时，通过基于法线信息和相同视差处的平面方向上的距离的滤波处理来执行成本调整处理。此外，当使用基于表达式(20)计算的权重Wi,j时，通过基于法线信息、相同视差处的平面方向上的距离和亮度变化的滤波处理来执行成本调整处理。
最小值搜索处理部365基于经历了滤波处理的成本量来检测图像相似度最大处的视差。在成本量中，如上所述，对于每个像素指示每个视差处的成本，并且当成本越小时，相似度越高。因此，最小值搜索处理部365针对每个像素检测成本最小处的视差。
图11是用于说明检测成本最小处的视差的操作的图。图11示出了通过使用抛物线拟合来检测成本最小处的视差的情况。
最小值搜索处理部365通过使用连续视差范围中的成本来执行抛物线拟合，该连续视差范围包括来自目标像素中的基于视差的成本的最小值。例如，通过使用以具有针对各个视差计算的成本的最小成本Cx的视差dx为中心的连续视差范围内的成本(即，视差dx-1处的成本Cx-1和视差dx+1处的成本Cx+1)，最小值搜索处理部365获得视差dt作为目标像素中的视差，该视差dt与视差dx进一步分开了位移量δ，使得成本基于表达式(23)变为最小。因此，根据单位为整数的视差d计算具有小数精度的视差dt，并且将该视差dt输出至深度计算部37。
[数学式.10]
Figure BDA0002526218400000141
此外，视差检测部36可以通过包括法线之间的不确定性来检测视差。在这种情况下，周围视差计算处理部3632通过使用指示具有其间的不确定性的法线之一的法线信息Ni，以上述方式来计算视差dNj。此外，周围视差计算处理部3632通过使用指示另一法线的法线信息Mi，基于表达式(24)来计算视差dMj，并且将该视差dMj输出至滤波器处理部3633。图12示出了具有法线之间的不确定的情况。假设例如给出具有90度的不确定性的法线信息Ni和法线信息Mi。要注意的是，图12(a)示出了目标像素中的法线信息Ni所指示的法线方向，并且图12(b)示出了目标像素中的法线信息Mi所指示的法线方向。
[数学式.11]
Figure BDA0002526218400000142
在执行涉及法线不确定性的滤波处理的情况下，滤波器处理部3633通过使用由权重计算处理部3631计算的每个周围像素的权重以及由周围视差计算处理部3632计算的周围像素中的视差dMj，对作为处理目标像素的每个像素执行表达式(25)所示的成本调整处理。滤波器处理部3633将经历了成本调整处理的成本量输出至最小值搜索处理部365。
[数学式.12]
CMi，d＝∑jWi，j·Cj，dMj...(25)
最小值搜索处理部365根据经历了基于法线信息N的滤波处理的成本量以及经历了基于法线信息M的滤波处理的成本量来针对每个像素检测成本最小处的视差。
图13示出了处理目标像素中的基于视差的成本的实例。要注意的是，实线VCN指示经历了基于法线信息Ni的滤波处理的成本，而虚线VCM指示经历了基于法线信息Mi的滤波处理的成本。在这种情况下，基于视差的成本最小处的成本量是经历了基于法线信息Ni的滤波处理的成本量。因此，通过使用经历了基于法线信息Ni的滤波处理的成本量，根据以处理目标像素中的基于视差的成本最小处的视差为基础的基于视差的成本来计算具有小数精度的视差dt。
深度计算部37基于由视差检测部36检测到的视差来生成深度信息。图14示出了成像部21和成像部22的布置。成像部21与成像部22之间的距离被限定为基线长度Lb，并且成像部21和成像部22各自具有焦距f。深度计算部37通过使用基线长度Lb、焦距f和由视差检测部36检测到的视差dt，针对每个像素执行表达式(26)的计算，并且生成指示各个像素的深度Z的深度图作为深度信息。
Z＝Lb×f/dt...(26)
图15是示出图像处理设备的操作的流程图。在步骤ST1处，图像处理设备获取从多个视点获取的捕获图像。图像处理设备30从成像设备20获取包括由成像部21和22生成的偏振图像的捕获的多视点图像的图像信号。然后，处理进行到步骤ST2。
在步骤ST2处，图像处理设备生成法线信息。图像处理设备30基于从成像设备20获取的偏振图像生成指示每个像素中的法线方向的法线信息。然后，处理进行到步骤ST3。
在步骤ST3处，图像处理设备生成成本量。图像处理设备30通过使用从成像设备20获取的捕获偏振图像以及从与该捕获偏振图像的视点不同的视点获取的捕获图像的图像信号来执行局部匹配处理，并且针对每个视差来计算指示每个像素中的图像之间的相似度的成本。图像处理设备30生成针对每个视差计算的成本量，以便指示像素的成本。然后，处理进行至步骤ST4。
在步骤ST4处，图像处理设备对成本量执行成本调整处理。通过使用在步骤ST2处生成的法线信息，图像处理设备30计算处理目标像素的周围区域中的像素中的视差。此外，图像处理设备30根据处理目标像素和周围像素的法线信息、位置以及亮度来计算权重。此外，通过使用周围区域中的像素中的视差或使用周围区域中的像素中的视差和处理目标像素的权重，图像处理设备30对成本量执行成本调整处理，使得相似度最大处的视差被强调。然后，处理进行至步骤ST5。
在步骤ST5处，图像处理设备执行最小值搜索处理。图像处理设备30从经历了滤波处理的成本量中获取目标像素中的基于视差的成本，并且检测成本最小处的视差。此外，图像处理设备30将每个像素视为目标像素，并且针对每个像素检测成本最小处的视差。然后，处理进行至步骤ST6。
在步骤ST6处，图像处理设备生成深度信息。图像处理设备30基于成像部21和22的焦距、表示成像部21与成像部22之间的距离的基线长度以及在步骤ST5处针对每个像素检测到的最小成本视差来计算每个像素的深度并且生成指示各个像素的深度的深度信息。要注意的是，步骤ST2之后可以是步骤ST3，或者步骤ST3之后可以是步骤ST2。
如到目前为止所说明的，第一实施方式使得与通过局部匹配处理实现的视差的检测相比能够以更高的精度来检测每个像素的视差。此外，通过使用检测到的精确视差，可以精确地生成每个像素中的深度信息，从而可以在不使用投影光等的情况下获得精确的深度图。
<2.第二实施方式>
<2-1.根据第二实施方式的配置>
图16示出了根据本技术的信息处理系统的第二实施方式的配置。信息处理系统10a包括成像设备20a和图像处理设备30a。成像设备20a包括成像部21、22和23。图像处理设备30a包括法线信息生成部31和深度信息生成部35a。
成像部21将通过捕获期望对象的图像而获得的偏振图像信号输出至法线信息生成部31和深度信息生成部35a。此外，成像部22将通过从与成像部21的视点不同的视点捕获期望对象的图像而获得的非偏振图像信号或偏振图像信号输出至深度信息生成部35a。此外，成像部23将通过从与成像部21和22的视点不同的视点捕获期望对象的图像而获得的非偏振图像信号或偏振图像信号输出至深度信息生成部35a。
图像处理设备30a的法线信息生成部31基于从成像部21提供的偏振图像信号，针对每个像素生成指示法线方向的法线信息，并且将法线信息输出至深度信息生成部35a。
深度信息生成部35a通过使用从不同视点获取并且从成像部21和成像部22提供的两个图像信号，针对每个像素和每个视差来计算表示图像之间的相似度的成本，并且生成成本量。此外，深度信息生成部35a通过使用从不同视点获取并且从成像部21和成像部23提供的两个图像信号，针对每个像素和每个视差来计算表示图像之间的相似度的成本，并且生成成本量。此外，深度信息生成部35a通过使用从成像部21提供的图像信号并且使用由法线信息生成部31生成的法线信息，对每个成本量执行成本调整处理。此外，通过使用视差检测目标像素的基于视差的成本，深度信息生成部35a从经历了成本调整处理的成本量中检测相似度最大处的视差。深度信息生成部35a根据检测到的视差并且根据成像部21与成像部22之间的基线长度和焦距来计算每个像素的深度，并且生成深度信息。
<2-2.每个部的操作>
接下来，将说明成像设备20a的每个部的操作。成像部21和22的配置与第一实施方式中的配置类似。成像部23的配置与成像部22的配置类似。成像部21将生成的偏振图像信号输出至图像处理设备30a的法线信息生成部31。此外，成像部22将生成的图像信号输出至图像处理设备30a。此外，成像部23将生成的图像信号输出至图像处理设备30a。
图像处理设备30a的法线信息生成部31的配置与第一实施方式中的配置相同。法线信息生成部31基于偏振图像信号来生成法线信息。法线信息生成部31将生成的法线信息输出至深度信息生成部35a。
图17示出了深度信息生成部35a的配置。深度信息生成部35a包括视差检测部36a和深度计算部37。此外，视差检测部36a包括局部匹配处理部361和362、成本量处理部363和364以及最小值搜索处理部366。
局部匹配处理部361的配置与第一实施方式中的配置类似。通过使用由成像部21和22获得的捕获图像，局部匹配处理部361针对捕获图像之一中的每个像素计算另一捕获图像中的对应点的相似度，并且生成成本量。局部匹配处理部361将生成的成本量输出至成本量处理部363。
局部匹配处理部362的配置与局部匹配处理部361的配置类似。通过使用由成像部21和23获得的捕获图像，局部匹配处理部362针对捕获图像之一中的每个像素计算另一捕获图像中的对应点的相似度，并且生成成本量。局部匹配处理部362将生成的成本量输出至成本量处理部364。
成本量处理部363的配置与第一实施方式中的配置类似。成本量处理部363对由局部匹配处理部361生成的成本量执行成本调整处理，使得可以高精度地检测视差，并且将经历了成本调整处理的成本量输出至最小值搜索处理部366。
成本量处理部364的配置与成本量处理部363的配置类似。成本量处理部364对由局部匹配处理部362生成的成本量执行成本调整处理，使得可以高精度地检测视差，并且将经历了成本调整处理的成本量输出至最小值搜索处理部366。
如在第一实施方式中那样，最小值搜索处理部366基于经历了成本调整的成本量，针对每个像素来检测最相似的视差，即，指示相似度的最小值处的视差。此外，如在第一实施方式中那样，深度计算部37基于由视差检测部36检测到的视差来生成深度信息。
与第一实施方式类似，第二实施方式使得能够高精度地检测每个像素的视差，从而可以获得精确的深度图。此外，根据第二实施方式，可以通过不仅使用由成像部21和22获得的图像信号而且还使用由成像部23获得的图像信号来检测视差。这与基于由成像部21和22获得的图像信号计算视差的情况相比，更可靠地使得能够精确地检测每个像素的视差。
此外，成像部21、22和23可以在一个方向上并排布置，或者可以在两个或更多个方向上布置。例如，在成像设备20a中，成像部21和成像部22被水平布置，而成像部21和成像部23被垂直布置。在这种情况下，对于难以利用由在水平方向上并排布置的成像部获得的图像信号来精确地检测视差的对象部分，可以基于由在垂直方向上并排布置的成像部获得的图像信号来实现对视差的精确检测。
<3.其他实施方式>
在上述实施方式中，已经说明了使用在没有任何滤色器的情况下获得的图像信号进行的对视差的检测和对深度信息的生成。然而，图像处理设备可以具有提供给成像部的彩色马赛克滤波器等，并且通过使用由成像部生成的彩色图像信号来实现对视差的检测以及对深度信息的生成。在这种情况下，例如，足够的是，图像处理设备通过使用由成像部生成的图像信号执行去马赛克处理，以生成相应颜色分量的图像信号，并且使用根据相应颜色分量的图像信号计算的像素亮度值。此外，图像处理设备通过使用由成像部生成的并且具有相同颜色分量的偏振像素的像素信号来生成法线信息。
<4.应用的实例>
根据本公开的技术适用于各种产品。例如，根据本公开的技术可以被实现为安装在移动体上的设备，该移动体是汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动装置、飞机、无人机、船舶、机器人等中的任何一个。
图18是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动体控制系统的实例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图18所示出的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
车外信息检测单元12030检测包括车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可以执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。
成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可以辨别驾驶员是否在打瞌睡。
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。
此外，微型计算机12051能够通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051能够基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。
声音/图像输出部12052将声音和图像中的至少一者的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图18的实例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062例如可以包括车载显示器和平视显示器中的至少一个。
图19是示出成像部12031的安装位置的实例的图。
在图19中，成像部12031包括成像部12101、12102、12103、12104和12105。
成像部12101、12102、12103、12104和12105可以被布置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部12101以及布置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。布置在侧视镜的成像部12102和12103主要获得车辆12100的侧方的图像。布置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图19示出了成像部12101至12104的拍摄范围的实例。成像范围12111表示布置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示布置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101至12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。
成像部12101至12104中的至少一个可以具有获得距离信息的功能。例如，成像部12101至12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051能够基于从成像部12101至12104获得的距离信息，确定到成像范围12111至12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
例如，微型计算机12051能够基于从成像部12101至12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值并且存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。
成像部12101至12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像部12101至12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像部12101至12104的成像图像中的特性点的程序，以及通过在表示对象轮廓的一系列特性点上执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像部12101至12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，使其显示叠加在所识别的行人用于强调所识别的行人的方形轮廓线。声音/图像输出部12052还可以控制显示部12062，使其在期望的位置处显示表示行人的图标等。
以上已经说明了可应用根据本公开的技术的车辆控制系统的一个实例。在以上说明中的部件中，根据本公开的技术的成像设备20和20a可应用于成像部12031等。在以上说明中的部件中，根据本公开的技术的图像处理设备30和30a可应用于车外信息检测单元12030。因此，当根据本公开的技术应用于车辆控制系统时，可以精确地获取深度信息。因此，当使用所获取的深度信息识别对象的三维形状时，可以高精度地获取减轻驾驶员疲劳所必需或执行自动驾驶所必需的信息。
本文中描述的一系列处理可以由硬件、软件或硬件和软件的组合来执行。在由软件执行处理的情况下，可以在将记录有处理序列的程序安装到并入计算机的专用硬件中的存储器中之后执行该程序。替选地，可以在将程序安装到能够执行各种处理的通用计算机中之后执行该程序。
例如，程序可以被预先记录在作为记录介质的硬盘、SSD(固态驱动器)或ROM(只读存储器)中。替选地，程序可以被临时或永久地存储(记录)在移除记录介质中，例如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、BD(Blu-Ray Disc(蓝光盘，注册商标))、磁盘或半导体存储卡。这种可移动记录介质可以作为所谓的软件包提供。
替选地，程序可以不从可移动记录介质安装到计算机中，而是通过诸如LAN(局域网)或因特网的网络以无线/有线方式从下载站点传送至计算机。计算机可以接收这样传送的程序，并且将该程序安装到诸如硬盘的内部记录介质中。
要注意的是，本文描述的效果仅是实例，因此不是限制性的。可以提供本文未描述的任何附加效果。此外，不应在前述实施方式内解释本技术。这些技术实施方式以其范例公开了本技术。显然，本领域技术人员可以在本技术的要旨范围内修改实施方式或为其提供替代。即，为了评定本技术的要旨，应当考虑权利要求。
根据本技术的图像处理设备可以具有以下配置。
(1)
一种图像处理设备，包括：
视差检测部，所述视差检测部通过使用基于偏振图像的各个像素中的法线信息来对成本量执行成本调整处理，所述成本量针对每个像素和每个视差指示与包括所述偏振图像的多视点图像之间的相似度对应的成本，并且所述视差检测部通过使用视差检测目标像素的基于视差的成本，从经历了所述成本调整处理的成本量中检测所述相似度最大处的视差。
(2)
根据(1)所述的图像处理设备，其中，
所述视差检测部在每个视差处执行所述成本调整处理，并且
在所述成本调整处理中，基于使用所述视差检测目标像素中的法线信息针对以所述视差检测目标像素为基准的周围区域中的像素计算的成本来执行所述视差检测目标像素的成本调整。
(3)
根据(2)所述的图像处理设备，其中，
所述视差检测部根据所述视差检测目标像素中的法线信息与所述周围区域中的像素中的法线信息之间的法线差，对针对所述周围区域中的像素计算的成本进行加权。
(4)
根据(2)或(3)所述的图像处理设备，其中，
所述视差检测部根据所述视差检测目标像素与所述周围区域中的像素之间的距离，对针对所述周围区域中的像素计算的成本进行加权。
(5)
根据(2)至(4)中任一项所述的图像处理设备，其中，
所述视差检测部根据所述视差检测目标像素的亮度值与所述周围区域中的像素的亮度值之间的差，对针对所述周围区域中的像素计算的成本进行加权。
(6)
根据(1)至(5)中任一项所述的图像处理设备，其中，
所述视差检测部基于所述法线信息针对在其之间生成不确定性的法线方向中的每一个法线方向执行所述成本调整处理，并且通过使用经历了针对所述法线方向中的每一个法线方向执行的所述成本调整处理的成本量来检测所述相似度最大处的视差。
(7)
根据(1)至(6)中任一项所述的图像处理设备，其中，
所述成本量是将每个视差用作指定像素单位来生成的，并且
基于以所述相似度最大处的指定像素单位的视差为基础的指定视差范围内的成本，所述视差检测部以高于所述指定像素单位的分辨率来检测所述相似度最大处的视差。
(8)
根据(1)至(7)中任一项所述的图像处理设备，还包括：
深度信息生成部，其基于由所述视差检测部检测到的视差来生成深度信息。
工业适用性
在根据本技术的图像处理设备、图像处理方法、程序和信息处理系统的情况下，利用基于偏振图像的每个像素中的法线信息，对成本量执行成本调整处理，该成本量针对每个像素和每个视差指示各自与包括偏振图像的多视点图像之间的相似度对应的成本。从经历了成本调整处理的成本量中，使用视差检测目标像素的基于视差的成本来检测相似度最大处的视差。因此，几乎可以在不受对象形状、图像捕获条件等的影响的情况下高精度地检测视差。因此，本技术适用于需要精确地检测三维形状的装置等。
附图标记列表
10、10a...信息处理系统
20、20a...成像设备
21、22、23...成像部
30、30a...图像处理设备
31...法线信息生成部
35、35a...深度信息生成部
36、36a...视差检测部
37...深度计算部
211...相机块
212...偏振板
213...图像传感器
214...偏振器
361、362...局部匹配处理部
363、364...成本量处理部
3631...权重计算处理部
3632...周围视差计算处理部
3633...滤波器处理部
365、366...最小值搜索处理部

Claims (11)

1.一种图像处理设备，包括：
视差检测部，所述视差检测部通过使用基于偏振图像的各个像素中的法线信息来对成本量执行成本调整处理，所述成本量针对每个像素和每个视差指示与包括所述偏振图像的多视点图像之间的相似度对应的成本，并且所述视差检测部通过使用视差检测目标像素的每个视差的成本，从经历了所述成本调整处理的成本量中检测所述相似度最大处的视差。
2.根据权利要求1所述的图像处理设备，其中，
所述视差检测部在每个视差处执行所述成本调整处理，并且
在所述成本调整处理中，基于使用所述视差检测目标像素中的法线信息针对以所述视差检测目标像素为基准的周围区域中的像素计算的成本来执行所述视差检测目标像素的成本调整。
3.根据权利要求2所述的图像处理设备，其中，
所述视差检测部根据所述视差检测目标像素中的法线信息与所述周围区域中的像素中的法线信息之间的法线差，对针对所述周围区域中的像素计算的成本进行加权。
4.根据权利要求2所述的图像处理设备，其中，
所述视差检测部根据所述视差检测目标像素与所述周围区域中的像素之间的距离，对针对所述周围区域中的像素计算的成本进行加权。
5.根据权利要求2所述的图像处理设备，其中，
所述视差检测部根据所述视差检测目标像素的亮度值与所述周围区域中的像素的亮度值之间的差，对针对所述周围区域中的像素计算的成本进行加权。
6.根据权利要求1所述的图像处理设备，其中，
所述视差检测部基于所述法线信息针对在其之间生成不确定性的法线方向中的每一个法线方向执行所述成本调整处理，并且通过使用经历了针对所述法线方向中的每一个法线方向执行的所述成本调整处理的成本量来检测所述相似度最大处的视差。
7.根据权利要求1所述的图像处理设备，其中，
所述成本量是将指定像素单位用作视差来生成的，并且
基于以所述相似度最大处的指定像素单位的视差为基础的指定视差范围内的成本，所述视差检测部以高于所述指定像素单位的分辨率来检测所述相似度最大处的视差。
8.根据权利要求1所述的图像处理设备，还包括：
深度信息生成部，其基于由所述视差检测部检测到的视差来生成深度信息。
9.一种图像处理方法，包括由视差检测部：
通过使用基于偏振图像的各个像素中的法线信息来对成本量执行成本调整处理，所述成本量针对每个像素和每个视差指示与包括所述偏振图像的多视点图像之间的相似度对应的成本；以及通过使用视差检测目标像素的每个视差的成本，从经历了所述成本调整处理的成本量中检测所述相似度最大处的视差。
10.一种用于使计算机处理包括偏振图像的多视点图像的程序，所述程序用于使所述计算机执行：
通过使用基于所述偏振图像的各个像素中的法线信息对成本量执行成本调整处理的过程，所述成本量针对每个像素和每个视差指示与包括所述偏振图像的多视点图像之间的相似度对应的成本；以及
通过使用视差检测目标像素的每个视差的成本，从经历了所述成本调整处理的成本量中检测所述相似度最大处的视差的过程。
11.一种信息处理系统，包括：
成像部，其获取包括偏振图像的多视点图像；
视差检测部，所述视差检测部通过使用基于所述偏振图像的各个像素中的法线信息来对成本量执行成本调整处理，所述成本量针对每个像素和每个视差指示与由所述成像部获取到的多视点图像之间的相似度对应的成本，并且所述视差检测部通过使用视差检测目标像素的每个视差的成本，从经历了所述成本调整处理的成本量中检测所述相似度最大处的视差；以及
深度信息生成部，其基于由所述视差检测部检测到的视差来生成深度信息。
CN201880078938.1A 2017-12-12 2018-10-12 图像处理设备、图像处理方法、程序和信息处理系统 Active CN111465818B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017237586 2017-12-12
JP2017-237586 2017-12-12
PCT/JP2018/038078 WO2019116708A1 (ja) 2017-12-12 2018-10-12 画像処理装置と画像処理方法およびプログラムと情報処理システム

Publications (2)

Publication Number Publication Date
CN111465818A true CN111465818A (zh) 2020-07-28
CN111465818B CN111465818B (zh) 2022-04-12

Family

ID=66820206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880078938.1A Active CN111465818B (zh) 2017-12-12 2018-10-12 图像处理设备、图像处理方法、程序和信息处理系统

Country Status (4)

Country Link
US (1) US20210217191A1 (zh)
JP (1) JP7136123B2 (zh)
CN (1) CN111465818B (zh)
WO (1) WO2019116708A1 (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040039062A (ko) * 2002-10-30 2004-05-10 (주)웰텍소프트 조도차와 양안시 혼합 방식에 의한 3차원 형상 계측을위한 디지털 현미경
CN1678084A (zh) * 2003-11-27 2005-10-05 索尼株式会社 图像处理装置和方法
CN101308018A (zh) * 2008-05-30 2008-11-19 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
TW201112161A (en) * 2009-07-30 2011-04-01 Prime Sense Ltd Depth mapping based on pattern matching and stereoscopic information
CN102192724A (zh) * 2010-02-03 2011-09-21 株式会社理光 距离测量和光度测定装置、以及成像设备
CN102902150A (zh) * 2011-07-26 2013-01-30 索尼公司 立体成像设备
KR20140041489A (ko) * 2011-05-19 2014-04-04 톰슨 라이센싱 스테레오스코픽 이미지의 동시적인 스테레오스코픽 및 모노스코픽 디스플레이를 가능하게 하기 위한 스테레오스코픽 이미지의 자동 컨버전
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CN104883553A (zh) * 2014-02-28 2015-09-02 株式会社理光 视差值导出设备及方法、装备控制系统、可移动装置
CN104883946A (zh) * 2012-12-20 2015-09-02 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
CN105513064A (zh) * 2015-12-03 2016-04-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
WO2016088483A1 (ja) * 2014-12-01 2016-06-09 ソニー株式会社 画像処理装置と画像処理方法
JP2017016431A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法
CN106464857A (zh) * 2014-03-26 2017-02-22 驼鹿科技公司 紧凑型3d深度捕获系统
CN106780590A (zh) * 2017-01-03 2017-05-31 成都通甲优博科技有限责任公司 一种深度图的获取方法及系统
CN106910222A (zh) * 2017-02-15 2017-06-30 中国科学院半导体研究所 基于双目立体视觉的人脸三维重建方法
CN107330930A (zh) * 2017-06-27 2017-11-07 晋江市潮波光电科技有限公司 三维图像深度信息提取方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010029091B4 (de) * 2009-05-21 2015-08-20 Koh Young Technology Inc. Formmessgerät und -verfahren
JP6614247B2 (ja) * 2016-02-08 2019-12-04 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10559095B2 (en) * 2016-08-31 2020-02-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and medium
CN113313740B (zh) * 2021-05-17 2023-01-31 北京航空航天大学 一种基于平面连续性的视差图和表面法向量联合学习方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040039062A (ko) * 2002-10-30 2004-05-10 (주)웰텍소프트 조도차와 양안시 혼합 방식에 의한 3차원 형상 계측을위한 디지털 현미경
CN1678084A (zh) * 2003-11-27 2005-10-05 索尼株式会社 图像处理装置和方法
CN101308018A (zh) * 2008-05-30 2008-11-19 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
TW201112161A (en) * 2009-07-30 2011-04-01 Prime Sense Ltd Depth mapping based on pattern matching and stereoscopic information
CN102192724A (zh) * 2010-02-03 2011-09-21 株式会社理光 距离测量和光度测定装置、以及成像设备
KR20140041489A (ko) * 2011-05-19 2014-04-04 톰슨 라이센싱 스테레오스코픽 이미지의 동시적인 스테레오스코픽 및 모노스코픽 디스플레이를 가능하게 하기 위한 스테레오스코픽 이미지의 자동 컨버전
CN102902150A (zh) * 2011-07-26 2013-01-30 索尼公司 立体成像设备
CN104883946A (zh) * 2012-12-20 2015-09-02 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CN105814401A (zh) * 2013-12-16 2016-07-27 索尼公司 图像处理装置、图像处理方法和成像装置
CN104883553A (zh) * 2014-02-28 2015-09-02 株式会社理光 视差值导出设备及方法、装备控制系统、可移动装置
JP2015179063A (ja) * 2014-02-28 2015-10-08 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
CN106464857A (zh) * 2014-03-26 2017-02-22 驼鹿科技公司 紧凑型3d深度捕获系统
WO2016088483A1 (ja) * 2014-12-01 2016-06-09 ソニー株式会社 画像処理装置と画像処理方法
CN107003110A (zh) * 2014-12-01 2017-08-01 索尼公司 图像处理装置和图像处理方法
JP2017016431A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法
CN105513064A (zh) * 2015-12-03 2016-04-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
CN106780590A (zh) * 2017-01-03 2017-05-31 成都通甲优博科技有限责任公司 一种深度图的获取方法及系统
CN106910222A (zh) * 2017-02-15 2017-06-30 中国科学院半导体研究所 基于双目立体视觉的人脸三维重建方法
CN107330930A (zh) * 2017-06-27 2017-11-07 晋江市潮波光电科技有限公司 三维图像深度信息提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KADAMBI 等: "《Polarized 3D: High-Quality Depth Sensing with Polarization Cues》", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV) 》 *

Also Published As

Publication number Publication date
CN111465818B (zh) 2022-04-12
JP7136123B2 (ja) 2022-09-13
JPWO2019116708A1 (ja) 2020-12-17
US20210217191A1 (en) 2021-07-15
WO2019116708A1 (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
CN108496178B (zh) 用于估计未来路径的系统和方法
WO2017159382A1 (ja) 信号処理装置および信号処理方法
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6202367B2 (ja) 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム
JP5089545B2 (ja) 道路境界検出判断装置
US20170223339A1 (en) Image processing apparatus and image processing method
JP6645492B2 (ja) 撮像装置および撮像方法
WO2017056821A1 (ja) 情報取得装置と情報取得方法
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6701532B2 (ja) 画像処理装置および画像処理方法
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
US11663831B2 (en) Image processing device and image processing method
CN111052174A (zh) 图像处理设备、图像处理方法和程序
JP2019046276A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
WO2017047282A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
JP2017129543A (ja) ステレオカメラ装置及び車両
CN113780050A (zh) 高级驾驶员辅助系统和在其中检测对象的方法
WO2017154305A1 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム
CN111465818B (zh) 图像处理设备、图像处理方法、程序和信息处理系统
JP2013161187A (ja) 物体認識装置
TWI794207B (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
WO2019221151A1 (ja) 撮像システム
JP2017049666A (ja) 飛び出し物体検知装置および飛び出し物体検知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant