CN107077725B - 数据处理装置、成像装置和数据处理方法 - Google Patents

数据处理装置、成像装置和数据处理方法 Download PDF

Info

Publication number
CN107077725B
CN107077725B CN201580057614.6A CN201580057614A CN107077725B CN 107077725 B CN107077725 B CN 107077725B CN 201580057614 A CN201580057614 A CN 201580057614A CN 107077725 B CN107077725 B CN 107077725B
Authority
CN
China
Prior art keywords
pixel
confidence coefficient
value
pixels
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580057614.6A
Other languages
English (en)
Other versions
CN107077725A (zh
Inventor
田中伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107077725A publication Critical patent/CN107077725A/zh
Application granted granted Critical
Publication of CN107077725B publication Critical patent/CN107077725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

提供了一种用于计算置信系数数据的数据处理装置，该置信系数数据指示第二图像数据的像素值的置信度。该装置获取第一图像数据的与置信系数数据的目标像素相对应的第一像素的像素值以及第一像素周围的多个第二像素的每个像素值。该装置通过以下方式来获取置信系数，即，基于多个第二像素中的每个的相似性、第二图像数据的与第一像素相对应的第三像素周围的多个第四像素的每个像素值以及第三像素的像素值确定第三像素中的估计像素值，并且将第三图像的像素值与第三像素中的估计像素值进行比较。

Description

数据处理装置、成像装置和数据处理方法
技术领域
本发明涉及数据处理装置、成像装置和数据处理方法。
背景技术
用于从拍摄的图像获取或计算表示深度信息或运动信息的分布的深度图像或运动图像的方法已经被提出。但是，从拍摄的图像获取的深度信息或运动信息经常包括误差。例如，在通过使用模板匹配技术获取两个图像的对应来确定深度信息或运动信息的情况下，在图像中的物体的边界中可以生成重大的(major)误差。这种误差是当一个模板包括其深度和运动不同的物体时生成的。所获取的深度信息或运动信息经常变为不正确的信息，该信息的深度或运动值是这些物体的距离或运动值之间的中间值。具有误差的区域的大小依赖于模板的大小。即使在使用除模板匹配技术之外的方法来确定深度信息或运动信息的情况下，在物体的边界中也可以生成类似误差。
用于对包括误差的深度图像或运动图像的每个像素的信息进行校正的方法的示例如下。
在专利文献1中，计算每个像素的深度信息的置信系数，并且使用该置信系数来对深度信息进行校正。基于拍摄的图像中的亮度值的幅度、亮度的改变幅度、频率特性或运动信息来计算深度信息的置信系数。这允许使置信系数在不存在纹理的区域中或在运动大的区域中是小的。但是，如果每个物体的物体边界具有纹理并且其运动小，则置信系数在物体边界中被计算为高。换句话说，根据专利文献1的方法，计算置信系数没有考虑物体边界。
在专利文献2中，深度信息被如下校正。首先，基于拍摄的图像的像素值或深度图像的深度值来执行聚类，并且将每个像素分类到多个类中。使用像素值统计(例如，均值)、校正目标像素以及校正目标像素周围的像素的像素值来确定校正目标像素的类。然后，用代表性深度值(例如，该类内的深度值的均值)来代替校正目标像素的深度值。通过该处理，可以考虑像素值的空间连续性来执行校正。但是，如果在类中的深度值中包括误差，则该类中的代表性深度值从正确深度值背离，并且校正变得不充分。
在非专利文献1中，通过使用深度信息、拍摄的图像的亮度信息以及从这些条信息导出的置信系数信息的加权交叉双边滤波器来对深度图像进行校正。换句话说，其深度值或亮度的差与校正目标像素相比大的周围像素被认为是不可靠的，并且不被用于校正处理。但是，像这样计算的置信系数不是深度信息本身的置信系数，而仅仅是像素之间的相对置信系数。此外，根据该方法，包括误差的校正目标像素具有与不包括误差的周围像素相比大的深度差，因此不包括误差的周围像素的正确深度信息不能被用于校正处理。专利文献3公开了当深度图像被编码时深度值的置信系数被确定。
引文列表
专利文献
[PTL1]日本专利申请公开No.2013-239119
[PTL2]日本专利申请公开No.2012-078942
[PTL3]日本专利申请公开No.2013-157950
非专利文献
[NPL 1]Takuya Matsuo等人,“Depth Map Refinement with Weighted CrossBilateral Filter”,Journal of the Institute of Image Information andtelevision Engineers,Vol.66,No.11,pp.J434-J443(2012)
发明内容
技术问题
如上所述，在专利文献1、专利文献2和非专利文献1的任何现有技术中，包括物体边界中的误差的信息不能被准确地校正。这是因为每个像素的可靠性(误差量)不能被正确地估计。为了适当地执行校正，需要获取信息的置信系数，该置信系数指示包括物体边界中的误差的信息的可靠性。
本发明的目的是提供一种生成置信系数信息的数据处理装置，在该数据处理装置中，物体边界中的包括误差的像素具有低置信系数，并且其他无误差像素具有高置信系数。
问题的解决方案
本发明的第一方面是一种用于从第一图像数据和第二图像数据计算置信系数数据的数据处理装置，置信系数数据指示第二图像数据的像素的至少一部分的像素值的置信系数，该数据处理装置包括：相似性获取单元(similarity acquisition unit)，其适于获取第一图像数据的与置信系数数据的目标像素相对应的第一像素的像素值和第一像素的预定周围区域中的多个第二像素的每个像素值之间的相似性；以及置信系数获取单元，其适于从多个第二像素中的每个的相似性、第二图像数据的与第一像素相对应的第三像素的像素值以及位于第三像素的预定周围区域中的与多个第二像素中的每个相对应的多个第四像素中的每个获取置信系数，该置信系数是置信系数数据的目标像素的像素值，其中，置信系数获取单元进一步适于通过以下方式来获取置信系数，即，基于多个第二像素中的每个的相似性、多个第四像素的每个像素值以及第三像素的像素值来确定在第三像素中被估计是正确的像素值，并且将第三图像的像素值和在第三像素中被估计是正确的像素值进行比较。
本发明的第二方面是一种用于从第一图像数据和第二图像数据计算置信系数数据的数据处理装置，该置信系数数据指示第二图像数据的像素的至少一部分的像素值的置信系数，该数据处理装置包括：校正单元，其适于基于第一图像数据和第二图像数据来对第二图像数据进行校正，并且生成校正的第二图像数据；以及置信系数获取单元，其适于通过将校正的第二图像数据和未校正的第二图像数据进行比较来获取置信系数。
本发明的第三方面是一种由数据处理装置执行的数据处理方法，该数据处理装置用于从第一图像数据和第二图像数据计算置信系数数据，该置信系数数据指示第二图像数据的像素的至少一部分的像素值的置信系数，该方法包括：相似性获取步骤，获取第一图像数据的与置信系数数据的目标像素相对应的第一像素的像素值和第一像素的预定周围区域中的多个第二像素的每个像素值之间的相似性；以及置信系数获取步骤，从多个第二像素中的每个的相似性、第二图像数据的与第一像素相对应的第三像素的像素值以及位于第三像素的预定周围区域中的与多个第二像素中的每个相对应的多个第四像素的每个像素值获取置信系数，该置信系数是置信系数数据的目标像素的像素值，其中，在置信系数获取步骤中，基于多个第二像素中的每个的相似性、多个第四像素的每个像素值以及第三像素的像素值来确定在第三像素中被估计是正确的像素值，并且将第三图像的像素值和在第三像素中被估计是正确的像素值进行比较，由此获取置信系数。
本发明的第四方面是一种由数据处理装置执行的数据处理方法，该数据处理装置用于从第一图像数据和第二图像数据计算置信系数数据，该置信系数数据指示第二图像数据的至少一部分的像素的像素值的置信系数，该方法包括：校正步骤，基于第一图像数据和第二图像数据来对第二图像数据进行校正，并且生成校正的第二图像数据；以及置信系数获取步骤，通过将校正的第二图像数据和未校正的第二图像数据进行比较来获取置信系数。
从以下参照附图对示例性实施例的描述，本发明的进一步的特征将变得清楚。
本发明的有益效果
根据本发明，包括误差的信息的置信系数可以被正确地设置。
附图说明
图1是描绘包括根据实施例1的数据处理装置的成像装置的示例的框图。
图2A是根据实施例1的成像处理方法的流程图，图2B和图2C是根据实施例1的数据处理方法的流程图。
图3是描绘根据实施例1的置信系数计算和图像校正的示图。
图4A至图4D是描绘根据实施例1的深度图像数据中所包括的误差的示图。
图5A至图5C是描绘根据实施例1的置信系数计算的示图。
图6A至图6C是描绘实施例1中的当重复处理被执行时的置信系数计算的示图。
图7是描绘根据实施例1的修改的置信系数计算和图像校正的示图。
图8是描绘根据实施例2的数据处理装置的示例的框图。
图9是描绘根据实施例3的深度图像数据中所包括的误差的示图。
图10A和图10B是描绘根据实施例3的置信系数计算的示图。
具体实施方式
将参照附图来详细描述本发明的实施例，但是本发明不限于每个实施例的配置。每个实施例可以被适当地组合。
(实施例1)
图1是根据本发明的实施例1的成像装置的框图。成像装置1具有成像光学系统10、成像元件11、控制单元12、数据处理装置13、存储单元14、输入单元15以及显示单元16。图2A是描绘从成像处理到拍摄的图像的输出/记录处理的处理流程的流程图。将参照图2A中的流程图来描述成像装置1的每个组成元件。
成像光学系统10由用于在成像元件11的像平面上形成入射光的像的多个透镜构成。成像元件11具有图像传感器，比如CCD或CMOS。图像传感器可以包括或者可以不包括滤色器，并且可以是三板类型(three-plate type)。成像装置1通过从成像元件11的每个像素获取信号来执行拍摄处理S20。
数据处理装置13具有信号处理单元130、存储器131、深度图生成单元132、置信系数数据计算单元133以及深度图校正单元134。信号处理单元130是执行图像处理S21的功能单元。图像处理S21包括各种信号处理，该各种信号处理包括从成像元件11输出的模拟信号的AD转换、去除噪声、去马赛克、亮度信号转换、像差校正、白平衡调整以及颜色校正。从信号处理单元130输出的数字图像数据被存储在存储器131中，并且被用于例如显示在显示单元16上、记录(保存)在存储单元14中、计算深度信息以及生成深度图像数据。
深度图生成单元132是执行深度生成处理S22的功能单元。深度图生成单元132获取从信号处理单元130输出的拍摄的图像的数字图像数据(以下称为“拍摄的图像数据”)，并且从拍摄的图像数据生成深度图，该深度图指示物体的深度信息。深度图是由多个深度信息构成的数据，并且可以被认为是具有作为像素值的深度值的图像，因此深度图也被称为“深度图像”或“深度图像数据”。用于获取物体的深度信息的方法例如是使用在不同拍摄条件下拍摄的具有不同模糊程度的拍摄的图像数据的方法(离焦深度法：DFD法)或使用具有不同视差的拍摄的图像数据的方法(立体法)。飞行时间法和聚焦深度法也可以被使用。由深度图生成单元132生成的深度图像数据被存储在存储单元14中或者被暂时存储在存储器131中，并且被用于后续处理。
深度信息可以是聚焦位置的相对深度，或者可以是拍摄期间距离成像装置的绝对深度。如果深度信息是从两个图像确定的，则距离聚焦位置的相对深度可以是从这两个图像的聚焦位置的中心位置到物体的相对深度，或者可以是从这些图像中的一个的聚焦位置到物体的相对深度。绝对深度或相对深度可以是像平面侧的深度或物侧的深度。深度可以被表达为实际空间中的深度，或者可以用可以被转换为实际空间的深度的量(比如离焦量或视差量)表达。
置信系数数据计算单元133具有计算置信系数数据的功能，该置信系数数据指示由深度图生成单元132生成的深度图的每个像素值(深度值)的置信系数。置信系数数据是要作为深度图的每个像素的深度信息是否是正确值的指标(index)的信息。置信系数数据计算单元133不需要对深度图的所有像素都确定置信系数，而是可以仅对像素的一部分确定置信系数。如图3所示，置信系数数据计算单元133包括相似性获取单元1331和置信系数获取单元1332，相似性获取单元1331计算亮度值的相似性，置信系数获取单元1332使用相似性来计算周围像素的统计(statistic)，并且从该统计计算置信系数数据。置信系数获取单元1332包括统计获取单元1333和转换单元1334，统计获取单元1333计算统计，转换单元1334将统计转换为置信系数。
深度图校正单元134具有使用以下各项来对深度图像数据的每个像素的深度信息进行校正的功能：所获取的拍摄的图像数据；由深度图生成单元132生成的深度图像数据；以及由置信系数数据计算单元133生成的置信系数信息。
由置信系数数据计算单元133和深度图校正单元134执行的处理对应于图2A中的数据处理S23。稍后将详细描述数据处理S23。
存储单元14是非易失性存储介质，其存储拍摄的图像数据、深度图像数据、置信系数信息数据、校正的深度图像数据、用于成像装置1的参数数据等。对于存储单元14，允许高速读写的任何大容量存储介质可以被使用。例如，优选的是，存储单元14包括闪存等。输入单元15是用户访问以输入信息或改变成像装置1的设置的接口。例如，输入单元15包括转盘、按钮、开关、触摸面板等。显示单元16是由液晶显示器、有机EL显示器等构成的显示单元。显示单元16用于例如检查拍摄期间的合成、查看拍摄或记录的图像以及显示各种设置画面和消息信息。输出/记录处理S24包括：拍摄的图像数据、深度图像数据、置信系数图像数据、校正的深度图像数据等到存储单元14的记录处理；以及在显示单元16上显示这些数据项的显示处理。
控制单元12具有控制成像装置1的每个组件的功能。控制单元12的功能例如是：使用自动聚焦(AF)的自动聚焦、改变聚焦位置、改变F值(光圈)、捕获图像、控制快门或闪光灯(两者都未被示出)以及控制存储单元14、输入单元15和显示单元16。
接着将描述出现在深度图像数据上的重大误差。第一误差是在深度信息改变相当大的区域(物体边界部分)中生成的误差。这种类型的误差是在前侧的物体和后侧的物体彼此重叠的边界附近生成的。如果使用如从图像的相似性计算深度的DFD方法这样的方法，则当深度被计算时，所计算的深度信息的误差在前侧的信息和后侧的信息混合的物体边界部分中增加。
第二误差是使得不能够获取深度信息(数据不可获得)的误差。该误差的原因依赖于深度获取方法而不同。在立体法的情况下，例如，原因可能是物体中的不具有图案(纹理)的区域、或黑暗区域、或由于视差差异(遮挡)而导致从一侧不能看见的区域。这种类型的误差经常在包括多个连续像素的区域中生成。
第三误差是由在深度信息中生成的噪声引起的误差。如果噪声被生成，则即使物体在相同深度处，物体中的深度信息也分散。
现在将详细描述数据处理S23。在该实施例的数据处理S23中，置信系数是主要通过以下方式计算的：即，评估是否存在深度边界部分(物体边界部分)中的误差(该误差是上述误差中的第一种类型)，并且基于置信系数对深度图像数据进行校正。现在，将参照附图来描述数据处理S23。图2B是更详细地描绘数据处理S23的流程图。图3是描绘置信系数数据计算单元133和深度图校正单元134的功能块、以及数据的流程的示图。图4A至图4D是描绘处理数据的示例的示图。
在步骤S30中，置信系数数据计算单元133获取拍摄的图像数据41(第一图像数据)和深度图像数据42(第二图像数据)。图4A示出拍摄的图像数据41的示例，并且图4B示出深度图像数据42的示例。拍摄的图像数据41和深度图像数据42是其视点近似相同的图像。例如，深度图像数据42是包括通过在不同拍摄条件下捕获的多个拍摄的图像数据计算的深度信息的图像数据，并且拍摄的图像数据41是计算深度信息所基于的多个拍摄的图像数据中的任何一个或者是通过组合该多个拍摄的图像数据而生成的图像数据。拍摄的图像数据41可以是单色图像(亮度图像)或者可以是彩色图像。
如上所述，深度图像数据42包括物体边界部分中的误差。在深度图像数据42的物体边界部分(图4B中的A-A’部分)的深度信息中，如图4C所示，由于前侧物体(人体)的深度信息的影响，后侧物体(背景)的深度信息包括在物体边界附近的区域中的误差。更具体地说，这是后侧物体的深度信息被计算为小于实际深度的误差。该误差是在深度图生成处理期间生成的。前侧物体对计算误差的影响随着与物体边界相距的距离增大而逐渐降低。如果其中深度信息不同于正确深度值的区域被定义为误差区域，则在该实施例中，位于距物体边界预定范围中的后侧物体区域是误差区域。如图4D所示，置信系数数据计算单元133执行获取用于正确地提取误差区域的置信系数信息的处理。更具体地说，置信系数数据计算单元133执行获取置信系数信息的处理，该置信系数信息指示误差区域中的低置信系数(在图4D中用黑色指示)并且指示其他区域中的高置信系数(在图4D中用白色指示)。
在步骤S31中，相似性获取单元1331计算拍摄的图像中的与对其计算置信系数的目标像素(目标像素)相对应的像素(第一像素)的像素值和其周围区域中的多个像素(多个第二像素)的像素值之间的相似性S。例如，如果拍摄的图像是单色亮度图像，则相似性S被如下计算为亮度差。
[数学式1]
S(q)＝|I(p)-I(q)| (表达式1)
其中，S表示相似性(当该值越小时，相似性越高，并且当该值越大时，相似性越低)，I表示拍摄的图像的亮度值，p表示对其计算置信系数的目标像素的位置，q是对其计算置信系数的目标像素的周围像素的位置。
如果拍摄的图像是彩色图像，则相似性S被如下计算为颜色差的欧几里德距离。
[数学式2]
Figure BDA0001276800410000101
R、G和B分别指示红色通道、绿色通道和蓝色通道。相似性计算方法不限于上述深度计算，而是可以是任何方法，比如曼哈顿距离(manhattan distance)计算法。彩色图像可以被转换到在其中可以执行上述相似性计算的另一颜色空间(比如CIELab颜色空间或YUV颜色空间)。
相似性获取单元1331从相似性S计算权重W，该权重W用于统计计算(S32)。权重W是0至1之间的值，并且当相似性S较高时被确定为更接近于1的值，当相似性S较低时被确定为更接近于0的值。换句话说，当相似性S的值在表达式1和2中被设置为0时，权重W为1，当相似性S的值较大时，权重W变为更接近于0。阈值U可以针对相似性S设置，并且权重W可以被确定如下。
[数学式3]
Figure BDA0001276800410000102
根据表达式3，其相似性S小于阈值U(这意味着相似)的周围像素的权重W被确定为1，并且其他周围像素的权重W被确定为0。因为相似性S和权重W像这样相关，所以相似性S和权重W可以被认为是相同的。
在步骤S32中，统计获取单元1333计算深度图像数据42中的与对其计算置信系数的目标像素相对应的像素(第三像素)的统计T。统计T是用于评估深度图像数据42中的深度值背离估计的真实值多少的值。统计T基于计算目标像素(第三像素)及其周围像素(多个第四像素)之间的深度值以及拍摄的图像中的相似性S而被计算为与在目标像素中被估计是正确的深度值和实际深度值之间的差相对应的值。在这种情况下，通过使用上面被确定为权重的权重W对目标像素的深度值和周围像素的深度值执行加权平均处理来计算统计T。如果权重W如表达式3中那样确定，则可以仅使用周围像素之中的其像素值在拍摄的图像中相似的像素(同一个物体的像素)的深度值来计算统计T。
统计T可以被如下例如确定为周围像素的深度值的加权平均值和目标像素的深度值之间的差的绝对值。
[数学式4]
Figure BDA0001276800410000111
T表示统计，D表示深度值，Q表示周围像素范围(一组像素q)。如果周围像素范围Q太大，则先决条件“如果亮度(颜色)相似，则深度信息的值相似”是矛盾的，并且可能生成新的误差。而且，运算量也增大。另一方面，如果周围像素范围Q太小，则周围像素范围Q中所包括的具有正确深度的像素的数量在误差区域中的统计T的计算中降低，这可能使得难以在步骤S33中适当地执行置信系数计算。因此，优选的是，基于在物体边界中生成的误差区域的大小来预先确定周围像素范围Q的大小。例如，如果模板匹配用于计算深度，则误差区域的大小由模板匹配的窗口大小确定。周围像素范围Q的大小可以被确定为例如窗口大小的大约两倍。
表达式4右侧的绝对值中的第一项可以被认为是在目标像素中被估计是正确的深度值，该深度值是通过使用拍摄的图像中的相似性作为权重从周围像素的深度值确定的。因此，表达式4确定与在目标像素中被估计是正确的深度值和实际深度值之间的差相对应的值。如上所述，统计T无需总是用表达式4计算，只要目标像素的深度信息背离真实值的偏离量在考虑拍摄的图像中的相似性时可以被估计即可。例如，可以根据以下表达式5来计算统计T。
[数学式5]
Figure BDA0001276800410000112
如果表达式5被使用，则统计T被确定为校正目标深度D(p)和每个周围像素深度D(q)的差的绝对值的加权平均值。同样通过该计算方法，统计T指示在目标像素中被估计是正确的深度值和实际深度值之间的差。
统计T还可以用其他计算公式确定，比如进一步根据目标像素p和每个周围像素q之间的空间距离|p-q|将用具有某个分散(dispersion)的高斯分布表达的权重添加到表达式4或5。权重计算(S31)和统计计算(S32)的一部分可以通过滤波器处理来同时实现。如果如表达式3的情况下那样用0或1表达权重W，则可以通过仅选择其权重W为1的像素来计算统计T。
然后在步骤S33中，转换单元1334计算置信系数C。置信系数C根据上述统计T确定。例如，如果用表达式4计算统计T，则确定当统计T高时可靠性较低并且当统计T低时可靠性较高。尽管从统计T确定置信系数C的方法依赖于统计T如何被计算而不同，但是可以使用例如以下转换公式。
[数学式6]
Figure BDA0001276800410000121
Tmin表示统计T的最小值，Tmax表示统计T的最大值。当统计T为Tmax时，置信系数C变为1，当统计T为Tmin时，置信系数C变为0，并且当统计T在0和1之间时，置信系数C连续地改变。
可以基于统计T和阈值的比较来将置信系数C二值化。换句话说，置信系数C可以被如下确定为二进制值，将指示高置信的值视为1，并且将指示低置信的值视为0。
[数学式7]
Figure BDA0001276800410000122
L表示阈值。换句话说，当统计T用表达式4确定时，通过将每个周围像素的深度的加权平均值和校正目标深度之间的差的绝对值与阈值L进行比较来确定置信系数。具体地说，如果统计T大于阈值，则确定深度值是不可靠的，并且如果统计T是阈值或更小，则确定深度值是可靠的。
图5A至图5C分别是描绘所获取的深度图像数据中的深度值D、在步骤S32中确定的统计T以及在步骤S33中确定的置信系数C的示例的示图。图5A至图5C示出图4B中的A-A’截面部分中的值。在图5A中，虚线指示图4B中的A-A’截面部分中的未校正的深度值，实线指示每个周围像素深度的加权平均深度值。每个周围像素深度的加权平均值是使用基于亮度图像中的相似性S的权重W计算得到的，因此不同物体的区域中的深度值从不被平均。这里假定不同物体具有相互不同的亮度分布(颜色分布)并且不同物体区域是不相似的。在图5A中，点A1指示物体边界，点A2指示未校正的深度值和加权平均值变为同一值的点，点A3指示误差区域和无误差区域之间的边界。
图5B示出了图4B中的A-A’截面中的统计T。统计T在这里被假定为是基于未校正的深度(图5A中的虚线)和每个周围像素深度的加权平均值(图5A中的实线)之间的差的绝对值确定的，换句话说，是通过使用表达式4确定的。点A4指示具有与点A3处的统计T(A3)相同的统计值的点。在图5B中，如果表达式7的阈值L被设置为点A3处的统计T(A3)的值，则置信系数在区域A1至A4中变为0，并且置信系数在其他区域中变为1。换句话说，图5C中所示的置信系数C是通过将阈值L设置为点A3处的统计T(A3)而获取的。因为区域A1至A4是误差区域，所以这些区域的置信系数被正确地计算。如果阈值L被设置为比统计T(A3)的值大的值，则具有低置信系数的区域变得较窄。如果阈值L被设置为比统计T(A3)的值小的值，则更宽的区域可以具有低置信系数，但是点A3附近的部分(其不是误差区域)也被认为具有低置信系数。考虑到这，优选的是使用点A3处的统计T(A3)作为表达式7的阈值L。
但是，阈值L无需总是为点A3处的统计T(A3)。阈值L可以根据情况来确定，因为不管阈值L的值是比统计T(A3)高一些、还是低一些，都可以实现适当的效果。
误差区域和无误差区域之间的边界(点A3)处的统计T(A3)的具体值依赖于拍摄的图像中所包括的前景中的物体和背景中的物体之间的深度差而改变。例如，如果物体的深度差小，则与当深度差大时的情况相比，点A3处的统计T(A3)的值变小。因此，为了防止可靠的深度信息在置信系数计算处理中被确定为置信系数0的情况，在物体之间的深度差为最大值时的点A3处的统计T值预先确定，并且使用该值作为阈值L。例如，如果关于深度的信息以8位格式表达，则最大深度差是与0相对应的深度和与255相对应的深度之间的差。可以基于深度图计算方法来预先估计点A3的位置，该位置是存在于误差区域和无误差区域的边界与物体边界之间的像素的数量。例如，如果使用模板匹配，则估计与物体边界相距与窗口大小等同的数量的像素的位置变为误差区域和无误差区域之间的边界。
如果阈值L被像这样确定，则其中置信系数被确定为0的区域在其中物体之间的深度差小的边界区域中变小，但是可靠区域将从不被确定为置信系数0。如上所述，优选地根据情况通过计算、仿真等来事先确定阈值L。
阈值L可以被动态地改变，而不是被设置为预定值。如上所述，误差区域和无误差区域之间的边界中的统计的值主要由前景物体和背景物体之间的深度差确定。因此，可以基于对其计算置信系数的目标像素的周围区域中的深度的最大值和最小值之间的差来确定阈值L。然后，可以更适当地计算置信系数。
尽管置信系数可以通过上面的方法获取(即，误差区域可以被确定)，但是仍存在被确定为可靠的不可靠区域(图5C中的从点A4到点A3的区域)。为了改进计算置信系数的准确度，期望的是重复置信系数获取处理(统计计算处理S32和置信系数计算处理S33)。图2C示出了重复置信系数获取处理的情况下的流程图。确定处理S40被添加在置信系数计算处理S33之后，但是其他处理与图2B基本上相同。但是，在第二处理或后面的处理中，在紧邻的前一处理中计算的置信系数用作暂时置信系数。例如，如果当计算统计Ti+1时置信系数Ci用作暂时置信系数，则以下表达式8可以用作统计的计算公式。
[数学式8]
Figure BDA0001276800410000151
这里，下标i指示该值是在第i次(i是1或更大的整数)处理中计算的。无论重复计数是多少，权重W(和相似性S)以及深度值D的值都不改变。
在该实施例中，被确定为置信系数0的像素的置信系数计算结果被假定为是正确的。因此，在前一重复处理中被确定为置信系数0的像素被认为是置信系数0，而不再次执行计算。换句话说，其Ci(p)＝0的像素p被认为Ci+1(p)＝0。从而，不仅可以减少计算量，而且还可以防止不可靠像素被错误地确定为可靠的检测误差。
将参照图6A至图6C来描述将每个周围像素的置信系数C作为权重添加的影响。图6A至图6C分别示出了深度值D、统计T以及置信系数C，就像图5A至图5C那样。这里假定图6A中所示的从点A1到点A4的区域具有低置信系数并且其他区域具有高置信系数。图6A中的实线指示使用该置信系数作为权重的每个周围像素深度的加权平均值(表达式8中的绝对值中的第一项)。与图5A相比，加权平均值更接近于正确值，因为已经计算的置信系数为0的区域的深度值不被用于计算加权平均值。如图6B所示，用表达式8计算的统计T在误差区域中变为比图5B大的值，因为加权平均值更接近于真实值。因此，如果点A3处的统计T的值用作阈值L，则如上所述，更宽的区域(点A1到点A4’的区域)可以具有置信系数0。通过重复上面的处理，被确定为置信系数0的区域和误差区域可以被更准确地匹配。对于重复处理中的阈值L，如上所述，可以使用计算、仿真等来预先确定多个值。在该条件下，优选的是每次重复处理的次数增大时降低阈值。确定重复确定处理S70的结束的方式例如是：确定是否达到预定重复计数；确定被新确定为置信系数0的像素的数量是否是预定值或更小；或者确定其中置信系数不为0的可靠区域中的统计的分散是否是预定值或更小。此外，可以用统计的值近似地计算在校正处理之后存留的误差，因此可以基于统计的值来确定是否执行重复处理。
代替表达式4，表达式8不仅可以用于第二重复处理和后面的重复处理，而且还可以用于第一计算处理(包括不执行重复处理的情况)。在这种情况下，必须用不同于上述方法的方法来计算暂时置信系数(C0)。该方法不被特别地限制。例如，当深度图生成单元132计算深度信息时获取的置信系数可以用作暂时置信系数。例如，深度图生成单元132可以基于拍摄的图像中的物体的纹理程度、亮度值等来计算置信系数。具体地说，确定其中不存在很多纹理的区域或其亮度低的区域中的深度信息具有低置信系数。
上述置信系数计算方法还可以用于对除物体边界中的误差之外的误差进行估计。例如，该置信系数计算方法可以用于对在计算深度时在具有可测大小的区域中生成的误差进行估计。通过该方法，即使对于在同一个物体内生成重大误差的区域，也可以确定置信系数。
然后在步骤S34中，深度图校正单元134使用在步骤S33中计算的置信系数来对深度图进行校正。校正处理的示例是以下滤波器处理。
[数学式9]
Figure BDA0001276800410000161
在表达式9中，D表示未校正的深度值，D’表示校正的深度值。I表示拍摄的图像数据中的像素的亮度值或颜色信息。p表示深度图像数据中的校正目标像素的位置，q表示校正目标像素p的周围像素的位置。G表示高斯函数(σs和σr是分散值)，其中，Gσs和Gσr可以是不同的高斯函数，或者可以是相同的高斯函数。Q’表示计算范围(一组像素q)，并且如果S大，则周围像素q的数量也增加。C表示最后获取的置信系数。如果置信系数C高，则Th被设置为1，如果置信系数C低，则Th被设置为0。例如，如果置信系数C在0或更大、1或更小的数值范围中，那么如果置信系数C为0.5或更大，则Th被设置为1，如果C小于0.5，则Th被设置为0。如果C仅取两个值(0和1)，则Th(C)可以用C替代(即，Th(C)＝C)。
根据该实施例，可以对深度图像数据设置正确的置信系数。如果基于正确的置信系数信息对深度信息进行校正，则可以以甚至更高的准确度对深度图像数据进行校正。
(实施例1的修改)
表达式8和表达式9的第一项具有非常相似的形式。因为表达式9是校正的深度信息，所以由表达式8(和表达式4)定义的统计T可以被认为是校正的深度信息和未校正的深度信息之间的差的绝对值。因此，实施例1的置信系数计算处理也可以用图7所示的处理来实现。换句话说，相似性获取单元1331计算拍摄的图像中目标像素p及其周围像素q之间的相似性S(表达式1)。然后，深度图校正单元134利用基于计算的相似性S的权重W(例如，Gσs(|p-q|)×Gσr(S))使用深度图像中的每个周围像素q的深度值D来对目标像素p的深度值进行校正(表达式9)。然后，统计获取单元1333计算目标像素p中的未校正的深度值D和校正的深度值D’之间的差的绝对值作为统计T(对应于表达式8)。最后，转换单元1334将统计T转换为置信系数C(表达式6或表达式7)。
对深度图像的校正处理不限于特定的计算方法。如果通过考虑拍摄的图像中的相似性和每个周围像素的深度信息可以减小目标像素中的估计的深度信息与真实值的差，则对深度图像的校正处理可以是除上述校正处理之外的任何校正处理。换句话说，可以通过将用任何手段校正的深度信息和未校正的深度信息进行比较来设置深度信息的置信系数。如果上述重复处理被执行，则校正的深度信息被获取，并且此后置信系数被确定。如果校正充分了，则校正处理可以被确定为在该阶段结束，因此重复计数可以基于校正结果被确定。
如上所述，如果置信系数计算处理被重复，则可以使用在前一处理中确定的置信系数信息来对深度图像进行校正。不管统计的值如何，已经通过前一处理被确定为不可靠的像素都可以被确定为置信系数0。确定重复处理结束的具体示例是：确定是否达到预定次数；确定通过深度图像校正处理的校正量的最大值是否变为预定值或更小；被新确定为置信系数0的像素的数量是否是预定值或更小。
在实施例1的方法中，对统计的计算处理和深度图像的校正处理具有不同的内容，但是在该修改的方法中，这两个计算的主要部分是可以共享的，因此同一个操作电路可以用于这些处理，这可以降低成本。此外，深度图像是在统计被计算时被校正的，因此在置信系数信息被计算之后不必再次对深度图像进行校正，这使计算量降低。
(实施例2)
在实施例1中，使用拍摄的图像数据和深度图像数据来生成置信系数信息数据并且对深度信息进行校正。另一方面，实施例2示出，可以使用除拍摄的图像数据和深度图像数据之外的数据来生成置信系数信息，并且执行校正处理。图8示出了实施例2的数据处理装置。流程图与实施例1的流程图是相同的。将集中于不同于实施例1的方面来描述根据实施例2的图像处理方法。
数据处理装置81具有第一图像数据输入单元810、第二图像数据输入单元811、置信系数数据计算单元812以及第二图像数据校正单元813。要作为参考的图像数据(第一图像数据)输入到第一图像数据输入单元810。第一图像数据可以是亮度图像数据或者可以是已经校正的深度图像数据，或者使用在理论上被设计为在物体边缘附近的区域中不生成误差的方法获取的深度图像数据例如可以被使用。第一图像数据可以是关于红外光、偏振光等的信息。如果亮度图像等被作为第一图像数据获取，则如图1所示，数据处理装置81可以被包括在成像装置中。如果第一图像数据例如是深度图像数据，则数据处理装置可以包括生成例如深度图像数据的数据生成单元。如果第一图像数据是深度图像数据，则表达式1中的I对应于深度值(其不包括物体边界中的误差)。
要作为置信系数的计算目标的图像数据(第二图像数据)输入到第二图像数据输入单元811。第二图像数据是其视点与第一图像数据近似相同的图像数据，并且优选地是表示与第一图像数据不同的信息的图像数据。第二图像数据是包括物体边界中的误差的图像数据。第一图像数据和第二图像数据可以用不同的计算方法计算，但是具有相同的内容。第一图像数据和第二图像数据无需总是具有相同的视角，所以要求第二数据被包括在第一图像数据中。换句话说，第一图像数据的视角可以与第二图像数据的视角是相同的，或者大于第二图像数据的视角。
第二图像数据的除深度图像数据之外的示例是运动数据(光流(optical flow))。运动数据是表示物体的运动(在一些情况下可以包括照相机的运动)的数据。例如，对于每个像素，运动数据包括水平方向(x方向)和垂直方向(y方向)上的速度。一般地，对于物体的运动信息，以预定时间间隔拍摄两个亮度图像，通过执行这两个图像的模板匹配来计算最可能的对应的位置，并且基于物体的移动距离和拍摄时间间隔来计算水平方向和垂直方向上的每个速度。如果速度值相互不同的像素共存于模板匹配的窗口中，则计算中间速度，因为该多个速度值被混合。换句话说，在像素正在以不同速度值移动的物体边界中，要被计算的运动信息(速度)具有误差。如果第二图像数据是运动数据，则表达式4中的D对应于水平方向上的速度值和垂直方向上的速度值。
第二图像数据可以是红外图像或偏振图像。在一些情况下，由于透镜的色差的影响和特殊传感器结构，红外图像或偏振图像的分辨率低于RGB图像。同样在这种情况下，有可能的是误差已经在物体边界部分中生成。
作为上述示例，第二图像数据是在不同物体之间的边界部分中具有误差的数据。当第二图像数据具有小于第一图像数据的数据大小(较小的数据量)时，可以执行扩大(数据插值)处理。在这种情况下，通过扩大处理，在物体边界附近的区域中生成误差。该放大处理之后的图像数据可以用作第二图像数据。例如，获取上述红外图像或偏振图像的图像传感器可以包括仅用于特定像素的红外滤色器或偏振过滤器。在这种情况下，所获取的红外图像或偏振图像可以具有与RGB图像相比较小的大小，因此可以执行放大处理。第二图像数据可以由不同于数据处理装置81的装置生成并且被输入到数据处理装置81，或者可以由数据处理装置81从第一图像数据或其他信息生成。
如上所述，如果第二图像数据具有误差并且第一图像数据是要作为校正参考的数据，则可以以与实施例1相同的方式执行后续的权重计算S31、统计计算S32、置信系数计算S33以及校正处理S34的处理。依赖于所述数据，可以生成多个校正目标数据，但是对每个校正目标的处理基本上是相同的。例如，在运动数据的情况下，使用相同的方法来独立地执行水平方向上的运动数据校正处理和垂直方向上的运动数据校正处理。
根据该实施例，置信系数可以针对具有误差的不限于深度图像数据的各种数据设置。此外，可以通过基于置信系数执行校正处理来更准确地对数据进行校正。
(实施例3)
在实施例1中，如图4C所示，物体边界部分中的误差逐渐地改变。在实施例3中，如图9所示，对包括误差的图像(第二图像)计算置信系数并且校正信息，在该图像中，在物体边界部分中的一个物体的深度值与另一物体的深度值近似相同。在实施例3中，目标是包括误差的深度图像，在该图像中，在物体边界中的背景物体的深度值被计算为前景物体的深度值。深度图像的误差类型由深度图像的计算方法确定。
实施例3的处理如图2A至图2C中的流程图中所示，就像实施例1那样。现在将参照图2B、集中于不同于实施例1的方面来描述实施例3的数据处理方法。在实施例3中，描述对亮度信息和深度信息进行处理的示例，但是如实施例2中所述，可以对其他数据执行相同的计算。
相似性计算处理S31与实施例1是相同的。在统计计算处理S32中，例如每个周围像素深度的加权平均值和校正目标像素的深度之间的差被假定为是统计T。
[数学式10]
Figure BDA0001276800410000211
图10A中的实线指示第一项中的每个周围像素深度的加权平均值，图10B示出了用表达式10确定的统计T。统计T无需总是用表达式10确定。如表达式8所示，可以使用预先计算的置信系数信息来计算统计T。在图10A和图10B中，点B1指示物体边界，点B2指示误差区域和无误差区域之间的边界。因为权重是基于亮度图像的相似性确定的，所以深度超过点B1不被平均。
在置信系数计算处理S33中，根据上述统计来确定置信系数C。如上所述，在该实施例中，处理目标是深度图像，在该图像中，前景物体的深度值被计算为背景物体的深度值，因此如果使用表达式10来计算统计T，则可以基于统计T是正值、还是负值来确定置信系数。如果指示可靠的置信系数为1并且指示不可靠的置信系数为0，则如表达式11所示，可以用统计T的符号来确定置信系数C。
[数学式11]
Figure BDA0001276800410000212
通过该计算方法，点B1到点B2的范围中的深度值可以被确定为不可靠。在表达式11中，基于统计T是正值、还是负值来确定置信系数，但是即使在除误差区域之外的区域中，每个周围像素的加权平均深度值和校正目标像素的深度值也可以依赖于噪声而不同，在这种情况下，表达式10的值可以是正的或负的。为了防止在这种情况下将不包括误差的像素确定为不可靠的，当T<a(a<0)时，可以设置C(p)＝0。
根据该实施例，可以通过根据物体边界部分中的误差的形式执行统计和置信系数计算来设置正确的置信系数。
置信系数的具体计算方法必须依赖于误差在置信系数计算目标图像中是如何生成的而被适当地改变。例如，如果深度图像包括其中前景物体的深度值被计算为背景物体的深度的误差，则当用表达式10计算的统计T为正的时，该图像应被确定为不可靠的。
(其他示例)
本发明的上述数据处理装置和方法可以适用于成像装置(比如数字照相机和摄影机)或对成像装置获取的图像数据执行图像处理的图像处理装置、计算机等。本发明的技术也可以应用于合并该成像装置或图像处理装置的各种电子装置(包括便携式电话、智能电话、笔直型终端以及PC)。在上面的实施例中，图像处理装置的功能被合并到成像装置的主单元中，但是图像处理装置的功能可以以任何方式配置。例如，图像处理装置可以被合并到具有成像装置的计算机中，使得该计算机获取成像装置拍摄的图像，并且基于获取的图像来执行上述图像处理方法。图像处理装置可以被合并到可以经由线缆或无线电接入网络的计算机中，使得计算机经由网络获取多个图像并且基于这些图像来执行图像处理方法。所获取的深度信息可以用于各种图像处理，比如图像的区域划分、3D图像和深度图像的生成以及模糊效果的仿真。
数据处理方法可以通过软件(程序)或硬件安装在上述装置中。例如，实现本发明的目的的各种处理可以通过将程序存储在合并在成像装置中的计算机(例如，微计算机、FPGA)的存储器中并且允许计算机执行该程序来实现。通过逻辑电路实现本发明的处理中的全部或部分的专用处理器(比如ASIC)可以优选地设置。
本发明还可以通过将实现上面的实施例的一个或多个功能的程序经由网络或存储介质供给系统或装置使得系统或装置的计算机中的一个或多个处理器读取并执行该程序来实现。本发明还可以通过实现一个或多个功能的电路(例如，ASIC)来实现。
本发明的实施例(一个或多个)还可以通过读出并执行记录在存储介质(也可以被更确切地称为“非暂时性计算机可读存储介质”)上的执行上述实施例(一个或多个)中的一个或多个的功能的计算机可执行指令(例如，一个或多个程序)、和/或包括用于执行上述实施例(一个或多个)中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，并且本发明的实施例(一个或多个)还可以通过系统或装置的计算机通过例如从存储介质读出执行上述实施例(一个或多个)中的一个或多个的功能的计算机可执行指令并执行这些计算机可执行指令和/或控制执行上述实施例(一个或多个)中的一个或多个的功能的一个或多个电路而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括读出并执行所述计算机可执行指令的独立计算机或独立处理器的网络。计算机可执行指令可以例如从网络或存储介质提供给计算机。所述存储介质可以包括例如以下中的一个或多个：硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的储存器、光盘(比如紧凑盘(CD)、数字多功能盘(DVD)或蓝光光盘(BD)TM)、闪存器件、内存卡等。
虽然已经参照示例性实施例描述了本发明，但是要理解本发明不限于所公开的示例性实施例。以下权利要求的范围要被赋予最广泛的解释以便包含所有这样的修改以及等同的结构和功能。
本申请要求2014年10月27日提交的日本专利申请No.2014-218646的权益，该申请通过引用整体并入本文。

Claims (28)

1.一种用于从第一图像数据和第二图像数据计算置信系数数据的数据处理装置，该置信系数数据指示第二图像数据的像素的至少一部分的像素值的置信系数，
该数据处理装置包括：
相似性获取单元，适于获取第一图像数据的与置信系数数据的目标像素相对应的第一像素的像素值和第一像素的周围区域中的多个第二像素的每个像素值之间的相似性；以及
置信系数获取单元，适于从相似性、第二图像数据的与第一像素相对应的第三像素的像素值以及在第三像素的周围区域中的与多个第二像素中的每一个相对应的多个第四像素的每个像素值获取置信系数，该置信系数是置信系数数据的目标像素的像素值，其中，
置信系数获取单元进一步适于通过以下方式来获取置信系数：从相似性和多个第四像素的每个像素值来确定在第三像素中被估计是正确的像素值，并且将第三像素的像素值和在第三像素中被估计是正确的像素值进行比较，
置信系数获取单元适于基于通过以下表达式计算的值来计算置信系数：
[数学式1]
Figure FDA0002943632100000011
其中，p表示第三像素，q表示第四像素，Q表示第四像素的集合，W(q)表示与第四像素q相对应的第二像素的相似性，D(q)表示第四像素q的像素值，D(p)表示第三像素p的像素值。
2.根据权利要求1所述的数据处理装置，其中，
置信系数获取单元进一步适于通过使用相似性作为权重对多个第四像素的像素值或从该像素值导出的值执行加权平均处理来获取置信系数。
3.根据权利要求1所述的数据处理装置，其中，
置信系数获取单元进一步适于确定与第三像素的像素值和在第三像素中被估计是正确的像素值之间的差相对应的值并且基于该值来获取置信系数。
4.根据权利要求1所述的数据处理装置，其中，
置信系数获取单元进一步适于：在通过表达式A计算的值的绝对值大于阈值时获取指示低置信系数的值作为目标像素的像素值，并且在通过表达式A计算的值的绝对值是阈值或更小时获取指示高置信系数的值作为目标像素的像素值。
5.根据权利要求4所述的数据处理装置，其中，
在位置与物体边界相距预定数量的像素的像素中，阈值被设置为表达式A的值。
6.根据权利要求1所述的数据处理装置，其中，
置信系数获取单元进一步适于在通过表达式A计算的值是负值时获取指示低置信系数的值作为目标像素的像素值，并且在通过表达式A计算的值是正值时获取指示高置信系数的值作为目标像素的像素值。
7.一种用于从第一图像数据和第二图像数据计算置信系数数据的数据处理装置，该置信系数数据指示第二图像数据的像素的至少一部分的像素值的置信系数，
该数据处理装置包括：
相似性获取单元，适于获取第一图像数据的与置信系数数据的目标像素相对应的第一像素的像素值和第一像素的周围区域中的多个第二像素的每个像素值之间的相似性；以及
置信系数获取单元，适于从相似性、第二图像数据的与第一像素相对应的第三像素的像素值以及在第三像素的周围区域中的与多个第二像素中的每一个相对应的多个第四像素的每个像素值获取置信系数，该置信系数是置信系数数据的目标像素的像素值，其中，
置信系数获取单元进一步适于通过以下方式来获取置信系数：从相似性和多个第四像素的每个像素值来确定在第三像素中被估计是正确的像素值，并且将第三像素的像素值和在第三像素中被估计是正确的像素值进行比较，
置信系数获取单元进一步适于基于通过以下表达式计算的值来计算置信系数：
[数学式2]
Figure FDA0002943632100000031
其中，p表示第三像素，q表示第四像素，Q表示第四像素的集合，W(q)表示与第四像素q相对应的第二像素的相似性，D(q)表示第四像素q的像素值，D(p)表示第三像素p的像素值。
8.根据权利要求7所述的数据处理装置，其中，
置信系数获取单元适于在通过表达式B计算的值大于阈值时获取指示低置信系数的值作为目标像素的像素值，并且在通过表达式B计算的值是阈值或更小时获取指示高置信系数的值作为目标像素的像素值。
9.一种用于从第一图像数据和第二图像数据计算置信系数数据的数据处理装置，该置信系数数据指示第二图像数据的像素的至少一部分的像素值的置信系数，
该数据处理装置包括：
相似性获取单元，适于获取第一图像数据的与置信系数数据的目标像素相对应的第一像素的像素值和第一像素的周围区域中的多个第二像素的每个像素值之间的相似性；以及
置信系数获取单元，适于执行置信系数的获取处理，所述获取处理包括从相似性、第二图像数据的与第一像素相对应的第三像素的像素值以及在第三像素的周围区域中的与多个第二像素中的每一个相对应的多个第四像素的每个像素值获取置信系数，该置信系数是置信系数数据的目标像素的像素值，其中，
所述获取处理进一步包括通过以下方式来获取置信系数：从相似性和多个第四像素的每个像素值来确定在第三像素中被估计是正确的像素值，并且将第三像素的像素值和在第三像素中被估计是正确的像素值进行比较，
所述获取处理进一步包括通过进一步使用第三像素的像素值的暂时置信系数和多个第四像素的每个像素值来获取置信系数，
所述获取处理进一步包括基于通过以下表达式计算的值来计算置信系数：
[数学式3]
Figure FDA0002943632100000041
其中，p表示第三像素，q表示第四像素，Q表示第四像素的集合，W(q)表示与第四像素q相对应的第二像素的相似性，D(q)表示第四像素q的像素值，D(p)表示第三像素p的像素值，C(q)表示第四像素q的像素值的暂时置信系数。
10.根据权利要求9所述的数据处理装置，其中，
置信系数获取单元进一步适于重复地执行所述获取处理，并且
暂时置信系数是通过紧邻的前一重复处理获取的置信系数。
11.根据权利要求10所述的数据处理装置，其中，
在重复处理中的第一次获取处理中，置信系数获取单元使用通过与所述重复处理中的后续获取处理中的方法不同的方法预先确定的置信系数作为暂时置信系数。
12.根据权利要求10所述的数据处理装置，其中，
置信系数获取单元进一步适于基于置信系数的结果来确定重复处理的重复计数。
13.根据权利要求9所述的数据处理装置，其中，
置信系数获取单元进一步适于在通过表达式C计算的值的绝对值大于阈值时获取指示低置信系数的值作为目标像素的像素值，并且在通过表达式C计算的值的绝对值是阈值或更小时获取指示高置信系数的值作为目标像素的像素值。
14.根据权利要求13所述的数据处理装置，其中，
置信系数获取单元进一步适于重复地执行所述获取处理，并且重复计数越高，所述阈值被设置得越低。
15.根据权利要求9所述的数据处理装置，其中，
暂时置信系数是基于物体的纹理程度计算的。
16.根据权利要求9至15中任一项所述的数据处理装置，其中，
相似性为值0或1。
17.根据权利要求9至15中任一项所述的数据处理装置，其中，
第二图像数据的周围区域的大小大于物体边界的第二图像数据的像素值包括误差的区域的大小。
18.根据权利要求9所述的数据处理装置，其中，
置信系数获取单元进一步适于在通过表达式C计算的值是负值时获取指示低置信系数的值作为目标像素的像素值，并且在通过表达式C计算的值是正值时获取指示高置信系数的值作为目标像素的像素值。
19.根据权利要求9至15中任一项所述的数据处理装置，进一步包括校正单元，该校正单元适于使用由置信系数获取单元获取的置信系数对第二图像数据进行校正。
20.根据权利要求9至15中任一项所述的数据处理装置，其中，
第一图像数据和第二图像数据是指示视点近似相同的不同信息的图像数据，并且
第一图像数据的视角等于或大于第二图像数据的视角。
21.根据权利要求9至15中任一项所述的数据处理装置，其中，
第二图像数据是包括物体边界中的误差的图像数据。
22.根据权利要求9至15中任一项所述的数据处理装置，其中，
第一图像数据是具有作为像素值的亮度或颜色信息的图像数据，并且第二图像数据是具有作为像素值的深度信息的图像数据。
23.根据权利要求9至15中任一项所述的数据处理装置，其中，
第一图像数据是具有作为像素值的亮度或颜色信息的图像数据，并且
第二图像数据是具有作为像素值的运动信息的图像数据。
24.根据权利要求9至15中任一项所述的数据处理装置，其中，
第一图像数据是具有作为像素值的深度信息的图像数据，并且
第二图像数据是具有作为像素值的运动信息的图像数据。
25.根据权利要求22所述的数据处理装置，其中，
相似性获取单元适于基于第一像素和多个第二像素中的每一个之间的亮度差或颜色差来获取多个第二像素中的每一个的相似性。
26.一种成像装置，包括：
成像元件；以及
根据权利要求1-25中任一项所述的数据处理装置。
27.一种由用于从第一图像数据和第二图像数据计算置信系数数据的数据处理装置执行的数据处理方法，该置信系数数据指示第二图像数据的像素的至少一部分的像素的像素值的置信系数，
该方法包括：
相似性获取步骤，用于获取第一图像数据的与置信系数数据的目标像素相对应的第一像素的像素值和第一像素的周围区域中的多个第二像素的每个像素值之间的相似性；以及
置信系数获取步骤，用于从相似性、第二图像数据的与第一像素相对应的第三像素的像素值以及在第三像素的周围区域中的与多个第二像素中的每一个相对应的多个第四像素的每个像素值获取置信系数，该置信系数是置信系数数据的目标像素的像素值，其中，
在置信系数获取步骤中，从相似性和多个第四像素的每个像素值来确定在第三像素中被估计是正确的像素值，并且将第三像素的像素值和在第三像素中被估计是正确的像素值进行比较，由此获取置信系数，
在置信系数获取步骤中，适于基于通过以下表达式计算的值来计算置信系数：
[数学式1]
Figure FDA0002943632100000071
其中，p表示第三像素，q表示第四像素，Q表示第四像素的集合，W(q)表示与第四像素q相对应的第二像素的相似性，D(q)表示第四像素q的像素值，D(p)表示第三像素p的像素值。
28.一种存储程序的非暂时性计算机可读介质，该程序在由计算机运行时，使该计算机执行用于从第一图像数据和第二图像数据计算置信系数数据的数据处理方法，该置信系数数据指示第二图像数据的像素的至少一部分的像素的像素值的置信系数，
该方法包括：
相似性获取步骤，获取第一图像数据的与置信系数数据的目标像素相对应的第一像素的像素值和第一像素的周围区域中的多个第二像素的每个像素值之间的相似性；以及
置信系数获取步骤，从相似性、第二图像数据的与第一像素相对应的第三像素的像素值以及在第三像素的周围区域中的与多个第二像素中的每一个相对应的多个第四像素的每个像素值获取置信系数，该置信系数是置信系数数据的目标像素的像素值，其中，
在置信系数获取步骤中，从相似性和多个第四像素的每个像素值来确定在第三像素中被估计是正确的像素值，并且将第三像素的像素值和在第三像素中被估计是正确的像素值进行比较，由此获取置信系数，
在置信系数获取步骤中，基于通过以下表达式计算的值来计算置信系数：
[数学式1]
Figure FDA0002943632100000081
其中，p表示第三像素，q表示第四像素，Q表示第四像素的集合，W(q)表示与第四像素q相对应的第二像素的相似性，D(q)表示第四像素q的像素值，D(p)表示第三像素p的像素值。
CN201580057614.6A 2014-10-27 2015-10-15 数据处理装置、成像装置和数据处理方法 Active CN107077725B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-218646 2014-10-27
JP2014218646A JP5980294B2 (ja) 2014-10-27 2014-10-27 データ処理装置、撮像装置、およびデータ処理方法
PCT/JP2015/005213 WO2016067541A1 (en) 2014-10-27 2015-10-15 Data processing apparatus, imaging apparatus and data processing method

Publications (2)

Publication Number Publication Date
CN107077725A CN107077725A (zh) 2017-08-18
CN107077725B true CN107077725B (zh) 2021-06-08

Family

ID=55856910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580057614.6A Active CN107077725B (zh) 2014-10-27 2015-10-15 数据处理装置、成像装置和数据处理方法

Country Status (5)

Country Link
US (2) US10547824B2 (zh)
EP (1) EP3213290B1 (zh)
JP (1) JP5980294B2 (zh)
CN (1) CN107077725B (zh)
WO (1) WO2016067541A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021759A (ja) * 2015-07-15 2017-01-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
US10096122B1 (en) 2017-03-28 2018-10-09 Amazon Technologies, Inc. Segmentation of object image data from background image data
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
US10217195B1 (en) 2017-04-17 2019-02-26 Amazon Technologies, Inc. Generation of semantic depth of field effect
US10325354B2 (en) * 2017-04-28 2019-06-18 Qualcomm Incorporated Depth assisted auto white balance
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
EP3721358B1 (en) * 2017-12-07 2022-08-17 Renesas Electronics Corporation Data processing apparatus and data processing method
US11263751B2 (en) * 2018-10-26 2022-03-01 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation using an event sensor
FR3088510A1 (fr) * 2018-11-09 2020-05-15 Orange Synthese de vues
CN109767467B (zh) * 2019-01-22 2020-11-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
JP7362265B2 (ja) * 2019-02-28 2023-10-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN110378944B (zh) * 2019-07-11 2021-05-25 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110378946B (zh) * 2019-07-11 2021-10-01 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
JP7451264B2 (ja) 2020-03-31 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022047898A (ja) * 2020-09-14 2022-03-25 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮像装置、信号処理方法
CN112349150B (zh) * 2020-11-19 2022-05-20 飞友科技有限公司 一种机场航班保障时间节点的视频采集方法和系统
CN113191255A (zh) * 2021-04-28 2021-07-30 浙江大学 一种基于移动机器人的交通标志识别方法
GB2608496B (en) * 2021-05-07 2024-04-24 Canon Kk Image processing apparatus and method, and image capturing apparatus and control method thereof, program, and storage medium
US20230134909A1 (en) * 2021-11-04 2023-05-04 SK Hynix Inc. Defect inspection system and semiconductor fabrication apparatus including a defect inspection apparatus using the same
CN114519696B (zh) * 2021-12-31 2022-11-29 扬州盛强薄膜材料有限公司 基于光学智能化的pvc热收缩膜检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179414A (zh) * 2011-12-23 2013-06-26 联发科技股份有限公司 深度控制方法和装置
CN103260039A (zh) * 2012-02-17 2013-08-21 索尼公司 图像处理设备、图像处理方法以及程序

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6897976B2 (en) 1998-07-17 2005-05-24 Canon Kabushiki Kaisha Record control apparatus and recording apparatus
JP4296617B2 (ja) * 1998-10-15 2009-07-15 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JP3855812B2 (ja) 2002-03-15 2006-12-13 ソニー株式会社 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置
US8098256B2 (en) * 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
WO2011104151A1 (en) * 2010-02-26 2011-09-01 Thomson Licensing Confidence map, method for generating the same and method for refining a disparity map
US9053393B2 (en) * 2010-03-19 2015-06-09 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition
US9350982B2 (en) * 2010-07-22 2016-05-24 Seiko Epson Corporation Image display device, image supply device, and image processing method with brightness expanding processing for improved contrast sensitivity in a 3D image
JP5150698B2 (ja) 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
JP5747797B2 (ja) 2011-11-29 2015-07-15 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5865078B2 (ja) 2011-12-28 2016-02-17 キヤノン株式会社 画像処理装置および画像処理方法
JP5809574B2 (ja) 2012-01-31 2015-11-11 日本電信電話株式会社 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
US9495806B2 (en) 2012-03-29 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
JP2013218487A (ja) * 2012-04-06 2013-10-24 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
EP2902960A4 (en) * 2012-09-27 2015-09-23 Panasonic Ip Man Co Ltd STEREOSCOPIC IMAGE PROCESSING DEVICE AND STEREOSCOPIC IMAGE PROCESSING METHOD
JP6104680B2 (ja) * 2013-03-21 2017-03-29 株式会社日立国際電気 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法
US20150363913A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Adaptive filter demosaicizing for super resolution
KR102214934B1 (ko) * 2014-07-18 2021-02-10 삼성전자주식회사 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
US10679326B2 (en) 2015-11-24 2020-06-09 Canon Kabushiki Kaisha Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179414A (zh) * 2011-12-23 2013-06-26 联发科技股份有限公司 深度控制方法和装置
CN103260039A (zh) * 2012-02-17 2013-08-21 索尼公司 图像处理设备、图像处理方法以及程序

Also Published As

Publication number Publication date
JP5980294B2 (ja) 2016-08-31
WO2016067541A1 (en) 2016-05-06
US20170295355A1 (en) 2017-10-12
US10547824B2 (en) 2020-01-28
CN107077725A (zh) 2017-08-18
US20200120323A1 (en) 2020-04-16
US11044453B2 (en) 2021-06-22
EP3213290A1 (en) 2017-09-06
JP2016085637A (ja) 2016-05-19
EP3213290B1 (en) 2022-05-25
EP3213290A4 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
CN107077725B (zh) 数据处理装置、成像装置和数据处理方法
US10475237B2 (en) Image processing apparatus and control method thereof
KR101916355B1 (ko) 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치
US10306210B2 (en) Image processing apparatus and image capturing apparatus
US9576370B2 (en) Distance measurement apparatus, imaging apparatus, distance measurement method and program
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US10382671B2 (en) Image processing apparatus, image processing method, and recording medium
JP2013030895A (ja) 信号処理装置、撮像装置、信号処理方法およびプログラム
US10121067B2 (en) Image processing apparatus that determines processing target area of an image based on degree of saliency, image processing method, and storage medium
US10311327B2 (en) Image processing apparatus, method of controlling the same, and storage medium
US11080873B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US10972676B2 (en) Image processing method and electronic device capable of optimizing hdr image by using depth information
US10116865B2 (en) Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions
US11347978B2 (en) Image processing apparatus, image processing method, and image processing system
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
US10129449B2 (en) Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP2018182700A (ja) 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
JP2012235257A (ja) 撮影装置
JP2015233202A (ja) 画像処理装置および画像処理方法、並びにプログラム
US10565712B2 (en) Image processing apparatus and method for controlling the same
JP6808770B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
JP6501732B2 (ja) データ処理装置、撮像装置、およびデータ処理装置の制御方法
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
JP2016162376A (ja) 画像処理装置、撮像装置、および画像処理方法
JP6415106B2 (ja) 撮像装置及びその制御方法、並びに、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant