CN104104937B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN104104937B
CN104104937B CN201410138822.6A CN201410138822A CN104104937B CN 104104937 B CN104104937 B CN 104104937B CN 201410138822 A CN201410138822 A CN 201410138822A CN 104104937 B CN104104937 B CN 104104937B
Authority
CN
China
Prior art keywords
value
parallax
brightness
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410138822.6A
Other languages
English (en)
Other versions
CN104104937A (zh
Inventor
上森丈士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104104937A publication Critical patent/CN104104937A/zh
Application granted granted Critical
Publication of CN104104937B publication Critical patent/CN104104937B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了图像处理装置、图像处理方法以及程序。该图像处理装置包括关注区域检测单元、亮度视差转换单元以及视差估计单元。关注区域检测单元被配置为从基准图像中检测包括期望对象的关注区域。亮度视差转换单元被配置为基于使用过去帧进行估计的亮度视差转换特性来对关注区域执行亮度视差转换。视差估计单元被配置为基于基准图像与参考图像之间的相似性来进行视差估计，以及参考位置的视点位置不同于基准图像的视点位置，并且通过使用由亮度视差转换单元获得的亮度视差转换结果在关注区域内进行视差估计。

Description

图像处理装置以及图像处理方法
相关申请的交叉引用
本申请要求于2013年4月15日提交的日本优先专利申请JP2013-084669的权益，通过引用将其全部内容结合在此。
技术领域
本公开涉及图像处理装置、图像处理方法以及程序，并且其可以从具有不同视点的多个图像中以高的准确度进行视差估计。
背景技术
在相关技术中，为了显示3D图像等，获得了真实空间的三维信息。例如，日本专利申请特开公开第2001-103513号（在下文中，称之为专利文献1）公开了一种通过使用平方反比定律对距期望对象的距离进行估计的方法，平方反比定律涉及亮度，即从光源发射的光的亮度与距离平方成反比例下降。例如，在专利文献1中，当拍摄内脏器官图像时，如果图像中有亚甲基蓝，则该区域中的光吸收特性改变。对该区域进行检测，并且对图像的亮度成分值进行校正，由此来估计深度距离。
此外，在日本专利申请特开公开第2012-065851号（在下文中，称之为专利文献2）中，使用了具有不同视点的多个摄取图像，以由此获得真实空间的三维信息。例如，获得左视点处拍摄图像与右视点处拍摄图像的视差的方法之一是使用基于动态编程的立体匹配的视差估计（在下文中，称之为“DP匹配视差估计”）。通常，在DP匹配视差估计中，基于像素或者块获得左视点处拍摄图像与右视点处拍摄图像之间对应点（或者对应区域）的匹配程度。并且对于作为整体的像素行或者块行，以匹配程度变成最佳（最大）的方式来估计视差。在该DP匹配视差估计中，像素或者 块的视差被确定为使得整行变得最佳，所以，即使在图像中局部产生噪声，通常也能够对视差进行绝对的估计。此外，其还可以从专利文献2中估计的视差和诸如光线等相机参数来估计到对象的绝对距离。
发明内容
附带地,在专利文献1中，在拍摄图像中存在具有不同光吸收特性的对象的情况下，则难以对到对象的距离进行准确地估计。例如，当使用配备有双镜头相机的内窥镜系统时，外科场景图像显示为3D图像，通常，各种工具（诸如，镊子和纱布）、血、以及具有不同光吸收特性的器官混合在图像中。因此，应用有关于拍摄图像的亮度的平方反比定律难以对距离进行估计。此外，为了处理具有不同光吸收特性的多个对象，需要事先找出所有对象的亮度成分的校正系数。此外，在专利文献1中获得的估计值是表示景深程度并且并不表示绝对距离的值。
此外，在专利文献2中，在对对应点（或者对应区域）的匹配程度进行确定的情况下，使用表示匹配程度的估计值。例如，对于估计值，使用预定区域块中像素的亮度值的绝对差总和（在下文中，称之为“SAD”）或者预定区域块中像素的亮度值的平方差总和（在下文中，称之为“SSD”）。因此，例如，在图像中亮度值变化较小的区域（没有图案的区域）中，任何位置均具有相似的估计值，因此，通常不产生对应误差。此外，还是在重复相同图案的区域中，具有相似图案的区域具有相似的估计值，所以，难以获得准确的对应点（或者区域）。
鉴于上述情况，需要提供一种能够对具有不同视点的多个图像以高准确度的进行视差估计的图像处理装置、图像处理方法以及程序。
根据本技术的第一实施方式，提供一种包括关注区域检测单元、亮度视差转换单元以及亮度视差转换单元的图像处理装置。
关注区域检测单元被配置为从基准图像检测包括期望对象的关注区域。
亮度视差转换单元被配置为基于通过使用过去帧估计出的亮度视差转换特性来对关注区域执行亮度视差转换。
视差估计单元被配置为基于基准图像、参考图像以及不同于基准图像的视点位置来进行视差估计，并且使用由亮度视差转换单元获得的亮度视差转换结果在关注区域中进行视差估计。
在本技术中，从基准图像中检测期望对象的区域作为关注区域的。此外，从过去帧的关注区域的视差估计结果和亮度值来估计亮度视差转换特性，并且对基于估计结果进行检测的关注区域进行亮度视差转换。根据至期望对象的深度距离对关注区域的亮度值进行校正，并且使用校正的亮度值来进行亮度视差转换。此外，在对亮度视差转换特性进行估计时，在根据深度距离进行校正的亮度值平方根与视差值成比例的假设下，来估计比例系数和截距。例如，基于过去帧中关注区域的最大亮度值、最小亮度值、最大视差值以及最小视差值来估计亮度视差转换特性。此外，可基于关注区域中亮度值的分布和亮度值的平均值来计算最大亮度值和最小亮度值，并且可基于关注区域中视差值的分布和视差值的平均值来计算最大视差值和最小视差值。
此外，对基准图像与参考图像之间的相似性进行计算，并且基于计算的相似性来进行视差估计，参考图像的视点位置不同于基准图像的视点位置。在进行检测的关注区域时，使用亮度视差转换结果来计算相似性。例如，针对基准图像的各个视差估计目标位置以及成本值来设置第一匹配区域，并且成本值表示针对事先指定的各个视差值，第一匹配区域与参考图像中的对应于各个视差值的第二匹配区域之间的相似性。在进行检测的关注区域中，计算的成本值包括对应于指定视差值与通过亮度视差转换获得的视差值之间的差的成本值。在关注区域之外的区域中，计算成本值，没有获得差值。此外，在成本值中，包括对应于基准图像中视差估计目标位置的视差值与之前视差估计目标位置的视差值之间差的成本值。通过动态编程指定成本值变成具有最高相似性的最小值、按照这种方式计算的视差值，由此生成视差估计结果。此外，通过对基准图像的色差值和亮度值与预定阈值进行比较或者通过对基准图像进行纹理分析可检测关注区域。
根据本技术的第二实施方式，提供一种图像处理方法，其中包括：从基准图像检测包括期望对象的关注区域；基于使用过去帧估计出的亮度视 差转换特性来对关注区域执行亮度视差转换；基于基准图像、参考图像以及不同于基准图像的视点位置来进行视差估计；并且使用亮度视差转换结果在关注区域中进行视差估计。
根据本技术的第三实施方式，提供一种程序，该程序使计算机执行以下操作：从基准图像检测包括期望对象的关注区域；基于使用过去帧估计的亮度视差转换特性来对关注区域执行亮度视差转换；基于基准图像、参考图像以及不同于基准图像的视点位置来进行视差估计；并且使用亮度视差转换结果在关注区域中进行视差估计。
应当注意，根据本技术的程序是一种能够被提供给通用计算机的程序，通用计算机通过以可读计算机的形式提供的存储介质或者通信介质能够执行各种程序代码，例如，光盘、磁盘半导体内存等存储介质，以及诸如网络等通信介质。以可读计算机形式提供该程序，由此根据计算机上的程序来实现过程。
根据本技术，对于从参考图像检测的关注区域，从过去帧的关注区域的亮度值和视差估计结果来确定亮度视差转换特性，并且基于估计结果来执行亮度视差转换。此外，基于基准图像与参考图像之间的相似性执行视差估计，其中参考图像的视点位置不同于基准图像的视点位置，并且对于关注区域，通过使用亮度视差转换结果来计算相似性。即，在关注区域中，不仅使用基准图像与参考图像之间的相似性，而且还使用亮度视差转换结果，以由此进行视差估计。因此，即使在关注区域是其中基于相似性难以进行视差估计的图像的情况下，也可以从具有不同视点位置的多个图像以高准确度进行视差估计。
如附图所示，根据对最佳模式的实施方式的下列细节描述，本公开的这些目标和其他目标、特征以及优点将变得更为显而易见。
附图说明
图1A和图1B是各自示出了使用图像处理装置的图像处理系统的结构的实施例的示图；
图2是示出了图像处理装置的结构的实施例的示图；
图3是示出了关注区域转换处理单元的结构的实施例的示图；
图4是对立体相机中视差值与深度距离之间关系进行解释的示图；
图5是示出了关注区域检测单元和关注区域亮度校正单元的操作的实施例的流程图；
图6是示出了视差信息获得单元的操作的实施例的流程图；
图7是示出了在左图像被设置为基准图像的情况下亮度值与视差值之间关系的示图；
图8是示出了在右图像被设置为基准图像的情况下亮度值与视差值之间关系的示图；
图9是示出了亮度视差转换单元的操作的实施例的流程图；
图10A和图10B是在有关于左图像的视差值的情况下对操作进行解释的示图；
图11A和图11B是在有关于左图像的视差值的情况下，通过使用关注区域转换处理单元的转换结果对操作进行解释的示图；
图12是示出了立体匹配视差估计单元的实施例的流程图；并且
图13是对其中提供多个关注区域的情况进行解释的示图。
具体实施方式
在下文中，将对本技术的实施方式进行描述。应当注意，将按照下列顺序进行描述。
1.图像处理系统的结构
2.图像处理装置的结构
3.图像处理装置的操作
4.图像处理装置的其他操作
<1.图像处理系统的结构>
图1A和图1B是各自示出了使用根据本技术的图像处理装置的图像处理系统的结构的示图。图像处理系统10包括图像摄取装置20、图像处理装置30、显示装置40以及存储装置50等。如图1A所示，图像处理装置30与图像摄取装置20、显示装置40以及存储装置50连接。此外，如 图1B所示，图像处理装置30可经由有线或者无线网络连接到另一装置。而且，图像处理装置30可被整合到图像摄取装置20、显示装置40以及存储装置50的任一种中。
图像摄取装置20生成具有不同视点位置的多个拍摄图像的图像信号并且将信号提供给图像处理装置30和存储装置50。例如，图像摄取装置20生成左眼视点位置处的拍摄图像（在下文中，称之为“左图像”）和右眼视点位置（在下文中，称之为“右眼”）处的拍摄图像的图像信号，并且将图像信号提供给图像处理装置30和存储装置50。
图像处理装置30从由图像摄取装置20产生的具有不同视点位置的多个拍摄图像的图像信号或者存储在存储装置50中的具有不同视点位置的多个拍摄图像的图像信号估计视差值。图像处理装置30通过使用例如由图像摄取装置20产生或者存储在存储装置50中的左图像和右图像的图像信号来进行视差估计。图像处理装置30将视差估计结果输出给显示装置40或者存储装置50。应当注意，在通过使用存储在存储装置50中的图像信号来进行视差估计的情况下，图像处理装置30可将视差估计结果输出给存储装置50并且使存储装置50存储具有该结果和彼此相关联存储图像信号的结果。
显示装置40进行3D图像显示。显示装置40基于由图像摄取装置20生成的图像信号或者从存储装置50读取的图像信号以及由图像处理装置30进行估计的视差估计结果来进行3D图像显示。
存储装置50存储由图像摄取装置20产生的具有不同视点位置的多个拍摄图像的图像信号和图像处理装置30的视差估计结果。
<2.图像处理装置的结构>
图2是示出了根据本技术的图像处理装置的结构的示图。图像处理装置30包括关注区域转换处理单元31、立体匹配视差估计单元32以及关注区域视差信息获得单元33。
由图像摄取装置20产生的左图像和右图像的图像信号或者从存储装置50读取的左图像和右图像的图像信号被提供给立体匹配视差估计单元32。此外，将左图像和右图像中任一个作为基准的图像的图像信号被提供 给关注区域转换处理单元31。例如，在将左图像设置为基准的情况下，左图像的图像信号被提供给关注区域转换处理单元31，且左图像的图像信号作为基准图像的图像信号。
图3是示出了关注区域转换处理单元31的结构的实施例的示图。关注区域转换处理单元31包括关注区域检测单元311、关注区域亮度校正单元312、亮度信息存储单元313、视差信息存储单元314以及亮度视差转换单元315。
关注区域检测单元311基于基准图像的图像信号从基准图像中检测期望对象（经受视差估计的对象）的区域（作为关注区域）。关注区域检测单元311将检测结果输出给图2中所示的立体匹配视差估计单元32和关注区域视差信息获得单元33以及关注区域亮度校正单元312。
关注区域亮度校正单元312将关注区域中像素的亮度值校正为对应于期望对象的深度距离的亮度值。应当注意，后面将参照图4对深度距离进行描述。关注区域亮度校正单元312使用关注区域中像素的校正亮度值，由此生成亮度统计信息。例如，关注区域亮度校正单元312计算表示关注区域中亮度值、校正亮度值的平均值、最大值以及最小值的分布的函数值。关注区域亮度校正单元312将校正亮度值输出给亮度视差转换单元315。此外，关注区域亮度校正单元312使亮度信息存储单元313将生成的亮度统计信息存储到其中，从而用于对其随后帧的视差估计。
亮度信息存储单元313存储由关注区域亮度校正单元312生成的亮度统计信息。此外，在对其随后帧的关注区域进行视差估计时，使用存储在亮度信息存储单元313中的亮度统计信息。
视差信息存储单元314存储由图2中所示的关注区域视差信息获得单元33获得的关注区域的视差信息。此外，在对其随后帧的关注区域进行视差估计时，使用存储在视差信息存储单元314中的视差信息。
亮度视差转换单元315从过去帧中关注区域的亮度值与视差估计结果之间的关系估计亮度视差转换特性，并且基于估计结果对由关注区域检测单元检测的关注区域执行亮度视差转换。具体地，亮度视差转换单元315假设根据景深距离进行校正的亮度值平方根与视差值成比例，并且基于存 储在亮度信息存储单元313中的亮度统计信息和存储在视差信息存储单元314中的视差信息来估计比例系数和截距。亮度视差转换单元315使用估计的比例系数和截距，由此执行亮度视差转换并且将关注区域中校正的亮度值转换成视差值。亮度视差转换单元315将通过亮度视差转换获得的视差值输出给立体匹配视差估计单元32。
图2中所示的立体匹配视差估计单元32计算基准图像与参考图像之间的相似性，其中参考图像的视点位置不同于基准图像的视点位置，并且基于计算的相似性来进行视差估计。此外，立体匹配视差估计单元32通过使用由关注区域检测单元在关注区域中检测的亮度视差转换单元的亮度视差转换结果来计算相似性。例如，立体匹配视差估计单元32使用左图像（基准图像）的图像信号和右图像（参考图像）的图像信号，以由此进行立体匹配视差估计，从而计算有关于左图像的视差。此外，在关注区域中对视差进行估计的情况下，立体匹配视差估计单元32使用通过关注区域转换处理单元31从基准图像中的关注区域的亮度值获得的视差值，从而进行视差估计。立体匹配视差估计单元32将视差估计结果输出给关注区域视差信息获得单元33、显示装置40以及存储装置50。
基于对关注区域转换处理单元31的关注区域检测单元311中关注区域的检测结果，关注区域视差信息获得单元33通过立体匹配视差估计单元32从显示视差估计结果的视差信息中获得关注区域的视差信息。关注区域视差信息获得单元33使关注区域转换处理单元31的视差信息存储单元314存储获得的视差信息。
<3.图像处理装置的操作>
接着，将描述图像处理装置的操作。在关注区域转换处理单元31中，限制进行视差估计的期望对象，并且从对象的亮度来估计视差。具体地，从基准图像中来检测经受视差估计的期望对象的区域（关注区域），并且从关注区域的亮度值来估计视差值。在下文中，通过获得亮度值与视差值之间关系进行视差估计并且基于亮度值与视差值之间关系将亮度值转换成视差值的方法被称之为DfL（亮度差异）视差估计方法。
在DfL视差估计中，使用来自对象的反射光强度与距离平方成反比例减少的特性。此处，如表达式（1）所示，获得在拍摄图像中获得的亮度值PY与从图像摄取装置到对象上的点（光源）的距离r之间的关系。
其中，右侧与左侧之间的符号表示比例性。
此外，如图4所示，在图像摄取装置20是并行立体相机，并且右光轴和左光轴为平行的情况下，根据表达式（2）所示获得视差值d与深度距离Lz之间的关系。在这种情况下，视差值d指坐标上右图像和左图像的差值（d=xL-xR），当在右和左相机的图像摄取元件上对三维空间中的点（对象的关注位置）进行投影时，获得拍摄图像。坐标xL是光轴位置作为左图像中的参考时关注位置在X方向上的坐标，并且坐标xR是光轴位置作为右图像中的参考时关注位置在X方向上的坐标。应当注意，在图4所示的立体相机的情况下，纵向（y-轴）方向对应于“0”视差值，并且横向（x-轴）方向对应于视差值d。
如图4所示，距离r是从图像摄取装置到对象上的点（光源）的光程距离，并且深度距离Lz平行于图像摄取装置的光轴并且是从图像摄取装置到对象上的点（光源）的距离。根据表达式（3）所示确定距离（光程距离）r与深度距离Lz之间的关系。应当注意，θx是由光轴和关注位置在XZ平面上的方向形成的夹角。
Lz=rcosθx...(3)
此外，图4是示出了XZ平面的示图（示出了图像摄取装置与从上方观看的对象之间的关系的示图），但是，当包括实际三维空间时，即，图像摄取装置与对象在垂直方向上的位置关系，根据表达式（4）所示确定光程距离r与深度距离Lz之间的关系。应当注意，θy是由光轴和关注位置在YZ平面上的方向形成的夹角。
Lz=rcosθxcosθy...(4)
因此，基于表达式（1）、（2）以及（4），根据表达式（5）所示确定视差值与亮度值之间的关系，并且视差值d与校正亮度值PYC的平方根成比例关系。在表达式（5）中，通过表达式（6）中所示的修正表达式计算校正亮度值PYC。
应当注意，在表达式（3）、（4）以及（6）中，从图像摄取装置的焦点长度和拍摄图像中对象上的点（光源）坐标能够计算出由图像摄取装置的光轴与关注位置方向所形成的的夹角θx的余弦值。例如，如图4所示，当对象上的点（光源）在X-轴方向上的坐标为“xL”时，以左图像中的光轴位置作为参考的“f”表示图像摄取装置的焦点距离，可以基于表达式（7）来计算夹角θx的余弦值。此外，对于YZ平面，当对象上点（光源）的坐标在Y-轴方向上为左图像中的光轴位置作为参考的“yL”时，可以基于表达式（8）计算夹角θy的余弦值。
如表达式（5）所示，视差值与校正亮度值PYC成比例关系。因此，通过获得比例系数和截距，可以将校正的亮度值PYC转换成视差值d。
在将亮度值转换成视差值的情况下，从过去帧的关注区域的亮度值和视差估计结果来估计亮度视差转换特性。因此，在之前不对有关于对象和光源的光吸收特性的信息进行检查的情况下，可以执行亮度视差转换。此外，使用各个关注区域的过去帧的亮度值和视差估计结果对亮度视差转换特性进行估计，因此，即使混合了具有不同光吸收特性的多个对象，也可以对各个对象进行视差估计。
接着，将描述关注区域转换处理单元31中的操作。在关注区域转换处理单元31中，如上所述，亮度值被转换成视差值，因此，基准图像的色差格式被设置为“Y（亮度）、Cr（红色差）以及Cb（蓝色差）”，并且使用颜色空间格式的图像信号来进行关注区域视差估计。因此，在由图像摄取装置20等提供的图像信号为另一格式的图像信号的情况下，例如，三种基色信号，关注区域转换处理单元31执行格式转换并且然后进行视差估计。
此外，在从图像摄取装置20输出的图像信号为进行过亮度校正的图像信号的情况下，亮度值PY与距离r之间的关系并不满足表达式（1）所表达的关系。因此，关注区域转换处理单元31通过图像摄取装置20执行对应于亮度校正的反向校正。例如，在图像摄取装置20中执行γ校正的情况下，在执行γ校正之前，执行从图像摄取装置20输出的图像信号被返回至图像信号的反向γ校正，然后，进行视差估计。应当注意，在从图像摄取装置20输出的图像信号存储在存储装置50中，并且使用存储在存储装置50中的图像信号来进行视差估计的情况下，可由存储装置50执行上述反向校正和格式校正。
关注区域转换处理单元31的关注区域检测单元311基于基准图像的图像信号对关注区域进行检测。例如，关注区域检测单元311根据期望对象的亮度和颜色使用预设值的阈值，以由此对关注区域进行分割。具体地，关注区域检测单元311具有有关于亮度值PY的阈值TH_min_Y和TH_max_Y、有关于红色差值PCr的阈值TH_min_Cr和TH_max_Cr以及有关于蓝色差值PCb的阈值TH_min_Cb和TH_max_Cb。作为关注区域，关注区域检测单元311对下列区域进行检测，即，该在该区域中，亮度值PY落在从阈值TH_min_Y到TH_max_Y的范围内，红色差值PCr落在从阈值TH_min_Cr到TH_max_Cr的范围内，并且蓝色差值PCb落在从阈值TH_min_Cb到TH_max_Cb的范围内。
通过从期望对象的拍摄图像中事先找出期望对象的色差和亮度的成分，对阈值TH_min_Y、TH_max_Y、TH_min_Cr、TH_max_Cr、TH_min_Cb以及TH_max_Cb进行设置。例如，在通过内窥镜获得图像的情况下，事 先找出体内内壁表面和具体器官的色差成分，并且设置有关于色差值的阈值，从而使得仅这些区域可被提取。按照这种方式，通过适当地设置阈值，可以排除具有不同光吸收特性的其他对象。此外，通过排除产生闪光高光的这种高亮度像素和产生阻断阴影的这种低亮度像素，由于闪光高光和阻断阴影，从视差估计目标中排除基于亮度值而难以对其视差进行估计的对象。
关注区域转换处理单元31的关注区域亮度校正单元312对由关注区域检测单元311检测的关注区域中的像素进行亮度值校正。关注区域亮度校正单元312基于基准图像中关注区域的各个像素的像素位置和焦点距离执行表达式（7）和（8）中的计算，从而确定由图像摄取装置20的光轴和在关注区域中关注位置方向上的直线Lr所形成的夹角的余弦值。此外，关注区域亮度校正单元312通过使用计算的余弦值执行表达式（6）中的计算，从而对关注区域中各个像素的亮度值进行校正。
此外，关注区域亮度校正单元312使用关注区域中像素的校正亮度值PYC，从而产生亮度统计信息。在对关注区域进行校正之后，关注区域亮度校正单元312对亮度值的最大亮度值PYCmax和最小亮度值PYCmin进行确定。此外，关注区域亮度校正单元312可在对关注区域进行校正之后，对平均亮度值PYCavg和表示亮度值分布的函数值（诸如，基准偏差）进行计算。
图5是示出了关注区域检测单元和关注区域亮度校正单元的操作的实施例的流程图。在步骤ST1中，关注区域检测单元311对表示Y方向上位置的坐标值Ny进行初始化，从而将坐标值Ny设置为“0”，然后，进行到步骤ST2。
在步骤ST2中，关注区域检测单元311将表示X方向上位置的坐标值Nx进行初始化，从而将坐标值Nx设置为“0”，然后，进行到步骤ST3。
在步骤ST3中，关注区域检测单元311获得位置（Nx，Ny）的像素值。关注区域检测单元311获得位置（Nx，Ny）的亮度值和色差值，然后，进行到步骤ST4。
在步骤ST4中，关注区域检测单元311确定像素值是否落在预定范围内。关注区域检测单元311将亮度值和色差值与预设阈值进行比较，并且当色差值和亮度值分别为关注区域中的颜色和预定范围内的亮度时，关注区域检测单元311进行到步骤ST5。当色差值不是关注区域中的颜色，并且亮度值没有在预定范围内时，关注区域检测单元311进行到步骤ST12。
在步骤ST5中，关注区域亮度校正单元312对亮度值进行校正。关注区域亮度校正单元312计算上述表达式（6）以对亮度值进行校正；将校正亮度值PYC输出给亮度视差转换单元315；并且进行到步骤ST6。
在步骤ST6中，关注区域亮度校正单元312确定校正亮度值PYC是否大于最大亮度值PYCmax。当校正亮度值PYC大于最大亮度值PYCmax时，关注区域亮度校正单元312进行到步骤ST7。当校正亮度值PYC等于或者小于最大亮度值PYCmax时，关注区域亮度校正单元312进行到步骤ST8。应当注意，在位置（Nx，Ny）处的像素为被确定是关注区域的第一像素的情况下，位置（Nx，Ny）处像素的校正亮度值PYC被设置为后面所描述的最小亮度值PYCmin和最大亮度值PYCmax的初始化值。
在步骤ST7中，关注区域亮度校正单元312将校正亮度值PYC设置为最大亮度值PYCmax，并且进行到步骤ST10。
在步骤ST8中，关注区域亮度校正单元312确定校正亮度值PYC是否小于最小亮度值PYCmin。当校正亮度值PYC小于最小亮度值PYCmin时，关注区域校正单元312进行到步骤ST9。当校正亮度值PYC等于或者大于最小亮度值PYCmin时，关注区域校正单元312进行到步骤ST10。
在步骤ST9中，关注区域亮度校正单元312将校正亮度值PYC设置为最小亮度值PYCmin，然后，进行到步骤S10。
在步骤ST10中，关注区域亮度校正单元312对亮度积分值和像素数积分值进行更新。关注区域亮度校正单元312将校正亮度值PYC添加到亮度积分值PYCsum，并且将添加结果设置为新的亮度积分值PYCsum。此外，关注区域亮度校正单元312将“1”添加到像素数积分值PixCnt，将添加结果设置为新的像素数积分值PixCnt，并且进行到步骤ST11。应 当注意，亮度积分值PYCsum和像素数积分值PixCnt的初始化值被设置为“0”。
在步骤ST11中，关注区域检测单元311对X方向上的坐标位置进行更新。关注区域检测单元311将“1”添加到坐标值Nx，将添加结果设置为新的坐标值Nx，并且进行到步骤ST12。
在步骤ST12，关注区域检测单元311确定X方向上的坐标位置是否超过基准图像的范围。在基准图像在X方向上具有像素数SZx情况下，关注区域检测单元311确定坐标值Nx是否小于像素数SZx。此处，在坐标值Nx落在“0至（SZx-1）”的范围内的情况下，由坐标值Nx表示的位置是基准图像中的位置，并且在坐标值Nx是“SZx”的情况下，由坐标值Nx表示的位置是基准图像范围之外的位置。因此，当确定坐标值Nx小于像素数SZx时，关注区域检测单元311返回至步骤ST3且确定落在基准图像范围内。此外，在坐标值Nx等于或者大于像素数SZx的情况下，关注区域检测单元311确定基准图像中一个行的过程终止并且进行到步骤ST13。
在步骤ST13中，关注区域检测单元311对Y方向上的坐标位置进行更新。关注区域检测单元311将“1”添加到表示Y方向上坐标位置的坐标值Ny，将添加结果设置为新的坐标值Ny，然后，进行到步骤ST14。
在步骤ST14中，关注区域检测单元311确定Y方向上的坐标位置是否超过基准图像的范围。在基准图像在Y方向上具有像素数SZy的情况下，关注区域检测单元311确定坐标值Ny是否小于像素数SZy。此处，在坐标值Ny落在“0至（SZy-1）”的范围内的情况下，由坐标值Ny表示的位置是基准图像中的位置，并且在坐标值N是“SZy”的情况下，由坐标值Ny表示的位置是基准图像范围之外的位置。因此，当确定坐标值Ny小于像素数SZy时，关注区域确定单元311返回至步骤ST2且确定落在基准图像范围内。此外，在坐标值Ny等于或者大于像素数SZy的情况下，关注区域检测单元311确定基准图像中一个行的过程终止并且进行到步骤ST15。
在步骤ST15中，关注区域校正单元312计算平均亮度值。针对基准图像的一个帧的关注区域的检测过程终止，然后，关注区域亮度校正单元312关注区域中像素的亮度积分值PYCsum除以表示关注区域中的像素数的像素数积分值PixCnt，从而获得平均亮度值PYCavg。关注区域亮度校正单元312在计算出平均亮度值之后进行到步骤ST16。应当注意，关注区域亮度校正单元312可计算出表示关注区域中亮度值分布的亮度统计量，诸如，基准偏差和方差。
在步骤ST16中，关注区域检测单元311和关注区域分布校正单元312输出处理结果。基于步骤ST4中的确定结果，关注区域检测单元311将表示基准图像中的关注区域的关注区域信息输出给立体匹配视差估计单元32和关注区域视差信息获得单元33。此外，关注区域分布校正单元312将作为亮度统计信息的最大亮度值PYCmax、最小亮度值PYCmin以及平均亮度值PYCavg等输出给亮度信息存储单元313，然后，终止基准图像中一个帧的处理。
在关注区域分布校正单元312中生成的亮度统计信息存储在亮度信息存储单元313中。在关注区域视差信息中获得的关注区域的视差信息存储在视差信息存储单元314中。亮度视差转换单元315从存储在亮度信息存储单元313中的亮度统计信息和存储在视差信息存储单元314中的视差信息来计算比例系数和截距。此外，亮度视差转换单元315使用计算的比例系数和截距类执行亮度视差转换，从而将关注区域中的校正亮度值转换成视差值。
此处，在对亮度视差转换单元315的操作进行描述之前，将对关注区域视差信息获得单元33进行描述。视差信息从立体匹配视差估计单元32被提供给关注区域视差信息获得单元33。此外，关注区域信息从关注区域检测单元311被提供给关注区域视差信息获得单元33。关注区域视差信息获得单元33基于关注区域信息对从立体匹配视差估计单元32提供的视差信息执行信息提取过程，从而提取关注区域的视差信息。此外，关注区域视差信息获得单元33基于关注信息的提取视差信息来计算视差统计量， 诸如，最大视差值、最小视差值、平均视差值以及指示视差值分布的函数值，并且将这些值输出给视差信息存储单元314。
图6是示出了视差信息获得单元的操作的实施例的流程图。在步骤ST21中，关注区域视差信息获得单元33将表示Y方向上坐标位置的坐标值Ny初始化，将坐标值Ny设置为“0”，并且进行到步骤ST22。
在步骤ST22中，关注区域视差信息获得单元33将表示X方向上位置的坐标值Nx初始化，将坐标值Nx设置为“0”，然后，进行到步骤ST23。
在步骤ST23，关注区域视差信息获得单元33确定位置（Nx，Ny）是否在关注区域中。基于关注区域信息，当确定位置（Nx，Ny）在关注区域中时，关注区域视差信息获得单元33进行到步骤ST24，并且当确定该位置在关注区域之外时，关注区域视差信息获得单元33进行到步骤ST30。
在步骤ST24，关注区域视差信息获得单元33提取视差值。关注区域视差信息获得单元33提取位置（Nx，Ny）的视差值并且进行到步骤ST25。
在步骤ST25，关注区域视差信息获得单元33确定位置（Nx，Ny）的视差值D是否大于最大视差值Dmax。当视差值D大于最大视差值Dmax时，关注区域视差信息获得单元33进行到步骤ST26。当视差值D等于或者小于最大视差值Dmax时，关注区域视差信息获得单元33进行到步骤ST27。应当注意，在位置（Nx，Ny）是被确定为关注区域的第一像素的情况下，将位置（Nx，Ny）的视差值D设置为后面所描述的最小视差值Dmin和最大视差值Dmax的初始化值。
在步骤ST26中，关注区域视差信息获得单元33将位置（Nx，Ny）的视差值D设置为最大视差值Dmax并且进行到步骤ST29。
在步骤ST27中，关注区域视差信息获得单元33确定位置（Nx，Ny）的视差值D是否小于最小视差值Dmin。当视差值D小于最小视差值Dmin时，关注区域视差信息获得单元33进行到步骤ST28。当视差值D等于或者大于最小视差值Dmin时，关注区域视差信息获得单元33进行到步骤ST29。
在步骤ST28，关注区域视差信息获得单元33将位置（Nx，Ny）的视差值D设置为最小视差值Dmin并且进行到步骤ST29。
在步骤ST29，关注区域视差信息获得单元33对视差积分值和像素数积分值进行更新。关注区域视差信息获得单元33将位置（Nx，Ny）的视差值D添加到视差积分值Dsum，并且将添加结果设置为新的视差积分值Dsum。此外，关注区域视差信息获得单元33将“1”添加到像素数积分值PixCnt，将添加结果设置为新的像素数积分值PixCnt，并且进行到步骤ST30。应当注意，将视差积分值Dsum和像素数积分值PinCnt的初始化值设置为“0”。
在步骤ST30，关注区域视差信息获得单元33对X方向上的坐标位置进行更新。关注区域检测单元311将“1”添加到坐标值Nx，将添加结果设置为新的坐标值Nx，并且进行到步骤ST31。
在步骤ST31，关注区域视差信息获得单元33确定X方向上的坐标位置是否超过基准图像的范围。在基准图像在X方向上具有像素数SZx的情况下，关注区域视差信息获得单元33确定坐标值Nx是否小于像素数SZx。此处，在坐标值Nx落在“0至（SZx-1）”范围内时，由坐标值Nx表示的位置是基准图像中的位置，并且在坐标值Nx是“SZx”的情况下，由坐标值Nx表示的位置是基准图像范围之外的位置。因此，当确定坐标值Nx小于像素数SZx时，关注区域实现信息获得单元33返回至步骤ST23且确定在基准图像范围内。此外，在坐标值Nx等于或者大于像素数SZx的情况下，关注区域视差信息获得单元33确定基准图像中一个行的过程终止，并且进行到步骤ST32。
在步骤ST32，关注区域视差信息获得单元33对Y方向上的坐标位置进行更新。关注区域视差信息获得单元33将“1”添加到表示Y方向上坐标位置的坐标值Ny，将添加结果设置为新的坐标值Ny，并且进行到步骤ST33。
在步骤ST33，关注区域视差信息获得单元33确定Y方向上的坐标位置是否超过基准图像的范围。在基准图像在Y方向上具有像素数SZy的情况下，关注区域视差信息获得单元33确定坐标值Ny是否小于像素数 SZy。此处，在坐标值Ny落在“0至（SZy-1）”范围内的情况下，由坐标值Ny表示的位置是基准图像中的位置，并且在坐标值Ny是“SZy”的情况下，由坐标值Ny表示的位置是基准图像范围之外的位置。因此，当确定坐标值Ny小于像素数SZy时，关注区域视差信息获得单元33返回至步骤ST22且确定在基准图像范围内。此外，在坐标值Ny等于或者大于像素数SZy的情况下，关注区域视差信息获得单元33确定基准图像中一个行的过程终止并且进行到步骤ST34。
在步骤ST34，关注区域视差信息获得单元33计算平均亮度值。关于基准图像中一个帧的获得过程终止，然后，关注区域视差信息获得单元33将关注区域中像素的视差积分值Dsum除以表示关注区域中像素数的像素数积分值PixCnt，从而获得平均视差值Davg。关注区域视差信息获得单元33在计算出平均视差值之后进行到步骤ST35。应当注意，关注区域视差信息获得单元33可计算出表示关注区域中视差值分布的视差统计量，诸如，基准偏差和方差。
在步骤ST35，关注区域视差信息获得单元33输出处理结果。关注区域视差信息获得单元33将平均视差值Davg以及最大视差值Dmax和最小视差值Dmin作为视差统计信息输出给视差信息存储单元314，然后，终止基准图像中的一个帧的过程。
亮度视差转换单元315从存储在亮度信息存储单元313中的过去帧的亮度信息和存储在视差信息存储单元314中的过去帧的视差信息中对亮度视差转换特性进行估计。具体地，如上述表达式（5）中所表达的，亮度视差转换单元315假设对应于深度距离的校正亮度值的平方根与视差值成比例并且计算表达式（9）中的比例系数KDfL和截距C。应当注意，将基于表达式（9）计算的视差值设置为DfL视差值dDfL.。
在使用通过拍摄期望对象获得的移动图像进行视差估计时，关注区域中的视差值与先前帧中关注区域的视差值具有较小的差。此外。通过在关注区域中进行校正之后使用最大视差值、最小视差值、最大亮度值以及最 小亮度值，关注区域中的亮度值范围和视差值范围最大化，因此，可以以高准确度估计出关注区域中像素的亮度值与视差值之间的关系。因此。亮度视差转换单元315在对过去帧（例如，之前帧）的关注区域进行校正之后使用最大视差值Dmax、最小视差值Dmin、最大亮度值PYCmax以及最小亮度值PYCmin，从而计算比例系数KDfL和截距C。
在将左图像设置为基准图像的情况下，关注区域的视差值始终为负值。因此，表达式（9）中表达的函数的特性曲线是经过图7中所示的点（PYCmin，Dmax）和点（PYCmax，Dmin）的曲线。因此，基于表达式（10）可计算比例系数KDfL，并且基于表达式（11）可计算截距C。
应当注意，在将左图像设置为基准图像的情况下，因为关注区域的视差值始终为负值，所以在使用比例系数KDfL和截距C计算出的表达式（9）中的结果为正值的情况下，将DfL视差值dDfL设置为“0”。
在将右图像设置为基准图像的情况下，关注区域的视差值始终为正值。因此，由表达式（9）表达的函数的特性曲线是经过图8中所示的点（PYCmin，Dmin）和点（PYCmax，Dmax）的曲线。因此，基于表达式（12）可确定比例系数KDfL，并且基于表达式（13）可确定截距C。
应当注意，在将右图像设置为基准图像的情况下，因为关注区域的视差值始终为正值，所以在使用比例系数KDfL和截距C计算出的表达式（9）中的结果为负值的情况下，将DfL视差值dDfL设置为“0”。
如上所述，亮度视差转换单元315对亮度视差转换特性进行估计并且对估计的亮度视差转换特性执行亮度视差转换。
图9是示出了亮度视差转换单元的操作的实施例的流程图。在步骤ST41，亮度视差转换单元315获得亮度统计信息。亮度视差转换单元315获得存储在亮度信息存储单元313中的亮度统计信息，例如，之前帧的基准图像中关注区域的校正亮度值的最大亮度值和最小亮度值，并且进行到步骤ST42。
在步骤ST42，亮度视差转换单元315获得视差统计信息。亮度视差转换单元315获得存储在视差信息存储单元314中的视差统计信息，例如，之前帧的基准图像中关注区域的视差估计结果的最大视差值和一视差值，并且进行到步骤ST43。
在步骤ST43，亮度视差转换单元315确定比例系数和截距。在将左图像设置为基准图像的情况下，亮度视差转换单元315使用亮度统计信息和视差统计信息来计算表达式（10）和（11），确定比例系数KDfL和截距C，并且进行到步骤ST44。应当注意，在将右图像设置为基准图像的情况下，亮度视差转换单元315使用亮度统计信息和视差统计信息来计算表达式（12）和（13），并且确定比例系数KDfL和截距C。
在步骤ST44，亮度视差转换单元315获得亮度值。亮度视差转换单元315从关注区域亮度校正单元312中获得关注区域的校正亮度值PYC，并且进行到步骤ST45。
在步骤ST45，亮度视差转换单元315执行转换计算。亮度视差转换单元315使用在步骤ST44获得的亮度值PYC以及在步骤ST43中获得的比例系数KDfL和截距C，从而计算表达式（9）以将亮度值PYC转换成DfL视差值dDfL。亮度视差转换单元315将通过转换计算处理获得的DfL视差值dDfL输出给立体匹配视差估计单元32，并且进行到步骤ST46。
在步骤ST46，亮度视差转换单元315确定对于参考图像中的关注区域的亮度视差转换是否完成。在对于关注区域的亮度视差转换未完成的情况下，亮度视差转换单元315返回至步骤ST44，从而执行用于下一处理 的过程。此外，在对于关注区域的亮度视差转换完成的情况下，亮度视差转换单元315终止对于该帧的基准图像中关注区域的亮度视差转换过程。
立体匹配视差估计单元32使用基准图像和参考图像来执行动态编程的立体匹配视差估计。具体地，立体匹配视差估计单元32针对基准图像的各个视差估计目标位置设置第一匹配区域。此外，立体匹配视差估计单元32针对事先指定的各个视差值计算表示第一匹配区域与参考图像中的对应于视差值的第二匹配区域之间的相似性的成本值。立体匹配视差估计单元32将其中整行的成本值总和为具有最高相似性的最小值的视差值设置为视差估计结果。
图10A和图10B是在获得关于左图像的视差值的情况下对操作进行解释的示图，且左图像作为基准图像并且右图像作为参考图像。在DP匹配视差估计时，通过将具有基准图像中视差估计目标位置上的像素的预定大小的块设置为第一匹配区域或者将视差估计目标位置设置为参考，搜索作为对应于参考图像上的像素或者具有预定大小的块的第二匹配区域。此外，在DP匹配视差估计时，在搜索第二匹配区域时，使用视差估计结果的动态编程来确定整行成本值总和为具有最高相似性的最小值的视差值。应当注意，在下列描述中，为便于解释，以将第一匹配区域和第二匹配区域作为一个像素大小基于像素的DP匹配视差估计进行了解释。
如图10A所示，例如，假设X方向（水平方向）上图像的一个行的大小为6个像素（0≤Nx<6），并且视差搜索范围dsr为4个像素（-4<dsr≤0）。
在一般的DP匹配视差估计中，由表达式（14）定义当指定由坐标值Nx表示基准图像上位置处的视差值d时的成本值ENx(d)。
ENx(d)＝ESAD Nx(d)+WSpatialESpatial(d)...(14)
ESAD Nx(d)＝|PYSNx-PYRNx+d|...(15)
ESpatial(d)=|d-d′|...(16)
在表达式（14）中，绝对差总和ESADNx(d)是立体匹配结果并且是表示第一匹配区域与第二匹配区域之间相似性的成本值。具体地，表示了由坐标值Nx表示的基准图像上位置处的像素与由坐标值Nx+d表示的参考图像上位置处的像素之间的相似性。具体地，相似性是在对像素进行DP匹配视差估计过程、且将其亮度值之间的绝对差总和（SAD）作为指示值的情况下从表达式（15）计算的一个值。应当注意，亮度值PYSNx是由坐标值NX表示的基准图像上位置处的一个亮度值，并且亮度值PYRNx+d是由坐标值Nx+d表示的参考图像上位置处的一个亮度值。
此外，在表达式（14）中，ESpatial(d)表示对应于基准图像上视差估计目标位置处的视差值与之前视差估计目标位置上视差值之间差的成本值。如表达式（16）所示，ESpatial(d)被定义为坐标值NX-1的视差值d’(-4<d’≤0)与坐标值Nx的视差值d之间的绝对差，视差值d’(-4<d’≤0)是基准图像上的之前估计目标位置，并且视差值d是示出估计目标位置。应当注意，将ESpatial(d)设置为空间误差成本值。WSpatial是权值系数，并且例如，图10A和图10B示出了WSpatial=1的情况。
如上所述，添加用于一维整个像素行的计算成本值ENx(d)，即，从坐标值Nx=0至SZx-1的位置处添加（SZx:X方向上图像的大小，图10中的6个像素），并且将其最小总和设置为成本总和Esum。
在DP匹配视差估计时，当整个像素行的成本总和Esum变成最小值时，通过使用中间成本总和（Nx<5(=SZx-1)）也最小化的优化原理，可有效计算表达式（17）。
例如，由表达式（18）表达的FNx(d)表示坐标值Nx和视差值d情况下的成本最小总和。通过使用给出其解的坐标值Nx-1位置处坐标值Nx-1和视差值d’的成本最小总和FNx-1，由表达式（19）中的递推公式表示成本最小总和FNx(d)。此时，给出成本最小总和FNx(d)的视差值d’始终存储为表达式（20）中表达的视差值dpreNx(d)。此外，当表达式（19） 的递推公式求解至上一列像素行时，追溯到视差值dpreNx(d)，从而确定整行的视差值。应当注意，在表达式（18）至（20）中，“DS”表示视差值的集合，并且“d”表示集合DS的一个元素。在图10A和图10B中，设置“DS={0,-1,-2,-3}”。此外，在表达式（18）中，“q”表示用于计算成本最小总和的坐标值Nx的一个值。例如，在确定坐标值Nx为“3”且“q=3”的情况下计算成本的最小总和，并且从表达式（18）获得从“0”到“3”坐标值Nx的视差值d’的成本总和最小值。此外，表达式（19）示出了选择“d”，从而使得右侧括号内是最小值，并且此时右侧括号内的值是成本最小总和FNx(d)。而且，表达式（20）表示选择“d”，从而使得右侧括号内是最小值，并且选择的“d”集合是视差值dpreNx(d)。
在图10B中，圆圈内的数值均表示坐标值Nx和视差值d的绝对差总和ESADNx(d)，并且方形内的数值均表示坐标值Nx和视差值d的成本最小总和FNx(d)。
例如，在坐标值Nx=0并且视差值d=0的情况下，获得绝对差总和ESADNx(d)=3和成本最小总和FNx(d)=3。在坐标值Nx=0并且视差值d=-1的情况下，获得绝对差总和ESADNx(d)=1和成本最小总和FNx(d)=1。在坐标值Nx=0并且视差值d=-2的情况下，获得绝对差总和ESADNx(d)=1和成本最小总和FNx(d)=1。在坐标值Nx=0并且视差值d=-3的情况下，获得绝对差总和ESADNx(d)=1和成本最小总和FNx(d)=1。
随后，在坐标值Nx=1并且视差值d=0的情况下，获得绝对差总和ESADNx(d)=0，并且在从坐标值Nx=0和视差值d=-1的路线情况下，成本FNx(d)的最小总和变成最小值“2”。将该路线设置为最优路线。应当注意， 存在具有最小值的多个路线，其中将坐标值Nx=0的视差值与坐标值Nx=1的视差值之间的差为最小的路线设置为最优路线。
在坐标值Nx=1并且视差值d=-1的情况下，获得绝对差总和ESADNx(d)=2，并且在从坐标值Nx=0和视差值d=-1的路线情况下，成本最小总和FNx(d)变成最小值“3”。将该路线设置为最优路线。在坐标值Nx=1并且视差值d=-2的情况下，获得绝对差总和ESADNx(d)=5，并且在从坐标值Nx=0和视差值d=-2的路线情况下，成本最小总和FNx(d)变成最小值“6”。将该路线设置为最优路线。同样，对于各个位置处的各个视差，获得成本最小总和FNx(d)和最优路线。
此处，在坐标值Nx=5并且视差值d=0的情况下，获得绝对差总和ESADNx(d)=4，并且在从坐标值Nx=4和视差值d=0的路线情况下，成本最小总和FNx(d)变成最小值“15”。将该路线设置为最优路线。在坐标值Nx=5并且视差值d=-1的情况下，获得绝对差总和ESADNx(d)=1，并且在从坐标值Nx=4和视差值d=-3的路线情况下，成本最小总和FNx(d)变成最小值“13”。将该路线设置为最优路线。在坐标值Nx=5并且视差值d=-2的情况下，获得绝对差总和ESADNx(d)=3，并且在从坐标值Nx=4和视差值d=-3的路线情况下，成本最小总和FNx(d)变成最小值“14”。将该路线设置为最优路线。在坐标值Nx=5并且视差值d=-3的情况下，获得绝对差总和ESADNx(d)=4，并且在从坐标值Nx=4和视差值d=-3的路线情况下，成本最小总和FNx(d)变成最小值“14”。将该路线设置为最优路线。
即，在图10B中，在上一列（Nx=5）时，在视差值d=-1的情况下，成本总和(F5(-1)=13)变成最小值，并且从Nx=5且d=-1的位置处追溯视差，从而确定视差d的最终组合。此处，此处，在Nx=5的情况下，视差值d=-1的最优路线是继续到Nx=4时视差值d=-3的路线。此外，在Nx=4的情况下，视差值d=-3的t最优路线是继续Nx=3时视差值d=-1的路线。在Nx=3的情况下，视差值d=-1的最优路线是继续Nx=2时视差值d=-1的路线。在Nx=2的情况下，视差值d=-1的最优路线是继续Nx=1时视差值d=-1的路线。在Nx=1的情况下，视差值d=-1的最优路线是继续Nx=0时视差值d=-1的路线。因此，通过追溯由图10B中所示的箭头表示的视 差值dpreNx(d)，可确定视差值的最终组合为“-1→-3→-1→-1→-1→-1”。
尽管如上所述完成了现有技术中的DP匹配视差估计，然而，立体匹配视差估计单元32对包括由关注区域转换处理单元31获得的视差估计结果的成本值进行计算。具体地，如表达式（21）所示，计算的成本值包括对应于事先指定的视差值与在关注区域转换处理单元31中获得的DfL视差值dDfLNx之间差的成本值（在下文中，称之为“程序误差成本值”）。如表达式（22）中所表达的，将程序误差成本值EDfLNx定义为指定的视差值d与由关注区域转换处理单元31进行估计的坐标值Nx上DfL视差值dDfLNx之间的绝对差。
ENx(d)＝ESAD Nx(d)+WSpatialESPatial(d)+WDfLEDfL Nx(d)...(21)
EDfL Nx(d)=Id-dDfLNxl...(22)
应当注意，在基准图像上坐标值Nx的位置的像素是关注区域之外的像素的情况下，对于所有的视差值d，都将程序误差成本值EDfLNx(d)设置为“0”。即，在关注区域之外，提供与表达式（14）中所示的现有技术中成本值相同的成本值。此外，在表达式（21）中，WDfL表示权值系数。
图11A和图11B是在使用关注区域转换处理单元的估计结果来获得关于左图像的视差值的情况下对操作进行解释的示图。应当注意，将图10A和图10B中的相同条件应用于图11A和图11B时，绝对差总和ESADNx(d)以及立体匹配结果不改变。
在图11A中，视差图像时表示通过对基准图像进行亮度视差转换而获得的视差值的图像。例如，通过视差图像的数值对通过亮度视差转换获得的、且具有设置为关注区域的两个立方体集合的DfL视差值dDfL进行例证。应当注意，附图中的符号“”表示由于在关注区域之外而没有DfL视差值的像素。在图11A和图11B中，坐标值Nx=1、2、4以及5的位置的像素为关注像素，并且权值系数为Wspatial=WDfL=1。
添加了对应于具有亮度视差转换的差的程序误差成本值EDfL，因此，使图10和图11中所示的最优路线和成本最小总和FNx(d)发生变化。
在图11B中，圆圈内的数值各自表示坐标值Nx和视差值d上绝对差总和ESADNx(d)，并且方形内的数值各自表示坐标值Nx和视差值d上成本最小总和FNx(d)。
例如，在坐标值Nx=0并且视差值d=0的情况下，获得绝对差总和ESADNx(d)=3和成本最小总和FNx(d)=3。在坐标值Nx=0并且视差值d=-1的情况下，获得绝对差总和ESADNx(d)=1和成本最小总和FNx(d)=1。在坐标值Nx=0并且视差值d=-2的情况下，获得绝对差总和ESADNx(d)=1和成本最小总和FNx(d)=1。在坐标值Nx=0并且视差值d=-3的情况下，获得绝对差总和ESADNx(d)=1和成本最小总和FNx(d)=1。
接着，在坐标值Nx=1并且视差值d=0的情况下，获得绝对差总和ESADNx(d)=0，并且在从坐标值Nx=0和视差值d=-1的路线情况下，成本最小总和FNx(d)变成最小值“3”。将该路线设置为最优路线。在坐标值Nx=1并且视差值d=-1的情况下，获得绝对差总和ESADNx(d)=2，并且在从坐标值Nx=0和视差值d=-1的路线情况下，成本最小总和FNx(d)变成最小值“3”。将该路线设置为最优路线。在坐标值Nx=1并且视差值d=-2的情况下，获得绝对差总和ESADNx(d)=5，并且在从坐标值Nx=0和视差值d=-2的路线情况下，成本最小总和FNx(d)变成最小值“7”。将该路线设置为最优路线。同样，对于各个位置处的各个视差，获得成本最小总和FNx(d)和最优路线。
此处，在坐标值Nx=5并且视差值d=0的情况下，获得绝对差总和ESADNx(d)=4，并且在从坐标值Nx=4和视差值d=0的路线情况下，成本最小总和FNx(d)变成最小值“18”。将该路线设置为最优路线。在坐标值Nx=5并且视差值d=-1的情况下，获得绝对差总和ESADNx(d)=1，并且在从坐标值Nx=4和视差值d=-1的路线情况下，成本最小总和FNx(d)变成最小值“14”。将该路线设置为最优路线。在坐标值Nx=5并且视差值d=-2的情况下，获得绝对差总和ESADNx(d)=3，并且在从坐标值Nx=4和视差值d=-3的路线情况下，成本最小总和FNx(d)变成最小值“17”。将该路线设置为最优路线。在坐标值Nx=5并且视差值d=-3的情况下，获得绝对 差总和ESADNx(d)=4，并且在从坐标值Nx=4和视差值d=-3的情况下，成本最小总和FNx(d)变成最小值“18”。将该路线设置为最优路线。
即，在图11B中，在上一列（Nx=5）时，在视差值d=-1的情况下，成本总和（F5(-1)=14）变成最小值，并且从Nx=5和d=-1的位置处追溯视差，从而确定视差d的最终组合。此处，在Nx=5的情况下，视差值d=-1的最优路线是继续Nx=4时视差值d=-1的路线。此外，在Nx=4的情况下，视差值d=-1的最优路线是继续Nx=3时视差值d=-1的路线。在Nx=3的情况下，视差值d=-1时的最优路线是继续Nx=2时视差值d=-1的路线。在Nx=2的情况下，视差值d=-1的最优路线是继续Nx=1时视差值d=-1的路线。在Nx=1的情况下，视差值d=-1的最优路线是继续Nx=0时视差值d=-1的路线。因此，通过追溯由图11B中所示的箭头表示的视差值dpreNx(d)，确定视差值D的最终组合为“-1→-1→-1→-1→-1→-1”。即，在图11A的情况下，确定由从立体匹配视差估计单元输出的视差信息所表示的视差值D为“-1,-1,-1,-1,-1,-1”。
在一般立体匹配方法中，担心在具有较少图案的区域或者其中重复相同图案的区域中不可能以高准确度获得对应点或者对应区域。例如，在具有较少图案的区域中（具有较少亮度变化的区域），获得有关于任何视差值d的近似相同的绝对差总和ESAD(d)。因此，如果在图像信号上叠加噪声等，则难以获得正确的结果。在图10A和图10B中，基准图像上坐标值Nx=4的位置处的像素和参考图像上坐标值Nx=1的位置处的像素均具有相同的图案，因此，绝对差总和值ESAD4(-3)变小。即，致使立体匹配产生对应误差，因此，确定误差视差值。
在DP匹配视差估计中，在表达式（14）中，右侧的第二项是用作具有接近下一像素的视差估计结果的视差值的项，因此，即使执行误差立体匹配，也会使用该项对误差进行校正。然而，当该区域中立体匹配方法并不起作用而产生较大误差或者连续误差时，诸如，具有较少图案的区域或者重复相同图案的区域，担心即使通过DP匹配视差估计也不能对误差进行校正，最后，可计算出误差视差值。
鉴于此，在本技术中，通过在关注区域中计算具有包括程序误差成本值EDfL的成本值，即使在立体匹配并不起作用的区域中，诸如，具有较少图案的区域或者重复相同图案的区域，也可以计算出表示图像对应条件且具有更高准确度的成本值。因此，例如，根据本技术，可以防止通过现有技术中的立体匹配而难以进行校正的立体匹配对应误差，并且进行具有高准确度的校正视差估计。
应当注意，在图10和图11中，对基于像素的DP匹配视差估计进行例证。然而，可基于块执行DP匹配视差估计且将基准图像的视差估计目标位置作为参考。与基于像素进行的DP匹配视差估计相比较，基于块进行的DP匹配视差估计受噪声等的影响较小。因此，与基于像素进行DP匹配视差估计的情况相比较，通过执行基于块的DP匹配视差估计，可以执行更为稳健的视差估计。
图12是示出了立体匹配视差估计单元的操作的实施例的流程图。在步骤ST51，立体匹配视差估计单元32获得基准图像和参考图像。例如，立体匹配视差估计单元32获得左图像和右图像的图像信号，将左图像作为基准图像并且将右图像作为参考图像，然后，进行到步骤ST52。
在步骤ST52，立体匹配视差估计单元32获得DfL视差值。立体匹配视差估计单元32获得由关注区域转换处理单元31生成的DfL视差值，然后，进行到步骤ST53。
在步骤ST53，立体匹配视差估计单元32对成本的最小总和进行计算并且确定给出其解的视差。立体匹配视差估计单元32对上述表达式（15）至（22）进行计算，从而获得成本的最小总和以及给出解的之前位置的视差，然后，进行到步骤ST54。此外，通过亮度视差转换未获得有关于关注区域之外像素的DfL视差值dDfL。因此，基于关注区域检测单元311的检测结果，立体匹配视差估计单元32将关于关注区域之外像素的程序误差成本值EDfL设置为“0”并且计算成本总和。
在步骤ST54，立体匹配视差估计单元32确定整个行的视差值。立体匹配视差估计单元32从上一列中成本总和是最小值的视差进行追溯，确定整个行的视差值，然后，进行到步骤ST55。
在步骤ST55，立体匹配视差估计单元32确定是否完成对基准图像中各个像素的视差值的计算。如果存在其中没有对基准图像中视差值进行计算的像素行，立体匹配视差估计单元32则返回至步骤ST53。此外，如果不存在其中没有对像素值进行计算的像素行，立体匹配视差估计单元32则终止有关于基准图像的视差估计，然后，执行对新基准图像的视差估计。
应当注意，在上述中，描述了其中获得确定右图像中对应性的立体匹配结果且左图像作为基准图像的实施例。同样，然而，可确定左图像中的对应性且右图像作为基准图像。
如上所述，根据本技术将亮度值转换成基准图像上关注区域中的视差值，并且搜索最优路线和计算具有包括视差值的成本值。因此，与立体匹配方法相比较，即使在没有图案的区域或者重复相同图案的区域中，也可以执行更为稳健的视差估计。
此外，在对关注区域进行亮度视差转换时，从之前帧的DP匹配视差估计结果确定表达式（9）中亮度值的平方根和视差值的比例系数。因此，在开始帧中，在立体匹配方法并不起作用的区域中存在视差估计中产生误差的可能性。因此，在进行亮度视差估计时，DP匹配视差估计准确度会影响到第二帧。然而，如表达式（10）至（13）中所定义，计算关注区域中的最大视差值和最小视差值，从而可以使得受误差视差估计结果的影响较小。此外，由于该帧在前，所以即使在立体匹配视差估计中产生误差的区域中，通过视差估计和亮度视差转换能够正确获得视差。因此，提高了获得表达式（9）中比例系数的准确度，因此，可在关注区域中执行具有高准确度的视差估计。
<4.图像处理装置的其他操作>
在上述操作中，例如，将亮度值和色差值与阈值进行比较，并且基于比较结果，将图像中具有共同目标质量的区域检测作为关注区域。然而，阈值可以不是预定值，但可以通过对图像的色差成分分布进行分析而被动态地设置。例如，从之前帧创建色差成分的柱状图等，并且可基于柱状图等对用于提取期望对象的图像区域的阈值进行调整。
此外，在上述操作中，例如，将亮度值和色差值与阈值进行比较，并且基于比较结果，将图像中具有目标质量的区域检测作为关注区域。然而，通过另一种方法可对关注区域进行检测。例如，从图像中可提取一个边缘或者一行，并且可对提取的边缘或者行进行追踪，从而对区域进行分割。此外，可执行有关于图像的纹理分析，并且可将具有显示目标特性的纹理的区域设置为关注区域。同样，通过执行纹理分析，可以在亮度或者颜色中具有较小差异的情况下对关注区域进行检测。
而且，在上述操作中，基于在对关注区域进行校正之后的最大亮度值和最小亮度值，对亮度视差转换特性进行估计。然而，如果噪声叠加在关注区域的图像上，担心最大亮度值和最小亮度值具有不同于期望对象的亮度的值，并且难以估计出具有高准确度的亮度视差转换特性。为此，基于亮度值的分布可确定最大亮度值和最小亮度值例如，如图（23）所示，通过使用平均亮度值PYCavg和表示分布的统计值σPYC，可对最大亮度值和最小亮度值进行确定。此外，同样，如表达式（24）所示，通过使用平均视差值Davg和统计值σD可确定有关视差信息的最大视差值Dmax和最小视差值Dmin。因此，可以执行有关于立体匹配视差估计中的误差或者包括在基准图像中的噪声的更为稳健的亮度视差转换。
PYCmax＝PYCavg+σPYC，PYCmin＝PYCavg-σPYC...(23)
Dmax＝Davg+σD，Dmin＝Davg-σD...(24)
可使用表示关注区域中校正亮度值PYC的分布和基准偏差等统计值σPYC。此外，可使用表示表达式（24）中的分布、视差值D的基准偏差等统计值σD。
可通过使用多个过去帧执行对比例系数KDfL和截距C的估计。例如，存储执行了视差估计的帧中的过去预定数目的帧的比例系数KDfL和截距C，并且基于存储的比例系数KDfL和截距C的变化，预测对应于执行了视差估计的帧的比例系数KDfL和截距C。通过使用预测结果，可执行亮度视差转换。
关注区域的数目可不限制为一个，而是可在图像中设置多个关注区域。例如，如图13所示，设置了多个关注区域Rn（n=1,2,3），在表达式（25）中确定各个关注区域的比例系数KDfL_Rn和截距CRn，并且可将各个关注区域中的校正亮度值PYCRn转换成DfL视差值dDfL_Rn。
此外，在表达式（9）或者（25）中比例系数KDfL的值明显错误的情况下，可不执行亮度视差转换。例如，与预设范围相比较，在由比例系数KDfL表示的坡度过于陡峭或者过于平缓的情况下，确定比例系数KDfL错误，并且不执行亮度视差转换。通过该过程，可以更加可靠地防止执行误差亮度视差转换。
此外，在关注区域之外，亮度视差转换单元315可将DfL视差值dDfL设置为表示关注区域之外的识别值，并且在DfL视差值dDfL是识别值的情况下，立体匹配视差估计单元32可将程序误差成本值EDfLNx(d)设置为“0”。在这种情况下，在不将关注区域的检测结果从关注区域转换处理单元31提供至立体匹配视差估计单元32的情况下，可以执行本技术的视差估计。
本说明书中所描述的系列过程可由硬件、软件、或者其合成结构执行。当由软件执行该过程时，在整合了专用硬件的计算机内存中安装了记录过程序列的程序并且执行该程序。可替代地，可在能够执行各种过程的通用计算机中安装该程序并且执行该程序。
例如，可事先在作为记录介质的硬盘或者ROM（只读内存）中记录该程序。可替代地，该程序可临时或者永久性地存储（记录）在移动记录介质中，诸如，软盘、CD-ROM（光盘只读内存）、MO（磁光）盘、DVD（数字光盘）、、磁盘以及半导体内存卡。可提供作为所谓软件包的移动记录介质。此外，除了从移动记录介质安装到计算机之外，可经由诸如LAN（局域网）等网络和从下载站点等因特网以无线或者有线方式将程序转移到计算机中。计算机能够通过上述方式接收转移的程序并且安装在诸如硬盘灯记录介质中。
如上所述，根据本技术，在立体匹配视差估计中，对于具有较小图案变化或者较小亮度值变化的图像区域或者其中重复相同图案的图像区域，其中难以进行估计，通过使用DfL视差值计算成本值。因此，与现有技术中的技术相比较，通过基于计算的成本值来确定视差值，可以更为稳健地获得具有较高准确度的视差估计结果。
此外，在使用现有技术中光亮度与距离平方成反比例削弱的特性的深度距离估计方法中，为了从估计深度距离中获得立体图像之间的视差值，需要基于图像摄取目标对象的光反射特性或者光源的测量结果事先进行校准。此外，必须有绝对距离。然而，根据本技术，从过去帧的亮度值和视差估计结果可计算亮度值与视差值之间的关系，因此，需要事先进行校准。此外，在不使用绝对距离情况下可进行视差估计。
此外，其中应用DfL视差估计的区域受到限制，并且将现有技术中的立体匹配视差估计方法应用到另一区域。在这种情况下，如果图像中包括具有不同反射特性的多个对象，如上所述，通过对各个对象的关注区域集合进行视差估计，可以在不事先测量对象的反射特性等情况下，对各个对象执行具有高准确度的视差估计。
本领域技术人员应当理解的是，只要在所附权利要求或者其等价物的范围内，则可根据设计需要和其他因素做出各种变形、组合、子组合以及变更。
应当注意，本公开可采取下列配置。
（1）一种图像处理装置，包括：
关注区域检测单元，所述关注区域检测单元被配置为从基准图像检测出包括期望对象的关注区域；
亮度视差转换单元，所述亮度视差转换单元被配置为基于通过使用过去帧估计的亮度视差转换特性来对所述关注区域执行亮度视差转换；以及
视差估计单元，所述视差估计单元被配置为基于所述基准图像和参考图像进行视差估计，并且通过使用由所述亮度视差转换单元 获得的亮度视差转换结果在所述关注区域中进行所述视差估计，所述参考图像的视点位置不同于所述基准图像的视点位置。
（2）根据项（1）所述的图像处理装置，其中：
所述亮度视差转换单元通过使用所述关注区域的亮度值来执行所述亮度视差转换，所述关注区域的所述亮度值根据到所述期望对象的深度距离进行了校正。
（3）根据项（2）所述的图像处理装置，其中：
假设在所述亮度视差转换特性的估计中根据所述深度距离校正的所述亮度值的平方根与视差值成比例，所述亮度视差转换单元估计比例系数和截距。
（4）根据项（3）所述的图像处理装置，其中：
所述亮度视差转换单元基于所述过去帧的关注区域中的最大亮度值、最小亮度值、最大视差值以及最小视差值对所述亮度视差转换特性进行估计。
（5）根据项（4）所述的图像处理装置，其中：
所述亮度视差转换单元基于所述关注区域中的所述亮度值的分布和所述亮度值的平均值来计算所述最大亮度值和所述最小亮度值，并且基于所述关注区域中的所述视差值的分布和所述视差值的平均值来计算所述最大视差值和所述最小视差值。
（6）根据项（1）至（5）中任一项所述的图像处理装置，其中：
所述视差估计单元为所述基准图像的每个视差估计目标位置设置第一匹配区域；针对预先指定的每个像差值计算表示所述第一匹配区域与所述参考图像中的对应于该像差值的第二匹配区域之间的相似性，并且针对每一行将使行的成本值的总和为最小的具有最高相似性的视差值设定为视差估计结果。
（7）根据项（6）所述的图像处理装置，其中：
在由所述关注区域检测单元所检测的所述关注区域中，所述视差估计单元使所述成本值包含对应于所指定的视差值与通过所述亮 度视差转换单元进行亮度视差转换获得的视差值之间的差值的成本值。
（8）根据项（7）所述的图像处理装置，其中：
在除所述关注区域检测单元所检测到的关注区域之外的区域中，所述视差估计单元在没有获得所述差值的情况下对所述成本值进行计算。
（9）根据项（6）至（8）中任一项所述的图像处理装置，其中：
所述视差估计单元使对应于所述基准图像中所述视差估计目标位置的视差值与紧前的视差估计目标位置的视差值之间的差的成本值被包括。
（10）根据项（1）至（9）中任一项所述的图像处理装置，其中：视差估计单元在视差估计中使用动态编程。
（11）根据项（1）至（10）中任一项所述的图像处理装置，其中：
所述关注区域检测单元将所述基准图像的色差值和亮度值与预定阈值比较，以检测所述关注区域。
（12）根据项（1）至（11）中任一项所述的图像处理装置，其中：
所述关注区域检测单元对所述基准图像执行纹理分析，以检测所述关注区域。
通过根据本技术的图像处理装置、图像处理方法以及程序，对于从基准图像中检测的关注区域，从过去帧的关注区域的亮度值和视差估计结果来估计亮度视差转换特性，并且基于估计结果对关注区域执行亮度视差转换。此外，基于基准图像与不同于基准图像的视点位置处的参考图像之间的相似性进行视差估计，并且通过使用有关于关注区域的亮度视差转换结果来计算相似性。即，在关注区域中，不仅使用基准图像与参考图像之间的相似性，而且还使用亮度视差转换结果进行视差估计，因此，即使在关注区域是基于相似性而难以进行视差估计的图像情况下，也可以从具有不同视点位置的多个图像中进行具有高准确度的视差估计。因此，这适用于使用由立体摄像机、立体内窥镜等获得的立体图像的系统。

Claims (15)

1.一种图像处理装置，包括：
关注区域检测单元，所述关注区域检测单元被配置为从基准图像检测出包括期望对象的关注区域；
亮度视差转换单元，所述亮度视差转换单元被配置为基于通过使用过去帧估计的亮度视差转换特性来对所述关注区域执行亮度视差转换，其中，过去帧的亮度视差转换特性是指过去帧的视差值与亮度值之间的比例关系；以及
视差估计单元，所述视差估计单元被配置为基于所述基准图像和参考图像进行视差估计，并且通过使用由所述亮度视差转换单元获得的亮度视差转换结果在所述关注区域中进行所述视差估计，所述参考图像的视点位置不同于所述基准图像的视点位置。
2.根据权利要求1所述的图像处理装置，其中：
所述亮度视差转换单元通过使用所述关注区域的亮度值来执行所述亮度视差转换，所述关注区域的所述亮度值根据到所述期望对象的深度距离进行了校正。
3.根据权利要求2所述的图像处理装置，其中：
假设在所述亮度视差转换特性的估计中根据所述深度距离校正的所述亮度值的平方根与视差值成比例，所述亮度视差转换单元估计比例系数和截距。
4.根据权利要求3所述的图像处理装置，其中：
所述亮度视差转换单元基于所述过去帧的关注区域中的最大亮度值、最小亮度值、最大视差值以及最小视差值对所述亮度视差转换特性进行估计。
5.根据权利要求4所述的图像处理装置，其中：
所述亮度视差转换单元基于所述关注区域中的所述亮度值的分布和所述亮度值的平均值来计算所述最大亮度值和所述最小亮度值，并且基于所述关注区域中的所述视差值的分布和所述视差值的平均值来计算所述最大视差值和所述最小视差值。
6.根据权利要求1所述的图像处理装置，其中：
所述视差估计单元为所述基准图像的每个视差估计目标位置设置第一匹配区域；针对预先指定的每个像差值，计算表示所述第一匹配区域与所述参考图像中的对应于该像差值的第二匹配区域之间的相似性的成本值，并且针对每一行将使行的成本值的总和为最小的具有最高相似性的视差值设定为视差估计结果。
7.根据权利要求6所述的图像处理装置，其中：
在由所述关注区域检测单元所检测的所述关注区域中，所述视差估计单元使所述成本值包含对应于所指定的视差值与通过所述亮度视差转换单元进行亮度视差转换获得的视差值之间的差值的成本值。
8.根据权利要求7所述的图像处理装置，其中：
在除所述关注区域检测单元所检测到的关注区域之外的区域中，所述视差估计单元在没有获得所述差值的情况下对所述成本值进行计算。
9.根据权利要求6所述的图像处理装置，其中：
所述视差估计单元使对应于所述基准图像中所述视差估计目标位置的视差值与紧前的视差估计目标位置的视差值之间的差的成本值包括在指示所述第一匹配区域与所述第二匹配区域之间的相似性的成本值中。
10.根据权利要求1所述的图像处理装置，其中：
所述视差估计单元在所述视差估计中使用动态编程。
11.根据权利要求1所述的图像处理装置，其中：
所述关注区域检测单元将所述基准图像的色差值和亮度值与预定阈值比较，以检测所述关注区域。
12.根据权利要求1所述的图像处理装置，其中：
所述关注区域检测单元对所述基准图像执行纹理分析，以检测所述关注区域。
13.一种图像处理方法，包括：
从基准图像中检测出包括期望对象的关注区域；
基于通过使用过去帧估计的亮度视差转换特性来对所述关注区域执行亮度视差转换，其中，过去帧的亮度视差转换特性是指过去帧的视差值与亮度值之间的比例关系；以及
基于所述基准图像和参考图像来进行视差估计，并且通过使用亮度视差转换结果在所述关注区域中进行所述视差估计，所述参考图像的视点位置不同于所述基准图像的视点位置。
14.根据权利要求13所述的图像处理方法，其中：
通过使用所述关注区域的亮度值来执行所述亮度视差转换，所述关注区域的所述亮度值根据到所述期望对象的深度距离进行了校正。
15.一种图像处理系统，包括：
图像摄取装置，用于产生具有不同视点位置的多个拍摄图像的图像信号并且将所述图像信号中的一个作为基准图像提供给图像处理装置：
所述图像处理装置，包括：
关注区域检测单元，所述关注区域检测单元被配置为从基准图像检测出包括期望对象的关注区域；
亮度视差转换单元，所述亮度视差转换单元被配置为基于通过使用过去帧估计的亮度视差转换特性来对所述关注区域执行亮度视差转换，其中，过去帧的亮度视差转换特性是指过去帧的视差值与亮度值之间的比例关系；以及
视差估计单元，所述视差估计单元被配置为基于所述基准图像和参考图像进行视差估计，并且通过使用由所述亮度视差转换单元获得的亮度视差转换结果在所述关注区域中进行所述视差估计，所述参考图像的视点位置不同于所述基准图像的视点位置。
CN201410138822.6A 2013-04-15 2014-04-08 图像处理装置以及图像处理方法 Expired - Fee Related CN104104937B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013084669A JP2014206893A (ja) 2013-04-15 2013-04-15 画像処理装置と画像処理方法およびプログラム
JP2013-084669 2013-04-15

Publications (2)

Publication Number Publication Date
CN104104937A CN104104937A (zh) 2014-10-15
CN104104937B true CN104104937B (zh) 2017-09-05

Family

ID=51672700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410138822.6A Expired - Fee Related CN104104937B (zh) 2013-04-15 2014-04-08 图像处理装置以及图像处理方法

Country Status (3)

Country Link
US (3) US9213884B2 (zh)
JP (1) JP2014206893A (zh)
CN (1) CN104104937B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014206893A (ja) 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
KR102350232B1 (ko) * 2014-11-20 2022-01-13 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
WO2017005274A1 (en) 2015-07-03 2017-01-12 Huawei Technologies Co., Ltd. An image processing apparatus and method
WO2017145531A1 (ja) * 2016-02-24 2017-08-31 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
US20180041747A1 (en) * 2016-08-03 2018-02-08 Samsung Electronics Co., Ltd. Apparatus and method for processing image pair obtained from stereo camera
CN107689060A (zh) * 2016-08-03 2018-02-13 北京三星通信技术研究有限公司 目标对象的视觉处理方法、装置及基于视觉处理的设备
CN107516298B (zh) * 2017-07-21 2020-04-03 安徽航天生物科技股份有限公司 一种内窥镜影像处理方法
JP7023212B2 (ja) * 2018-10-29 2022-02-21 京セラ株式会社 画像処理装置、撮像装置、移動体および画像処理方法
CN111479070B (zh) * 2019-01-24 2022-02-01 杭州海康机器人技术有限公司 一种图像亮度确定方法、装置及设备
CN110706794B (zh) * 2019-09-26 2022-10-25 中国科学院深圳先进技术研究院 一种医学图像处理系统和医学图像处理方法
JP7382601B2 (ja) * 2020-07-28 2023-11-17 株式会社Soken 測距装置
CN111985551B (zh) * 2020-08-14 2023-10-27 湖南理工学院 一种基于多重注意力网络的立体匹配算法
CN114079768B (zh) * 2020-08-18 2023-12-05 杭州海康汽车软件有限公司 图像的清晰度测试方法及装置
CN113129293B (zh) * 2021-04-26 2022-08-23 长沙理工大学 医学图像分类方法、装置、计算机设备和存储介质
JP2023010136A (ja) * 2021-07-09 2023-01-20 株式会社Subaru ステレオカメラ装置および制御装置
CN114302057A (zh) * 2021-12-24 2022-04-08 维沃移动通信有限公司 图像参数确定方法、装置、电子设备及存储介质
KR102540676B1 (ko) * 2022-09-05 2023-06-07 콩테크 주식회사 카메라이미지를 이용하여 객체의 위치를 도출하는 방법 및 그 시스템
KR102540678B1 (ko) * 2022-09-05 2023-06-07 콩테크 주식회사 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102187681A (zh) * 2009-08-31 2011-09-14 索尼公司 立体图像显示系统、视差转换装置、视差转换方法及程序
CN102215423A (zh) * 2010-04-09 2011-10-12 特克特朗尼克国际销售有限责任公司 用于测量视听参数的方法和设备
CN102625117A (zh) * 2011-01-26 2012-08-01 Nlt科技股份有限公司 图像显示装置、图像显示方法和存储介质
CN102821291A (zh) * 2011-06-08 2012-12-12 索尼公司 图像处理设备、图像处理方法和程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP2001103513A (ja) 1999-09-27 2001-04-13 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する方法
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
JP4856612B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
US8405708B2 (en) * 2008-06-06 2013-03-26 Reald Inc. Blur enhancement of stereoscopic images
JP2012065851A (ja) 2010-09-24 2012-04-05 Chuo Univ 多視点裸眼立体内視鏡システム
KR20120051308A (ko) * 2010-11-12 2012-05-22 삼성전자주식회사 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
WO2012098974A1 (ja) * 2011-01-19 2012-07-26 シャープ株式会社 画像処理装置および方法、画像表示装置および方法
JP5984235B2 (ja) * 2011-07-19 2016-09-06 東芝メディカルシステムズ株式会社 画像処理システム、装置、方法及び医用画像診断装置
US10178368B2 (en) * 2012-10-23 2019-01-08 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
JP6042711B2 (ja) * 2012-12-18 2016-12-14 富士フイルム株式会社 トロカーポート位置決定支援装置、トロカーポート位置決定支援プログラムおよびトロカーポート位置決定支援装置の作動方法
JP2014206893A (ja) 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
US10497140B2 (en) * 2013-08-15 2019-12-03 Intel Corporation Hybrid depth sensing pipeline

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102187681A (zh) * 2009-08-31 2011-09-14 索尼公司 立体图像显示系统、视差转换装置、视差转换方法及程序
CN102215423A (zh) * 2010-04-09 2011-10-12 特克特朗尼克国际销售有限责任公司 用于测量视听参数的方法和设备
CN102625117A (zh) * 2011-01-26 2012-08-01 Nlt科技股份有限公司 图像显示装置、图像显示方法和存储介质
CN102821291A (zh) * 2011-06-08 2012-12-12 索尼公司 图像处理设备、图像处理方法和程序

Also Published As

Publication number Publication date
US20140307925A1 (en) 2014-10-16
US10430944B2 (en) 2019-10-01
US9569691B2 (en) 2017-02-14
JP2014206893A (ja) 2014-10-30
CN104104937A (zh) 2014-10-15
US9213884B2 (en) 2015-12-15
US20170109884A1 (en) 2017-04-20
US20160063348A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
CN104104937B (zh) 图像处理装置以及图像处理方法
US11562498B2 (en) Systems and methods for hybrid depth regularization
CN104966270B (zh) 一种多图像拼接方法
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
Camposeco et al. Hybrid camera pose estimation
US10789765B2 (en) Three-dimensional reconstruction method
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
US8593524B2 (en) Calibrating a camera system
WO2016184099A1 (zh) 基于光场数据分布的深度估计方法
CN106705849B (zh) 线结构光传感器标定方法
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN109165680A (zh) 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN111508068B (zh) 一种应用于双目内窥镜图像的三维重建方法及系统
CN114067197B (zh) 一种基于目标检测及双目视觉的管道缺陷识别与定位方法
CN104268880A (zh) 基于特征和区域匹配相结合的深度信息获取方法
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN107529963A (zh) 图像处理装置、图像处理方法和图像处理程序
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN111666788A (zh) 一种图像处理方法、装置及设备、存储介质
Liu et al. SSG-Net: A robust network for adaptive multi-source image registration based on SuperGlue
Yao et al. Registrating oblique SAR images based on complementary integrated filtering and multilevel matching
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
CN114998522B (zh) 多视连续光场影像室内场景稠密点云准确提取方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170905