CN108307654A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN108307654A
CN108307654A CN201680033752.5A CN201680033752A CN108307654A CN 108307654 A CN108307654 A CN 108307654A CN 201680033752 A CN201680033752 A CN 201680033752A CN 108307654 A CN108307654 A CN 108307654A
Authority
CN
China
Prior art keywords
image
parameter
characteristic point
coordinate
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680033752.5A
Other languages
English (en)
Inventor
明官佳宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108307654A publication Critical patent/CN108307654A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开内容涉及能够对由于立体相机的老化偏差而生成的图像偏差鲁棒地进行校正的图像处理装置和图像处理方法。评估单元基于模型公式来评估左相机和右相机之间的俯仰角差、左相机和右相机之间的偏航角差、左相机和右相机之间的滚转角差以及由左相机拾取的左图像与由右相机拾取的右图像的标度比中的至少两个参数，所述模型公式使用所述参数。本公开内容可以应用至例如包括配置有左相机和右相机的立体相机的成像装置等。

Description

图像处理装置和图像处理方法
技术领域
本公开内容涉及图像处理装置和图像处理方法，并且特别地涉及能够对由于立体相机的老化偏差而产生的图像偏差鲁棒地进行校正的图像处理装置和图像处理方法。
背景技术
近年来，随着计算机性能的提高，已经提出使用由立体相机检测到的深度来实现手势UI(用户接口)等，其中，立体相机通过两个相机从不同的视点拾取图像。
由于在深度检测期间执行的立体匹配中搜索方向仅是水平方向，所以立体匹配是基于左右相机之间没有竖直偏差的状态(左右相机的极线互相匹配并且平行的状态)这一前提的。因此，有必要通过图像处理按子像素次序对立体相机的旋转偏差等进行校正(进行修正)。
该修正需要使用通过每个立体相机的校准和立体相机的特性而获取的参数。校准方法的示例包括例如在改变视点的同时多次拾取印有位置关系已知的多个特征点的图表图案的方法(参见例如NPL1)。
然而，用作消费品等的便宜的立体相机难以在机械上保证左右相机之间的几何位置精度，并且立体相机的参数可能随着立体相机的老化偏差而改变。
为了解决该问题，已经提出：对可能由于立体相机的老化偏差而产生的左图像与右图像之间的偏差进行简单地建模，并且根据由此得到的模型对左图像与右图像之间的偏差进行校正(参见例如PTL1)。由于不需要立体相机的视角、分辨率等，所以PTL1中描述的校正方法可以容易地校正偏差。
在本说明书中，立体相机的老化偏差意味着立体相机从初始校准时间起的变化，并且老化偏差的示例包括由于从外部施加至壳体的力而引起的变形和材料随着温度的变形。
[引用列表]
[专利文献]
[PTL 1]
JP 2012-177676A
[非专利文献]
[NPL 1]
Zhengyou Zhang,“A Flexible New Technique for Camera Calibration,”IEEETrans.Pattern Anal.Mach.Intell.(PAMI),22(11):1330-1334,2000
发明内容
[技术问题]
同时，由于老化偏差而产生的图像偏差的主要原因是拾取的图像的标度比与由于老化偏差而产生的左右相机之间的俯仰角差、偏航角差以及滚转角差中的至少一个。
然而，在PTL 1中描述的未将这些原因用作参数的模型难以响应于可能的老化偏差等来自适应地改变图像偏差的主要原因。结果是，不能对由于立体相机的老化偏差而产生的图像偏差鲁棒地进行校正。
已经鉴于这些情况实现了本公开内容，并且本公开内容的目的是使得可以对由于立体相机的老化偏差而产生的图像偏差鲁棒地进行校正。
[问题的解决方案]
根据本公开内容的一个方面的成像装置是包括评估部分的图像处理装置，所述评估部分基于模型公式来评估第一成像部分与第二成像部分之间的俯仰角差、偏航角差、滚转角差以及由第一成像部分拾取的第一图像与由第二成像部分拾取的第二图像的标度比中的至少两个参数，所述模型公式使用所述参数。
根据本公开内容的一个方面的图像处理方法与根据本公开内容的一个方面的图像处理装置相对应。
根据本公开内容的一个方面，基于模型公式，第一成像部分与第二成像部分之间的俯仰角差、偏航角差、滚转角差以及由第一成像部分拾取的第一图像与由第二成像部分拾取的第二图像的标度比中的至少两个参数被评估，所述模型公式使用所述参数。
注意，可以通过使计算机执行程序来实现根据本公开内容的一个方面的图像处理装置。
此外，可以通过经由传输介质发送程序或者通过将程序记录在记录介质中来提供由计算机执行以实现根据本公开内容的一个方面的图像处理装置的程序。
[发明的有益效果]
根据本公开内容的一个方面，可以对图像执行处理。根据本公开内容的一个方面，还可以对由于立体相机的老化偏差而产生的图像偏差鲁棒地进行校正。
注意，效果并不总是限于此处描述的那些效果，而可以是本公开内容中描述的任何效果。
附图说明
[图1]图1意在能够对由于立体相机的随时间未对准而产生的图像未对准进行鲁棒地校正。
[图2]图2是示出图1的立体相机的外部构造的示例的立体图。
[图3]图3是老化偏差参数的说明图。
[图4]图4是计算翘曲前坐标的方法的说明图。
[图5]图5示出了左右对坐标的示例。
[图6]图6是评估参数确定方法的说明图。
[图7]图7是验证的说明图。
[图8]图8是说明通过图1的成像装置进行的图像处理的流程图。
[图9]图9是详细说明图8的评估参数确定处理的流程图。
[图10]图10是示出应用本公开内容的成像装置的第二实施例的配置的示例的框图。
[图11]图11是示出拍摄指示信息的第一示例的图。
[图12]图12是基于图11的拍摄指示信息的中点的分布的变化的说明图。
[图13]图13是说明拍摄指示信息的第二示例的图。
[图14]图14是说明通过图10的成像装置进行的图像处理的流程图。
[图15]图15是说明图14的拍摄指示信息生成处理的流程图。
[图16]图16是老化偏差参数的说明图。
[图17]图17是示出计算机的硬件的配置的示例的框图。
[图18]图18是示出车辆控制系统的示意性配置的一个示例的框图。
[图19]图19是示出车辆外部信息检测部分和成像部分的安装位置的一个示例的说明图。
具体实施方式
在下文中将描述用于执行本公开内容的方式(在下文中，称为“实施例”)。注意，将按以下顺序给出描述。
1.第一实施例：成像装置(图1至图9)
2.第二实施例：成像装置(图10至图15)
3.老化偏差参数的说明(图16)
4.第三实施例：计算机(图17)
5.第四实施例：车辆控制系统(图18和图19)
<第一实施例>
(成像装置的第一实施例的配置的示例)
图1是示出应用本公开内容的成像装置的第一实施例的配置的示例的框图。
图1的成像装置10配置有成像模块部分11、翘曲部分12以及老化偏差评估部分13，并且从两个视点拾取图像。
图1是示出应用本公开内容的成像装置的第一实施例的配置的示例的框图。
成像装置10的成像模块部分11配置有立体相机21和初始参数存储部分22。
立体相机21配置有左相机21A和右相机21B，其中，左相机21A被布置在被摄体左侧，右相机21B被布置在被摄体右侧。左相机21A和右相机21B从不同的视点对同一被摄体进行成像，并且获得拾取图像。由左相机21A拾取的拾取图像(在下文中称为“左图像”)和由右相机21B拾取的拾取图像(在下文中称为“右图像”)被提供至翘曲部分12。
初始参数存储部分22存储通过校准而获取的立体相机21的参数作为初始参数。初始参数配置有内部参数和外部参数，其中，内部参数表示左相机21A和右相机21B的镜头畸变形状等，外部参数表示左相机21A与右相机21B之间的几何位置关系等。
然而校准方法和初始参数不限于特定的这些，例如可以采用NPL 1中描述的那些。
翘曲部分12配置有左翘曲部分31、右翘曲部分32以及生成部分33。
左翘曲部分31对左图像执行修正。具体地，左翘曲部分31将左图像内的每个像素按顺序设置为感兴趣的像素。对于从左相机21A提供的左图像，左翘曲部分31通过将从生成部分33提供的左图像内的感兴趣的每个像素的翘曲前坐标上的像素设置为感兴趣的像素，来对感兴趣的像素执行翘曲。左翘曲部分31将由于对左图像内的所有像素进行翘曲而获得的图像提供并且输出至老化偏差评估部分13作为修正后左图像。
与左翘曲部分31类似，右翘曲部分32基于从生成部分33提供的右图像内的感兴趣的每个像素的翘曲前坐标，对从右相机21B提供的右图像执行修正。右翘曲部分32将修正后右图像提供并且输出至老化偏差评估部分13。
生成部分33从初始参数存储部分22读出初始参数。此外，生成部分33从老化偏差评估部分13读出用于在表示由于立体相机21的老化偏差而引起的左图像与右图像之间的偏差的模型公式(在下文中，称为“老化偏差模型公式”)中使用的老化偏差参数。
老化偏差参数包括：左相机21A(第一成像部分)与右相机21B(第二成像部分)之间的俯仰角差、偏航角差以及滚转角差；以及左图像与右图像的标度比，这些参数中的每一个参数可能成为由于老化偏差而产生的左图像与右图像之间的偏差的主要原因。如果不需要特别区分俯仰角差、偏航角差以及滚转角差与标度比，则在下文中将它们称为“参数”。
生成部分33基于初始参数和老化偏差参数来计算左图像内的感兴趣的每个像素的翘曲前坐标和右图像内的感兴趣的每个像素的翘曲前坐标。生成部分33将左图像内的感兴趣的像素的翘曲前坐标提供至左翘曲部分31，并且将右图像内的感兴趣的像素的翘曲前坐标提供至右翘曲部分32。结果是，可以对由于左相机21A和右相机21B的镜头畸变、左相机21A与右相机21B之间的几何位置偏差等而引起的左图像与右图像之间的水平方向和竖直方向上的偏差进行校正(进行修正)。
老化偏差评估部分13配置有：特征点检测部分41、左右对检测部分42、左右对缓冲器43、分布分析部分44、评估部分45、确定部分46、更新部分47以及老化偏差参数存储部分48。
特征点检测部分41从自右翘曲部分32提供的修正后右图像中检测下述图案的角点作为特征点，在所述图案中，易于使右图像和左图像彼此相对应。可以通过使用例如Harris角点检测来执行特征点检测部分41的检测。在例如C.Harris，M.J.Stephens,“Acombined corner and edge detector”,In Alvey Vision Conference,147-152页,1988中描述了Harris角点检测。
特征点检测部分41将每一个检测到的特征点的坐标提供至左右对检测部分42。注意，特征点检测部分41可以从自左翘曲部分31提供的修正后左图像中检测每个特征点的坐标，并且将特征点的坐标提供至左右对检测部分42。
左右对检测部分42基于从特征点检测部分41提供的每个特征点的坐标来执行来自右翘曲部分32的修正后右图像与来自左翘曲部分31的修正后左图像之间的块匹配等。左右对检测部分42(检测部分)从而检测修正后左图像内的与修正后右图像内的每个特征点相对应的点的坐标。
检测到的坐标的精度是例如与使用左图像和右图像而执行的立体匹配的精度相同的子像素精度。左右对检测部分42针对每个特征点将修正后右图像内的特征点的坐标和修正后左图像内的与所述特征点相对应的点的坐标的配对提供至左右对缓冲器43作为左右对坐标。
左右对缓冲器43保留从左右对检测部分42提供的特征点的左右对坐标。
分布分析部分44从左右对缓冲器43读出特征点的左右对坐标。分布分析部分44基于特征点的左右对坐标来计算特征点的左右对坐标之间的中点的坐标。分布分析部分44基于特征点的左右对坐标之间的中点的坐标的空间分布来将老化偏差参数中的待评估参数确定(选择)为评估参数，并且将评估参数提供至评估部分45。
评估部分45从左右对缓冲器43读出特征点的左右对坐标。评估部分45将通过从竖直老化偏差模型公式中删除除了从分布分析部分44提供的评估参数之外的参数成员而获得的公式确定为用于评估竖直方向上的偏差的评估公式。
评估部分45以使得竖直偏差的测量值与通过评估公式计算的竖直偏差的评估值之间的差最小的方式，基于特征点的左右对坐标和评估公式来评估用于在评估公式中使用的评估参数，其中，竖直偏差是特征点的左右对坐标之间在竖直方向上的差。评估部分45将代入有被评估的评估参数的评估公式提供至确定部分46，并且将评估参数提供至更新部分47。
确定部分46从左右对缓冲器43读出特征点的左右对坐标。确定部分46基于特征点的左右对坐标和从评估部分45提供的评估公式，计算特征点的左右对坐标之间的竖直差与根据评估公式而评估的竖直偏差之间的残差的统计量。确定部分46基于计算的统计量来执行用于确定评估参数是否有效的验证。确定部分46将验证结果提供至更新部分47。
更新部分47基于从确定部分46提供的验证结果将从评估部分45提供的评估参数提供至老化偏差参数存储部分48，以将评估参数存储在老化偏差参数存储部分48中，从而更新评估参数。
老化偏差参数存储部分48存储从更新部分47提供的评估参数。
注意，成像装置10可以被配置成使得不设置确定部分46并且每当评估参数被评估就更新评估参数。
(立体相机的外部构造的示例)
图2是示出图1的立体相机21的外部构造的示例的立体图。
如图2中所示，立体相机21的左相机21A和右相机21B沿水平方向(X方向)并排布置。在图2的示例中，立体相机21的左相机21A和右相机21B之间的基线长度(基线)b为80[mm]。
(老化偏差参数的说明)
图3是老化偏差参数的说明图。
构成老化偏差参数的俯仰角差θ[rad]、偏航角差φ[rad]、滚转角差α[rad]以及标度比λ由下式(1)表示。
[式1]
θ＝θL-θR
φ＝φL-φR
α＝αL-αR
如图3所示，θL和θR分别指示作为左相机21A和右相机21B在围绕X轴线旋转的方向上的角度的俯仰角，X轴线是水平方向上的轴线。φL和φR分别指示作为左相机21A和右相机21B在围绕Y轴线旋转的方向上的角度的偏航角，Y轴线是竖直方向上的轴线。
此外，αL和αR分别指示作为左相机21A和右相机21B在围绕Z轴线旋转的方向上的角度的滚转角，Z轴线是光轴方向上的轴线。λL和λR分别指示左图像61和右图像62在水平方向上的尺寸。注意，λL和λR可以分别是左图像61和右图像62在竖直方向上的尺寸。
俯仰角差θ[rad]、偏航角差φ[rad]以及滚转角差α[rad]生成视点的方向之间的偏差。此外，由左相机21A和右相机21B的焦距的偏差等产生标度比λ。
(计算翘曲前坐标的方法的说明)
图4是由图1的生成部分33计算翘曲前坐标的方法的说明图。
如果老化偏差参数小，则由于立体相机21在某些坐标(X，Y)上的老化偏差而产生的左图像与右图像之间的水平偏差量ΔX和竖直偏差量ΔY可以由下式(2)近似。因此，成像装置10采用式(2)作为老化偏差模型公式。
[式2]
ΔX＝(-XY)θ+(X2+1)φ+(-Y)α+(X)λ
ΔY＝-(Y2+1)θ+(XY)φ-(X)α+(Y)λ···(2)
此处，当坐标系是图像的中心为(0，0)的坐标系并且左相机21A和右相机21B分别为具有1.0的焦距f的针孔相机时，由于在坐标(X，Y)上生成偏差量ΔX和ΔY而引起的左图像内的坐标(XL_real，YL_real)和右图像内的坐标(XR_real，YR_real)由下式(3)表示。
[式3]
因此，生成部分33首先基于左图像和右图像内的感兴趣的像素的坐标(X，Y)来计算由于立体相机21的老化偏差而引起位置偏差之后的左图像内的感兴趣的像素的坐标(XL_real，YL_real)和右图像内的感兴趣的像素的坐标(XR_real，YR_real)。
具体地，生成部分33通过上式(2)计算相对于感兴趣的像素的水平偏差量ΔX和竖直偏差量ΔY。此时，老化偏差参数当中的未被保留在老化偏差参数存储部分48中的参数被设置成零。然后，生成部分33基于偏差量ΔX和ΔY来通过上式(3)计算坐标(XL_real，YL_real)和坐标(XR_real，YR_real)。
接下来，生成部分33根据NPL1等中描述的方法来基于初始参数计算翘曲前坐标(X”L，Y”L)、(X”R，Y”R)，其中，坐标(XL_real，YL_real)和坐标(XR_real，YR_real)被变换成翘曲前坐标(X”L，Y”L)、(X”R，Y”R)。
(左右对坐标的示例)
图5示出了左右对坐标的示例。
如图5的A中所示，特征点检测部分41例如从右图像81检测特征点81A和特征点81B。然后，特征点检测部分41将特征点81A的坐标(XR1，YR1)与特征点81B的坐标(XR2，YR2)提供至左右对检测部分42。
如图5的B中所示，左右对检测部分42执行以右图像81内的坐标(XR1，YR1)上的特征点81A为中心的块91A与左图像82之间的块匹配。左右对检测部分42将以下一对坐标确定为左右对坐标：左图像82内的与块91A的相关性最高的块92A的中心82A的坐标(XL1，YL1)，和特征点81A的坐标(XR1，YR1)。
类似地，左右对检测部分42执行以右图像81内的坐标(XR2，YR2)上的特征点81B为中心的块91B与左图像82之间的块匹配。左右对检测部分42将以下一对坐标确定为左右对坐标：左图像82内的与块91B的相关性最高的块92B的中心82B的坐标(XL2，YL2)，和特征点81B的坐标(XR2，YR2)。
(评估参数确定方法)
图6是由图1的分布分析部分44进行的评估参数确定方法的说明图。
如上所述，成像装置10采用上式(2)作为老化偏差模型公式。因此，评估部分45基本上使用式(2)中的作为竖直老化偏差模型公式的定义偏差量ΔY的公式作为评估公式，并且以使得通过评估公式评估的偏差量ΔY与偏差量ΔY的测量值之间的差最小的方式来评估用于在评估公式中使用的老化偏差参数。
具体地，评估部分45使用构成特征点的左右对坐标的左图像的坐标(XL，YL)和右图像的坐标(XR，YR)之间的竖直差作为偏差量ΔY的测量值。此外，评估部分45通过下式(4)来确定左图像的坐标(XL，YL)和右图像的坐标(XR，YR)之间的中点的坐标(XM，YM)。
[式4]
此外，评估部分45基于式(2)中的定义偏差量ΔY的公式，将通过评估公式评估的相对于中点的坐标(XM，YM)的偏差量ΔY与偏差量ΔY的测量值之间的误差E的平方的和通过下式(5)定义为评估函数。
[式5]
E＝∑((YL-YR)-(-(YM 2+1)θ+(XMYM)φ-(XM)α+(YM)λ))2
···(5)
然后，评估部分45使用普通非线性最小化方案例如Levenberg-Marquardt方法来评估使上述误差的平方的和最小的老化偏差参数。
然而，如图6所示，在式(5)中，差θ的系数为-(YM 2+1)，差φ的系数为XMYM，差α的系数为-XM，并且标度比λ的系数为YM。
因此，分布分析部分44确定：只有在预定数量或更多的中点的坐标(XM，YM)分布在照片平面的整个区域a1中的情况下，即，只有在特征点的数量等于或大于该预定数量的情况下，才可以以足够的精度评估差θ并且将差θ确定为评估参数。
此外，分布分析部分44确定：当照片平面被划分成3x 3区域时，只有在预定数量或更多的中点的坐标(XM，YM)分布在左上区域a2、左下区域b2、右上区域c2、右下区域d2以及中央区域e2中的情况下，才可以以足够的精度评估差φ并且将差φ确定为评估参数。
此外，分布分析部分44确定：只有在预定数量或更多的中点的坐标(XM，YM)分布在通过沿水平方向将照片平面划分成多个(在图6的示例中为三个)区域而获得的区域a3至c3中的情况下，才可以以足够的精度评估差α并且将差α确定为评估参数。
此外，分布分析部分44确定：只有在预定数量或更多的中点的坐标(XM，YM)分布在通过沿竖直方向将照片平面划分成多个(在图6的示例中为三个)区域而获得的区域a4至c4中的情况下，才可以以足够的精度评估标度比λ并且将标度比λ确定为评估参数。
老化偏差参数当中的除了评估参数之外的参数成员被从评估公式中删除。因此，不评估老化偏差参数当中的除了评估参数之外的参数。
例如，如果只有差θ和标度比λ被确定为评估参数，则评估部分45以使得由下式(6)定义的误差Ea的平方的和最小的方式仅评估差θ和标度比λ。
[式6]
Ea＝∑((YL-YR)-(-(YM 2+1)θ+(YM)λ))2···(6)
例如，如果只有差θ被确定为评估参数，则评估部分45以使得由下式(7)定义的误差Eb的平方的和最小的方式仅评估差θ。
[式7]
Eb＝∑((YL-YR)-(-(YM 2+1)θ))2···(7)
(对验证的说明)
图7是由图1的确定部分46进行的验证的说明图。
图7的图表是直方图，其中，水平轴线表示残差Yerr[像素]，竖直轴线表示特征点的数量。
例如，如果所有的老化偏差参数被确定为评估参数，则残差Yerr由下式(8)表示。
[式8]
Yerr＝(YL-YR)-(-(YM 2+1)θ+(XMYM)φ-(XM)α+(YM)λ)
···(8)
确定部分46确定特征点的残差Yerr，并且计算与每个残差Yerr相对应的特征点的数量作为统计量，从而生成图7的直方图。此外，确定部分46确定下述特征点的数量count_valid，所述特征点的残差Yerr存在于预先被定义为有效范围并且其中绝对值等于或小于y_thr(例如0.5)的范围内。
确定部分46生成以下验证结果:该验证结果指示如果特征点的数量count_valid与特征点的总数count_total的比率等于或高于预定的有效对比率valid_ratio(例如，0.8)，则评估参数有效。另一方面，确定部分46生成以下验证结果:该验证结果指示如果特征点的数量count_valid与特征点的总数count_total的比率低于该预定的有效对比率valid_ratio，则评估参数无效。
(由成像装置进行的处理的说明)
图8是说明由图1的成像装置10进行的图像处理的流程图。
在图8的步骤S11中，成像装置10初始化左右对缓冲器43。左右对缓冲器43从而删除保留在其中的左右对坐标。
在步骤S12中，立体相机21的左相机21A拾取左图像，并且右相机21B拾取右图像。左图像被提供至左翘曲部分31，并且右图像被提供至右翘曲部分32。
在步骤S13中，左翘曲部分31将构成左图像的像素中的尚未被确定为感兴趣的像素的像素确定为左图像内的感兴趣的像素。此外，右翘曲部分32将构成右图像的像素中的与左图像内的感兴趣的像素的位置相同的像素确定为右图像内的感兴趣的像素。
在步骤S14中，生成部分33基于从初始参数存储部分22读出的初始参数和从老化偏差参数存储部分48读出的老化偏差参数，来计算左图像和右图像内的感兴趣的像素的翘曲前坐标。生成部分33将左图像内的感兴趣的像素的翘曲前坐标提供至左翘曲部分31，并且将右图像内的感兴趣的像素的翘曲前坐标提供至右翘曲部分32。
在步骤S15中，对于从左相机21A提供的左图像，左翘曲部分31通过将从生成部分33提供的左图像内的感兴趣的像素的翘曲前坐标上的像素设置为感兴趣的像素，来对感兴趣的像素执行翘曲。此外，对于从右相机21B提供的右图像，右翘曲部分32通过将从生成部分33提供的右图像内的感兴趣的像素的翘曲前坐标上的像素设置为感兴趣的像素，来对感兴趣的像素执行翘曲。
在步骤S16中，左翘曲部分31确定左图像内的所有像素是否均已经被确定为感兴趣的像素。当在步骤S16中确定左图像内尚有像素未均被确定为感兴趣的像素时，处理返回至步骤S13，并且重复从步骤S13至步骤S16的处理直到左图像内的所有像素均已经被确定为感兴趣的像素。
另一方面，当在步骤S16中确定左图像内的所有像素均已经被确定为感兴趣的像素时，左翘曲部分31将由于对左图像内的所有像素进行翘曲而获得的图像提供至左右对检测部分42作为修正后左图像。此外，右翘曲部分32将由于对右图像内的所有像素进行翘曲而获得的图像提供至特征点检测部分41和左右对检测部分42作为修正后右图像。
在步骤S17中，特征点检测部分41从自右翘曲部分32提供的修正后右图像中检测特征点。特征点检测部分41将从修正后右图像中检测到的每一个特征点的坐标提供至左右对检测部分42。
在步骤S18中，左右对检测部分42通过基于特征点的坐标执行修正后右图像与修正后左图像之间的块匹配等来生成特征点的左右对坐标。特征点的左右对坐标被提供至左右对缓冲器43并且被保留在左右对缓冲器43中。
在步骤S19中，分布分析部分44基于保留在左右对缓冲器43中的特征点的左右对坐标的分布来执行用于确定评估参数的评估参数确定处理。将参照稍后将提及的图9详细描述该评估参数确定处理。
在步骤S20中，评估部分45基于通过从竖直老化偏差模型公式中删除除了评估参数之外的参数成员而获得的评估公式和保留在左右对缓冲器43中的特征点的左右对坐标来评估评估参数。评估部分45将代入有被评估的评估参数的评估公式提供至确定部分46，并且将评估参数提供至更新部分47。
在步骤S21中，确定部分46基于保留在左右对缓冲器43中的特征点的左右对坐标和从评估部分45提供的评估公式来生成残差的直方图，并且基于残差的直方图执行验证。确定部分46将验证结果提供至更新部分47。
在步骤S22中，更新部分47基于从确定部分46提供的验证结果来确定评估参数是否有效，即验证结果是否指示评估参数有效。
当在步骤S22中确定评估参数有效时，更新部分47在步骤S23中将从评估部分45提供的评估参数提供至老化偏差参数存储部分48，以将评估参数存储在老化偏差参数存储部分48中，从而更新评估参数。然后，成像装置10结束处理。
另一方面，当在步骤S23中确定评估参数无效时，成像装置10在步骤S24中通知用户未成功执行修正，成像装置10执行错误处理例如请求重试，并且结束处理。
图9是详细说明图8的步骤S19中的评估参数确定处理的流程图。
在图9的步骤S41中，分布分析部分44将与保留在左右对缓冲器43中的左右对坐标相对应的特征点的数量设置成N。在步骤S42中，分布分析部分44确定特征点的数量N是否大于阈值k1(例如，100)。
当在步骤S42中确定特征点的数量等于或小于阈值k1时，处理返回至图8的步骤S12，并且执行后续处理。结果是，新的左图像和新的右图像被拾取，并且新的左图像和新的右图像内的左右对坐标被添加至左右对缓冲器43。
另一方面，当在步骤S42中确定特征点的数量大于阈值k1时，分布分析部分44在步骤S43中将差θ确定为评估参数并且将差θ提供至评估部分45。
在步骤S44中，分布分析部分44计算与下述左右对坐标相对应的特征点的数量N1至N3，其中，相对于所述左右对坐标，中点的坐标(XM，YM)分别分布在图6的区域a4至c4中。此外，分布分析部分44计算与下述左右对坐标相对应的特征点的数量N4至N6，其中，相对于所述左右对坐标，中点的坐标(XM，YM)分别分布在图6的区域a3至c3中。此外，分布分析部分44计算与下述左右对坐标相对应的特征点的数量N7至N11，其中，相对于所述左右对坐标，中点的坐标(XM，YM)分别分布在图6的区域a2至e2中。
特别地，分布分析部分44从左右对缓冲器43中读出特征点的左右对坐标。分布分析部分44基于特征点的左右对坐标来计算特征点的左右对坐标之间的中点的坐标(XM，YM)。
分布分析部分44按顺序设置中点的待处理的坐标(XM，YM)。当待处理的坐标(XM，YM)中的YM等于或小于-H/6时，分布分析部分44将特征点的数量N1加一，其中，H是照片平面的竖直尺寸(高度)。另一方面，当YM大于-H/6并小于H/6时，分布分析部分44将特征点的数量N2加一。当YM等于或大于H/6时，分布分析部分44将特征点的数量N3加一。分布分析部分44将在处理了所有中点的坐标(XM，YM)之后的特征点的数量N1至N3确定为特征点的最终数量N1至N3。
此外，分布分析部分44按顺序设置中点的待处理的坐标(XM，YM)。当待处理的坐标(XM，YM)中的XM等于或小于-W/6时，分布分析部分44将特征点的数量N4加一，其中，W是照片平面的水平尺寸(宽度)。另一方面，当XM大于-W/6并且小于W/6时，分布分析部分44将特征点的数量N5加一。当XM等于或大于W/6时，分布分析部分44将特征点的数量N6加一。分布分析部分44将在处理了所有中点的坐标(XM，YM)之后的特征点的数量N4至N6确定为特征点的最终数量N4至N6。
此外，分布分析部分44按顺序设置中点的待处理的坐标(XM，YM)。当待处理的坐标(XM，YM)中的XM等于或小于-W/6并且YM等于或小于-H/6时，分布分析部分44将特征点的数量N7加一。另一方面，当XM等于或小于-W/6并且YM等于或大于H/6时，分布分析部分44将特征点的数量N8加一。当XM等于或大于W/6并且YM等于或小于-H/6时，分布分析部分44将特征点的数量N9加一。此外，当XM等于或大于W/6并且YM等于或大于H/6时，分布分析部分44将特征点的数量N10加一。当XM大于-W/6且小于W/6并且YM大于-H/6且小于H/6时，分布分析部分44将特征点的数量N11加一。分布分析部分44将在所有中点的坐标(XM，YM))被处理之后的特征点的数量N7至N11确定为特征点的最终数量N7至N11。
在步骤S45中，分布分析部分44确定特征点的数量N1至N3是否全部大于阈值k2(例如50)。当在步骤S45中确定特征点的数量N1至N3全部均大于阈值k2时，分布分析部分44在步骤S46中将标度比λ确定为评估参数，并且将标度比λ提供至评估部分45。然后，处理转至步骤S47。
另一方面，当在步骤S45中确定特征点的数量N1至N3中的至少一个等于或小于阈值k2时，处理跳过步骤S46并且转至步骤S47。
在步骤S47中，分布分析部分44确定特征点的数量N4至N6是否全部大于阈值k2。当在步骤S47中确定特征点的数量N4至N6全部均大于阈值k2时，分布分析部分44在步骤S48中将差α确定为评估参数，并且将差α提供至评估部分45。然后，处理转至步骤S49。
另一方面，当在步骤S47中确定特征点的数量N4至N6中的至少一个等于或小于阈值k2时，处理跳过步骤S48并且转至步骤S49。
在步骤S49中，分布分析部分44确定特征点的数量N7至N11是否全部大于阈值k2。当在步骤S49中确定特征点的数量N7至N11全部均大于阈值k2时，分布分析部分44在步骤S50中将差φ确定为评估参数，并且将差φ提供至评估部分45。处理返回至图8的步骤S19，并且转至步骤S20。
另一方面，当在步骤S49中确定特征点的数量N7至N11中的至少一个等于或小于阈值k2时，处理跳过步骤S50，返回至图8的步骤S19并且转至步骤S20。
当生成由差θ而产生的左图像与右图像之间的偏差时，不论该偏差多小，在立体匹配中均会生成许多误差。因此，差θ的评估的重要性水平很高。因此，在图9的评估参数确定处理中总是将差θ确定为评估参数。
另一方面，认为由例如标度比λ而产生的左图像与右图像之间的偏差不会对照片平面的中心部分产生严重的影响。因此，在评估参数确定处理中，仅当特征点的数量N1至N3全部均大于阈值k2、即可以以足够的精度评估标度比λ时，才将标度比λ确定为评估参数。
如上所述，成像装置10基于使用老化偏差参数中的至少一个参数的老化偏差模型公式来评估参数。因此，可以响应于例如立体相机21的可能的老化偏差等而改变待评估的参数，并且可以改变通过评估公式评估的竖直偏差的主要原因。
因此，可以使用少量的计算来对由于立体相机21的老化偏差而产生的图像偏差鲁棒地进行校正。因此，可以以低机械成本保证立体相机21的老化偏差，并且实现作为消费品的便宜的立体相机。
此外，成像装置10确定是否能够以足够的精度评估老化偏差参数中的每一个，并且仅对被确定能够以足够的精度评估的参数进行评估。因此，成像装置10可以确保评估结果的鲁棒性。
<第二实施例>
(成像装置的第二实施例的配置的示例)
图10是示出应用本公开内容的成像装置的第二实施例的配置的示例的框图。
在图10所示的配置中，用同样的附图标记表示与图1的构成元件相同的构成元件。适当时省略重复说明。
图10的成像装置110的配置与图1的成像装置10的配置的区别在于：设置老化偏差评估部分111作为老化偏差评估部分13的替代，以及新设置了显示部分112。成像装置110不是基于左右坐标对的分布来确定评估参数，而是在以能够获得下述左右坐标对的分布的方式控制左和右坐标对的收集的同时确定评估参数，所述左右坐标对的分布使得能够以足够的精度评估所有的老化偏差参数。
具体地，老化偏差评估部分111的配置与图1的老化偏差评估部分13的配置的区别在于：设置分布分析部分121和评估部分122作为分布分析部分44和评估部分45的替代。
老化偏差评估部分111的分布分析部分121从左右对缓冲器43读出特征点的左右对坐标。分布分析部分121基于特征点的左右对坐标来计算特征点的左右对坐标之间的中点的坐标。分布分析部分121(生成部分)基于特征点的左右对坐标之间的中点的坐标的空间分布来生成拍摄指示信息，该拍摄指示信息以能够获得下述左右坐标对的分布的方式在拍照方法方面向用户进行指示，所述左右坐标对的分布使得所有老化偏差参数能够被评估。分布分析部分121将拍摄指示信息提供至显示部分112。
评估部分122从左右对缓冲器43读出特征点的左右对坐标。评估部分122使用竖直老化偏差模型公式作为用于评估竖直偏差的评估公式。评估部分122基于特征点的左右对坐标和评估公式来以使得竖直偏差的测量值与通过评估公式计算的竖直偏差的评估值之间的差最小的方式，来评估用于在评估公式中使用的老化偏差参数，其中，竖直偏差是特征点的左右对坐标之间在竖直方向上的差。评估部分122将代入有被评估的老化偏差参数的评估公式提供至确定部分46，并且将老化偏差参数提供至更新部分47。
显示部分112显示从分布分析部分121提供的拍摄指示信息。
(拍摄指示信息的第一示例)
图11是示出拍摄指示信息的第一示例的图。
如图11所示，如果特征点的左右对坐标之间的中点141A仅存在于照片平面141的上侧并且中点的数量在下侧不充足，则分布分析部分121生成消息“使相机向上转”和向上箭头142A作为拍摄指示信息142。从而配置有消息“使相机向上转”和向上箭头142A的拍摄指示信息142被显示在显示部分112上。
(基于拍摄指示信息的中点的分布的变化的说明)
图12是基于图11的拍摄指示信息142的中点的分布的变化的说明图。
如图12所示，如果作为第一帧的帧#1中的特征点的左右对坐标之间的中点152-1仅存在于照片平面151的上侧并且中点的数量在下侧不充足，则拍摄指示信息142被显示在显示部分112上。
当已经观看到拍摄指示信息142的用户在立体相机21向上转的情况下执行拍摄时，在作为结果得到的第二帧的帧#2的左图像和右图像内，与中点152-1相对应的特征点向下移动。因此，如图12所示，特征点的左右对坐标之间的中点152-2存在于中点152-1的下方。结果是，收集了存在于照片平面151的最上侧的中点152-1和存在于中点152-1下方的中点152-2。
随后，以类似的方式，拍摄指示信息142在显示部分112上的显示被重复(N-2)次(其中N是大于2的整数)，以收集更下侧的中点直到照片平面151中的中点的分布变成使得能够以足够的精度来评估所有老化偏差参数的分布。
结果是，与N个帧相对应的左图像和右图像被拍摄，并且收集的中点152-1至152-N在照片平面151中的分布变成使得能够以足够的精度评估所有老化偏差参数的分布。
(拍摄指示信息的第二示例)
图13是示出拍摄指示信息的第二示例的图。
如图13所示，如果特征点的左右对坐标之间的中点171A仅存在于照片平面171的左侧，并且中点的数量在右侧不充足，则分布分析部分121生成消息“向左移动”和向左箭头172A作为拍摄指示信息172。从而配置有消息“向左移动”和向左箭头172A的拍摄指示信息172被显示在显示部分112上。
当已经观看到拍摄指示信息172的用户向左移动并且执行拍摄时，在新拍摄的左图像和右图像内，与中点171A相对应的特征点向右移动。因此，可以在照片平面171的右侧收集过去不充足的中点。
(由成像装置进行的处理的说明)
图14是说明由图10的成像装置110进行的图像处理的流程图。
由于从步骤S71至步骤S78的处理与图8的从步骤S11至步骤S18的处理类似，因此省略说明。
在步骤S79中，分布分析部分121基于保留在左右对缓冲器43中的特征点的左右对坐标的分布，来执行用于生成拍摄指示信息的拍摄指示信息生成处理。将参考稍后将提及的图15详细描述该拍摄指示信息生成处理。
在步骤S80中，评估部分122基于作为竖直老化偏差模型公式的评估公式和保留在左右对缓冲器43中的特征点的左右对坐标来评估老化偏差参数。评估部分45将代入有被评估的老化偏差参数的评估公式提供至确定部分46，并且将老化偏差参数提供至更新部分47。
在步骤S81中，确定部分46基于保留在左右对缓冲器43中的特征点的左右对坐标和从评估部分45提供的评估公式来生成残差的直方图，并且基于残差的直方图执行验证。确定部分46将验证结果提供至更新部分47。
在步骤S82中，更新部分47基于从确定部分46提供的验证结果来确定老化偏差参数是否有效，即验证结果是否指示老化偏差参数有效。
当在步骤S82中确定老化偏差参数有效时，更新部分47在步骤S83中将从评估部分45提供的老化偏差参数提供至老化偏差参数存储部分48以将老化偏差参数存储在老化偏差参数存储部分48中，从而更新老化偏差参数。然后，成像装置110结束处理。
另一方面，当在步骤S83中确定老化偏差参数无效时，成像装置110在步骤S84中通知用户未成功执行修正，成像装置110执行错误处理例如请求重试，并且结束处理。
图15是说明图14的步骤S79中的拍摄指示信息生成处理的流程图。
由于图15的从步骤S101至S104的处理与图9的步骤S41、步骤S42、步骤S44以及步骤S45的处理类似，因此省略说明。
当在步骤S104中确定特征点的数量N1至N3中的至少一个等于或小于阈值k2时，处理转至步骤S105。在步骤S105中，分布分析部分121生成与区域a4至c4当中的特征点的数量等于或小于k2的区域相对应的拍摄指示信息。
例如，当特征点的数量N1等于或小于k2时，分布分析部分121生成消息“使相机下降”和向下箭头作为与区域a4相对应的拍摄指示信息。此外，当特征点的数量N3等于或小于k2时，分布分析部分121生成与区域c4相对应的拍摄指示信息142(图11)。分布分析部分121将生成的拍摄指示信息提供至显示部分112，以在显示部分112上显示拍摄指示信息。然后，处理返回至图14的步骤S72，并且执行后续处理。
另一方面，当在步骤S104中确定特征点的数量N1至N3全部均大于阈值k2时，处理转至步骤S106。
在步骤S106中，分布分析部分121确定特征点的数量N4至N6是否全部均大于阈值k2。当在步骤S106中确定特征点的数量N4至N6中的至少一个等于或小于阈值k2时，处理转至步骤S107。
在步骤S107中，分布分析部分121生成与区域a3至c3当中的特征点的数量等于或小于k2的区域相对应的拍摄指示信息。
例如，当特征点的数量N4等于或小于k2时，分布分析部分121生成消息“向右移动”和向右箭头作为与区域a3相对应的拍摄指示信息。此外，当特征点的数量N6等于或小于k2时，分布分析部分121生成与区域c3相对应的拍摄指示信息172(图13)。分布分析部分121将生成的拍摄指示信息提供至显示部分112，以在显示部分112上显示拍摄指示信息。然后，处理返回至图14的步骤S72，并且执行后续处理。
另一方面，当在步骤S106中确定特征点的数量N4至N6全部均大于阈值k2时，处理转至步骤S108。
在步骤S108中，分布分析部分121确定特征点的数量N7至N11是否全部均大于阈值k2。当在步骤S108中确定特征点的数量N7至N11中的至少一个等于或小于阈值k2时，处理转至步骤S109。
在步骤S109中，分布分析部分121生成与区域a2至e2当中的特征点的数量等于或小于k2的区域相对应的拍摄指示信息。
例如，当特征点的数量N7等于或小于k2时，分布分析部分121生成消息“使相机至右下转”和向右下箭头作为与区域a2相对应的拍摄指示信息。此外，当特征点的数量N8等于或小于k2时，分布分析部分121生成消息“使相机至右上转”和向右上箭头作为与区域b2相对应的拍摄指示信息。分布分析部分121将生成的拍摄指示信息提供至显示部分112，以在显示部分112上显示拍摄指示信息。然后，处理返回至图14的步骤S72，并且执行后续处理。
另一方面，当在步骤S108中确定特征点的数量N7至N11均大于阈值k2时，处理返回至图14的步骤S79，并且转至步骤S80。
如上所述，成像装置110将拍摄指示信息显示在显示部分112上，使得可以收集使得能够以足够的精度来评估所有老化偏差参数的特征点。因此，可以以足够的精度来评估所有老化偏差参数。
在第二实施例中，当收集竖直位置不同的特征点时，生成用于指示用户改变相机方向的拍摄指示信息。可替选地，可以生成用于指示用户沿竖直方向移动的拍摄指示信息。此外，当收集水平位置不同的特征点时，生成用于指示用户移动的拍摄指示信息。可替选地，可以生成用于指示相机沿水平方向移动的拍摄指示信息。
此外，成像装置10可以不通过在显示部分112上显示拍摄指示信息而通过使用致动器等自动移动立体相机21来收集特征点。
<老化偏差参数的说明>
图16是老化偏差参数的说明图。
如图16所示，出现老化偏差参数当中的俯仰角差θ的主要原因是由于从成像装置10(110)的壳体的外部施加的应力等而引起的底盘和基板的畸变。
此外，当生成差θ时，在整个照片平面中的左图像和右图像内的对应的像素之间产生竖直位置偏差(在下文中，称为“Y偏差”)。结果是，在使用整个照片平面中的左图像和右图像的立体匹配中发生匹配误差。此外，在照片平面的对角区域中的左图像和右图像内的对应像素之间发生水平位置偏差(在下中，称为“X偏差”)。结果是，照片平面中作为下述区域的面积的有效面积减小，在所述区域中，通过立体匹配生成有深度。因此，当使用深度执行图像识别时，识别精度大大降低。因此，差θ的评估的重要性水平很高。
此外，由于如果整个照片平面中存在一定数量的特征点之间的中点则能够以足够的精度评估差θ，所以可以相对容易地评估差θ。
出现偏航角差φ的主要原因是由于基板的前表面和后表面之间产生温度差等而引起的底盘和基板的翘曲(偏转)，所述温度差是由于安装在成像装置10(110)的基板的表面上的部件的发热等。
当生成差φ时，在整个照片平面中出现大的X偏差，并且在通过立体匹配生成的深度(视差)中出现误差(偏差)。即，在整个照片平面中深度的绝对距离精度降低。结果是，难以实现需要深度的绝对距离精度的应用。此外，当生成差φ时，在照片平面的对角区域中发生Y偏差。
此外，如果特征点之间的中点主要存在于照片平面的对角区域中，则可以以足够的精度来评估差φ。然而，由于当X偏差和Y偏差可能同时出现在特征点中时，与X偏差量相比较，Y偏差量小，所以差φ的鲁棒评估是困难的。
出现滚转角差α的主要原因是左相机21A和右相机21B围绕Z轴线旋转等。
当生成差α时，在照片平面的上端和下端频繁地发生X偏差，并且在通过立体匹配生成的深度(视差)中出现误差(偏差)。即，深度的绝对距离精度在照片平面的上端和下端降低。此外，当生成差α时，在照片平面的左端和右端频繁地发生Y偏差，并且在立体匹配中发生许多匹配误差。因此，深度的有效面积在照片平面的左端和右端减小，并且当使用深度执行图像识别时，识别精度降低。然而，差α对照片平面的中心部分的影响是微小的。
此外，如果特征点之间的中点分布在照片平面的水平方向上，则可以以足够的精度来评估差α。
出现标度比λ的主要原因是：由于包含在左相机21A和右相机21B中的、各自在焦距处具有温度依赖性的镜头之间产生温度差等而引起的左相机21A和右相机21B的焦距的变化。
当生成标度比λ时，在照片平面的左端和右端频繁地发生X偏差，并且在通过立体匹配生成的深度(视差)中出现误差(偏差)。即，深度的绝对距离精度在照片平面的左端和右端降低。此外，当生成标度比λ时，在照片平面的上端和下端频繁地发生Y偏差，并且在立体匹配中频繁地发生匹配误差。因此，深度的有效面积在照片平面的上端和下端减小，并且当使用深度执行图像识别时，识别精度降低。然而，标度比λ对照片平面的中心部分的影响是微小的。
此外，如果特征点之间的中点分布在照片平面的竖直方向上，则可以以足够的精度评估标度比λ。
如上所述，参数出现的原因彼此不同。因此，每个参数是否出现根据成像装置10(110)的机械结构和使用状况而不同。因此，成像装置10(110)可以仅对根据机械结构和使用状况而可能出现的参数进行评估。
此外，每个参数对应用的影响程度根据使用深度的应用的类型而不同。因此，成像装置10(110)可以根据应用，仅评估对要执行的应用(处理)的影响程度大的参数。
<第三实施例>
(应用本公开内容的计算机的说明)
上述一系列处理可以由硬件执行或由软件执行。当一系列处理由软件执行时，构成软件的程序被安装至计算机中。此处，计算机的类型包括：并入至专用硬件中的计算机、能够通过将各种程序安装至计算机中来执行各种功能的计算机例如通用个人计算机等。
图17是示出通过程序执行上述一系列处理的计算机的硬件的配置的示例的框图。
在计算机200中，CPU(中央处理单元)201、ROM(只读存储器)202以及RAM(随机存取存储器)203通过总线204相互连接。
输入/输出接口205也连接至总线204。成像部分206、输入部分207、输出部分208、存储部分209、通信部分210以及驱动器211连接到输入/输出接口205。
成像部分206配置有立体相机21。输入部分207由键盘、鼠标、麦克风等组成。输出部分208由显示器、扬声器等组成。存储部分209由硬盘、非易失性存储器等组成。通信部分210由网络接口等组成。驱动器211驱动可移除介质212，例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机200中，CPU 201经由输入/输出接口205和总线204将存储在例如存储部分209中的程序加载至RAM203，并且执行该程序，其中通过该程序，上述一系列处理被执行。
可以通过例如将程序记载在用作套装介质等的可移除介质212中来提供由计算机200(CPU 201)执行的程序。可替选地，可以经由有线或无线传输介质例如局域网、因特网或数字卫星服务来提供程序。
在计算机200中，可以通过将可移除介质212附接至驱动器211来经由输入/输出接口205将程序安装至存储部分209中。可替选地，程序可以经由有线或无线传输介质被通信部分210接收并被安装至存储部分209中。在另一可替选方式中，程序可以预先安装至ROM202或存储部分209中。
由计算机200执行的程序可以是用于按照本说明书中描述的次序按时间顺序执行处理的程序，或者可以是用于并行执行处理或者在必要时刻例如调用时刻执行处理的程序。
<第四实施例>
(车辆控制系统)
根据本公开内容的技术可以应用至各种产品。例如，根据本公开内容的技术可以被实现为安装在任何类型的车辆中的装置，所述任何类型的车辆即机动车辆、电动车辆、混合电动车辆以及两轮车辆中的任何一种。
图18是示出可以应用根据本公开内容的技术的车辆控制系统2000的示意性配置的一个示例的框图。车辆控制系统2000包括经由通信网络2010彼此连接的多个电子控制单元。在图18所示的示例中，车辆控制系统2000包括：驱动系统控制单元2100、车体系统控制单元2200、电池控制单元2300、车辆外部信息检测单元2400、车辆内部信息检测单元2500以及集成控制单元2600。连接多个控制单元的通信网络2010可以是与任意标准兼容的车载通信网络，例如CAN(控制器局域网)、LIN(本地互连网络)、LAN(局域网)或FlexRay(注册商标)。
每个控制单元包括：微型计算机、存储部分以及驱动电路，其中，微型计算机根据各种程序执行计算处理，存储部分存储由微型计算机执行的程序、用于在各种计算中使用的参数等，驱动电路在各种控制下驱动装置。每个控制单元包括网络I/F(接口)和通信I/F，其中，网络I/F(接口)用于通过通信网络2010与其他控制单元保持通信，通信I/F用于通过有线通信或无线通信与车辆内部或外部的设备、传感器等保持通信。图18示出了微型计算机2610、通用通信I/F 2620、专用通信I/F 2630、定位部分2640、信标接收部分2650、驾驶室装置I/F 2660、视听输出部分2670、车载网络I/F 2680以及存储部分2690作为集成控制单元2600的功能组成元件。同样地，其他控制单元均包括微型计算机、通信I/F、存储部分等。
驱动系统控制单元2100根据各种程序来控制由与车辆驱动系统相关联的装置执行的操作。例如，驱动系统控制单元2100用作以下部件的控制器：用于生成车辆的驱动力的驱动力生成器(例如内燃机或驱动马达)；用于将驱动力传递至车轮的驱动力传递机构；调整车辆的转向角的转向机构；生成车辆的制动力的制动器等。驱动系统控制单元2100可以用作ABS(防抱死制动系统)、ESC(电子稳定控制)等的控制器。
车辆状态检测部分2110连接至驱动系统控制单元2100。车辆状态检测部分2110包括例如以下中的至少一个：检测车体的轴向旋转运动的角速度的陀螺仪；检测车辆的加速度的加速度传感器；以及检测加速器踏板的操作变量、制动踏板的操作变量、方向盘的转向角、发动机速度、车轮转速等的传感器。驱动系统控制单元2100使用从车辆状态检测部分2110输入的信号来执行计算处理，并且驱动系统控制单元2100控制内燃机、驱动马达、电动助力转向装置、制动器等。
车体系统控制单元2200根据各种程序来控制由设置在车体中的各种装置执行的操作。例如，车体系统控制单元2200用作以下各项的控制器：无钥匙进入系统、智能钥匙系统、电动窗装置以及诸如头灯、后灯、制动灯、转向灯以及雾灯的各种灯。在该情况下，可以将从作为钥匙的替代的移动机器发送的无线电波或各种开关信号输入至车体系统控制单元2200。车体系统控制单元2200接收输入的无线电波或信号，并且实行对车辆的门锁装置、电动窗装置、灯等的控制。
电池控制单元2300根据各种程序对作为用于驱动马达的电力供应源的二次电池2310实行控制。例如，从包括二次电池2310的电池装置将诸如电池温度、电池输出电压或电池剩余容量的信息输入至电池控制单元2300。电池控制单元2300使用这些信号执行计算处理，并且对二次电池2310实行温度调节控制或者对设置在电池装置中的冷却单元等实行控制。
车辆外部信息检测单元2400检测安装有车辆控制系统2000的车辆的外部信息。例如，成像部分2410和车辆外部信息检测部分2420中的至少一个连接至车辆外部信息检测单元2400。成像部分2410包括ToF(飞行时间)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车辆外部信息检测部分2420例如包括：环境传感器，其用于检测当前天气或气象现象；或者周围信息检测传感器，其用于检测安装有车辆控制系统2000的车辆的周围的其他车辆、障碍物、行人等。
环境传感器可以是例如以下传感器中的至少一个：检测雨天的雨滴传感器；检测雾的雾传感器；检测阳光的程度的阳光传感器；以及检测雪天的雪传感器。周围信息检测传感器可以是超声波传感器、雷达装置以及LIDAR(光检测和测距，激光成像检测和测距)装置中的至少一个。成像部分2410和车辆外部信息检测部分2420可以被设置为彼此独立的传感器或装置，或者被设置为通过对多个传感器或装置进行集成而获得的装置。
此处，图19示出了车辆外部信息检测部分2410和成像部分2420的安装位置的示例。成像部分2910、成像部分2912、成像部分2914、成像部分2916以及成像部分2918分别设置在例如以下位置中的至少一个位置处：车辆2900的前鼻部、侧视镜、后保险杠、后门以及驾驶室风挡的上部。设置在前鼻部上的成像部分2910和设置在驾驶室风挡的上部中的成像部分2918主要获取车辆2900的前方图像。设置在侧视镜上的成像部分2912和成像部分2914主要获取车辆2900的侧面图像。设置在后保险杠或后门上的成像部分2916主要获取车辆2900的后方图像。设置在驾驶室风挡的上部中的成像部分2918主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、交通车道等。
注意，图19示出了成像部分2910、成像部分2912、成像部分2914以及成像部分2916的拍摄范围的示例。成像范围a表示设置在前鼻部上的成像部分2910的成像范围，成像范围b和成像范围c分别表示设置在侧视镜上的成像部分2912和成像部分2914的成像范围，成像范围d表示设置在后保险杠或后门上的成像部分2916的成像范围。例如，由成像部分2910、成像部分2912、成像部分2914、成像部分2916拾取的图像数据被叠加，从而获得从上方观察的车辆2900的鸟瞰图像。
设置在车辆2900的驾驶室风挡的前部、后部、侧部、角落以及上部中的任一个中的车辆外部信息检测部分2920、车辆外部信息检测部分2922、车辆外部信息检测部分2924、车辆外部信息检测部分2926、车辆外部信息检测部分2928以及车辆外部信息检测部分2930可以是例如超声波传感器或雷达装置。设置在车辆2900的前鼻部、后保险杠、后门以及驾驶室风挡的上部中的任何一个上的车辆外部信息检测部分2920、车辆外部信息检测部分2926以及车辆外部信息检测部分2930可以是例如LIDAR装置。这些车辆外部信息检测部分2920-2930主要用于检测前方车辆、行人、障碍物等。
返回参照图18，描述将继续。车辆外部信息检测单元2400使成像部分2410拾取车辆外部图像，并且车辆外部信息检测单元2400接收拾取的图像数据。车辆外部信息检测单元2400还从与其连接的车辆外部信息检测部分2420接收检测信息。如果车辆外部信息检测部分2420是超声波传感器、雷达装置或LIDAR装置，则车辆外部信息检测单元2400使车辆外部信息检测部分2420发送电磁波等，并且车辆外部信息检测单元2400接收关于接收到的反射波的信息。车辆外部信息检测单元2400可以基于接收到的信息对人、车辆、障碍物、标志、路面上的字符等进行对象检测处理或距离检测处理。车辆外部信息检测单元2400可以基于接收的信息执行用于识别雨天、雾、路面状况等的环境识别处理。车辆外部信息检测单元2400可以基于接收到的信息计算距车辆外部对象的距离。
此外，车辆外部信息检测单元2400可以基于接收到的图像数据来执行用于识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理或距离检测处理。车辆外部信息检测单元2400可以对接收的图像数据执行例如畸变校正或定位之类的处理，并且使由不同的成像部分2410拾取的图像数据同步以生成鸟瞰图像或全景图像。车辆外部信息检测单元2400可以使用由不同的成像部分2410拾取的图像数据来执行视点变换处理。
车辆内部信息检测单元2500检测车辆内部信息。检测驾驶员状态的驾驶员状态检测部分2510例如连接至车辆内部信息检测单元2500。驾驶员状态检测部分2510可以包括：对驾驶员成像的相机、检测驾驶员的生物信息的生物传感器、收集车舱内的声音的麦克风等。生物传感器设置在例如座椅表面或方向盘上，并且检测坐在座椅上的乘客或者握住方向盘的驾驶员的生物信息。车辆内部信息检测单元2500可以基于从驾驶员状态检测部分2510输入的检测信息来计算驾驶员的疲劳程度或集中程度或者判别驾驶员是否正在瞌睡。车辆内部信息检测单元2500可以对收集的音频信号执行例如噪音消除处理之类的处理。
集成控制单元2600根据各种程序对车辆控制系统2000中的整个操作实行控制。输入部分2800连接至集成控制单元2600。输入部分2800由乘客可以在其上执行输入操作的装置例如触摸面板、按钮、麦克风、开关或控制杆来实现。输入部分2800可以是例如使用红外线或其他无线电波的远程控制器，或者可以是与车辆控制系统2000上的操作相对应的外部连接装置例如蜂窝电话或PDA(个人数字助理)。输入部分2800可以是例如相机，并且在该情况下，乘客可以通过手势输入信息。此外，输入部分2800可以包括例如基于由乘客等使用上述输入部分2800输入的信息而生成输入信号并且将输入信号输出至集成控制单元2600的输入控制电路等。乘客等通过操作该输入部分2800来将各种数据输入至车辆控制系统2000或指示车辆控制系统2000执行处理操作。
存储部分2690可以包括存储由微型计算机执行的各种程序的RAM(随机存取存储器)和存储各种参数、计算结果、传感器值等的ROM(只读存储器)。此外，存储部分2690可以通过磁存储设备、半导体存储设备、光存储设备、磁光存储设备等(例如HDD(硬盘驱动器))来实现。
通用通信I/F 2620是在集成控制单元2600与存在于外部环境2750中的各种装置之间起媒介作用的通用通信I/F。通用通信I/F 2620可以实现蜂窝通信协议，例如GSM(注册商标)(全球移动通信系统)、WiMAX(全球微波接入互操作性)、LTE(长期演进)或LTE-A(LTE高级版)或其他无线通信协议例如无线LAN(也称为“Wi-Fi(无线保真，注册商标)”)。例如，通用通信I/F 2620可以经由基站或接入点连接至外部网络(例如，因特网、云网络或运营商专用网络)上存在的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 2620可以使用例如P2P(点对点)技术连接至车辆附近存在的终端(例如，行人或商店的终端或者MTC(机器型通信)终端)。
专用通信I/F 2630是支持被开发用于在车辆中使用的通信协议的通信I/F。专用通信I/F 2630可以例如实现标准协议例如WAVE(车辆环境中的无线接入)或DSRC(专用短距离通信)，其中，WAVE是作为IEEE(电气和电子工程师协会)802.11p的下层和作为IEEE1609的上层之间的组合。专用通信I/F 2630通常执行V2X(车辆对一切)通信，V2X通信是包括V2V(车辆对车辆)通信、V2I(车辆对基础设施)通信以及V2P(车辆对行人)通信中的一个或更多个通信的概念。
定位部分2640例如从GNSS卫星接收GNSS(全球导航卫星系统)信号(例如，来自GPS(全球定位系统)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度以及高度的位置信息。注意，定位部分2640可以通过与无线接入点的信号交换来定位当前位置，或者从具有定位功能的终端例如蜂窝电话、PHS(个人手持电话系统)或智能电话获取位置信息。
信标接收部分2650接收从例如布置在道路上的无线站发送的无线电波或电磁波，并且获取诸如当前位置、交通拥堵、封锁的道路或所需时间之类的信息。注意，信标接收部分2650的功能可以被包括在上述专用通信I/F 2630中。
驾驶室装置I/F 2660是在微型计算机2610与存在于车舱内的各种装置之间的连接中起媒介作用的通信接口。驾驶室装置I/F 2660可以使用无线通信协议例如无线LAN、蓝牙(注册商标)、NFC(近场通信)或WUSB(无线USB)来建立无线连接。此外，驾驶室装置I/F2660可以经由未示出的连接端子(以及必要时的线缆)建立有线连接。驾驶室装置I/F 2660与例如乘客所拥有的移动装置或可穿戴装置或者装载入或附接至车辆的信息装置交换控制信号或数据信号。
车载网络I/F 2680是在微型计算机2610与通信网络2010之间的通信中起媒介作用的接口。车载网络I/F 2680根据由通信网络2010支持的预定协议来发送和接收信号等。
集成控制单元2600中的微型计算机2610基于经由通用通信I/F 2620、专用通信I/F 2630、定位部分2640、信标接收部分2650、驾驶室装置I/F 2660以及车载网络I/F 2680中的至少一个而获取的信息，根据各种程序控制车辆控制系统2000。例如，微型计算机2610可以基于获取的车辆内部/外部信息来计算用于驱动力生成器、转向机构或制动器的控制目标值，并且微型计算机2610可以向驱动系统控制单元2100输出控制命令。例如，微型计算机2610可以基于车辆间距离的跟随行驶、车辆速度保持行驶、自动驾驶等以及防止车辆碰撞或减轻车辆碰撞的影响的目的实行合作控制。
微型计算机2610可以基于经由通用通信I/F 2620、专用通信I/F 2630、定位部分2640、信标接收部分2650、驾驶室装置I/F 2660以及车载网络I/F 2680中的至少一个而获取的信息，生成包括车辆的当前位置的周围信息的局部地图信息。此外，基于所获取的信息，微型计算机2610可以预测例如车辆碰撞、行人靠近等或者进入封锁的道路之类的危险，并且产生警告信号。警告信号可以是例如用于产生警告音或者打开警告灯的信号。
视听输出部分2670将作为音频信号和图像信号中的至少一个的输出信号发送至可以可视地或可听地向车辆的乘客或车辆的外部通知信息的输出装置。在图18的示例中，音频扬声器2710、显示部分2720以及仪表板2730被示例性地示出为输出装置。显示部分2720可以包括例如车载显示器和平视显示器中的至少一个。显示部分2720可以具有AR(增强现实)显示功能。该输出装置可以是除这些装置之外的诸如耳机、投影仪或灯的装置。如果输出装置是显示装置，则显示装置以各种形式例如文本、图像、表格以及图表来可视地显示通过由微型计算机2610执行的各种处理而获得的结果或者从其他控制单元接收的信息。此外，如果输出装置是音频输出装置，则音频输出装置将由再现的音频数据、声音数据等构成的音频信号转换成模拟信号，并且可听地输出模拟信号。
在图18所示的示例中，经由通信网络2010彼此连接的至少两个控制单元可以集成到一个控制单元中。可替选地，各个控制单元可以分别配置有多个控制单元。在另一可替选方式中，车辆控制系统2000可以包括未示出的另一控制单元。此外，在上述说明中，由控制单元中的任何一个担任的功能的一部分或全部可以由另一控制单元承担。换句话说，只要经由通信网络2010发送和接收信息，就可以由控制单元中的任何一个执行预定计算处理。同样地，连接至控制单元中的任何一个的传感器或装置可以连接至其他控制单元，并且多个控制单元可以经由通信网络2010来彼此发送和接收检测信息。
在上述车辆控制系统2000中，成像装置10(110)可以应用至例如图18所示的成像部分2410。因此，成像部分2410可以对由于老化偏差而产生的左图像与右图像之间的偏差鲁棒地进行校正。结果是，车辆外部信息检测单元2400可以在使用校正的左图像和校正的右图像时以高精度检测被摄体在深度方向上的位置等。
此外，本说明书中描述的效果仅作为示例给出，并且效果不限于本说明书中描述的那些，而是可以包含其他效果。
此外，本公开内容的实施例不限于上述实施例，并且在不偏离本公开内容的精神的情况下可以进行各种改变和修改。
例如，立体相机可以配置有并排布置在竖直方向上而非水平方向上的两个相机。在该情况下，上面给出的描述中的水平方向和竖直方向相互替换。
注意，本公开内容可以被如下配置。
(1)一种图像处理装置，包括：
评估部分，其基于模型公式来评估第一成像部分与第二成像部分之间的俯仰角差、偏航角差、滚转角差以及由所述第一成像部分拾取的第一图像与由所述第二成像部分拾取的第二图像的标度比中的至少两个参数，所述模型公式使用所述参数。
(2)根据(1)所述的图像处理装置，其中
所述参数被配置成包括所述俯仰角差。
(3)根据(1)或(2)所述的图像处理装置，其中
所述评估部分以使得基于所述模型公式计算的在所述第一图像与所述第二图像之间的竖直偏差的评估值与在所述第一图像和所述第二图像之间的所述竖直偏差的测量值之间的差最小的方式评估所述参数。
(4)根据(3)所述的图像处理装置，还包括：
检测部分，其检测以下一对竖直位置：所述第一图像和所述第二图像中一者内的每个特征点的竖直位置与在所述第一图像和所述第二图像中另一者内的与所述特征点相对应的点的竖直位置，其中
所述测量值被配置成基于所述一对竖直位置来计算。
(5)根据(4)所述的图像处理装置，还包括：
分布分析部分，其基于所述特征点的分布来选择由所述评估部分评估的所述参数。
(6)根据(4)所述的图像处理装置，还包括：
生成部分，其基于所述特征点的分布生成用于在使用所述第一成像部分和所述第二成像部分的拍摄方法方面向用户进行指示的拍摄指示信息。
(7)根据(3)至(6)中任一项所述的图像处理装置，还包括：
更新部分，其基于所述第一图像与所述第二图像之间的竖直偏差的评估值与所述测量值之间的差来更新所述参数，其中，所述评估值是基于使用由所述评估部分评估的所述参数的所述模型公式来计算的。
(8)根据(1)至(7)中任一项所述的图像处理装置，其中
由所述评估部分评估的所述参数均被配置成基于所述第一成像部分与所述第二成像部分的结构来确定。
(9)根据(1)至(8)中任一项所述的图像处理装置，其中
由所述评估部分评估的所述参数均被配置成基于使用所述第一图像和所述第二图像而执行的处理的类型来确定。
(10)根据(1)至(9)中任一项所述的图像处理装置，还包括：
翘曲部分，其基于使用由所述评估部分评估的所述参数的所述模型公式来对所述第一图像和所述第二图像执行翘曲。
(11)根据(10)所述的图像处理装置，其中
所述翘曲部分被配置成基于所述模型公式和通过校准而测量的初始参数来对所述第一图像和所述第二图像执行翘曲。
(12)一种图像处理方法，包括：
评估步骤，其通过图像处理装置基于模型公式来评估第一成像部分与第二成像部分之间的俯仰角差、偏航角差、滚转角差以及由所述第一成像部分拾取的第一图像与由所述第二成像部分拾取的第二图像的标度比中的至少两个参数，所述模型公式使用所述参数。
10：成像装置
21A：左相机
21B：右相机
31：左翘曲部分
32：右翘曲部分
41：特征点检测部分
44：分布分析部分
45：评估部分
47：更新部分
110：成像装置
121：分布分析部分
122：评估部分
142、172：拍摄指示信息

Claims (12)

1.一种图像处理装置，包括：
评估部分，其基于模型公式来评估第一成像部分与第二成像部分之间的俯仰角差、偏航角差、滚转角差以及由所述第一成像部分拾取的第一图像与由所述第二成像部分拾取的第二图像的标度比中的至少两个参数，所述模型公式使用所述参数。
2.根据权利要求1所述的图像处理装置，其中
所述参数被配置成包括所述俯仰角差。
3.根据权利要求1所述的图像处理装置，其中
所述评估部分以使得基于所述模型公式计算的在所述第一图像与所述第二图像之间的竖直偏差的评估值与在所述第一图像和所述第二图像之间的所述竖直偏差的测量值之间的差最小的方式评估所述参数。
4.根据权利要求3所述的图像处理装置，还包括：
检测部分，其检测以下一对竖直位置：所述第一图像和所述第二图像中一者内的每个特征点的竖直位置与所述第一图像和所述第二图像中另一者内的与所述特征点相对应的点的竖直位置，其中
所述测量值被配置成基于所述一对竖直位置来计算。
5.根据权利要求4所述的图像处理装置，还包括：
分布分析部分，其基于所述特征点的分布来选择由所述评估部分评估的所述参数。
6.根据权利要求4所述的图像处理装置，还包括：
生成部分，其基于所述特征点的分布生成用于在使用所述第一成像部分和所述第二成像部分的拍摄方法方面向用户进行指示的拍摄指示信息。
7.根据权利要求3所述的图像处理装置，还包括：
更新部分，其基于所述第一图像与所述第二图像之间的竖直偏差的评估值与所述测量值之间的差来更新所述参数，其中，所述评估值是基于使用由所述评估部分评估的所述参数的所述模型公式来计算的。
8.根据权利要求1所述的图像处理装置，其中
由所述评估部分评估的所述参数均被配置成基于所述第一成像部分与所述第二成像部分的结构来确定。
9.根据权利要求1所述的图像处理装置，其中
由所述评估部分评估的所述参数均被配置成基于使用所述第一图像和所述第二图像而执行的处理的类型来确定。
10.根据权利要求1所述的图像处理装置，还包括：
翘曲部分，其基于使用由所述评估部分评估的所述参数的所述模型公式来对所述第一图像和所述第二图像执行翘曲。
11.根据权利要求10所述的图像处理装置，其中
所述翘曲部分被配置成基于所述模型公式和通过校准而测量的初始参数来对所述第一图像和所述第二图像执行翘曲。
12.一种图像处理方法，包括：
评估步骤，其通过图像处理装置基于模型公式来评估第一成像部分与第二成像部分之间的俯仰角差、偏航角差、滚转角差以及由所述第一成像部分拾取的第一图像与由所述第二成像部分拾取的第二图像的标度比中的至少两个参数，所述模型公式使用所述参数。
CN201680033752.5A 2015-06-17 2016-06-03 图像处理装置和图像处理方法 Pending CN108307654A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-122068 2015-06-17
JP2015122068 2015-06-17
PCT/JP2016/066568 WO2016203988A1 (ja) 2015-06-17 2016-06-03 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
CN108307654A true CN108307654A (zh) 2018-07-20

Family

ID=57545660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680033752.5A Pending CN108307654A (zh) 2015-06-17 2016-06-03 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US10453219B2 (zh)
JP (1) JP6701532B2 (zh)
CN (1) CN108307654A (zh)
WO (1) WO2016203988A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840645B2 (ja) * 2017-09-08 2021-03-10 株式会社小松製作所 施工管理装置および施工管理方法
CN107808399B (zh) * 2017-09-19 2021-10-26 深圳大学 一种基于莫尔条纹的相机角度变化的测量方法及系统
US10437065B2 (en) * 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
KR102596053B1 (ko) * 2018-08-27 2023-11-01 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
WO2020131277A1 (en) 2018-12-20 2020-06-25 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
CN112986697B (zh) * 2019-12-02 2024-04-26 联合汽车电子有限公司 智能钥匙的标定方法、标定系统及可读存储介质
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11740078B2 (en) * 2020-07-21 2023-08-29 Argo AI, LLC Enhanced sensor alignment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007263669A (ja) * 2006-03-28 2007-10-11 Denso It Laboratory Inc ３次元座標取得装置
JP4865065B1 (ja) * 2010-07-14 2012-02-01 Ｂｉ２−Ｖｉｓｉｏｎ株式会社 ステレオ撮像装置の制御システム
CN102625120A (zh) * 2011-01-31 2012-08-01 索尼公司 图像处理设备、方法和程序
US20130070055A1 (en) * 2011-09-21 2013-03-21 Kalin Mitkov Atanassov System and method for improving methods of manufacturing stereoscopic image sensors

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5228614B2 (ja) * 2008-05-15 2013-07-03 株式会社豊田中央研究所 パラメータ計算装置、パラメータ計算システムおよびプログラム
JP2012177676A (ja) * 2011-01-31 2012-09-13 Sony Corp 画像処理装置および方法、並びにプログラム
JP5625976B2 (ja) * 2011-02-09 2014-11-19 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにプログラム
JP2014092460A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
US9262681B1 (en) * 2014-11-19 2016-02-16 Amazon Technologies, Inc. Probabilistic registration of interactions, actions or activities from multiple views

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007263669A (ja) * 2006-03-28 2007-10-11 Denso It Laboratory Inc ３次元座標取得装置
JP4865065B1 (ja) * 2010-07-14 2012-02-01 Ｂｉ２−Ｖｉｓｉｏｎ株式会社 ステレオ撮像装置の制御システム
CN102625120A (zh) * 2011-01-31 2012-08-01 索尼公司 图像处理设备、方法和程序
US20130070055A1 (en) * 2011-09-21 2013-03-21 Kalin Mitkov Atanassov System and method for improving methods of manufacturing stereoscopic image sensors

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SANTORO, M. ET AL.: "Misalignment correction for depth estimation using stereoscopic 3-D cameras", 《2012 IEEE 14TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING (MMSP)》 *

Also Published As

Publication number Publication date
US20180350107A1 (en) 2018-12-06
US10453219B2 (en) 2019-10-22
WO2016203988A1 (ja) 2016-12-22
JP6701532B2 (ja) 2020-05-27
JPWO2016203988A1 (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
CN108307654A (zh) 图像处理装置和图像处理方法
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10904503B2 (en) Image processing device, information generation device, and information generation method
WO2017122552A1 (ja) 画像処理装置および方法、プログラム、並びに画像処理システム
CN108779984A (zh) 信号处理设备和信号处理方法
CN109196557A (zh) 图像处理装置、图像处理方法和车辆
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
CN108028883B (zh) 图像处理装置和图像处理方法
US20170359565A1 (en) Image pickup device and image pickup method
US11255959B2 (en) Apparatus, method and computer program for computer vision
CN109891463A (zh) 图像处理设备和图像处理方法
WO2016203989A1 (ja) 画像処理装置および画像処理方法
WO2019093136A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN109644241A (zh) 图像处理设备和图像处理方法
KR102374016B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 장치
WO2022128985A1 (en) Time-of-flight image sensor circuitry and time-of-flight image sensor circuitry control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180720

WD01 Invention patent application deemed withdrawn after publication