CN101340565A - 摄像系统和校正摄像机装配误差的方法 - Google Patents

摄像系统和校正摄像机装配误差的方法 Download PDF

Info

Publication number
CN101340565A
CN101340565A CNA2008101275881A CN200810127588A CN101340565A CN 101340565 A CN101340565 A CN 101340565A CN A2008101275881 A CNA2008101275881 A CN A2008101275881A CN 200810127588 A CN200810127588 A CN 200810127588A CN 101340565 A CN101340565 A CN 101340565A
Authority
CN
China
Prior art keywords
rotation
play amount
optical axis
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101275881A
Other languages
English (en)
Other versions
CN101340565B (zh
Inventor
东原清
菅原大辅
酒井和彦
金冈晃广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Sony Corp
Original Assignee
Nissan Motor Co Ltd
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd, Sony Corp filed Critical Nissan Motor Co Ltd
Publication of CN101340565A publication Critical patent/CN101340565A/zh
Application granted granted Critical
Publication of CN101340565B publication Critical patent/CN101340565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种摄像系统,包括:检测单元,将摄像机装配误差检测为由摄像机拾取的图像的第一方向上的偏移量、第二方向上的偏移量和在光轴旋转方向上的偏移量;选择单元,从预先准备的多个旋转校正图中选择与由检测单元检测出的光轴旋转方向上的偏移量相对应的旋转校正量;计算单元,通过线性表达式,根据由检测单元检测出的第一方向上的偏移量和第二方向上的偏移量来分别计算第一方向上的校正量和第二方向上的校正量;以及校正单元,根据由选择单元所选择的旋转校正量和由计算单元计算出的第一方向上的校正量和第二方向上的校正量,校正第一方向上的偏移、第二方向上的偏移和光轴旋转方向上的偏移。

Description

摄像系统和校正摄像机装配误差的方法
技术领域
本发明涉及一种摄像系统和用于校正摄像机(camera)装配误差的方法。
背景技术
对于诸如利用被装配到车辆上的摄像机来监控车辆外部的车辆摄像系统之类的摄像系统,当摄像机被装配到车辆上时,产生不可忽略的装配误差。当这样的装配误差产生时,在由摄像机实际拍摄的区域和摄像机应该拍摄的区域之间出现差异。
另一方面,基准线和预期的航线被显示在用于使用由摄像机拾取的图像来监控车辆外部的监控屏幕上。如果由于摄像机装配误差导致在由摄像机实际拍摄的区域和摄像机应该拍摄的区域之间出现差异,则在由摄像机拾取的图像内,基准线和预期的航线偏离它们的正确位置。
因此,已经提出了车辆外部监控系统,其被设计为不直接显示由摄像机拾取的图像,而是进行图像变换,以便改善在驾驶员方面的识别。按照一种流行的图像变换技术,准备了示出对图像变换系统的输入(由摄像机拾取的图像)和系统的输出(图像变换后被输入到监控器屏幕的图像)之间的对应关系的图,并且利用该图来执行图像变换处理,同时按照摄像机的装配误差来重新计算该图,以便通过校正监控器屏幕的显示范围来校正摄像机的装配误差(例如参见日本专利申请公开早期公开No.2005-217889)。
发明内容
对于上述的传统技术,不仅可以校正在第一方向(X方向)上的装配误差和在与第一方向垂直的第二方向(Y方向)上的装配误差,而且可以校正在围绕摄像机的光轴的旋转方向上的旋转误差。但是,因为仅仅将摄像机装配到位后才发现装配误差,因此通过仅仅在确定了摄像机装配位置和检测到装配误差后重新计算所述图来精细地限定用于校正在X方向、在Y方向和光轴旋转方向上的误差的参数。换句话说,校正装配误差的过程耗时。
已知预先估计多组摄像机装配误差、限定对应于那些组的摄像机装配误差的多组参数并且预先通过计算来准备多个图的多种技术。但是,使用这样的技术,预先准备的图的数据很大,并且产生问题:要求用于存储图的系统存储器具有大的存储容量。
在此假定作为示例,以10个步数来制备图以用于在X方向、Y方向和光轴旋转方向的每个上的校正。因此,需要1,000(=10×10×10)张图。10个步数可以被认为是保守的,因此近些年来已经对于图像变换要求高的精度。因此,当步数的数量增加时,图的数量增加。因此,系统存储器的必要容量变得很大。
因此,本发明提供了一种摄像系统和一种用于校正摄像机装配误差的方法,所述方法可以最小化预先被准备来用于校正图像的图的数量,而不需要在校正装配误差的过程内对于用于图像变换的图进行重新计算。
为了校正摄像机装配误差,本发明的一个方面包括特征:将摄像机装配误差检测为由摄像机拾取的图像的第一方向上的偏移量、第二方向上的偏移量和光轴旋转方向上的偏移量;从预先准备的多个旋转校正图中选择与检测出的光轴旋转方向上的偏移量相对应的旋转校正量;通过线性表达式,基于检测出的第一方向上的偏移量和检测出的第二方向上的偏移量来分别计算第一方向上的校正量和第二方向上的校正量;并且,基于所选择的旋转校正量、计算出的第一方向上的校正量和计算出的第二方向上的校正量,校正第一方向上的偏移、第二方向上的偏移和光轴旋转方向上的偏移。
因此,按照本发明的另一个方面,当图用于校正光轴旋转方向时,对于所述图不需要任何重新计算。换句话说,仅仅需要从预先准备的多个旋转校正图中选择一个图。而且,仅仅简单的线性表达式被用于第一和第二方向上的校正。因此,可以校正摄像机装配误差,而不需要图的重新计算或者通过经由计算限定对应于多组预期的装配误差的参数来预先准备图。
简而言之,按照本发明,图用于校正光轴旋转方向。并且使用简单的线性计算来校正第一和第二方向。因此,不再需要重新计算图来用于图像变换,并且仅仅对于光轴旋转方向需要预先准备图来用于图像校正,因此显著地减少了所需要的图的数量。
通过下面结合附图详细说明,本发明的本质、原理和使用将变得更明显,其中,类似的部分被指定类似的附图标号或者标记。
附图说明
附图中:
图1是按照本发明的一个实施例的摄像系统的示意框图,用于图解其系统配置;
图2A和2B是其中没有摄像机装配误差的实例的示意图示;
图3A和3B是存在摄像机装配误差的实例的示意图示;
图4是图解按照本发明的一个实施例的校准处理的操作序列的流程图;
图5是装配位置偏移量ΔX、ΔY和θ的示意图示;
图6是检测偏移量ΔX、ΔY和θ的示例操作序列的流程图;以及
图7是图解在光轴检测基准位置和校准位置处的透镜失真特性的图。
具体实施方式
现在参见附图更详细地说明本发明的优选实施例。
图1是按照本发明的一个实施例的摄像系统的示意框图,用于图解其系统配置。如图1中,本实施例的摄像系统1包括摄像机11、摄像机控制单元12和显示器13,并且通常工作为车辆摄像系统,在车辆摄像系统中,摄像机11被装配到车辆(未示出)上以监视车辆外部。
摄像机11具有广角透镜,诸如鱼眼透镜,从而它可以拍摄车辆外部的宽范围。其被装配到车辆的预定位置。例如,其可以被装配到车辆的前面位置或者车辆的后部位置。或者,可以将其置于门镜内,布置在车辆的右部位置或者左部位置。虽然在图1内布置了单个摄像机11,但是事实上布置了多个摄像机11。例如,可以在车辆的四角分别布置四个摄像机。
摄像机11具有:已知的图像变换功能,用于校正归因于摄像机11的透镜的图像失真;以及,校准功能,用于按照从摄像机控制单元12给出的校准数据来校准当摄像机11被装配到车辆上时产生的、由摄像机拾取的图像中的装配误差。下面更详细地说明校准功能。
从摄像机控制单元12向摄像机11给出的校准数据通常可以包括旋转校准图、透镜中心X方向移位量X1、透镜中心Y方向移位量Y1、图像切割位置X方向移位量X2和图像切割位置Y方向移位量Y2。
摄像机控制单元12具有CPU,并且在CPU的控制下按照从摄像机11输出的、由摄像机11拾取的图像的视频信号,来检测摄像机11相对于车辆的装配位置偏移量。具体上,摄像机11的装配位置偏移量包括X方向偏移量ΔX、Y方向偏移量ΔY、光轴旋转方向偏移量θ。下面更详细地说明装配位置偏移量ΔX、ΔY和θ及其检测。
摄像机控制单元12除了CPU之外还具有存储器,摄像机控制单元12从在存储器内存储的多个旋转校准图选择示出了最接近检测出的光轴旋转方向偏移量θ的值的图,并且向摄像机11发送该图。摄像机控制单元12的存储器估计多组光轴旋转方向偏移量θ,并且准备(存储)对应于所估计的多组偏移量的多个旋转校正图。
而且,摄像机控制单元12在CPU的控制下,使用被检测的X方向偏移量ΔX和Y方向偏移量ΔY和后述的算术算法来计算透镜中心X方向移位量X1、透镜中心Y方向移位量Y1、图像切割位置X方向移位量X2和图像切割位置Y方向移位量Y2,并且将计算结果发送到摄像机11。
显示器13通常是液晶显示器、等离子体显示器或者有机电致发光(EL)显示器,并且显示基于视频信号而形成的图像,所述视频信号是从由摄像机11拾取并且切割的图像获得的,并且通过摄像机控制单元12被提供的。
在显示器13上显示的图像是作为校正摄像机装配误差的处理的结果而被获得的图像,所述摄像机装配误差当摄像机11被装配到车辆时被产生,所述处理由摄像机11根据从摄像机控制单元12提供的数据而执行,所述数据包括旋转校正图、透镜中心X方向移位量X1、透镜中心Y方向移位量Y1、图像切割位置X方向移位量X2和图像切割位置Y方向移位量Y2。
在此假定车辆摄像系统通过摄像机11从地面拾取网格状图像(具体上,限定车辆停放空间的网格线的图像),并且将其显示在显示器13上。
首先,下面参见图2A和2B来描述摄像机11被正确地装配到车辆并且因此没有装配误差的实例。
因为摄像机11具有鱼眼透镜,因此当在光轴周围放大由摄像机11拾取和切割的图像时,其变为以基准线X0和基准线Y0为中心的失真图像,所述基准线X0在被拾取的图像的第一方向(X方向)上延伸穿过光轴,所述基准线Y0在第二方向(Y方向)上延伸,所述第二方向与第一方向正交,并且也穿过光轴,如图2A内所示。
但是,由于摄像机11执行用于校正归因于透镜的图像的失真的图像变换处理,在显示器13上显示了通过校正归因于透镜的失真而获得的网格图像,如图2B中所示。
现在,下面参见图3A和3B来说明摄像机11被装配到车辆的在X方向上相对于正确装配位置偏移的位置的实例。在图3A内所示的图像是在光轴周围放大的失真图像,所述失真图像是当摄像机11被以相对于在X方向上的基准线X0例如-3度的偏移被装配到车辆上时获得的。
当涉及这样的装配误差时,当摄像机11对于失真图像执行图像变换处理以校正归因于透镜的图像的失真并且校正了归因于透镜的图像的失真时,产生归因于在X方向上的装配误差的失真。
具体上,在显示器13上显示的图像是在图3B内所示的失真的网格状图像,其中,在左侧的距离d1小于光轴处的对应距离d0,其中,在右侧的对应距离d2大于光轴处的距离d0。
(校准处理)
当摄像机11被装配到从正确的装配位置偏移的位置时,这个实施例的车辆摄像系统10通过执行校准处理(装配误差校正处理)来校正装配误差,所述处理具有在图4的流程图内所示的处理序列。
参见图4的流程图,首先,检测装配偏移量,其中包括X方向偏移量ΔX、Y方向偏移量ΔY、光轴旋转方向偏移量θ(步骤S1),然后,根据所检测的光轴旋转方向偏移数量θ来从预先准备的多个旋转校正图选择示出了最接近检测出的光轴旋转方向偏移数量θ的光轴旋转方向偏移量的旋转校正图(步骤S2)。通过摄像机控制单元12来执行步骤S1和S2的处理操作。
然后,使用X方向偏移量ΔX和Y方向偏移量ΔY通过计算来确定透镜中心X方向移位量X1、透镜中心Y方向移位量Y1、图像切割位置X方向移位量X2和图像切割位置Y方向移位量Y2(步骤S3),并且随后将所计算确定的X1、X2、Y1和Y2的值和关于所选择的旋转校正图的信息发送到摄像机11(步骤S4)。步骤S3和S4的处理操作也由摄像机控制单元12执行。
然后,摄像机11在基于校准数据执行校准处理的同时,执行切割预定输出范围的图像的处理,所述校准处理校正摄像机11相对于车辆的装配误差,所述校准数据是从摄像机控制单元12提供的,并且包括X1、X2、Y1和Y2的值和关于所选择的旋转校正图的信息(步骤S5)。注意,步骤S2的处理操作可以出现在步骤S3的处理操作之前或者之后。
作为校准处理的结果,如果如图3A内所示摄像机11相对于车辆的装配位置偏移并且由摄像机11拾取的图像相对于在X方向上基准线X0偏移-3度,则在显示器13上显示的图像是在图2B内所示的网格状图像,其是通过校正归因于透镜的失真和摄像机11的装配误差而被获得的。换句话说,可以通过电子校准处理来校正摄像机11相对于车辆的机械装配误差。
(装配位置偏移量ΔX、ΔY和θ)
现在,下面说明装配位置偏移量ΔX、ΔY和θ。
开始,假定由摄像机11拍摄的区域被标注“+”参考标记,其要与当摄像机被装配到正确的装配位置时与显示器13的显示屏幕的中心对准,以便检测摄像机11的实际装配位置相对于在车辆上的正确的装配位置的装配位置误差(装配误差)。
如果摄像机11的位置包含当摄像机11实际被装配到车辆上并且被操作来拾取图像时摄像机11的装配误差,则在要拍摄的区域内标注的“+”参考标记M1从由在图5内的虚线表示的基准位置的目标标记M0偏移。注意,ΔX是在X方向上的偏移量,ΔY是在Y方向上的偏移量,而θ是在光轴旋转方向上的偏移量。
(ΔX、ΔY和θ的检测)
现在,下面说明装配位置的偏移量的检测,所述偏移量包括X方向偏移量ΔX、Y方向偏移量ΔY、光轴旋转方向偏移量θ。
作为示例在此假定:原位置是由图5内的虚线表示的目标标记M0的位置的光标(以下被称为“检测标记”)M0被显示在显示器13的显示屏幕上,并且观察者通过操作被布置在操作部分(未示出)上的用于引导在水平和垂直方向上的移动和在光轴旋转方向上的旋转的键,来移动/旋转检测标记M0,以使得其位置与在拾取图像上的参考标记M1的位置一致,并且检测检测标记被移动和旋转的量来作为X方向偏移量ΔX、Y方向偏移量ΔY、光轴旋转方向偏移量θ。
现在,通过参见图6的流程图来在下面说明用于检测X方向偏移量ΔX、Y方向偏移量ΔY、光轴旋转方向偏移量θ的检测处理的操作序列。在此假定,检测标记M0的位置和在所拾取的图像上的参考标记M1的位置示出了如图4中所示的关系。
观察者首先通过操作对应的键而在X方向上将检测标记M0移动一个步长,看到检测标记(目标标记)M0的位置和在所拾取的图像上的参考标记M1的位置的关系。此时,随着CPU接收到所述键输入,其将X方向计数器的计数器读数x递增1(步骤S12)。
在X方向上的一个步长的移动对应于作为在该检测处理中的单位的距离α的移动。X方向计数器当检测标记M0在图5内向右向移动时向上计数,当检测标记M哦在图5内向左向移动时向下计数。
然后,观察者视觉确定是否在X方向上的检测标记M0的中心与参考标记M1的中心对准(步骤S13)。如果它们不彼此对准,则观察者重复步骤S11和S12的处理操作,直到他或者她确定它们彼此对准。
当在X方向上的检测标记M0的中心与参考标记M1的中心对准时,X方向计数器的计数器读数x示出了检测标记M0移动的步长的数量。然后,通过将x方向计数器的计数读数x乘以距离α来确定在X方向上的偏移量ΔX(步骤S14)。
随后,观察者通过操作对应的键来将检测标记M0在Y方向上移动一个步长,看到检测标记(目标标记)M0的位置和在所拾取图像上的参考标记M1的位置的关系(步骤S15)。此时,随着CPU接收到所述键输入,其将Y方向计数器的计数器读数y递增1(步骤S16)。
类似于在X方向上的情况,在Y方向上的一个步长的移动对应于作为在该检测处理中的单位的距离α的移动。Y方向计数器当检测标记M0在图5内向上移动时向上计数,当检测标记M0在图5内向下移动时向下计数。
然后,观察者以视觉来确定是否在Y方向上检测标记M0的中心与参考标记M1的中心对准(步骤S17)。如果它们彼此不对准,则观察者重复步骤S15和S16的处理操作,直到他或者她确定它们彼此对准。
当在Y方向上检测标记M0的中心与参考标记M1的中心对准时,Y方向计数器的计数器读数y示出了检测标记M0移动的步长的数量。然后,通过将y方向计数器的计数读数y乘以距离α来确定在Y方向上的偏移量ΔY(步骤S18)。
随后,观察者通过操作对应的键来将检测标记M0在光轴旋转方向上驱动以旋转一个步长,看到检测标记(目标标记)M0的位置和在所拾取图像上的参考标记M1的位置的关系(步骤S19)。此时,随着CPU接收到所述键输入时,其将光轴旋转方向计数器的计数器读数z递增1(步骤S20)。
在光轴旋转方向上的光轴上的一个步长的旋转对应于作为在该检测处理中的单位的角度β的旋转移动。光轴旋转方向计数器当检测标记M0被驱动以在图5内顺时针旋转时向上计数,而当检测标记M0被驱动以在图5内逆时针旋转时向下计数。
然后,观察者以视觉确定是否检测标记M0的垂直和水平线与参考标记M1的垂直和水平线对准(步骤S21)。如果它们不彼此对准,则观察者重复步骤S19和S20的处理操作,直到他或者她确定它们彼此对准。
当检测标记M0的水平和垂直线与参考标记M1的水平和垂直线对准时,光轴旋转方向计数器的计数器读数z示出了检测标记M1被驱动旋转的步长数量。然后,通过将光轴旋转方向计数器的计数器读数z与作为单位角度的β相乘来确定在光轴旋转方向上的偏移量θ(步骤S22)。
作为上述的处理操作的序列的结果,如果摄像机11的装配位置包含相对于车辆的误差,则可以从包括参考标记M1的所拾取图像检测装配位置偏移量,其包括X方向偏移量ΔX、Y方向偏移量ΔY、光轴旋转方向偏移量θ。
注意,上述处理的处理操作的序列仅仅是一个示例,本发明决不限于此。可以使用任何技术来用于本发明,只要其可以检测X方向偏移量ΔX、Y方向偏移量ΔY、光轴旋转方向偏移量θ。
(X1、Y1、X2、Y2的计算)
当以上述方式检测装配位置偏移量ΔX、ΔY和θ时,通过使用下面列出的简单线性表达式,根据X方向偏移量ΔX和Y方向偏移量ΔY来通过计算确定透镜中心X方向移位量X1、透镜中心Y方向移位量Y1、图像切割位置X方向移位量X2和图像切割位置Y方向移位量Y2。
X1=A1*ΔX+B1
Y1=A2*ΔY+B2
X2=A3*ΔX+B3
Y2=A4*ΔY+B4
如果图5中的检测标记M0的位置是光轴偏移检测基准位置,并且图5中的参考标记M1的位置是校准位置(要与基准位置对准的由于装配误差偏移了的位置)时,可以从摄像机11的图像拾取装置的像素的数量、显示器13的显示像素的数量和光轴偏移检测基准位置和校准位置的透镜失真特征值来通过计算确定系数A1-A4。
具体上,在此假定摄像机11的图像拾取装置的像素的数量或者在摄像机11的输出图像的X方向上的像素的数量和Y方向上的像素的数量分别是Xd_c和Yd_c,并且显示器13的显示像素的数量或者在摄像机控制单元12的输出图像的X方向上的像素的数量和Y方向上的像素的数量分别是Xd_u和Yd_u。
另一方面,将光轴偏移检测基准位置和校准位置的透镜失真特征值表达为半视角(half view angle)[度(deg)]-像素数量[点/度],如图7内所示。在X方向上的光轴偏移检测基准位置的像素数量被表达为L0_x,并且在校准位置的像素数量被表达为L1_x。虽然图7示出了透镜失真特性是用于X方向的,但是类似的关系式适应于Y方向。因此,在Y方向上的光轴偏移检测基准位置的像素数量被表达为L0_y,并且在校准位置的像素数量被表达为L1_y。
然后,通过下面所示的算术公式来计算确定系数A1-A4。
A1=(Xd_c/Xd_u)*(L1_x/L0_x)
A2=(Yd_c/Yd_u)*(L1_y/L0_y)
A3=(Xd_c/Xd_u)*(L1_x/L0_x)
A4=(Yd_c/Yd_u)*(L1_y/L0_y)
常数B1到B4是通过摄像机11的装配条件(位置、光轴等)和图像变换的内容确定的参数的设计中心值(当ΔX=0、ΔY=0时的值)。
(实施例的效果和益处)
如上所述,对于摄像机要被装配到车辆上以便监控器车辆的外部的车辆摄像系统(这个实施例的摄像系统),当摄像机11相对于车辆的装配位置被校正时,X方向偏移量ΔX、Y方向偏移量ΔY、光轴旋转方向偏移量θ被检测作为摄像机11相对于车辆的装配位置偏移量,并且,从针对光轴旋转方向被校正的量而给出的预先准备的多个旋转校正图中,示出了最接近检测出的光轴旋转方向偏移量的值的旋转校正图被选择。
另一方面,对于X方向和Y方向被校正的量,基于检测出的X方向偏移量ΔX和Y方向偏移量ΔY,通过简单线性表达式,来计算透镜中心X方向移位量X1、透镜中心Y方向移位量Y1、图像切割位置X方向移位量X2和图像切割位置Y方向移位量Y2,并且向摄像机11提供计算结果。计算透镜中心X方向移位量X1、透镜中心Y方向移位量Y1、图像切割位置X方向移位量X2和图像切割位置Y方向移位量Y2的处理操作可以出现在选择旋转校正图的处理操作之前或者之后,因为它们彼此独立。
因此,作为通过简单线性表达式而计算确定在X和Y方向上的校正量、并且从针对光轴旋转方向被校正的量预先准备的多个旋转校正图中选择一个旋转校正图的结果,不再需要重新计算用于图像变换的图,并且用于图像校正的预先需要准备的图的数量显著减少,因为仅仅需要准备用于光轴旋转方向的图。另外,作为校正结果获得的图像等同于通过机械地调整摄像机11的装配误差而获得的图像或者通过重新计算用于图像变换的图而获得的图像。
虽然以车辆摄像系统描述了上述的实施例,但是本发明决不限于此,本发明可以被应用到固定监控摄像系统,以便校正装配监控摄像机的误差。
本领域内的技术人员应当明白,可以在根据设计要求和其他因素来进行各种修改、组合、子组合和改变,它们在所附的权利要求或者其等同物的范围内。
本发明包含与2007年7月4日在日本专利局提交的日本专利申请JP2007-175917的主题,其整体内容通过引用被包含在此。

Claims (4)

1.一种摄像系统,包括:
检测装置,用于将摄像机装配误差检测为由所述摄像机拾取的图像的第一方向上的偏移量、第二方向上的偏移量和光轴旋转方向上的偏移量;
选择装置,用于从预先准备的多个旋转校正图中选择与由所述检测装置检测出的所述光轴旋转方向上的偏移量相对应的旋转校正量;
计算装置,用于通过线性表达式,基于由所述检测装置检测出的所述第一方向上的偏移量和所述第二方向上的偏移量,分别计算第一方向上的校正量和第二方向上的校正量;以及
校正装置,用于基于由所述选择装置所选择的旋转校正量和由所述计算装置计算出的所述第一方向上的校正量和所述第二方向上的校正量,校正由所述摄像机拾取的图像的第一方向上的偏移、第二方向上的偏移和光轴旋转方向上的偏移。
2.根据权利要求1的摄像系统,其中
所述检测装置检测所述摄像机的装配位置相对于指定的车辆装配位置的误差。
3.一种校正摄像机装配误差的方法,包括:
将摄像机装配误差检测为由所述摄像机拾取的图像的第一方向上的偏移量、第二方向上的偏移量和光轴旋转方向上的偏移量;
从预先准备的多个旋转校正图中选择与检测出的所述光轴旋转方向上的偏移量相对应的旋转校正量,并且通过线性表达式,基于检测出的所述第一方向上的偏移量和检测出的所述第二方向上的偏移量,分别计算第一方向上的校正量和第二方向上的校正量;以及
基于所选择的旋转校正量、计算出的所述第一方向上的校正量和计算出的所述第二方向上的校正量,校正第一方向上的偏移、第二方向上的偏移和光轴旋转方向上的偏移。
4.一种摄像系统,包括:
检测单元,所述检测单元将摄像机装配误差检测为由所述摄像机拾取的图像的第一方向上的偏移量、第二方向上的偏移量和光轴旋转方向上的偏移量;
选择单元,所述选择单元从预先准备的多个旋转校正图中,选择与由所述检测单元检测出的所述光轴旋转方向上的偏移量相对应的旋转校正量;
计算单元,所述计算单元通过线性表达式,基于由所述检测单元检测出的所述第一方向上的偏移量和所述第二方向上的偏移量,分别计算第一方向上的校正量和第二方向上的校正量;以及
校正单元,所述校正单元基于由所述选择单元所选择的旋转校正量和由所述计算单元计算出的所述第一方向上的校正量和所述第二方向上的校正量,校正第一方向上的偏移、第二方向上的偏移和光轴旋转方向上的偏移。
CN2008101275881A 2007-07-04 2008-07-04 摄像系统和校正摄像机装配误差的方法 Active CN101340565B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007175917 2007-07-04
JP2007-175917 2007-07-04
JP2007175917A JP4794510B2 (ja) 2007-07-04 2007-07-04 カメラシステムおよびカメラの取り付け誤差の補正方法

Publications (2)

Publication Number Publication Date
CN101340565A true CN101340565A (zh) 2009-01-07
CN101340565B CN101340565B (zh) 2011-05-18

Family

ID=40214498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101275881A Active CN101340565B (zh) 2007-07-04 2008-07-04 摄像系统和校正摄像机装配误差的方法

Country Status (3)

Country Link
US (1) US8346071B2 (zh)
JP (1) JP4794510B2 (zh)
CN (1) CN101340565B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102450005A (zh) * 2009-05-27 2012-05-09 爱信精机株式会社 校正目标检测装置、检测校正目标的校正目标检测方法以及用于校正目标检测装置的程序
CN102893616A (zh) * 2010-04-28 2013-01-23 Jvc建伍株式会社 立体影像拍摄装置
CN103832338A (zh) * 2012-11-27 2014-06-04 德尔福电子(苏州)有限公司 一种车辆后视摄像头装配偏差补偿系统
CN107110647A (zh) * 2014-12-17 2017-08-29 实耐宝公司 实时车身高度测量
CN110876025A (zh) * 2018-08-29 2020-03-10 阿尔派株式会社 图像显示装置、图像显示方法
CN111654689A (zh) * 2019-03-04 2020-09-11 丰田自动车株式会社 信息处理器、检测方法和非暂时性计算机可读存储介质
CN112607362A (zh) * 2020-12-24 2021-04-06 中建材信息技术股份有限公司 一种基于视频的皮带偏移检测方法
CN109429528B (zh) * 2016-06-02 2023-07-07 环球仪器公司 半导体晶粒偏移补偿变化

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5228944B2 (ja) * 2009-01-27 2013-07-03 トヨタ自動車株式会社 車載カメラの光軸校正システム
JP4737317B2 (ja) * 2009-04-14 2011-07-27 株式会社デンソー 車両周辺撮影表示システム
EP2254091B1 (en) * 2009-05-19 2020-03-25 Veoneer Sweden AB Vision system and method for a motor vehicle
KR101113679B1 (ko) * 2010-05-24 2012-02-14 기아자동차주식회사 카메라 시스템의 영상 보정 방법
JP5488338B2 (ja) * 2010-08-25 2014-05-14 株式会社デンソー 車両周辺監視装置
JP5966341B2 (ja) * 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
JP6025365B2 (ja) * 2012-04-04 2016-11-16 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
KR101317428B1 (ko) 2013-02-05 2013-10-10 주식회사 지오멕스소프트 카메라(cctv) 제어기능을 갖는 공간 정보 시스템 및 그 동작방법
CN104715444A (zh) * 2013-12-11 2015-06-17 诺基亚公司 用于图形处理的方法和设备
JP2015195568A (ja) * 2014-03-17 2015-11-05 株式会社リコー 通信装置、及び通信システム
US10249056B2 (en) * 2014-04-11 2019-04-02 Nissan North America, Inc. Vehicle position estimation system
JP6354425B2 (ja) * 2014-07-30 2018-07-11 株式会社デンソー 車載カメラの取り付け姿勢検出方法およびその装置
US10113769B2 (en) 2014-10-30 2018-10-30 Quick-Sling, Llc Wall mount bracket for outdoor equipment
KR101705558B1 (ko) 2015-06-25 2017-02-13 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
TWI591377B (zh) * 2015-12-11 2017-07-11 財團法人工業技術研究院 廣角鏡頭校正系統及其方法
JP6571571B2 (ja) * 2016-03-18 2019-09-04 京セラ株式会社 撮像装置、車載カメラおよび画像処理方法
KR101762117B1 (ko) 2017-01-18 2017-07-28 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
KR102071418B1 (ko) * 2018-05-17 2020-01-30 에스케이텔레콤 주식회사 차량용 카메라 캘리브레이션 장치 및 방법
TWI681166B (zh) * 2018-12-05 2020-01-01 晶睿通訊股份有限公司 資訊量測方法及資訊量測系統
CN112261262B (zh) * 2020-10-21 2022-06-17 维沃移动通信有限公司 图像校准方法和装置、电子设备和可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5036474A (en) * 1989-03-31 1991-07-30 Honeywell Inc. Motion detection and tracking from a mobile platform
US4969036A (en) * 1989-03-31 1990-11-06 Bir Bhanu System for computing the self-motion of moving images devices
EP0895429A4 (en) * 1996-12-26 2002-05-02 Sony Corp DEVICE AND METHOD FOR SYNTHESIZING IMAGES
US6618494B1 (en) * 1998-11-27 2003-09-09 Wuestec Medical, Inc. Optical distortion correction in digital imaging
JP3632563B2 (ja) * 1999-10-19 2005-03-23 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
US6813371B2 (en) * 1999-12-24 2004-11-02 Aisin Seiki Kabushiki Kaisha On-vehicle camera calibration device
EP1662459A4 (en) * 2003-09-02 2007-03-21 Fujitsu Ltd IMAGE PROCESSOR WITH VEHICLE INSTALLATION
JP4196841B2 (ja) * 2004-01-30 2008-12-17 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP4715334B2 (ja) * 2005-06-24 2011-07-06 日産自動車株式会社 車両用画像生成装置および方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102450005A (zh) * 2009-05-27 2012-05-09 爱信精机株式会社 校正目标检测装置、检测校正目标的校正目标检测方法以及用于校正目标检测装置的程序
CN102450005B (zh) * 2009-05-27 2014-08-20 爱信精机株式会社 校正目标检测装置、检测校正目标的校正目标检测方法
CN102893616A (zh) * 2010-04-28 2013-01-23 Jvc建伍株式会社 立体影像拍摄装置
CN102893616B (zh) * 2010-04-28 2015-06-17 Jvc建伍株式会社 立体影像拍摄装置
CN103832338A (zh) * 2012-11-27 2014-06-04 德尔福电子(苏州)有限公司 一种车辆后视摄像头装配偏差补偿系统
CN103832338B (zh) * 2012-11-27 2016-05-04 德尔福电子(苏州)有限公司 一种车辆后视摄像头装配偏差补偿系统
CN107110647A (zh) * 2014-12-17 2017-08-29 实耐宝公司 实时车身高度测量
US11650049B2 (en) 2014-12-17 2023-05-16 Snap-On Incorporated Live ride height measurement
CN109429528B (zh) * 2016-06-02 2023-07-07 环球仪器公司 半导体晶粒偏移补偿变化
CN110876025A (zh) * 2018-08-29 2020-03-10 阿尔派株式会社 图像显示装置、图像显示方法
CN110876025B (zh) * 2018-08-29 2024-01-05 阿尔派株式会社 图像显示装置、图像显示方法
CN111654689A (zh) * 2019-03-04 2020-09-11 丰田自动车株式会社 信息处理器、检测方法和非暂时性计算机可读存储介质
US11461918B2 (en) 2019-03-04 2022-10-04 Toyota Jidosha Kabushiki Kaisha Information processor and detection method for detecting misalignment of a vehicle-mounted imaging device
CN112607362A (zh) * 2020-12-24 2021-04-06 中建材信息技术股份有限公司 一种基于视频的皮带偏移检测方法
CN112607362B (zh) * 2020-12-24 2022-04-26 中建材信息技术股份有限公司 一种基于视频的皮带偏移检测方法

Also Published As

Publication number Publication date
JP4794510B2 (ja) 2011-10-19
CN101340565B (zh) 2011-05-18
US8346071B2 (en) 2013-01-01
US20090010630A1 (en) 2009-01-08
JP2009017169A (ja) 2009-01-22

Similar Documents

Publication Publication Date Title
CN101340565B (zh) 摄像系统和校正摄像机装配误差的方法
KR101113679B1 (ko) 카메라 시스템의 영상 보정 방법
EP1607718B1 (en) Surveying instrument and electronic storage medium
US8786719B2 (en) Image calibration method and operation method for sensor array module with wide angle
EP1652734A1 (en) Operation assisting system and operation assisting method
CN102013099B (zh) 车载摄像机外参数交互式标定方法
CN112254663B (zh) 一种基于影像识别的平面变形监测测量方法及其系统
US9912764B2 (en) Method and apparatus for robust localization in outdoor environments
CN103733138B (zh) 被曝光基板的定位校正方法及曝光装置
US20040131248A1 (en) Image forming apparatus, image forming method and computer-readable storage medium having an image forming program
US20170277961A1 (en) Automatic surround view homography matrix adjustment, and system and method for calibration thereof
US20100181469A1 (en) Angular correction method for rotary encoder
CN104247394A (zh) 校正操作装置、摄像机装置、摄像机系统和摄像机校正方法
CN1439091A (zh) 测量车轮磨胎半径的方法和设备
US20130083171A1 (en) Apparatus, method and recording medium for image processing
CN101271573B (zh) 一种与摄影设备无关的影像畸变标定方法
CN101101209A (zh) 测量装置
CN111288891B (zh) 非接触式三维测量定位系统、方法及存储介质
US20040125364A1 (en) Angle detecting apparatus and projector having the same
EP3128482A1 (en) Method for calibration of a stereo camera
US20150319410A1 (en) Borescope and navigation method thereof
JP2007158695A (ja) 車載画像処理装置
KR101035538B1 (ko) 실시간 차선위치정보 획득장치 및 방법
JP2001264059A (ja) 被計測対象の変位量計測方法
JP2013005032A (ja) 車載カメラ姿勢検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant