CN1906943A - 视频图像位置关系修正设备,具有该视频图像位置关系修正设备的转向辅助设备和视频图像位置关系修正方法 - Google Patents

视频图像位置关系修正设备,具有该视频图像位置关系修正设备的转向辅助设备和视频图像位置关系修正方法 Download PDF

Info

Publication number
CN1906943A
CN1906943A CNA2004800411094A CN200480041109A CN1906943A CN 1906943 A CN1906943 A CN 1906943A CN A2004800411094 A CNA2004800411094 A CN A2004800411094A CN 200480041109 A CN200480041109 A CN 200480041109A CN 1906943 A CN1906943 A CN 1906943A
Authority
CN
China
Prior art keywords
coordinate
monitor
video image
video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800411094A
Other languages
English (en)
Other versions
CN100583998C (zh
Inventor
岛崎和典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyoda Automatic Loom Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyoda Automatic Loom Works Ltd filed Critical Toyoda Automatic Loom Works Ltd
Publication of CN1906943A publication Critical patent/CN1906943A/zh
Application granted granted Critical
Publication of CN100583998C publication Critical patent/CN100583998C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

披露了视频图像位置关系修正设备。包括摄像机的内部参数和接附参数的坐标变换参数用作未知数。产生关系表达式，使得关系表达式的数量大于要计算的坐标变换参数的数量。基于通过摄像机实际捕获并且显示的视频图像参考点Q1到Q6的监视器坐标和虚拟目标点R1到R6的对应的监视器坐标之间的偏差计算坐标变换参数的值。基于计算的坐标变换参数的值从参考点的实际坐标推导出虚拟目标点的监视器坐标。确定坐标变换参数，使得虚拟目标点的监视器坐标和实际捕获的视频图像参考点的监视器坐标之间的偏差的平方和最小。基于确定的坐标变换参数的值，修正实际视频图像和虚拟视频图像之间的相对位置关系。

Description

视频图像位置关系修正设备，具有该视频图像位置关系修正 设备的转向辅助设备和视频图像位置关系修正方法
技术领域
本发明涉及用于修正实际图像和虚拟图像之间的相对位置关系的视频图像位置关系修正设备和视频图像位置关系修正方法。此外，本发明还涉及具有该视频图像位置关系修正设备的转向辅助设备。
背景技术
目前，已经开发出如在JP 2002-251632A中披露的用于辅助驾驶操作的驾驶辅助设备，该驾驶辅助设备使用CCD摄像机捕获车辆背后的实际视频图像，在监视器屏幕上显示捕获的视频图像，并且通过根据关于通过传感器检测到的轮胎转向角度或类似的信息，在监视器屏幕上叠加捕获的视频图像和估计的驾驶路径，在车辆向后运动时在监视器屏幕上显示估计的驾驶路径。例如，使用该驾驶辅助设备，驾驶员可以观察监视器屏幕上的估计的驾驶路径，以执行将车辆平行停车到停车位内。
然而，当构成CCD摄像机的镜头的光轴没有与CCD区域传感器的中心对准，或如果CCD摄像机没有在适当的位置接附到车辆时，车辆背后的视频图像的中心和用于绘制估计的驾驶路径的监视器屏幕的中心在监视器屏幕上互相不匹配。因此，估计的驾驶路径可能从与车辆背后的视频图像的正确的位置关系偏离。
在这种情况下，即使沿着估计的驾驶路径，也不可能执行车辆的希望的向后运动或停车。因此，通常执行对CCD传感器和镜头之间的相对位置关系的调节(调节光轴)，并且对每个车辆调节CCD摄像机的接附情况，使得CCD摄像机根据参考正确地接附到车辆。
本发明要解决的问题
然而，上述对光轴的调节通过在组装镜头时物理地调节该镜头的位置执行。因此，难以高精确度地执行对光轴的调节。此外，为了获得较高精确度招致非常大的成本。
本发明可以克服这些现有的问题，并且本发明的一个目的为提供视频图像位置关系修正设备及其方法，使得可以在不需要物理地调节光轴的情况下正确地修正实际视频图像和虚拟视频图像之间的位置关系。
此外，本发明的另一个目的为提供具有这样的视频图像位置关系修正设备的转向辅助设备。
用于解决问题的方式
根据本发明，用于修正通过摄像机捕获的实际视频图像和虚拟视频图像之间的相对位置关系的用于用途为在监视器屏幕上叠加实际视频图像和虚拟视频图像的视频图像显示器件的设备包括：设置在通过摄像机捕获的区域内的实际坐标系统内的实际目标；用于通过基于包括摄像机自身的内部参数和对于摄像机接附到车辆的接附参数的坐标变换参数的参考值坐标变换实际目标在实际坐标系统内的实际坐标来理论推导监视器屏幕上的监视器坐标系统内的监视器坐标的坐标变换装置；用于识别通过摄像机实际捕获的实际目标的图像的监视器坐标的识别装置；和用于基于通过摄像机实际捕获的实际目标的图像的监视器坐标和已经经历坐标变换的实际目标的监视器坐标系统内的对应的监视器坐标之间的偏差修正坐标变换参数中的至少摄像机自身的内部参数的值并且基于坐标变换参数的修正的值修正实际视频图像和虚拟视频图像之间的相对位置关系的修正装置：该修正装置产生关系表达式，关系表达式的数量大于基于实际目标的图像的监视器坐标和已经经历坐标变换的实际目标的监视器坐标系统内的监视器坐标的坐标变换参数的数量，修正坐标变换参数，使得偏差的平方和最小；确定实际目标的数量，使得关系表达式的数量大于需要修正的坐标变换参数的数量。
根据本发明，转向辅助设备包括上述视频图像位置关系修正设备，其中实际视频图像和虚拟视频图像分别为车辆背后的视频图像和转向辅助引导。
此外，根据本发明，当在监视器屏幕上叠加实际图像和虚拟视频图像时修正通过摄像机捕获的实际视频图像和虚拟视频图像之间的相对位置关系的方法包括以下步骤：通过摄像机捕获实际坐标系统内的实际目标；通过基于包括摄像机自身的内部参数和对于摄像机接附到车辆的接附参数的坐标变换参数的参考值坐标变换实际目标在实际坐标系统内的实际坐标来理论推导监视器屏幕上的监视器坐标系统内的监视器坐标；识别通过摄像机实际捕获的实际目标的图像的监视器坐标；基于实际目标的图像的监视器坐标和已经经历坐标变换的实际目标的监视器坐标系统内的监视器坐标之间的偏差产生关系表达式，关系表达式的数量大于包括坐标变换参数中的至少摄像机自身的内部参数的要修正的坐标变换参数的数量；修正坐标变换参数，使得偏差的平方和最小；并且基于坐标变换参数的修正的值修正实际视频图像和虚拟视频图像之间的相对位置关系。
附图说明
图1为示出了装备有根据本发明的第一实施例的视频图像位置关系修正设备的车辆的后部部分的视图；
图2为示出了根据第一实施例的视频图像位置关系修正设备的结构的方框图；
图3为示出了用于第一实施例中的控制器的正视图；
图4为示出了在第一实施例中在监视器的屏幕上显示的车辆背后的图像的视图；
图5和6分别为示出了根据第二和第三实施例的视频图像位置关系修正设备的方框图；及
图7为示出了装备有根据第四实施例的视频图像位置关系修正设备的车辆的侧视图。
具体实施方式
在下文中将参考附图描述本发明的实施例。
在下面参考附图描述的实施例中，使用根据本发明的视频图像位置关系修正设备来修正车辆背后的视频图像和用于车辆的转向辅助设备内的转向辅助引导之间的视频图像位置关系。
图1示出了将根据第一实施例的视频图像位置关系修正设备接附到车辆的情况。用于捕获车辆背后的视频图像的CCD摄像机2接附到车辆1的后部部分。在车辆1背后的道路表面上，绘制设置在预先确定的位置作为实际目标的参考点P1到P6。
图2示出了视频图像位置关系修正设备的结构。CCD摄像机2包括镜头3、CCD区域传感器4、和信号处理集成电路5。信号处理集成电路5连接到叠加电路6。叠加电路6连接到布置在车辆1的驾驶员座椅前面的监视器7。此外，理论绘图电路8连接到叠加电路6。控制器9连接到理论绘图电路8。
控制器9提供在邻近车辆1的驾驶员座椅前面的监视器7的位置。如图3所示，控制器9包括用于通过驾驶员的操纵输入在上、下、左、右方向的修正量的方向按钮10、决定按钮11、和计算按钮12。
理论绘图电路8起根据本发明的坐标变换装置的作用。理论绘图装置8和控制器9起识别装置和修正装置的作用。
此时，如图1所示，采取包括原点O、正y轴方向、正x轴方向、和正z轴方向的道路表面坐标系统(实际坐标系统)。原点O为地面上的点，并且通过从后轴的中心朝向道路表面延伸垂直线限定。通过朝向车辆1背后的水平方向限定正y方向。通过在车辆1的左侧上的水平方向限定正x轴方向，并且通过车辆1的上部侧上的垂直方向限定正z轴方向。
通过CCD摄像机2捕获并且在监视器7的屏幕上显示的车辆背后的视频图像(镜像)在图4中示出。该视频图像示出了车辆1的后保险杠13。采取包括正X轴方向和正Y轴方向的监视器坐标系统。通过在屏幕的右侧上的水平方向限定正X轴方向。通过屏幕的上部侧上的垂直方向限定正Y轴方向。
在道路表面坐标系统和监视器坐标系统之间的坐标变换执行中，设定包括对于CCD摄像机2接附到车辆1的接附参数和CCD摄像机2自身的内部参数的坐标变换参数。
首先，下列参数被认为是接附参数。当将CCD摄像机2根据参考接附到车辆1时，CCD摄像机2在通过道路坐标系统表达的坐标点(x，y，z)的参考接附位置处以包括倾斜角度ω、方向角度γ、和旋转角度θ的参考接附角度安装。倾斜角度ω为从y轴方向向下倾斜的角度。方向角度γ为在平行于xy表面的表面内从负y轴方向倾斜的角度。旋转角度θ为通过围绕镜头3的光轴旋转CCD摄像机2的接附角度。
然而，实际上，CCD摄像机2相对于参考具有接附误差地接附到车辆。假设CCD摄像机2在道路表面坐标系统内的坐标点(x+Δx，y+Δy，z+Δz)处以包括倾斜角度ω+Δω、方向角度γ+Δγ、和旋转角度θ+Δθ的接附角度安装。这些参数x+Δx，y+Δy，z+Δz，ω+Δω，γ+Δγ，θ+Δθ为对于接附CCD摄像机2的接附参数。
此外，内部参数可以包括指示在正x轴方向CCD区域传感器4的中心相对于镜头3的光轴的偏差的位置偏差量ΔCx、指示在正y轴方向CCD区域传感器4的中心相对于镜头3的光轴的偏差的位置偏差量ΔCy、CCD摄像机2的焦距f+Δf、和畸变常数Da、Db、Dc。
畸变常数Da、Db、Dc为用于接下来的用于限定畸变系数D的等式中的常数。
D＝[(r-r0)/r0]×100＝Da×r2+Db×r+Dc
其中r0为没有考虑畸变的情况下确定的图像高度，r为考虑畸变的情况下确定的图像高度，并且该图像高度通过从光轴(从镜头中心的延长线)和CCD区域传感器表面的交叉点到CCD区域传感器上的目标点的距离表达。
此外，除了这些接附参数和内部参数，坐标变换参数可以包括对监视器7的屏幕的变换常数。该变换常数为X轴放大率、X轴方向的位置偏差、Y轴放大率、和Y轴方向的位置偏差。
例如，在这些参数中，接下来的9个参数在实施例中被修改：
倾斜角度ω+Δω，方向角度γ+Δγ，旋转角度θ+Δθ，畸变常数Da和Db，X轴放大率，X轴方向的位置偏差，Y轴放大率，和Y轴方向的位置偏差。
难以直接测量这些参数，以及基于其它参数计算这些参数。
接下来将描述根据此实施例的视频图像位置关系修正设备的操作。
首先，通过镜头3由CCD区域传感器4捕获作为实际目标的包括参考点P1到P6的实际视频图像。代表通过CCD区域传感器4捕获的实际图像的信号传输到信号处理集成电路5，并且输出到叠加电路6。此外，代表虚拟的目标点R1到R6的信号从理论绘图电路8输入到叠加电路6。
此时将描述在理论绘图电路8内对虚拟目标点R1到R6的推导。事先确定道路表面上的参考位置P1到P6，并且还事先确定车辆1相对于这些参考点P1到P6的停止位置。因此，分别的虚拟目标点R1到R6基于在没有考虑道路表面坐标系统内的参考点P1到P6的坐标的误差的情况下确定的修改前的坐标变换参数理论地推导出来。理论绘图电路8将以此方式理论地确定的坐标作为监视器坐标系统内的虚拟目标点R1到R6的坐标数据输出到叠加电路6。
在叠加电路6中，基于代表实际图像的信号和从理论绘图电路8输出的代表虚拟目标点R1到R6的坐标数据，实际图像和通过虚线绘制的虚拟目标点R1到R6在监视器7的屏幕上叠加。此时，如果接附参数和CCD摄像机2的内部参数和对于监视器7的屏幕的变换常数是理想的，在监视器屏幕上指示实际捕获的视频图像参考点P1到P6的视频图像参考点Q1到Q6的位置和虚拟目标点R1到R6的位置在监视器7的屏幕上彼此重迭。然而，例如，如果CCD摄像机2相对于参考具有接附误差地接附，或者如果CCD摄像机2的镜头3的光轴未与CCD区域传感器4的中心对准，如图2所示，视频图像参考点Q1到Q6的位置从预期的位置即基于修改前的坐标变换参数理论地确定的虚拟目标点R1到R6的位置偏离。
在此情况下，驾驶员操纵控制器9的方向按钮10，使得虚拟目标点R1初始地重迭在目标参考点Q1上。通过方向按钮10输入的虚拟目标点R1的运动的量输入理论绘图电路8。随后，如果当虚拟目标点R1重迭在视频图像参考点Q1上时驾驶员按下决定按钮11，决定按钮11的信号输入理论绘图电路8。从而，理论绘图电路8识别监视器坐标系统内的视频图像参考点Q1的坐标。通过重复操纵以接连地运动虚拟目标点R2到R6，理论绘图电路8识别监视器坐标系统内的视频图像参考点Q2到Q6的坐标。
接下来，当按下控制器9的计算按钮12时，通过后面描述的计算方法，理论绘图电路8计算修改后的坐标变换参数以考虑误差，使得虚拟目标点R1到R6大致匹配视频图像参考点Q1到Q6。例如，此时，基于修改后的坐标变换参数计算新的虚拟目标点R1到R6的坐标和在那些坐标之间延伸的线，并且通过叠加电路6在监视器7的屏幕上再次显示视频图像。从而，驾驶员能够基于与参考点P1到P6的位置关系确认是否正确地执行修正。
在以此方式完成修正以后，理论绘图电路8基于修改后的坐标变换参数产生在监视器坐标系统内的虚拟视频图像的数据，例如，转向辅助引导的显示数据。
理论绘图电路8使用修改前的坐标变换参数计算将要在监视器7的屏幕上显示的虚拟目标点R1到R6的坐标。随后，理论绘图电路8基于虚拟目标点R1到R6、视频图像参考点Q1到Q6、和修改前的坐标变换参数确定坐标变换参数。接下来将要描述通过理论绘图电路8执行那些过程的方法。
通过接下来使用基于道路表面坐标系统内的参考点Pm的坐标值Xpm、Ypm、Zpm(m＝1到6)和上面提到的需要修改的9个坐标变换参数Kn(n＝1到9)和不需要修改的其它参数Kj(j＝10到16)的函数F和G的等式，表达监视器坐标系统内的视频图像参考点Qm的坐标值Xqm和Yqm(m＝1到6)。
Xqm＝F(Xpm，Ypm，Zpm，Kn，Kj)+DXm
Yqm＝G(Xpm，Ypm，Zpm，Kn，Kj)+DYm
DXm和DYm为使用函数F和G计算的虚拟目标点的X坐标和Y坐标和视频图像参考点Qm的坐标值Xqm和Yqm之间的偏差。如果参考点Pm是绘制在道路表面上的话，Zpm＝0。
即，通过表达6个视频图像参考点Qm的X坐标和Y坐标，总共产生12个对于9个坐标变换参数Kn的关系表达式。
此时，确定坐标变换参数Kn，使得通过接下来的等式表达的偏差Dxm和Dym的平方和最小。
                S＝∑(DXm2+DYm2)
即，解决了对于最小化S的最优化问题。使用诸如单纯形法、最速下降法、牛顿法、和准牛顿法的已知的最优化方法解决该问题。在重复计算时，使用修改前的坐标变换参数的值作为坐标变换参数Kn的初始值。
以此方式确定坐标变换参数Kn，并且理论绘图电路8基于修改后的坐标变换参数再次产生监视器坐标系统内的虚拟视频图像数据，例如转向辅助引导的显示数据，以正确地修正实际视频图像和虚拟视频图像之间的位置关系。
从而，即使镜头3的光轴未与CCD区域传感器4的中心对准，并且CCD摄像机2未根据参考正确地接附到车辆1，可以在不需要物理地调节镜头3的光轴，并且不需要为了将CCD摄像机2以高精确度根据参考接附到车辆1进行任何调节操作的情况下，正确地修正实际视频图像和虚拟视频图像之间的位置关系。即，正确地修正作为实际视频图像的车辆背后的图像和作为虚拟图像的转向辅助引导之间的位置关系。
因为使用关系表达式计算坐标变换参数，并且关系表达式的数量大于坐标变换参数的数量，因此，即使在通过操纵控制器9识别虚拟目标点和视频图像参考点之间的坐标的偏差时发生误差、不需要修改的坐标变换参数存在误差、或由于除了上面列举的坐标变换参数以外的参数发生误差时，也能获得适当的坐标变换参数，并且精确地执行修正。
在第一实施例中，对于9个坐标变换参数Kn，使用6个视频图像参考点Qm产生12个关系表达式。然而，本发明在这方面不受限制。只要关系表达式的数量大于要计算的坐标变换参数的数量，可以设想其它构造。例如，可以使用5个视频图像参考点Qm产生10个关系表达式，或者可以使用7个或更多视频图像参考点Qm产生数量更大的关系表达式。
此外，坐标变换参数的数量不限于9个，并且可以自由地确定。
第二实施例
图5示出了根据第二实施例的视频图像位置关系修正设备的结构。根据第二实施例的视频图像位置关系修正设备与图2所示的根据第一实施例的视频图像位置关系修正设备不同在于，叠加电路6被顺序地串联连接在CCD摄像机2的信号处理集成电路5和监视器7之间的A/D转换器电路15、图像存储器16、和D/A转换器电路17代替并且理论绘图电路8连接到图像存储器16。
在第一实施例中，叠加电路6在监视器7上叠加从CCD摄像机2的信号处理集成电路5输出的实际视频图像的图像信号和从理论绘图电路8输出的虚拟图像的信号。在第二实施例中，通过A/D转换器电路15将从CCD摄像机2的图像处理集成电路5输出的实际视频图像的图像信号转换为图像数据，并且将该图像数据暂时存储在图像存储器16内。将从理论绘图电路8输出的虚拟图像的数据增加到图像存储器16上的实际图像的图像数据。随后，通过D/A转换器电路17将增加了虚拟图像数据以后的图像数据传输到监视器7，并且在监视器7的屏幕上将实际视频图像和虚拟图像叠加。
如上所述，根据本发明的视频图像位置关系修正设备还适用于图像数据暂时存储在图像存储器16内的视频图像显示设备。
第三实施例
图6为示出了根据第三实施例的视频图像位置关系修正设备的结构的视图。根据第三实施例的视频图像位置关系修正设备与图5所示的根据第二实施例的视频图像位置关系修正设备不同在于，图像处理电路14代替控制器9连接到理论绘图电路8和图像存储器16并且通过图像处理计算视频图像参考点Q1到Q6的坐标。照这样，驾驶员不需要操纵控制器9的方向按钮10来执行调节操作，使得虚拟目标点R1到R6匹配视频图像参考点Q1到Q6。因此，可能容易地修正实际视频图像和虚拟视频图像之间的位置关系。
第四实施例
在第一到第三实施例中，参考点P1到P6绘制为道路表面上的实际目标。替代地，如图7所示，可以将具有平面形状的测试图构件接附到车辆1的后保险杠13。在此情况下，参考点P1到P6绘制在测试图构件18的表面上，并且测试图构件18定位在通过CCD摄像机2捕获的区域A内。使用测试图构件18可以精确地确定参考点P1到P6相对于CCD摄像机2的位置，与车辆1的停止位置无关。从而，将车辆停止在道路表面上的参考点P1到P6确定的位置不是必须的，并且可能在任何位置修正实际视频图像和虚拟视频图像之间的位置关系。
此外，在通过CCD摄像机2捕获的区域内的车辆1的部分可以作为实际目标。
其它实施例
本发明不限于上述实施例。在实现本发明中，可以对实施例作出接下来的修改。
作为实际目标的参考点的形状不限于圆形。参考点可以具有不同的形状。
在第一和第二实施例中，控制器9用于驾驶员操纵。替代地，代替使用控制器9，监视器7可以包括装备有方向按钮、决定按钮、和计算按钮或轻推开关或类似器件的触摸控制板。可以使用被操纵以重迭虚拟目标点和视频图像参考点的任何装置。此外，操纵的顺序不限于上述实施例。可以在不偏离本发明的范围的情况下采用不同的顺序。
此外，操纵不限于在图像参考点上重迭虚拟目标点的操作。可以采用任何操纵，只要使得可能识别虚拟目标点R1到R6中的哪个虚拟目标点对应屏幕上的图像参考点的坐标。例如，可以使用方向按钮或类似器件识别图像参考点的坐标，并且随后识别哪个虚拟目标点对应该图像参考点。用于识别哪个虚拟目标点对应该图像参考点的手段可以为驾驶员的操纵。当虚拟目标点没有从图像参考点较大地偏离时，最近的图像参考点可以被自动地识别为对应该虚拟目标点的图像参考点。在自动识别的情况下，可以不显示虚拟目标点。
需要修改的坐标变换参数不限于上述实施例中使用的参数。可以采用任何参数，只要至少包括摄像机的内部参数。
在第一到第四实施例中，修正了通过理论绘图电路8产生的虚拟视频图像。然而，本发明不限于这方面。替代地，可以修正通过CCD摄像机2捕获的实际视频图像。
此外，在实施例中，特别地修正了车辆背后的转向辅助设备的视频图像。然而，本发明不限于这方面。本发明的视频图像位置关系修正设备还适用于叠加实际图像和虚拟图像的其它设备中的视频图像修正。
根据本发明，即使镜头的光轴发生偏差，实际视频图像和虚拟视频图像之间的位置关系也被正确地修正。此外，光轴和CCD摄像机的接附不是物理地调节而是通过软件修正。因此，高精确度、低成本地修正视频图像位置关系。此外，显示二维距离和引导线的精确度提高。因此，除了车辆领域以外，本发明还适用于测量相关的领域。

Claims (12)

1.一种用于修正通过摄像机捕获的实际视频图像和虚拟视频图像之间的相对位置关系的用于用途为在监视器屏幕上叠加实际视频图像和虚拟视频图像的视频图像显示器件的设备，其包括：
设置在通过摄像机捕获的区域内的实际坐标系统内的实际目标；
用于通过基于包括摄像机自身的内部参数和对于摄像机接附到车辆的接附参数的坐标变换参数的参考值坐标变换实际目标在实际坐标系统内的实际坐标来理论推导监视器屏幕上的监视器坐标系统内的监视器坐标的坐标变换装置；
用于识别通过摄像机实际捕获的实际目标的图像的监视器坐标的识别装置；和
用于基于通过摄像机实际捕获的实际目标的图像的监视器坐标和已经经历坐标变换的实际目标的监视器坐标系统内的对应的监视器坐标之间的偏差修正坐标变换参数中的至少摄像机自身的内部参数的值并且基于坐标变换参数的修正的值修正实际视频图像和虚拟视频图像之间的相对位置关系的修正装置，
该修正装置产生关系表达式，关系表达式的数量大于基于实际目标的图像的监视器坐标和已经经历坐标变换的实际目标的监视器坐标系统内的监视器坐标的坐标变换参数的数量，修正坐标变换参数，使得偏差的平方和最小；
确定实际目标的数量，使得关系表达式的数量大于需要修正的坐标变换参数的数量。
2.根据权利要求1所述的视频图像位置关系修正设备，其中，识别装置基于使用坐标变换装置修改前的坐标变换参数在监视器屏幕上的监视器坐标系统内提供虚拟目标，并且基于通过摄像机实际捕获的实际目标的图像的监视器坐标和虚拟目标的监视器坐标之间的差异执行识别。
3.根据权利要求2所述的视频图像位置关系修正设备，其中，识别装置包括用于通过驾驶员的操纵将监视器屏幕上的实际目标和虚拟目标中的一个运动到重迭在实际目标和虚拟目标中的另一个上的位置的控制器。
4.根据权利要求3所述的视频图像位置关系修正设备，其中，控制器包括用于输入监视器屏幕上的实际目标和虚拟目标中的一个在上、下、左、右方向的修正量的方向按钮、用于确认实际目标和虚拟目标彼此重迭的情况的决定按钮、和用于允许修正装置开始修正计算的计算按钮。
5.根据权利要求1所述的视频图像位置关系修正设备，其中，识别装置包括用于通过图像处理执行识别的图像处理电路。
6.一种具有根据权利要求1所述的视频图像位置关系修正设备的转向辅助设备，其中，实际视频图像和虚拟视频图像分别为车辆背后的视频图像和转向辅助引导。
7.根据权利要求6所述的转向辅助设备，其中，实际目标设置在道路表面上。
8.根据权利要求6所述的转向辅助设备，其中，实际目标设置在接附到车辆的后部部分的平面构件上。
9.一种当在监视器屏幕上叠加实际图像和虚拟视频图像时修正通过摄像机捕获的实际视频图像和虚拟视频图像之间的相对位置关系的方法，其包括以下步骤：
通过摄像机捕获实际坐标系统内的实际目标；
通过基于包括摄像机自身的内部参数和对于摄像机接附到车辆的接附参数的坐标变换参数的参考值坐标变换实际目标在实际坐标系统内的实际坐标来理论推导监视器屏幕上的监视器坐标系统内的监视器坐标；
识别通过摄像机实际捕获的实际目标的图像的监视器坐标；
基于实际目标的图像的监视器坐标和已经经历坐标变换的实际目标的监视器坐标系统内的监视器坐标之间的偏差产生关系表达式，关系表达式的数量大于包括坐标变换参数中的至少摄像机自身的内部参数的要修正的坐标变换参数的数量；
修正坐标变换参数，使得偏差的平方和最小；以及
基于坐标变换参数的修正的值修正实际视频图像和虚拟视频图像之间的相对位置关系。
10.根据权利要求9所述的用于视频图像位置关系修正的方法，其中，基于修改前的坐标变换参数在监视器屏幕上的监视器坐标系统内提供虚拟目标，并且基于通过摄像机实际捕获的实际目标的图像的监视器坐标和虚拟目标的对应的监视器坐标之间的差异识别实际目标的图像的监视器坐标。
11.根据权利要求10所述的用于视频图像位置关系修正的方法，其中，通过经由操作者的操纵将监视器屏幕上的实际目标和虚拟目标中的一个运动到重迭在实际目标和虚拟目标中的另一个上的位置计算实际目标的图像的监视器坐标和虚拟目标的对应的监视器坐标之间的差异。
12.根据权利要求9所述的用于视频图像位置关系修正的方法，其中，通过图像处理识别实际目标的图像的监视器坐标。
CN200480041109A 2004-01-30 2004-10-29 视频图像位置关系修正设备和方法及具有该视频图像位置关系修正设备的转向辅助设备 Expired - Fee Related CN100583998C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004023673A JP4196841B2 (ja) 2004-01-30 2004-01-30 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP023673/2004 2004-01-30

Publications (2)

Publication Number Publication Date
CN1906943A true CN1906943A (zh) 2007-01-31
CN100583998C CN100583998C (zh) 2010-01-20

Family

ID=34823882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200480041109A Expired - Fee Related CN100583998C (zh) 2004-01-30 2004-10-29 视频图像位置关系修正设备和方法及具有该视频图像位置关系修正设备的转向辅助设备

Country Status (8)

Country Link
US (1) US20080036857A1 (zh)
EP (1) EP1709810A4 (zh)
JP (1) JP4196841B2 (zh)
KR (1) KR100834323B1 (zh)
CN (1) CN100583998C (zh)
AU (1) AU2004314869B2 (zh)
TW (1) TWI264682B (zh)
WO (1) WO2005074287A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978694B (zh) * 2008-03-19 2012-12-05 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
CN101971207B (zh) * 2008-03-19 2013-03-27 三洋电机株式会社 图像处理装置及方法、驾驶辅助系统、车辆
CN105118055A (zh) * 2015-08-11 2015-12-02 北京电影学院 摄影机定位修正标定方法及系统
CN107082090A (zh) * 2016-02-15 2017-08-22 丰田自动车株式会社 车辆用周围图像显示装置
CN107306334A (zh) * 2016-04-20 2017-10-31 奥林巴斯株式会社 照相机系统、照相机主体、以及照相机系统的控制方法
CN108364313A (zh) * 2018-01-16 2018-08-03 深圳市科视创科技有限公司 一种自动对位的方法、系统及终端设备
CN108761475A (zh) * 2017-04-20 2018-11-06 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准验证
CN110213488A (zh) * 2019-06-06 2019-09-06 腾讯科技（深圳）有限公司 一种定位方法及相关设备
CN114067071A (zh) * 2021-11-26 2022-02-18 湖南汽车工程职业学院 一种基于大数据的高精地图制作系统

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4754184B2 (ja) * 2004-05-26 2011-08-24 クラリオン株式会社 距離マーカ生成方法及び距離マーカ生成プログラム
US7782374B2 (en) 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
JP4715334B2 (ja) 2005-06-24 2011-07-06 日産自動車株式会社 車両用画像生成装置および方法
JP4682830B2 (ja) * 2005-12-05 2011-05-11 日産自動車株式会社 車載画像処理装置
CN101052121B (zh) * 2006-04-05 2010-04-21 中国科学院自动化研究所 视频系统参数动态标定方法及系统
JP4857143B2 (ja) * 2007-02-20 2012-01-18 アルパイン株式会社 カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
JP4794510B2 (ja) * 2007-07-04 2011-10-19 ソニー株式会社 カメラシステムおよびカメラの取り付け誤差の補正方法
JP4924896B2 (ja) * 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
US7889234B2 (en) * 2008-01-10 2011-02-15 Delphi Technologies, Inc. Automatic calibration for camera lens distortion correction
JP5173551B2 (ja) * 2008-04-23 2013-04-03 アルパイン株式会社 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
JP5387580B2 (ja) 2008-11-05 2014-01-15 富士通株式会社 カメラ角度算出装置およびカメラ角度算出方法
JP5341789B2 (ja) 2010-01-22 2013-11-13 富士通テン株式会社 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
TWI408339B (zh) * 2010-03-22 2013-09-11 Inst Information Industry 即時擴增實境裝置、即時擴增實境方法及其電腦程式產品
KR101113679B1 (ko) * 2010-05-24 2012-02-14 기아자동차주식회사 카메라 시스템의 영상 보정 방법
EP2469467A1 (en) * 2010-12-23 2012-06-27 Alcatel Lucent An integrated method for camera planning and positioning
CN102653260B (zh) * 2012-05-09 2014-08-13 邝君 汽车定点定位引导系统
US20150029346A1 (en) * 2013-07-23 2015-01-29 Insurance Auto Auctions, Inc. Photo inspection guide for vehicle auction
WO2015056826A1 (ko) * 2013-10-18 2015-04-23 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
EP2902802B1 (de) * 2014-01-31 2016-10-26 S.M.S. Smart Microwave Sensors GmbH Sensorvorrichtung
JP6406159B2 (ja) * 2015-08-04 2018-10-17 株式会社デンソー 車載表示制御装置、車載表示制御方法
DE102018111776B4 (de) * 2018-05-16 2024-01-25 Motherson Innovations Company Limited Kalibriervorrichtung, Verfahren zur Ermittlung von Kalibrierdaten, Vorrichtung zur Ausführung des Verfahrens, Kraftfahrzeug umfassend eine solche Vorrichtung und Verwendung der Kalibriervorrichtung für das Verfahren sowie das Kraftfahrzeug
CN111091024B (zh) * 2018-10-23 2023-05-23 广州弘度信息科技有限公司 一种基于视频识别结果的小目标过滤方法和系统
WO2020172842A1 (zh) * 2019-02-28 2020-09-03 深圳市商汤科技有限公司 车辆智能驾驶控制方法及装置、电子设备和存储介质
CN110992725B (zh) * 2019-10-24 2022-05-03 合肥讯图信息科技有限公司 用于检测交通信号灯故障的方法、系统及存储介质
SG10202002677TA (en) * 2020-03-23 2021-10-28 Nec Asia Pacific Pte Ltd A method and an apparatus for estimating an appearance of a first target

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57123416A (en) * 1981-01-23 1982-07-31 Toshiba Corp Remote control device
JPH0399952A (ja) * 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH03268108A (ja) * 1990-03-19 1991-11-28 Honda Motor Co Ltd 自動走行装置
JP2991163B2 (ja) * 1997-07-23 1999-12-20 日本電気株式会社 カメラキャリブレーション装置
JP3632563B2 (ja) * 1999-10-19 2005-03-23 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP3387911B2 (ja) * 2000-01-27 2003-03-17 松下電器産業株式会社 キャリブレーションシステムおよびキャリブレーション方法
JP2002202136A (ja) * 2001-01-04 2002-07-19 Omron Corp 車両の周囲状況観測装置
JP4015051B2 (ja) * 2002-04-22 2007-11-28 松下電器産業株式会社 カメラ補正装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971207B (zh) * 2008-03-19 2013-03-27 三洋电机株式会社 图像处理装置及方法、驾驶辅助系统、车辆
CN101978694B (zh) * 2008-03-19 2012-12-05 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
CN105118055A (zh) * 2015-08-11 2015-12-02 北京电影学院 摄影机定位修正标定方法及系统
CN105118055B (zh) * 2015-08-11 2017-12-15 北京电影学院 摄影机定位修正标定方法及系统
CN107082090A (zh) * 2016-02-15 2017-08-22 丰田自动车株式会社 车辆用周围图像显示装置
CN107306334A (zh) * 2016-04-20 2017-10-31 奥林巴斯株式会社 照相机系统、照相机主体、以及照相机系统的控制方法
CN108761475A (zh) * 2017-04-20 2018-11-06 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准验证
CN108364313A (zh) * 2018-01-16 2018-08-03 深圳市科视创科技有限公司 一种自动对位的方法、系统及终端设备
CN108364313B (zh) * 2018-01-16 2021-08-27 深圳市科视创科技有限公司 一种自动对位的方法、系统及终端设备
CN110213488A (zh) * 2019-06-06 2019-09-06 腾讯科技（深圳）有限公司 一种定位方法及相关设备
CN110213488B (zh) * 2019-06-06 2022-01-18 腾讯科技（深圳）有限公司 一种定位方法及相关设备
CN114067071A (zh) * 2021-11-26 2022-02-18 湖南汽车工程职业学院 一种基于大数据的高精地图制作系统
CN114067071B (zh) * 2021-11-26 2022-08-30 湖南汽车工程职业学院 一种基于大数据的高精地图制作系统

Also Published As

Publication number Publication date
KR20060132887A (ko) 2006-12-22
TW200525454A (en) 2005-08-01
EP1709810A4 (en) 2007-02-28
EP1709810A1 (en) 2006-10-11
US20080036857A1 (en) 2008-02-14
AU2004314869A1 (en) 2005-08-11
JP4196841B2 (ja) 2008-12-17
KR100834323B1 (ko) 2008-06-02
WO2005074287A1 (en) 2005-08-11
CN100583998C (zh) 2010-01-20
TWI264682B (en) 2006-10-21
AU2004314869B2 (en) 2007-11-01
JP2005217889A (ja) 2005-08-11

Similar Documents

Publication Publication Date Title
CN1906943A (zh) 视频图像位置关系修正设备,具有该视频图像位置关系修正设备的转向辅助设备和视频图像位置关系修正方法
KR101265012B1 (ko) 차량 탑재 카메라의 교정 장치, 방법 및 프로그램
JP3632563B2 (ja) 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP4803449B2 (ja) 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
CN1591255A (zh) 倒车辅助装置与停车辅助装置
JP4803450B2 (ja) 車載カメラの校正装置及び当該装置を用いた車両の生産方法
US9792683B2 (en) System, vehicle and method for online calibration of a camera on a vehicle
CN108805934A (zh) 一种车载摄像机的外部参数标定方法及装置
EP3998580A2 (en) Camera calibration method and apparatus, electronic device, storage medium, program product, and road side device
JPH10208047A (ja) 車載用走行環境認識装置
CN1991311A (zh) 停车支援装置
JP2018136695A (ja) 駐車支援装置
CN110490172A (zh) 信息融合泊车的停车位位置补偿方法、系统、装置、介质
JP2017188738A (ja) 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム
CN105472317B (zh) 周边监视装置及周边监视系统
JPH1040499A (ja) 車両の外界認識装置
CN101029823A (zh) 基于车辆状态分类的车辆跟踪方法和装置
JP6768554B2 (ja) キャリブレーション装置
JP7137464B2 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
CN113643355B (zh) 一种目标车辆位置和朝向的检测方法、系统及存储介质
JP2009042175A (ja) 施工位置測定システム及び丁張りレスシステム
CN109949260B (zh) 一种x光探测器高度调节进行图像自动拼接方法
KR20140030632A (ko) 노면정보 제공 시스템 및 방법과 이를 사용한 차량
JP2002163641A (ja) 車両用画像処理装置
JP2019061510A (ja) 車載カメラの取付高さパラメータ算出装置および取付高さパラメータ算出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100120

Termination date: 20121029