CN107833252B - 用于校正摄像机的误差的系统和方法 - Google Patents

用于校正摄像机的误差的系统和方法 Download PDF

Info

Publication number
CN107833252B
CN107833252B CN201710484658.8A CN201710484658A CN107833252B CN 107833252 B CN107833252 B CN 107833252B CN 201710484658 A CN201710484658 A CN 201710484658A CN 107833252 B CN107833252 B CN 107833252B
Authority
CN
China
Prior art keywords
correction
point
image
camera
correction parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710484658.8A
Other languages
English (en)
Other versions
CN107833252A (zh
Inventor
卞明锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN107833252A publication Critical patent/CN107833252A/zh
Application granted granted Critical
Publication of CN107833252B publication Critical patent/CN107833252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及用于校正摄像机的误差的系统和方法。提供了一种用于校正用于摄像机监控系统(CMS)的摄像机的误差的系统，该系统包括：一个或多个摄像机，附接到车辆的两侧；存储器，在其中存储用于校正由摄像机拍摄的图像的误差的程序；以及处理器，被配置为执行存储在存储器中的程序，其中，该处理器通过执行程序来检测由摄像机拍摄的图像中的校正点；基于在所检测到的校正点与预设校正点之间的比较的结果值生成校正参数并且基于所生成的校正参数校正所拍摄图像的误差。

Description

用于校正摄像机的误差的系统和方法
相关申请的交叉引用
本申请要求于2016年9月9日提交的韩国专利申请第10-2016-0116525号的优先权和权益，其全部内容通过引证结合于此。
技术领域
本发明涉及一种用于校正误差的系统和方法，更具体地说，涉及一种用于校正用于车辆的摄像机监控系统(CMS)的摄像机的误差的系统和方法。
背景技术
近来，为了在驾驶和停车时为驾驶员提供方便，用于获取前视图、后视图或侧视图的摄像机已经被安装在车辆上。
由于车辆在装运之后不断地被使用以及改变在装运时校准的摄像机的公差的在驾驶时出现的各种环境因素(例如，车辆的振动、侧视镜的折叠以及车门的打开/关闭)，在显示器上输出的图像中可能会出现越来越多的误差。
因此，驾驶员在驾驶或停车期间可能会具有使用失真的图像的不便。
为了消除不便之处，需要对变化的公差进行校准，但目前需要访问提供公差校准的维修中心或商店，并修理摄像机，用于公差校准。
同时，为了消除这些限制，韩国专利公开第10-2011-0126178号(标题：车辆的后置摄像机控制系统及其方法(Rear camera control system of vehicle and methodthereof))公开了甚至向后行驶、停车/停止时也操作后置摄像机并且根据驾驶员的操纵来驾驶车辆的技术。
即，在传统技术中，驾驶员观看图像并手动操作角度调节器，以生成用于操作后置摄像机的角度调节设置信号，使得通过角度调节电动机驱动部分来调节摄像机的角度。
然而，传统技术要求驾驶员通过手动操作角度调节器来调节摄像机的角度，使得驾驶员由于直接调节而存在不方便之处。
此外，由于摄像机角度需要由人直接调节，所以每次可以不同地设置角度，使得可以在显示器上输出的图像生成异质感。
发明内容
本发明旨在提供一种用于校正误差的系统和方法，其中，当在附接到车辆两侧的摄像机拍摄的图像中存在误差时，检测图像中的消失点或特征点并且将其设置为校正点，基于校正点生成用于校正图像的校正参数，并且执行校正，使得存在于图像中的误差被校正。
本发明构思的技术目标不限于上述公开内容，并且基于以下描述，对于本领域普通技术人员来说其他目的会是显而易见的。
为了实现上述目的，根据本发明的第一方面，提供了一种用于校正摄像机监控系统(CMS)的摄像机的误差的系统，该系统包括：一个或多个摄像机，附接到车辆的两侧；存储器，在其中存储用于校正由摄像机拍摄的图像的误差的程序；以及处理器，被配置为执行存储在存储器中的程序。此处，该处理器通过执行程序来检测由摄像机拍摄的图像中的校正点；基于在检测到的校正点与预设校正点之间的比较的结果值生成校正参数；并且基于所生成的校正参数校正所拍摄图像的误差。
该处理器可以从所拍摄的图像提取轮廓线(contour line)，并且可以检测从其提取了该轮廓线的图像中的校正点。
该校正点可以是消失点(vanishing point)，并且该处理器可以检测从其提取了该轮廓线的图像中的多条线；可以检测在该多条线相交处的消失点；并且可以将所检测到的消失点移动到参考消失点以生成校正参数。
该校正点可以是该车辆的特征点，并且该处理器可以检测从其提取了该轮廓线的图像中的与该车辆相对应的多个特征点，并且可以将该多个特征点移动到参考特征点以生成校正参数。
该处理器在该车辆驾驶或停止时可以生成校正参数并且可以将先前存储的校正参数更新为所生成的校正参数。
根据本发明的第二方面，提供了一种用于校正CMS的摄像机的误差的方法，该方法包括：接收由附接到车辆的两侧的一个或多个摄像机拍摄的图像；检测所拍摄的图像中的校正点；将所检测到的校正点与预设校正点进行比较；基于该比较的结果值生成校正参数；并且基于所生成的校正参数校正该拍摄的图像的误差。
该方法还可以包括从所接收的图像提取轮廓线，其中，该校正点的检测可以包括检测从其提取了该轮廓线的图像中的校正点。
检测所拍摄的图像中的校正点可以包括：检测从其提取了轮廓线的图像中的多条线；检测在多条线相交处的消失点；并且将所检测到的消失点设置为校正点，其中，将所检测到的校正点与预设校正点进行比较并且基于该比较的结果值生成校正参数可以包括将所检测到的消失点移动到参考消失点以生成校正参数。
检测所拍摄的图像中的校正点可以包括：检测从其提取了轮廓线的图像中的与车辆相对应的多个特征点；并且将多个特征点设置为校正点，其中，将所检测到的校正点与预设校正点进行比较并且基于比较的结果值生成校正参数可以包括将所检测到的特征点移动到参考特征点以生成校正参数。
生成校正参数可以包括当车辆驾驶或停止时生成校正参数并且将先前存储的校正参数更新为所生成的校正参数。
附图说明
通过参考附图详细描述本发明的示例性实施例，本发明的上述和其他目的、特征和优点将对本领域普通技术人员变得显而易见，在附图中：
图1是示出根据本发明的实施例的用于校正误差的系统的方框图；
图2A到图2D是示出通过检测消失点来校正误差的过程的示图；
图3A到图3D是示出通过检测特征点来校正误差的过程的示图；
图4是示出根据本发明的实施例的校正误差的方法的流程图；
图5是示出通过检测消失点来校正误差的方法的流程图；
图6是示出通过检测特征点来校正误差的方法的流程图；以及
图7A到图7D是示出根据本发明的实施例的误差校正的结果的示图。
具体实施方式
在下文中，将参考附图详细描述本发明的示例性实施例，使得本领域技术人员可以容易地执行本发明。本发明可以以各种方式体现，而不应被解释为局限于本文中所阐述的实施例。在附图中，为了解释清楚，省略了与描述无关的部分。
术语“包括”、“包含”、“含有”和/或“具有”是指除了描述的部件、步骤、操作和/或元件之外还可以包括一个或多个其他部件、步骤和操作和/或元件的存在或添加，除非上下文另有说明。
本发明涉及一种用于校正用于安装在车辆中的摄像机监控系统(CMS)的摄像机的误差的系统100及其方法。
CMS是用摄像机代替附接到车辆的侧视镜并且能够在显示器上输出车辆的被输入到摄像机的侧视图像的系统。
当用于CMS的摄像机安装在车辆的侧视镜的位置或车辆的侧面的特定位置时，显示器上输出的图像可能由于机械误差或者制造误差而在车辆之间具有微小的差异。
此外，即使在车辆的大规模生产之后，由于固定装置或摄像机模块根据实际驾驶环境的连续变形，摄像机会具有误差。
根据本发明的实施例，为了解决上述限制，在由附接到车辆的每个侧面的摄像机110拍摄的图像中检测到消失点或特征点并将其设置为校正点，基于设置的校正点生成用于校正图像的校正参数，并且执行校正，使得校正图像中存在的误差。
在下文中，将参考图1到图3D描述根据本发明的实施例的用于校正误差的系统100。
图1是示出根据本发明的实施例的用于校正误差的系统100的方框图。
用于校正误差的系统100包括摄像机110、存储器120和处理器130。
摄像机110附接到车辆的每个侧面以拍摄车辆的侧视图像。可以在车辆的两侧设置均与摄像机110相同的一个或多个摄像机。
存储器120被配置为存储用于校正由摄像机110拍摄的图像的程序。在这种情况下，存储器120通常是指维持存储的信息而不向其提供功率的非易失性存储装置和易失性存储装置。
例如，存储器120可以包括诸如紧凑闪存(CF)卡、安全数字(SD)卡、记忆棒、固态驾驶员(SSD)和微型SD卡的NAND闪存；诸如硬盘驾驶员(HDD)的磁性计算机存储装置；以及诸如光盘只读存储器(CD-ROM)和数字通用盘(DVD)-ROM的光盘驱动器。
处理器130执行存储在存储器120中的程序。详细地，处理器130检测由摄像机110拍摄的图像中的校正点并且基于所检测到的校正点和预设校正点之间的比较的结果值生成校正参数。
基于这样生成的校正参数，处理器130校正所拍摄的图像的误差。
在这种情况下，预设校正点是在制造或修理车辆时被设置为默认值的点，并且根据预设的校正点，在显示器150上输出由摄像机110拍摄的图像。
显示器150是显示安装在车辆中的导航系统的输出的屏幕。显示器150输出由摄像机110拍摄的图像，并且当图像中存在误差时，显示器150接收并输出由处理器130校正的图像。
同时，摄像机110拍摄的图像可以通过通信模块140发送到存储器120和处理器130。通信模块140可以包括有线通信模块和无线通信模块。有线通信模块可以用电力线通信装置、电话线通信装置、电缆家庭(MoCA)协议(cable home protocol)、以太网协议、IEEE1294协议、集成有线家庭网络和RS-485控制装置来实现。另外，无线通信模块可以用无线局域网(WLAN)、蓝牙协议、高数据速率无线个域网(HDR WPAN)、超宽带(UWB)协议、ZigBee协议、脉冲无线电协议、60GHz WPAN、二进制码分多址(CDMA)协议、无线通用串行总线(USB)技术和无线高清多媒体接口(HDMI)技术来实现。
更优选地，通信模块140可以通过控制器局域网(CAN)通信来发送和接收数据。
根据本发明的实施例的用于校正误差的系统100可以通过检测由摄像机110拍摄的图像中的消失点或特征点来校正误差。在下文中，可以参考图2A到图3D描述纠错。
图2A到图2D是示出通过检测消失点来校正误差的过程的示图。
首先，如图2A中所示，处理器130从由摄像机110拍摄的图像提取轮廓线。为此，处理器130可以应用用于检测包含在图像中的对象的轮廓线的算法，例如，索贝尔滤波器(Sobel filter)。
在检测到图像中的轮廓线之后，处理器130可以检测从其提取轮廓线的图像中的消失点并且可以将消失点设置为校正点。
详细地，如在图2B中所示，处理器130检测从其提取轮廓线的图像中的多条线，例如，道路的中心线和道路的分界线。然后，如在图2C中所示，处理器130检测所检测到的多条线相交的点并且将该点设置为校正点。
在检测到校正点之后，如图2D中所示，处理器130可以通过将检测到的消失点移动到参考消失点来生成校正参数，并且可以使用所生成的校正参数来校正由摄像机110拍摄的图像的误差。
图3A到图3D是示出通过检测特征点来校正误差的过程的示图。
与上述类似，如图3A中所示，处理器130从图像提取对象的轮廓线，并且如图3B中所示，检测从其提取轮廓线的图像中的对应于车辆的多个特征点(例如，车体的四个特征点)。
在这种情况下，处理器130可以通过应用用于检测从其检测到轮廓线的图像中的特征点的算法来检测对应于车辆的多个特征点，例如，加速鲁棒特征(speeded up robustfeature)(SURF)、比例不变特征变换(scale invariant feature transform)(SIFT)等。
同时，如在图3C中所示，在制造阶段预设对应于车辆的特征点，因此，如在图3D中所示，处理器130可以通过将多个检测到的特征点移动到预设特征点来生成校正参数。
在这种情况下，处理器130可以基于透视矩阵算法等将所检测到的特征移动到预设特征点。
同时，处理器130可以根据图2A到图3D中所示的方法生成校正参数，并且当生成新的校正参数时，可以将先前存储的校正参数更新为新的校正参数，使得应用新的校正参数来校正误差。
以供参考，根据本发明的实施例的图1中所示的部件可以以诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)的硬件的形式实现，并且可以用作特定功能。
然而，部件不限于参考软件或硬件，并且每个部件可以设置在可寻址存储介质上，或者可以允许运行一个或多个处理器。
因此，作为示例，部件可以包括诸如软件部件、面向对象的软件部件、类型部件和任务部件等部件、以及过程、功能、属性、步骤、子程序、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、数组和参数。
部件和部件中提供的功能可以组合成更少的部件，或者可以进一步分为额外的部件。
在下文中，参考图4和图6，将描述根据本发明的实施例的在用于校正误差的系统100中校正误差的方法。
图4是示出根据本发明的实施例的校正误差的方法的流程图。
首先，根据本发明的实施例的用于校正CMS的摄像机的误差的方法包括：接收由附接到车辆的两侧的一个或多个摄像机所拍摄的图像(S110)，并且检测在所拍摄的图像中的校正点(S120)。
然后，将所检测到的校正点与预设校正点进行比较(S130)，基于所检测到的校正点与预设校正点之间的比较的结果值生成校正参数(S140)，并且基于所生成的校正参数来校正所拍摄的图像的误差(S150)。
本发明的实施例还可以包括从接收到的图像提取轮廓线(S115)。因此，本发明的实施例可以检测从其提取了轮廓线的图像中的校正点。
同时，根据本发明的实施例的校正点可以是消失点或特征点，并且将参考图5和图6描述其细节。
图5是示出通过检测消失点来校正误差的方法的流程图。
当通过检测消失点来校正误差时，首先，在从其提取轮廓线的图像中检测到多条线(S121)。
然后，将多条线相交处的点设置为消失点(S122)，将检测到的消失点设置为校正点(S123)。
由于将消失点设置为校正点，所以将所检测到的消失点设置为被移动到参考消失点(S131)以生成校正参数(S141)。
图6是示出通过检测特征点来校正误差的方法的流程图。
当通过检测特征点来校正误差时，首先，在从其提取轮廓线的图像中检测与车辆相对应的多个特征点(S126)并且将其设置为校正点(S127)。
由于特征点被设置为校正点，故将所检测到的特征点设置为被移动到参考特征点(S136)以生成校正参数(S146)。
在上面的描述中，根据本发明的实施示例，操作S110至S150可以进一步划分为额外操作或组合成较少的操作。此外，可以根据需要省略一些操作，并且可以以不同的顺序执行操作。另外，即使在省略其他内容时，也可以将参考图1到图3D说明的内容应用于在图4到图6所示的校正误差的方法中。
图7A到图7D是示出本发明的实施例的纠错结果的示图。
根据本发明的实施例的用于校正误差的系统100及其方法可以校正由于驾驶环境而在批量生产之后改变的摄像机110的失真误差。
即，当所拍摄的图像中存在误差时，这需要如图7A中所示的顺时针旋转，需要如图7B中所示的向下运动，并且需要如图7C中所示的向上运动，对所拍摄的图像执行纠错，使得如图7D中所示的经校正的图像提供给驾驶员。
根据本发明的上述实施例中的任何一个，由于校正了在驾驶或停止时由摄像机拍摄的图像中存在的误差，所以可以为驾驶员提供更准确的图像。
此外，由于通过比较消失点或特征点与预设校正点来校正图像的误差，所以可以以比传统技术中使用的数据少的数据量来实现图像误差校正。
同时，根据本发明实施例的校正误差的方法可以以包含存储在由计算机执行的介质中的计算机程序或者包含可由计算机执行的指令的记录介质的形式来实现。计算机可读介质可以是可由计算机访问的任何可用介质，并且包括所有易失性和非易失性介质以及可移除和不可移除介质。计算机可读介质可以包括所有计算机存储介质和通信介质。计算机存储介质包括使用用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术来实现的所有易失性、非易失性、可移除和不可移除介质。通常，通信介质包括计算机可读指令、数据结构、程序模块、诸如载波等调制数据信号的其他数据、或其他传输机制，并且包括任何信息传送介质。
如从上文应当显而易见，校正当车辆驾驶或停止时由摄像机拍摄的图像中存在的误差，使得可以为驾驶员提供更准确的图像。
虽然已经结合本发明的具体实施例描述了本发明的方法和系统，但是可以使用具有通用硬件架构的计算机系统来实现部分或全部部件或其操作。
本发明的上述描述是为了说明的目的，并且本领域普通技术人员应该理解，在不脱离本发明的技术精神或本质特征的情况下，可以容易地进行其他具体的修改。因此，上述实施例在所有方面都应被认为是说明性的而不是限制性的。例如，被描述为单个单元的部件可以以分布形式实现，而被描述为分布的部件可以以组合形式实现。
本发明的范围不由上面阐述的详细描述限定，而是由本发明的所附权利要求限定。还应当理解，从权利要求及其等同物的定义和范围获得的所有改变或修改在本发明的范围内。

Claims (4)

1.一种用于校正用于摄像机监控系统(CMS)的摄像机的误差的系统，所述系统包括：
一个或多个摄像机，附接到车辆的两侧；
存储器，在所述存储器中存储用于校正通过所述摄像机拍摄的图像的误差的程序；以及
处理器，被配置为执行存储在所述存储器中的程序，
其中，所述处理器通过执行所述程序：检测由所述摄像机拍摄的图像中的校正点；基于在检测到的所述校正点与在制造或修理车辆时被设置为默认值的点的预设校正点之间的比较的结果值生成校正参数；并且基于生成的所述校正参数校正所拍摄的图像的误差，其中，所述处理器从所拍摄的图像提取轮廓线并且检测从中提取了所述轮廓线的图像中的所述校正点，
其中，所述校正点是消失点，并且所述处理器检测从中提取了所述轮廓线的图像中的多条线；检测在所述多条线相交处的消失点；并且将所检测到的消失点移动到参考消失点以生成所述校正参数。
2.根据权利要求1所述的系统，其中，所述处理器在所述车辆被驾驶或停止时生成所述校正参数并且将先前存储的校正参数更新为生成的所述校正参数。
3.一种用于校正用于摄像机监控系统(CMS)的摄像机的误差的方法，所述方法包括：
接收由附接到车辆的两侧的一个或多个摄像机拍摄的图像；
检测所拍摄的图像中的校正点；
将检测到的所述校正点与在制造或修理车辆时被设置为默认值的点的预设校正点进行比较；
基于所述比较的结果值生成校正参数；并且
基于生成的所述校正参数校正所拍摄的图像的误差，
还包括从所接收的图像提取轮廓线，其中，所述校正点的检测包括检测从中提取了所述轮廓线的图像中的所述校正点，
其中，检测所拍摄的图像中的所述校正点包括：
检测从中提取了所述轮廓线的图像中的多条线；
检测在多条线相交处的消失点；并且
将检测到的所述消失点设置为所述校正点，
其中，将检测到的所述校正点与所述预设校正点进行比较并且基于所述比较的结果值生成所述校正参数包括将检测到的所述消失点移动到参考消失点以生成所述校正参数。
4.根据权利要求3所述的方法，其中，生成所述校正参数包括当所述车辆被驾驶或停止时生成所述校正参数并且将先前存储的校正参数更新为生成的所述校正参数。
CN201710484658.8A 2016-09-09 2017-06-23 用于校正摄像机的误差的系统和方法 Active CN107833252B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160116525A KR102543523B1 (ko) 2016-09-09 2016-09-09 카메라의 오차 보정 시스템 및 방법
KR10-2016-0116525 2016-09-09

Publications (2)

Publication Number Publication Date
CN107833252A CN107833252A (zh) 2018-03-23
CN107833252B true CN107833252B (zh) 2022-04-12

Family

ID=61560851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710484658.8A Active CN107833252B (zh) 2016-09-09 2017-06-23 用于校正摄像机的误差的系统和方法

Country Status (3)

Country Link
US (1) US10453186B2 (zh)
KR (1) KR102543523B1 (zh)
CN (1) CN107833252B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108995592B (zh) * 2018-08-02 2021-06-15 张士文 汽车影像系统
CN109389650B (zh) * 2018-09-30 2021-01-12 京东方科技集团股份有限公司 一种车载相机的标定方法、装置、车辆和存储介质
CN109703465B (zh) * 2018-12-28 2021-03-12 百度在线网络技术（北京）有限公司 车载图像传感器的控制方法和装置
KR101989370B1 (ko) * 2019-02-19 2019-06-14 주식회사 리트빅 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법
KR102177878B1 (ko) * 2019-03-11 2020-11-12 현대모비스 주식회사 영상 처리 장치 및 방법
US11182623B2 (en) * 2019-04-30 2021-11-23 Baidu Usa Llc Flexible hardware design for camera calibration and image pre-procesing in autonomous driving vehicles
CN112188083B (zh) * 2020-08-31 2022-02-11 深圳市优必选科技股份有限公司 相机拍摄参数稳定性确定方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659418A (zh) * 2002-04-22 2005-08-24 松下电器产业株式会社 摄像机校正装置
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
CN101971207A (zh) * 2008-03-19 2011-02-09 三洋电机株式会社 图像处理装置及方法、驾驶辅助系统、车辆
CN103797779A (zh) * 2011-09-13 2014-05-14 京瓷株式会社 摄像机校正设备、摄像机和摄像机校正方法
CN104159787A (zh) * 2012-02-24 2014-11-19 京瓷株式会社 摄像机设备，摄像机系统和摄像机校正方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1584946A3 (en) * 2004-04-02 2006-03-22 Omron Corporation Method of adjusting monitor axis of optical sensors
CN101841495B (zh) 2009-03-16 2013-06-05 上海贝尔股份有限公司 一种用于上行协作多点传输用户数据的方法及装置
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
JP5208147B2 (ja) * 2010-03-09 2013-06-12 三菱電機株式会社 車載カメラのカメラキャリブレーション装置
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US9834153B2 (en) * 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
KR20130059929A (ko) 2011-11-29 2013-06-07 쌍용자동차 주식회사 차량의 후방카메라 조절시스템 및 그 방법
KR101609303B1 (ko) * 2014-03-28 2016-04-20 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치
GB201410612D0 (en) * 2014-06-13 2014-07-30 Tomtom Int Bv Methods and systems for generating route data
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP6354425B2 (ja) * 2014-07-30 2018-07-11 株式会社デンソー 車載カメラの取り付け姿勢検出方法およびその装置
WO2017017963A1 (ja) * 2015-07-29 2017-02-02 京セラ株式会社 視差算出装置、ステレオカメラ装置、車両及び視差算出方法
JP2019010962A (ja) * 2017-06-30 2019-01-24 マツダ株式会社 車両用前照灯及び車両用前照灯の配光制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659418A (zh) * 2002-04-22 2005-08-24 松下电器产业株式会社 摄像机校正装置
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
CN101971207A (zh) * 2008-03-19 2011-02-09 三洋电机株式会社 图像处理装置及方法、驾驶辅助系统、车辆
CN103797779A (zh) * 2011-09-13 2014-05-14 京瓷株式会社 摄像机校正设备、摄像机和摄像机校正方法
CN104159787A (zh) * 2012-02-24 2014-11-19 京瓷株式会社 摄像机设备，摄像机系统和摄像机校正方法

Also Published As

Publication number Publication date
US20180075585A1 (en) 2018-03-15
CN107833252A (zh) 2018-03-23
KR102543523B1 (ko) 2023-06-15
US10453186B2 (en) 2019-10-22
KR20180028766A (ko) 2018-03-19

Similar Documents

Publication Publication Date Title
CN107833252B (zh) 用于校正摄像机的误差的系统和方法
US10163226B2 (en) Online calibration of a motor vehicle camera system
KR101811157B1 (ko) 사발형 영상 시스템
US20180165875A1 (en) Apparatus for reconstructing 3d model and method for using the same
US9749614B2 (en) Image capturing system obtaining scene depth information and focusing method thereof
US8489353B2 (en) Methods and systems for calibrating vehicle vision systems
US9025029B2 (en) Apparatus and method for removing a reflected light from an imaging device image
TWI590645B (zh) 相機校準
WO2018051459A1 (ja) 物体検出装置および物体検出方法
WO2011010438A1 (ja) 視差検出装置、測距装置及び視差検出方法
CN108696719B (zh) 用于校准车辆的车辆摄像机的方法和设备
WO2016056088A1 (ja) 車載カメラ制御装置
CN109070801B (zh) 使用后置相机的拖车角度检测
WO2016129552A1 (ja) カメラパラメータ調整装置
JP2018533098A (ja) パネル変換
KR102326061B1 (ko) Avm 영상 보정 시스템 및 그 제어방법
WO2015162910A1 (ja) 車載用表示装置、車載用表示装置の制御方法、プログラム
CN106651903B (zh) 一种运动物体检测方法
US20160050342A1 (en) Image processing apparatus
JP7316620B2 (ja) 画像正規化のためのシステムと方法
JP2018199473A (ja) 操舵角決定装置、自動運転車
US20180050638A1 (en) Around view monitoring system and operating method thereof
CN112602318B (zh) 车载用拍摄装置及车载用图像识别装置
KR20180095251A (ko) 카메라 모니터링 시스템 및 이의 영상 보정 방법
KR102441065B1 (ko) 카메라 각도 자동 보정 장치, 그를 포함한 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant