CN112184827B - 校准多个摄像机的方法及装置 - Google Patents

校准多个摄像机的方法及装置 Download PDF

Info

Publication number
CN112184827B
CN112184827B CN202010599086.XA CN202010599086A CN112184827B CN 112184827 B CN112184827 B CN 112184827B CN 202010599086 A CN202010599086 A CN 202010599086A CN 112184827 B CN112184827 B CN 112184827B
Authority
CN
China
Prior art keywords
region
interest
feature point
cameras
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010599086.XA
Other languages
English (en)
Other versions
CN112184827A (zh
Inventor
金喜洙
河政穆
全丙澯
李俊锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nc&co Ltd
Original Assignee
Nc&co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nc&co Ltd filed Critical Nc&co Ltd
Publication of CN112184827A publication Critical patent/CN112184827A/zh
Application granted granted Critical
Publication of CN112184827B publication Critical patent/CN112184827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

在本发明中，为了校准多个摄像机，获取拍摄车辆的周围的多个图像；在多个图像中分别设置感兴趣区域；检测感兴趣区域的至少一个特征点；基于检测到的特征点来匹配第一感兴趣区域的第一特征点及第二感兴趣区域的第二特征点；计算第一特征点的第一鸟瞰坐标及第二特征点的第二鸟瞰坐标；以及根据第一鸟瞰坐标及第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准多个摄像机。

Description

校准多个摄像机的方法及装置
技术领域
以下实施例涉及一种用于校准车辆的摄像机的技术，尤其，涉及一种在车辆行驶时校准摄像机的技术。
背景技术
随着图像拍摄及处理技术的发展，最近生产的车辆配备有摄像机，并向用户或车辆提供助于车辆行驶的俯视(top view)系统。俯视系统可以通过使用由多个摄像机拍摄的图像来生成俯视图像或鸟瞰(bird eye view)图像。鸟瞰图像可以为驾驶员提供如从上方观看车辆的俯视图，有助于完全消除车辆的前方、后方、左侧及右侧的盲点。
发明内容
要解决的技术问题
根据一实施例，可以提供一种校准多个摄像机的方法及装置。
根据另一实施例，可以提供一种在车辆行驶时校准多个摄像机的方法及装置。
解决问题的技术方法
根据一侧面，一种由安装在车辆的处理器执行的摄像机校准方法包括以下步骤：获取由所述车辆的多个摄像机拍摄的所述车辆的周围的多个图像；在所述多个图像中分别设置感兴趣区域(Region of Interest，ROI)，其中，多个图像中的第一图像的第一感兴趣区域及第二图像的第二感兴趣区域包括公共区域；检测所述感兴趣区域的至少一个特征点；基于检测到的特征点来匹配所述第一感兴趣区域的第一特征点及所述第二感兴趣区域的第二特征点；计算所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标；以及根据所述第一鸟瞰坐标及所述第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准所述多个摄像机。
所述摄像机可以包括拍摄所述车辆的左侧的左侧摄像机、拍摄所述车辆的右侧的右侧摄像机、拍摄所述车辆的前方的前方摄像机及拍摄所述车辆的后方的后方摄像机中的至少两个。
所述摄像机的外部参数可以包括所述摄像机的旋转信息及位置信息。
所述特征点可以与所述车辆行驶的车道上的物体有关。
在所述多个图像中分别设置感兴趣区域步骤可以包括以下步骤：当所述第一图像为前方图像、所述第二图像为左侧图像时，在所述多个图像中分别设置感兴趣区域，使得所述第一感兴趣区域包括所述前方图像的最左侧及所述第二感兴趣区域包括所述左侧图像的最右侧。
所述摄像机校准方法还包括以下步骤：通过剪切(crop)所述设置的感兴趣区域来生成部分图像，检测所述感兴趣区域的至少一个特征点步骤可以包括以下步骤：基于所述生成的部分图像来检测所述感兴趣区域的至少一个特征点。
计算所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标步骤可以包括以下步骤：当所述第一感兴趣区域及所述第二感兴趣区域的匹配特征点的数目为预设的数目以上时，计算所述第一鸟瞰坐标及所述第二鸟瞰坐标。
校准所述多个摄像机的步骤可以包括以下步骤：计算所述第一鸟瞰坐标及所述第二鸟瞰坐标之间的第一误差；以及调整所述多个摄像机中至少一个摄像机的外部参数，以使所述第一误差最小化。
计算所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标步骤可以包括以下步骤：当调整所述多个摄像机中至少一个摄像机的外部参数时，基于所述调整后的外部参数来计算所述第一特征点的第一调整鸟瞰坐标及所述第二特征点的第二调整鸟瞰坐标，校准所述多个摄像机的步骤可以包括以下步骤：计算所述第一调整鸟瞰坐标及所述第二调整鸟瞰坐标之间的第一调整误差。
校准所述多个摄像机的步骤还可以包括以下步骤：当所述第一误差小于预设阈值时，终止所述多个摄像机的校准。
根据另一侧面，一种安装在用于校准多个摄像机的车辆的电子装置包括：记录校准多个摄像机的程序的存储器；以及用于执行所述程序的处理器，所述程序执行以下步骤：获取由所述车辆的多个摄像机拍摄的所述车辆的周围的多个图像；在所述多个图像中分别设置感兴趣区域，其中，多个图像中的第一图像的第一感兴趣区域及第二图像的第二感兴趣区域包括公共区域；检测所述感兴趣区域的至少一个特征点；基于检测到的特征点来匹配所述第一感兴趣区域的第一特征点及所述第二感兴趣区域的第二特征点；计算所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标；以及根据所述第一鸟瞰坐标及所述第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准所述多个摄像机。
所述多个摄像机可以包括拍摄所述车辆的左侧的左侧摄像机、拍摄所述车辆的右侧的右侧摄像机、拍摄所述车辆的前方的前方摄像机及拍摄所述车辆的后方的后方摄像机中的至少两个。
所述摄像机的外部参数可以包括所述摄像机的旋转信息及位置信息。
所述特征点可以与所述车辆行驶的车道上的物体有关。
在所述多个图像中分别设置感兴趣区域步骤可以包括以下步骤：当所述第一图像为前方图像、所述第二图像为左侧图像时，在所述多个图像中分别设置感兴趣区域，使得所述第一感兴趣区域包括所述前方图像的最左侧及所述第二感兴趣区域包括所述左侧图像的最右侧。
所述程序还执行以下步骤：通过剪切(crop)所述设置的感兴趣区域来生成部分图像，检测所述感兴趣区域的至少一个特征点步骤可以包括以下步骤：基于所述生成的部分图像来检测所述感兴趣区域的至少一个特征点。
计算所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标步骤可以包括以下步骤：当所述第一感兴趣区域及所述第二感兴趣区域的匹配特征点的数目为预设的数目以上时，计算所述第一鸟瞰坐标及所述第二鸟瞰坐标。
校准所述多个摄像机的步骤可以包括以下步骤：计算所述第一鸟瞰坐标及所述第二鸟瞰坐标之间的第一误差；以及调整所述多个摄像机中至少一个摄像机的外部参数，以使所述第一误差最小化。
计算所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标步骤可以包括以下步骤：当调整所述多个摄像机中至少一个摄像机的外部参数时，基于所述调整后的外部参数来计算所述第一特征点的第一调整鸟瞰坐标及所述第二特征点的第二调整鸟瞰坐标，校准所述多个摄像机的步骤可以包括以下步骤：计算所述第一调整鸟瞰坐标及所述第二调整鸟瞰坐标之间的第一调整误差。
校准所述多个摄像机的步骤还可以包括以下步骤：当所述第一误差小于预设阈值时，终止所述多个摄像机的校准。
根据又另一侧面，一种由安装在车辆的处理器执行的摄像机校准方法包括以下步骤：获取由所述车辆的多个摄像机拍摄的所述车辆的周围的多个图像；基于鸟瞰视点的预先设置的感兴趣区域来确定每个图像的部分区域；通过将所述部分区域变换为鸟瞰视点来生成多个部分鸟瞰图像，其中，多个部分鸟瞰图像的第一部分鸟瞰图像对应于第一感兴趣区域，第二部分鸟瞰图像对应于第二感兴趣区域，所述第一感兴趣区域及所述第二感兴趣区域包括公共区域；检测所述第一部分鸟瞰图像的第一特征点及所述第二部分鸟瞰图像的第二特征点；匹配所述第一特征点及所述第二特征点；以及基于所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准所述多个摄像机。
所述多个摄像机可以包括拍摄所述车辆的左侧的左侧摄像机、拍摄所述车辆的右侧的右侧摄像机、拍摄所述车辆的前方的前方摄像机及拍摄所述车辆的后方的后方摄像机中的至少两个。
基于所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准所述多个摄像机步骤可以包括以下步骤：当所述第一部分鸟瞰图像及所述第二鸟瞰图像的匹配特征点的数目为预设的数目以上时，校准所述多个摄像机。
基于所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准所述多个摄像机步骤可以包括以下步骤：计算所述第一鸟瞰坐标及所述第二鸟瞰坐标之间的第一误差；以及调整所述多个摄像机中至少一个摄像机的外部参数，以使所述第一误差最小化。
根据又另一侧面，一种安装在用于校准多个摄像机的车辆的电子装置包括：记录校准多个摄像机的程序的存储器；以及用于执行所述程序的处理器，所述程序执行以下步骤：获取由所述车辆的多个摄像机拍摄的所述车辆的周围的多个图像；基于鸟瞰视点的预先设置的感兴趣区域来确定每个图像的部分区域；通过将所述部分区域变换为鸟瞰视点来生成多个部分鸟瞰图像，其中，多个部分鸟瞰图像的第一部分鸟瞰图像对应于第一感兴趣区域，第二部分鸟瞰图像对应于第二感兴趣区域，所述第一感兴趣区域及所述第二感兴趣区域包括公共区域；检测所述第一部分鸟瞰图像的第一特征点及所述第二部分鸟瞰图像的第二特征点；匹配所述第一特征点及所述第二特征点；以及基于所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准所述多个摄像机。
发明的效果
可以提供一种校准多个摄像机的方法及装置。
可以提供一种在车辆行驶时校准多个摄像机的方法及装置。
附图说明
图1为显示根据一示例的车辆的鸟瞰图像的附图。
图2及图3为显示根据一示例的摄像机的外部参数的旋转信息及位置信息的附图。
图4为显示根据一实施例的用于校准多个摄像机的电子装置的配置图。
图5为显示根据一实施例的校准多个摄像机的方法的流程图。
图6为显示根据一示例的感兴趣区域(ROI)的附图。
图7为显示根据一示例的提取及匹配特征点的方法的附图。
图8为显示根据一示例的通过调整摄像机的外部参数来校准多个摄像机的方法的流程图。
图9为显示根据一示例的匹配后的特征点的鸟瞰坐标之间的误差的附图。
图10为显示当根据一示例的多个摄像机被适当地校准时生成的部分鸟瞰图像的附图。
图11为显示根据一示例的当多个摄像机被不适当地校准时生成的部分鸟瞰图像的附图。
图12为显示根据一示例的基于调整后的外部参数来计算鸟瞰坐标之间的调整误差的方法的流程图。
图13为显示根据一示例的调整摄像机的外部参数以使误差最小化的方法的流程图。
图14为显示根据另一实施例的校准多个摄像机的方法的流程图。
图15及图16为显示根据一示例的基于鸟瞰图像的预设的感兴趣区域来确定的图像的部分区域的附图。
图17为显示根据一示例的提取及匹配部分鸟瞰图像的特征点的方法的附图。
图18为显示根据一示例的基于第一鸟瞰坐标及第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准多个摄像机的方法的流程图。
具体实施方式
以下，将参照附图对实施例进行详细说明。然而，能够对实施例进行多种变更，本发明的权利范围并非受到实施例的限制或限定。对于实施例的全部变形、等同物或替代物均包括在权利范围内。
实施利中使用的术语仅用于说明特定实施例，并非用于限定实施例。在内容中没有特别说明的情况下，单数表达包括复数含义。在本说明书中，“包括”或者“具有”等术语用于表达存在说明书中所记载的特征、数字、步骤、操作、构成要素、配件或其组合，并不排除还具有一个或以上的其他特征、数字、步骤、操作、构成要素、配件或其组合，或者附加功能。
在没有其他定义的情况下，包括技术或者科学术语在内的在此使用的全部术语，都具有本领域普通技术人员所理解的通常的含义。通常使用的与词典定义相同的术语，应理解为与相关技术的通常的内容相一致的含义，在本申请中没有明确言及的情况下，不能过度理想化或解释为形式上的含义。
并且，在参照附图进行说明的过程中，与附图标记无关，相同的构成要素赋予相同的附图标记，并省略对此的重复的说明。在说明实施例的过程中，当判断对于相关公知技术的具体说明会不必要地混淆实施例时，省略对其详细说明。
图1为显示根据一示例的车辆的鸟瞰图像的附图。
为了生成鸟瞰图像，需要合并由多个摄像机拍摄的多个图像。为了合并多个图像，需要匹配图像的坐标系。即，通过将多个图像变换为预先为车辆设置的公共坐标系来生成部分鸟瞰图像，并通过合并部分鸟瞰图像来生成最终鸟瞰图像。例如，可以通过扭曲(warping)图像来生成部分鸟瞰图像。最终鸟瞰图像可以用于全景环视监视器(AroundView Monitor，AVM)。
例如，生成的鸟瞰图像100可以对应于从鸟瞰视角拍摄的车辆110的图像。例如，鸟瞰图像100内可以不包括车辆110的图像。又例如，鸟瞰图像100可以包括预先设置的车辆110的图像，而不是实际拍摄的车辆的图像。并且，鸟瞰图像100内可以包括车道内的左侧车道线120、右侧车道线130、第一标记140及第二标记150。并且，鸟瞰图像100还可以包括与车道接触的护栏。
然而，由于在车辆安装摄像机时会发生误差，因此实际上无法将多个摄像机的摄像机坐标轴完全匹配到车辆的公共坐标系。虽然在生产车辆的工厂可以精确地校准摄像机安装误差，但车辆一旦出厂，由于摄像机的安装位置因行，驶过程中的冲击和扭曲等物理力而改变，导致摄像机安装误差继续发生。因此，为了生成准确的鸟瞰图像，多个摄像机需要定期或每次发生冲击时进行校准。
为了合并多个图像，首先需要执行摄像机校准以校正摄像机的安装误差，对于摄像机校准，需要摄像机安装的高度及角度等信息。为了获得用于摄像机校准的此类信息，目前都使用了以下方法：在地面上设置棋盘格(checker board)等特定参考图案，并通过车辆的摄像机来拍摄棋盘格，再通过已拍摄的图案图像来获得摄像机信息。
上述方法由于可以预先准确地获得特定标记(如，图案)的相对位置，因此可以获取精确的摄像机信息，然而，为了执行该方法，需要在车辆周围设置特定图案，难免会造成不便。此外，上述方法无法在车辆行驶过程中执行。
尤其，在一般车辆的情况下，由于车辆的实际运行，可能会定期、或者每次发生冲击时发生摄像机安装误差，因此，需要即使在车辆行驶时，也必须自动执行摄像机校准。车辆行驶时进行的摄像机校准可以称为道路校准(On-Road Calibration，ORC)。
当仅使用车道上的车道线来执行校准时，只能估计摄像机的外部参数中的旋转信息。外部参数包括旋转信息及位置信息，当仅估计旋转信息而位置信息却设置为不正确的值时，最终会估计到不正确的旋转信息。
由于位置信息设置为不正确的值，为了对此进行校正旋转信息反而被估计为更不正确的值，最终，尽管车道线匹配得很好，但其他部分可能会不匹配。
因此，除了车道线之外，都可以使用车道上的所有图案都以更准确地进行摄像机校准。例如，车道上的图案可以包括以不同于车道的颜色来向驾驶员传达信息的图案，如车道线、限速标志、左右方向标志及儿童保护区。使用这些图案的原因在于大多数图案都在车道和地面上，因此在鸟瞰图像中表示相同的点，并且，图案所表示的特征点很明显。
以下，将参考图2至图13来详细描述校准多个摄像机的方法。
图2及图3为显示根据一示例的摄像机的外部参数的旋转信息及位置信息的附图。
为了校准摄像机，需要校正摄像机的外部参数。外部参数包括摄像机的旋转信息及位置信息。
图2的上端图210示出摄像机的俯仰角(pitch)Rx、中间图220示出摄像机的滚转角(roll)Rz、下端图230示出摄像机的偏航角(yaw)Ry。
图3的上端图310及下端图320示出摄像机的位置信息Tx、Ty、Tz。位置信息可以基于车辆的特定位置来设置。例如，可以预先设置车辆的特定位置作为基准点的世界坐标系，并且可以使用世界坐标系来表示摄像机的位置信息。
图4为显示根据一实施例的用于校准多个摄像机的电子装置的配置图。
电子装置400包括通信部410、处理器420、存储器430及摄像机440。电子装置400可以包括在车辆内。例如，电子装置400可以是电子控制单元(electronic control unit，ECU)等装置。又例如，电子装置400可以是连接到电子控制单元(ECU)的独立装置。
通信部410连接到处理器420、存储器430及摄像机440以发送和接收数据。通信部410可以连接到外部的另一装置以向其发送和接收数据。以下，发送和接收“A”可以表示为发送和接收表示“A”的信息(information)或数据。
通信部410可以实现为电子装置400内的电路(circuitry)。例如，通信部410可以包括内部总线(internal bus)及外部总线(external bus)。又例如，通信部410可以是连接电子装置400和外部装置的元件。通信部410可以是接口(interface)。通信部410可以从外部的装置接收数据，并将该数据发送到处理器420及存储器430。
处理器420处理由通信部410接收的数据及存储在存储器430的数据。“处理器”可以是由具有物理结构的电路以执行所需的操作(desired operations)的硬件实现的数据处理装置。例如，所需的操作可以包括包含在程序的代码(code)或指令(instructions)。例如，由硬件实现的数据处理装置可以包括微处理器(microprocessor)、中央处理装置(central processing unit，CPU)、处理器核心(processor core)、多核处理器(multi-core processor)、多处理器(multiprocessor)、专用集成电路(Application-SpecificIntegrated Circuit，ASIC)及现场可编程门阵列(Field Programmable Gate Array，FPGA)。
处理器420执行由存储在存储器(例如，存储器430)的计算机可读代码(如，软件)及处理器420导出的指令。
存储器430存储由通信部410接收的数据及由处理器420处理的数据。例如，存储器430可以存储程序(或应用程序、软件)。存储的程序可以是一组语法(syntax)，其被编码以通过调整摄像机的外部参数来校准摄像机并由处理器420执行。
根据一侧面，存储器430可以包括一个以上的易失性存储器、非易失性存储器及随机存取存储器(Random Access Memory，RAM)、闪存、硬盘驱动器及光盘驱动器。
存储器430存储操作电子装置400的指令集(如，软件)。操作电子装置400的指令集由处理器420执行。
摄像机440通过拍摄场景来生成图像。摄像机440可以包括多个摄像机。例如，多个摄像机可以安装在车辆的前方、后方、左侧及右侧。
以下，将参考图图5至图13来详细描述通信部410、处理器420、存储器430及摄像机440。
图5为显示根据一实施例的校准多个摄像机的方法的流程图。
下面的步骤(步骤510至步骤560)由参照图4描述的电子装置400执行。
在步骤510中，电子装置400获取拍摄车辆周围的多个图像。例如，可以获取使用摄像机440来拍摄的多个图像。为了检测在同一时间及同一位置上存在的图案的特征点，在同一拍摄时间拍摄多个图像。图案可以是车道上的物体。
摄像机440可以包括具有比一般镜头更大视角的广角镜头，或具有视角超过180°的超广角镜头的鱼眼镜头。当使用具有大视角的镜头来生成图像时，可以拍摄车辆周围的所有图像。
当摄像机440包括分别拍摄前方、后方、左侧及右侧的四个摄像机，并基于由4个摄像机拍摄的图像来进行摄像机之间的校准时，可以估计每个摄像机的外部参数。例如，可以估计俯仰角Rx、偏航角Ry及滚转角Rz作为摄像机的旋转信息。又例如，可以估计平移信息Tx、Ty及高度信息Tz作为摄像机的位置信息。
当摄像机440包括分别拍摄前方、后方、左侧及右侧的四个摄像机时，可以为每个摄像机定义4个信道。
当在车路上存在由至少两个摄像机同时拍摄的图案时，上述图案需要表示变换为鸟瞰视点的图像中的相同位置。当4个摄像机的各个外部参数为准确时，图案在鸟瞰图像中表示为单个；当外部参数不准确时，表示为多个图案。
由此，可以估计每个摄像机的准确的外部参数。以下，将详细描述使用获得的图像来估计准确的外部参数的方法。
在步骤520中，电子装置400分别在多个图像设置感兴趣区域(Region ofInterest，ROI)。感兴趣区域可以是在图像的一部分中与另一图像重叠的部分。即，多个图像中的第一图像的第一感兴趣区域及第二图像的第二感兴趣区域可以包括公共区域。例如，当第一图像为前方图像、第二图像为左侧图像时，第一图像的第一感兴趣区域及第二图像的第二感兴趣区域可以是表示车辆的左侧上端的位置。以下，将参考图6及图7来详细描述感兴趣区域。
在步骤530中，电子装置400检测感兴趣区域的至少一个特征点。例如，可以检测到第一感兴趣区域的特征点及第二感兴趣区域的特征点。可以检测到在车道上存在的图案的特征点。例如，可以检测到车道线的特征点、方向标记(direction indicator)的特征点等。为了检测特征点，可以使用尺度不变特征变换(Scale Invariant Feature Transform，SIFT)算法、加速稳健特征(Speeded Up Robust Feature，SURF)算法、Haar算法、Ferns算法以及ORB(Oriented FAST and Rotated BRIEF)算法等，但并不限于所记载的实施例。
在步骤540中，电子装置400匹配第一感兴趣区域的第一特征点及第二感兴趣区域的第二特征点。例如，前方图像的感兴趣区域的特征点可以与左侧图像的感兴趣区域的特征点进行匹配；前方图像的感兴趣区域的特征点可以与右侧图像的感兴趣区域的特征点进行匹配；后方图像的感兴趣区域的特征点可以与左侧图像的感兴趣区域的特征点进行匹配；后方图像的感兴趣区域的特征点可以与右侧图像的感兴趣区域的特征点进行匹配。
在步骤550中，电子装置400计算第一特征点的第一鸟瞰坐标及第二特征点的第二鸟瞰坐标。例如，当第一特征点为前方图像的特征点、第二特征点为左侧图像的特征点时，可以基于前方摄像机的外部参数来计算第一特征点的第一鸟瞰坐标，并基于左侧摄像机的外部参数来计算第二特征点的第二鸟瞰坐标。鸟瞰坐标可以是待生成的鸟瞰图像的坐标系中的坐标。例如，鸟瞰图像的坐标系可以是上述的世界坐标系。
根据一侧面，作为执行步骤550的先决条件，可以在执行步骤540之后确定匹配的特征点的数目是否为预设的数目以上。例如，当第一感兴趣区域及第二感兴趣区域的匹配的特征点的数目为预设的数目以上时，可以计算第一鸟瞰坐标及第二鸟瞰坐标。第一感兴趣区及第二感兴趣区的匹配的特征点的数目越多，可以更准确地估计外部参数。
然而，当第一感兴趣区域及第二感兴趣区域的匹配的特征点的数目小于预设的数目时，由于无法保证调整外部参数的准确性，因此对于现有的多个图像(例如，现有的帧)，不调整外部参数。
在步骤560中，电子装置400基于第一鸟瞰坐标及第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准多个摄像机。
当对摄像机之间并未执行准确的校准时，在摄像机之间可以生成不同的世界坐标系。由此，作为替代准确的世界坐标系的方法，可以使用与目标摄像机相邻的摄像机的位置。可以通过将相邻的摄像机的位置变换为目标摄像机的位置，并将变换后的位置设置为世界坐标系的基准点来执行校准。使用上述方法，即使不知道准确的世界坐标系的基准点，也可以执行摄像机的校准，由此可以调整外部参数。
然而，当将相邻的摄像机的位置通过变换来设定世界坐标系的基准点时，若相邻的摄像机的外部参数不准确，所设定的世界坐标系的基准点也变得不准确。因此，可以考虑以下方法，其通过重复执行多个摄像机的每个校准而不是一次执行一个摄像机的校准，从而逐渐减小外部参数的误差。通过改变目标摄像机的同时，设置每个目标摄像机的世界坐标系的基准点，并使用所设定的世界坐标系的基准点来重复执行校准，从而可以同时校准多个摄像机。
下面，将参照图8至图13来详细地描述校准多个摄像机的方法。
图6为显示根据一示例的感兴趣区域(ROI)的附图。
例如，第一图像611可以是由前方摄像机610生成的前方图像，或基于前方图像来生成的第一部分鸟瞰图像；第二图像621可以是由左侧摄像机620生成的左侧图像，或基于左侧图像来生成的第二部分鸟瞰图像；第三图像631可以是由后方摄像机630生成的后方图像，或基于后方图像来生成的第三部分鸟瞰图像；第四图像641可以是由右侧摄像机640生成的右侧图像，或基于右侧图像来生成的第四部分鸟瞰图像。
上述图像611、621、631、641作为描述以车辆600为中心的感兴趣区域的概念，因此，关于图像611、621、631、641是否为由摄像机生成的图像还是经过变换的部分鸟瞰图像，并不限于所记载的实施例。
可以设置第一感兴趣区域，使得其包括第一图像611及第二图像621的第一公共区域651的至少一部分。例如，第一感兴趣区域可以包括前方图像的最左侧，第二感兴趣区域可以包括左侧图像的最上端。类似地，可以设置多个感兴趣区域，使得其包括第二图像621及第三图像631的第二公共区域652的至少一部分；设置多个感兴趣区域，使得其包括第三图像631及第四图像641的第三公共区域653的至少一部分；设置多个感兴趣区域，使得其包括第四图像641及第一图像611的第四公共区域654的至少一部分。
图7为显示根据一示例的提取及匹配特征点的方法的附图。
例如，第一感兴趣区域712可以设置在前方图像710上、第二感兴趣区域722可以设置在左侧图像720上。电子装置400可以通过剪切所设置的感兴趣区域712、722来生成部分图像。
基于所设置的感兴趣区域712、722或生成的部分图像，可以检测感兴趣区域712、722的至少一个特征点713、714、723、724。尽管为了便于描述，仅示出了方向标记的部分特征点，但可以基于图像内的文本及边缘等来检测多个特征点。
电子装置400可以匹配所检测到的特征点。例如，第一感兴趣区域712的特征点713可以与第二感兴趣区域722的特征点723进行匹配，第一感兴趣区域712的特征点714可以与第二感兴趣区域722的特征点724进行匹配。
为了匹配特征点，可以使用各种算法，如SIFT算法、SURF算法、Haar算法、Ferns算法及ORB算法等，但并不限于所记载的实施例。
图8为显示根据一示例的通过调整摄像机的外部参数来校准多个摄像机的方法的流程图。
根据一侧面，参照图5描述的步骤560可以包括下面步骤(步骤810至步骤830)。
在步骤810中，电子装置400计算第一鸟瞰坐标及第二鸟瞰坐标之间的第一误差。当摄像机的外部参数被准确地设置或调整时，第一鸟瞰坐标及第二鸟瞰坐标可以表示为相同，因此第一误差可以是0或接近0的值。
第一鸟瞰坐标及第二鸟瞰坐标与一对匹配的特征点有关，当存在多对匹配的特征点时，可以为每一对分别计算其误差。
在步骤820中，电子装置400确定第一误差是否为预设的阈值以上。当第一误差小于阈值时，可以终止多个摄像机的校准。然而，当就算一个误差满足上述条件，但另一个误差未满足上述条件时，可以继续执行校准。
在步骤830中，当第一误差为阈值以上时，电子装置400调整多个摄像机中的至少一个摄像机的外部参数，使得第一误差最小化。例如，可以调整摄像机的旋转信息及位置信息中的至少一个。
根据一侧面，可以基于多个误差来确定多个误差发生的原因(如，左侧摄像机的不准确的旋转信息)，为了解决上述原因，可以调整摄像机的旋转信息及位置信息中的至少一个(如，调整左侧摄像机的旋转信息)。可以使用各种方法来确定上述原因，且并不限于某一种方法。
例如，可以使用列文伯格-马夸尔特(Levenberg Marquardt)算法、梯度下降(Gradient Descent)算法以校准多个摄像机。
图9为显示根据一示例的匹配后的特征点的鸟瞰坐标之间的误差的附图。
在参照图7的实施例中，当特征点713及特征点723彼此匹配时，可以计算特征点713的第一鸟瞰坐标910及特征点723的第二鸟瞰坐标920。
当摄像机的外部参数为准确时，第一鸟瞰坐标910及第二鸟瞰坐标920可以在世界坐标系中具有相同的坐标。然而，当摄像机的外部参数为不准确时，第一鸟瞰坐标910及第二鸟瞰坐标920在世界坐标系中具有不同的坐标。
摄像机的外部参数的准确度越低，第一鸟瞰坐标910及第二鸟瞰坐标920之间的第一误差930可能会增大。第一误差930可以计算为距离。当通过调整外部参数，外部参数的准确度增加时，第一误差930可以减小。
图10为显示当根据一示例的多个摄像机被适当地校准时生成的部分鸟瞰图像的附图。
左侧图像的第一部分鸟瞰图像1010中的特征点1011可以与后方图像的第二部分鸟瞰图像1020中的特征点1021进行匹配；第二部分鸟瞰图像1020中的特征点1022、1023可以分别与右侧图像的第三部分鸟瞰图像1030中的特征点1031、1032进行匹配。
当适当地校准多个摄像机时，特征点1011的坐标及特征点1021的坐标可以在世界坐标系中相互对应(相同或几乎相同)。类似地，特征点1022、1023的坐标及特征点1031、1032的坐标可以在世界坐标系中相互对应(相同或几乎相同)。
图11为显示根据一示例的当多个摄像机被不适当地校准时生成的部分鸟瞰图像的附图。
左侧图像的第一部分鸟瞰图像1110中的特征点1111可以与后方图像的第二部分鸟瞰图像1120中的特征点1121进行匹配；第二部分鸟瞰图像1120中的特征点1122、1123可以分别与右侧图像的第三部分鸟瞰图像1130中的特征点1131、1132进行匹配。
当未适当地校准多个摄像机时，特征点1111的坐标及特征点1121的坐标可以在世界坐标系中相互不对应。类似地，特征点1122、1123的坐标及特征点1131、1132的坐标可以在世界坐标系中相互不对应。
又例如，即使当特征点1111的坐标与特征点1121的坐标相互对应，特征点1122、1123的坐标与特征点1131、1132的坐标也可以相互不对应。在这种情况下，可以调整摄像机的外部参数，使得特征点1122、1123的坐标及特征点1131、1132的坐标彼此对应。
图12为显示根据一示例的基于调整后的外部参数来计算鸟瞰坐标之间的调整误差的方法的流程图。
在执行参照图5来描述的步骤560之后，可以再次执行上述的步骤550。即，通过重复执行步骤550、560，可以校准多个摄像机。
步骤550还可以包括下面的步骤1210。在步骤1210中，电子装置400基于调整的摄像机的外部参数来计算第一特征点的第一调整鸟瞰坐标及第二特征点的第二调整鸟瞰坐标。
步骤560还可以包括下面的步骤1220。在步骤1220中，电子装置400计算第一调整鸟瞰坐标及第二调整鸟瞰坐标之间的第一调整误差。
步骤1220可以对应于参照图8来描述的步骤810，并且，执行步骤1220之后，可以执行步骤820、830。
图13为显示根据一示例的调整摄像机的外部参数以使误差最小化的方法的流程图。
根据一侧面，参照图8来描述的步骤830可以包括下面的步骤1310、1320。
在步骤1310中，电子装置400调整前方摄像机及后方摄像机的外部参数。
在步骤1320中，电子装置400调整左侧摄像机及右侧摄像机的外部参数。
参照图5至图13来描述的实施例涉及一种方法，其从图像(如，鱼眼图像)中提取及匹配特征点而不是从鸟瞰图像，并将匹配的特征点变换为鸟瞰视点。
作为不同于上述实施例的另一实施例，下面将参考图14至图18来进一步描述一种方法，其将图像(如，鱼眼图像)而不是鸟瞰图像的一部分变换为鸟瞰图像、从部分鸟瞰图像提取特征点并对所提取的特征点进行匹配。
图14为显示根据另一实施例的校准多个摄像机的方法的流程图。
下面的步骤(步骤1410至步骤1460)由参照图4来描述的电子装置400执行。
在步骤1410中，电子装置400获取拍摄车辆周围的多个图像。例如，所获取的图像可以是使用鱼眼镜头来拍摄的图像。
为了既简单又详细地进行描述，对于步骤1410的描述可以替代为参照图5来描述的步骤510。
在步骤1420中，电子装置400基于鸟瞰视点的预先设置的感兴趣区域来确定每个图像的部分区域。例如，在待生成的整个鸟瞰图像中属于前方左侧的区域可以预先设置为第一感兴趣区域，并且，对应于第一感兴趣区域的前方图像的区域可以确定为部分区域。又例如，在待生成的整个鸟瞰图像中属于前方左侧的区域可以预先设置为第二感兴趣区域，并且，对应于第二感兴趣区域的左侧图像的区域可以确定为部分区域。下面将参考图15及图16来详细描述第一感兴趣区域、第二感兴趣区域及对应于第一感兴趣区域和第二感兴趣区域的部分区域。
在步骤1430中，电子装置400通过将图像的部分区域变换为鸟瞰视点来生成多个部分鸟瞰图像。在步骤1420中确定的图像的部分区域仍然是通过使用鱼眼镜头来拍摄的图像，因此图像中的形状被扭曲。通过将部分区域变换为鸟瞰视点，可以恢复图像中的形状。下面将参考图17来详细描述部分鸟瞰图像。
在步骤1440中，电子装置400检测第一部分鸟瞰图像的第一特征点及第二部分鸟瞰图像的第二特征点。例如，可以检测位于车道上的图案上的特征点。为了检测特征点，可以使用SIFT算法、SURF算法、Haar算法、Ferns算法及ORB算法等，但并不限于此。
在步骤1450中，电子装置400匹配第一特征点及第二特征点。例如，可以匹配前方的第一部分鸟瞰图像的第一特征点及左侧的第二部分鸟瞰图像的第二特征点。又例如，可以匹配左侧的第一部分鸟瞰图像的第一特征点及后方的第二部分鸟瞰图像的第二特征点。通过将使用鱼眼镜头来拍摄的图像变换为鸟瞰图像，可以提高相同特征的感兴趣区域中的特征点之间的匹配准确度。
在步骤1460中，电子装置400基于第一特征点的第一鸟瞰坐标及第二特征点的第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准多个摄像机。
为了既简单又详细地进行描述，对于步骤1460的描述可以替代为参照图5来描述的步骤560。
根据一侧面，作为执行步骤560的先决条件，可以在执行步骤550之后确定匹配的特征点的数目是否为预设的数目以上。例如，当第一部分鸟瞰图像及第二部分鸟瞰图像的匹配的特征点的数目为预设的数目以上时，可以执行摄像机校准。匹配的特征点的数目越多，可以更准确地估计外部参数。
然而，当第一部分鸟瞰图像及第二部分鸟瞰图像的匹配的特征点的数目小于预设的数目时，由于无法保证调整外部参数的准确性，因此对于现有的多个图像(现有的帧)，不调整外部参数。
以下，将参照图18来详细地描述校准多个摄像机的方法。
图15及图16为显示根据一示例的基于鸟瞰图像的预设的感兴趣区域来确定的图像的部分区域的附图。
显示在图15的右侧的附图为整个鸟瞰图像中的前方区域1510，并且，前方区域1510中的一部分将会预先设置为感兴趣区域1511。
显示在图15的左侧的附图为多个图像中的前方图像1520，并且，前方图像1520是使用鱼眼镜头来拍摄的图像。确定在前方图像1520中对应于感兴趣区域1511的部分区域1521。例如，可以基于前方摄像机的外部参数来确定对应于感兴趣区域1511的部分区域1521。当调整前方摄像机的外部参数时，可以改变对应于感兴趣区域1511的部分区域1521。
类似于图15，显示在图16的右侧的附图为整个鸟瞰图像中的左侧区域1610，并且，左侧区域1610中的一部分将会预先设置为感兴趣区域1611。
显示在图16的左侧的附图为多个图像中的左侧图像1620，并且，左侧图像1620是使用鱼眼镜头来拍摄的图像。确定在左侧图像1620中对应于感兴趣区域1611的部分区域1621。例如，可以基于左侧摄像机的外部参数来确定对应于感兴趣区域1611的部分区域1621。当调整左侧摄像机的外部参数时，可以改变对应于感兴趣区域1611的部分区域1621。
在感兴趣区域1511与感兴趣区域1611之间的关系中，感兴趣区域1511可以被称为第一感兴趣区域，感兴趣区域1611可以被称为第二感兴趣区域。
图17为显示根据一示例的提取及匹配部分鸟瞰图像的特征点的方法的附图。
图15的部分区域1521及图16的部分区域1621将会分别变换为第一部分鸟瞰图像1710及第二部分鸟瞰图像1720。第一部分鸟瞰图像1710及第二部分鸟瞰图像1720是鸟瞰视点的图像。
例如，可以提取第一部分鸟瞰图像1710的至少一个特征点1711、1712；可以提取第二部分鸟瞰图像1720的至少一个特征点1721、1722。特征点1711可以与特征点1721进行匹配；特征点1712可以与特征点1722进行匹配。
图18为显示根据一示例的基于第一鸟瞰坐标及第二鸟瞰坐标之间的误差，通过调整每个摄像机的外部参数来校准多个摄像机的方法的流程图。
根据一侧面，参照图14来描述的步骤1460可以包括下面的步骤(步骤1810至步骤1830)。
在步骤1810中，电子装置400计算第一鸟瞰坐标及第二鸟瞰坐标之间的第一误差。当摄像机的外部参数被准确地设置或调整时，第一鸟瞰坐标及第二鸟瞰坐标可以表示为相同，因此第一误差可以是0或接近0的值。
第一鸟瞰坐标及第二鸟瞰坐标与一对匹配的特征点有关，当存在多对匹配的特征点时，可以为每一对分别计算其误差。
在步骤1820中，电子装置400确定第一误差是否为预设的阈值以上。当第一误差小于阈值时，可以终止多个摄像机的校准。然而，当就算一个误差满足上述条件，但另一个误差未满足上述条件时，可以继续执行校准。
在步骤1830中，当第一误差为阈值以上时，电子装置400调整多个摄像机中的至少一个摄像机的外部参数，使得第一误差最小化。例如，可以调整摄像机的旋转信息及位置信息中的至少一个。
根据一侧面，可以基于多个误差来确定多个误差发生的原因(如，左侧摄像机的不准确的旋转信息)，为了解决上述原因，可以调整摄像机的旋转信息及位置信息中的至少一个(如，调整左侧摄像机的旋转信息)。可以使用各种方法来确定上述原因，且并不限于某一种方法。
例如，可以使用列文伯格-马夸尔特(Levenberg Marquardt)算法、梯度下降(Gradient Descent)算法以校准多个摄像机。
根据实施例的方法以能够通过多种计算机手段执行的程序命令的形式体现，并记录在计算机读写介质中。所述计算机读写介质能够以单独或者组合的形式包括程序命令、数据文件、数据结构等。记录在所述介质的程序指令能够是为实现实施例而特别设计与构成的指令，或者是计算机软件领域普通技术人员能够基于公知使用的指令。计算机读写记录介质能够包括硬盘、软盘以及磁带等磁性媒介(magnetic media)；与CD-ROM、DVD等类似的光学媒介(optical media)；与光磁软盘(floptical disk)类似的磁光媒介(magneto-optical media)，以及与只读存储器(ROM)、随机存取存储器(RAM)、闪存等类似的为存储并执行程序命令而特别构成的硬件装置。程序指令的例子不仅包括通过编译器生成的机器语言代码，还包括通过使用解释器等能够由计算机执行的高级语言代码。为执行实施例的操作，所述硬件装置能够构成为以一个以上的软件模块实现操作的方式，反之亦然。
软件能够包括计算机程序(computer program)、代码(code)、指令(instruction)，或其中的一个以上的组合，能够使处理装置按照所期待的方式操作，或者，单独或共同(collectively)命令处理装置。为通过处理装置进行解释或者向处理装置提供命令或数据，软件和/或数据能够永久或临时体现于(embody)任何类型的设备、构成要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置，或者传送的信号波(signal wave)。软件分布于通过网络连接的计算机系统上，能够以分布式存储或执行。软件及数据能够存储于一个以上的计算机读写存储介质中。
综上，通过有限的附图对实施例进行了说明，本领域普通技术人员能够基于所述记载进行多种更改与变形。例如，所说明的技术按照与说明的方法不同的顺序执行，和/或所说明的系统、结构、装置、电路等构成要素按照与说明的方法不同的形态进行结合或组合，或者由其他构成要素或者等同物置换或代替，也能得到适当的结果。
由此，其他体现，其他实施例以及权利要求范围的等同物，均属于本发明的权利要求范围。

Claims (11)

1.一种由安装在车辆的处理器在车辆行驶中执行的摄像机校准方法，包括以下步骤：
获取由所述车辆的多个摄像机拍摄的在车道上行驶中的所述车辆的周围的多个图像；
在所述多个图像中分别设置感兴趣区域，其中，多个图像中的第一图像的第一感兴趣区域及第二图像的第二感兴趣区域包括公共区域；
检测所述感兴趣区域的至少一个特征点，所述特征点与在所述车道上行驶的物体有关；
基于检测到的特征点来匹配所述第一感兴趣区域的至少一个第一特征点及所述第二感兴趣区域的至少一个第二特征点；
当所述第一感兴趣区域及所述第二感兴趣区域的匹配特征点的数目为预设的数目以上时，计算所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标；
计算所述第一鸟瞰坐标及所述第二鸟瞰坐标之间的第一误差；以及
调整所述多个摄像机中至少一个摄像机的外部参数来校准所述多个摄像机，以使所述第一误差最小化，
计算所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标的步骤，包括以下步骤：
当调整所述多个摄像机中所述至少一个摄像机的外部参数时，基于所述调整后的外部参数计算所述第一特征点的第一调整鸟瞰坐标及所述第二特征点的第二调整鸟瞰坐标，
校准所述多个摄像机的步骤包括以下步骤：
计算所述第一调整鸟瞰坐标及所述第二调整鸟瞰坐标之间的第一调整误差；以及
当所述第一调整误差小于预设阈值时，终止所述多个摄像机的校准。
2.根据权利要求1所述的摄像机校准方法，
所述多个摄像机包括拍摄所述车辆的左侧的左侧摄像机、拍摄所述车辆的右侧的右侧摄像机、拍摄所述车辆的前方的前方摄像机及拍摄所述车辆的后方的后方摄像机中的至少两个。
3.根据权利要求1所述的摄像机校准方法，
所述摄像机的外部参数包括所述摄像机的旋转信息及位置信息。
4.根据权利要求1所述的摄像机校准方法，还包括以下步骤：
通过剪切所述设置的感兴趣区域来生成部分图像，
检测所述感兴趣区域的至少一个特征点步骤包括以下步骤：
基于所述生成的部分图像来检测所述感兴趣区域的至少一个特征点。
5.一种计算机可读存储介质，用于存储执行权利要求1所述的方法的程序。
6.一种安装在用于校准多个摄像机的车辆的电子装置，包括：
记录在车辆行驶中校准多个摄像机的程序的存储器；以及
用于执行所述程序的处理器，
所述程序执行以下步骤：
获取由所述车辆的多个摄像机拍摄的在车道上行驶中的所述车辆的周围的多个图像；
在所述多个图像中分别设置感兴趣区域，其中，多个图像中的第一图像的第一感兴趣区域及第二图像的第二感兴趣区域包括公共区域；
检测所述感兴趣区域的至少一个特征点，所述特征点与在所述车道上行驶的物体有关；
基于检测到的特征点来匹配所述第一感兴趣区域的至少一个第一特征点及所述第二感兴趣区域的至少一个第二特征点；
当所述第一感兴趣区域及所述第二感兴趣区域的匹配特征点的数目为预设的数目以上时，计算所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标；
计算所述第一鸟瞰坐标及所述第二鸟瞰坐标之间的第一误差；以及
调整所述多个摄像机中至少一个摄像机的外部参数来校准所述多个摄像机，以使所述第一误差最小化，
计算所述第一特征点的第一鸟瞰坐标及所述第二特征点的第二鸟瞰坐标的步骤，包括以下步骤：
当调整所述多个摄像机中所述至少一个摄像机的外部参数时，基于所述调整后的外部参数计算所述第一特征点的第一调整鸟瞰坐标及所述第二特征点的第二调整鸟瞰坐标，
校准所述多个摄像机的步骤包括以下步骤：
计算所述第一调整鸟瞰坐标及所述第二调整鸟瞰坐标之间的第一调整误差；以及
当所述第一调整误差小于预设阈值时，终止所述多个摄像机的校准。
7.根据权利要求6所述的电子装置，
所述程序还执行以下步骤：
通过剪切所述设置的感兴趣区域来生成部分图像，
检测所述感兴趣区域的至少一个特征点步骤包括以下步骤：
基于所述生成的部分图像来检测所述感兴趣区域的至少一个特征点。
8.一种由安装在车辆的处理器在车辆行驶中执行的摄像机校准方法，包括以下步骤：
获取由所述车辆的多个摄像机拍摄的在车道上行驶中的所述车辆的周围的多个图像；
基于鸟瞰视点的预先设置的感兴趣区域来确定每个图像的部分区域；
通过将所述部分区域变换为鸟瞰视点来生成多个部分鸟瞰图像，其中，多个部分鸟瞰图像的第一部分鸟瞰图像对应于第一感兴趣区域，第二部分鸟瞰图像对应于第二感兴趣区域，所述第一感兴趣区域及所述第二感兴趣区域包括公共区域；
检测所述第一部分鸟瞰图像的至少一个第一特征点及所述第二部分鸟瞰图像的至少一个第二特征点，所述第一特征点及所述第二特征点与在所述车道上行驶的物体有关；
匹配所述第一特征点及所述第二特征点；
当所述第一特征点及所述第二特征点之间的匹配特征点的数目为预设的数目以上时，计算匹配的所述第一特征点的第一鸟瞰坐标及匹配的所述第二特征点的第二鸟瞰坐标之间的第一误差；
调整所述多个摄像机中至少一个摄像机的外部参数来校准所述多个摄像机，以使所述第一误差最小化。
9.根据权利要求8所述的摄像机校准方法，
所述多个摄像机包括拍摄所述车辆的左侧的左侧摄像机、拍摄所述车辆的右侧的右侧摄像机、拍摄所述车辆的前方的前方摄像机及拍摄所述车辆的后方的后方摄像机中的至少两个。
10.一种计算机可读存储介质，用于存储执行权利要求8所述的方法的程序。
11.一种安装在用于校准多个摄像机的车辆的电子装置，包括：
记录在车辆行驶中校准多个摄像机的程序的存储器；以及
用于执行所述程序的处理器，
所述程序执行以下步骤：
获取由所述车辆的多个摄像机拍摄的在车道上行驶中的所述车辆的周围的多个图像；
基于鸟瞰视点的预先设置的感兴趣区域来确定每个图像的部分区域；
通过将所述部分区域变换为鸟瞰视点来生成多个部分鸟瞰图像，其中，多个部分鸟瞰图像的第一部分鸟瞰图像对应于第一感兴趣区域，第二部分鸟瞰图像对应于第二感兴趣区域，所述第一感兴趣区域及所述第二感兴趣区域包括公共区域；
检测所述第一部分鸟瞰图像的至少一个第一特征点及所述第二部分鸟瞰图像的至少一个第二特征点，所述第一特征点及所述第二特征点与在所述车道上行驶的物体有关；
匹配所述第一特征点及所述第二特征点；
当所述第一特征点及所述第二特征点之间的匹配特征点的数目为预设的数目以上时，计算匹配的所述第一特征点的第一鸟瞰坐标及匹配的所述第二特征点的第二鸟瞰坐标之间的第一误差；
调整所述多个摄像机中至少一个摄像机的外部参数来校准所述多个摄像机，以使所述第一误差最小化。
CN202010599086.XA 2019-07-01 2020-06-28 校准多个摄像机的方法及装置 Active CN112184827B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190078562A KR102297683B1 (ko) 2019-07-01 2019-07-01 복수의 카메라들을 캘리브레이션하는 방법 및 장치
KR10-2019-0078562 2019-07-01

Publications (2)

Publication Number Publication Date
CN112184827A CN112184827A (zh) 2021-01-05
CN112184827B true CN112184827B (zh) 2024-06-04

Family

ID=73918799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010599086.XA Active CN112184827B (zh) 2019-07-01 2020-06-28 校准多个摄像机的方法及装置

Country Status (4)

Country Link
US (1) US11198393B2 (zh)
KR (1) KR102297683B1 (zh)
CN (1) CN112184827B (zh)
DE (1) DE102020207483A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628283B (zh) * 2021-08-10 2024-05-17 地平线征程(杭州)人工智能科技有限公司 摄像装置的参数标定方法、装置、介质以及电子设备
CN114463442A (zh) * 2021-12-15 2022-05-10 深圳市华汉伟业科技有限公司 一种非同轴相机的标定方法
WO2023219349A1 (en) * 2022-05-12 2023-11-16 Samsung Electronics Co., Ltd. Multi-camera device and methods for removing shadows from images
US20240185461A1 (en) * 2022-12-05 2024-06-06 Verizon Patent And Licensing Inc. Calibration methods and systems for an under-calibrated camera capturing a scene

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014034064A1 (ja) * 2012-08-30 2014-03-06 株式会社デンソー 画像処理装置、及び記憶媒体
CN103686143A (zh) * 2012-09-24 2014-03-26 歌乐株式会社 照相机的校准方法以及装置
CN103873849A (zh) * 2012-12-10 2014-06-18 联发科技股份有限公司 多镜头取相装置的控制方法及控制装置
WO2015029934A1 (ja) * 2013-08-30 2015-03-05 クラリオン株式会社 カメラ校正装置、カメラ校正システム、及びカメラ校正方法
CN104718750A (zh) * 2012-10-02 2015-06-17 株式会社电装 校准方法及校准装置
CN105741346A (zh) * 2014-12-29 2016-07-06 达索系统公司 用于校准深度照相机的方法
CN105765963A (zh) * 2013-11-29 2016-07-13 歌乐株式会社 照相机校正装置
WO2018046617A1 (en) * 2016-09-07 2018-03-15 Starship Technologies Oü Method and system for calibrating multiple cameras
KR101847812B1 (ko) * 2016-11-15 2018-04-11 주식회사 와이즈오토모티브 캘리브레이션 장치 및 방법
CN108345855A (zh) * 2018-02-08 2018-07-31 青岛慧拓智能机器有限公司 一种车道压线检测方法及系统
CN108886606A (zh) * 2016-04-03 2018-11-23 株式会社电装 车载照相机的安装角度检测装置、安装角度校准装置、以及安装角度检测方法
CN108986204A (zh) * 2017-06-01 2018-12-11 哈尔滨工业大学 一种基于双重校准的全自动快速室内场景三维重建装置
WO2019041155A1 (en) * 2017-08-30 2019-03-07 Qualcomm Incorporated ROBUST NAVIGATION OF A ROBOTIC VEHICLE
CN109446909A (zh) * 2018-09-27 2019-03-08 山东省科学院自动化研究所 一种单目测距辅助泊车系统及方法
CN109685000A (zh) * 2018-12-21 2019-04-26 广州小鹏汽车科技有限公司 一种基于视觉的车位检测方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108119B2 (en) * 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
RU2010136929A (ru) * 2008-02-04 2012-03-20 Теле Атлас Норт Америка Инк. (Us) Способ для согласования карты с обнаруженными датчиком объектами
US9834153B2 (en) * 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US9563951B2 (en) * 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US9986173B2 (en) * 2014-05-16 2018-05-29 GM Global Technology Operations LLC Surround-view camera system (VPM) online calibration
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
JPWO2016204068A1 (ja) * 2015-06-19 2018-04-26 ソニー株式会社 画像処理装置および画像処理方法、ならびにプロジェクションシステム
JP6413974B2 (ja) * 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
KR101645722B1 (ko) * 2015-08-19 2016-08-05 아이디어주식회사 자동추적 기능을 갖는 무인항공기 및 그 제어방법
KR101770668B1 (ko) * 2015-08-27 2017-08-24 ㈜베이다스 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US10165256B2 (en) * 2016-09-14 2018-12-25 Amazon Technologies, Inc. Aerial vehicle optical sensor configuration
US10297034B2 (en) * 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
JP6513305B2 (ja) * 2016-11-10 2019-05-15 三菱電機株式会社 映像合成装置及び映像合成方法
KR102441053B1 (ko) * 2016-11-21 2022-09-06 현대자동차주식회사 차량의 주행차로 추정 장치 및 방법
US20190238796A1 (en) * 2017-05-11 2019-08-01 Jacob Nathaniel Allen Object Inspection System And Method For Inspecting An Object
CN109086650B (zh) * 2017-06-14 2022-04-12 现代摩比斯株式会社 校准方法和校准设备
GB2566524B (en) * 2017-09-18 2021-12-15 Jaguar Land Rover Ltd Image processing method and apparatus
US10558868B2 (en) * 2017-12-18 2020-02-11 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
DE102018203807A1 (de) * 2018-03-13 2019-09-19 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
CN111869198B (zh) * 2018-03-15 2021-12-14 株式会社村上开明堂 合成影像制作装置、合成影像制作方法以及记录介质
MX2020013312A (es) * 2018-06-07 2021-06-08 Deka Products Lp Sistema y método para la ejecución de servicios públicos distribuidos.

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014034064A1 (ja) * 2012-08-30 2014-03-06 株式会社デンソー 画像処理装置、及び記憶媒体
CN103686143A (zh) * 2012-09-24 2014-03-26 歌乐株式会社 照相机的校准方法以及装置
CN104718750A (zh) * 2012-10-02 2015-06-17 株式会社电装 校准方法及校准装置
CN103873849A (zh) * 2012-12-10 2014-06-18 联发科技股份有限公司 多镜头取相装置的控制方法及控制装置
WO2015029934A1 (ja) * 2013-08-30 2015-03-05 クラリオン株式会社 カメラ校正装置、カメラ校正システム、及びカメラ校正方法
CN105474634A (zh) * 2013-08-30 2016-04-06 歌乐株式会社 摄像机校准装置、摄像机校准系统及摄像机校准方法
CN105765963A (zh) * 2013-11-29 2016-07-13 歌乐株式会社 照相机校正装置
CN105741346A (zh) * 2014-12-29 2016-07-06 达索系统公司 用于校准深度照相机的方法
CN108886606A (zh) * 2016-04-03 2018-11-23 株式会社电装 车载照相机的安装角度检测装置、安装角度校准装置、以及安装角度检测方法
WO2018046617A1 (en) * 2016-09-07 2018-03-15 Starship Technologies Oü Method and system for calibrating multiple cameras
KR101847812B1 (ko) * 2016-11-15 2018-04-11 주식회사 와이즈오토모티브 캘리브레이션 장치 및 방법
CN108986204A (zh) * 2017-06-01 2018-12-11 哈尔滨工业大学 一种基于双重校准的全自动快速室内场景三维重建装置
WO2019041155A1 (en) * 2017-08-30 2019-03-07 Qualcomm Incorporated ROBUST NAVIGATION OF A ROBOTIC VEHICLE
CN108345855A (zh) * 2018-02-08 2018-07-31 青岛慧拓智能机器有限公司 一种车道压线检测方法及系统
CN109446909A (zh) * 2018-09-27 2019-03-08 山东省科学院自动化研究所 一种单目测距辅助泊车系统及方法
CN109685000A (zh) * 2018-12-21 2019-04-26 广州小鹏汽车科技有限公司 一种基于视觉的车位检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Traffic surveillance camera calibration by 3D model bounding box alignment for accurate vehicle speed measurement";Jakub Sochor等;《COmputer Vision and Image Understanding》;20171231;第161卷;第87-98页 *
"基于遗传算法的摄像机自标定方法";郭秋艳等;《中国图象图形学报》;20061130;第11卷(第11期);第1712-1715页 *

Also Published As

Publication number Publication date
KR20210003325A (ko) 2021-01-12
US11198393B2 (en) 2021-12-14
DE102020207483A1 (de) 2021-01-07
US20210001776A1 (en) 2021-01-07
KR102297683B1 (ko) 2021-09-07
CN112184827A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112184827B (zh) 校准多个摄像机的方法及装置
JP6844043B2 (ja) 視覚測位方法、装置、電子機器およびシステム
CN109086650B (zh) 校准方法和校准设备
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
CN110660105B (zh) 一种全景环视系统的标定参数优化方法及装置
US10339390B2 (en) Methods and apparatus for an imaging system
US20160182793A1 (en) Image distortion correction of a camera with a rolling shutter
LU502288B1 (en) Method and system for detecting position relation between vehicle and lane line, and storage medium
KR101672732B1 (ko) 객체 추적 장치 및 방법
JP4943034B2 (ja) ステレオ画像処理装置
CN111510704B (zh) 校正摄像头错排的方法及利用其的装置
JP5228614B2 (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN110770741B (zh) 一种车道线识别方法和装置、车辆
CN112399172B (zh) 校准多个摄像机的方法及装置
CN109658451B (zh) 一种深度感知方法，装置和深度感知设备
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
KR20200137214A (ko) 차량용 서라운드 뷰 영상 평가 장치 및 방법
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
CN117686985A (zh) 一种参数标定方法、装置及系统
KR20180068022A (ko) 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법
WO2020017336A1 (ja) 物体検知装置
JP6683079B2 (ja) 道路端検出装置
WO2023185272A1 (zh) 车载相机的翻滚角标定方法、装置、设备及存储介质
KR20150028532A (ko) 카메라 영상 보정 장치 및 그 동작 방법
KR102274026B1 (ko) 차량용 카메라 캘리브레이션 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230713

Address after: 323 Banqiao Road, Puntang District, Gyeonggi do, South Korea

Applicant after: NC&Co., Ltd.

Address before: 394-109, Jiguo Road, Shinan District, poshang, gyeongshang North Road, South Korea

Applicant before: VADAS CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant