CN115346191A - 用于校准的方法和设备 - Google Patents

用于校准的方法和设备 Download PDF

Info

Publication number
CN115346191A
CN115346191A CN202210312925.4A CN202210312925A CN115346191A CN 115346191 A CN115346191 A CN 115346191A CN 202210312925 A CN202210312925 A CN 202210312925A CN 115346191 A CN115346191 A CN 115346191A
Authority
CN
China
Prior art keywords
pattern
camera
world coordinates
relative
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210312925.4A
Other languages
English (en)
Inventor
朴多乙
李宰雨
成甲济
李东昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN115346191A publication Critical patent/CN115346191A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

公开了用于校准的方法和设备。所述方法包括：从车辆的驾驶图像检测包括在道路的表面中的预设的图案；将图案的图像域中的图像坐标变换为世界域中的世界坐标；通过将基于图案的世界坐标预测的大小与图案的参考大小进行比较，来确定是否校准拍摄驾驶图像的相机；响应于确定校准相机，使用通过相机在不同时间点拍摄的图像来确定图案相对于相机的移动的相对世界坐标；将图案的相对世界坐标变换为图案的绝对世界坐标；以及使用图案的绝对世界坐标与图案的图像坐标之间的对应关系来校准相机。

Description

用于校准的方法和设备
本申请要求于2021年5月12日在韩国知识产权局提交的第10-2021-0061237号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
下面的描述涉及一种用于校准的方法和设备。
背景技术
相机可用于包括例如自主驾驶(AD)和高级驾驶员辅助系统(ADAS)的各种领域。当相机被设置在车辆中时，相机校准可基本上被执行。通过相机校准，用于变换车辆与相机之间的坐标系的坐标系变换信息可被获得。坐标系变换信息可用于实现AD和ADAS的各种功能(例如，估计车辆的姿势的功能和估计到前方车辆的距离的功能)。
然而，当在执行校准的初始状态下由于例如轮胎气压的变化、车辆姿势的变化、车上乘客的数量的变化等而发生形变时，相机的位置或角度可能改变，因此，实际环境的信息与基于使用相机拍摄的环境的图像确定的信息之间可能存在差异。
发明内容
提供本发明内容以简化的形式介绍在下面的具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。
在一个总体方面，一种处理器实现的具有校准的方法包括：从车辆的驾驶图像检测包括在道路的表面中的预设的图案；将所述图案的图像域中的图像坐标变换为世界域中的世界坐标；通过将基于所述图案的世界坐标预测的大小与所述图案的参考大小进行比较，来确定是否校准拍摄驾驶图像的相机；响应于确定校准相机，使用通过相机在不同时间点拍摄的图像来确定所述图案相对于相机的移动的相对世界坐标；将所述图案的相对世界坐标变换为所述图案的绝对世界坐标；以及使用所述图案的绝对世界坐标与所述图案的图像坐标之间的对应关系来校准相机。
确定所述图案的相对世界坐标的步骤可包括：基于通过相机在不同时间点拍摄的图像中的图案之间的对应关系，来确定相机的移动信息；以及使用图案之间的对应关系和移动信息，来确定所述图案相对于相机的移动的相对世界坐标。
将所述图案的相对世界坐标变换为绝对世界坐标的步骤可包括：响应于所述图案具有参考大小，使用参考大小将相对世界坐标变换为绝对世界坐标。
将所述图案的相对世界坐标变换为绝对世界坐标的步骤可包括：响应于所述图案具有参考范围，基于车辆的移动将相对世界坐标变换为绝对世界坐标。
校准相机的步骤可包括：使用所述图案的绝对世界坐标与所述图案的图像坐标之间的对应关系，来校准相机的俯仰、滚转和高度中的任何一者或任何两者或更多者的任何组合。
预设的图案可包括：包括在在车辆正在其上行驶的道路中的标准化道路标记。
将所述图案的图像坐标变换为世界坐标的步骤可包括：基于单应性矩阵将所述图案的图像坐标变换为世界坐标。
将所述图案的图像坐标变换为世界坐标的步骤可包括：基于相机的参数和所述图案在道路的表面上的约束，将所述图案的图像坐标变换为世界坐标。
确定是否校准相机的步骤可包括：基于所述图案的预测的大小与参考大小之间的差是否超过预设阈值，来确定是否校准相机。
所述方法可包括确定是否从预设的图案提取到预设数量的特征点。
所述方法可包括基于使用校准后的相机拍摄的图像，来估计车辆的姿势和到另一车辆的距离中的任一者或两者。
在另一总体方面，一个或多个实施例包括：一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，将处理器配置为执行在此描述的任何一个、任何组合或所有操作和方法。
在另一总体方面，一种具有校准的设备包括：一个或多个处理器，被配置为：从车辆的驾驶图像检测包括在道路的表面中的预设的图案；将所述图案的图像域中的图像坐标变换为世界域中的世界坐标；通过将基于所述图案的世界坐标预测的大小与所述图案的参考大小进行比较，来确定是否校准拍摄驾驶图像的相机；响应于确定校准相机，使用通过相机在不同时间点拍摄的图像来确定所述图案相对于相机的移动的相对世界坐标；将所述图案的相对世界坐标变换为所述图案的绝对世界坐标；以及使用所述图案的绝对世界坐标与所述图案的图像坐标之间的对应关系来校准相机。
为了确定所述图案的相对世界坐标，所述一个或多个处理器可被配置为：基于通过相机在不同时间点拍摄的图像中的图案之间的对应关系，来确定相机的移动信息；以及使用图案之间的对应关系和移动信息，来确定所述图案相对于相机的移动的相对世界坐标。
为了将所述图案的相对世界坐标变换为绝对世界坐标，所述一个或多个处理器可被配置为：响应于所述图案具有参考大小，使用参考大小将相对世界坐标变换为绝对世界坐标。
为了将所述图案的相对世界坐标变换为绝对世界坐标，所述一个或多个处理器可被配置为：响应于所述图案具有参考范围，基于车辆的移动将相对世界坐标变换为绝对世界坐标。
为了校准相机，所述一个或多个处理器可被配置为：使用所述图案的绝对世界坐标与所述图案的图像坐标之间的对应关系，来校准相机的俯仰、滚转和高度中的任何一者或任何两者或更多者的任何组合。
预设的图案可包括：包括在车辆正在其上行驶的道路中的标准化道路标记。
为了将所述图案的图像坐标变换为世界坐标，所述一个或多个处理器可以被配置为：基于单应性矩阵将所述图案的图像坐标变换为世界坐标。
为了将所述图案的图像坐标变换为世界坐标，所述一个或多个处理器可被配置为：基于相机的参数和所述图案在道路的表面上的约束将所述图案的图像坐标变换为世界坐标。
为了确定是否校准相机，所述一个或多个处理器可被配置为：基于所述图案的预测的大小与参考大小之间的差是否超过预设阈值，来确定是否校准相机。
所述设备可以是车辆，并且所述设备还可包括相机。
在另一总体方面，一种处理器实现的具有校准的方法包括：检测通过相机拍摄的图像中的预设的图案；通过将检测的图案的预测的大小与所述图案的预设参考阈值进行比较，来确定是否校准相机；响应于确定校准相机，使用通过相机在不同时间点拍摄的图像来确定所述图案的绝对世界坐标；以及基于绝对世界坐标来校准相机。
预设参考阈值可以是预设范围，并且确定是否校准的步骤可包括：响应于所述图案的预测的大小在预设范围内而确定校准相机。
通过相机在不同时间点拍摄的图像可包括检测到预设的图案的图像。
确定绝对世界坐标的步骤可包括：使用通过相机在不同时间点拍摄的图像来确定所述图案相对于相机的移动的相对世界坐标；以及通过将相对世界坐标的相对长度与预设图案信息的参考长度进行匹配移除相对世界坐标的尺度模糊性，将所述图案的相对世界坐标变换为绝对世界坐标。
从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。
附图说明
图1示出校准设备的示例。
图2示出从驾驶图像检测预设的图案的示例。
图3示出预设的图案的示例。
图4示出基于运动恢复结构(structure from motion，SFM)获得图案的绝对世界坐标的示例。
图5示出执行校准的示例。
图6示出校准方法的示例。
在整个附图和具体实施方式中，除非另有描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对大小、比例和描绘可被夸大。
具体实施方式
提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，并且不限于在此阐述的那些顺序，而是除了必须以特定顺序发生的操作之外，可如在理解本申请的公开之后将是清楚地那样被改变。此外，为了更清楚和简明，可省略对在理解本申请的公开之后已知特征的描述。
在此描述的特征可以以不同的形式被实现，并且不应被解释为限于在此描述的示例。相反，已提供在此描述的示例，以仅示出在理解本申请的公开之后将是清楚的实现在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式。
在此使用的术语仅用于描述各种示例，而将不用于限制公开。如在此使用的，除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。如在此使用的，术语“和/或”包括相关联的所列项中的任何一个和任何两个或更多个的任何组合。还将理解，如在此使用的，术语“包括”、“包含”和“具有”表明存在陈述的特征、数量、操作、构件、元件和/或它们的组合，但不排除存在或添加一个或多个其他特征、数量、操作、构件、元件和/或它们的组合。在此关于示例或实施例的术语“可”的使用(例如，关于示例或实施例可包括或实现什么)表示存在包括或实现这样的特征的至少一个示例或实施例，但是所有示例不限于此。
在整个说明书中，当组件被描述为“连接到”或“结合到”另一组件时，该组件可直接“连接到”或直接“结合到”所述另一组件，或者可存在介于它们之间的一个或多个其他组件。相反，当元件被描述为“直接连接到”或“直接结合到”另一元件时，可不存在介于它们之间的其他元件。同样地，类似的表达(例如“在……之间”和“紧接在……之间”以及“与……相邻”和“与……紧邻”)也应以相同的方式被解释。如在此使用的，术语“和/或”包括相关联的所列项中的任何一个和任何两个或更多个的任何组合。
尽管在此可使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不应受这些术语限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开。因此，在不脱离示例的教导的情况下，在此描述的示例中所称的第一构件、第一组件、第一区域、第一层或第一部分也可被称为第二构件、第二组件、第二区域、第二层或第二部分。
除非另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域中的普通技术人员基于对本申请的公开的理解通常理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如在通用词典中定义的术语)应被解释为具有与它们在相关领域的上下文和本申请的公开中的含义一致的含义，并且不应以理想化或过于形式化的含义进行解释。
此外，在示例实施例的描述中，当认为在理解本申请的公开之后由此已知的结构或功能的详细描述将导致对示例实施例的模糊解释时，将省略这样的描述。在下文中，将参照附图详细描述示例，并且附图中相同的参考标号始终表示相同的元件。
图1示出校准设备的示例。
参照图1，车辆100可以是或可包括在道路或轨道上行驶的所有类型的运输工具。车辆100可以是或可包括例如汽车、摩托车等中的任何一者，并且汽车可以是或可包括各种类型(诸如，客车、货运车和两轮车中的任何一者)。车辆100还可以是或可包括自主驾驶车辆、智能车辆和配备有驾驶辅助系统的车辆中的任何一者。在此描述的车辆100可以是配备有校准设备110的车辆。在此描述的附近车辆可以是在前方方向、后方方向、侧方方向或斜方向上与车辆100邻近的车辆。附近车辆还可包括在车辆100周围并且另一车辆介于两者之间的车辆、或在车辆100周围并且未被占用的车道介于两者之间的车辆。
校准设备110可包括存储器111(例如，一个或多个存储器)、处理器113(例如，一个或多个处理器)和相机115(例如，一个或多个相机)。车辆100和/或校准设备110可执行在此描述的操作和方法中的任何一个或多个或全部。
校准设备110可通过检测在车辆100正在其上行驶的道路的表面上指示的预设的图案，来执行相机校准。在此描述的预设的图案可以是驾驶道路上的标准化路面标记，并且关于标记的形状、大小、长度和面积中的任何一者或任何两者或更多者的任何组合的信息可被存储在校准设备110中并且可用于将在下文中描述的校准操作。作为非限制性示例，预设的图案可包括人行横道、行进方向标记、允许左转标记、指示标志等中的任何一者。然而，预设的图案的示例不限于前述示例，并且预设的图案还可包括可能由于国家或地区而不同的各种标准化道路标记，并且本公开的描述也可被应用于这些标准化道路标记。一个或多个实施例的校准设备110可在实际驾驶(例如，车辆100的驾驶)期间执行相机校准，从而防止由于校准时间与驾驶时间之间的差异而可能发生的误差，因此改进可实现一个或多个实施例的校准设备110的技术(例如，校准、自主驾驶(AD)和/或高级驾驶员辅助系统(ADAS)技术)。此外，校准设备110可在没有单独的校准工具的情况下，使用路面上的图案来有效地获得适合和/或准确用于实际驾驶环境的相机参数。通过校准设备110，因为相机校准可在实际驾驶期间被执行，所以在线校准可被实现。通过校准设备110，附接到车辆100的相机115的位置和姿态角(pose angle)可被获得(例如，被确定)。校准参数可用在车辆100的自主驾驶系统和/或驾驶辅助系统中。
校准可表示获得指示真实世界中的点与图像中的每个像素之间的对应关系的相机参数的处理。校准可以是用于从图像恢复世界坐标的操作(例如，估计车辆与图像中的前方车辆之间的实际距离)和/或用于获得真实世界中的点被投影到图像中的位置的操作。当车辆100的当前环境在实际驾驶期间由于因素(诸如，以车上乘客的数量的变化、轮胎压力的变化和车辆姿势的变化中的任何一者为例)而从初始校准环境改变时，相机参数也可能改变，因此，校准可被再次执行。然而，与典型的校准操作不同，将在下文中描述的一个或多个实施例的校准操作可在驾驶期间被执行，因此，校准环境和实际驾驶环境可匹配，并且适合和/或准确用于驾驶环境的相机参数可被获得，从而改进可实现一个或多个实施例的校准设备110的技术(例如，校准、AD和/或ADAS技术)。
通过相机115拍摄的图像可被获得作为三维(3D)空间投影到二维(2D)平面图像中的点。例如，2D图像上的坐标(x，y)与3D空间中的坐标(即，世界域中的3D坐标(X，Y，Z))之间的对应关系可由下面的等式1表示。
等式1：
Figure BDA0003567810160000071
在上面的等式1中，由
Figure BDA0003567810160000072
表示的A指示内部参数(intrinsic parameter)(诸如，以相机115自身的焦距、纵横比和主点为例)。fx、fy表示相机115的焦距。cx、cy表示相机115的主点，并且skew_cfx指示偏斜系数(skew coefficient)。
此外，由
Figure BDA0003567810160000081
表示的[R|t]表示同相机115与外部空间之间的几何关系相关联的外部参数(extrinsic parameter)(例如，相机115的安装高度和方向(例如，平移和倾斜))。r11至r33是表示相机115的旋转的元素，并且可被分解为俯仰(pitch)、滚转(roll)和偏航(yaw)，t1至t3是表示相机115的平移的元素。
图像坐标可由关于通过相机115拍摄的图像的参考点(例如，左上端)的x轴值和y轴值表示，并且世界坐标可由关于车辆100的特征点(例如，中心点)的x轴值、y轴值和z轴值表示。
尽管将在下文中详细描述，但是校准设备110可通过下面描述的校准操作，来调整相机115的俯仰值、滚转值和高度值中的任何一者或任何两者或更多者的任何组合。
存储器111可包括计算机可读指令。处理器113可被配置为当存储在存储器111中的指令由处理器113执行时，执行将在下文中描述的任何一个或多个或全部操作。存储器111可以是易失性存储器或非易失性存储器。
处理器113可以是执行指令或程序或控制校准设备110的设备，并且处理器113可以是或可包括例如中央处理器(CPU)和/或图形处理器(GPU)。
处理器113可将从在实际驾驶环境下拍摄的图像检测的标准化路面图案变换为世界坐标以估计图案的大小，然后基于所估计的图案的大小与实际标准之间的确定的误差来确定是否执行校准。例如，处理器113可使用运动恢复结构(structure from motion，SFM)和实际标准信息将路面图案的图像坐标变换为世界坐标，并且基于世界坐标与图像坐标之间的对应关系对相机115执行校准。
相机115可通过拍摄车辆100的前方或行驶方向上的场景，来输出图像。通过相机115拍摄的图像可被发送到处理器113。
尽管在图1的示例中，相机115中被示出为包括在校准设备110的组件中或被示出为校准设备110的组件，但是示例不限于此。对于另一示例，校准设备110可从外部相机接收图像并基于接收的图像执行校准。即使在这样的示例中，本公开的描述也可被应用。此外，尽管在图1的示例中，校准设备110被示出为被设置在车辆100的组件中或被示出为车辆100的组件，但是示例不限于此。对于另一示例，通过设置在车辆100中的相机115拍摄的图像可被发送到设置在车辆100外部的校准设备110，然后校准可被执行。在这个示例中，校准设备110可被实现在各种计算装置(例如，移动电话、智能电话、个人计算机(PC)、平板PC、膝上型计算机、远程服务器等中的任何一者)中，或者被实现为各种计算装置(例如，移动电话、智能电话、个人计算机(PC)、平板PC、膝上型计算机、远程服务器等中的任何一者)。
图2示出从驾驶图像检测预设的图案的示例。
参照图2，通过设置在车辆中的相机拍摄的图像可包括预设的图案210。
校准设备可从图像检测图案210。例如，校准设备可通过分割方法和/或边缘检测方法，从图像检测图案210。当校准设备被配置为使用高清(HD)地图时，校准设备可使用通过定位识别的车辆位置和存储在HD地图中的信息，来识别前方的图案210的存在并有效地检测图案210。HD地图可以是包括关于详细道路和周围地理特征的信息的地图。除了车道单元信息之外，HD地图可包括例如交通灯、标志、路缘、道路标记和各种结构中的任何一者的3D信息。
校准设备可从检测的图案210提取角点(corner point)。在图2的示例中，校准设备可提取包括在人行横道中的块的角点。例如，校准设备可使用哈里斯角点检测方法(Harris corner detection method)提取图案210的一个或多个角点。角点可对应于图案的特征，并且也可被称为特征点。角点可从图像被提取，并且可通过图像域中的图像坐标来表示。
校准设备可将图案210的角点的图像坐标变换为世界域中的世界坐标。例如，校准设备可使用单应性矩阵(homography matrix)将图案210的图像坐标变换为世界坐标。单应性矩阵可表示当一个平面被投影到另一平面上时在投影的对应点之间建立的变换关系或对应关系。单应性矩阵可通过相机参数被确定。对于另一示例，校准设备可使用相机参数和预设约束将图案210的图像坐标变换为世界坐标。通过将3D世界坐标投影到图像平面上的处理，3D世界坐标可相对简单地被变换为2D图像坐标。然而，为了将2D图像坐标变换为3D世界坐标，附加信息可被使用。当指示检测的图案210在道路的表面上的约束被用作这样的附加信息时，图案210的图像坐标可被变换为世界坐标。
校准设备可基于图案210的世界坐标来预测图案210的大小。校准设备可计算图案210的预测的大小与图案210的参考大小之间的差，并且基于差来确定是否执行相机校准。预设的图案210可以是标准化路面标记，并且根据相关标准的参考大小可与预测的大小进行比较。参考大小可被存储在校准设备的内部存储器或外部存储器中，并且参考大小可在HD地图可用或被确定为被使用时根据HD地图被验证。例如，当差大于阈值时，校准设备可确定执行相机校准。相反，当差小于或等于阈值时，校准设备可确定不执行相机校准和/或继续使用当前校准值而不执行相机校准。在另一示例中，当图案210的预测的大小在图案210的参考范围内时，校准设备可确定执行相机校准，并且当预测的大小不在参考范围内时，校准设备可确定不执行相机校准和/或继续使用当前校准值而不执行相机校准。
图3示出预设的图案的示例。
参照图3，示出道路的表面上的各种标准化图案。由交通法规和规则确定的大小的各种标记(例如，人行横道标记310、行进方向标记320、允许转向标记330和指示标志340)可存在于道路的表面上。在图2的示例中，为了便于描述，人行横道被示出为示例。然而，各种路面图案(诸如，以行进方向标记320、允许转向标记330、指示标志340、车道、停止线、引导线等中的任何一者为例)也可被使用。
人行横道标记310的块的厚度I1可具有45至50厘米(cm)的参考范围。也就是说，图案可具有包括上限和下限的参考范围。在一个示例中，如上所述的用于确定是否执行校准的参考大小可被确定为参考范围的中值或平均值。
如图3中所示，行进方向标记320、允许转向标记330和指示标志340可具有各自的参考大小。
图4示出基于SFM获得图案的绝对世界坐标的示例。
参照图4，用于执行校准的图案的绝对世界坐标可通过执行将在下文中描述的操作被获得，并且SFM可被用于执行该操作。SFM可表示这样的方法：使用图像中的特征点之间的对应关系获得图像之间的移动信息(例如，旋转矩阵和/或平移矩阵)并通过三角测量(triangulation)获得特征点的实际3D点。
在操作410中，校准设备可确定通过相机在不同时间点拍摄的图像中的图案之间的对应关系。当同一相机在车辆正在驾驶或行驶的同时在不同时间点拍摄图像时，通过相机拍摄的图像可从相同场景的不同位置被获得。例如，校准设备可检测在时间t拍摄的第一图像中的图案，并且从检测的图案提取角点作为第一特征点。校准设备还可检测在时间t+a(a>0)拍摄的第二图像中的图案，并且从检测的图案提取角点作为第二特征点。校准设备可匹配第一特征点与第二特征点之间的相同(或对应)点，并确定特征点之间的对应关系。在一个示例中，相同点可以是对应于相同图案的相同部分的点，其中，相同图案被包括在第一图像和第二图像两者中。
在操作420中，校准设备可基于第一图像与第二图像之间的这种特征点对应关系，来估计相机的移动。例如，校准设备可使用特征点对应关系来估计相机的平移和旋转信息。
在操作430中，校准设备可基于特征点对应关系和相机的移动，来确定图案相对于相机的移动的相对世界坐标。在这种情况下，当时间t与时间t+a之间的实际运动距离未知或未确定时，未应用尺度的相对世界坐标可被确定。例如，当相机的移动被表示为k时，图案的相对世界坐标可被确定为与k成比例(如在(kx，ky，kz)中那样)。相对世界坐标可具有未应用尺度的值，并且因此，可被称为具有尺度模糊性的3D点。
在操作450中，校准设备可通过使用图案信息440去除相对世界坐标的尺度模糊性，来获得绝对世界坐标。在一个示例中，响应于图案具有如上所述的参考大小(例如，参考长度)，校准设备可使用参考大小将相对世界坐标变换为绝对世界坐标。例如，校准设备可通过将基于相对世界坐标确定的相对长度与存储在图案信息440中的图案的参考长度进行匹配，来将相对世界坐标变换为绝对世界坐标。例如，图案信息440可以是标准化和预先存储的图案信息或存储在HD地图中的图案信息。
例如，当图案(例如，人行横道)具有如上所述的参考范围时，相对世界坐标的尺度模糊性可基于车辆的移动或运动被移除。基于车辆的从时间t到时间t+a的驾驶距离和驾驶方向确定的车辆的移动可与设置在车辆中的相机的移动相同。校准设备可使用车辆的移动来确定相机移动k，并且通过将相机移动k应用于相对世界坐标来确定绝对世界坐标。
图5示出执行校准的示例。
参照图5，校准设备可使用图案的绝对世界坐标与图案的图像坐标之间的对应关系，来校准相机。在图5的示例中，左侧510的图像坐标和右侧520的世界坐标可彼此对应。
校准设备可通过校准，来更新相机参数之中的俯仰值、滚转值和高度值中的任何一者或任何两者或和更多者的任何组合。通常，车辆在x轴或y轴上的运动可能不会改变太多，并且俯仰、滚转和高度可能由于轮胎压力的变化或车上乘客的重量的变化而改变。因此，这些相机参数可通过校准来更新。然而，更新与x轴和y轴运动相关联的参数也可被执行。
图6示出校准方法的示例。
在下文中将参照图6描述通过包括在校准设备中的处理器执行的校准方法。
参照图6，在操作610中，校准设备可确定是否在驾驶图像中检测到预设的图案。校准设备可基于分割方法和/或边缘检测方法，来确定是否从通过相机拍摄的驾驶图像检测到预设的图案。当从驾驶图像没有检测到图案时，操作610可被再次执行。相反，当从驾驶图像检测到图案时，可随后执行操作620。
在操作620中，校准设备可从图案提取特征点作为图像坐标。
例如，校准设备可确定是否从自驾驶图像提取的图案提取到六个或更多个特征点作为角点。这是因为六个或更多个特征点可用于通过校准确定x轴、y轴和z轴方向上的平移和旋转。因此，校准设备可确定是否从检测的图案提取六个或更多个特征点。例如，当因为图案被附近的车辆或其他对象遮挡或隐藏或者图案被磨损和模糊而六个或更多个特征点未被提取时，操作610可被再次执行。相反，当从图案提取到六个或更多个特征点时，操作630可随后被执行。然而，示例不限于此，并且根据其他非限制性示例，当少于或多于六个特征点从图案被提取时，操作630可随后被执行。例如，当从图案提取到少于六个特征点时，可基于提取的特征点针对图案预测附加特征点，使得所提取的特征点和预测的特征点的总量为六个或更多个，并且可基于所提取的特征点和预测的特征点随后执行操作630。
在操作630中，校准设备可使用当前校准值将图像坐标变换为世界坐标。在这种情况下，指示图案在道路的表面上的约束可用作附加信息。在另一示例中，校准设备可使用单应性矩阵将图案的图像坐标变换为世界坐标。
在操作640中，校准设备可计算图案的预测的大小与图案的参考大小之间的差。参考大小可以是预先存储在存储器中或从HD地图识别的图案的标准化大小。
在操作650中，校准设备可确定计算的差是否超过阈值。当计算的差小于或等于阈值时，可确定校准是不必要的，并且可随后执行操作610。相反，当计算的差大于阈值时，可确定校准是必要的，并且可随后执行操作660。例如，阈值可被设定为参考大小的10％。然而，其他各种标准可根据情况和区域被设定。
在操作660中，校准设备可将基于SFM确定的图案的相对世界坐标变换为绝对世界坐标。校准设备可通过使用由相机在不同时间点拍摄的图像，来确定图案相对于相机的移动的相对世界坐标。校准设备可基于图案的参考大小和/或车辆的移动，将图案的相对世界坐标变换为绝对世界坐标。
在操作670中，校准设备可使用图案的图像坐标与图案的世界坐标(例如，绝对世界坐标)之间的对应关系来执行校准。
在操作680中，校准设备可更新相机的俯仰、滚转和高度中的任何一者或任何两者或更多者的任何组合。在非限制性示例中，在操作680中，校准设备还可基于使用具有相机的更新的俯仰、更新的滚转和更新的高度中的任何一者或任何两者或更多者的任何组合的相机拍摄的图像，估计车辆的姿势和到另一车辆的距离中的任一者或两者。
为了更详细地描述上面参照图6描述的操作，可对上面参照图1至图5描述的内容进行参考，因此，这里将省略其更详细和重复的描述。
在此关于图1至图6描述的车辆、校准设备、存储器、处理器、相机、车辆100、校准设备110、存储器111、处理器113、相机115以及其他设备、装置、单元、模块和组件通过硬件组件实现或表示硬件组件。可用于执行本申请中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行本申请中描述的操作的硬件组件中的一个或多个硬件组件。处理器或计算机可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望结果的任何其他装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或者连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于在本申请中描述的示例的描述中，但是在其他示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件、或多种类型的处理元件、或两者。例如，单个硬件组件、或者两个或更多个硬件组件可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可通过一个或多个处理器、或者处理器和控制器来实现，并且一个或多个其他硬件组件可通过一个或多个其他处理器、或者另外的处理器和另外的控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
图1至图6中示出的执行本申请中描述的操作的方法由计算硬件(例如，由一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述执行指令或软件以执行在本申请中描述的由所述方法执行的操作。例如，单个操作、或者两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可由一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可由一个或多个其他处理器、或者另外的处理器和另外的控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作、或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何结合，以单独地或共同地指示或配置一个或多个处理器或计算机作为机器或专用计算机进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可基于附图中示出的框图和流程图以及说明书中的相应描述使用任何编程语言来编写指令或软件，附图中示出的框图和流程图以及说明书中的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可被记录、存储或者固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储装置、硬盘驱动器(HDD)、固态驱动器(SSD)、卡型存储器(诸如，多媒体卡或微型卡(例如，安全数字(SD)或者极速数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘和被配置为以非暂时性方式存储指令或者软件以及任何相关联的数据、数据文件和数据结构并将所述指令或软件以及任何相关联的数据、数据文件和数据结构提供给一个或多个处理器或计算机使得一个或多个处理器或计算器能够执行指令的任何其他装置。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统中，使得指令和软件以及任何相关联的数据、数据文件和数据结构以分布式方式被一个或多个处理器或计算机存储、访问和执行。
虽然本公开包括特定示例，但是在理解本申请的公开之后将清楚的是，在不脱离权利要求及其等同物的精神和范围的情况下，可在这些示例中进行形式和细节上的各种改变。在此描述的示例应仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述应被认为可适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合、和/或由其他组件或其等同物替代或补充，则可实现合适的结果。

Claims (20)

1.一种处理器实现的用于校准的方法，包括：
从车辆的驾驶图像检测包括在道路的表面中的预设的图案；
将所述图案的图像域中的图像坐标变换为世界域中的世界坐标；
通过将基于所述图案的世界坐标预测的大小与所述图案的参考大小进行比较，来确定是否校准拍摄驾驶图像的相机；
响应于确定校准相机，使用通过相机在不同时间点拍摄的图像来确定所述图案相对于相机的移动的相对世界坐标；
将所述图案的相对世界坐标变换为所述图案的绝对世界坐标；以及
使用所述图案的绝对世界坐标与所述图案的图像坐标之间的对应关系来校准相机。
2.根据权利要求1所述的方法，其中，确定所述图案的相对世界坐标的步骤包括：
基于通过相机在不同时间点拍摄的图像中的图案之间的对应关系，来确定相机的移动信息；以及
使用图案之间的对应关系和移动信息，来确定所述图案相对于相机的移动的相对世界坐标。
3.根据权利要求1所述的方法，其中，将所述图案的相对世界坐标变换为绝对世界坐标的步骤包括：
响应于所述图案具有参考大小，使用参考大小将相对世界坐标变换为绝对世界坐标。
4.根据权利要求1所述的方法，其中，将所述图案的相对世界坐标变换为绝对世界坐标的步骤包括：
响应于所述图案具有参考范围，基于车辆的移动将相对世界坐标变换为绝对世界坐标。
5.根据权利要求1所述的方法，其中，校准相机的步骤包括：
使用所述图案的绝对世界坐标与所述图案的图像坐标之间的对应关系，来校准相机的俯仰、滚转和高度中的任何一者或任何两者或更多者的任意组合。
6.根据权利要求1所述的方法，其中，预设的图案包括：包括在车辆正在其上行驶的道路中的标准化道路标记。
7.根据权利要求1所述的方法，其中，将所述图案的图像坐标变换为世界坐标的步骤包括：
基于单应性矩阵将所述图案的图像坐标变换为世界坐标。
8.根据权利要求1所述的方法，其中，将所述图案的图像坐标变换为世界坐标的步骤包括：
基于相机的参数和所述图案在道路的表面上的约束，将所述图案的图像坐标变换为世界坐标。
9.根据权利要求1至8中的任一项所述的方法，其中，确定是否校准相机的步骤包括：
基于所述图案的预测的大小与参考大小之间的差是否超过预设阈值，来确定是否校准相机。
10.根据权利要求1至8中的任一项所述的方法，还包括：
确定是否从预设的图案提取到预设数量的特征点。
11.根据权利要求1至8中的任一项所述的方法，还包括：基于使用校准后的相机拍摄的图像，来估计车辆的姿势和到另一车辆的距离中的任一者或两者。
12.一种存储指令的非暂时性计算机可读存储介质，当所述指令由一个或多个处理器执行时，将所述一个或多个处理器配置为执行根据权利要求1至11中的任一项所述的方法。
13.一种用于校准的设备，包括：
一个或多个处理器，被配置为：
从车辆的驾驶图像检测包括在道路的表面中的预设的图案；
将所述图案的图像域中的图像坐标变换为世界域中的世界坐标；
通过将基于所述图案的世界坐标预测的大小与所述图案的参考大小进行比较，来确定是否校准拍摄驾驶图像的相机；
响应于确定校准相机，使用通过相机在不同时间点拍摄的图像来确定所述图案相对于相机的移动的相对世界坐标；
将所述图案的相对世界坐标变换为所述图案的绝对世界坐标；以及
使用所述图案的绝对世界坐标与所述图案的图像坐标之间的对应关系来校准相机。
14.根据权利要求13所述的设备，其中，为了确定所述图案的相对世界坐标，所述一个或多个处理器被配置为：
基于通过相机在不同时间点拍摄的图像中的图案之间的对应关系，来确定相机的移动信息；以及
使用图案之间的对应关系和移动信息，来确定所述图案相对于相机的移动的相对世界坐标。
15.根据权利要求13或14所述的设备，其中，为了将所述图案的相对世界坐标变换为绝对世界坐标，所述一个或多个处理器被配置为：
响应于所述图案具有参考大小，使用参考大小将相对世界坐标变换为绝对世界坐标。
16.根据权利要求13或14所述的设备，其中，所述设备是车辆，并且所述设备还包括相机。
17.一种处理器实现的用于校准的方法，包括：
检测通过相机拍摄的图像中的预设的图案；
通过将检测的图案的预测的大小与所述图案的预设参考阈值进行比较，来确定是否校准相机；
响应于确定校准相机，使用通过相机在不同时间点拍摄的图像来确定所述图案的绝对世界坐标；以及
基于绝对世界坐标来校准相机。
18.根据权利要求17所述的方法，其中，预设参考阈值是预设范围，并且确定是否校准的步骤包括：响应于所述图案的预测的大小在预设范围内而确定校准相机。
19.根据权利要求17所述的方法，其中，通过相机在不同时间点拍摄的图像包括检测到预设的图案的图像。
20.根据权利要求17至19中的任一项所述的方法，其中，确定绝对世界坐标的步骤包括：
使用通过相机在不同时间点拍摄的图像，来确定所述图案相对于相机的移动的相对世界坐标；以及
通过将相对世界坐标的相对长度与预设图案信息的参考长度进行匹配来移除相对世界坐标的尺度模糊性，来将所述图案的相对世界坐标变换为绝对世界坐标。
CN202210312925.4A 2021-05-12 2022-03-28 用于校准的方法和设备 Pending CN115346191A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210061237A KR20220153802A (ko) 2021-05-12 2021-05-12 캘리브레이션 방법 및 장치
KR10-2021-0061237 2021-05-12

Publications (1)

Publication Number Publication Date
CN115346191A true CN115346191A (zh) 2022-11-15

Family

ID=81603749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210312925.4A Pending CN115346191A (zh) 2021-05-12 2022-03-28 用于校准的方法和设备

Country Status (4)

Country Link
US (1) US20220366604A1 (zh)
EP (1) EP4102464A1 (zh)
KR (1) KR20220153802A (zh)
CN (1) CN115346191A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7151879B2 (ja) * 2019-04-08 2022-10-12 日本電気株式会社 カメラ校正装置、カメラ校正方法、及びプログラム

Also Published As

Publication number Publication date
KR20220153802A (ko) 2022-11-21
EP4102464A1 (en) 2022-12-14
US20220366604A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US11816991B2 (en) Vehicle environment modeling with a camera
US10685246B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
CN112292711B (zh) 关联lidar数据和图像数据
JP5089545B2 (ja) 道路境界検出判断装置
CN106952308B (zh) 运动物体的位置确定方法及系统
CN114144809A (zh) 通过摄像机进行交通工具环境建模
US8885049B2 (en) Method and device for determining calibration parameters of a camera
CN111815641A (zh) 相机和雷达融合
US9042639B2 (en) Method for representing surroundings
JP6350374B2 (ja) 路面検出装置
CN111336951B (zh) 用于校准图像传感器的外部参数的方法和设备
US11288833B2 (en) Distance estimation apparatus and operating method thereof
JP6201148B2 (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
US11299169B2 (en) Vehicle neural network training
US20150269451A1 (en) Object detection device, object detection method, and computer readable non-transitory storage medium comprising object detection program
US20190362512A1 (en) Method and Apparatus for Estimating a Range of a Moving Object
CN112529935B (zh) 目标车辆运动状态识别方法及装置
CN115346191A (zh) 用于校准的方法和设备
US20220155075A1 (en) Method and apparatus with localization
US20110304734A1 (en) Method and apparatus for operating a video-based driver assistance system in a vehicle
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
US11628836B2 (en) Vehicle exterior environment recognition apparatus
CN114644014A (zh) 一种基于车道线的智能驾驶方法及相关设备
CN114074666A (zh) 传感器融合

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination